CN105678316A - 基于多信息融合的主动驾驶方法 - Google Patents

Abstract

基于多信息融合的主动驾驶方法,在汽车行进过程中，用视觉传感器对周围环境中的行人进行检测，同时对交通信号灯及周围车辆等进行检测；当检测到行人的时候，对行人是否为交通管制人员进行判断，如果是交通管制人员，对其动作进行识别；视觉传感器对地面交通标志检测，获取标志指示策略并发送给驾驶控制模块；车载雷达系统与车载视觉传感器共同检测前方与两侧车辆及其行为，通过其行为来判断周围车辆对当前路况的判断，并将周围车辆行车状态发送给驾驶控制模块；本发明不但考虑了交通灯与路面标志灯比较固定的检测目标信息，还考虑了交警指挥动作与周围车辆的行为状态等外界动态信息，使主动驾驶具有更大的灵活性与对环境更强的适应能力。

Description

基于多信息融合的主动驾驶方法

技术领域

本发明属于主动驾驶技术领域，具体说是一种基于多信息融合的主动驾驶方法。

背景技术

目前从汽车的辅助驾驶领域到汽车的主动驾驶相关技术中，基本都采用对路况信息进行识别，包括交通信号灯、斑马线、停止线等信息，来判断是否需要减速、停止等操作。而针对这些基本的路况信息的检测与识别往往存在一定的误差，因为主动驾驶车辆还处于试验与探索阶段，所以为了更好地帮助驾驶控制决策，需要提供更加丰富可靠且可信度高的信息。尤其交通安全关乎驾驶者本身与他人的安全，更是含糊不得。

发明内容

本发明提供了一种基于多信息融合的主动驾驶方法，该方法是基于交警手势动作识别、交通信号灯识别、周围车辆行为识别、地面交通标志包括停止线、斑马线、转向标志等识别及其他障碍物识别等多信息融合，来共同帮助控制决策模块进行主动驾驶。

为实现上述目的，本发明的技术方案是，基于多信息融合的主动驾驶方法,是通过以下步骤实现的：

S1：在汽车行进过程中，用视觉传感器对周围环境中的行人进行检测，同时对交通信号灯及周围车辆等进行检测；

S2：当检测到行人的时候，对行人是否为交通管制人员进行判断，如果是交通管制人员，对其动作进行识别，根据交通管制人员动作判断当前该如何驾驶并将相应驾驶策略发送给驾驶控制模块；

S3：视觉传感器对地面交通标志检测，获取标志指示策略并发送给驾驶控制模块；视觉传感器对交通信号灯检测，获取信号灯指示策略并发送给驾驶控制模块；

S4：车载雷达系统与车载视觉传感器共同检测前方与两侧车辆及其驾驶行为，通过其驾驶行为来判断周围车辆对当前路况的判断，并将周围车辆行车状态发送给驾驶控制模块；

S5：在获取了交通管制人员动作相应的驾驶策略、路面标志给出的驾驶策略、交通信号灯给出的策略、周围车辆的行为状态后，驾驶控制模块对各模块的信息进行加权融合。

进一步的，所述的地面交通标志，包括停止线、斑马线、转向标志等。

进一步的，步骤S2中判断行人是否为交通管制人员是通过如下具体步骤进行的：

步骤1：搜集大量行人与交通管制人员的荧光马甲图像样本与其负样本；

步骤2：通过adboost进行特征统计，离线训练得到关于行人检测的分类器与荧光马甲检测的分类器，并建立荧光马甲的颜色直方图模板；

步骤3：当主动驾驶系统通过行人检测模块检测出有行人目标出现时，对行人的躯干部分上下左右各偏离1/2区间，进行荧光马甲的颜色直方图模板匹配；

步骤4：模板匹配后对相似度度量达到85％以上的多个候选区域进行荧光马甲分类器精确检测，选取其中置信度最高的区域作为最终结果的置信度；

步骤5：最终结果的置信度大于阈值时，检测到行人为交通管制人员。

进一步的，当检测到行人为交通管制人员时，对交通管制人员的帽子进行类型识别，其步骤如下：

A、通过adboost进行特征统计，离线训练大样本的交警警帽图片，进而确定交警警帽分类器；

B、在上述检测出交通管制人员的基础上，通过对检测出的行人头部区域进行上下左右各1/2区域的扩充；

C、然后对扩充后的头部区域进行交警警帽的检测，利用步骤A中训练得到的交警警帽分类器，判断该区域内是否有交警警帽，如果有则该交通管制人员为交警；否则为协勤。

进一步的，步骤S3中，对交通信号灯的检测方法，具体是通过以下步骤实现的：

D1：利用车载GPS对车身位置进行定位，以获取车身位置信息；

D2：利用车身所在车道信息，通过地图查找比对的方式对GPS定位的结果进行第一次校正；

D3：利用车载雷达系统对车身位置进行第二次校正；

D4：获取到车身实时的精确位置后，控制模块将精确位置信息传给地图模块，查询当前位置距离前方路口的距离，根据前方路口的距离与自身车速，计算出到达前方路口的时间；

D5：在以车身为中心的世界坐标系中，得到信号灯的坐标，通过世界坐标系转换为图像坐标系，确定信号灯的图像坐标区域；

D6:在图像坐标系中锁定信号灯的图像坐标区域来检测信号灯。

作为更进一步的，步骤D2中车身所在车道信息是通过下面方法获得的:在GPS获取车身位置信息的同时，车载视觉传感器检查路面的车道线，并通过车道线在视觉场景中的坐标位置关系，确定车身所在的车道。

作为更进一步的，步骤D3中第二次校正为：车载雷达系统检测路两边的马路边界突起，通过局部三维信息重建技术测量马路边界的宽度，并且确定车身距离两侧马路边界的精确距离。

作为更进一步的，在步骤S4中获取了车身距离信号灯距离d后，根据车身高度与信号灯高度之差H-h得到三角形的两条直角边，求出第三条边的长度，进而以车身为中心建立世界坐标系。

作为更进一步的，在步骤S4中车辆行为，包括加速、减速、刹车停止等动作。

作为更进一步的，在步骤S5中加权融合是指在有交警指挥的驾驶策略时，以交警指挥为准；在没有交警指挥的情况下，对交通信号灯给出的策略与地面交通标志给出的策略结合，并兼顾周围车辆驾驶行为，在驾驶行为上与周围车辆大致保持一致。

本发明由于采用以上技术方案，能够取得如下的技术效果：本发明的主动驾驶技术不但考虑了交通灯与路面标志灯比较固定的检测目标信息，还考虑了交警指挥动作与周围车辆的行为状态等外界动态信息，使主动驾驶具有更大的灵活性与对环境更强的适应能力。利用周围多数车辆的行为状态，保持自身行驶状态与周围多数车辆相协调，从而在一定程度上保证了主动驾驶车辆的安全。

利用精确定位获取的汽车车身与信号灯的实时距离信息，结合信号灯高度、车身高度等先验信息，结合几何关系，确定信号灯在世界坐标系中的位置范围。利用世界坐标系到图像坐标系的转换，得到在图像坐标系中的位置范围，进而减少遍历窗口的范围，极大地提高了搜索检测的效率，从而能够更早的给系统提示交通信号灯的信息。

利用交通管制人员的荧光马甲的颜色分布直方图，在检测出的行人躯干部分临近范围内进行初步检测，然后对检测出的候选区域进行分类器的精确识别，从而提高了交通管制人员的识别效率。通过对交警警帽建立分类器，在检测出交通管制人员的时候，在其头部区域邻域内进行交警警帽检测，从而判别该交通管制人员是否是交警。

附图说明

本发明共有附图6幅：

图1为基于多信息融合的主动驾驶方法流程框图；

图2为交通管制人员识别过程流程框图；

图3为交警识别过程流程框图；

图4为交通信号灯检测流程框图；

图5为车身与信号灯距离位置关系示意图；

图6为实施例3中图像坐标系中目标区域的扩大示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

实施例1

基于多信息融合的主动驾驶方法,其特征在于，是通过以下步骤实现的：

S1：在汽车行进过程中，用视觉传感器对周围环境中的行人进行检测，同时对交通信号灯及周围车辆进行检测；

S2：当检测到行人的时候，对行人是否为交通管制人员进行判断，如果是交通管制人员，对其动作进行识别，根据交通管制人员动作判断当前该如何驾驶并将相应驾驶策略发送给驾驶控制模块；此处使用隐马尔科夫模型结合维特比算法检测交警动作，也可以使用其他方法，根据交警动作来判断当前该如何驾驶停止、减速慢行、还是正常通过等。

S3：视觉传感器对地面交通标志检测，获取标志指示策略并发送给驾驶控制模块；视觉传感器对交通信号灯检测，获取信号灯指示策略并发送给驾驶控制模块；所述的地面交通标志，包括停止线、斑马线、转向标志等；

S4：车载雷达系统与车载视觉传感器共同检测前方与两侧车辆及其驾驶行为，通过其驾驶行为来判断周围车辆对当前路况的判断，比如当周围车辆都开始减速时，可以初步推断前方很可能有需要减速的因素(例如，即将红灯或前方有交警指挥需要减速绕行等)，并将周围车辆行车状态发送给驾驶控制模块，这样做是基于周围绝大多数车辆的动作；其驾驶行为包括加速、减速、刹车停止等动作。

S5：在获取了交通管制人员动作相应的驾驶策略、路面标志给出的指示策略、交通信号灯给出的指示策略、周围车辆的驾驶行为状态后，驾驶控制模块对各模块的信息进行加权融合。加权融合是指在有交警指挥的驾驶策略时，以交警指挥为准；在没有交警指挥的情况下，对交通信号灯给出的策略与地面交通标志给出的策略结合，并兼顾周围车辆驾驶行为，在驾驶行为上与周围车辆大致保持一致。

本发明提出的考虑了交通灯与路面标志灯比较固定的检测目标信息，还考虑了交警指挥动作与周围车辆的行为状态等外界动态信息，将多种渠道获取的对主动驾驶有参考价值的信息进行了融合的方法。根据检测周围车辆并测算其运行状态，在驾驶策略上多方面考虑交通灯与路面标志及交警指挥等信息，并尽量保持与周围车辆一致。

实施例2

该实施例与实施例1不同的是在步骤S3中，对交通信号灯的检测方法，具体是通过以下步骤实现的：

应用在主动驾驶技术中识别交通管制人员的方法,是通过以下步骤实现的：

步骤1：搜集大量行人与交通管制人员的荧光马甲图像样本与其负样本；

步骤2：通过adboost进行特征统计，离线训练得到关于行人检测的分类器与荧光马甲检测的分类器，并通过rbf神经网络训练得到荧光马甲的颜色直方图模板；

步骤3：当主动驾驶系统通过行人检测模块检测出有行人目标出现时，对行人的躯干部分上下左右各偏离1/2区间，进行荧光马甲的颜色直方图模板匹配；

步骤4：模板匹配后对相似度度量达到85％以上的多个候选区域进行荧光马甲分类器精确检测，选取其中置信度最高的区域作为最终结果的置信度；

步骤5：最终结果的置信度大于阈值95％时，检测到行人为交通管制人员对驾驶人员进行提示切换为手动驾驶模式的步骤或者进行其他工作。

当检测到行人为交通管制人员时，对交通管制人员的帽子进行类型识别，其步骤如下：通过adboost进行特征统计，离线训练大样本的交警警帽图片，进而确定交警警帽分类器；在上述检测出交通管制人员的基础上，通过对检测出的行人头部区域进行上下左右各1/2区域的扩充；然后对扩充后的头部区域进行交警警帽的检测，利用步骤A中训练得到的交警警帽分类器，判断该区域内是否有交警警帽，如果有则该交通管制人员为交警；否则为协勤。

利用交通管制人员的荧光马甲的颜色分布直方图，在检测出的行人躯干部分临近范围内进行初步检测，然后对检测出的候选区域进行分类器的精确识别，从而提高了交通管制人员的识别效率。本发明将行人检测与交警警帽检测结合，从而在检测出交通管制人员的时候，在其头部区域邻域内进行交警警帽检测，从而判别该交通管制人员是否是交警。后续还可以使用该方法对其他类型的交通管制人员或其他人员进行分类与识别。

实施例3

该实施例与实施例1和2不同的是，步骤S3中对交通信号灯的检测方法，具体是通过以下步骤实现的：

D1：利用车载GPS对车身位置进行“粗”定位，以获取车身位置信息；此次获得的位置往往存在一定的误差，最大可能有几米；所以，需要利用下面两次的校正。

D2：在GPS获取车身位置信息的同时，车载视觉传感器检查路面的车道线，并通过车道线在视觉场景中的坐标位置关系，确定车身所在的车道；利用车身所在车道信息，通过地图查找比对的方式对GPS定位的结果进行第一次校正；

D3：车载雷达系统检测路两边的马路边界突起俗称“马路牙子”，通过局部三维信息重建技术测量马路边界的宽度，并且确定车身距离两侧马路边界的精确距离；利用马路宽度与车身距离马路两侧边界距离，可以对车身位置进行第二次校正。这样，就可以得到精度相对很高的车身位置信息，具体如图1所示。

D4：获取到车身实时的精确位置后，控制模块将精确位置信息传给地图模块，查询当前位置距离前方路口的距离，根据前方路口的距离与自身车速，计算出到达前方路口的时间，以便到达前方路口时车辆做出相应决策；获取了车身距离信号灯距离d后，根据车身高度与信号灯高度之差H-h得到三角形的两条直角边，求出第三条边的长度，进而以车身为中心建立世界坐标系；

D5：在以车身为中心的世界坐标系中，得到信号灯的坐标，通过世界坐标系转换为图像坐标系，确定信号灯的图像坐标区域；

D6:在图像坐标系中锁定信号灯的图像坐标区域来检测信号灯，为了更好的容错，对目标检测区域进行了上下左右各1或2倍的扩充，以免测量误差导致交通信号灯的漏检。如图6所示：A、B、C的坐标为边界区域，ROI为信号灯的图像坐标区域，ROI’为扩充后的信号灯的图像坐标区域。

如图6所示，是在ROI’区域内进行信号灯的检测，这样避免了整幅图像搜索的巨大计算代价，同时也使得视觉检测信号灯的实际位置变得更加准确。上述GPS定位、车载视觉传感器检测车道线及激光雷达检测马路边界，三者是并行执行的。

本发明对车身精确位置测量的方法：GPS获取车身大致位置后，利用视觉传感器检测车道线从而确认车身所在车道，查询地图信息对位置进行校正；同时利用激光雷达传感器检测马路边界，采用局部三维重建的方式获取到车身距离两侧边界距离，进而对车身位置进行二次校正。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.基于多信息融合的主动驾驶方法,其特征在于，是通过以下步骤实现的：

S1：在汽车行进过程中，用视觉传感器对周围环境中的行人进行检测，同时对交通信号灯及周围车辆进行检测；

S2：当检测到行人的时候，对行人是否为交通管制人员进行判断，如果是交通管制人员，对其动作进行识别，根据交通管制人员动作判断当前该如何驾驶并将相应驾驶策略发送给驾驶控制模块；

S3：视觉传感器对地面交通标志检测，获取标志指示策略并发送给驾驶控制模块；视觉传感器对交通信号灯检测，获取信号灯指示策略并发送给驾驶控制模块；

S4：车载雷达系统与车载视觉传感器共同检测前方与两侧车辆及其驾驶行为，通过其驾驶行为来判断周围车辆对当前路况的判断，并将周围车辆行车状态发送给驾驶控制模块；

S5：在获取了交通管制人员动作相应的驾驶策略、路面标志给出的指示策略、交通信号灯给出的指示策略、周围车辆的驾驶行为状态后，驾驶控制模块对各模块的信息进行加权融合。

2.根据权利要求1所述的基于多信息融合的主动驾驶方法,其特征在于，步骤S2中判断行人是否为交通管制人员是通过如下具体步骤进行的：

步骤1：搜集大量行人与交通管制人员的荧光马甲图像样本与其负样本；

步骤2：通过adboost进行特征统计，离线训练得到关于行人检测的分类器与荧光马甲检测的分类器，并建立荧光马甲的颜色直方图模板；

步骤3：当主动驾驶系统通过行人检测模块检测出有行人目标出现时，对行人的躯干部分上下左右各偏离1/2区间，进行荧光马甲的颜色直方图模板匹配；

步骤4：模板匹配后对相似度度量达到85％以上的多个候选区域进行荧光马甲分类器精确检测，选取其中置信度最高的区域作为最终结果的置信度；

步骤5：最终结果的置信度大于阈值时，检测到行人为交通管制人员。

3.根据权利要求2所述的基于多信息融合的主动驾驶方法,其特征在于，当检测到行人为交通管制人员时，对交通管制人员的帽子进行类型识别，其步骤如下：

A、通过adboost进行特征统计，离线训练大样本的交警警帽图片，进而确定交警警帽分类器；

B、在上述检测出交通管制人员的基础上，通过对检测出的行人头部区域进行上下左右各1/2区域的扩充；

C、然后对扩充后的头部区域进行交警警帽的检测，利用步骤A中训练得到的交警警帽分类器，判断该区域内是否有交警警帽，如果有则该交通管制人员为交警；否则为协勤。

4.根据权利要求3所述的基于多信息融合的主动驾驶方法,其特征在于，步骤S2中采用隐马尔科夫模型结合维特比算法检测交警动作。

5.根据权利要求1所述的基于多信息融合的主动驾驶方法,其特征在于，步骤S3中，对交通信号灯的检测方法，具体是通过以下步骤实现的：

D1：利用车载GPS对车身位置进行定位，以获取车身位置信息；

D2：利用车身所在车道信息，通过地图查找比对的方式对GPS定位的结果进行第一次校正；

D3：利用车载雷达系统对车身位置进行第二次校正；

D4：获取到车身实时的精确位置后，控制模块将精确位置信息传给地图模块，查询当前位置距离前方路口的距离，根据前方路口的距离与自身车速，计算出到达前方路口的时间；

D5：在以车身为中心的世界坐标系中，得到信号灯的坐标，通过世界坐标系转换为图像坐标系，确定信号灯的图像坐标区域；

D6:在图像坐标系中锁定信号灯的图像坐标区域来检测信号灯。

6.根据权利要求5所述的基于多信息融合的主动驾驶方法,其特征在于，步骤D2中车身所在车道信息是通过下面方法获得的:在GPS获取车身位置信息的同时，车载视觉传感器检查路面的车道线，并通过车道线在视觉场景中的坐标位置关系，确定车身所在的车道。

7.根据权利要求5所述的基于多信息融合的主动驾驶方法,其特征在于，步骤D3中第二次校正为：车载雷达系统检测路两边的马路边界突起，通过局部三维信息重建技术测量马路边界的宽度，并且确定车身距离两侧马路边界的精确距离。

8.根据权利要求5-7任一项所述的基于多信息融合的主动驾驶方法,其特征在于，在步骤S4中获取了车身距离信号灯距离d后，根据车身高度与信号灯高度之差H-h得到三角形的两条直角边，求出第三条边的长度，进而以车身为中心建立世界坐标系。

9.根据权利要求1所述的基于多信息融合的主动驾驶方法,其特征在于，在步骤S4中车辆驾驶行为，包括加速、减速、刹车停止动作。

10.根据权利要求9所述的基于多信息融合的主动驾驶方法,其特征在于，在步骤S5中加权融合是指在有交警指挥的驾驶策略时，以交警指挥为准；在没有交警指挥的情况下，对交通信号灯给出的策略与地面交通标志给出的策略结合，并兼顾周围车辆驾驶行为，在驾驶行为上与周围车辆大致保持一致。