CN108172025B - 一种辅助驾驶方法、装置、车载终端及车辆 - Google Patents

Abstract

本发明公开一种辅助驾驶方法、装置、车载终端及车辆，所述方法包括：获取车辆周围环境的图像序列；确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；从所述图像序列中预测行人运动趋势和行人行为；由所述行人运动趋势和所述行人行为预测行人意图；基于所述行人位置、行人属性和行人意图采取对应的警告策略。该方法可以自动获取车辆周围环境的图像序列，根据图像序列获取行人位置、行人属性、行人运动趋势及行人行为，并根据行人运动趋势和行人行为预测行人意图，最后根据行人位置、行人属性和行人意图自动采取对应的警告策略，为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

Description

一种辅助驾驶方法、装置、车载终端及车辆

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种辅助驾驶方法、装置、车载终端及车辆。

背景技术

随着经济与社会的进步，汽车产业飞速发展，交通安全问题已成为世界性的大问题。目前，对于车辆周围环境的识别主要取决于驾驶员，驾驶员人工观察车辆周围行人的状况来采取对应的驾驶策略。

但是，驾驶员长期驾驶可能存在驾驶疲劳，不能及时发现威胁驾驶安全的行人。另一方面，在复杂的交通环境中，行人太多，而且行驶状态千变万化，驾驶员也只能关注前方的行人，对于侧方甚至后方的行人并不能及时观测。

因此，现有技术中单纯依靠驾驶员人工判断行人的行驶状态采取相应的驾驶策略，会造成遗漏，不能全面指导驾驶员驾驶，严重时可能造成各种安全事故。

发明内容

为了解决现有技术中存在的以上技术问题，本发明提供一种辅助驾驶方法、装置、车载终端及车辆，能够监测车辆周围的行人，及时对车辆的驾驶员进行警告，有效避免交通事故的发生，提高汽车驾驶的安全性。

为此，本发明实施例提供如下技术方案：

第一方面，本发明实施例提供了一种辅助驾驶方法，所述方法包括：

获取车辆周围环境的图像序列；

确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；

从所述图像序列中预测行人运动趋势和行人行为；

由所述行人运动趋势和所述行人行为预测行人意图；

基于所述行人位置、行人属性和行人意图采取对应的警告策略。

可选的，确定所述图像序列中行人属性，具体包括：

从所述图像序列中获取行人所占像素的大小；

根据所述行人位置获取行人与车辆的距离信息；

根据所述距离信息以及所述行人所占像素的大小确定所述行人属性。

可选的，从所述图像序列中预测行人运动趋势，具体包括：

从所述图像序列中获取行人运动方向；

从所述图像序列中分别获取多帧图像中行人位置，由所述多帧图像中的行人位置确定行人运动轨迹；

分析所述行人运动方向和行人运动轨迹预测行人运动趋势；

所述行人运动趋势包括：接近车辆、远离车辆和与车辆并行运动。

可选的，从所述图像序列中预测行人行为，具体包括：

基于所述图像序列的时序信息识别行人行为；

所述行人行为包括关注交通环境行为和非关注交通环境行为；

所述非关注交通环境行为的警告策略高于关注交通环境行为的警告策略。

可选的，所述警告策略的优先级按照所述行人位置、行人属性和行人意图依次递减。

可选的，所述警告策略按照行人位于车辆的以下驾驶区域依次减弱：危险区、警告区和安全区；

所述行人位于的驾驶区域具体以车辆为基准，根据所述行人位置判断行人位于的所述驾驶区域。

第二方面，本发明实施例提供一种辅助驾驶装置，所述装置包括：

图像序列获取单元，用于获取车辆周围环境的图像序列；

行人位置确定单元，用于确定所述图像序列中行人位置；

行人属性确定单元，用于确定所述图像序列中行人属性；所述行人属性用于表征行人类别；

行人运动趋势预测单元，用于预测所述图像序列中行人运动趋势；

行人行为预测单元，用于预测所述图像序列中行人行为；

预测单元，用于由所述行人运动趋势和所述行人行为预测行人意图；

警告单元，用于基于所述行人位置、行人属性和行人意图采取对应的警告策略。

可选的，所述行人属性确定单元，具体包括：

像素获取子单元，用于从所述图像序列中获取行人所占像素的大小；

距离信息获取子单元，用于根据所述行人位置获取行人与车辆的距离信息；

行人属性确定子单元，用于根据所述距离信息以及所述行人所占像素的大小确定所述行人属性。

可选的，所述行人运动趋势预测单元，具体包括：

行人运动方向获取子单元，用于从所述图像序列中获取行人运动方向；

行人运动轨迹确定子单元，用于从所述图像序列中分别获取多帧图像中行人位置，由所述多帧图像中的行人位置确定行人运动轨迹；

行人运动趋势预测子单元，用于分析所述行人运动方向和行人运动轨迹预测行人运动趋势；所述行人运动趋势包括：接近车辆、远离车辆和与车辆并行运动。

可选的，所述行人行为预测单元，具体包括：

识别子单元，用于基于所述图像序列的时序信息识别行人行为；所述行人行为包括关注交通环境行为和非关注交通环境行为；所述非关注交通环境行为的警告策略高于关注交通环境行为的警告策略。

第三方面，本发明实施例提供一种车载终端，应用于车辆，包括：

摄像头和处理器；

所述摄像头，用于获取车辆周围环境的图像序列；

所述处理器，用于确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；从所述图像序列中预测行人运动趋势和行人行为；由所述行人运动趋势和行人行为预测行人意图；基于所述行人位置、行人属性和行人意图采取对应的警告策略。

第四方面，本发明实施例提供一种车辆，包括第三方面的车载终端，还包括：整车控制器；所述整车控制器，用于接收所述车载终端的控制器发送的警告策略，根据所述警告策略对车辆的驾驶员进行警告。

第五方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取车辆周围环境的图像序列；

确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；

从所述图像序列中预测行人运动趋势和行人行为；

由所述行人运动趋势和行人行为预测行人意图；

基于所述行人位置、行人属性和行人意图采取对应的警告策略。

与现有技术相比，本发明至少具有以下优点：

首先，获取车辆周围环境的图像序列；确定所述图像序列中提取行人位置及行人属性；从所述图像序列中预测行人运动趋势和行人行为；由所述行人运动趋势和行人行为预测行人意图；基于所述行人位置、行人属性和行人意图采取对应的警告策略，以便帮助驾驶员安全驾驶。

可见，本发明提供的辅助驾驶方法可以自动获取车辆周围环境的图像序列，根据图像序列获取行人位置、行人属性、行人运动趋势及行人行为，并根据行人运动趋势和行人行为预测行人意图，最后根据行人位置、行人属性和行人意图自动采取对应的警告策略，为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种辅助驾驶方法的流程图；

图2为本发明实施例提供的另一种辅助驾驶方法的流程图；

图3为本发明实施例提供的一种驾驶区域划分示意图；

图4为本发明实施例提供的一种辅助驾驶装置结构图；

图5A为本发明实施例提供的另一种辅助驾驶装置结构图；

图5B为本发明实施例提供的又一种辅助驾驶装置结构图；

图5C为本发明实施例提供的再一种辅助驾驶装置结构图

图6为本发明实施例提供的一种车载终端结构图；

图7为本发明实施例提供的一种车辆结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解本发明提供的技术方案，下面先对本发明技术方案的背景技术进行简单说明。

发明人在研究中发现，行人作为交通参与者的重要组成部分，是交通安全中需要重点保护的对象。因此，驾驶员驾驶时需要观测周边环境中的行人，从而为安全驾驶提供辅助。而目前对于如何根据车辆周边行人的位置、运动状态等信息，仅依靠驾驶员人工观测做出相应判断，这种方式不能准确及时采取对应的驾驶策略。

基于此，本发明实施例提供一种辅助驾驶方法，获取车辆周围环境的图像序列；从确定图像序列中行人位置及行人属性；从图像序列中预测行人运动趋势和行人行为；由行人运动趋势和行人行为预测行人意图；基于行人位置、行人属性和行人意图采取对应的警告策略；从而实现根据车辆周围行人的状态信息采取对应的警告策略，以便驾驶员根据不同的警告策略，采取不同的驾驶策略，保证驾驶安全，减少交通事故的发生。

实施例一：

下面将结合图1对本发明示例性实施例示出的辅助驾驶方法进行详细介绍。

参见图1，该图为本发明实施例提供的一种辅助驾驶方法流程图。

本实施例提供的辅助驾驶方法具体包括以下步骤：

S101：获取车辆周围环境的图像序列。

图像序列可以通过拍摄车辆周围环境的视频获得。拍摄时可以预先设置拍摄范围，一般设置车辆行驶前方预定宽度和距离的即可，比如拍摄车辆行驶前方左右宽5米，前方20米范围以内的视频图像即可。拍摄范围可以针对不同类型的车辆设置不同的范围大小，以适应不同车辆结构，从而获取比较理想的视频图像。其中车辆类型可以包括越野车、轿车、卡车和货车等。

关于拍摄车辆周围环境的视频的具体实现方式，可以采用车辆前方安装摄像头或者行车记录仪等。

具体可以通过设置摄像头的参数设置拍摄范围，其中，摄像头的参数可以包括内参和外参。其中内参包括焦距f_x、f_y，x₀、y₀为主点坐标(相对于成像平面)，s为坐标轴倾斜参数等。外参包括旋转矩阵和平移矩阵等，针对不同的车辆设置不同的摄像头参数，以便摄像头能够拍摄到合理的预设行驶范围的图像。

拍摄车辆周围环境的视频，获取视频对应的图像序列，该图像序列可以是针对不同时刻、不同方位的视频依次获取的图像序列，以便根据上述图像序列执行步骤S102。

其中，图像可以为二值图像、灰度图像或者彩色图像。

S102：确定所述图像序列中的行人位置及行人属性，所述行人属性用于表征行人类别。

其中，所述行人类别可以包括有自主辨别能力的行人和无自主辨别能力的行人；例如成人属于有自主辨别能力的行人，未成年人属于无自主辨别能力的行人。

因为成人和未成年人作为交通参与者，他们对于当前的交通状况认知以及反应速度不同，为了更有针对性地保证行人的安全，需要区分行人类别，以便针对不同类别的行人采取不同的警告策略，以适应不同行人的需求。关于如何确定行人属性将在后续实施例进行详细描述。

在实际应用中，可以基于深度学习检测图像中的行人，进而确定行人位置。

可以理解的是，基于深度学习从图像中获得行人位置的技术已经比较成熟，例如利用全积神经网络提取行人位置，在此不再详细赘述。

S103：从所述图像序列中预测行人运动趋势和行人行为。

行人运动趋势例如可以包括：接近车辆、远离车辆和与车辆并行运动。

行人行为例如可以包括：关注交通环境行为和非关注交通环境行为。

S104：由所述行人运动趋势和行人行为预测行人意图。

行人意图是指行人将要做出的行动，比如可以分为以下三类：行人横穿道路、行人直行和行人站立。

其中，行人意图具体的分类数目本实施例中不做具体限定，可以根据实际交通环境来设置。

可以理解的是，本实施例中按照行人与车辆之间的相对动态来划分行人意图，例如：行人直行属于与车辆的运动方向并行，行人横穿道路属于与车辆的运动方向有交叉，站立是指行人在原地站立保持不动。

具体可以利用softmax函数来预测行人意图，其中softmax函数中应用的参数矩阵可以预先通过训练行人运动趋势和行人行为获得，当运用时，可以将行人运动趋势和行人行为组合为一个向量，与所述参数矩阵相乘得各类行人意图的概率，将最大概率对应的行人意图作为预测行人意图。可以理解的是，三类行人意图的概率之和为1。例如横穿道路所占概率为0.75，而站立为0.15，直行为0.1，则预测行人意图为横穿道路。

S105：基于所述行人位置、行人属性和行人意图采取对应的警告策略。

可以理解的是，警告策略与行人位置、行人属性和行人意图均相关，例如，当行人位置相同，但是行人属性不同时，对应不同的警告策略。此时，未成年人和成人位置相同，但未成年人对应的警告策略的优先级高于成人对应的警告策略。

本实施例提供的警告策略用于提示车辆的驾驶员车辆周围的交通状况，以便驾驶员根据警告策略采取不同的驾驶策略，以提升驾驶安全性。其中，驾驶策略为驾驶员针对不同的警告策略采取的驾驶方式，可以为正常行驶、减速或停止前行等。

具体实现时，警告策略的方式可以为语音提示，比如，当车辆前方10米处有未成年人要横穿道路时，则语音提示“车辆前方10米处有未成年人横穿道路”。

另外，警告策略的方式也可以利用提示灯进行提示，比如，利用绿灯提示驾驶员车辆前方交通状况安全；黄灯提示驾驶员车辆前方有行人；红灯提示驾驶员车辆前方有行人且行人横穿道路。

另外，警告策略的方式还可以利用蜂鸣器进行提示，利用蜂鸣器发出不同频率的声音来提示驾驶员车辆前方不同的交通状况，比如，利用平缓的蜂鸣声提示驾驶员车辆前方较远距离有成人横穿马路；利用短促且声音大的蜂鸣声提示驾驶员车辆前方较近距离有未成年人横穿马路。

需要说明的是，在实际应用中，还可以利用其它方式提示驾驶员车辆前方的交通状况，本实施例在此不做限定。

本发明实施例提供的辅助驾驶方法，可以自动获取车辆周围环境的图像序列，确定图像序列中行人位置和行人属性，从图像序列中预测行人运动趋势和行人行为，利用行人运动趋势和行人行为预测行人意图，最后基于行人位置、行人属性和行人意图采取对应的警告策略，可见，通过对车辆周围环境图像序列的获取，可以自动分析车辆周围行人位置、行人属性以及行人意图，以根据上述参数采取对应的警告策略，给予驾驶员警告，以便驾驶员可以及时根据警告策略采取驾驶策略，从而提高驾驶的安全性，减少交通事故的发生。

下面结合实施例二更进一步详细介绍辅助驾驶方法的实现。

实施例二

参见图2，该图为本发明实施例提供的另一种辅助驾驶方法的流程图。

本实施例提供的辅助驾驶方法包括以下步骤：

本实施例中S201与实施例一中的S101相同，在此不再赘述。

S202：从所述图像序列中确定行人位置。

S203：从所述图像序列中确定行为属性，S203具体可以包括以下的S203a-S203c；

S203a：从所述图像序列中获取行人所占像素的大小。

由于成人的身高一般都高于未成年人。因此当成人和未成年人的行人位置相同时，在图像序列中成人所占像素的大小大于图像序列中未成年人所占像素的大小。比如，成人和未成年人距离车辆均为10米，成人所占像素大于未成年人所占像素。

S203b：根据所述行人位置获取行人与车辆的距离信息。

具体实现时，该距离信息可以以车辆为参考物，即以车辆为坐标系的原点，获得行人相对于车辆的距离信息。

S203c：根据所述距离信息以及所述行人所占像素的大小确定所述行人属性。

实际应用中，可以预先保存相距车辆的距离信息，以及该距离信息对应的成人像素区间以及未成年人像素区间。当获得图像序列时，根据行人的距离信息判断行人所占像素落入该距离信息对应的成人像素区间还是落入未成年人像素区间，以此提取该行人属性。

例如该行人所占像素的大小落入未成年人像素区间时，提取该行人属性为未成年人。举例说明，具体实现时提取图像序列中行人与车辆的距离信息为d，行人所占像素为P，则判断P落入距离信息为d时对应的像素区间。例如距离信息为d时，成人像素区间为[A_x，A_y]，未成年人像素区间为[C_x，C_y]，当P落入[A_x，A_y]内时，则提取该行人属性为成人；如果P落入[C_x，C_y]内时，则获取该行人属性为未成年人。

另外，实际应用时，也可以利用像素阈值来判断行人类别，例如当行人所占像素大于像素阈值时，为成年，反之为未成年人。

S204：从所述图像序列中预测行人运动趋势，S204具体可以包括以下的S204a-S204c；

S204a：从所述图像序列中提取行人运动方向。

可以理解的是，行人运动方向是指该行人的朝向，通过一帧图像就可以获得。具体地，行人运动方向在本实施例中可以将东西南北360度进行量化，每45度区间为一个方向，即共包括8个方向，例如0-45度为第一方向，46度-90度为第二方向等。

通过图像获得图像中行人的运动方向是比较成熟的技术，在此不再赘述。

S204b：从所述图像序列中分别获取多帧图像中行人位置，由所述多帧图像中行人位置确定行人运动轨迹。

在本实施例中，多帧图像可以是不同时刻的图像，在每帧图像中可以使用矩形框表示行人，当获取行人运动轨迹时，连接每帧图像中矩形框的中心点，从而获得行人运动轨迹。例如，可以利用长短期记忆网络(Long Short Term Memory，LSTM)关联图像序列时空上下文信息获得行人运动轨迹。

S204c：分析所述行人运动方向和行人运动轨迹预测行人运动趋势。

本实施例中行人运动趋势可以包括：接近车辆、远离车辆和与车辆并行运动等。

具体可以利用softmax函数预测行人运动趋势，参见以下计算公式：

y＝softmax(W(x1,x2)) (1)

其中，y表示行人运动趋势；x1表示行人运动方向；x2表示行人运动轨迹；W(x1,x2)＝w1*x1+w2*x2，其中参数矩阵[w1，w2]可以通过预先训练获得。

实际运用时，将行人运动方向和行人运动轨迹作为输入，与所述参数矩阵相乘获得各类行人运动趋势的概率，将最大概率对应的行人运动趋势作为预测行人运动趋势。例如，利用softmax函数计算获得接近车辆对应的概率为0.25、远离车辆对应的概率为0.35、与车辆并行运动对应的概率为0.4，因此，获得行人运动趋势为与车辆并行运动。

S205：从所述图像序列中预测行人行为，具体为：

基于所述图像序列的时序信息利用深度学习识别行人行为。

本实施例中行人行为包括关注交通环境和非关注交通环境两大类。

关注交通环境行为是指行人的注意力集中在交通环境；非关注交通环境行为是指行人注意力没有集中在交通环境，而是被其他事物所吸引。

非关注交通环境行为，例如可以包括：打电话、与人交谈或看手机等，

其中，直行的行人也可以同时打电话，站立的行人也可以同时与人交谈。

如果行人行为为直行打电话则为非关注交通环境，同理行人行为为站立打电话也为非关注交通环境。

其中，非关注交通环境行为的警告策略高于关注交通环境行为的警告策略。

实际应用中，由于非关注交通环境行为的行人注意力没有集中在交通环境，针对同样的交通情况，与关注交通环境行为的行人相比，其发生危险的概率较高，基于此，针对非关注交通环境行为的警告策略高于关注交通环境行为的警告策略，以便驾驶员根据不同的警告策略采取不同的驾驶策略，避免危险发生。

可以理解的是，行人行为为关注交通环境还是非关注交通环境，需要先判断行人具体行为，例如分为以下五类：看交通灯、来回扭头看车、打电话、与人交谈和看手机。由行人具体行为再判断属于关注交通环境还是非关注交通环境。由于这五类行为中的每类都具体体现为一个行为过程，并不能通过一帧图像获得，因此需要多帧图像获得。

与获得行人意图类似，需要预先经过训练，获得对应的参数，利用参数将实际图像作为输入，获得输出结果为以上五类行人具体行为的概率，最大概率对应的行人具体行为视为最终识别的行人具体行为。再由行人具体行为判断是关注交通环境还是非关注交通环境。例如行人具体行为为打电话，则判断为非关注交通环境。行人具体行为为看交通灯，则判断为关注交通环境。

本实施例中S206-S207分别与实施例一中的S104-S105相同，在此不再赘述。

在本实施例中，所述警告策略的优先级按照所述行人位置、行人属性和行人意图依次递减。

在具体实现时，当行人位置不同时，首先基于行人位置采取警告策略，以距离车辆越近的行人为基准采取警告策略；当行人位置相同时，基于行人属性采取警告策略，行人属性不同采取警告策略不同，未成年人的警告策略高于成人的警告策略；当行人位置以及行人属性相同时，基于行人意图采取警告策略，横穿道路的警告策略要高于非横穿道路的警告策略。

在一些实施方式中，还可以以车辆为参考点划分不同的区域，通过判断行人所处的驾驶区域采取对应的警告策略。

警告策略按照行人位于车辆的以下驾驶区域依次减弱：危险区、警告区、安全区。

本实施例中，由行人位置既可以获得行人相对于车辆的方向，又可以获得行人与车辆的相对距离，从而可以根据行人与车辆的距离和行人相对于车辆的方向判断行人具体位于的驾驶区域。

需要说明的是，危险区、警告区、安全区的范围是预先确定的，判断时根据行人位置判断该行人是否落入车辆的以上驾驶区域，从而根据落入的驾驶区域采取该驾驶区域对应的警告策略即可。

可以理解的是，以上仅是举例说明了三个驾驶区域，可以根据实际需要来设置不同数目的驾驶区域，另外，每个驾驶区域包括的范围可以根据车型，地形等实际情况来设置，本实施例中也不做具体限定。

具体实现时，以车辆为参考点，可以将车辆前方5米左右1米范围内的区域设置为危险区；将车辆前方5-10米左右1.5米范围内的区域设置为警告区；将车辆前方10米左右2米以外的区域设置为安全区，并将上述驾驶区域划分信息预先保存。当根据行人位置获得行人与车辆的相对距离以及行人相对于车辆的方向时，通过与预先保存的划分信息进行比对，确定行人具体位于的驾驶区域。

为了使本领域技术人员更好地理解和实施本发明以上实施例提供的辅助驾驶方法，下面结合图3的场景图对其进行详细说明。

参见图3，该图为本发明实施例提供的一种驾驶区域划分示意图。

本实施例中以驾驶区域划分为以下三个为例进行介绍：危险区301、警告区302以及安全区303。

下面结合图3分别介绍位于相同驾驶区域的行人对应的警告策略。需要说明的是，行人位于的驾驶区域是由行人位置得到的，即利用行人位置可以判断该行人位于的驾驶区域。

首先，介绍驾驶区域为危险区的情况。

图3中位于危险区301的行人包括：行人A和行人B；利用上述实施例提供的方法获取行人A的行人属性为成人，行人A的行人运动趋势为与车辆并行运动，行人A的行人行为为关注交通环境，预测行人A的行人意图为非横穿道路。

行人B的行人属性为成人，行人B的行人运动趋势为接近车辆，行人B的行人行为为关注交通环境，预测行人B的行人意图为横穿道路。

虽然行人A和行人B的行人位置不相同，但是均位于危险区；另外，A和B的行人属性相同，但是A和B的行人意图不同，由于B的行人意图为横穿道路，其相对于车辆的危险系数更大，因此B对应的警告策略高于A对应的警告策略。

其次，介绍驾驶区域为警告区的情况。

图3中位于警告区302的行人包括：行人C和行人D；同理，利用上述实施例提供的方法获取行人C的行人属性为成人，行人C的行人运动趋势为与车辆并行运动，行人C的行人行为为关注交通环境，预测行人C的行人意图为非横穿道路。

利用上述实施例提供的方法获取行人D的行人属性为成人，行人D的行人运动趋势为接近车辆，行人D的行人行为为关注交通环境，预测行人D的行人意图为横穿道路。

虽然行人C和行人D的行人位置不相同，但是均位于警告区；另外，C和D的行人属性相同，但是C和D的行人意图不同，由于D的行人意图为横穿道路，其相对于车辆的危险系数更大，因此D对应的警告策略高于C对应的警告策略。

再次，介绍驾驶区域为安全区的情况。

图3中位于安全区303的行人包括：行人E和行人F；同理，利用上述实施例提供的方法获取行人E的行人属性为未成年人，行人E的行人运动趋势为接近车辆，行人E的行人行为为非关注交通环境，预测行人E的行人意图为横穿道路。

利用上述实施例提供的方法获取行人F的行人属性为成人，行人F的行人运动趋势为接近车辆，行人F的行人行为为关注交通环境，预测行人F的行人意图为横穿道路。

虽然行人E和行人F的行人位置不相同，但均位于安全区；另外，E和F的行人意图相同，但是E和F的行人属性不同，由于E的行人属性为未成年人，其相对于车辆的危险系数更大，因此E对应的警告策略高于F对应的警告策略。

除了以上介绍的场景以外，还包括以下几种情况：

第一，严重警告，以下3种情况均进行严重警告，严重警告对应的驾驶策略为停止前行。

行人处在危险区且行人属性是未成年人；

行人处在危险区且行人行为是非关注交通环境；

人处在危险区且行人运动趋势是接近车辆。

第二，较重警告，以下3种情况均进行较重警告，较重警告对应的驾驶策略为减速慢行。

行人处在危险区，行人行为是关注交通环境，且行人运动趋势是远离车辆或与车辆并行运动；

行人处在警告区，行人行为是非关注交通环境；

行人处在警告区，行人运动趋势是接近车辆。

第三，一般警告，以下2种情况均进行一般警告，一般警告对应的驾驶策略为正常行驶。

行人处在安全区；

行人处在警告区，且行人行为是关注交通环境，且行人运动趋势是远离车辆或与车辆并行运动。

本实施例提供的方法，有效区分了行人为成人还是未成年人，有针对性地采取不同的警告策略，例如对于未成年人采取级别较高的警告策略，这样可以有利保护没有自主辨别能力的未成年人的安全。而且对于位于不同驾驶区域的行人采取不同的警告策略，对于位于同一个驾驶区域的行人，再区分其行人属性和行人意图，进一步细分警告策略。因此，本实施例提供的方法可以全面更有针对性地采取警告策略，一方面可以全面保护行人的安全，另一方面可以保证不必要的驾驶中断。

基于上述实施例提供的一种辅助驾驶方法，本发明还提供了一种辅助驾驶装置，下面结合附图进行详细介绍。

实施例三

参见图4，该图为本发明实施例提供的一种辅助驾驶装置结构图。

本实施例提供的辅助驾驶装置包括：

图像序列获取单元401、行人位置确定单元402、行人属性确定单元403、行人运动趋势预测单元404、行人行为预测单元405、预测单元406和警告单元407。

图像序列获取单元401，用于获取车辆周围环境的图像序列。

行人位置确定单元402，用于确定所述图像序列中行人位置。

行人属性确定单元403，用于确定所述图像序列中行人属性；所述行人属性用于表征行人类别。

行人运动趋势预测单元404，用于预测所述图像序列中行人运动趋势。

行人行为预测单元405，用于预测所述图像序列中行人行为。

预测单元406，用于由所述行人运动趋势和所述行人行为预测行人意图；

警告单元407，用于基于所述行人位置、行人属性和行人意图采取对应的警告策略。

需要说明的是，本实施例各个单元或模块具体的配置和实现可以参见图1和图2所述方法实施例，在此不再赘述。

通过本发明实施例提供的辅助驾驶装置，可以自动获取车辆周围环境的图像序列，根据图像序列获取行人位置、行人属性、行人运动趋势及行人行为，并根据行人运动趋势和行人行为预测行人意图，最后根据行人位置、行人属性和行人意图自动采取对应的警告策略，为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

下面结合实施例四更进一步详细介绍行人属性提取单元的组成。

实施例四

参见图5A，该图为本发明实施例提供的另一种辅助驾驶装置结构图。

本实施例提供的辅助驾驶装置中所述行人属性确定单元403，具体包括：

像素获取子单元4031，用于从所述图像序列中获取行人所占像素的大小。

距离信息获取子单元4032，用于根据所述行人位置获取行人与车辆的距离信息。

行人属性确定子单元4033，用于根据所述距离信息以及所述行人所占像素的大小确定所述行人属性。

需要说明的是，本实施例各个单元或模块具体的配置和实现可以参见图1和图2所述方法实施例，在此不再赘述。

通过本发明实施例提供的辅助驾驶装置，通过获取图像序列中行人所占像素大小以及行人与车辆的距离判断行人属性为成人还是未成年人，以便针对不同属性的行人采取不同的警告策略，为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

下面结合实施例更进一步详细介绍行人运动趋势提取单元的组成。

实施例五

参见图5B，该图为本发明实施例提供的又一种辅助驾驶装置结构图。

本实施提供的辅助驾驶装置中行人运动趋势预测单元404，具体包括：

行人运动方向获取子单元4041，用于从所述图像序列中获取行人运动方向。

行人运动轨迹确定子单元4042，用于从所述图像序列中分别获取多帧图像中行人位置，由所述多帧图像中的行人位置确定行人运动轨迹。

行人运动趋势预测子单元4043，用于分析所述行人运动方向和行人运动轨迹预测行人运动趋势；所述行人运动趋势包括：接近车辆、远离车辆和与车辆并行运动。

需要说明的是，本实施例各个单元或模块具体的配置和实现可以参见图1和图2所述方法实施例，在此不再赘述。

通过本发明实施例提供的辅助驾驶装置，通过从图像序列中获取行人运动方向以及行人的运动轨迹获得行人的运动趋势，以便针对不同的行人运动趋势采取不同的警告策略，为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

下面结合实施例六更进一步详细介绍行人行为提取单元的组成。

实施例六

参见图5C，该图为本发明实施例提供的再一种辅助驾驶装置结构图。

本实施例提供的辅助驾驶装置中行人行为预测单元405，具体包括：

识别子单元4051，用于基于所述图像序列的时序信息识别行人行为；所述行人行为包括关注交通环境行为和非关注交通环境行为；所述非关注交通环境行为的警告策略高于关注交通环境行为的警告策略。

需要说明的是，本实施例各个单元或模块具体的配置和实现可以参见图1和图2所述方法实施例，在此不再赘述。

通过本发明实施例提供的辅助驾驶装置，通过从图像序列中获得行人行为，以便根据不同的行人行为采取不同的警告策略，为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

基于以上实施例提供的辅助驾驶方法和装置，本发明还提供一种车载终端，下面结合附图进行详细介绍。

其中，车载终端可以应用在各种类型的车辆上，例如轿车、越野车、卡车、货车等，以便实现本发明辅助驾驶的功能。

实施例七

参见图6，该图为本发明实施例提供的一种车载终端结构示意图。

本实施例提供的车载终端610包括：摄像头611和处理器612。

所述摄像头611，用于获取车辆周围环境的图像序列。

所述处理器612，用于确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；从所述图像序列中预测行人运动趋势和行人行为；由所述行人运动趋势和行人行为预测行人意图；基于所述行人位置、行人属性和行人意图采取对应的警告策略。

需要说明的是，该车载终端可以作为独立的产品，适用于各种类型的汽车。

通过本发明实施例提供的车载终端，可以利用摄像头自动获取车辆周围环境的图像序列，处理器从图像序列中获取行人位置、行人属性、行人运动趋势和行人行为，并利用行人运动趋势和行人行为预测行人意图，再基于行人位置、行人属性和行人意图采取对应的警告策略，为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

基于以上实施例提供的一种辅助驾驶方法、装置以及车载终端，本发明还提供了一种车辆，下面结合附图进行详细介绍。

实施例八

参见图7，该图为本发明实施例提供的一种车辆的结构示意图。

本实施例提供的车辆包括实施例七中车载终端610和整车控制器710。

所述车载终端610，用于获取车辆周围环境的图像序列；确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；从所述图像序列中预测行人运动趋势和行人行为；由所述行人运动趋势和行人行为预测行人意图；基于所述行人位置、行人属性和行人意图采取对应的警告策略。

所述整车控制器710，用于接收所述车载终端的控制器发送的警告策略，根据所述警告策略对车辆的驾驶员进行警告。

可选的，车载终端620包括摄像头611和处理器612。

所述摄像头611，用于获取车辆周围环境的图像序列。

所述处理器612，用于确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；从所述图像序列中预测行人运动趋势和行人行为；由所述行人运动趋势和行人行为预测行人意图；基于所述行人位置、行人属性和行人意图采取对应的警告策略。

本实施例提供的车辆，可以利用车载终端中摄像头自动获取车辆周围环境的图像序列，再利用处理器从图像序列中获取行人位置、行人属性、行人运动趋势和行人行为，并利用行人运动趋势和行人行为预测行人意图，再基于行人位置、行人属性和行人意图采取对应的警告策略，整车控制器接收警告策略，对车辆的驾驶员进行警告，从而为驾驶员安全驾驶提供有利辅助，提高车辆行驶的安全性，减少交通事故的发生。

基于以上实施例提供的辅助驾驶方法、装置以及车载终端，本发明还提供了一种计算机可读存储介质，本实施例提供的计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取车辆周围环境的图像序列。

确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别。

从所述图像序列中预测行人运动趋势和行人行为。

由所述行人运动趋势和行人行为预测行人意图。

基于所述行人位置、行人属性和行人意图采取对应的警告策略。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (11)

1.一种辅助驾驶方法，其特征在于，包括以下步骤：

获取车辆周围环境的图像序列；

确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；所述行人属性包括成年人和未成年人；

从所述图像序列中预测行人运动趋势和行人行为；所述行人运动趋势包括：接近车辆、远离车辆和与车辆并行运动；所述行人行为包括：关注交通环境行为和非关注交通环境行为；

由所述行人运动趋势和所述行人行为预测行人意图；所述行人意图至少包括以下一种：行人横穿道路、行人直行和行人站立；所述行人直行属于与车辆的运动方向并行，所述行人横穿道路属于与车辆的运动方向有交叉，所述站立是指行人在原地站立保持不动；

基于所述行人位置、行人属性和行人意图采取对应的警告策略；所述警告策略的优先级按照所述行人位置、行人属性和行人意图依次递减；所述警告策略按照行人位于车辆的以下驾驶区域依次减弱：危险区、警告区和安全区；所述行人位于的驾驶区域具体以车辆为基准，根据所述行人位置判断行人位于的所述驾驶区域。

2.根据权利要求1所述的辅助驾驶方法，其特征在于，确定所述图像序列中行人属性，具体包括：

从所述图像序列中获取行人所占像素的大小；

根据所述行人位置获取行人与车辆的距离信息；

根据所述距离信息以及所述行人所占像素的大小确定所述行人属性。

3.根据权利要求1所述的辅助驾驶方法，其特征在于，从所述图像序列中预测行人运动趋势，具体包括：

从所述图像序列中获取行人运动方向；

从所述图像序列中分别获取多帧图像中行人位置，由所述多帧图像中的行人位置确定行人运动轨迹；

分析所述行人运动方向和行人运动轨迹预测行人运动趋势。

4.根据权利要求1所述的辅助驾驶方法，其特征在于，从所述图像序列中预测行人行为，具体包括：

基于所述图像序列的时序信息识别行人行为；

所述行人行为包括关注交通环境行为和非关注交通环境行为；

所述非关注交通环境行为的警告策略高于关注交通环境行为的警告策略。

5.一种辅助驾驶装置，其特征在于，包括：

图像序列获取单元，用于获取车辆周围环境的图像序列；

行人位置确定单元，用于确定所述图像序列中行人位置；

行人属性确定单元，用于确定所述图像序列中行人属性；所述行人属性用于表征行人类别；所述行人属性包括成年人和未成年人；

行人运动趋势预测单元，用于预测所述图像序列中行人运动趋势；所述行人运动趋势包括：接近车辆、远离车辆和与车辆并行运动；

行人行为预测单元，用于预测所述图像序列中行人行为；所述行人行为包括：关注交通环境行为和非关注交通环境行为；

预测单元，用于由所述行人运动趋势和所述行人行为预测行人意图；所述行人意图至少包括以下一种：行人横穿道路、行人直行和行人站立；所述行人直行属于与车辆的运动方向并行，所述行人横穿道路属于与车辆的运动方向有交叉，所述站立是指行人在原地站立保持不动；

警告单元，用于基于所述行人位置、行人属性和行人意图采取对应的警告策略；所述警告策略的优先级按照所述行人位置、行人属性和行人意图依次递减；所述警告策略按照行人位于车辆的以下驾驶区域依次减弱：危险区、警告区和安全区；所述行人位于的驾驶区域具体以车辆为基准，根据所述行人位置判断行人位于的所述驾驶区域。

6.根据权利要求5所述的辅助驾驶装置，其特征在于，所述行人属性确定单元，具体包括：

像素获取子单元，用于从所述图像序列中获取行人所占像素的大小；

距离信息获取子单元，用于根据所述行人位置获取行人与车辆的距离信息；

行人属性确定子单元，用于根据所述距离信息以及所述行人所占像素的大小确定所述行人属性。

7.根据权利要求5所述的辅助驾驶装置，其特征在于，所述行人运动趋势预测单元，具体包括：

行人运动方向获取子单元，用于从所述图像序列中获取行人运动方向；

行人运动轨迹确定子单元，用于从所述图像序列中分别获取多帧图像中行人位置，由所述多帧图像中的行人位置确定行人运动轨迹；

行人运动趋势预测子单元，用于分析所述行人运动方向和行人运动轨迹预测行人运动趋势。

8.根据权利要求7所述的辅助驾驶装置，其特征在于，所述行人行为预测单元，具体包括：

识别子单元，用于基于所述图像序列的时序信息识别行人行为；所述行人行为包括关注交通环境行为和非关注交通环境行为；所述非关注交通环境行为的警告策略高于关注交通环境行为的警告策略。

9.一种车载终端，其特征在于，应用于车辆，包括：摄像头和处理器；

所述摄像头，用于获取车辆周围环境的图像序列；

所述处理器，用于确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；所述行人属性包括成年人和未成年人；从所述图像序列中预测行人运动趋势和行人行为；所述行人运动趋势包括：接近车辆、远离车辆和与车辆并行运动；所述行人行为包括：关注交通环境行为和非关注交通环境行为；由所述行人运动趋势和行人行为预测行人意图；所述行人意图至少包括以下一种：行人横穿道路、行人直行和行人站立；所述行人直行属于与车辆的运动方向并行，所述行人横穿道路属于与车辆的运动方向有交叉，所述站立是指行人在原地站立保持不动；基于所述行人位置、行人属性和行人意图采取对应的警告策略；所述警告策略的优先级按照所述行人位置、行人属性和行人意图依次递减；所述警告策略按照行人位于车辆的以下驾驶区域依次减弱：危险区、警告区和安全区；所述行人位于的驾驶区域具体以车辆为基准，根据所述行人位置判断行人位于的所述驾驶区域。

10.一种车辆，其特征在于，包括：权利要求9所述的车载终端；还包括：整车控制器；

所述整车控制器，用于接收所述车载终端的控制器发送的警告策略，根据所述警告策略对车辆的驾驶员进行警告。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取车辆周围环境的图像序列；

确定所述图像序列中的行人位置及行人属性；所述行人属性用于表征行人类别；所述行人属性包括成年人和未成年人；

从所述图像序列中预测行人运动趋势和行人行为；所述行人运动趋势包括：接近车辆、远离车辆和与车辆并行运动；所述行人行为包括：关注交通环境行为和非关注交通环境行为；

由所述行人运动趋势和行人行为预测行人意图；所述行人意图至少包括以下一种：行人横穿道路、行人直行和行人站立；所述行人直行属于与车辆的运动方向并行，所述行人横穿道路属于与车辆的运动方向有交叉，所述站立是指行人在原地站立保持不动；

基于所述行人位置、行人属性和行人意图采取对应的警告策略；所述警告策略的优先级按照所述行人位置、行人属性和行人意图依次递减；所述警告策略按照行人位于车辆的以下驾驶区域依次减弱：危险区、警告区和安全区；所述行人位于的驾驶区域具体以车辆为基准，根据所述行人位置判断行人位于的所述驾驶区域。

Images