CN112406884A - 车辆行驶状态的识别方法和装置、存储介质、电子设备 - Google Patents

Abstract

本公开实施例公开了一种车辆行驶状态的识别方法和装置、存储介质、电子设备，其中，方法包括：基于设置在车辆上的图像采集设备采集的车道线图像，确定车辆所在车道的一组车道线；确定车辆与基于n帧车道线图像确定的n组车道线之间的n组距离，基于n组距离确定车辆的运动趋势；其中，n为大于等于1的整数；确定车辆与基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；基于车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角，确定车辆的行驶状态；位置和角度信息是车辆相对车道线运动方向的直接体现，而运动趋势体现了历史状态，通过两者结合实现了对车辆当前状态和历史状态的确定，减小了误检测率。

Description

车辆行驶状态的识别方法和装置、存储介质、电子设备

技术领域

本公开涉及计算机视觉技术，尤其是一种车辆行驶状态的识别方法和装置、存储介质、电子设备。

背景技术

驾驶员变道的时候不打转向灯是一个比较普遍的现象，对于LDW报警来说，需要识别出车辆的变道行为以进行特殊处理。变道辅助系统中，识别出变道过程是功能实现的前提。现有技术中车辆变道识别是通过预测自车轨迹，判断与车道线是否交叉；或者比较预测轨迹与预设正常轨迹进行判断；但其存在预测时间难以设置，容易误检的问题。轨迹预测的方法主要问题在于预测轨迹的准确性，以及预测时间的设置。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种车辆行驶状态的识别方法和装置、存储介质、电子设备。

根据本公开实施例的一个方面，提供了一种车辆行驶状态的识别方法，包括：

基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线；

确定所述车辆与基于n帧车道线图像确定的n组车道线之间的n组距离，基于所述n组距离确定所述车辆的运动趋势；其中，n为大于等于1的整数；

确定所述车辆与基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；

基于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角，确定所述车辆的行驶状态。

根据本公开实施例的另一方面，提供了一种车辆行驶状态的识别装置，包括：

车道线确定模块，用于基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线；

运动趋势确定模块，用于确定所述车辆与所述车道线确定模块基于n帧车道线图像确定的n组车道线之间的n组距离，基于所述n组距离确定所述车辆的运动趋势；其中，n为大于等于1的整数；

偏航角确定模块，用于确定所述车辆与所述车道线确定模块基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；

行驶状态确定模块，用于基于所述运动趋势确定模块确定的所述车辆与车道线之间的n组距离和所述车辆的运动趋势，以及所述偏航角确定模块确定的所述m组偏航角，确定所述车辆的行驶状态。

根据本公开实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述实施例所述的车辆行驶状态的识别方法。

根据本公开实施例的还一方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述实施例所述的车辆行驶状态的识别方法。

基于本公开上述实施例提供的一种车辆行驶状态的识别方法和装置、存储介质、电子设备，基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线；确定所述车辆与基于n帧车道线图像确定的n组车道线之间的n组距离，基于所述n组距离确定所述车辆的运动趋势；其中，n为大于等于1的整数；确定所述车辆与基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；基于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角，确定所述车辆的行驶状态；位置和角度信息是车辆相对车道线运动方向的直接体现，而运动趋势体现了历史状态，通过两者结合实现了对车辆当前状态和历史状态的确定，减小了误检测率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开提供的车辆行驶状态的识别方法的一个可选流程示意图。

图2是本公开图1所示的实施例中步骤107的一个流程示意图。

图3为设定的angle_cross与车速之间的线性关系示意图。

图4是本公开一示例性实施例提供的车辆行驶状态的识别方法的流程示意图。

图5是本公开图4所示的实施例中步骤402的一个流程示意图。

图6是本公开图4所示的实施例中步骤402的另一个流程示意图。

图7是本公开图6所示的实施例中车辆与车道线之间的距离示意图。

图8是本公开图4所示的实施例中步骤401的一个流程示意图。

图9是本公开一示例性实施例提供的车辆行驶状态的识别装置的结构示意图。

图10是本公开另一示例性实施例提供的车辆行驶状态的识别装置的结构示意图。

图11是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

在实现本公开的过程中，发明人发现，现有技术中的变道识别，通常通过预测自车轨迹，判断与车道线是否交叉；或者比较预测轨迹与预设正常轨迹进行判断，但该方法至少存在以下问题：在低速的时候准确性较差，且驾驶习惯不同，行驶环境不同等因素都会造成预测时间难以匹配。

示例性系统

图1是本公开提供的车辆行驶状态的识别方法的一个可选流程示意图。如图1所示，本实施例方法包括：步骤101，通过车辆上的前视摄像头采集车道线图像，输入到训练好的检测分割多任务模型，输出图像中每个像素点的类型，对其中车道线类型的点进行曲线拟合，得到所有车道线的三次曲线方程参数。

步骤102，计算该车辆与车道线在车辆坐标系y方向的距离，可选地，该距离等于该车道线方程的0次项系数。

步骤103，找到在车辆坐标系y方向上距离该车辆最近的左右车道线，计算左右车道线之间的距离d，判断该距离d是否在合理范围内，例如：最大车道宽度(max_lane_width)>d>最小车道宽度(min_lane_width)，如果是，则执行步骤105；否则，执行步骤104。

步骤104：判断距离d是否2*max_lane_width>d>2*min_lane_width，如果是，则在这两根车道线正中间拟合出补偿车道线，根据补偿线与自车位置关系确定出自车所在的左右车道线，执行步骤106；否则，放弃本次记录，返回执行步骤101。

步骤105，记录最近n帧根据图像得到的自车分别相对于左右车道线在y方向的距离构成距离列表(list_distance)及时间戳。

步骤106，计算该车辆所在车道左右车道线分别相对于车辆航向的偏角，等于该车道线方程一次项系数的反正切，同时记录最近m次计算的值构成角度列表(list_angle)(m和n没有直接关系)。

步骤107，根据步骤105的结果计算车辆相对于车道线的运动趋势。

步骤108，根据步骤106和步骤107的结果以及当前相对车道线位置对变道过程进行识别。

如图2所示，在上述图1所示实施例的基础上，步骤107可包括如下步骤：

步骤1071，从list_distance中取最新的k次的距离(k<n)，设当前距离左右车道线距离(绝对值)分别为d_left[0]和d_right[0]，倒数第k次的距离为d_left[k]和d_right[k]，设每个周期最小横向移动距离是设定值step_y(取值可根据具体情况进行设定)，如果两个相邻时间的左车道距离中时间较早的减去时间较晚的得到的差值均大于设定值(此时表示随着时间的推移，车辆在向左车道接近)，即，d_left[0]～d_left[k]满足以下所有条件：

(d_left[k]–d_left[k-1])>step_y；(d_left[k-1]–d_left[k-2])>step_y；……；(d_left[1]–d_left[0])>step_y；

同时，两个相邻时间的右车道距离中时间较晚的减去时间较早的得到的差值均大于设定值(此时表示随着时间的推移，车辆在远离右车道)，即，d_right[0]～d_right[k]满足以下所有条件：

(d_right[k-1]–d_right[k])>step_y；(d_right[k-2]–d_left[k-1])>step_y；……；(d_right[0]–d_right[1])>step_y。

此时不能完全确定车辆的运动趋势是否向左(将产生变道行为)，还需要结合车辆在y轴方向的横向运动速度，因此，此时仅将运动趋势暂时判定为向左；

反之，如果两个相邻时间的左车道距离中时间较晚的减去时间较早的得到的差值均大于设定值，即，满足以下所有条件：

(d_left[k-1]–d_left[k])>step_y；(d_left[k-2]–d_left[k-1])>step_y；……；(d_left[0]–d_left[1])>step_y；

同时，两个相邻时间的右车道距离中时间较早的减去时间较晚的得到的差值均大于设定值，即，满足以下所有条件：

(d_right[k]–d_right[k-1])>step_y；(d_right[k-1]–d_left[k-2])>step_y；……；(d_right[1]–d_right[0])>step_y。

此时不能完全确定车辆的运动趋势是否向右(将产生变道行为)，还需要结合车辆在y轴方向的横向运动速度，因此，此时仅将运动趋势暂时判定为向左右。

步骤1072，以list_distance作为输入用最小二乘法计算自车相对于车道线的横向运动速度。其中，计算公式可以包括以下公式(1)、(2)和(3)：

v＝(v1+v2)/2 公式(3)

其中，d1是记录的list_distance中当前距离其中一侧车道线的距离，例如d_left，d2即为另一侧如d_right；t是记录的list_distance中当前时间戳与上一个时间戳的差值。得到的v1就是根据一侧(如，左侧)距离变化计算出的横向速度；v2即根据另外一侧(如，右侧)距离变化计算出的横向速度。

假设list_distance中因自车在左侧车道线的右边，距离是负的，d_left(d1)为负值，在右侧车道线左边，距离为正，d_right(d2)为正值，因此，可知根据左侧距离变化计算出的横向速度(v1)为负值，而根据左侧距离变化计算出的横向速度(v2)为正值，当基于v1和v2计算得到的v值为正值时，表示v2的绝对值大于v1的绝对值，此时，可认为车辆在靠近左侧车道线；而当基于v1和v2计算得到的v值为负值时，表示v2的绝对值小于v1的绝对值，此时，可认为车辆在靠近右侧车道线。

步骤1073，如果步骤1071得到的趋势是靠近左侧车道线，且步骤1072得到的速度大于0，则运动趋势为向左；相反，如果步骤1071计算得到的趋势是靠近右侧且步骤1072得到的速度小于0，则运动趋势为向右。

上述实施例中步骤108中识别为变道，需要同时满足以下条件：

条件a：当前距离某一侧车道线的距离小于预设值(例如，距离右侧车道线距离小于预设值)；

条件b：步骤107得到的运动趋势指向同一侧(例如运动趋势指向右侧)；

条件c：步骤106的list_angle中与条件a所述同一侧车道线与车辆航向的偏角(例如，右侧车道线)都在【angle_cross，90】范围内。如果条件a所述的一侧是左侧，则这个条件是list_angle中左侧车道线与车辆航向的偏角都在【-90，-angle_cross】范围内。否则认为保持在当前车道内行驶。

其中，angle_cross的设置：

图3为设定的angle_cross与车速之间的线性关系示意图。如图3所示，angle_cross与车速之间的线性关系可通过以下公式(4)进行表达：

其中，SPEED_MAX和SPEED_MIN，以及分别对应的ANGLE1和ANGLE2通过标定得到。本实施例提供的车道线相对车辆航向偏角的门限值angle_cross的计算方法，较准确地符合实际驾驶过程，保证检测准确性。

本公开提出的车辆行驶状态的识别方法不依赖于预测，本公开提供的方法利用当前和历史距离(自车坐标系下车道线与车辆在y方向的距离)计算当前自车相对于车道线的运动趋势，结合自车航向与车道线偏角对变道行为进行识别。能更好地覆盖在不同驾驶路况，不同驾驶习惯的变道过程。

示例性方法

图4是本公开一示例性实施例提供的车辆行驶状态的识别方法的流程示意图。本实施例可应用在电子设备上，如图4所示，包括如下步骤：

步骤401，基于设置在车辆上的图像采集设备采集的车道线图像，确定车辆所在车道的一组车道线。

其中，图像采集设备可以是相机等设备，采集的车道线图像的过程可参照图1所示实施例中步骤101中通过前视摄像头采集车辆前方路面图像，通过预设的神经网络模型获得车道线图像。

步骤402，确定车辆与基于n帧车道线图像确定的n组车道线之间的n组距离，基于n组距离确定车辆的运动趋势。

其中，n为大于等于1的整数。由于运动趋势代表车辆将来的运动方向，通过单帧无法确定，本实施例通过n帧车道线图像对运动趋势进行确定，其中，n帧车道线可以是图像采集设备采集的时间连续的至少一帧图像，或者，在时间上不连续的，从图像采集设备采集的多帧车道线图像中选择的n帧车道线图像。

步骤403，确定车辆与基于m帧车道线图像确定的m组车道线之间的m组偏航角。

其中，m为大于等于1的整数，并且m和n没有直接关系。

可选地，m帧车道线图像可以与n帧车道线图像是相同的，也可以包括部分重合，还可以完全不同；m帧车道线图像也可以是图像采集设备采集的时间连续的至少一帧图像，或者，在时间上不连续的，从图像采集设备采集的多帧车道线图像中选择的m帧车道线图像。

步骤404，基于车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角，确定车辆的行驶状态。

其中，行驶状态可以包括变道行驶和保持当前车道内行驶。

本公开上述实施例提供的一种车辆行驶状态的识别方法，基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线；确定所述车辆与基于n帧车道线图像确定的n组车道线之间的n组距离，基于所述n组距离确定所述车辆的运动趋势；其中，n为大于等于1的整数；确定所述车辆与基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；基于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角，确定所述车辆的行驶状态；位置和角度信息是车辆相对车道线运动方向的直接体现，而运动趋势体现了历史状态，通过两者结合实现了对车辆当前状态和历史状态的确定，减小了误检测率。

在一些可选的实施例中，n组车道线中的每组车道线包括左车道线和右车道线，n组距离中的每组距离包括左距离和右距离。

其中，左距离为车辆与左车道线之间的距离，右距离为车辆与右车道线之间的距离。

本实施例中的一组车道线构成车道分界线，用来分隔同向行驶的交通流。表示在保证安全的原则下，准许车辆跨越线超车或变更车道行驶。由于需要将每个车道中行驶的车辆进行分割，因此，对于每个车道分别对应具有左车道线(与左侧车辆分隔)和右车道线(与右侧车辆分隔)，当车辆在一组车道线之间确定的车道行驶时，在车辆坐标系中，车辆行驶的方向为车辆坐标系的x轴，此时与x轴垂直的方向即为车辆坐标系的y轴，可选地，可通过在车辆坐标系的y轴上车辆与左右车道线之间的距离确定左距离和右距离，在车辆坐标系中确定左距离和右距离可实现距离的直接获得，不需要进行坐标系转换等操作，提高了处理效率。

如图5所示，在上述图4所示实施例的基础上，步骤402可包括如下步骤：

步骤4021，基于n帧车道线图像中每两帧相邻车道线图像，确定P对第一距离组和第二距离组。

其中，P对中的每一对的第一距离组对应的车道线图像的采集时间在第二距离组对应的车道线图像的采集时间之前，P为大于等于1的整数。

步骤4022，基于P对第一距离组和第二距离组，以及车辆相对于车道线的横向运动速度确定车辆的运动趋势。

运动趋势指的是，物体要向哪个方向运动的趋势，本实施例中，车辆的运动趋势是指车辆在之后的时间较大可能的运动方向，本实施例通过时间先后顺序车辆相对左右车道线的距离确定车辆的运动趋势，例如，两个相邻时刻，下一时刻车辆相对左车道线的距离小于上一时刻车辆相对左车道线的距离，可认为车辆有向左的运动趋势。

如图6所示，在上述图4所示实施例的基础上，步骤402还可以包括如下步骤：

步骤4021，基于n帧车道线图像中每两帧相邻车道线图像，确定P对第一距离组和第二距离组。

其中，P对中的每一对的第一距离组对应的车道线图像的采集时间在第二距离组对应的车道线图像的采集时间之前，P为大于等于1的整数。

步骤502，基于获得两帧相邻车道线图像的时间差和第二距离组中的左距离和右距离，确定车辆在获得第二距离组对应的车道线图像时的横向运动速度。

可选地，可参照上述图2所示实施例中步骤1072中的计算过程计算车辆相对车道线的横向运动速度，例如，根据公式(1)、(2)和(3)，通过根据相对两侧车道线计算得到的横向速度的均值得到车辆相对一组车道线的横向运动速度。

步骤503，基于第一距离组中的第一左距离与第二距离组中的第二左距离之间的差值，第二距离组中的第二右距离与第一距离组中的第一右距离之间的差值，以及横向运动速度的大小，确定车辆的运动趋势是否向左；和/或，基于第二距离组中的第二左距离与第一距离组中的第一左距离之间的差值，第一距离组中的第一右距离与第二距离组中的第二右距离之间的差值，以及横向运动速度的大小，确定车辆的运动趋势是否向右。

为便于理解，在一个具体示例中，图7是本公开图6所示的实施例中车辆与车道线之间的距离示意图。如图7所示，车辆A前进过程中依次获得第一距离组(包括第一左距离和第一右距离)和第二距离组(包括第二左距离和第二右距离)，通过图7所示，可知，该示例中第一左距离与第二左距离的差值为负值，第二右距离与第一右距离的差值为负值，再结合横向运动速度，通过本实施例提供的运动趋势确定方法，即可确定车辆A的运动趋势。

本实施例中确定运动趋势的过程可参照上述图2提供的实施例，基于距离差和横向运动速度的大小确定车辆的运动趋势，具体判断运动趋势向左还是向右可根据图2提供的实施例中的步骤1071、1072和1073确定，即，当两个相邻时间的左车道距离中时间较早的(第一左距离)减去时间较晚的(第二左距离)得到的差值均大于设定值，且两个相邻时间的右车道距离中时间较晚的(第二右距离)减去时间较早的(第一右距离)得到的差值均大于设定值，同时，横向运动速度的大小大于零，确定车辆的运动趋势为向左；而当两个相邻时间的左车道距离中时间较晚的(第二左距离)减去时间较早的(第一左距离)得到的差值均大于设定值，且两个相邻时间的右车道距离中时间较早的(第一右距离)减去时间较晚的(第二右距离)得到的差值均大于设定值，同时横向运动速度小于零，确定车辆的运动趋势为向右。本实施例对自车运动过程中车道线感知结果的滤波效果明显，对运动趋势变化响应及时，且简单易实施。

在一些可选的实施例中，步骤404可包括：

响应于车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角达到预设条件，确定车辆处于变道状态。

或者，响应于车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角未达到预设条件，确定车辆处于直行状态。

通过上述实施例确定了车辆的运动趋势(向左或向右)之后，并不能直接确定车辆是否进行变道，因为，运动趋势仅表达当前车辆当前的运动方向，但有可能是在对车辆方向进行校正，不一定是进行变道，因此，本实施例通过车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角作为是否变道的判断条件。

可选地，响应于车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角达到预设条件，确定车辆处于变道状态，包括：

响应于车辆与车道线之间的n组距离中的每个左距离小于预设值，且车辆的运动趋势为向左，且m组偏航角在第一夹角范围内，确定车辆向左变道。

或者，响应于车辆与车道线之间的n组距离中的每个右距离小于预设值，且车辆的运动趋势为向右，且m组偏航角在第二夹角范围内，确定车辆向右变道。

变道情况包括向左变道或向右变道，具体判断变道的条件可如图1所示实施例中的步骤108提供的条件a、b和c，并且，这三个条件是需要同时满足的；本实施例中，n组距离中的每个左距离小于预设值表示车辆在获取n组距离的时间里车辆一直偏向左侧车道，车辆的运动趋势为向左，表示车辆的前进方向偏向左侧(非直行)，m组偏航角在第一夹角范围内，通过对第一夹角范围进行设定(如图1所示实施例中的步骤108提供的条件c)确定车辆在向左侧偏移，因此，可确定车辆向左变道；而n组距离中的每个右距离小于预设值表示车辆在获取n组距离的时间里车辆一直偏向右侧车道，车辆的运动趋势为向右，表示车辆的前进方向偏向右侧(非直行)，m组偏航角在第二夹角范围内，通过对第二夹角范围进行设定(如图1所示实施例中的步骤108提供的条件c)确定车辆在向右侧偏移，因此，可确定车辆向右变道。

如图8所示，在上述图4所示实施例的基础上，步骤401可包括如下步骤：

步骤4011，基于设置在车辆上的图像采集设备采集的车道线图像，确定车道线图像中包括的至少两条车道线。

可选地，可利用预设的神经网络模型对车道线图像进行处理，确定车道线图像中车道线对应的像素点；基于车道线对应的像素点确定车道线图像中的至少两条车道线。

步骤4012，确定至少两条车道线中每条车道线与车辆的距离。

可选地，该距离的确定可参照图1所示实施例中的步骤102，通过车道线方程中的0次项系数确定。

步骤4013，基于距离确定与车道线图像中与车辆最近的两个车道线，计算两个车道线之间的距离。

步骤4014，基于两个车道线之间的距离确定车辆所在车道的一组车道线。

本实施例中实现的是确定车辆所在车道的一组车道线，可参照图1所示实施例中的步骤101～步骤104，本实施例为了确定车辆是否发生变道，首先需要确定车辆当前所在车道及该车道对应的两条车道线，之后才能根据车辆与车道线之间的关系确定车辆的运动趋势、横向速度等信息，进而确定车辆是否发生变道。

可选地，上述实施例中步骤4014包括：

响应于两个车道线之间的距离在第一设定范围，将两个车道线确定为车辆所在车道的一组车道线。

或者，响应于两个车道线之间的距离超出第一设定范围，且在第二设定范围内，设置补偿车道线，将补偿车道线和两个车道线中的一个车道线作为车辆所在车道的一组车道线。

本实施例对于车道线检测错误的情况进行补救，使车辆变道的识别更准确，根据规定，现有车道中车道线的距离基本是在一定范围内的，因此，本实施例中通过第一设定范围(如，在最小车道宽度和最大车道宽度之间)确定当前车道线检测的结果是否准确，具体的判断过程可参照图1所示的实施例中的步骤103和104，当检测的车道线之间的距离超出第一设定范围，且在第二设定范围内，可认为在当前车道线图像中，漏检了一条车道线(将两条车道识别为一条车道)，本实施例通过设置补偿车道线，并将补偿车道线和两个车道线中的一个车道线(与车辆在横向距离上距离较小的车道线)作为车辆所在车道的一组车道线。

本公开实施例提供的任一种车辆行驶状态的识别方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车辆行驶状态的识别方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车辆行驶状态的识别方法。下文不再赘述。

示例性装置

图9是本公开一示例性实施例提供的车辆行驶状态的识别装置的结构示意图。如图9所示，本实施例包括：

车道线确定模块91，用于基于设置在车辆上的图像采集设备采集的车道线图像，确定车辆所在车道的一组车道线。

运动趋势确定模块92，用于确定车辆与车道线确定模块91基于n帧车道线图像确定的n组车道线之间的n组距离，基于n组距离确定车辆的运动趋势。

其中，n为大于等于1的整数。

偏航角确定模块93，用于确定车辆与车道线确定模块91基于m帧车道线图像确定的m组车道线之间的m组偏航角。

其中，m为大于等于1的整数。

行驶状态确定模块94，用于基于运动趋势确定模块92确定的车辆与车道线之间的n组距离和车辆的运动趋势，以及偏航角确定模块93确定的m组偏航角，确定车辆的行驶状态。

本公开上述实施例提供的一种车辆行驶状态的识别装置，基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线；确定所述车辆与基于n帧车道线图像确定的n组车道线之间的n组距离，基于所述n组距离确定所述车辆的运动趋势；其中，n为大于等于1的整数；确定所述车辆与基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；基于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角，确定所述车辆的行驶状态；位置和角度信息是车辆相对车道线运动方向的直接体现，而运动趋势体现了历史状态，通过两者结合实现了对车辆当前状态和历史状态的确定，减小了误检测率。

图10是本公开另一示例性实施例提供的车辆行驶状态的识别装置的结构示意图。如图10所示，本实施例包括：

可选地，n组车道线中的每组车道线包括左车道线和右车道线，n组距离中的每组距离包括左距离和右距离。

其中，左距离为车辆与左车道线之间的距离，右距离为车辆与右车道线之间的距离。

运动趋势确定模块92，包括：

距离确定单元921，用于基于n帧车道线图像中每两帧相邻车道线图像，确定P对第一距离组和第二距离组。

其中，P对中的每一对的第一距离组对应的车道线图像的采集时间在第二距离组对应的车道线图像的采集时间之前，P为大于等于1的整数。

速度确定单元922，用于基于获得两帧相邻车道线图像的时间差和第二距离组中的左距离和右距离，确定车辆在获得第二距离组对应的车道线图像时的横向运动速度。

趋势确定单元923，用于基于P对第一距离组和第二距离组，以及车辆相对于车道线的横向运动速度确定车辆的运动趋势。

可选地，趋势确定单元923，具体用于基于第一距离组中的第一左距离与第二距离组中的第二左距离之间的差值，第二距离组中的第二右距离与第一距离组中的第一右距离之间的差值，以及横向运动速度的大小，确定车辆的运动趋势是否向左；和/或，基于第二距离组中的第二左距离与第一距离组中的第一左距离之间的差值，第一距离组中的第一右距离与第二距离组中的第二右距离之间的差值，以及横向运动速度的大小，确定车辆的运动趋势是否向右。

行驶状态确定模块94，具体用于响应于车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角达到预设条件，确定车辆处于变道状态；或者，响应于车辆与车道线之间的n组距离、车辆的运动趋势和m组偏航角未达到预设条件，确定车辆处于直行状态。

行驶状态确定模块94在响应于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角达到预设条件，确定所述车辆处于变道状态时，用于响应于车辆与车道线之间的n组距离中的每个左距离小于预设值，且车辆的运动趋势为向左，且m组偏航角在第一夹角范围内，确定车辆向左变道；或者，响应于车辆与车道线之间的n组距离中的每个右距离小于预设值，且车辆的运动趋势为向右，且m组偏航角在第二夹角范围内，确定车辆向右变道。

本实施例中，车道线确定模块91，包括：

图像采集单元911，用于基于设置在车辆上的图像采集设备采集的车道线图像，确定车道线图像中包括的至少两条车道线。

第一距离确定单元912，用于确定至少两条车道线中每条车道线与车辆的距离。

第二距离确定单元913，用于基于距离确定与车道线图像中与车辆最近的两个车道线，计算两个车道线之间的距离。

车道线确定单元914，用于基于两个车道线之间的距离确定车辆所在车道的一组车道线。

可选地，车道线确定单元914，具体用于响应于两个车道线之间的距离在第一设定范围，将两个车道线确定为车辆所在车道的一组车道线；或者，响应于两个车道线之间的距离超出第一设定范围，且在第二设定范围内，设置补偿车道线，将补偿车道线和所述两个车道线中的一个车道线作为车辆所在车道的一组车道线。

示例性电子设备

下面，参考图11来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图11图示了根据本公开实施例的电子设备的框图。

如图11所示，电子设备110包括一个或多个处理器111和存储器112。

处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备110中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本公开的各个实施例的车辆行驶状态的识别方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备110还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置113可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置113可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备113还可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备110中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备110还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车辆行驶状态的识别方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车辆行驶状态的识别方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种车辆行驶状态的识别方法，包括：

基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线；

确定所述车辆与基于n帧车道线图像确定的n组车道线之间的n组距离；

基于所述n组距离确定所述车辆的运动趋势，其中，n为大于等于1的整数；

确定所述车辆与基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；

基于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角，确定所述车辆的行驶状态。

2.根据权利要求1所述的方法，其中，所述n组车道线中的每组车道线包括左车道线和右车道线，所述n组距离中的每组距离包括左距离和右距离，所述左距离为所述车辆与所述左车道线之间的距离，所述右距离为所述车辆与所述右车道线之间的距离。

3.根据权利要求2所述的方法，其中，所述基于所述多组距离确定所述车辆的运动趋势，包括：

基于所述n帧车道线图像中每两帧相邻车道线图像，确定P对第一距离组和第二距离组，其中，所述P对中的每一对的第一距离组对应的车道线图像的采集时间在所述第二距离组对应的车道线图像的采集时间之前，P为大于等于1的整数；

基于所述P对第一距离组和第二距离组，以及所述车辆相对于车道线的横向运动速度确定所述车辆的运动趋势。

4.根据权利要求3所述的方法，在基于所述多对第一距离组和所述第二距离组，以及所述车辆相对于车道线的横向运动速度确定所述车辆的运动趋势之前，还包括：

基于获得所述两帧相邻车道线图像的时间差和所述第二距离组中的左距离和右距离，确定所述车辆在获得所述第二距离组对应的车道线图像时的横向运动速度；

所述基于所述多对第一距离组和所述第二距离组，以及所述车辆相对于车道线的横向运动速度确定所述车辆的运动趋势，包括：

基于所述第一距离组中的第一左距离与所述第二距离组中的第二左距离之间的差值，所述第二距离组中的第二右距离与所述第一距离组中的第一右距离之间的差值，以及所述横向运动速度的大小，确定所述车辆的运动趋势是否向左；和/或，

基于所述第二距离组中的第二左距离与所述第一距离组中的第一左距离之间的差值，所述第一距离组中的第一右距离与所述第二距离组中的第二右距离之间的差值，以及所述横向运动速度的大小，确定所述车辆的运动趋势是否向右。

5.根据权利要求2-4任一所述的方法，其中，所述基于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角，确定所述车辆的行驶状态，包括：

响应于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角达到预设条件，确定所述车辆处于变道状态；或者，

响应于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角未达到预设条件，确定所述车辆处于直行状态。

6.根据权利要求5所述的方法，其中，所述响应于所述车辆与车道线之间的n组距离、所述车辆的运动趋势和所述m组偏航角达到预设条件，确定所述车辆处于变道状态，包括：

响应于所述车辆与车道线之间的n组距离中的每个左距离小于预设值，且所述车辆的运动趋势为向左，且所述m组偏航角在第一夹角范围内，确定所述车辆向左变道；或者，

响应于所述车辆与车道线之间的n组距离中的每个右距离小于预设值，且所述车辆的运动趋势为向右，且所述m组偏航角在第二夹角范围内，确定所述车辆向右变道。

7.根据权利要求1所述的方法，其中，所述基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线，包括：

基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车道线图像中包括的至少两条车道线；

确定所述至少两条车道线中每条车道线与所述车辆的距离；

基于所述距离确定与所述车道线图像中与所述车辆最近的两个车道线，计算所述两个车道线之间的距离；

基于所述两个车道线之间的距离确定所述车辆所在车道的一组车道线。

8.根据权利要求7所述的方法，其中，所述基于所述两个车道线之间的距离确定所述车辆所在车道的一组车道线，包括：

响应于所述两个车道线之间的距离在第一设定范围，将所述两个车道线确定为所述车辆所在车道的一组车道线；或者，

响应于所述两个车道线之间的距离超出第一设定范围，且在第二设定范围内，设置补偿车道线，将所述补偿车道线和所述两个车道线中的一个车道线作为所述车辆所在车道的一组车道线。

9.一种车辆行驶状态的识别装置，包括：

车道线确定模块，用于基于设置在车辆上的图像采集设备采集的车道线图像，确定所述车辆所在车道的一组车道线；

运动趋势确定模块，用于确定所述车辆与所述车道线确定模块基于n帧车道线图像确定的n组车道线之间的n组距离，基于所述n组距离确定所述车辆的运动趋势；其中，n为大于等于1的整数；

偏航角确定模块，用于确定所述车辆与所述车道线确定模块基于m帧车道线图像确定的m组车道线之间的m组偏航角，其中，m为大于等于1的整数；

行驶状态确定模块，用于基于所述运动趋势确定模块确定的所述车辆与车道线之间的n组距离和所述车辆的运动趋势，以及所述偏航角确定模块确定的所述m组偏航角，确定所述车辆的行驶状态。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的车辆行驶状态的识别方法。

11.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的车辆行驶状态的识别方法。

Images