CN110942038B - 基于视觉的交通场景识别方法、装置、介质及电子设备 - Google Patents

Abstract

本申请的实施例提供了一种基于视觉的交通场景识别方法、装置、介质及电子设备。该基于视觉的交通场景识别方法包括：获取路侧摄像头采集到的道路图像；基于所述路侧摄像头采集到的道路图像，识别所述道路图像中所包含的车道；根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况。本申请实施例的技术方案可以实现低成本、高精度且更全面、更准确的车道及道路交通场景的识别，并且也能够弥补V2X技术渗透率较低的缺陷。

Description

基于视觉的交通场景识别方法、装置、介质及电子设备

技术领域

本申请涉及计算机及通信技术领域，具体而言，涉及一种基于视觉的交通场景识别方法、装置、介质及电子设备。

背景技术

V2X(Vehicle to Everything，车与外界通信)技术是指在车辆上安装有车载单元(On board Unit，OBU)，车辆通过该OBU设备可以获取到自身的位置、速度、方向角、方向盘的转动信号等信息，然后通过无线广播方式将每辆车上获得的以上信息发送出去，则该车辆周围的其他车辆就可以很快收到这辆车的信息。如果每辆车都可以收到周围所有其他车辆和其他交通参与者的V2X信息，则每个车辆就可以据此判断哪些车辆对于自身构成什么样的威胁。但是，V2X技术要求高渗透率，即要求较高比例的交通参与主体都要携带车载单元，且工作正常，否则未携带V2X终端的交通参与者将可能对交通安全构成威胁。

发明内容

本申请的实施例提供了一种基于视觉的交通场景识别方法、装置、介质及电子设备，进而至少在一定程度上可以实现低成本、高精度且更全面、更准确的车道及道路交通场景的识别，并且也能够弥补V2X技术渗透率较低的缺陷。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种基于视觉的交通场景识别方法，包括：获取路侧摄像头采集到的道路图像；基于所述路侧摄像头采集到的道路图像，识别所述道路图像中所包含的车道；根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况。

根据本申请实施例的一个方面，提供了一种基于视觉的交通场景识别装置，包括：获取单元，用于获取路侧摄像头采集到的道路图像；第一处理单元，用于基于所述路侧摄像头采集到的道路图像，识别所述道路图像中所包含的车道；第二处理单元，用于根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况。

在本申请的一些实施例中，基于前述方案，所述第一处理单元配置为：基于所述道路图像，识别所述道路图像中所包含的车道中心线；以所述车道中心线为基准向所述车道中心线的两侧进行预定宽度的扩展，得到所述道路图像中所包含的车道。

在本申请的一些实施例中，基于前述方案，所述第一处理单元配置为：从所述道路图像中获取车道的中心线像素值；基于所述中心线像素值进行曲线拟合处理，生成所述车道中心线。

在本申请的一些实施例中，基于前述方案，所述第一处理单元配置为：基于所述路侧摄像头采集到的多帧道路图像，识别各帧道路图像中所包含的各个对象所在的位置；根据所述各帧道路图像中所包含的各个对象所在的位置，识别所述道路图像中所包含的车道。

在本申请的一些实施例中，基于前述方案，所述第一处理单元配置为：根据所述各帧道路图像中所包含的各个对象所在的位置，确定所述道路图像中的各个像素点的权重值；从所述道路图像中选择权重值高于预定值的目标像素点；基于所述目标像素点的位置确定所述道路图像中所包含的车道。

在本申请的一些实施例中，基于前述方案，所述第一处理单元配置为：根据所述各帧道路图像中所包含的各个对象所在的位置，确定所述各个像素点处出现的对象数量；基于所述各个像素点处出现的对象数量确定所述道路图像中的各个像素点的权重值，其中，所述各个像素点的权重值与所述各个像素点处出现的对象数量成正相关关系。

在本申请的一些实施例中，基于前述方案，所述第二处理单元配置为：根据所述车道的位置信息与所述对象的位置信息之间的关系，识别各个对象所处的车道；根据所述各个对象所处的车道，确定所述车道的拥堵情况。

在本申请的一些实施例中，基于前述方案，所述第二处理单元配置为：根据所述路侧摄像头采集到的至少两帧道路图像，计算所述各个对象的行驶速度，基于所述各个对象的行驶速度和所述各个对象所处的车道，确定所述车道的拥堵情况；或根据所述车道中的对象之间的间距，确定所述车道的拥堵情况。

在本申请的一些实施例中，基于前述方案，所述第二处理单元配置为：基于所述各个对象的行驶速度和所述各个对象所处的车道，确定处于同一个车道内的对象的平均行驶速度，若所述平均行驶速度低于第一速度阈值，则确定所述车道处于拥堵状态；或者

若处于同一个车道内的对象中有预定数量个对象的行驶速度低于第二速度阈值，则确定所述车道处于拥堵状态。

在本申请的一些实施例中，基于前述方案，所述第二处理单元配置为：

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则确定所述目标对象处于变道状态；或者

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则根据所述路侧摄像头采集到的历史道路图像确定所述目标对象的行驶轨迹，在所述目标对象的行驶轨迹表明所述目标对象由车道内移动至车道之间的情况下，确定所述目标对象处于变道状态；或者

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则根据所述路侧摄像头采集到的历史道路图像确定所述目标对象的行驶轨迹，根据所述目标对象的行驶轨迹确定所述目标对象的行驶方向角，在所述目标对象的行驶方向角相对于车道方向发生了偏移的情况下，确定所述目标对象处于变道状态。

在本申请的一些实施例中，基于前述方案，所述第二处理单元还配置为：

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象的行驶速度小于或等于第一阈值，则确定所述目标对象处于紧急制动状态；或者

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象在第一时间点的行驶速度小于或等于第一阈值，且所述目标对象在所述第一时间点之前的第二时间点的行驶速度与所述第一时间点的行驶速度之差大于或等于第二阈值，则确定所述目标对象处于紧急制动状态；或者

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象在预定时间内的行驶速度减小量大于或等于第三阈值，则确定所述目标对象处于紧急制动状态。

在本申请的一些实施例中，基于前述方案，所述第一处理单元还用于：基于所述路侧摄像头在世界坐标系中的坐标，以及所述路侧摄像头与所述道路图像中所包含的车道之间的位置关系，将所述车道的位置映射到所述世界坐标系中，得到所述车道在所述世界坐标系中的坐标位置。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的基于视觉的交通场景识别方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于视觉的交通场景识别方法。

在本申请的一些实施例所提供的技术方案中，通过识别出路侧摄像头采集到的道路图像中所包含的车道，根据该车道的位置信息及道路图像中所包含的对象的位置信息识别道路交通情况，使得能够基于路侧摄像头采集到的道路图像实现车道级别的道路交通情况的识别，而由于可以获取到视觉覆盖范围内(即摄像头的拍摄范围内)的所有对象的信息，因此可以实现更全面、更准确的道路交通情况的识别。此外，由于本申请实施例的技术方案通过路侧摄像头来实现，因此可以实现低成本、高精度的车道及道路交通场景的识别，并且也能够弥补V2X技术渗透率较低的缺陷。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2示出了根据本申请的一个实施例的基于视觉的交通场景识别方法的流程图；

图3示出了根据本申请的一个实施例的识别道路图像中所包含的车道的流程图；

图4示出了根据本申请的一个实施例的识别道路图像中所包含的车道的流程图；

图5示出了根据本申请的一个实施例的识别道路交通情况的流程图；

图6示出了根据本申请的一个实施例的车路协同系统的框图；

图7示出了根据本申请的一个实施例的车道模型示意图；

图8示出了根据本申请的一个实施例的针对车道的像素叠加示意图；

图9示出了根据本申请的一个实施例的车辆的行驶轨迹示意图；

图10示出了根据本申请的一个实施例的基于视觉的交通场景识别装置的框图；

图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括路侧摄像头101和服务器102。路侧摄像头101与服务器102之间可以通过有线通信链路或无线通信链路进行通信连接。应该理解，图1中的路侧摄像头101和服务器102的数目仅仅是示意性的。根据实现需要，可以具有任意数目的路侧摄像头101和服务器102。比如服务器102可以是多个服务器组成的服务器集群等。

在本申请的一个实施例中，路侧摄像头101用于采集道路图像，道路图像中包含了车道信息和在车道中行驶的对象(比如机动车辆、自行车等)，路侧摄像头101采集到的道路图像会通过网络传输至服务器102。服务器102在获取到道路图像之后，可以识别出道路图像中所包含的车道，进而可以基于车道的位置信息和路侧摄像头采集到的道路图像中所包含的对象的位置信息识别出道路交通情况。比如，可以识别出各个车道的拥堵情况、车辆是否发生变道等。可见，本申请实施例的技术方案使得能够基于路侧摄像头采集到的道路图像实现车道级别的道路交通情况的识别，而由于可以获取到视觉覆盖范围内(即摄像头的拍摄范围内)的所有对象的信息，因此可以实现更全面、更准确的道路交通情况的识别。此外，由于本申请实施例的技术方案通过路侧摄像头来实现，因此可以实现低成本、高精度的车道及道路交通场景的识别，并且也能够弥补V2X技术渗透率较低的缺陷。

需要说明的是，本申请实施例所提供的基于视觉的交通场景识别方法一般由服务器102执行，相应地，基于视觉的交通场景识别装置一般设置于服务器102中。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2示出了根据本申请的一个实施例的基于视觉的交通场景识别方法的流程图，该基于视觉的交通场景识别方法可以由处理器来执行，该处理器可以设置于图1中所示的服务器102内。参照图2所示，该基于视觉的交通场景识别方法至少包括步骤S210至步骤S230，详细介绍如下：

在步骤S210中，获取路侧摄像头采集到的道路图像。

在本申请的一个实施例中，路侧摄像头可以实时采集所拍摄范围内的道路图像，或者也可以周期性进行采集。路侧摄像头可以复用已经安装在道路周边的监控摄像头，也可以是重新安装的摄像头等。

在步骤S220中，基于路侧摄像头采集到的道路图像，识别道路图像中所包含的车道。

在本申请的一个实施例中，如图3所示，步骤S220中识别道路图像中所包含的车道的过程，可以包括如下步骤：

步骤S310，基于道路图像，识别道路图像中所包含的车道中心线。

在本申请的一个实施例中，可以从道路图像中获取车道的中心线像素值，然后基于中心线像素值进行曲线拟合处理，生成车道中心线。比如可以通过人工标定的方式在道路图像中标定车道中心线像素值，而人工标定的车道中心线像素值通常并不连续，因此处理器在获取到人工标定的车道中心线像素值之后，可以基于获取到的中心线像素值进行曲线拟合处理，以此来生成车道中心线。

在本申请的一个实施例中，如果车道中设置有车道中心线的标识信息，那么也可以通过识别道路图像中所包含的车道中心线的标识信息来确定道路图像中所包含的车道中心线。

步骤S320，以车道中心线为基准向车道中心线的两侧进行预定宽度的扩展，得到道路图像中所包含的车道。

在本申请的一个实施例中，由于车道的宽度通常是有一定的规定，因此在识别出车道中心线之后，可以以车道中心线为基准向车道中心线的两侧进行预定宽度的扩展，进而来得到道路图像中所包含的车道。

图3所示实施例的技术方案是先通过识别车道中心线，然后基于车道中心线来识别车道，本申请的实施例还提供了一种如图4所示的车道识别方法，具体包括如下步骤：

步骤S410，基于路侧摄像头采集到的多帧道路图像，识别各帧道路图像中所包含的各个对象所在的位置。

在本申请的一个实施例中，路侧摄像头采集到的每帧道路图像中都包含有至少一个对象，每个对象在道路图像中都对应于一个像素位置，因此可以识别各帧道路图像中所包含的各个对象所在的位置。

步骤S420，根据各帧道路图像中所包含的各个对象所在的位置，识别道路图像中所包含的车道。

在本申请的一个实施例中，可以根据各帧道路图像中所包含的各个对象所在的位置，确定道路图像中的各个像素点的权重值，比如可以根据各个对象所在的位置，确定道路图像中的各个像素点处出现的对象数量，如果某个像素点处出现的对象数量较多，那么该像素点的权重值就越大。进而可以从道路图像中选择权重值高于预定值的目标像素点，然后基于目标像素点的位置确定道路图像中所包含的车道。

具体而言，由于大部分对象都会在车道内进行行驶，因此从道路图像中选择出的权重值高于预定值的目标像素点即是处于车道内的像素点，进而可以基于目标像素点的位置进行聚类或者连通性处理来确定道路图像中所包含的车道。

在本申请的一个实施例中，在基于路侧摄像头采集到的道路图像，识别出道路图像中所包含的车道之后，由于该车道的位置是相对于路侧摄像头的采集角度而言的，因此还可以基于路侧摄像头在世界坐标系中的坐标，以及路侧摄像头与道路图像中所包含的车道之间的位置关系，将车道的位置映射到世界坐标系中，以得到车道在世界坐标系中的坐标位置，如GPS(Global Positioning System，全球定位系统)坐标，进而可以在世界坐标系中确定出各个车道所在的位置。

继续参照图2所示，在步骤S230中，根据车道的位置信息，以及路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况。

在本申请的一个实施例中，如图5所示，根据车道的位置信息，以及路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况的过程，可以包括如下步骤：

步骤S510，根据车道的位置信息与对象的位置信息之间的关系，识别各个对象所处的车道。

在本申请的一个实施例中，由于车道包含有一定的位置范围，因此可以根据各个对象的位置坐标和各个车道的位置坐标，确定各个对象所处的车道。

步骤S520，根据各个对象所处的车道，确定车道的拥堵情况。

在本申请的一个实施例中，可以根据路侧摄像头采集到的至少两帧道路图像，计算各个对象的行驶速度，然后基于各个对象的行驶速度和各个对象所处的车道，确定车道的拥堵情况。其中，可以根据至少两帧道路图像的采集时间间隔，以及对象在这至少两帧道路图像中的位置变化量来计算对象的行驶速度，比如两帧道路图像的采集时间间隔为Δt，一个对象在这两帧道路图像中的位置变化量为Δs，那么该对象的行驶速度为Δs/Δt。

在本申请的一个实施例中，在基于各个对象的行驶速度和各个对象所处的车道，确定车道的拥堵情况时，可以基于各个对象的行驶速度和各个对象所处的车道，确定处于同一个车道内的对象的平均行驶速度，若平均行驶速度低于第一速度阈值，则确定车道处于拥堵状态。或者可以在处于同一个车道内的对象中有预定数量个对象的行驶速度低于第二速度阈值的情况下，确定车道处于拥堵状态。

在本申请的一个实施例中，还可以根据车道中的对象之间的间距，确定车道的拥堵情况。具体而言，如果车道处于拥堵状态，那么车辆之间的间距通常较近；而在车道未处于拥堵状态，那么车辆之间的间距通常较远，因此可以基于此来确定车道的拥堵情况。

在本申请的实施例中，还可以根据车道的位置信息，以及路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别对象是否处于变道状态，具体实施例如下：

在本申请的一个实施例中，若根据车道的位置信息与对象的位置信息识别到道路图像中包含有处于车道之间的目标对象的情况下，确定该目标对象处于变道状态。

在本申请的一个实施例中，若根据车道的位置信息与对象的位置信息识别到道路图像中包含有处于车道之间的目标对象，则可以进一步根据路侧摄像头采集到的历史道路图像确定目标对象的行驶轨迹，然后在目标对象的行驶轨迹表明目标对象由车道内移动至车道之间的情况下，确定目标对象处于变道状态。

在本申请的一个实施例中，若根据车道的位置信息与对象的位置信息识别到道路图像中包含有处于车道之间的目标对象，则可以进一步根据路侧摄像头采集到的历史道路图像确定目标对象的行驶轨迹，然后根据目标对象的行驶轨迹确定目标对象的行驶方向角，在目标对象的行驶方向角相对于车道方向发生了偏移的情况下，确定目标对象处于变道状态。

在本申请的实施例中，还可以根据路侧摄像头采集到的道路图像识别对象是否处于紧急制动状态，具体实施例如下：

在本申请的一个实施例中，若根据路侧摄像头采集到的道路图像确定道路图像中所包含的目标对象的行驶速度小于或等于第一阈值，则确定目标对象处于紧急制动状态。

在本申请的一个实施例中，若根据路侧摄像头采集到的道路图像确定道路图像中所包含的目标对象在第一时间点的行驶速度小于或等于第一阈值，且目标对象在第一时间点之前的第二时间点的行驶速度与第一时间点的行驶速度之差大于或等于第二阈值，则可以确定目标对象处于紧急制动状态。

在本申请的一个实施例中，若根据路侧摄像头采集到的道路图像确定道路图像中所包含的目标对象在预定时间内的行驶速度减小量大于或等于第三阈值，则可以确定目标对象处于紧急制动状态。

以下结合图6至图9，对本申请实施例的技术方案的实现细节进行详细阐述：

在本申请的一个实施例中，本申请实施例的技术方案可以应用于车路协同系统中，具体而言，如图6所示，车路协同系统可以包括：路侧感知设备601、车路协同系统服务器602和交通参与主体603。

在本申请的一个实施例中，路侧感知设备601主要包括摄像头等设备，路侧感知设备601可以实时的采集道路中的信息，提供图像流给到车路协同系统服务器602供其处理。车路协同系统服务器602可以基于路侧感知设备601提供的图像流进行目标识别、跟踪、定位、测速等计算，然后还会进行交通场景的识别，得到当前道路上的一些交通场景，如车道级拥堵、车辆变道、车辆紧急制动等。在车路协同系统服务器602进行了相关感知信息的处理和交通场景识别后，可以把这些信息下发给交通参与主体603(如道路中的车辆)，交通参与主体603可以基于这些信息判断哪些车辆对自己构成威胁，并采取相应的避让措施。

在本申请的一个实施例中，车路协同系统服务器602需要进行交通场景识别，如车道级拥堵、车辆变道、车辆紧急制动等，而这些典型交通场景都需要基于道路的车道模型，本申请的实施例提供了基于视觉的车道模型建立方案。需要说明的是：车道建模过程可以是在摄像头标定并部署后，通过采集摄像头覆盖区域的一帧图像或者该摄像头拍摄的一段时间内的连续图像流数据来计算处理的过程。

在本申请的一个实施例中，可以基于车道中心线识别标定的方式来建立车道模型，具体包括如下流程：

1)通过人工标定或其他标定方式，在路侧摄像头拍摄的图像中找出每个车道的中心线像素；

2)由于中心线像素抽样可能并不连续(如图7所示，抽样得到的中心线像素分布在实线701上)，所以这些像素点并没有形成完整的车道模型，因此可以基于抽取的像素点进行曲线拟合，得到车道在二维图像下的拟合曲线；

3)在对每个车道建立相应的拟合曲线之后，可以得到每个拟合曲线对应的连续的每个像素(每个像素点对应拟合曲线的切线可以作为该像素点的方向角)；也就是说，可以得到每个车道中心线的连续像素值，这些连续的像素就代表了每个车道的中心线，后续的场景识别将依赖于这些像素中心线；

4)由于上述步骤只是得出了车道中心线的连续像素坐标，但是车道往往具有较大的宽度，因此可以以这个中心线为基准向车道两端做一定的像素扩展，得到具有一定宽度的车道。

在本申请的一个实施例中，可以基于历史车流来建立车道模型，具体包括如下流程：

1)由于在道路上行驶的大多数车辆都是在车道内行驶，只有较少的车辆才会发生变道或不遵守交通规则的情况，因此可以基于摄像头记录的一段时间内的历史道路图像帧流，将每帧图像中的目标进行识别，并获得每个目标的像素位置坐标(也可携带目标的方向角)，然后将所有历史道路图像帧中的这些目标位置坐标进行叠加(对于同一个像素点中的方向角进行均值处理)，形成如图8所示的叠加的像素叠加图。可选地，在进行像素叠加时，为了更好的进行后续的处理，每次检测到某个像素有车辆目标时，在该像素叠加图中的该像素对应权重中增加1。如此循环，则最终可以形成一个带权重值的像素叠加图。

2)在得到像素叠加图之后，可以将权重值较小的像素点进行滤除，剩余像素点通过聚类或连通性算法进行处理，最终即可获得独立的每个车道的车道模型。

需要说明的是，上述实施例中建立车道模型的方案都采用了基于像素的车道模型，通常情况下只能供建模摄像头使用。但是在实际应用中，摄像头位置偏移、部署变化或者其他业务都需要使用该车道建模，因此可以基于视觉定位技术将这些连续的像素点进行世界坐标系的映射(如GPS坐标)，由此可以获得世界坐标系下的车道模型，基于世界坐标系下的车道模型将会具有通用性，可以供其他摄像头或者应用使用。

在本申请的一个实施例中，在建立了车道模型之后，车路协同系统服务器将启动实时的工作，以进行道路交通场景的识别，比如可以识别车道级拥堵、车辆变道、车辆紧急制动等交通场景，详细说明如下：

车道级拥堵状况的识别：

在本申请的一个实施例中，在建立车道模型之后，可以在每一帧的图像中识别到一个道路目标(如车辆)后，比对该目标的像素位置和车道模型中车道像素位置，确定该道路目标处于哪个车道。然后可以将某个车道中所有道路目标的速度信息进行统计，计算其平均速度，由此得到该车道的平均车速，据此判断车辆拥堵状况；或者还可以通过计算该车道中所有车辆目标之间车间距来判断该车道的拥堵状况。

车辆变道的识别：

在本申请的一个实施例中，在建立车道模型之后，可以在每一帧的图像中识别到一个道路目标(如车辆)后，比对该目标的像素位置和车道模型中各个像素位置，确定该道路目标处于哪个车道。如果发现该目标不在某个车道之中，而是处于车道之间，则判断该目标有可能处于变道状态。

在本申请的一个实施例中，在判断出可能变道的目标之后，可以基于跟踪或者目标识别技术回溯前几帧的中该目标的位置和行驶状态，如获得该目标在前几帧中的位置是否在车道内，并依据这几帧图像中该目标的行驶轨迹来确定该目标是否正在进行车辆变道。比如如图9所示，车辆的行驶轨迹如901所示，那么可以说明该车辆进行了变道。

在本申请的一个实施例中，为了更好的进行车道场景的判断，还可以在得出目标的行驶轨迹之后，基于该行驶轨迹确定道路目标的行驶方向角的变化，然后据此判断该方向角是否与建立的车道方向角一致，如果在持续的几帧道路图像中，某个车辆目标的行驶方向角都发生了偏移，那么可以判断该道路目标进行了车道变道。

车辆紧急制动的识别：

在本申请的一个实施例中，在道路图像中识别到一个道路目标(如车辆)后，如果发现该道路目标的车速较低，则可以判断该道路目标可能处于紧急制动状态。对于可能处于紧急制动状态的道路目标，可以基于跟踪或者目标识别对比技术回溯前几帧中该道路目标的行驶速度，如果发现在前几帧，该道路目标的速度比当前值高出一定幅度，则据此确定该道路目标处于紧急制动状态。

在本申请的一个实施例中，也可以对全图的道路目标进行速度的监测，对于道路图像中的每个目标进行跟踪，并不断循环对比相邻几帧中的每个道路目标的速度变化，如果发现道路目标的速度突然发生了较大幅度的降低，则确定该道路目标处于紧急制动状态。

本申请上述实施例的技术方案实现了低成本、高精度的车道及道路交通场景的识别，并且也能够弥补V2X技术渗透率较低的缺陷。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的基于视觉的交通场景识别方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的基于视觉的交通场景识别方法的实施例。

图10示出了根据本申请的一个实施例的基于视觉的交通场景识别装置的框图，该交通场景识别装置可以设置在处理器内。

参照图10所示，根据本申请的一个实施例的基于视觉的交通场景识别装置1000，包括：获取单元1002、第一处理单元1004和第二处理单元1006。

其中，获取单元1002用于获取路侧摄像头采集到的道路图像；第一处理单元1004用于基于所述路侧摄像头采集到的道路图像，识别所述道路图像中所包含的车道；第二处理单元1006用于根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况。

在本申请的一些实施例中，基于前述方案，第一处理单元1004配置为：基于所述道路图像，识别所述道路图像中所包含的车道中心线；以所述车道中心线为基准向所述车道中心线的两侧进行预定宽度的扩展，得到所述道路图像中所包含的车道。

在本申请的一些实施例中，基于前述方案，第一处理单元1004配置为：从所述道路图像中获取车道的中心线像素值；基于所述中心线像素值进行曲线拟合处理，生成所述车道中心线。

在本申请的一些实施例中，基于前述方案，第一处理单元1004配置为：基于所述路侧摄像头采集到的多帧道路图像，识别各帧道路图像中所包含的各个对象所在的位置；根据所述各帧道路图像中所包含的各个对象所在的位置，识别所述道路图像中所包含的车道。

在本申请的一些实施例中，基于前述方案，第一处理单元1004配置为：根据所述各帧道路图像中所包含的各个对象所在的位置，确定所述道路图像中的各个像素点的权重值；从所述道路图像中选择权重值高于预定值的目标像素点；基于所述目标像素点的位置确定所述道路图像中所包含的车道。

在本申请的一些实施例中，基于前述方案，第一处理单元1004配置为：根据所述各帧道路图像中所包含的各个对象所在的位置，确定所述各个像素点处出现的对象数量；基于所述各个像素点处出现的对象数量确定所述道路图像中的各个像素点的权重值，其中，所述各个像素点的权重值与所述各个像素点处出现的对象数量成正相关关系。

在本申请的一些实施例中，基于前述方案，第二处理单元1006配置为：根据所述车道的位置信息与所述对象的位置信息之间的关系，识别各个对象所处的车道；根据所述各个对象所处的车道，确定所述车道的拥堵情况。

在本申请的一些实施例中，基于前述方案，第二处理单元1006配置为：根据所述路侧摄像头采集到的至少两帧道路图像，计算所述各个对象的行驶速度，基于所述各个对象的行驶速度和所述各个对象所处的车道，确定所述车道的拥堵情况；或根据所述车道中的对象之间的间距，确定所述车道的拥堵情况。

在本申请的一些实施例中，基于前述方案，第二处理单元1006配置为：基于所述各个对象的行驶速度和所述各个对象所处的车道，确定处于同一个车道内的对象的平均行驶速度，若所述平均行驶速度低于第一速度阈值，则确定所述车道处于拥堵状态；或者

若处于同一个车道内的对象中有预定数量个对象的行驶速度低于第二速度阈值，则确定所述车道处于拥堵状态。

在本申请的一些实施例中，基于前述方案，所述第二处理单元配置为：

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则确定所述目标对象处于变道状态；或者

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则根据所述路侧摄像头采集到的历史道路图像确定所述目标对象的行驶轨迹，在所述目标对象的行驶轨迹表明所述目标对象由车道内移动至车道之间的情况下，确定所述目标对象处于变道状态；或者

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则根据所述路侧摄像头采集到的历史道路图像确定所述目标对象的行驶轨迹，根据所述目标对象的行驶轨迹确定所述目标对象的行驶方向角，在所述目标对象的行驶方向角相对于车道方向发生了偏移的情况下，确定所述目标对象处于变道状态。

在本申请的一些实施例中，基于前述方案，第二处理单元1006还配置为：

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象的行驶速度小于或等于第一阈值，则确定所述目标对象处于紧急制动状态；或者

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象在第一时间点的行驶速度小于或等于第一阈值，且所述目标对象在所述第一时间点之前的第二时间点的行驶速度与所述第一时间点的行驶速度之差大于或等于第二阈值，则确定所述目标对象处于紧急制动状态；或者

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象在预定时间内的行驶速度减小量大于或等于第三阈值，则确定所述目标对象处于紧急制动状态。

在本申请的一些实施例中，基于前述方案，第一处理单元1004还用于：基于所述路侧摄像头在世界坐标系中的坐标，以及所述路侧摄像头与所述道路图像中所包含的车道之间的位置关系，将所述车道的位置映射到所述世界坐标系中，得到所述车道在所述世界坐标系中的坐标位置。

图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图11所示，计算机系统1100包括中央处理单元(Central Processing Unit，CPU)1101，其可以根据存储在只读存储器(Read-Only Memory，ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1103中，还存储有系统操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，I/O)接口1105也连接至总线1104。

以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (13)

1.一种基于视觉的交通场景识别方法，其特征在于，包括：

获取路侧摄像头采集到的道路图像；

基于所述路侧摄像头采集到的多帧道路图像，识别各帧道路图像中所包含的各个对象所在的像素位置坐标；

根据所述各帧道路图像中所包含的各个对象所在的像素位置坐标，确定所述道路图像中的各个像素点处出现的对象数量；

基于所述各个像素点处出现的对象数量确定所述道路图像中的各个像素点的权重值，其中，所述各个像素点的权重值与所述各个像素点处出现的对象数量成正相关关系；

从所述道路图像中选择权重值高于预定值的目标像素点，基于所述目标像素点的位置确定所述道路图像中所包含的车道；

根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况。

2.根据权利要求1所述的基于视觉的交通场景识别方法，其特征在于，所述方法还包括：

基于所述道路图像，识别所述道路图像中所包含的车道中心线；

以所述车道中心线为基准向所述车道中心线的两侧进行预定宽度的扩展，得到所述道路图像中所包含的车道。

3.根据权利要求2所述的基于视觉的交通场景识别方法，其特征在于，基于所述道路图像，识别所述道路图像中所包含的车道中心线，包括：

从所述道路图像中获取车道的中心线像素值；

基于所述中心线像素值进行曲线拟合处理，生成所述车道中心线。

4.根据权利要求1所述的基于视觉的交通场景识别方法，其特征在于，根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况，包括：

根据所述车道的位置信息与所述对象的位置信息之间的关系，识别各个对象所处的车道；

根据所述各个对象所处的车道，确定所述车道的拥堵情况。

5.根据权利要求4所述的基于视觉的交通场景识别方法，其特征在于，根据所述各个对象所处的车道，确定所述车道的拥堵情况，包括：

根据所述路侧摄像头采集到的至少两帧道路图像，计算所述各个对象的行驶速度，基于所述各个对象的行驶速度和所述各个对象所处的车道，确定所述车道的拥堵情况；或

根据所述车道中的对象之间的间距，确定所述车道的拥堵情况。

6.根据权利要求5所述的基于视觉的交通场景识别方法，其特征在于，基于所述各个对象的行驶速度和所述各个对象所处的车道，确定所述车道的拥堵情况，包括：

基于所述各个对象的行驶速度和所述各个对象所处的车道，确定处于同一个车道内的对象的平均行驶速度，若所述平均行驶速度低于第一速度阈值，则确定所述车道处于拥堵状态；或者

若处于同一个车道内的对象中有预定数量个对象的行驶速度低于第二速度阈值，则确定所述车道处于拥堵状态。

7.根据权利要求1所述的基于视觉的交通场景识别方法，其特征在于，根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况，包括：

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则确定所述目标对象处于变道状态；或者

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则根据所述路侧摄像头采集到的历史道路图像确定所述目标对象的行驶轨迹，在所述目标对象的行驶轨迹表明所述目标对象由车道内移动至车道之间的情况下，确定所述目标对象处于变道状态；或者

若根据所述车道的位置信息与所述对象的位置信息识别到所述道路图像中包含有处于车道之间的目标对象，则根据所述路侧摄像头采集到的历史道路图像确定所述目标对象的行驶轨迹，根据所述目标对象的行驶轨迹确定所述目标对象的行驶方向角，在所述目标对象的行驶方向角相对于车道方向发生了偏移的情况下，确定所述目标对象处于变道状态。

8.根据权利要求1所述的基于视觉的交通场景识别方法，其特征在于，还包括：

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象的行驶速度小于或等于第一阈值，则确定所述目标对象处于紧急制动状态；或者

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象在第一时间点的行驶速度小于或等于第一阈值，且所述目标对象在所述第一时间点之前的第二时间点的行驶速度与所述第一时间点的行驶速度之差大于或等于第二阈值，则确定所述目标对象处于紧急制动状态；或者

若根据所述路侧摄像头采集到的道路图像确定所述道路图像中所包含的目标对象在预定时间内的行驶速度减小量大于或等于第三阈值，则确定所述目标对象处于紧急制动状态。

9.根据权利要求1至8中任一项所述的基于视觉的交通场景识别方法，其特征在于，在识别所述道路图像中所包含的车道之后，所述方法还包括：

基于所述路侧摄像头在世界坐标系中的坐标，以及所述路侧摄像头与所述道路图像中所包含的车道之间的位置关系，将所述车道的位置映射到所述世界坐标系中，得到所述车道在所述世界坐标系中的坐标位置。

10.一种基于视觉的交通场景识别装置，其特征在于，包括：

获取单元，用于获取路侧摄像头采集到的道路图像；

第一处理单元，用于基于所述路侧摄像头采集到的多帧道路图像，识别各帧道路图像中所包含的各个对象所在的像素位置坐标；根据所述各帧道路图像中所包含的各个对象所在的像素位置坐标，确定所述道路图像中的各个像素点处出现的对象数量；基于所述各个像素点处出现的对象数量确定所述道路图像中的各个像素点的权重值，其中，所述各个像素点的权重值与所述各个像素点处出现的对象数量成正相关关系；从所述道路图像中选择权重值高于预定值的目标像素点，基于所述目标像素点的位置确定所述道路图像中所包含的车道；

第二处理单元，用于根据所述车道的位置信息，以及所述路侧摄像头采集到的道路图像中所包含的对象的位置信息，识别道路交通情况。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的基于视觉的交通场景识别方法。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的基于视觉的交通场景识别方法。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备执行权利要求1至9中任一项所述的基于视觉的交通场景识别方法。