CN112669601B - 交通溢流检测方法、装置、电子设备及路侧设备 - Google Patents

Abstract

本申请公开了一种交通溢流检测方法、装置、电子设备及路侧设备，涉及智能交通、自动驾驶、车路协同等人工智能技术领域。具体实现方案为：电子设备获取到目标路口的交通视频后，从交通视频中确定出满足目标条件的第一图像，目标条件包括：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值。当该些第一图像的数量大于预设数量且该些第一图像连续时，电子设备确定出目标路口发生交通溢流。采用该种方案，电子设备基于物体检测和光流检测进行交通溢流的检测，准确度高且成本低，极大程度上防止交通拥堵恶化。

Description

交通溢流检测方法、装置、电子设备及路侧设备

技术领域

本申请涉及智能交通、自动驾驶、车路协同等人工智能技术领域，尤其涉及一种2。

背景技术

随着智能交通和车辆技术的飞速发展，车辆称为人们生活中常见的代步工具。与此同时，交通拥堵也频繁发生。

交通拥堵的表现形式多种多样，交通溢流是一种常见的交通拥堵。交通溢流主要是指车辆累计排队大于路段长度，甚至蔓延至下一路段的现象。交通溢流会导致路口死锁，严重时会逐渐蔓延，扩散至整个路网。常见的交通溢流检测方法中，将地磁传感器埋在道路上，利用地磁传感器检测道路上的车辆的停留时长来判断是否发生交通溢流。

然而，上述基于地磁的交通溢流检测方法容易发生误判和漏判。

发明内容

本申请提供了一种交通溢流检测方法、装置、电子设备及路侧设备，基于物体检测和光流检测进行交通溢流的检测，准确度高且成本低。

第一方面，本申请实施例提供一种交通溢流检测方法，包括：

获取目标路口的交通视频；

从所述交通视频中确定出第一图像，所述第一图像满足目标条件，所述目标条件为：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值；

当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，确定所述目标路口发生交通溢流。

第二方面，本申请实施例提供一种交通溢流检测装置，包括：

获取模块，用于获取目标路口的交通视频；

处理模块，用于从所述交通视频中确定出第一图像，所述第一图像满足目标条件，所述目标条件为：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值；

确定模块，用于当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，确定所述目标路口发生交通溢流。

第三方面、本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第一方面任意可能实现的方法。

第四方面，本申请实施例提供一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备计算机执行上述第一方面或第一方面的各种可能的实现方式中的方法。

第五方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述电子设备执行上述第一方面或第一方面的各种可能的实现方式中的方法。

根据本申请的技术，电子设备基于物体检测和光流检测进行交通溢流的检测，准确度高且成本低，极大程度上防止交通拥堵恶化。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的交通溢流检测方法的场景示意图；

图2是本申请实施例提供的交通溢流检测方法的流程图；

图3是本申请实施例提供的光流检测算法中目标区域的示意图；

图4是本申请实施例提供的交通溢流检测方法的另一个流程图；

图5是本申请实施例提供的交通溢流检测方法中物体检测的过程示意图；

图6为本申请实施例提供的一种交通溢流检测装置的结构示意图；

图7为本申请实施例提供的另一种交通溢流检测装置的结构示意图；

图8示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

交通溢流指由于交叉路口的瓶颈作用，使得驶入路段的车辆数量大于驶出路段的车辆数量而形成排队。当车辆排队超出路段长度的时候，就形成溢流。交通溢流的危害是巨大的，如果不加以预防和控制，整个城市会因为交叉路口处的车辆互相锁死而导致大规模的交通拥堵，最终的结果可能会使整个城市的交通处于瘫痪状态。交通溢流的诱发原因较多，如交通量过大、信号配时不合理、道路渠化不合理、交通事故等。

当某个路口发生交通溢流时，若对该路口的车辆不进行及时疏导等，有可能导致交通拥堵。因此，需要提前各个路口是否会发生交通溢流，根据检测结果采取相应的措施。常见的交通溢流检测方式中，将地磁传感器埋在机动车道上，利用地磁传感器检测道路上的车辆的停留时长来判断是否发生交通溢流。

上述基于地磁的交通溢流检测方法有如下弊端：

1、容易发生误判和漏判。

例如，当长度较长的工程车缓慢经过时，误以为车辆在道路上的停留时间过程而误判发生交通溢流；再如，车辆之间具有间隔，若车辆未位于地磁传感器的方法，此时，容易发生漏判。

2、成本高。

上述的交通溢流检测方法需要将地磁传感器埋在道路中，施工复杂，成本高，且不易维护。倘若某个路口的道路没有设置地磁传感器，则无法对该路口进行溢流检测。

本申请实施例涉及智能交通、自动驾驶、车路协同等人工智能技术领域，旨在基于物体检测和光流检测进行交通溢流的检测，准确度高且成本低。

图1是本申请实施例提供的交通溢流检测方法的场景示意图。请参照图1，该场景中目标路口例如为十字路口，该场景示意出目标路口的一些典型物体，包括道路101、安装在支架上的拍摄装置102、路侧设备103、行人104、车辆105以及交通指示设施106等。其中，拍摄装置102例如是高清摄像头等，交通指示设施106例如为交通信号灯等，路侧设备103具备无线通信能力，能够获取拍摄装置102拍摄的交通视频等，当识别出交通溢流后，路侧设备103能够控制交通指示设施106的运行，以降低或消除交通溢流，避免大规模的交通瘫痪。

图1中，一个或多个车辆105正在道路101上行驶，车辆105是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车、渣土车、大货车等等。图1所示场景中的一个或多个车辆105是具有一定定位能力和一定自动驾驶能力的车辆。当然，另外一个或一些车辆105还能够是不具有定位能力和自动驾驶能力的车辆。

请参照图1，拍摄装置102采集目标路口的交通视频，路侧设备103获取到交通识别后，基于物体检测和光流检测确定目标路口是否发生溢流。当发生交通溢流时，控制交通指示设施的运行，以有效疏导车辆等。

上述图1中是以拍摄装置102和路侧设备103为两个独立的设备为例进行说明。然而，本申请实施例并不限制。例如，路侧设备103包括路侧感知设备和路侧计算设备，路侧感知设备连接到路侧计算设备。其中，路侧感知设备例如为路侧相机等，路侧计算设备例如为路侧计算单元(Road Side Computing Unit，RSCU)。上述的拍摄装置102为路侧相机。

下面，基于图1所示场景，对本申请实施例所述的交通溢流检测方法进行详细说明。

图2是本申请实施例提供的交通溢流检测方法的流程图，本实施例的执行主体是路侧设备等电子设备，本实施例包括：

201、获取目标路口的交通视频。

示例性的，请参照图1，拍摄装置102实时对目标路口拍摄，得到目标路口的交通视频，该交通视频被传送给拍摄装置103等电子设备。

202、从所述交通视频中确定出第一图像。

所述第一图像满足目标条件，所述目标条件为：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值。

交通视频由连续的多帧图像组成，例如，假设拍摄装置102每秒拍摄30帧图像，共拍摄10秒，则能够得到一个包含300帧图像的交通视频，该交通视频中的每帧图像用于体现拍摄时目标路口的交通状况。对于任意一帧图像，电子设备根据当前帧和历史帧，能够确定出当前帧中光流的数量、光流速度等。光流数量是指当前帧中关键点的数量，关键点也称为角点、光流点等，是一些具有明显特征的像素点。假设当前帧中有4个光流点，历史帧中有5个光流点，该5个光流点中的4个光流点和当前帧中的4个光流点一一对应，根据一一对应的光流点各自的位置和帧间隔，能够确定出当前帧中一个光流点的光流速度，不同光流点的光流速度相同或不同。计算出每个光流点的光流速度后，对该些光流速度求平均值，就能够确定出当前帧的光流速度。其中，历史帧是与当前帧相邻的前一帧、位于当前帧之前但与当前帧不相邻的一帧图像、当前帧的前几帧图像等，本申请实施例并不限制。

当当前帧中包含车辆时，电子设备对当前帧进行物体检测，就能够确定出车辆的数量。电子设备根据当前帧和与历史帧，能够确定出当前帧中每个车辆的车辆速度，进而对该些速度求取平均值，就能够确定出当前帧对应的车辆速度。

电子设备预先获取第一阈值、第二阈值、第三阈值和第四阈值。不同路口的阈值不同或相同。例如，路口A的第一阈值与路口B的第一阈值相同或不同。同理，路口A和路口B的第二阈值、第三阈值和第四阈值分别相同或不同。

203、当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，确定所述目标路口发生交通溢流。

示例性的，电子设备确定出第一图像后，判断第一图像的数量是否大于预设数量。若第一图像的数量大于预设数量，继续判断该些第一图像是否连续，若该些第一图像连续，则电子设备确定目标路口发生交通溢流。若第一图像的数量小于或等于预设数量，或者，即使第一图像的数量大于预设数量，但是该些第一图像不连续，则电子设备认为目标路口未发生交通溢流。

例如，交通视频包含100帧图像，预设数量为70，若该100帧图像中的70帧连续的图像都满足上述的目标条件，则认为目标路口发生交通溢流。若满足上述目标条件的图像不够70帧，或者，即使满足目标条件的图像超过70帧，但是满足目标条件的图像中不存在连续的70帧图像，则电子设备认为目标路口未发生交通溢流。

本申请实施例提供的交通溢流检测方法，电子设备获取到目标路口的交通视频后，从交通视频中确定出满足目标条件的第一图像，目标条件包括：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值。当该些第一图像的数量大于预设数量且该些第一图像连续时，电子设备确定出目标路口发生交通溢流。采用该种方案，电子设备基于物体检测和光流检测进行交通溢流的检测，准确度高且成本低，极大程度上防止交通拥堵恶化。

上述实施例中，电子设备确定交通视频中每帧图像的光流数量、光流速度、车辆速度和车辆数量时，可以将该图像作为整体，根据整个图像确定光流数量、光流速度、车辆速度和车辆数量。或者，电子设备也可以根据当前帧的目标区域确定当前帧的光流数量、光流速度、车辆速度和车辆数量。示例性，请参照图3。

图3是本申请实施例提供的光流检测算法中目标区域的示意图。请参照图3，图中的N、S、W、E分别表示北(north)、南(south)、西(west)、东(east)，实线箭头所示为车辆行驶方向。图中有4个出口道、4个进口道，自东向西的出口道的区域如图中虚线框所示。任意一个出口道的车辆过多，导致排队到十字路口交叉部分，即图中四个人行道形成的区域，则认为该路口发生交通溢流。

以自东向西的出口道为例，若驶向该区域的车辆过多，则导致车辆排队，排队的车辆蔓延至黑色实线矩形框部分。由于交通溢流大多发生在出口道，为了准确识别出到底哪个出口道发生交通溢流，电子设备在确定光流数量、光流速度、车辆速度和车辆数量时，仅考虑目标区域，该目标区域例如为黑色实线矩形框。目标区域通常能够容纳5-10辆车。

通常而言，拍摄装置拍摄的区域是固定的，交通视频中每帧图像中各个出口道的位置是固定的。因此，电子设备判断具体的哪个出口道是否发生交通溢流时，从各帧图像中确定出出口道区域，将出口道区域按照通向方向和反方向延伸，得到目标区域。之后，电子设备仅判断目标区域内光流数量、光流速度、车辆速度和车辆数量。

采用该种方案，电子设备能够快速准确的识别出哪个出口道发生交通溢流的目的。

图4是本申请实施例提供的交通溢流检测方法的另一个流程图。本实施例包括：

401、对所述交通视频每帧图像进行光流检测，得到所述交通视频每帧图像对应的光流数量和光流速度。

示例性的，电子设备利用光流检测算法，能够确定出当前帧相对于历史帧中光流点的个数和光流速度，光流点的个数即为光流个数。当一帧图像中光流的光流个数超过第一阈值、且光流速度小于第二阈值时，执行步骤402；当一帧图像中光流的光流个数未超过第一阈值，和/或，光流速度大于或等于第二阈值时，说明该帧图像未发生交通溢流，该图像不是第一图像。

402、对所述交通视频每帧图像进行物体检测，得到所述交通视频每帧图像对应的车辆数量和车辆速度。

示例性的，电子设备基于物体检测算法，确定交通视频每帧图像中车辆的数量、车辆速度。当一帧图像中车辆的车辆个数大于第三阈值、且车辆速度小于第四阈值时，确定该帧图像为第一图像；当一帧图像中车辆的车辆个数小于或等于第三阈值，和/或，车辆速度大于或等于第四阈值时，说明该帧图像未发生交通溢流，该图像不是第一图像。

403、根据所述交通视频每帧图像对应的光流数量和光流速度、车辆数量和车辆速度，从所述交通视频中确定出第一图像。

需要说明的是，虽然图3所示实施例中，电子设备先执行步骤401，之后执行步骤402。然而，本申请是实施例并不以此为限制，其他可行的实现方式中，电子设备也可以先执行物体检测再执行光流检测。

另外，由于拍摄装置，如高清摄像头等的安装角度问题，例如，很多摄像头的视野是斜下方向，当目标区域内的车辆比较密集时，很有可能发生遮挡，比如，一个大巴车遮挡出租车、私家车等小汽车的大部分区域。此时，仅使用物体检测算法会发生漏检。举例来说，本来目标区域内有10个车辆，由于遮挡等原因，利用物体检测算法仅能检测出5个车辆。而光流检测算法不考虑单个物体，而是考虑各个特征点，因此，基于光流检测算法，能够捕捉到被遮挡的车辆上的特征点，因此，能够提高光交通溢流检测的准确性。

采用该种方案，电子设备基于物体检测和光流检测进行交通溢流的检测，能够避免漏检等，准确度高且成本低。

下面，对电子设备如何进行光流检测和物体检测分别进行详细说明。

首先，光流检测。

光流检测过程中，电子设备提取第二图像中的特征点，得到第一特征点集合，提取第三图像中的特征点，得到第二特征点集合，所述第二图像是所述交通视频包含的任意一帧图像，所述第三图像是所述交通视频中位于所述第二图像之前的图像。然后，电子设备从所述第一特征点集合和所述第二特征点集合中确定出一一对应的特征点，得到特征点对，将特征点对的数量作为所述光流数量。最后，电子设备根据所述特征点对，确定所述第二图像的光流速度。

示例性的，光流，当人的眼睛与被观察物体发生相对运动时，物体的影像在视网膜平面上形成一些列连续变化的图像，这一系列变化的图像信息不断“流过”视网膜，好像是一种光的“流”，所以被成为光流。光流是基于像素点定义的。电子设备对第二图像进行光流检测，就是计算第二图像相对于第三图像的光流数量和光流速度的过程。

电子设备执行光流检测算法时，从第二图像的目标区域中确定出多个特征点，该些特征点例如是车辆的轮胎中心点、至少包裹车辆的矩形框的四个顶点等，当该些特征点同时存在与第三图像时，将该些特征点作为光流点，从而得到光流数量。例如，第三图像的目标区域内的一辆车具有8个特征点，由于车辆一直在行驶，同一辆车在第二图像的目标区域内具有6个特征点，该6个特征点与第三图像中8个特征点中的某6个特征点一一对应，则电子设备认为光流数量为6个。之后，电子设备根据该6对特征点确定光流速度。其中，光流检测算法例如是金字塔(Lukas-Kanade，L-K)、Horn-Schucnk(H-S)光流检测算法等，本申请实施例并不限制。

上述电子设备从第二图像和第三图像中确定一对特征点时，从第二图像中提取出一个特征点，将该特征点周围区域的特征作为该特征点的特征，从第三图像中确定出具有相似特征的特征点，从而找到一对特征点。

确定光流速度的过程中，针对第二图像中的每个光流点，电子设备得出的光速速度相同或不相同。之后，电子设备对该6个光流点的速度求平均值，将平均速度作为第二图像的光流速度。不同光流点的光流速度相同或不同，光流速度是像素点级别的，车辆速度是对象级别的，因此，不能将光流速度等同于车辆速度。

采用该种方案，实现准确确定出光流数量和光流速度的目的。

其次，物体检测。

物体检测过程中，电子设备从第二图像中检测出多个车辆，根据所述多个车辆确定所述第二图像中车辆的车辆数量。同时，电子设备根据所述多个车辆和第三图像，确定所述第二图像中车辆的车辆速度，所述第三图像是所述交通视频中位于所述第二图像之前的图像。

示例性的，电子设备利用物体检测算法对电子设备的目标区域进行物体检测，从而检测出多个车辆。物体检测算法例如为滑动窗口检测器(sliding-windows detectors)、候选区域方法(region proposal method)、卷积神经网络算法等，本申请实施例并不限制。电子设备检测出车辆后，将大部分车身，如80％车身位于目标区域的车辆作为有效车辆。之后，电子设备统计有效车辆的数量，从而得到第二图像的车辆数量。

确定车辆速度的过程中，需要用到当前帧和历史帧，即第二帧图像和第三帧图像。电子设备根据帧间隔以及同一车辆在不同图像中的位置，确定出车辆速度。

采用该种方案，实现准确确定出车辆数量和车辆速度的目的。

上述实施例中，电子设备根据所述多个车辆确定所述第二图像中车辆的车辆速度时，首先，确定第一车辆在所述第二图像中的第一位置，所述第一车辆是所述多个车辆中的任意一个车辆。然后，电子设备确定所述第一车辆在第三图像中的第二位置，根据所述第一位置和所述第二位置，确定所述第一车辆的车辆速度。之后，电子设备根据所述第一车辆的移动速度，确定所述第二图像中车辆的车辆速度。

示例性的，电子设备利用行人重识别(Person re-identification，ReID)，对第二图像和第三图像中的同一个对象赋予相同的身份标识(identification，ID)。假设电子设备从第二图像的目标区域中检查出5个车辆，该五个车辆同时存在与第三图像中，则电子设备对该5个车辆分别赋予不同的ID，第二图像和第三图像中的同一个车辆的ID相同。之后，对于任意一个车辆，以下称为第一车辆，电子设备确定该第一车辆在第二图像中的第一位置，该第一车辆在第三图像中的第二位置。由于车辆可能发生了移动，第一位置和第二位置可能不一样。而且，帧间隔是已知的，因此，电子设备能够根据第一位置和第二位置之间的距离以及帧间隔等，计算出第一车辆的速度。

电子设备确定出多个车辆中每个车辆的车辆速度后，对该些车辆速度求取平均值，将平均速度作为第二图像的车辆速度。

采用该种方案，实现准确确定出车辆速度的目的。

上述实施例中，电子设备确定第一车辆在第二图像和第三图像中的位置的前提是：在不同的图像中对第一车辆赋予相同的ID，从而实现对第一车辆的追踪。为了对同一个车辆赋予相同的ID，电子设备确定所述第一车辆在第三图像中的第二位置之前，还利用物体检测模型确定所述第二图像中第一车辆的第一行人重识别ReID特征，所述物体检测模型是基于YOLOv3得到的多任务二阶模型，所述第一车辆是所述多个车辆中的任意一个车辆。同时，利用物体检测模型确定所述第三图像中第二车辆的第二ReID特征。接着，电子设备判断第一ReID特征和第二ReID特征的相似度，当相似度大于预设阈值时，确定所述第一车辆和所述第二车辆为同一车辆，对第一车辆和第二车辆赋予相同的ID。当第一ReID特征和第二ReID特征的相似度比较低时，认为第一车辆和第二车辆是不同的车辆。

图5是本申请实施例提供的交通溢流检测方法中物体检测的过程示意图。请参照图5，基于YOLOv3得到的多任务二阶模型包括第一阶段和第二阶段。

交通视频中的任意一帧图像，以下称之为第二图像，该第二图像例如是608×608的图像，本申请实施例并不限制。第二图像输入至基于YOLOv3得到的多任务二阶模型的第一阶段后，依次进过主干网络(backbone)、苗条(slimmed)特征金字塔(feature pyramidnetworks，FPN)后，能够得到Yolov3损失(loss)以及非极大值抑制(Non-MaximumSuppression，NMS)特征等。其中，NMS特征也称为Yolobox NMS等。

执行完第一阶段的处理后，进行第二阶段的处理。第二阶段中，NMS特征进入池化模块，输出第二图像中每个障碍物的类别和位置(Cls+Reg)、192维的ReID特征、长宽高(length Width High，L,W,H)、朝向角(Rotation)参数、是否被遮挡(Occlude)的相关参数、是否被截断(Truncate)的相关参数。

采用该种方案，实现电子设备从不同图像中确定出同一车辆的目的。

上述实施例中，当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，电子设备确定所述目标路口发生交通溢流之后，控制所述目标路口的交通指示设施。

示例性的，再请参照图3，图中交通指示设施如图中包含三个圆圈的矩形框所示，即交通指示设施为红绿灯。当电子设备确定出十字路口东西向道路发生交通溢流，则东西向的红绿灯变成红灯时，目标区域内还有车辆，即车辆排队蔓延到十字路口的交叉区域。此时，电子设备控制南北方向绿灯点亮的时长变短，而红灯点亮的时长边长，从而使得发生交通溢流的东西向道路中的车辆优先通行，将挤在十字路口交叉部分的车辆清空。

采用该种方案，电子设备识别出交通溢流后，通过控制交通指示设施疏导车辆，避免交通进一步恶化。

上述介绍了本申请实施例提到的交通溢流检测方法的具体实现，下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6为本申请实施例提供的一种交通溢流检测装置的结构示意图。该装置可以集成在电子设备中或通过电子设备实现。如图6所示，在本实施例中，该基于电子地图的交通溢流检测装置600可以包括：获取模块61、处理模块62和确定模块63。

获取模块61，用于获取目标路口的交通视频；

处理模块62，用于从所述交通视频中确定出第一图像，所述第一图像满足目标条件，所述目标条件为：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值；

确定模块63，用于当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，确定所述目标路口发生交通溢流。

图7为本申请实施例提供的另一种交通溢流检测装置的结构示意图。本实施例中的处理模块获取模块71、处理模块72和确定模块73，分别相当于图6中的获取模块61、处理模块62和确定模块63。本实施例提供的交通溢流检测装置700，处理模块72包括：

光流检测单元721，用于对所述交通视频每帧图像进行光流检测，得到所述交通视频每帧图像对应的光流数量和光流速度；

物体检测单元722，用于对所述交通视频每帧图像进行物体检测，得到所述交通视频每帧图像对应的车辆数量和车辆速度；

确定单元723，用于根据所述交通视频每帧图像对应的光流数量和光流速度、车辆数量和车辆速度，从所述交通视频中确定出第一图像。

一种可行的设计中，所述物体检测单元722，用于从第二图像中检测出多个车辆，所述第二图像是所述交通视频包含的任意一帧图像，根据所述多个车辆确定所述第二图像中车辆的车辆数量，根据所述多个车辆和第三图像，确定所述第二图像中车辆的车辆速度，所述第三图像是所述交通视频中位于所述第二图像之前的图像。

一种可行的设计中，所述物体检测单元722根据所述多个车辆和第三图像，确定所述第二图像中车辆的车辆速度时，用于确定第一车辆在所述第二图像中的第一位置，所述第一车辆是所述多个车辆中的任意一个车辆，确定所述第一车辆在第三图像中的第二位置，根据所述第一位置和所述第二位置，确定所述第一车辆的车辆速度，根据所述第一车辆的移动速度，确定所述第二图像中车辆的车辆速度。

再请参照图7，本实施提供的交通溢流检测装置700还包括：

赋予模块74，用于在所述物体检测单元722确定所述第一车辆在第三图像中的第二位置之前，利用物体检测模型确定所述第二图像中第一车辆的第一行人重识别ReID特征，所述物体检测模型是基于YOLOv3得到的多任务二阶模型，所述第一车辆是所述多个车辆中的任意一个车辆，利用所述物体检测模型确定所述第三图像中第二车辆的第二ReID特征，当所述第一ReID特征和所述第二ReID特征的相似度大于预设阈值时，确定所述第一车辆和所述第二车辆为同一车辆。

一种可行的设计中，所述光流检测单元721，用于提取第二图像中的特征点，得到第一特征点集合，提取第三图像中的特征点，得到第二特征点集合，所述第二图像是所述交通视频包含的任意一帧图像，所述第三图像是所述交通视频中位于所述第二图像之前的图像，从所述第一特征点集合和所述第二特征点集合中确定出一一对应的特征点，得到特征点对，将特征点对的数量作为所述光流数量，根据所述特征点对，确定所述第二图像的光流速度。

再请参照图7，本实施提供的交通溢流检测装置700还包括：

控制模块75，用于当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，所述确定模块73确定所述目标路口发生交通溢流之后，控制所述目标路口的交通指示设施。

一种可行的设计中，所述处理模块62，用于从所述交通视频的每帧图像中确定出目标区域，当所述交通视频包含的图像的目标区域满足目标条件时，确定所述交通视频包含的图像为所述第一图像。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

图8示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如交通溢流检测方法。例如，在一些实施例中，交通溢流检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的交通溢流检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行交通溢流检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(Virtual Private Server，VPS)中存在的管理难度大、业务扩展性弱等缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本申请实施例还提供一种路侧设备，该路侧设备包含如图8所示的电子设备。另外，路侧设备还可以包括路侧感知设备、路侧通信设备等。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (19)

1.一种交通溢流检测方法，包括：

获取目标路口的交通视频；

从所述交通视频中确定出第一图像，所述第一图像满足目标条件，所述目标条件为：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值；

当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，确定所述目标路口发生交通溢流。

2.根据权利要求1所述的方法，其中，所述从所述交通视频中确定出第一图像，包括：

对所述交通视频每帧图像进行光流检测，得到所述交通视频每帧图像对应的光流数量和光流速度；

对所述交通视频每帧图像进行物体检测，得到所述交通视频每帧图像对应的车辆数量和车辆速度；

根据所述交通视频每帧图像对应的光流数量和光流速度、车辆数量和车辆速度，从所述交通视频中确定出第一图像。

3.根据权利要求2所述的方法，其中，所述对所述交通视频每帧图像进行物体检测，得到所述交通视频每帧图像对应的车辆数量和车辆速度，包括：

从第二图像中检测出多个车辆，所述第二图像是所述交通视频包含的任意一帧图像；

根据所述多个车辆确定所述第二图像中车辆的车辆数量；

根据所述多个车辆和第三图像，确定所述第二图像中车辆的车辆速度，所述第三图像是所述交通视频中位于所述第二图像之前的图像。

4.根据权利要求3所述的方法，其中，所述根据所述多个车辆和第三图像，确定所述第二图像中车辆的车辆速度，包括：

确定第一车辆在所述第二图像中的第一位置，所述第一车辆是所述多个车辆中的任意一个车辆；

确定所述第一车辆在第三图像中的第二位置；

根据所述第一位置和所述第二位置，确定所述第一车辆的车辆速度；

根据所述第一车辆的移动速度，确定所述第二图像中车辆的车辆速度。

5.根据权利要求4所述的方法，其中，所确定所述第一车辆在第三图像中的第二位置之前，还包括：

利用物体检测模型确定所述第二图像中第一车辆的第一行人重识别ReID特征，所述物体检测模型是基于YOLOv3得到的多任务二阶模型，所述第一车辆是所述多个车辆中的任意一个车辆；

利用所述物体检测模型确定所述第三图像中第二车辆的第二ReID特征；

当所述第一ReID特征和所述第二ReID特征的相似度大于预设阈值时，确定所述第一车辆和所述第二车辆为同一车辆。

6.根据权利要求2-5任一项所述的方法，其中，所述对所述交通视频每帧图像进行光流检测，得到所述交通视频每帧图像对应的光流数量和光流速度，包括：

提取第二图像中的特征点，得到第一特征点集合，提取第三图像中的特征点，得到第二特征点集合，所述第二图像是所述交通视频包含的任意一帧图像，所述第三图像是所述交通视频中位于所述第二图像之前的图像；

从所述第一特征点集合和所述第二特征点集合中确定出一一对应的特征点，得到特征点对，将特征点对的数量作为所述光流数量；

根据所述特征点对，确定所述第二图像的光流速度。

7.根据权利要求1-5任一项所述的方法，其中，所述当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，确定所述目标路口发生交通溢流之后，还包括：

控制所述目标路口的交通指示设施。

8.根据权利要求1-5任一项所述的方法，其中，所述从所述交通视频中确定出第一图像，包括：

从所述交通视频的每帧图像中确定出目标区域；

当所述交通视频包含的图像的目标区域满足目标条件时，确定所述交通视频包含的图像为所述第一图像。

9.一种交通溢流检测装置，包括：

获取模块，用于获取目标路口的交通视频；

处理模块，用于从所述交通视频中确定出第一图像，所述第一图像满足目标条件，所述目标条件为：光流的数量大于第一阈值、光流的速度小于第二阈值、车辆的数量大于第三阈值且车辆的速度小于第四阈值；

确定模块，用于当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，确定所述目标路口发生交通溢流。

10.根据权利要求9所述的装置，其中，所述处理模块包括：

光流检测单元，用于对所述交通视频每帧图像进行光流检测，得到所述交通视频每帧图像对应的光流数量和光流速度；

物体检测单元，用于对所述交通视频每帧图像进行物体检测，得到所述交通视频每帧图像对应的车辆数量和车辆速度；

确定单元，用于根据所述交通视频每帧图像对应的光流数量和光流速度、车辆数量和车辆速度，从所述交通视频中确定出第一图像。

11.根据权利要求10所述的装置，其中，

所述物体检测单元，用于从第二图像中检测出多个车辆，所述第二图像是所述交通视频包含的任意一帧图像，根据所述多个车辆确定所述第二图像中车辆的车辆数量，根据所述多个车辆和第三图像，确定所述第二图像中车辆的车辆速度，所述第三图像是所述交通视频中位于所述第二图像之前的图像。

12.根据权利要求11所述的装置，其中，

所述物体检测单元根据所述多个车辆和第三图像，确定所述第二图像中车辆的车辆速度时，用于确定第一车辆在所述第二图像中的第一位置，所述第一车辆是所述多个车辆中的任意一个车辆，确定所述第一车辆在第三图像中的第二位置，根据所述第一位置和所述第二位置，确定所述第一车辆的车辆速度，根据所述第一车辆的移动速度，确定所述第二图像中车辆的车辆速度。

13.根据权利要求12所述的装置，还包括：

赋予模块，用于在所述物体检测单元确定所述第一车辆在第三图像中的第二位置之前，利用物体检测模型确定所述第二图像中第一车辆的第一行人重识别ReID特征，所述物体检测模型是基于YOLOv3得到的多任务二阶模型，所述第一车辆是所述多个车辆中的任意一个车辆，利用所述物体检测模型确定所述第三图像中第二车辆的第二ReID特征，当所述第一ReID特征和所述第二ReID特征的相似度大于预设阈值时，确定所述第一车辆和所述第二车辆为同一车辆。

14.根据权利要求10-13任一项所述的装置，其中，

所述光流检测单元，用于提取第二图像中的特征点，得到第一特征点集合，提取第三图像中的特征点，得到第二特征点集合，所述第二图像是所述交通视频包含的任意一帧图像，所述第三图像是所述交通视频中位于所述第二图像之前的图像，从所述第一特征点集合和所述第二特征点集合中确定出一一对应的特征点，得到特征点对，将特征点对的数量作为所述光流数量，根据所述特征点对，确定所述第二图像的光流速度。

15.根据权利要求9-13任一项所述的装置，还包括：

控制模块，用于当所述交通视频中第一图像的数量大于预设数量、且大于所述预设数量的第一图像连续时，所述确定模块确定所述目标路口发生交通溢流之后，控制所述目标路口的交通指示设施。

16.根据权利要求9-13任一项所述的装置，

所述处理模块，用于从所述交通视频的每帧图像中确定出目标区域，当所述交通视频包含的图像的目标区域满足目标条件时，确定所述交通视频包含的图像为所述第一图像。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

19.一种路侧设备，包括如权利要求17所述的电子设备。

Images