CN111583660B - 车辆转向行为检测方法、装置、设备及存储介质 - Google Patents

车辆转向行为检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111583660B
CN111583660B CN202010445700.7A CN202010445700A CN111583660B CN 111583660 B CN111583660 B CN 111583660B CN 202010445700 A CN202010445700 A CN 202010445700A CN 111583660 B CN111583660 B CN 111583660B
Authority
CN
China
Prior art keywords
vehicle
frame
line
target vehicle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010445700.7A
Other languages
English (en)
Other versions
CN111583660A (zh
Inventor
雷红涛
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202010445700.7A priority Critical patent/CN111583660B/zh
Publication of CN111583660A publication Critical patent/CN111583660A/zh
Application granted granted Critical
Publication of CN111583660B publication Critical patent/CN111583660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请公开了一种车辆转向行为检测方法，该方法对车辆进行跟踪，再依据路口配置标线，包括左侧车道线、人行横道上边缘线等，及收集的目标车辆框信息进行车辆行为的识别，判断目标车辆是否在停止线下方或人行横道区域内发生了左转弯行为，若目标左转离开路口，并在停止线下方或人行横道区域内已发生了左转行为，则确定大弯小转行为，该方法不需要根据先验知识获取不允许左转的范围并设置检测线，无需额外的外设，实现的设备简单，成本低，且通过针对人行横道线内的车辆行驶行为以及离开路口时的行驶行为进行判定，可以避免误判，提升了大弯小转判别的精准度。本申请还提供了一种车辆转向行为检测装置、设备及一种可读存储介质，具有上述有益效果。

Description

车辆转向行为检测方法、装置、设备及存储介质
技术领域
本申请涉及车辆交通技术领域，特别涉及一种车辆转向行为检测方法、装置、设备及一种可读存储介质。
背景技术
根据《中华人民共和国道路交通安全法实施条例》第五十一条第三项规定，机动车左转通过有交通信号灯控制的交叉路口时，须靠路口中心点左侧转弯。但近年来，车辆数目激增，城市交通压力大，尤其是交叉路口，车流大、通行相对缓慢。存在司机为了快速通过路口，没有按照条例规定在靠近路口中心点左侧转弯，而是在人行横道线区域内直接左转或者在停止线内跨实线左转，造成大弯小转违法行为的情况，影响对向直行车辆及行人通行，甚至造成交通事故，因此，对于道路行驶中大弯小转违法行为的检测对于道路安全尤为重要。
相关技术中是通过在左转车道左侧不允许左转的范围设置检测线并判定左转车辆是否触碰检测线的方法来实现大弯小转违法行为的检测。而该种方式只能检测车辆是否触碰检测线，而在触碰检测线时可能车辆最后直行(甚至右转)，没有形成大弯小转违法行为，造成误判；而且该种方式对检测线的设置较敏感，需要较多的先验知识，并且是否触碰检测线的判定需要外设支持，或者需要抓拍相机时刻获取车辆的准确轮廓信息并判断其与检测线的关系，因此该系统较复杂且对性能要求较高。
因此，如何通过精准实现大弯小转行为的检测，同时控制实现成本，是本领域技术人员急需解决的问题。
发明内容
本申请的目的是提供一种车辆转向行为检测方法，该方法可以精准实现大弯小转行为的检测，同时实现成本低；本申请的另一目的是提供一种车辆转向行为检测装置、设备及一种可读存储介质。
为解决上述技术问题，本申请提供一种车辆转向行为检测方法，包括：
对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，得到目标车辆框；所述监控摄像机设置于路口上方，用于拍摄左转路口区域的车辆行驶；
判断所述目标车辆框是否越过左侧车道线以及所述左侧车道线在人行横道上边缘线内的延长线；
若越过，判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为；
判断所述目标车辆是否左转弯离开路口；
若是，判定所述目标车辆存在大弯小转行为。
可选地，所述对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，包括：
调用跟踪算法跟踪进入监控摄像机的拍摄区域的车辆，生成车辆跟踪框；
调用深度学习检测算法对所述车辆跟踪框的区域图像进行目标检测，并将得到的车辆检测框作为所述目标车辆框。
可选地，在生成车辆跟踪框之后，还包括：
按照跟踪框外扩规则对所述车辆跟踪框进行外扩处理，得到外扩框；
则相应地，所述调用深度学习检测算法对所述车辆跟踪框的区域图像进行目标检测，包括：调用深度学习检测算法对所述外扩框的区域图像进行目标检测。
可选地，在调用深度学习检测算法对所述外扩框的区域图像进行目标检测之后，还包括：
判断所述目标检测得到的所述车辆检测框与所述车辆跟踪框的跟踪对象是否相同；
若相同，则将所述车辆检测框作为所述目标车辆框；
若不同，则当前车辆检测识别失败。
可选地，所述车辆转向行为检测方法还包括：
获取所述目标车辆在所述人行横道上边缘线内转弯以及在越过左侧车道线时的图片，作为证据图。
可选地，所述车辆转向行为检测方法还包括：
若所述目标车辆框未越过左侧车道线以及所述左侧车道线在人行横道上边缘线内的延长线，获取所述目标车辆框追踪的目标车辆在离开所述人行横道线上边缘前的轨迹信息；
对所述轨迹信息进行多维特征提取，得到多维特征信息；
调用预训练的分类器对所述多维特征信息进行左转与非左转分类识别；
若所述分类识别得到左转的分类结果，执行判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为的步骤。
可选地，所述车辆转向行为检测方法还包括：
若所述分类识别得到非左转的分类结果，获取所述目标车辆在离开所述人行横道线上边缘前的轨迹点；
将所述轨迹点进行路径拟合，得到轨迹线；
确定所述轨迹线与标准角度线间的夹角；所述标准角度线为设置角度固定的衡量线；
判断所述夹角是否达到左转向角阈值；
若达到，执行判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为的步骤。
本申请还公开了一种车辆转向行为检测装置，包括：
跟踪识别单元，用于对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，得到目标车辆框；所述监控摄像机设置于路口上方，用于拍摄左转路口区域的车辆行驶；
左转弯意向判别单元，用于判断所述目标车辆框是否越过左侧车道线以及所述左侧车道线在人行横道上边缘线内的延长线；若越过，触发第一判定单元；
所述第一判定单元，用于判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为；
左转弯驶离判别单元，用于判断所述目标车辆是否左转弯离开路口；若是，触发第二判定单元；
所述第二判定单元，用于判定所述目标车辆存在大弯小转行为。
本申请还公开了一种车辆转向行为检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的车辆转向行为检测方法的步骤。
本申请还公开了一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述车辆转向行为检测方法的步骤。
本申请所提供的车辆转向行为检测方法，该方法通过在停止线下方对车辆进行跟踪；再依据路口配置标线，包括左侧车道线、人行横道上边缘线等，及收集的目标车辆框信息进行车辆行为的识别，判断目标车辆是否在停止线下方或人行横道区域内发生了左转弯行为，若目标左转离开路口，并在停止线下方或人行横道区域内已发生了左转行为，则确定大弯小转行为，该方法不需要根据先验知识获取不允许左转的范围并设置检测线，无需额外的外设，只需要调用监控摄像机进行拍摄即可，实现的设备简单，成本低，且通过针对人行横道线内的车辆行驶行为以及离开路口时的行驶行为进行判定，可以避免误判，提升了大弯小转判别的精准度。
本申请还提供了一种车辆转向行为检测装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种车辆转向行为检测方法的流程图；
图2为本申请实施例提供的一种交叉路口标识线示意图；
图3为本申请实施例提供的一种基于机器学习和数据拟合的判定方法流程示意图；
图4为本申请实施例提供的一种在车辆驶离人行横道前与车辆驶离人行横道后的目标左转弯行为判定流程示意图；
图5为本申请实施例提供的一种合成的大弯小转证据图；
图6为本申请实施例提供的一种车辆转向行为检测装置的结构框图；
图7为本申请实施例提供的一种车辆转向行为检测设备的结构示意图。
具体实施方式
本申请的核心是提供一种车辆转向行为检测方法，该方法可以精准实现大弯小转行为的检测，同时实现成本低；本申请的另一核心是提供一种车辆转向行为检测装置、设备及一种可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本实施例提供的车辆转向行为检测方法的流程图，该方法主要包括：
步骤s110、对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，得到目标车辆框；
监控摄像机需设置于路口上方，可以拍摄交叉路口中，尤其是左转路口区域的车辆行驶，拍摄区域至少包括在停止线前的道路区域以及距离该停止线最近的人行横道区域，以图2所示的交叉路口标识线为例，其中，1号线为左侧车道线，2号线为停止线，3号线为人行横道下边缘线，4号线为人行横道上边缘线，5号线为左转弯离开线，则拍摄区域至少应包括1和2所包围的待转弯车道区域以及3和4所包围的人行横道区域。
在停止线下方对车辆进行抓拍，并开始跟踪，然后逐帧跟踪目标并记录目标的位置信息，实现跟踪识别，跟踪的目标，对应有一个跟踪框，以标识目标的位置和轮廓信息，该跟踪框即为本实施例中的目标车辆框。而其中，对于具体的车辆跟踪识别算法本实施例中不做限定，可以根据实际检测的需要进行相应的设定，在此不再赘述。
步骤s120、判断目标车辆框是否越过左侧车道线以及左侧车道线在人行横道上边缘线内的延长线；若越过，触发步骤s130；
步骤s130、判定目标车辆框追踪的目标车辆存在离开人行横道上边缘线前存在左转行为；
本实施例中将步骤s120与步骤s130合并介绍。
左侧车道线即图2中的1号线，左侧车道线在人行横道上边缘线内的延长线即在人行横道区域1号线的延长线。本实施例中以车辆的轨迹行为进行大弯小转的判断，以左侧车道线以及左侧车道线在人行横道上边缘线内的延长线作为左转行为(小转)的判定标准，依据交叉路口配置标线(参见图2)信息及收集的目标位置信息，判断目标车辆是否在停止线下方或人行横道区域内发生了左转弯行为，若目标车辆框越过左侧车道线以及左侧车道线在人行横道上边缘线内的延长线，则认为目标有左转行为。而若没有越过，本实施例中对于该种情况下的处理方式不做限定，可以进行进一步的左转行为判别，也可以直接判定目标车辆不存在左转行为。
具体地，判断目标车辆框是否越过左侧车道线以及左侧车道线在人行横道上边缘线内的延长线可以通过目标框的四个顶点是否存在两个顶点在最左侧车道线的两侧判定(不需要把四个点都检测出来，只要有两个点满足该情况即可判定)。最左侧车道线的直行方程如式(1)所示，则判定目标是否有左转行为可通过式(2)表示。
x＝m0y+n0 (1)
Figure BDA0002504698830000061
其中，Flag为目标框是否压最左侧车道线标志(左转弯标志)，1表示是(即越过)，0表示否(即未越过)。m0和n0为车道线直线方程参数，可通过最左侧车道上顶点坐标和下顶点坐标计算得出。
本实施例中仅以上述目标车辆框的坐标进行车辆位置的识别为例进行介绍，此外，也可以通过红外感应判断目标车辆框是否越过左侧车道线以及左侧车道线在人行横道上边缘线内的延长线等方式来实现，在此不再赘述。
在目标车辆离开人行横道区域前，本实施例中主要基于目标车辆的位置信息，并根据其与最左侧车道线延长线的位置关系确定目标是否左转，实现“大弯小转”中“小转”的判定。
步骤s140、判断目标车辆是否左转弯离开路口；若是，触发步骤s150；
判定目标车辆框追踪的目标车辆在离开人行横道上边缘线前存在左转行为后，需要进一步判断目标车辆是否左转弯离开路口，本实施例中对于具体的判断目标车辆是否左转弯离开路口的实现方式不做限定，比如可以通过图像识别判断目标车辆框的车辆坐标是否越过左转弯离开线来判定，也可以通过在5号线下埋设感应线圈来确定，可以根据实际使用需要以及架设要求进行相应设定，而若采用图像识别的方式进行左转弯离开路口的判别时，拍摄区域除了应包括1和2所包围的待转弯车道区域以及3和4所包围的人行横道区域外，还应包括左转弯离开线区域。
步骤s150、判定目标车辆存在大弯小转行为。
若判定目标车辆在越过人行横道前就存在左转行为，且最终左转弯离开当前监控路口，即可判定目标车辆存在大弯小转行为。
而若目标车辆在越过人行横道前存在左转行为，但最终未左转弯离开当前监控路口，比如直行离开当前路口，则不存在大弯小转行为，本实施例中对于该种情况下的处理方式不做限定，可以不做任何处理，当然，由于其在越过人行横道前存在左转行为，也可以判定其存在越过人行横道前存在左转的违规驾驶行为，可以根据实际车辆行为检测的需要进行相应设定，在此不再赘述。
基于上述介绍，本实施例提供的车辆转向行为检测方法通过在停止线下方对车辆进行跟踪；再依据路口配置标线(左侧车道线、人行横道上边缘线)及收集的目标车辆框信息进行车辆行为的识别，判断目标车辆是否在停止线下方或人行横道区域内发生了左转弯行为，若目标左转离开路口，并在停止线下方或人行横道区域内已发生了左转行为，则确定大弯小转行为，该方法不需要根据先验知识获取不允许左转的范围并设置检测线，无需额外的外设，只需要调用监控摄像机进行拍摄即可，实现的设备简单，成本低，且通过针对人行横道线内的车辆行驶行为以及离开路口时的行驶行为进行判定，可以避免误判，提升了大弯小转判别的精准度。
上述实施例中对于步骤s110对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别中具体的车辆跟踪识别算法不做限定，本实施例中提供一种跟踪识别方法，可以保证较高的识别精准度，基于上述实施例的其他车辆跟踪识别方式均可参照本实施例的介绍，在此不再赘述。
可选地，对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别具体可以包括：
调用跟踪算法跟踪进入监控摄像机的拍摄区域的车辆，生成车辆跟踪框；
调用深度学习检测算法对车辆跟踪框的区域图像进行目标检测，并将得到的车辆检测框作为目标车辆框。
其中具体调用的跟踪算法以及深度学习检测算法本实施例中不做限定，一种跟踪算法比如KCF算法，一种深度学习检测算法比如R-FCN网络。
跟踪的目标，对应有一个跟踪框，以标识目标的位置和轮廓信息。在进入监控范围后，首先调用跟踪算法追踪、检测出目标车辆的位置，保证目标车辆的迅速追踪，为了提高违法判罚的捕获率和有效率，采用深度学习方法(比如R-FCN网络)进一步检测目标，获取目标更加准确的位置框，精准目标车辆的轮廓，可以提升后续车辆转向行为判别的精准度，同时在追踪到目标车辆后再进行车辆精准轮廓的确定，避免为了高精准度的轮廓和位置对每一帧进行检测所带来的计算压力，在保证精准度的同时提升了实现性能。
跟踪的目标，对应有一个跟踪框，以标识目标的位置和轮廓信息。但对于转弯的目标，跟踪框可能无法完全包括车身或者出现跟踪框过大或过小的情况，若直接用跟踪框与最左侧车道线的关系判定目标是否有左转弯的意向，可能出现漏判或误判，为了进一步提升车辆行为判别的精准度，可选地，在生成车辆跟踪框之后，可以进一步执行以下步骤：按照跟踪框外扩规则对车辆跟踪框进行外扩处理，得到外扩框；则相应地，调用深度学习检测算法对车辆跟踪框的区域图像进行目标检测，包括：调用深度学习检测算法对外扩框的区域图像进行目标检测。
首先对跟踪算法得到的跟踪框进行适当外扩(外扩为了将车辆全部包括至框内，提升车辆检测精准度，具体的外扩规则不做限定不限定，可以根据车身大小按比例外扩)，然后使用深度学习检测算法对外扩框进行目标车辆检测，利用深度学习得到的目标框替代原跟踪框。
而在跟踪框外扩后，在追踪的目标车辆体型较大时可能会存在外扩框中包含的车辆不止一台的情况，而在该种情况下，调用深度学习检测算法对外扩框的区域图像进行目标检测可能会导致目标车辆调换的情况，比如一开始追踪车辆1，在跟踪框外扩后，外扩框中包含车辆1以及车辆2，而在调用深度学习检测算法对外扩框的区域图像进行目标检测时识别到的目标车辆为车辆2，造成检测失败的情况，为避免该种情况对于后续车辆行为检测的干扰，可选地，在调用深度学习检测算法对外扩框的区域图像进行目标检测之后，可以进一步判断目标检测得到的车辆检测框与车辆跟踪框的跟踪对象是否相同；若相同，则将车辆检测框作为目标车辆框；若不同，则当前车辆检测识别失败，此时不进行跟踪框的替代，不做左转行为判定。
其中，判断目标检测得到的车辆检测框与车辆跟踪框的跟踪对象是否相同的具体实现方式不做限定，比如可以以框的中心点坐标进行判断等，在此不再赘述。而在当前车辆跟踪识别失败后，可以重复检测，也可以结束当前流程，在此不做限定。
为加深对本实施例提供的车辆跟踪识别方式的理解，以下整体介绍一种基于上述步骤的实现方式：
调用KCF跟踪算法跟踪进入监控摄像机的拍摄区域的车辆，生成车辆跟踪框；
对车辆跟踪框根据车身大小按比例进行适当外扩，得到外扩框；
然后使用R-FCN网络对外扩框进行目标检测，若有目标检出，生成车辆检测框；
判断车辆跟踪框的中心点坐标是否在车辆检测框内，具体地，判断是否满足下式(3)；
Figure BDA0002504698830000091
式中(xc,yc)为车辆跟踪框的中心点坐标，(xleft,ytop)和(xright,ybottom)分别为测出的车辆检测框的左上角、右下角坐标。
若满足上式(3)，则使用该车辆检测框判定目标车辆是否有左转行为，否则结束判定。
本实施例提供的车辆跟踪识别方法不仅可以保证获取目标更加准确的位置框，避免出现漏判或误判，提高大弯小转的捕获率和有效率，而且可以避免对系统带来过重的计算负担。
上述实施例中介绍了一种在车辆行驶越过行横道线区域时的转向行为判别方法，基于上述实施例，本实施例提供一种渐进式的判定方法对人行横道线区域内或停止线内的车辆进行左转弯行为的判定，即车辆在离开人行横道区域前若获取到的信息已经能够判定左转弯行为，则直接确定，否则在车辆离开人行横道区域时汇总采集到的目标信息，进行再次判定，以提升检测的精准度。
若目标车辆框未越过左侧车道线以及左侧车道线在人行横道上边缘线内的延长线，即在未检测到车辆在越过人行横道前违规左转时，获取目标车辆框追踪的目标车辆在离开人行横道线上边缘前的轨迹信息；对轨迹信息进行多维特征提取，得到多维特征信息；调用预训练的分类器对多维特征信息进行左转与非左转分类识别；若分类识别得到左转的分类结果，执行判定目标车辆框追踪的目标车辆存在离开人行横道上边缘线前存在左转行为的步骤。
当目标从人行横道区域上方离开时仍无法确定其是否有左转行为或意向，可以通过获取的目标轨迹信息，提取M维特征，使用预先训练好的分类器分类的方法进行判定，具体处理步骤和方法如下。
(1)数据获取
获取车辆从检测抓拍到驶出人行横道区域上边缘的跟踪框中心点(xc,yc)的数据集合，作为车辆的行驶轨迹，记为{(xi,yi)},i＜m,m≥M，其中m为点的数目。
(2)M维特征提取
获取固定M维特征，以满足分类的需要。本发明通过计算相邻点间的距离间隔，合并距离相近的点，提取出M维特征。
即首先计算m个跟踪框中心点的相邻两点欧式距离d，如公式(4)所示。
Figure BDA0002504698830000101
然后获取距离最小的段并对该段的两端点求均值，得到合并后的点(xnew,ynew)。
Figure BDA0002504698830000102
对合并的点再次计算其与相邻点的距离，然后再获取距离最小的段进行合并，直到最后的点数为M。
(3)分类器训练
从抓拍到离开人行横道线上边缘，实际左转或者有左转意向的作为正样本，实际无转意向的作为负样本，训练二分类模型，可以使用SVM的方法。
(4)分类
利用预先训练的模型对获取的M维特征进行分类，即：
Figure BDA0002504698830000111
若分类得到左转的结果，则可以判定目标车辆框追踪的目标车辆存在离开人行横道上边缘线前存在左转行为。
而若未得到左转的结果，本实施例中对该种情况下的处理方式不做限定，为进一步提升识别的精准度，可以进一步执行以下步骤：
获取目标车辆在离开人行横道线上边缘前的轨迹点；
将轨迹点进行路径拟合，得到轨迹线；
确定轨迹线与标准角度线间的夹角；标准角度线为设置角度固定的衡量线；
判断夹角是否达到左转向角阈值；
若达到，执行判定目标车辆框追踪的目标车辆存在离开人行横道上边缘线前存在左转行为的步骤。
通过对人行横道线内目标的轨迹点进行拟合获取一条直线，通过该直线与人行横道线夹角判定目标车辆是否在人行横道线区域内左转。
获取车辆从检测抓拍到驶出人行横道区域上边缘的跟踪框中心点(xc,yc)的数据集合，作为车辆的行驶轨迹，记为{(xi,yi)},i＜m,m≥M，其中m为点的数目。
进一步地，为了避免目标跳变的影响，对于轨迹点数少于N2的，可以不做判断；同时为了去噪、兼顾性能，对于轨迹点数大于N1，可以使用上述机器学习识别方法中M维特征提取的方法获取N1个点，其中，N1和N2均为预先设定的轨迹点数阈值，可以根据实际使用需要进行数据的设定，在此不做限定。
考虑到人行横道线通常接近水平，若拟合得到直行方程斜率不存在时，基本确定车辆无转向，所以对该情况不做判定。使用最小二乘法求解，若得到直线方程为y＝k0x+b0，人行横道线的方程为已知记为y＝k1x+b1，则通过式(7)得到轨迹拟合直线到人行横道线的转向角θ。
θ＝arctan((k1-k0)/(1+k1k0)) (7)
设定转向角阈值θth，小于该阈值的认为左转。为了避免误判，将比实际统计得到的左转向时角度平均值小的值作为阈值，即，
Figure BDA0002504698830000121
Figure BDA0002504698830000122
式中，q为收集的不同场景的在人行横道线左转的目标数目，w为对应的缩放系数，θi第i个目标对应的转向角。
在离开人行横道前进行左转弯的行为判定，若未判定存在左转弯行为，在离开人行横道后，可以进一步基于机器学习和数据拟合的判定方法进行左转弯的判定，而需要说明的是，本实施例中对于机器学习和数据拟合的执行先后顺序不做限定(本实施例中仅以先执行机器学习，在机器学习未识别到左转后进行数据拟合的详细介绍)。可以先进行机器学习，在机器学习未判定存在左转弯行为时执行数据拟合的步骤；也可以先进行数据拟合，在数据拟合未判定存在左转弯行为时执行机器学习的步骤；而由于数据拟合所需要的跟踪点数量较多，也可以进一步执行跟踪点数量判别条件，在跟踪点数量少时执行机器学习的步骤，在跟踪点数量多时执行数据拟合的步骤(也可以同时执行机器学习的步骤)，在此对于机器学习以及数据拟合步骤的触发方式不做限定，为加深理解，本实施例中以一种基于机器学习和数据拟合的判定方法为例进行介绍，如图3所示为一种基于机器学习和数据拟合的判定方法流程示意图。
获取车辆从检测抓拍到驶出人行横道区域上边缘的跟踪框中心点(xc,yc)的数据集合，作为车辆的行驶轨迹，记为{(xi,yi)},i＜m,m≥M，其中m为点的数目。
对于m＞M的情况，获取固定M维特征执行机器学习的步骤，以满足分类的需要；
对于m＜M的情况，通过对人行横道线内目标的轨迹点进行拟合获取一条直线，通过该直线与人行横道线夹角判定目标车辆是否在人行横道线区域内左转；
进一步地，对于m＞M的情况，若未识别到车辆存在左转弯行为时，也可以进一步执行数据拟合的步骤实现进一步判断；
当识别到车辆存在左转弯行为时，将用于记录是否存在左转弯行为的标志位置为存在左转弯行为(比如将标志位置1)，以记录左转弯行为。
则相应地，在车辆驶离人行横道前与车辆驶离人行横道后的目标左转弯行为判定流程如图4所示，在车辆在离开人行横道区域前进行左转弯行为的判定，则直接确定，则记录存在左转弯行为，若否，则在车辆离开人行横道区域时汇总采集到的目标信息，调用机器学习和数据拟合的方法进行再次判定，以提升判定的精准度。
本实施例提供一种渐进式的判定方法对人行横道线区域内或停止线内的车辆进行左转弯行为的判定，即车辆在离开人行横道区域前若获取到的信息已经能够判定左转弯行为，则直接确定，否则在车辆离开人行横道区域时汇总采集到的目标信息，进行再次判定。其中在离开人行横道区域前的判定，主要通过基于深度学习的目标检测方法获取更准确的目标位置信息，并根据其与最左侧车道线延长线的位置关系确定目标是否左转；而后一次判定主要是汇总车辆离开人行横道区域前的位置信息，获取目标轨迹，通过基于机器学习分类及数据拟合方法确定目标是否左转。该种左转弯判定方式可以保证高精准度的左转识别，避免漏判以及误判的情况。
基于上述实施例，在判定目标车辆存在大弯小转行为后，可以进一步获取目标车辆在人行横道上边缘线内转弯以及在越过左侧车道线时的图片，作为证据图。
车辆左转弯离开路口，且在离开人行横道区域上边缘前已经判断出有左转行为或意向，则可以判定目标存在大弯小转行为，可以根据目标抓拍、人行横道线前转弯、穿过左转离开线时抓拍的图合成违章证据图，以便于后续违规道路行驶的处理，如图5所示为一种合成的大弯小转证据图，其中包括在停止线前、在人行横道区域左转以及越过人行横道线后左转驶离路口的三张图。
另外，对于没有绘制人行横道区域标线的交叉路口，可以通过模拟绘制人行横道上下边缘线的方法，判罚大弯小转。另外，可以进一步设置判罚灵敏度，以调整在人行横道区域内判罚目标是否左转的区域范围，从而满足证据图定制化、判罚人性化的需求。
本申请提供的上述车辆转向行为检测方法，可以在交叉路口人行横道线区域内或停止线内判别机动车辆车身向左转向或有明显左转弯意向，该方法可以与车辆离开路口的方向结合，判罚大弯小转违法，为交通管理部门执法提供依据，以辅助交警打击机动车犯罪，规范驾驶行为，减少事故发生，达到安全文明出行的目的。
请参考图6，图6为本实施例提供的车辆转向行为检测装置的结构框图；主要包括：跟踪识别单元210、左转弯意向判别单元220、第一判定单元230、左转弯驶离判别单元240以及第二判定单元250。本实施例提供的车辆转向行为检测装置可与上述车辆转向行为检测方法相互对照。
其中，跟踪识别单元210主要用于对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，得到目标车辆框；监控摄像机设置于路口上方，用于拍摄左转路口区域的车辆行驶；
左转弯意向判别单元220主要用于判断目标车辆框是否越过左侧车道线以及左侧车道线在人行横道上边缘线内的延长线；若越过，触发第一判定单元230；
第一判定单元230主要用于判定目标车辆框追踪的目标车辆存在离开人行横道上边缘线前存在左转行为；
左转弯驶离判别单元240主要用于判断目标车辆是否左转弯离开路口；若是，触发第二判定单元250；
第二判定单元250主要用于判定目标车辆存在大弯小转行为。
本实施例提供的车辆转向行为检测装置，结合机动车在人行横道线区域的左转向情况，提出了一种大弯小转违法行为识别方式，可以在机动车在未驶出人行横道线时，车身向左转向或有明显左转弯意向的判定方法，同时可以进一步结合深度学习目标检测、机器学习、数值分析的方法，渐进式判定车辆是否有左转向或明显左转向意向的行为，实现精准的大弯小转行为识别。此外，还可以进一步结合车辆最终离开路口的方向确定大弯小转违法行为，合成违法证据图，为交通管理部门执法提供依据。
本实施例提供一种车辆转向行为检测设备，主要包括：存储器以及处理器。
其中，存储器用于存储程序；
处理器用于执行程序时实现如上述实施例介绍的车辆转向行为检测方法的步骤，具体可参照上述车辆转向行为检测方法的介绍。
请参考图7，为本实施例提供的车辆转向行为检测设备的结构示意图，该车辆转向行为检测设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在车辆转向行为检测设备301上执行存储介质330中的一系列指令操作。
车辆转向行为检测设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上面图1所描述的车辆转向行为检测方法中的步骤可以由本实施例介绍的车辆转向行为检测设备的结构实现。
本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如上述实施例介绍的车辆转向行为检测方法的步骤，具体可参照上述实施例中对车辆转向行为检测方法的介绍。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的车辆转向行为检测方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种车辆转向行为检测方法，其特征在于，包括：
对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，得到目标车辆框；所述监控摄像机设置于路口上方，用于拍摄左转路口区域的车辆行驶；
判断所述目标车辆框是否越过左侧车道线以及所述左侧车道线在人行横道上边缘线内的延长线；
若越过，判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为；
判断所述目标车辆是否左转弯离开路口；
若是，判定所述目标车辆存在大弯小转行为。
2.如权利要求1所述的车辆转向行为检测方法，其特征在于，所述对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，包括：
调用跟踪算法跟踪进入监控摄像机的拍摄区域的车辆，生成车辆跟踪框；
调用深度学习检测算法对所述车辆跟踪框的区域图像进行目标检测，并将得到的车辆检测框作为所述目标车辆框。
3.如权利要求2所述的车辆转向行为检测方法，其特征在于，在生成车辆跟踪框之后，还包括：
按照跟踪框外扩规则对所述车辆跟踪框进行外扩处理，得到外扩框；
则相应地，所述调用深度学习检测算法对所述车辆跟踪框的区域图像进行目标检测，包括：调用深度学习检测算法对所述外扩框的区域图像进行目标检测。
4.如权利要求3所述的车辆转向行为检测方法，其特征在于，在调用深度学习检测算法对所述外扩框的区域图像进行目标检测之后，还包括：
判断所述目标检测得到的所述车辆检测框与所述车辆跟踪框的跟踪对象是否相同；
若相同，则将所述车辆检测框作为所述目标车辆框；
若不同，则当前车辆检测识别失败。
5.如权利要求1所述的车辆转向行为检测方法，其特征在于，还包括：
获取所述目标车辆在所述人行横道上边缘线内转弯以及在越过左侧车道线时的图片，作为证据图。
6.如权利要求1至5任一项所述的车辆转向行为检测方法，其特征在于，还包括：
若所述目标车辆框未越过左侧车道线以及所述左侧车道线在人行横道上边缘线内的延长线，获取所述目标车辆框追踪的目标车辆在离开所述人行横道线上边缘前的轨迹信息；
对所述轨迹信息进行多维特征提取，得到多维特征信息；
调用预训练的分类器对所述多维特征信息进行左转与非左转分类识别；
若所述分类识别得到左转的分类结果，执行判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为的步骤。
7.如权利要求6所述的车辆转向行为检测方法，其特征在于，还包括：
若所述分类识别得到非左转的分类结果，获取所述目标车辆在离开所述人行横道线上边缘前的轨迹点；
将所述轨迹点进行路径拟合，得到轨迹线；
确定所述轨迹线与标准角度线间的夹角；所述标准角度线为设置角度固定的衡量线；
判断所述夹角是否达到左转向角阈值；
若达到，执行判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为的步骤。
8.一种车辆转向行为检测装置，其特征在于，包括：
跟踪识别单元，用于对进入监控摄像机的拍摄区域的车辆的位置以及轮廓信息进行跟踪识别，得到目标车辆框；所述监控摄像机设置于路口上方，用于拍摄左转路口区域的车辆行驶；
左转弯意向判别单元，用于判断所述目标车辆框是否越过左侧车道线以及所述左侧车道线在人行横道上边缘线内的延长线；若越过，触发第一判定单元；
所述第一判定单元，用于判定所述目标车辆框追踪的目标车辆存在离开所述人行横道上边缘线前存在左转行为；
左转弯驶离判别单元，用于判断所述目标车辆是否左转弯离开路口；若是，触发第二判定单元；
所述第二判定单元，用于判定所述目标车辆存在大弯小转行为。
9.一种车辆转向行为检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的车辆转向行为检测方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至7任一项所述车辆转向行为检测方法的步骤。
CN202010445700.7A 2020-05-22 2020-05-22 车辆转向行为检测方法、装置、设备及存储介质 Active CN111583660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010445700.7A CN111583660B (zh) 2020-05-22 2020-05-22 车辆转向行为检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010445700.7A CN111583660B (zh) 2020-05-22 2020-05-22 车辆转向行为检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111583660A CN111583660A (zh) 2020-08-25
CN111583660B true CN111583660B (zh) 2021-09-10

Family

ID=72127066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010445700.7A Active CN111583660B (zh) 2020-05-22 2020-05-22 车辆转向行为检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111583660B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580516A (zh) * 2020-12-21 2021-03-30 上海眼控科技股份有限公司 一种道路场景识别方法、装置、设备及存储介质
CN112686114A (zh) * 2020-12-23 2021-04-20 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN114252082B (zh) * 2022-03-01 2022-05-17 苏州挚途科技有限公司 车辆定位方法、装置和电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258981A (ja) * 2003-02-26 2004-09-16 Hitachi Ltd 車両監視方法およびその装置
CN102903239B (zh) * 2012-09-27 2014-05-14 安科智慧城市技术（中国）有限公司 交通路口车辆左右违章转向检测方法和系统
CN106710224A (zh) * 2015-07-16 2017-05-24 杭州海康威视系统技术有限公司 车辆违法行驶的取证方法及其装置
CN108269403A (zh) * 2016-12-30 2018-07-10 上海泓鎏智能科技有限公司 检测交通违章的抓拍装置及抓拍方法
CN206441337U (zh) * 2016-12-30 2017-08-25 上海泓鎏智能科技有限公司 检测交通违章的抓拍装置
CN110660067A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 一种目标检测方法及其装置
CN109636828A (zh) * 2018-11-20 2019-04-16 北京京东尚科信息技术有限公司 基于视频图像的物体跟踪方法及装置
CN109949579A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的闯红灯违法自动审核方法
CN110610123A (zh) * 2019-07-09 2019-12-24 北京邮电大学 一种多目标车辆检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111583660A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111583660B (zh) 车辆转向行为检测方法、装置、设备及存储介质
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
JP6752024B2 (ja) 画像処理装置
US9805474B1 (en) Pedestrian tracking at a traffic intersection to identify vulnerable roadway users for traffic signal timing, pedestrian safety, and traffic intersection control
WO2016129403A1 (ja) 物体検知装置
KR101864066B1 (ko) 차선 인식 장치, 차선 이탈 판단 장치, 차선 인식 방법 및 차선 이탈 판단 방법
CN108389430B (zh) 一种基于视频检测的交叉口行人与机动车碰撞预测方法
CN102792314B (zh) 交叉通行碰撞警报系统
EP2481012A2 (en) Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera
CN111891061B (zh) 车辆碰撞检测方法、装置和计算机设备
CN110826508B (zh) 一种基于视频流的行人非机动车违章检测与跟踪方法
CN111968378A (zh) 机动车闯红灯抓拍方法、装置、计算机设备和存储介质
CN109427191B (zh) 一种行驶检测方法及装置
US20150203114A1 (en) Lane relative position estimation method and system for driver assistance systems
JP7285799B2 (ja) 事故分析装置、事故分析方法及びプログラム
KR102494953B1 (ko) 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
Riera et al. Driver behavior analysis using lane departure detection under challenging conditions
JP7195200B2 (ja) 車載装置、車載システムおよび周辺監視方法
TW201536609A (zh) 障礙物偵測裝置
CN114973208B (zh) 车辆盲区监测预警方法及相关设备
CN110782485A (zh) 一种车辆变道检测方法及装置
CN113177509B (zh) 一种倒车行为识别方法及装置
JP2014203196A (ja) 危険度判定装置、危険度判定方法、警報装置、及び運転支援装置
CN112163471A (zh) 一种拥堵检测的方法和装置
Chingting et al. Traffic Lane Line Classification System by Real-time Image Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant