CN112163543B - 一种车辆违法占道的检测方法及系统 - Google Patents

一种车辆违法占道的检测方法及系统 Download PDF

Info

Publication number
CN112163543B
CN112163543B CN202011086337.0A CN202011086337A CN112163543B CN 112163543 B CN112163543 B CN 112163543B CN 202011086337 A CN202011086337 A CN 202011086337A CN 112163543 B CN112163543 B CN 112163543B
Authority
CN
China
Prior art keywords
vehicle
detected
lane
illegal
rectangular frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011086337.0A
Other languages
English (en)
Other versions
CN112163543A (zh
Inventor
史晓蒙
魏健康
张星
李高杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Hualu Group Co Ltd
Beijing E Hualu Information Technology Co Ltd
Original Assignee
China Hualu Group Co Ltd
Beijing E Hualu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Hualu Group Co Ltd, Beijing E Hualu Information Technology Co Ltd filed Critical China Hualu Group Co Ltd
Priority to CN202011086337.0A priority Critical patent/CN112163543B/zh
Publication of CN112163543A publication Critical patent/CN112163543A/zh
Application granted granted Critical
Publication of CN112163543B publication Critical patent/CN112163543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明公开了一种车辆违法占道的检测方法及系统，方法包括：获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度；根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。本发明通过交通场景检测模型的训练，采用划线配置及逻辑判断的方式，根据待检测车辆的最小外接矩形框、车辆标签和置信度，实现对目标车辆违法占道的检测，有利于车辆行驶轨迹的实时监控，为车辆违法占道的捕捉提供了可靠的证据。

Description

一种车辆违法占道的检测方法及系统
技术领域
本发明涉及目标检测技术领域，具体涉及一种车辆违法占道的检测方法及系统。
背景技术
近年来，伴随着交通行业的发展及车辆的骤增，城市道路空间的局限性，交通违法行为也越发频繁，压实线、跨线变道、逆行、占用公交车道等交通违法行为不仅影响了正常的交通秩序，而且可能酿成严重的交通事故。城市道路中，存在违法占用公交车道、机动车占用非机动车车道的违法现象；而在高速公路场景中，存在大型车占用小型车车道、违反客货分道等违法现象，上述车辆的违法占道事件在一定程度上造成了交通拥堵，容易造成交通事故的风险，现有技术中车辆违法占道的检测采用的是图片捕获方式进行抓拍，缺少数据处理的完整性，针对不同的天气、环境光及车辆的不同位置，检测车辆违法占道的准确性低。
发明内容
因此，本发明提供的一种车辆违法占道的检测方法及系统，克服了现有技术中因不同的天气、环境光及车辆的不同位置，导致检测车辆违法占道的准确性低的缺陷。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种车辆违法占道的检测方法，包括：
获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；
对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；
利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度；
根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。
在一实施例中，所述预设车道检测区域，包括：城市道路场景、高速公路场景。
在一实施例中，对交通场景检测模型的训练过程，包括：
采集实际交通场景的图像，并对实际交通场景的图像进行数据增强，扩大数据集，标注交通场景的目标车辆的最小外接矩形框及车辆标签，作为基础数据集，同时裁取基础数据集中的非目标车辆区域作为背景，合成训练数据集；
在训练数据集中提取标注的目标车辆，随机裁剪图像，并调整最小外接矩形框的坐标，将最小外接矩形框的中心坐标值及宽高作为回归参数真实值输入到网络模型中，计算回归损失函数，训练该网络模型；
把裁剪后图像和调整好的最小外接矩形框的信息输到入网络模型，计算损失值，调整学习率，并进行循环训练，直至所述损失值小于第一预设阈值或循环次数大于预设值时，停止训练，得到训练好的交通场景检测模型。
在一实施例中，采用EfficientDet D3模型，对目标车辆进行目标检测训练。
在一实施例中，车辆存在违法占道的情况，包括：
在城市道路场景中，存在违法占用公交车车道和违法占用非机动车车道；
在高速公路场景中，存在大型车占用小型车车道和违反客货分道。
在一实施例中，根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道的过程，包括：
当车辆标签不是公交车时，其置信度大于第二预设阈值时，判断待检测车辆的最小外接矩形框的中心点是否在公交车车道内，若存在，则该待检测车辆存在违法占用公交车车道行为；
当车辆标签为机动车车辆时，其置信度大于第三预设阈值时，判断待检测车辆的最小外接矩形框的中心点是否在非机动车车道内，若存在，则该待检测车辆存在违法占用非机动车车道行为；
当车辆标签为预设大型车时，其置信度大于第四预设阈值时，判断待检测车辆的最小外接矩形框的中心点是否在小型车车道内，若存在，则该待检测车辆存在大型车占用小型车车道的违法行为；
当车辆标签为公交车时，其置信度大于第五预设阈值时，判断待检测车辆最小外接矩形框的中心点是否在货车车道内，若在，则该待检测车辆存在违反客货分道行为；当车辆标签为卡车、大卡车、厢车时，判断待检测车辆最小外接矩形框的中心点是否在客车车道内，若在，则该待检测车辆存在违反客货分道行为。
在一实施例中，还包括：在判定待检测车辆存在违法占道的现象时，输出待检测车辆存在违法占道的信息，包括：违法占道类型、违法占道的地点，违法占道的事件。
第二方面，本发明实施例提供一种车辆违法占道的检测系统，包括：
图像采集模块，用于获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；
划线配置模块，用于对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；
模型检测模块，用于利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度；
违法占道判断模块，用于根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。
第三方面，本发明实施例提供一种终端，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的车辆违法占道的检测方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面所述的车辆违法占道的检测方法。
本发明技术方案，具有如下优点：
本发明提供的车辆违法占道的检测方法及系统，通过获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度；根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。本发明通过交通场景检测模型的训练，针对不同的天气和环境光，车辆的不同位置，采用划线配置及逻辑判断的方式，根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断目标检测的最小外接矩形框的中心点是否在区域内，实现对目标车辆违法占道的检测，有利于车辆行驶轨迹的实时监控，为车辆违法占道的捕捉提供了可靠的证据。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车辆违法占道的检测方法的一个具体示例的流程图；
图2为本发明实施例提供的一种车辆违法占道的检测系统的模块组成图；
图3为本发明实施例提供的一种终端一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种车辆违法占道的检测方法，如图1所示，包括如下步骤：
步骤S1：获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像。
在本发明实施例中，通过在多个角度安装相应的摄像采集装置实时获取待检测场景的视频流，视频流由多帧图像构成，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的摄像采集装置；根据待检测场景检测的需求，选择相应摄像采集装置安装的位置及数量，在实际中根据实际需求做相应变更。
步骤S2：对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置。
在本发明实施例中，抽帧图像为抽取视频流中的关键帧，此处的关键帧为：每隔一秒钟抽取的一张图像，仅以此举例，不以此为限，在实际应用中选择相应的时间间隔进行抽帧；提取到的关键帧以json数据的格式，传输到任务端，送入步骤S3预训练好的交通场景检测模型中，输入数据主要包含：视频采集设备的ID、当前帧的ID、输入数据类型、数据格式、图像数据、图像的大小、视频流的帧频、服务器的ID、任务ID、当前时间、视频ID等信息：仅以此举例，不以此为限，在实际应用中选择相应的输入数据。
在本发明实施例中，预设车道检测区域，包括：城市道路场景、高速公路场景。仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的车道检测区域。
在本发明实施例中，根据不同的检测场景，进行车道检测区域的划线配置；根据车道属性，针对城市道路场景，沿车道线边沿绘制出公交车车道、非机动车车道；针对高速公路场景，绘制出小型车车道、客车车道、货车车道；车道的绘制规则为；沿车道线边沿，以左上角为起点(供后续进行车道线方向判断使用)，沿顺时针方向，依次描点画线，最终构成一个封闭式的四边形区域，同时记录四边形的顶点信息。记录四边形的顶点坐标，及车道的名称，作为四边形的信息，供后续进行车辆是否位于该区域时使用；其中车道线的名称分别为：公交车车道、非机动车车道、小型车车道、货车车道；根据不同的场景、不同的车道属性，对监测区域进行划线配置，既节省资源又提高准确性，且灵活易使用。
步骤S3：利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度。
在本发明实施例中，对交通场景检测模型的训练过程，包括：采集实际交通场景的图像，并对实际交通场景的图像进行数据增强，扩大数据集，标注交通场景的目标车辆的最小外接矩形框及车辆标签，作为基础数据集，同时裁取基础数据集中的非目标车辆区域作为背景，合成训练数据集；在训练数据集中提取标注的目标车辆，随机裁剪图像，并调整最小外接矩形框的坐标，将最小外接矩形框的中心坐标值及宽高作为回归参数真实值输入到网络模型中，计算回归损失函数，训练该网络模型；把裁剪后图像和调整好的最小外接矩形框的信息输到入网络模型，计算损失值，调整学习率，并进行循环训练，直至所述损失值小于第一预设阈值或循环次数大于预设值时，停止训练，得到训练好的交通场景检测模型。
在交通场景检测模型的训练过程中，针对不同的天气和环境光，车辆的不同位置采集实际交通场景的图像，在采集实际交通场景的图像时，摄像采集装置可以安装在：电警、卡口、微卡口、移动电警，其中，电警是指摄像头安装在十字路口，抓拍车尾的场景；卡口是安装在国道，省道，和高速公路，正面抓拍，可以清晰看到人脸的场景；微卡口是微型卡口摄像机，通常用在城市乡镇的道路；移动电警是指流动摄像头，进行违法行为抓拍；仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的安装位置。通过摄像采集装置获取机动车车辆、非机动车车辆、行人、交通信号灯等图像。其中，机动车车辆，包括：轿车(包括SUV)、面包车(包括MPV)、厢车、小卡车、大卡车(重型)、公交车(包括大巴)、吊车、渣土车、推土机、压路机、水泥搅拌车、洒水车、油罐车、警车、救护车、校车、消防车等，在实际获取时，根据实际需求获取相应的机动车车辆；非机动车车辆，包括：二轮车、人力三轮车(无顶棚)；从多城市、多个场景、多时间段采集多角度样本图像，每个图像要求目标清晰、人眼容易分辨，目标像素大于100*100，根据实际需求对图片进行相应的设置。
在本发明实施例中，将实际交通场景的图像采用多种数据增强方式进行增强，例如，几何增强包括：随机翻转，考虑到车辆行驶的实际情况，采用水平翻转较多，垂直翻转较少的增强方式，车辆会有前后方向的朝向，此时均可以进行水平翻转与垂直翻转，而对于左右朝向，只可以进行水平翻转；随机裁剪，拉伸，以及旋转；色彩增强包括：对比度增强，亮度增强，以及较为关键的HSV空间增强进一步扩大数据集；仅以此举例，不以此为限，在实际应用中选择相应的增强方式。采用人工标注的方法标注交通场景目标车辆的最小外接矩形框及车辆标签，作为基础数据集，对应车辆标签如下表：
在本发明实施例中，同时裁取基础数据集中的非目标车辆区域作为背景，合成训练数据集，该图像数据集包括实际应用场景中采集的图像和基于图像无目标区域合成的数据集，增加数据集的数量、丰富了数据集的内容。
在训练数据集中提取标注的目标车辆，随机裁剪图像，对原图像随机以0.6～1.0大小的比率进行区域裁剪，保持长宽比不变，仅以此举例，不以此为限，在实际应用中选择相应的比率进行剪裁，此过程不仅增加数据，同时也是一个弱化数据噪声与增加模型稳定性的过程；并调整最小外接矩形框的坐标，由于原图长宽值发生了改变，相应的裁剪后图像中的目标物的坐标框也应该同时进行改变，将最小外接矩形框的中心坐标值及宽高作为回归参数真实值输入到网络模型中，计算回归损失函数，训练该网络模型。
在本发明实施例中，基于深度学习理论，采用速度和准确度均较高的EfficientDet模型，对17种机动车车辆及2种非机动车车辆、行人、红绿灯等进行目标检测训练，仅以此举例，不以此为限，在实际应用中选择相应的目标训练对象；使用了52M参数、326B FLOPS的EfficientDet，在COCO(Common Objects in COntext)数据集上实现了当前最优的51.0mAP训练，且该模型可以检测遮挡很严重，像素占比比较小的物体，同时也可以检测堆叠起来杂乱无章的物体，并且极易训练、收敛速度快，由于在实际的交通场景车辆较多时，车辆互相遮挡严重，为了提高事件的检出率，采用EfficientDet D3模型，对不同朝向、不同场景、不同时间段下交通场景的目标车辆进行目标检测训练。把裁剪后图像和调整好的最小外接矩形框的信息输到入网络模型，计算损失值，调整学习率，并进行循环训练，直至所述损失值小于第一预设阈值或循环次数大于预设值时(第一预设阈值和预设值可以根据专家经验值设置，在此不做限制)，停止训练，得到训练好的交通场景检测模型。
步骤S4：根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。
在本发明实施例中，车辆存在违法占道的情况，包括：在城市道路场景中，存在违法占用公交车车道和违法占用非机动车车道；在高速公路场景中，存在大型车占用小型车车道和违反客货分道。
在本发明实施例中，根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道的过程，包括：
当车辆标签不是公交车时，其置信度大于第二预设阈值时，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的阈值，判断待检测车辆的最小外接矩形框的中心点是否在公交车车道内，若存在，则该待检测车辆存在违法占用公交车车道行为；
当车辆标签为机动车车辆时，其置信度大于第三预设阈值时，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的阈值，判断待检测车辆的最小外接矩形框的中心点是否在非机动车车道内，若存在，则该待检测车辆存在违法占用非机动车车道行为；
当车辆标签为预设大型车时，其置信度大于第四预设阈值时，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的阈值，判断待检测车辆的最小外接矩形框的中心点是否在小型车车道内，若存在，则该待检测车辆存在大型车占用小型车车道的违法行为；
当车辆标签为公交车时，其置信度大于第五预设阈值时，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的阈值，判断待检测车辆最小外接矩形框的中心点是否在货车车道内，若在，则该待检测车辆存在违反客货分道行为；当车辆标签为卡车、大卡车、厢车时，判断待检测车辆最小外接矩形框的中心点是否在客车车道内，若在，则该待检测车辆存在违反客货分道行为。
需要说明的是，所述第二预设阈值至第五预设阈值的数值选择，根据实际需求做合理设置，具体数值可以相同也可以不同，在此不做限制。
在本发明实施例中，还包括：在判定待检测车辆存在违法占道的现象时，输出待检测车辆存在违法占道的信息，包括：违法占道类型、违法占道的地点，违法占道的事件。例如，还可输出为事件名称、摄像采集设备ID、当前帧的ID、事件类型、数据类型、数据格式、图像数据、图像的大小、视频流的帧频、服务器的ID、任务ID、当前时间、视频ID等信息、置信度、是否存在车辆违法占道事件。
本发明实施例中提供的车辆违法占道的检测方法，其中，获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度；根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。本发明实施例利用不同的天气和环境光，车辆的不同位置图像，进行交通场景检测模型的训练，并采用划线配置及逻辑判断的方式，根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断目标检测的最小外接矩形框的中心点是否在区域内，实现对目标车辆违法占道的准确检测，有利于车辆行驶轨迹的实时监控，为车辆违法占道的捕捉提供了可靠的证据。
实施例2
本发明实施例提供一种车辆违法占道的检测系统，如图2所示，包括：
图像采集模块1，用于获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
划线配置模块2，用于对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
模型检测模块3，用于利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
违法占道判断模块4，用于根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道；此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
本发明实施例提供一种车辆违法占道的检测系统，通过图像采集模块获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；划线配置模块对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；在模型检测模块中，利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度；根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。本发明通过交通场景检测模型的训练，针对不同的天气和环境光，车辆的不同位置，采用划线配置及逻辑判断的方式，根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断目标检测的最小外接矩形框的中心点是否在区域内，实现对目标车辆违法占道的检测，有利于车辆行驶轨迹的实时监控，为车辆违法占道的捕捉提供了可靠的证据。
实施例3
本发明实施例提供一种终端，如图3所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的车辆违法占道的检测方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的车辆违法占道的检测方法。其中，通信总线402可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固降硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的车辆违法占道的检测方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的车辆违法占道的检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种车辆违法占道的检测方法，其特征在于，包括：
获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；
对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；
利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度，其中，交通场景检测模型的训练过程，包括：
采集实际交通场景的图像，并对实际交通场景的图像进行数据增强，扩大数据集，标注交通场景的目标车辆的最小外接矩形框及车辆标签，作为基础数据集，同时裁取基础数据集中的非目标车辆区域作为背景，合成训练数据集；
在训练数据集中提取标注的目标车辆，随机裁剪图像，并调整最小外接矩形框的坐标，将最小外接矩形框的中心坐标值及宽高作为回归参数真实值输入到网络模型中，计算回归损失函数，训练该网络模型；
把裁剪后图像和调整好的最小外接矩形框的信息输到入网络模型，计算损失值，调整学习率，并进行循环训练，直至所述损失值小于第一预设阈值或循环次数大于预设值时，停止训练，得到训练好的交通场景检测模型；
根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。
2.根据权利要求1所述的车辆违法占道的检测方法，其特征在于，所述预设车道检测区域，包括：城市道路场景、高速公路场景。
3.根据权利要求1所述的车辆违法占道的检测方法，其特征在于，采用EfficientDetD3模型，对目标车辆进行目标检测训练。
4.根据权利要求2所述的车辆违法占道的检测方法，其特征在于，车辆存在违法占道的情况，包括：
在城市道路场景中，存在违法占用公交车车道和违法占用非机动车车道；
在高速公路场景中，存在大型车占用小型车车道和违反客货分道。
5.根据权利要求4所述的车辆违法占道的检测方法，其特征在于，根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道的过程，包括：
当车辆标签不是公交车时，其置信度大于第二预设阈值时，判断待检测车辆的最小外接矩形框的中心点是否在公交车车道内，若存在，则该待检测车辆存在违法占用公交车车道行为；
当车辆标签为机动车车辆时，其置信度大于第三预设阈值时，判断待检测车辆的最小外接矩形框的中心点是否在非机动车车道内，若存在，则该待检测车辆存在违法占用非机动车车道行为；
当车辆标签为预设大型车时，其置信度大于第四预设阈值时，判断待检测车辆的最小外接矩形框的中心点是否在小型车车道内，若存在，则该待检测车辆存在大型车占用小型车车道的违法行为；
当车辆标签为公交车时，其置信度大于第五预设阈值时，判断待检测车辆最小外接矩形框的中心点是否在货车车道内，若在，则该待检测车辆存在违反客货分道行为；当车辆标签为卡车、大卡车、厢车时，判断待检测车辆最小外接矩形框的中心点是否在客车车道内，若在，则该待检测车辆存在违反客货分道行为。
6.根据权利要求1所述的车辆违法占道的检测方法，其特征在于，还包括：在判定待检测车辆存在违法占道的现象时，输出待检测车辆存在违法占道的信息，包括：违法占道类型、违法占道的地点，违法占道的事件。
7.一种车辆违法占道的检测系统，其特征在于，包括：
图像采集模块，用于获取图像采集设备实时拍摄的待检测场景的视频流，所述视频流包括：多帧图像；
划线配置模块，用于对待检测场景视频流中的抽帧图像进行预设车道检测区域的划线配置；
模型检测模块，用于利用预训练好的交通场景检测模型识别划线配置的抽帧图像，生成待检测车辆的最小外接矩形框、车辆标签和置信度，其中，交通场景检测模型的训练过程，包括：
采集实际交通场景的图像，并对实际交通场景的图像进行数据增强，扩大数据集，标注交通场景的目标车辆的最小外接矩形框及车辆标签，作为基础数据集，同时裁取基础数据集中的非目标车辆区域作为背景，合成训练数据集；
在训练数据集中提取标注的目标车辆，随机裁剪图像，并调整最小外接矩形框的坐标，将最小外接矩形框的中心坐标值及宽高作为回归参数真实值输入到网络模型中，计算回归损失函数，训练该网络模型；
把裁剪后图像和调整好的最小外接矩形框的信息输到入网络模型，计算损失值，调整学习率，并进行循环训练，直至所述损失值小于第一预设阈值或循环次数大于预设值时，停止训练，得到训练好的交通场景检测模型；
违法占道判断模块，用于根据待检测车辆的最小外接矩形框、车辆标签和置信度，判断待检测车辆是否存在违法占道。
8.一种终端，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任一所述的车辆违法占道的检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一所述的车辆违法占道的检测方法。
CN202011086337.0A 2020-10-12 2020-10-12 一种车辆违法占道的检测方法及系统 Active CN112163543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011086337.0A CN112163543B (zh) 2020-10-12 2020-10-12 一种车辆违法占道的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086337.0A CN112163543B (zh) 2020-10-12 2020-10-12 一种车辆违法占道的检测方法及系统

Publications (2)

Publication Number Publication Date
CN112163543A CN112163543A (zh) 2021-01-01
CN112163543B true CN112163543B (zh) 2024-03-26

Family

ID=73868176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086337.0A Active CN112163543B (zh) 2020-10-12 2020-10-12 一种车辆违法占道的检测方法及系统

Country Status (1)

Country Link
CN (1) CN112163543B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507993B (zh) * 2021-02-05 2021-06-15 上海闪马智能科技有限公司 一种异常驶离的检测方法、系统、电子设备及存储介质
CN112947446A (zh) * 2021-02-07 2021-06-11 启迪云控(上海)汽车科技有限公司 一种基于全知视角和特征提取的智能网联应用场景自动辨识方法、装置、介质及设备
CN112990009A (zh) * 2021-03-12 2021-06-18 平安科技（深圳）有限公司 基于端到端的车道线检测方法、装置、设备及存储介质
CN113221800A (zh) * 2021-05-24 2021-08-06 珠海大横琴科技发展有限公司 一种待检测目标的监控判断方法及系统
CN113326831B (zh) * 2021-08-04 2021-11-02 浙江力嘉电子科技有限公司 交通违法数据的筛选方法及装置、电子设备、存储介质
CN113743316B (zh) * 2021-09-07 2023-09-19 北京建筑大学 基于目标检测的车辆加塞行为识别方法、系统及装置
CN114120250B (zh) * 2021-11-30 2024-04-05 北京文安智能技术股份有限公司 一种基于视频的机动车辆违法载人检测方法
CN114120080A (zh) * 2021-12-02 2022-03-01 公安部交通管理科学研究所 一种违反禁止标线的车辆违法行为的识别方法
CN114394100B (zh) * 2022-01-12 2024-04-05 深圳力维智联技术有限公司 一种无人巡逻车控制系统及无人车
CN114332776B (zh) * 2022-03-07 2022-08-02 深圳市城市交通规划设计研究中心股份有限公司 非机动车占用人行道检测方法、系统、设备及存储介质
CN114743120B (zh) * 2022-06-10 2022-09-06 深圳联和智慧科技有限公司 一种基于图像识别的路边车辆非法占道检测方法及系统
CN115083171B (zh) * 2022-07-20 2022-11-18 深圳联和智慧科技有限公司 一种基于渣土车监控的无人机定点巡检方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060102889A (ko) * 2005-03-25 2006-09-28 김종무 전용차로 위반 단속 시스템 및 방법
WO2007058618A1 (en) * 2005-11-18 2007-05-24 St Electronics (Info-Comm Systems) Pte. Ltd. System and method for detecting road traffic violations
CN101826260A (zh) * 2010-05-04 2010-09-08 清华大学 一种交通违法行为自动抓拍的方法和系统
CN104778841A (zh) * 2015-04-14 2015-07-15 山东鼎讯智能交通股份有限公司 机动车占道仪
CN105702048A (zh) * 2016-03-23 2016-06-22 武汉理工大学 基于行车记录仪的高速公路前车违法占道识别系统及方法
CN106446856A (zh) * 2016-09-30 2017-02-22 北京中星微电子有限公司 车辆占道行驶智能监控方法和系统
CN106991820A (zh) * 2016-01-20 2017-07-28 中兴通讯股份有限公司 违规车辆处理方法及装置
CN109427191A (zh) * 2017-09-01 2019-03-05 中移物联网有限公司 一种行驶检测方法及装置
CN110659539A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 一种信息处理方法及其装置
CN110718064A (zh) * 2018-07-11 2020-01-21 杭州海康威视数字技术股份有限公司 一种车辆违章检测方法和装置
CN111161543A (zh) * 2019-11-14 2020-05-15 南京行者易智能交通科技有限公司 一种基于图像识别的公交前车违章行为自动抓拍方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6894717B2 (en) * 2001-06-05 2005-05-17 Charles Adams Bakewell Mobile enforcement platform and aimable violation detection and documentation system for multiple types of traffic violations across all lanes in moving traffic supporting immediate or delayed citation generation as well as homeland security monitoring activities
CN101042802A (zh) * 2006-03-23 2007-09-26 安捷伦科技有限公司 交通信息传感器、交通信息检测方法和系统
US20120148092A1 (en) * 2010-12-09 2012-06-14 Gorilla Technology Inc. Automatic traffic violation detection system and method of the same

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060102889A (ko) * 2005-03-25 2006-09-28 김종무 전용차로 위반 단속 시스템 및 방법
WO2007058618A1 (en) * 2005-11-18 2007-05-24 St Electronics (Info-Comm Systems) Pte. Ltd. System and method for detecting road traffic violations
CN101826260A (zh) * 2010-05-04 2010-09-08 清华大学 一种交通违法行为自动抓拍的方法和系统
CN104778841A (zh) * 2015-04-14 2015-07-15 山东鼎讯智能交通股份有限公司 机动车占道仪
CN106991820A (zh) * 2016-01-20 2017-07-28 中兴通讯股份有限公司 违规车辆处理方法及装置
CN105702048A (zh) * 2016-03-23 2016-06-22 武汉理工大学 基于行车记录仪的高速公路前车违法占道识别系统及方法
CN106446856A (zh) * 2016-09-30 2017-02-22 北京中星微电子有限公司 车辆占道行驶智能监控方法和系统
CN109427191A (zh) * 2017-09-01 2019-03-05 中移物联网有限公司 一种行驶检测方法及装置
CN110659539A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 一种信息处理方法及其装置
CN110718064A (zh) * 2018-07-11 2020-01-21 杭州海康威视数字技术股份有限公司 一种车辆违章检测方法和装置
CN111161543A (zh) * 2019-11-14 2020-05-15 南京行者易智能交通科技有限公司 一种基于图像识别的公交前车违章行为自动抓拍方法及系统

Also Published As

Publication number Publication date
CN112163543A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN112163543B (zh) 一种车辆违法占道的检测方法及系统
DE112013001858B4 (de) Mehrfachhinweis-Objekterkennung und -Analyse
US10223910B2 (en) Method and apparatus for collecting traffic information from big data of outside image of vehicle
DE102016123887A1 (de) Virtuelle sensordatenerzeugung zur radanschlagdetektion
Yu et al. Traffic light detection during day and night conditions by a camera
DE102017100199A1 (de) FUßGÄNGERERKENNUNG MIT AUFFÄLLIGKEITSKARTEN
DE102017105903A1 (de) Fussgängerdetektion und Bewegungsvorhersage mit nach hinten gerichteter Kamera
CN110298300B (zh) 一种检测车辆违章压线的方法
CN106934374B (zh) 一种雾霾场景中交通标识牌的识别方法及系统
US20180129883A1 (en) Detection method and apparatus of a status of a parking lot and electronic equipment
GB2560625A (en) Detecting vehicles in low light conditions
CN112172663A (zh) 一种基于开车门的危险报警方法及相关设备
CN111339996B (zh) 静态障碍物的检测方法、装置、设备及存储介质
CN112766069A (zh) 基于深度学习的车辆违停检测方法、装置及电子设备
CN112749622B (zh) 应急车道占用识别方法和装置
CN110610153A (zh) 一种用于自动驾驶的车道识别方法及系统
CN112163544B (zh) 一种非机动车辆乱摆放的判断方法及系统
CN102169583B (zh) 基于车窗定位的车辆遮挡检测与分割方法
CN114240816A (zh) 道路环境感知方法、装置、存储介质、电子设备及车辆
CN110660211A (zh) 使用占用行为异常检测器的停车区域地图改善
KR20190127303A (ko) 주행영상 기반의 알림정보 제공장치 및 방법
US11748664B1 (en) Systems for creating training data for determining vehicle following distance
CN112699862A (zh) 图像数据处理方法、装置、设备和存储介质
JP2021174346A (ja) 道路形状判定方法及び道路形状判定プログラム
CN112435475B (zh) 一种交通状态检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant