CN111179345B - 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统 - Google Patents

基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统 Download PDF

Info

Publication number
CN111179345B
CN111179345B CN201911381134.1A CN201911381134A CN111179345B CN 111179345 B CN111179345 B CN 111179345B CN 201911381134 A CN201911381134 A CN 201911381134A CN 111179345 B CN111179345 B CN 111179345B
Authority
CN
China
Prior art keywords
vehicle
image
lane
line
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911381134.1A
Other languages
English (en)
Other versions
CN111179345A (zh
Inventor
曲毅
林正奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201911381134.1A priority Critical patent/CN111179345B/zh
Publication of CN111179345A publication Critical patent/CN111179345A/zh
Application granted granted Critical
Publication of CN111179345B publication Critical patent/CN111179345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种车载式车辆越线违章行为两阶段智能视觉检测方法及系统，其中方法包括如下步骤：通过车载摄像头参数建立成像的几何模型，采用LaneNet对车道线进行预测和拟合获取车道线信息；采用深度残差网络提取车辆特征，利用锚点机制预测车辆边界框信息获取车辆轮廓范围；将获取的交通场景重构图像、车道线以及车辆边界信息传送至云端，在云端采用几何坐标判定法判断车辆是否越线违章。该方法车载端基于机器视觉的智能场景重构；图像数据加密传输；云端车辆越线违章行为智能检测，从而判断车辆是否越线违章，该方法获取交通场景重构图像、车道线以及车辆边界信息具有实时性和准确性。

Description

基于车载机器视觉的前方车辆越线违章行为自动检测方法及 系统
技术领域
本发明涉及车载移动式车辆违章行为检测领域，尤其涉及一种基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统。
背景技术
车载式道路交通违章行为智能视觉检测技术是新一代城市智能交通技术的重要组成部分，是固定式卡口式道路违章监控的重要补充。相比于固定式卡口监控，车载式道路交通违章监测系统具有主动布控、覆盖范围广、建设周期短、改造费用低等优势。基于此，市面上出现了诸如“一键式”抓拍等车载式系统。经调研发现，现有技术中的车载式违章检测方法与系统具有以下局限性：1、手动“一键式”抓拍局限性。手动抓拍图像时效性差，道路违章关系模糊，且容易影响驾驶员行为。2、处理效率局限性。现有技术一般在车载端或云端进行计算处理，这种仅在一端计算处理的技术消耗成本大；仅在车载端计算会严重增加硬件成本且存储空间受到挑战，而仅在云端则会对大量无效视频数据进行计算，这样造成消耗计算资源，增加云租赁成本的现象。3、传输存储局限性：现有技术通常传输整段视频数据到云端进行分析处理，严重消耗流量和存储空间，并且在传输过程中缺乏必要的数据隐私保护。
发明内容
根据现有技术存在的问题，本发明公开了一种基于车载机器视觉的前方车辆越线违章行为自动检测方法，具体包括如下步骤：
通过车载摄像头参数建立成像的几何模型，以车载摄像头为标定物进行世界坐标系到摄像头坐标系的转换、再从摄像头坐标系到图像坐标系的转换，最后将图像坐标系转换为像素坐标系获得交通场景重构视频图像，对交通场景重构视频图像进行降噪和分帧处理；
采用LaneNet对车道线进行预测和拟合获取车道线信息；
采用深度残差网络提取车辆特征，利用锚点机制预测车辆边界框信息获取车辆轮廓范围；
将获取的交通场景重构图像、车道线以及车辆边界信息传送至云端，在云端采用几何坐标判定法判断车辆是否越线违章。
进一步的，对采集图像中的车道线进行标注生成标注文件，使用原图以及标注文件生成训练数据集，其中训练数据集包括原图、实例分割图和二值分割图，获取二值分割图中个像素点的值；
对实例分割图和二值分割图进行训练，计算softmax交叉熵损失，当总损失稳定后使用DBSCAN方法聚类并得到收敛模型；
对每条车道线的像素集合进行线性回归得到完整车道线。
对车道线图像进行标注时：对于直线车道只需获取车道线两端的横纵坐标就可进行标注；对于弯道车道则需按照斜率将弯道分成多个直线车道，再分别获取每段车道两端的横纵坐标进行标注。
进一步的，对于车道线语义分割部分计算softmax交叉熵损失，对于车道线实例分割部分计算方差loss和距离loss，包括四个过程：计算具有ID编号的像素均值向量、同车道线内像素的损失、不同车道线间像素的损失以及总损失。
进一步的，使用H-Net网络对每条车道线的像素集合进行线性回归：将图像标注的车道点坐标放入H-Net网络中进行转换得到新的点坐标，使用最小二乘法对这些新的点坐标进行拟合，根据拟合曲线调整原标注的坐标点的坐标再反向转换到原图中。
进一步的，采用几何坐标判定法判断车辆是否越线违章时具体方式为：
以车辆坐标为基准，设定车辆越线违章感兴趣区域；
获取车辆检测框的左上角和右下角坐标，判断车辆检测框大小是否在设定阈值范围内；
获取与车辆检测框右下角有相同纵坐标的车道线横坐标(x_lane)；
判断获得的车道线坐标的横坐标(x_lane)与车辆检测框左下角(x_left)与右下角(x_right)横坐标的关系；
如果x_lane>(x_left+x_right)/2则越线违章，否则未越线违章。
一种基于车载机器视觉的前方车辆越线违章行为自动检测系统，包括：
设置在车载端用于采集车载端交通场景信息的自动采集单元，所述自动采集单元通过对车载摄像头进行图像标定后建立成像几何模型，把世界坐标系转换到摄像头坐标系、再从摄像头坐标系转换到图像坐标系，最后将图像坐标系转换为像素坐标系获得交通场景视频图像；
接收所述自动采集单元传送的视频图像信息的车载端数据传输单元，所述车载端数据传输单元包括图像预处理模块、地理位置信息接收模块和移动通讯模块；所述图像预处理模块对交通场景视频图像进行降噪处理、根据预设参数对其进行视频分帧处理，地理位置信息接收模块接收实时GPS/北斗信号以获取车辆当前位置坐标信息；移动通讯模块自动接收4G/5G/WiFi信号后利用移动通讯网络将分割后的交通场景视频图像和车辆位置信息实时输出；
接收所述移动通讯模块传送的交通场景视频图像和车辆位置信息的云端服务器；所述云端服务器包括车道线自动提取模块、车辆目标自动识别模块和越线违章判定模块；所述车道线自动提取模块采用LaneNet改进模型对所接收到的交通场景图像进行车道线部分坐标的自动提取、坐标点扩充和线性拟合后得到其对应的完整车道线坐标并在原图像内进行车道线的实时标注；所述车辆目标自动识别模块利用深度残差网络对交通场景图像内的车辆特征自动提取和识别、利用锚点机制进行车辆边界框的计算和实时标注；所述越线违章判定模块基于交通场景图像内车道线和车辆的位置信息采用几何坐标判定法判定车辆是否存在越线违章行为。
由于采用了上述技术方案，本发明提供的一种基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统，其中该方法车载端基于机器视觉的智能场景重构；图像数据加密传输；云端车辆越线违章行为智能检测，从而判断车辆是否越线违章，该方法获取交通场景重构图像、车道线以及车辆边界信息具有实时性和准确性，其中车辆违章行为检测过程具有智能化、覆盖面广、检测准确率高、安全便捷的优势。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图
图2为本发明中像素点到摄像头坐标系映射示意图；
图3为本发明中摄像头标定效果图；
图4为本发明中车道线标注示意图；
图5为本发明中客户端与云端进行数据传输的示意图；
图6为本发明中车辆越线违章判定示意图。
图7为本发明公开的系统的结构示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1和图2所示的一种车载式车辆越线违章行为两阶段智能视觉检测方法，该方法；具体包括如下步骤：
S1:通过车载摄像头参数建立成像的几何模型，对车载摄像头参数进行标定，把世界坐标系转换到摄像头坐标系、再从摄像头坐标系转换到图像坐标系，最后将图像坐标系转换为像素坐标系完成交通场景图像的获取。具体实施过程是：通过车载摄像头参数建立成像的几何模型，以车载摄像头为标定物进行世界坐标系到摄像头坐标系的转换、再从摄像头坐标系到图像坐标系的转换，最后将图像坐标系转换为像素坐标系获得交通场景重构图像。对交通场景重构视频图像进行降噪和分帧处理。
S11：车载摄像头参数标定；每个摄像头在生产和组装过程中的畸变程度各不相同，得到图像中的物体会产生畸变，对物体检测产生影响。通过摄像头标定，可以在一定程度上纠正此类问题。标定的本质是通过摄像头参数建立成像的几何模型；从世界坐标系到摄像头坐标系的转换：从世界坐标系变换到摄像头坐标系属于刚体变换，即物体不会发生形变，只需要进行旋转和平移。R表示旋转矩阵，T表示偏移向量。绕着不同的坐标轴旋转不同的角度，得到相应的旋转矩阵，R＝R1R2R3，从而得到像素点P在摄像头坐标系中的坐标，如图2所示：
S12：从摄像头坐标系到理想图像坐标系的转换：从摄像头坐标系到图像坐标系，属于透视投影关系，从3D转换到2D。变换过程如下：
ΔABOc～ΔoCOc
ΔPBOc～ΔpCOc
此时投影点p的单位还是mm，并不是pixel，需要进一步转换到像素坐标系。
S13：图像坐标系与像素坐标系的转换：像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为摄像头光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：
其中dx和dy表示每一列和每一行分别代表多少mm，即1pixel＝dx mm。综上，通过上面四个坐标系的转换就可以得到一个点从世界坐标系转换到的像素坐标系，如下所示。
进一步的，摄像头标定具体步骤：
S131：打印一张棋盘格，把它贴在一个平面上，作为标定物。
S132：通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。
S133：从照片中提取棋盘格角点。
S134：估算理想无畸变的情况下，五个内参和六个外参。
S135：应用最小二乘法估算实际存在径向畸变下的畸变系数。
S136：极大似然法，优化估计，提升估计精度。效果如图3所示，平均重投影误差理论上小于0.5即可。
S2：采用LaneNet对车道线进行预测和拟合获取车道线坐标。通过VGG imageAnnotator软件对采集图像进行标注，直线车道标注需要获取车道线两端的横纵坐标；弯道车道标注则将每个车道线按照斜率分成多个直线车道，再分别获取每段车道两端的横纵坐标，如图4所示，图中的行代表一条车道线信息，包含了车道线所属的图像名称和车道线两端的横纵坐标。进而利用两个端点坐标间的斜率，每隔10个像素点生成一个点坐标。把标注好的图片保存为csv文件，并转换为json文件。
基于上述车道线标注，采用Lanenet+H-net对车道线进行检测。其是一种端到端的车道线检测算法，算法利用Lanenet网络进行车道线预测、利用H-Net网络进行车道线拟合。优点在于不限制检测图片内车道线的数量，且车道线拟合时的鲁棒性更强。
基于LaneNet的车道线检测技术步骤如下：
S21：使用原图以及标注文件生成训练数据集。训练数据集包括原图、实例分割图、二值分割图。通过计算得到二值分割图中个像素点的值。处理原图中像素点以得到二值图像素点的计算方式如下：
其中gt_binary_label是二值图中每一个像素点的像素值，gt_orain是原图中每一个像素点的像素值。当gt_binary_label＝0时，该像素点为黑色；当gt_binary_label＝1时该像素点为黑色。对图中不同车道线标记不同颜色并将车道线id编号赋予对应的像素点坐标，以形成实例分割图。
S22：配置文件修改及Lanenet网络训练并得到损失。训练过程中首先使用vgg网络对实例分割图与二值分割图进行训练，然后分别计算softmax交叉熵损失。当总损失稳定后，使用DBSCAN方法聚类并得到收敛的模型。两种分割图计算损失方式如下：
使用tensorflow中自带函数sparse_softmax_cross_entropy计算二值分割时产生的损失。
实例分割损失主要分为四个计算过程，包括计算具有id编号像素的均值向量、计算同车道线内像素的损失、计算不同车道线间像素的损失、计算总损失。
S23：使用H-Net网络对每条车道线的像素集合进行回归，得到车道线。将图像标注的车道点坐标放入H-Net网络中转换，得到新的点坐标，并使用最小二乘法对这些新的点坐标进行拟合，拟合后根据拟合曲线调整原标注的坐标点的坐标，然后反向转换到原图中。
S3：采用深度残差网络提取车辆特征，利用锚点机制预测车辆边界框信息获取车辆轮廓范围。其中利用深度残差网络提取车辆特征，实现多尺度检测，并利用锚点机制预测车辆边界框即轮廓信息，可以降低模型训练复杂度，提高车辆检测准确率；基于YOLOv3的车辆轮廓检测技术步骤如下：
S31：标注图像数据集。采用图像标注工具labellmg标注车辆，把标注好的图片保存为xml文件，并转换为txt文件；
S32：配置文件修改及深度网络训练。训练过程选择交叉熵作为损失函数，训练分为两步，一是冻结了Resnet-18除全连接层之外的所有层，Fine-tune训练到收敛为止；二是打开被冻结的所有层，进一步Fine-tune训练，调整所有层的权重，直至整个模型收敛为止；
S33：训练结果检验：就是发现avg loss在很多代中不再下降了，就可以停止训练。
S4：将获取的交通场景重构图像、车道线以及车辆边框信息传送至云端，在云端采用车辆越线违章检测法判断车辆是否越线违章。
进一步的，如图5所示，对于上述检测到的交通场景重构信息均采用SM2加密算法对数据进行加密，以保证设备-云服务之间数据通信的安全性。基于客户端，使用SM2公钥对图像数据进行加密处理，通过互联网发送给云端。云端初始阶段需要创建SM2密钥，包括公钥和私钥两部分，其中公钥在网络传输的过程中传送给客户端，私钥由云端进行保存。当云端接收到客户端发来的视频数据后，使用SM2私钥对数据进行解密，从而得到原始数据，实现数据的安全传输。
在云端采用车辆越线违章检测法判断车辆是否越线违章时，如图6所示，具体包括如下步骤：
步骤一：为快速获取车辆和车道线坐标，在整幅图中以车为目标缩小感兴趣范围，先计算车辆坐标，再根据车辆的坐标计算车道线坐标。
步骤二：获取车辆检测框的左上角(x_ltop,x_rtop)、左下角(x_left,y_bottom)和右下角(x_right,y_bottom)坐标并判断检测框大小是否在设定的车辆大小阈值内，以防止漏检或误检。
步骤三:获取与车辆检测框右下角有相同纵坐标的车道线坐标(x_lane,y_bottom)。
步骤四：判断步骤3中获得的车道线坐标的横坐标(x_lane)与车辆检测框左下角(x_left)与右下角(x_right)横坐标的关系。
步骤五：进行判断。如果x_lane>(x_left+x_right)/2则返回结果”越线违章“，否则返回结果“未越线违章”。
本发明公开的一种车载式车辆越线违章行为两阶段智能视觉检测方法，划分为一阶段和二阶段，一阶段车载端基于机器视觉的智能场景重构以及图像数据加密传输；二阶段云端车辆越线违章行为智能检测，该方法将车载设备和云端紧密结合，在云端对上传的图像数据进行存储及预处理，进而采用数学建模和人工智能等技术对处理后的图像数据进行车辆越线违章智能检测，因此提高了检测的准确度和安全度。
如图7所示的一种基于车载机器视觉的前方车辆越线违章行为自动检测系统，包括：自动采集单元、车载端数据传输单元和云端服务器。其中自动采集单元通过对车载摄像头进行图像标定后建立成像几何模型，把世界坐标系转换到摄像头坐标系、再从摄像头坐标系转换到图像坐标系，最后将图像坐标系转换为像素坐标系，借此完成交通场景视频图像的自动实时采集。车载端数据传输单元内置视频图像预处理模块、地理位置信息接收模块和移动通讯模块。图像预处理模块对交通场景视频图像进行降噪处理后，根据预设参数及算法对其进行视频分帧；地理位置信息接收模块接收实时接收GPS/北斗信号以获取车辆当前位置坐标；移动通讯模块自动接收4G/5G/WiFi信号后利用移动通讯网络将分割后的交通场景视频图像和车辆位置信息实时上传到指定云端服务器。
云端服务器由车道线自动提取模块、车辆目标自动识别模块和越线违章判定模块组成。车道线自动提取模块采用LaneNet改进模型对所接收到的交通场景图像进行车道线部分坐标的自动提取，经坐标点扩充，线性拟合后得到其对应的完整车道线坐标并在原图像内进行车道线的实时标注；车辆目标自动识别模块利用深度残差网络实现交通场景图像内的车辆特征自动提取和识别，利用锚点机制进行车辆边界框的计算与实时标注；越线违章判定模块基于交通场景图像内车道线和车辆的位置信息，利用判定规则库实现车辆是否存在越线违章行为的实时自动判定。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于车载机器视觉的前方车辆越线违章行为自动检测方法，其特征在于：
所述方法划分为一阶段和二阶段，一阶段车载端基于机器视觉的智能场景重构以及图像数据加密传输；二阶段在云端对上传的图像数据进行存储及预处理，进而采用数学建模和人工智能技术对处理后的图像数据进行车辆越线违章智能检测；
在车载端，通过车载摄像头参数建立成像的几何模型，以车载摄像头为标定物进行世界坐标系到摄像头坐标系的转换、再从摄像头坐标系到图像坐标系的转换，最后将图像坐标系转换为像素坐标系获得交通场景重构视频图像，对交通场景重构视频图像进行降噪和分帧处理；采用LaneNet对车道线进行预测和拟合获取车道线信息；
采用深度残差网络提取车辆特征，利用锚点机制预测车辆边界框信息获取车辆轮廓范围；
将获取的交通场景重构图像、车道线以及车辆边界信息传送至云端；
其中，所述获取车道线信息时具体采用如下方式：对采集图像中的车道线进行标注生成标注文件，使用原图以及标注文件生成训练数据集，其中训练数据集包括原图、实例分割图和二值分割图，获取二值分割图中个像素点的值；对实例分割图和二值分割图进行训练，计算softmax交叉熵损失，当总损失稳定后使用DBSCAN方法聚类并得到收敛模型；对每条车道线的像素集合进行线性回归得到完整车道线；对车道线图像进行标注时：对于直线车道只需获取车道线两端的横纵坐标就可进行标注；对于弯道车道则需按照斜率将弯道分成多个直线车道，再分别获取每段车道两端的横纵坐标进行标注；对于车道线语义分割部分计算softmax交叉熵损失，对于车道线实例分割部分计算方差loss和距离loss，包括四个过程：计算具有ID编号的像素均值向量、同车道线内像素的损失、不同车道线间像素的损失以及总损失；使用H-Net网络对每条车道线的像素集合进行线性回归：将图像标注的车道点坐标放入H-Net网络中进行转换得到新的点坐标，使用最小二乘法对这些新的点坐标进行拟合，根据拟合曲线调整原标注的坐标点的坐标再反向转换到原图中；
在云端，采用几何坐标判定法判断车辆是否越线违章；
其中，采用几何坐标判定法判断车辆是否越线违章时具体方式为：
以车辆坐标为基准，设定车辆越线违章感兴趣区域；
获取车辆检测框的左上角和右下角坐标，判断车辆检测框大小是否在设定阈值范围内；
获取与车辆检测框右下角有相同纵坐标的车道线横坐标(x_lane)；
判断获得的车道线坐标的横坐标(x_lane)与车辆检测框左下角(x_left)与右下角(x_right)横坐标的关系；
如果x_lane>(x_left+x_right)/2则越线违章，否则未越线违章。
2.一种基于车载机器视觉的前方车辆越线违章行为自动检测系统，其特征在于包括：
车载端和云端；
车载端基于机器视觉的智能场景重构以及图像数据加密传输；
云端对上传的图像数据进行存储及预处理，进而采用数学建模和人工智能技术对处理后的图像数据进行车辆越线违章智能检测；
设置在车载端用于采集车载端交通场景信息的自动采集单元，所述自动采集单元通过对车载摄像头进行图像标定后建立成像几何模型，把世界坐标系转换到摄像头坐标系、再从摄像头坐标系转换到图像坐标系，最后将图像坐标系转换为像素坐标系获得交通场景视频图像；
接收所述自动采集单元传送的视频图像信息的车载端数据传输单元，所述车载端数据传输单元包括图像预处理模块、地理位置信息接收模块和移动通讯模块；所述图像预处理模块对交通场景视频图像进行降噪处理、根据预设参数对其进行视频分帧处理，地理位置信息接收模块接收实时GPS/北斗信号以获取车辆当前位置坐标信息；移动通讯模块自动接收4G/5G/WiFi信号后利用移动通讯网络将分割后的交通场景视频图像和车辆位置信息实时输出；
接收所述移动通讯模块传送的交通场景视频图像和车辆位置信息的云端服务器；所述云端服务器包括车道线自动提取模块、车辆目标自动识别模块和越线违章判定模块；所述车道线自动提取模块采用LaneNet改进模型对所接收到的交通场景图像进行车道线部分坐标的自动提取、坐标点扩充和线性拟合后得到其对应的完整车道线坐标并在原图像内进行车道线的实时标注；所述车辆目标自动识别模块利用深度残差网络对交通场景图像内的车辆特征自动提取和识别、利用锚点机制进行车辆边界框的计算和实时标注；所述越线违章判定模块基于交通场景图像内车道线和车辆的位置信息采用几何坐标判定法判定车辆是否存在越线违章行为。
CN201911381134.1A 2019-12-27 2019-12-27 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统 Active CN111179345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911381134.1A CN111179345B (zh) 2019-12-27 2019-12-27 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911381134.1A CN111179345B (zh) 2019-12-27 2019-12-27 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统

Publications (2)

Publication Number Publication Date
CN111179345A CN111179345A (zh) 2020-05-19
CN111179345B true CN111179345B (zh) 2024-01-23

Family

ID=70650489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911381134.1A Active CN111179345B (zh) 2019-12-27 2019-12-27 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统

Country Status (1)

Country Link
CN (1) CN111179345B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968378A (zh) * 2020-07-07 2020-11-20 浙江大华技术股份有限公司 机动车闯红灯抓拍方法、装置、计算机设备和存储介质
CN112509054A (zh) * 2020-07-20 2021-03-16 北京智行者科技有限公司 一种相机外参动态标定方法
CN112215058A (zh) * 2020-08-26 2021-01-12 中国矿业大学(北京) 一种基于机器视觉的摩托车车道偏离报警方法和系统
CN111996883B (zh) * 2020-08-28 2021-10-29 四川长虹电器股份有限公司 一种检测公路路面宽度的方法
CN112562406B (zh) * 2020-11-27 2022-08-16 众安在线财产保险股份有限公司 一种越线行驶的识别方法及装置
CN112687103A (zh) * 2020-12-23 2021-04-20 安徽中科美络信息技术有限公司 基于车联网技术的车辆变道的检测方法及系统
CN113033352B (zh) * 2021-03-11 2024-02-23 浙江工业大学 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法
CN113221636A (zh) * 2021-03-29 2021-08-06 北京汽车研究总院有限公司 场景标注中前方车辆换道取消行为的自动标注方法
CN113362594A (zh) * 2021-05-31 2021-09-07 青岛海纳云科技控股有限公司 一种车辆违章监测系统、方法及计算机可读存储介质
CN113569666B (zh) * 2021-07-09 2023-12-15 东风汽车集团股份有限公司 车辆连续违法变道的检测方法及计算机设备
CN113780069B (zh) * 2021-07-30 2024-02-20 武汉中海庭数据技术有限公司 一种汇流场景下的车道线分离绘制方法及装置
US20230410530A1 (en) * 2022-05-30 2023-12-21 Ehsan Taghavi Systems and methods for enhancement of 3d object detection using point cloud semantic segmentation and attentive anchor generation
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116977906B (zh) * 2023-09-22 2023-12-26 深圳市城市交通规划设计研究中心股份有限公司 一种实时展示行人违规翻越道路隔离带方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128108A (zh) * 2016-08-29 2016-11-16 孙静言 一种违章举报装置
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的系统及方法
CN108665712A (zh) * 2018-07-02 2018-10-16 大连海事大学 一种车辆越线违章行为监测方法及系统
CN110008932A (zh) * 2019-04-17 2019-07-12 四川九洲视讯科技有限责任公司 一种基于计算机视觉的车辆违章压线检测方法
CN110178167A (zh) * 2018-06-27 2019-08-27 潍坊学院 基于摄像机协同接力的路口违章视频识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128108A (zh) * 2016-08-29 2016-11-16 孙静言 一种违章举报装置
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的系统及方法
CN110178167A (zh) * 2018-06-27 2019-08-27 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN108665712A (zh) * 2018-07-02 2018-10-16 大连海事大学 一种车辆越线违章行为监测方法及系统
CN110008932A (zh) * 2019-04-17 2019-07-12 四川九洲视讯科技有限责任公司 一种基于计算机视觉的车辆违章压线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈刚 ; 陈斌 ; 钱基德 ; .车载移动执法中违规车辆智能检测研究.电子科技大学学报.2018,(第03期),全文. *

Also Published As

Publication number Publication date
CN111179345A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179345B (zh) 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统
JP7430277B2 (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN116258817B (zh) 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN111259704A (zh) 一种虚线车道线端点检测模型的训练方法
CN112489099A (zh) 点云配准方法、装置、存储介质及电子设备
Ding et al. Efficient vanishing point detection method in complex urban road environments
CN114332494A (zh) 车路协同场景下基于多源融合的三维目标检测与识别方法
CN113284144A (zh) 一种基于无人机的隧道检测方法及装置
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
WO2021248564A1 (zh) 一种全景大数据应用监测管控系统
CN103903269B (zh) 球机监控视频的结构化描述方法和系统
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN115272450A (zh) 一种基于全景分割的目标定位方法
Sun et al. UAV Photogrammetry-Based Accident Assessment Road Condition Analysis Using Image Classification
CN114972541B (zh) 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法
CN115965749B (zh) 一种基于雷视融合的三维重建设备
CN117058767B (zh) 训练场监测方法、设备、存储介质及装置
CN115830517B (zh) 基于视频的考场异常帧提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Qu Yi

Inventor before: Qu Yi

Inventor before: Lin Zhengkui