CN114241449B - 基于边缘设备的车辆变道不打灯违法抓拍系统及其方法 - Google Patents
基于边缘设备的车辆变道不打灯违法抓拍系统及其方法 Download PDFInfo
- Publication number
- CN114241449B CN114241449B CN202210171371.0A CN202210171371A CN114241449B CN 114241449 B CN114241449 B CN 114241449B CN 202210171371 A CN202210171371 A CN 202210171371A CN 114241449 B CN114241449 B CN 114241449B
- Authority
- CN
- China
- Prior art keywords
- unit
- vehicle
- target
- target vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于边缘设备的车辆变道不打灯违法抓拍系统及其方法,属于车辆变道不打灯违法抓拍技术领域,该基于边缘设备的车辆变道不打灯违法抓拍系统包括采集模块、检测模块、计算模块、判断模块、识别模块和违法生成模块,采集模块用于获得监控现场的视频图像并处理后得到目标帧图像;检测模块用于根据所述目标帧图像对通行车辆以及车道线进行检测;通过引入触发机制挑选可疑目标进行跟踪判断,即判断通行车辆是否存在变道的可能性,一方面可以极大的减少处理车辆的数量,另一方面也可以极大的缩短无效跟踪的时间,极大地提高了检测效率,可以进一步减少不必要的资源消耗和计算时间。
Description
技术领域
本发明属于车辆变道不打灯违法抓拍技术领域,具体而言,涉及基于边缘设备的车辆变道不打灯违法抓拍系统及其方法。
背景技术
随着我国经济水平的不断提高,公民机动车保有量也在不断提升,随之而来的交通事故的数量也在不断增加。据统计我国每年因为交通事故造成的人员伤亡人数达到数十万,间接造成的财产损失高达数十亿元。据分析,大部分交通事故的发生都是由于驾驶人员违反交通规则所导致。为了惩处和威慑各种类型的违法行为,减少交通事故的发生率,大部分城市交通路口都部署了大量的违法抓拍摄像头来抓拍各种类型的违法。但是,由于不同违法行为的取证条件不一致(比如抓拍的视角,违法持续时间等),目前路口摄像头一般只抓拍闯红灯,压线,不礼让行人,不安导向线行驶等违法行为。而且这种利用路口摄像头抓拍违法的方法部署成本较高,算法升级部署需要改造原有的自然环境,而且抓拍覆盖的范围有限。
由于路口抓拍摄像头存在各种问题,一种更好的方案是采用可移动设备作为载体来进行违法行为的抓拍。采用移动设备部署简单,覆盖范围更加灵活广泛,通过部署在公交车或者警用车辆上可以实现全路段覆盖,可以起到更好的监管作用,有效降低交通事故的发生率。近年来,随着芯片技术的进步和人工智能技术的发展,使得在移动端进行违法行为的判断和取证成为可能。
变道不打灯违法是众多交通违法事件中出现频率最高的违法行为,这种违法行为通过路口摄像头难以抓拍取证。而且,由于变道不打灯违法行为的判断需要识别众多关键要素(例如车道线信息,车灯信息,车牌信息,车辆跟踪等)。
现有的判断车辆变道不打灯的处理方法复杂度较高,首先,整个流程中需要较多的深度学习网络模型:车道线识别网络为了达到比较好的效果,通常需要设计计算量较大的网络模型,同时后处理也较复杂,难以满足实时性需求。判断车灯状态的循环神经网络及车牌识别中的LSTM网络通常在边缘设备上的部署也比较麻烦。其次,现有方法需要进行多目标跟踪,无论采用传统算法还是基于深度学习的算法都难以在边缘端达到较高的实时性。最后,现有方法的处理过程需要实时更新所有车辆的车牌车灯等状态信息,而实际环境中只有部分车辆会产生违法行为,对未违法的车辆进行跟踪,状态的更新会浪费大量的计算储存资源。
发明内容
本发明实施例提供了基于边缘设备的车辆变道不打灯违法抓拍系统及其方法,其目的在于解决现有的判断车辆变道不打灯的处理方法复杂度较高的问题。
鉴于上述问题,本发明提出的技术方案是:
第一方面,基于边缘设备的车辆变道不打灯违法抓拍系统,所述系统包括:
采集模块,用于获得监控现场的视频图像并处理后得到目标帧图像;
检测模块,用于根据所述目标帧图像对通行车辆以及车道线进行检测;
计算模块,用于计算所述通行车辆与所述车道线之间的距离确定目标车辆,并对所述目标车辆进行跟踪;
判断模块,用于判断所述目标车辆是否发生变道;
识别模块,用于提取所述目标车辆的N张车灯图像,将N张所述车灯图像进行拼接,判断所述目标车辆的车灯是否闪烁;其中,N 为自然数,且N≤16;
违法生成模块,用于确定抓拍图像并获得所述目标车辆的车牌信息生成违法信息。
作为本发明的一种优选技术方案,所述采集模块包括:
采集单元,用于通过监控设备采集所述监控现场的视频图像;
分割单元,用于将所述视频图像分割成至少一张所述目标帧图像;
预处理单元,用于对所述目标帧图像进行预处理。
作为本发明的一种优选技术方案,所述检测模块包括:
扫描单元,用于对所述目标帧图像进行扫描确定目标物体的空间位置;
检测单元,用于根据所述空间位置将所述目标帧图像输入车道线 /目标检测模型进行检测,确实所述通行车辆以及所述车道线。
作为本发明的一种优选技术方案,所述计算模块包括:
计算单元,用于计算所述通行车辆与所述车道线之间的距离;
第一判断单元,用于判断所述距离是否小于预设阈值得到判断结果;
确定单元,用于根据所述判断结果确定所述通行车辆为所述目标车辆;
跟踪单元,用于获得监控现场的下一组视频图像对所述目标车辆进行实时跟踪;
存储单元,用于存储所述目标车辆的车牌图像和车灯图像。
作为本发明的一种优选技术方案,所述判断模块包括:
第二判断单元,用于根据下一组所述视频图像判断所述目标车辆是否与所述车道线重合;其中,若所述目标车辆与所述车道线重合,则执行下一步骤;
锁定单元,用于将所述标车辆进行锁定。
作为本发明的一种优选技术方案,所述识别模块包括:
第一提取单元,用于提取所述目标车辆的N张所述车灯图像;
拼接单元,用于将N张所述车灯图像进行拼接得到一张车灯拼接图像;
分类单元,用于提取所述车灯拼接图像的两种二值数据,并根据两种所述二值数据进行分类得到分类数据;
第三判断单元,用于根据所述分类数据判断所述目标车辆的车灯是否闪烁。
作为本发明的一种优选技术方案,所述违法生成模块包括:
第一生成单元,用于根据下一组所述视频图像生成抓拍图像;
第二提取单元,用于提取所述目标车辆的所述车牌图像并识别车牌信息;
第二生成单元,用于结合所述抓拍图像和所述车牌信息生成违法信息。
作为本发明的一种优选技术方案,所述判断结果为:
若所述距离大于或等于预设阈值,则所述通行车辆无变道的可能性;
若所述距离小于预设阈值,则所述通行车辆存在变道的可能性。
作为本发明的一种优选技术方案,所述监控设备为云台式高清高速摄像机。
第二方面,本发明实施例提供基于边缘设备的车辆变道不打灯违法抓拍方法,所述方法包括:
获得监控现场的视频图像并处理后得到目标帧图像;
根据所述目标帧图像对通行车辆以及车道线进行检测;
计算所述通行车辆与所述车道线之间的距离确定目标车辆,并对所述目标车辆进行跟踪;
判断所述目标车辆是否发生变道;
提取所述目标车辆的N张车灯图像,将N张所述车灯图像进行拼接,判断所述目标车辆的车灯是否闪烁;其中,N为自然数,且N ≤16;
确定抓拍图像并获得所述目标车辆的车牌信息生成违法信息。
本发明实施例提供的上述技术方案的有益效果至少包括:
(1)将车道线检测模型和目标检测模型在形式上进行融合,通过一个简单的车道线/目标检测模型即可实现目标检测和车道线识别的功能,节省了计算资源,提高了整个流程的实时性。
(2)通过识别模块即可获得转向灯的状态,也能达到节省计算资源,提高实时性的效果。
(3)通过引入触发机制挑选可疑目标进行跟踪判断,即判断通行车辆是否存在变道的可能性,一方面可以极大的减少处理车辆的数量,另一方面也可以极大的缩短无效跟踪的时间,极大地提高了检测效率,可以进一步减少不必要的资源消耗和计算时间。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
图1是本发明所公开的基于边缘设备的车辆变道不打灯违法抓拍系统的结构示意图;
图2是本发明所公开的基于边缘设备的车辆变道不打灯违法抓拍系统的车道线检测示意图;
图3是本发明所公开的基于边缘设备的车辆变道不打灯违法抓拍系统的车灯图像拼接示意图;
图4是本发明所公开的基于边缘设备的车辆变道不打灯违法抓拍方法的一种流程图;
图5是本发明所公开的基于边缘设备的车辆变道不打灯违法抓拍系统的另一种流程图。
附图标记说明:100、采集模块;110、采集单元;120、分割单元;130、预处理单元;200、检测模块;210、扫描单元;220、检测单元;300、计算模块;310、计算单元;320、第一判断单元;330、确定单元;340、跟踪单元;350、存储单元;400、判断模块;410、第二判断单元;420、锁定单元;500、识别模块;510、第一提取单元;520、拼接单元;530、分类单元;540、第三判断单元;600、违法生成模块;610、第一生成单元;620、第二提取单元;630、第二生成单元。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
因此,以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例一
参照附图1所示,本发明提供一种技术方案:基于边缘设备的车辆变道不打灯违法抓拍系统,包括采集模块100、检测模块200、计算模块300、判断模块400、识别模块500和违法生成模块600;
采集模块100用于获得监控现场的视频图像并处理后得到目标帧图像。
进一步的,所述采集模块100包括采集单元110、分割单元120 和预处理单元130,采集单元110用于通过监控设备采集所述监控现场的视频图像,分割单元120用于将所述视频图像分割成至少一张所述目标帧图像,预处理单元130用于对所述目标帧图像进行预处理。
具体而言,采集单元110在获得视频图像之后发送给分割单元 120,分割单元120按帧数将视频图像分割为多张目标帧图像;值得注意的是,前述具体的目标帧图像张数根据实际情况而设定,因此,在此不再做进一步的限定。预处理单元130在获得多张目标帧图像之后进行预处理。其中,预处理主要包含分辨率、高斯滤波、归一化以及灰度处理等。
需要说明的是,所述监控设备为云台式高清高速摄像机。
检测模块200用于根据所述目标帧图像对通行车辆以及车道线进行检测。
进一步的,所述检测模块200包括扫描单元210和检测单元220,扫描单元210用于对所述目标帧图像进行扫描确定目标物体的空间位置,检测单元220用于根据所述空间位置将所述目标帧图像输入车道线/目标检测模型进行检测,确实所述通行车辆以及所述车道线。
具体而言,车道线/目标检测模型是将目标检测网络和车道线检测网络融合并对目标帧图像进行训练所得到的;此外,目标检测网络采用目前通用的目标检测网络算法,例如,YOLO目标检测算法,因此在此不再详细赘述。
通常,车道线检测网络是基于语义分割的车道线识别方法可以识别图像中每一个像素点是否属于车道线,这种方法能够提供像素级的位置精度。但是,在机动车变道不打转向灯的判别过程中,只需要确定车道线的空间位置,不需要像素级的精度。因此,在本发明较佳的实施例中,本发明采取了不同的车道线识别方法进行识别。
参照附图2所示,车道线检测网络训练过程中,提取目标帧图像的车道线转换为矩形框;且将同一种类型的车道线生成不同的两种矩形框,一种矩形框的对角线为对应的车道线,另一种矩形框的反对角线为对应的车道线。假设需要识别实线和虚线两种车道线,实线和虚线的两种类型分别记为A和B。对应实线类型,有两种类型的矩形框代号分别为1和2。对应虚线类型,有两种类型的矩形框代号分别为 3和4。在推理的过程中,如果有一个矩形框的预测类型为A则取对应的反对角线,即代号2为一条实线车道线,如果有一个矩形框的预测类型为B则取对应的对角线,即代号3为一条虚线车道线。
因此,将目标检测网络和车道线检测网络融合之后,极大的减少资源消耗,进一步提高了检测的效率。
计算模块300用于计算所述通行车辆与所述车道线之间的距离确定目标车辆,并对所述目标车辆进行跟踪。
进一步的,所述计算模块300包括计算单元310、第一判断单元 320、确定单元330、跟踪单元340和存储单元350,计算单元310用于计算所述通行车辆与所述车道线之间的距离,第一判断单元320用于判断所述距离是否小于预设阈值得到判断结果,确定单元330用于根据所述判断结果确定所述通行车辆为所述目标车辆,跟踪单元340 用于获得监控现场的下一组视频图像对所述目标车辆进行实时跟踪,存储单元350用于存储所述目标车辆的车牌图像和车灯图像。
值得注意的是,所述判断结果为:若所述距离大于或等于预设阀值,则所述通行车辆无变道的可能性;若所述距离小于预设阈值,则所述通行车辆存在变道的可能性。
具体而言,由于目标车辆即将发生变道时,目标车辆的车头会逐渐靠近车道线,并与车道线重合,完成后目标车辆的车尾会逐渐远离车道线。首先,计算单元310通过计算各通行车辆与车道线之间的距离,判断各通行车辆是否会发生变道,将可能发生变道的通行车辆确定为目标车辆,并对目标车辆进行跟踪。在跟踪过程中通过存储单元350存储目标车辆的多张车牌图像和车灯图像,直至目标车辆完成或者驶离监控现场。因此,对于通行车辆进行预判,可以极大的减少跟踪目标数量,从而节省计算资源和时间。
判断模块400用于判断所述目标车辆是否发生变道。
所述判断模块400包括第二判断单元410和锁定单元420,第二判断单元410用于根据下一组所述视频图像判断所述目标车辆是否与所述车道线重合;其中,若所述目标车辆与所述车道线重合,则执行下一步骤,锁定单元420用于将所述标车辆进行锁定。
识别模块500用于提取所述目标车辆的N张车灯图像,将N张所述车灯图像进行拼接,判断所述目标车辆的车灯是否闪烁;其中, N为自然数,且N≤16。
进一步的,所述识别模块500包括第一提取单元510、拼接单元 520、分类单元530和第三判断单元540,第一提取单元510用于提取所述目标车辆的N张所述车灯图像,拼接单元520用于将N张所述车灯图像进行拼接得到一张车灯拼接图像,分类单元530用于提取所述车灯拼接图像的两种二值数据,并根据两种所述二值数据进行分类得到分类数据,第三判断单元540用于根据所述分类数据判断所述目标车辆的车灯是否闪烁。
具体而言,通过判断模块400判定目标车辆发生变道之后,第一提取单元510提取目标车辆变道前以及变道后的车灯图像,拼接单元 520将多张车灯图像拼接成一整张拼接图像,利用分类单元530按照两种二值数据对拼接图像的二值数据进行分类;第三判断单元540根据分类数据判断目标车辆的车灯是否闪烁。
参照附图3所示,例如,两种二值数据分别为X和Y,即X代表黑色的二值数据,Y代表灰色的二值数据,第一提取单元510提取目标车辆16张车灯图像,拼接单元520将16张车灯图像拼接为一整张拼接图像,其每张车灯图像的X和Y不变,则分类单元530按照 X和Y进行分类;也就是说,第三判断单元540也是按照X和Y对目标车辆车灯是否闪烁进行判断。
若拼接图像中既包含X又包含Y,则可以判定目标车辆使用了转向灯;若拼接图像中全部为X或Y,则可以判定目标车辆未使用转向灯;需要说明的是,在一种实施例中,若拼接图像中全部为Y,那么目标车辆的转向灯在行驶过程中处于常亮状态,因此,目标车辆的转向灯可能损坏。
违法生成模块600,用于确定抓拍图像并获得所述目标车辆的车牌信息生成违法信息。
进一步的,所述违法生成模块600包括第一生成单元610、第二提取单元620、和第二生成单元630,第一生成单元610用于根据下一组所述视频图像生成抓拍图像,第二提取单元620用于提取所述目标车辆的所述车牌图像并识别车牌信息,第二生成单元630用于结合所述抓拍图像和所述车牌信息生成违法信息。
具体而言,经过识别模块500判定目标车辆未使用转向灯之后,首先生成目标车辆的至少三张抓拍图像,保证充足的证据支撑;而第二提取单元620对于车牌图像的识别,采用目前常用的车牌识别算法,因此,在此不再详细赘述。
实施例二
本发明实施例还公开了基于边缘设备的车辆变道不打灯违法抓拍方法,参照附图4~5所示,包括以下步骤:
步骤110,获得监控现场的视频图像并处理后得到目标帧图像;
步骤120,根据所述目标帧图像对通行车辆以及车道线进行检测;
步骤130,计算所述通行车辆与所述车道线之间的距离确定目标车辆,并对所述目标车辆进行跟踪;
步骤140,判断所述目标车辆是否发生变道;
步骤150,提取所述目标车辆的N张车灯图像,将N张所述车灯图像进行拼接,判断所述目标车辆的车灯是否闪烁;其中,N为自然数,且N≤16;
步骤160,确定抓拍图像并获得所述目标车辆的车牌信息生成违法信息。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解,结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性,上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件,取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用,以变通的方式实现所描述的功能,但是,这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM 存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于 ASIC中。该ASIC可以位于用户终端中。当然,处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现,本申请中描述的技术可用执行本申请所述功能的模块(例如,过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内,也可以实现在处理器外,在后一种情况下,它经由各种手段以通信方式耦合到处理器,这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
Claims (2)
1.基于边缘设备的车辆变道不打灯违法抓拍系统,其特征在于,所述系统包括:
采集模块,用于获得监控现场的视频图像并处理后得到目标帧图像;
其中,所述采集模块包括:
采集单元,用于通过监控设备采集所述监控现场的视频图像;
分割单元,用于将所述视频图像分割成至少一张所述目标帧图像;
预处理单元,用于对所述目标帧图像进行预处理;
检测模块,用于根据所述目标帧图像对通行车辆以及车道线进行检测;
其中,所述检测模块包括:
扫描单元,用于对所述目标帧图像进行扫描确定目标物体的空间位置;
检测单元,用于根据所述空间位置将所述目标帧图像输入车道线/目标检测模型进行检测,确实所述通行车辆以及所述车道线;
所述车道线/目标检测模型的训练方式为:
提取目标帧图像的车道线转换为矩形框;且将同一种类型的车道线生成不同的两种矩形框,一种矩形框的对角线为对应的车道线,另一种矩形框的反对角线为对应的车道线;
假设需要识别实线和虚线两种车道线,实线和虚线的两种类型分别记为A和B,对应实线类型,有两种类型的矩形框代号分别为1和2,对应虚线类型,有两种类型的矩形框代号分别为3和4,若有一个矩形框的预测类型为A则取对应的反对角线,即代号2为一条实线车道线,若有一个矩形框的预测类型为B则取对应的对角线,即代号3为一条虚线车道线;
计算模块,用于计算所述通行车辆与所述车道线之间的距离确定目标车辆,并对所述目标车辆进行跟踪;
其中,所述计算模块包括:
计算单元,用于计算所述通行车辆与所述车道线之间的距离;
第一判断单元,用于判断所述距离是否小于预设阈值得到判断结果;
所述判断结果为:
若所述距离大于或等于预设阈值,则所述通行车辆无变道的可能性;
若所述距离小于预设阈值,则所述通行车辆存在变道的可能性;
确定单元,用于根据所述判断结果确定所述通行车辆为所述目标车辆;
跟踪单元,用于获得监控现场的下一组视频图像对所述目标车辆进行实时跟踪;
存储单元,用于存储所述目标车辆的车牌图像和车灯图像;
计算单元通过计算各通行车辆与车道线之间的距离,第一判断单元判断各通行车辆是否会发生变道,确定单元将可能发生变道的通行车辆确定为目标车辆,并通过跟踪单元对目标车辆进行跟踪;在跟踪过程中通过存储单元存储目标车辆的多张车牌图像和车灯图像,直至目标车辆完成或者驶离监控现场;
判断模块,用于判断所述目标车辆是否发生变道;
其中,所述判断模块包括:
第二判断单元,用于根据下一组所述视频图像判断所述目标车辆是否与所述车道线重合;其中,若所述目标车辆与所述车道线重合,则执行下一步骤;
锁定单元,用于将所述目标车辆进行锁定;
识别模块,用于提取所述目标车辆的N张车灯图像,将N张所述车灯图像进行拼接,判断所述目标车辆的车灯是否闪烁;其中,N为自然数,且N≤16;
其中,所述识别模块包括:
第一提取单元,用于提取所述目标车辆的N张所述车灯图像;拼接单元,用于将N张所述车灯图像进行拼接得到一张车灯拼接图像;
分类单元,用于提取所述车灯拼接图像的两种二值数据,并根据两种所述二值数据进行分类得到分类数据;
第三判断单元,用于根据所述分类数据判断所述目标车辆的车灯是否闪烁;
违法生成模块,用于确定抓拍图像并获得所述目标车辆的车牌信息生成违法信息;
若所述两种二值数据分别为X和Y,第三判断单元的判断方式为:若所述拼接图像中既包含X又包含Y,则可以判定目标车辆使用了转向灯;
若所述拼接图像中全部为X或Y,则可以判定目标车辆未使用转向灯;
若所述拼接图像中全部为Y,那么目标车辆的转向灯在行驶过程中处于常亮状态;
其中,所述违法生成模块包括:
第一生成单元,用于根据下一组所述视频图像生成至少三张抓拍图像;
第二提取单元,用于提取所述目标车辆的所述车牌图像并识别车牌信息;
第二生成单元,用于结合所述抓拍图像和所述车牌信息生成违法信息;
应用于所述系统的方法包括:
获得监控现场的视频图像并处理后得到目标帧图像;
根据所述目标帧图像对通行车辆以及车道线进行检测;
计算所述通行车辆与所述车道线之间的距离确定目标车辆,并对所述目标车辆进行跟踪;
判断所述目标车辆是否发生变道;
提取所述目标车辆的N张车灯图像,将N张所述车灯图像进行拼接,判断所述目标车辆的车灯是否闪烁;其中,N为自然数,且N≤16;
确定抓拍图像并获得所述目标车辆的车牌信息生成违法信息。
2.根据权利要求1所述的基于边缘设备的车辆变道不打灯违法抓拍系统,其特征在于,所述监控设备为云台式高清高速摄像机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210171371.0A CN114241449B (zh) | 2022-02-24 | 2022-02-24 | 基于边缘设备的车辆变道不打灯违法抓拍系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210171371.0A CN114241449B (zh) | 2022-02-24 | 2022-02-24 | 基于边缘设备的车辆变道不打灯违法抓拍系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114241449A CN114241449A (zh) | 2022-03-25 |
CN114241449B true CN114241449B (zh) | 2022-11-04 |
Family
ID=80748062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210171371.0A Active CN114241449B (zh) | 2022-02-24 | 2022-02-24 | 基于边缘设备的车辆变道不打灯违法抓拍系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114241449B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033275A (zh) * | 2020-11-17 | 2021-06-25 | 浙江浩腾电子科技股份有限公司 | 基于深度学习的车辆变道不打转向灯分析系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106652468B (zh) * | 2016-12-09 | 2019-09-10 | 武汉极目智能技术有限公司 | 车辆道路前车违规检测和自车违规预警提醒装置及方法 |
KR101870229B1 (ko) * | 2018-02-12 | 2018-06-22 | 주식회사 사라다 | 차로 위치 결정 시스템 및 그 방법 |
CN112785850A (zh) * | 2020-12-29 | 2021-05-11 | 上海眼控科技股份有限公司 | 车辆变道未打灯的识别方法及装置 |
-
2022
- 2022-02-24 CN CN202210171371.0A patent/CN114241449B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033275A (zh) * | 2020-11-17 | 2021-06-25 | 浙江浩腾电子科技股份有限公司 | 基于深度学习的车辆变道不打转向灯分析系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114241449A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106600977B (zh) | 基于多特征识别的违停检测方法及系统 | |
CN110738857B (zh) | 一种车辆违章取证方法、装置及设备 | |
CN111368687A (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
CN108335489A (zh) | 高速公路车辆行为语义分析及异常行为监控系统及方法 | |
CN103116987A (zh) | 一种基于监控视频处理的车流统计和违规检测的方法 | |
Charran et al. | Two-wheeler vehicle traffic violations detection and automated ticketing for Indian road scenario | |
Parvin et al. | Vehicle number plate detection and recognition techniques: a review | |
Arya et al. | Real-time vehicle detection and tracking | |
CN113033275A (zh) | 基于深度学习的车辆变道不打转向灯分析系统 | |
Liu et al. | Automatic detection of parking violation and capture of license plate | |
CN113343880A (zh) | 一种车辆遮挡号牌的识别方法、装置、设备及介质 | |
Nguwi et al. | Number plate recognition in noisy image | |
CN117576674A (zh) | 车牌识别方法、装置、设备及介质 | |
TK et al. | An experiment analysis on tracking and detecting the vehicle speed using machine learning and iot | |
CN114241449B (zh) | 基于边缘设备的车辆变道不打灯违法抓拍系统及其方法 | |
Hsieh et al. | A real-time mobile vehicle license plate detection and recognition for vehicle monitoring and management | |
Gupta et al. | An Automated Number Plate Recognition System based on Optical Character Recognition | |
Srivastava et al. | Automatic traffic surveillance system Utilizing object detection and image processing | |
Biswas et al. | Detection of Traffic Rule Violations Using Machine Learning: An Analytical Review | |
CN113177443A (zh) | 一种基于图像视觉的智能识别道路交通违章的方法 | |
KR102369824B1 (ko) | 교행 다차로를 위한 차량번호 인식방법 및 장치 | |
Siah et al. | Vehicle licence plate recognition by fuzzy artmap neural network | |
Khalid et al. | Employing real-time object detection for traffic monitoring | |
Song et al. | Method of Vehicle Behavior Analysis for Real-Time Video Streaming Based on Mobilenet-YOLOV4 and ERFNET | |
Khaparde et al. | Survey on Automatic Number Plate Recognition System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A vehicle lane change illegal capture system and method based on edge devices without turning on lights Granted publication date: 20221104 Pledgee: Bank of China Limited by Share Ltd. Nanjing City South Branch Pledgor: Nanjing qianchuang Electronic Technology Co.,Ltd. Registration number: Y2024980028272 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |