CN115082903B - 非机动车违停识别方法、装置、计算机设备及存储介质 - Google Patents

非机动车违停识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115082903B
CN115082903B CN202211016466.1A CN202211016466A CN115082903B CN 115082903 B CN115082903 B CN 115082903B CN 202211016466 A CN202211016466 A CN 202211016466A CN 115082903 B CN115082903 B CN 115082903B
Authority
CN
China
Prior art keywords
target
image
detection
processing
illegal parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211016466.1A
Other languages
English (en)
Other versions
CN115082903A (zh
Inventor
韦程琳
姚钊盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vanrui Intelligent Technology Co ltd
Shenzhen Wanwuyun Technology Co ltd
Original Assignee
Shenzhen Vanrui Intelligent Technology Co ltd
Shenzhen Wanwuyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vanrui Intelligent Technology Co ltd, Shenzhen Wanwuyun Technology Co ltd filed Critical Shenzhen Vanrui Intelligent Technology Co ltd
Priority to CN202211016466.1A priority Critical patent/CN115082903B/zh
Publication of CN115082903A publication Critical patent/CN115082903A/zh
Application granted granted Critical
Publication of CN115082903B publication Critical patent/CN115082903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了非机动车违停识别方法、装置、计算机设备及存储介质。该方法包括：利用采集的样本图像集对构建的一阶全卷积目标检测网络进行模型训练并得到违停检测模型；将巡逻车采集的待测图像输入违停检测模型进行多目标检测，输出待测图像中多目标的位置、类别和对应的置信度，并根据多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；对队列中检测结果相同的相邻目标图像进行去重处理；根据去重处理后队列中的目标图像进行违停告警处理。本发明克服了固定摄像头监测区域的有限性，具有点对点地处理因非机动车违停造成的拥堵、街面混乱的优点。

Description

非机动车违停识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种非机动车违停识别方法、装置、计算机设备及存储介质。
背景技术
传统城市管理以人工巡查为主，缺乏大数据分析及新一代信息技术应用来及时发现城市管理问题，且极大依赖于基层城管队员和市容巡查员的专业水平，问题凸显：人力成本高、工作量大、效率低下。
近年来，各地积极布局实践智慧社区建设，智慧社区、智慧城市时代逐步引入物联网、大数据、人工智能、云计算等新技术来加快城市管理的数字化建设，为现代城市治理赋能。
非机动车违停属于城市治理中的常见的现象，常造成交通拥堵、街面混乱问题。现有技术针对该现象采用固定摄像头在指定监控区域进行识别，虽然能一定程度上治理该现象，但是城市内需监控的区域较多导致建设成本和维护成本过高，并且固定摄像头的监测区域的局限性较大，缺乏灵活应用。
发明内容
本发明的目的是提供一种非机动车违停识别方法、装置、计算机设备及存储介质，旨在解决现有技术采用固定摄像在监控区域内对非机动车违停识别的方式比较局限，导致非机动车违停的治理存在成本高、效率低的问题。
第一方面，本发明实施例提供一种基于巡逻车的非机动车违停识别方法，包括：
获取巡逻车采集的样本图像集；
构建一阶全卷积目标检测网络，利用所述样本图像集进行模型训练并得到违停检测模型；
获取巡逻车采集的待测图像；
将每一所述待测图像输入所述违停检测模型进行多目标检测，输出所述待测图像中多目标的位置、类别和对应的置信度，并根据所述多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；
对所述队列中检测结果相同的相邻目标图像进行去重处理；
根据去重处理后所述队列中的目标图像进行违停告警处理。
第二方面，本发明实施例提供一种基于巡逻车的非机动车违停识别装置，包括：
第一获取单元，用于获取巡逻车采集的样本图像集；
模型训练单元，用于构建一阶全卷积目标检测网络，利用所述样本图像集进行模型训练并得到违停检测模型；
第二获取单元，用于获取巡逻车采集的待测图像；
目标检测单元，用于将每一所述待测图像输入所述违停检测模型进行多目标检测，输出所述待测图像中多目标的位置、类别和对应的置信度，并根据所述多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；
去重单元，用于对所述队列中检测结果相同的相邻目标图像进行去重处理；
告警单元，用于根据去重处理后所述队列中的目标图像进行违停告警处理。
第三方面，本发明实施例提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于巡逻车的非机动车违停识别方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于巡逻车的非机动车违停识别方法。
本发明实施例公开了一种非机动车违停识别方法、装置、计算机设备及存储介质。该方法包括：利用采集的样本图像集对构建的一阶全卷积目标检测网络进行模型训练并得到违停检测模型；将巡逻车采集的待测图像输入违停检测模型进行多目标检测，输出待测图像中多目标的位置、类别和对应的置信度，并根据多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；对队列中检测结果相同的相邻目标图像进行去重处理；根据去重处理后队列中的目标图像进行违停告警处理。本发明实施例克服了固定摄像头监测区域的有限性，具有点对点地处理因非机动车违停造成的拥堵、街面混乱的优点。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于巡逻车的非机动车违停识别方法的流程示意图；
图2为本发明实施例提供的基于巡逻车的非机动车违停识别方法的子流程示意图；
图3为本发明实施例提供的基于巡逻车的非机动车违停识别方法的又一子流程示意图；
图4为本发明实施例提供的基于巡逻车的非机动车违停识别方法的又一子流程示意图；
图5为本发明实施例提供的基于巡逻车的非机动车违停识别方法的又一子流程示意图；
图6为本发明实施例提供的基于巡逻车的非机动车违停识别方法的又一子流程示意图；
图7为本发明实施例提供的违停识别模型的网络结构图；
图8为本发明实施例提供的基于巡逻车的非机动车违停识别的系统原理图；
图9为本发明实施例提供的基于巡逻车的非机动车违停识别装置的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的基于巡逻车的非机动车违停识别方法的流程示意图；
如图1所示，该方法包括步骤S101~S106。
S101、获取巡逻车采集的样本图像集；
该步骤中，从巡逻车的摄像模块中进行抽帧，根据非机动车违停的规则对图像进行数据清洗和标识，得到图像大小为1980*1080分辨率，图像格式为jpg的样本图像集。
S102、构建一阶全卷积目标检测网络，利用样本图像集进行模型训练并得到违停检测模型；
该步骤中，将样本图像集按7：2：1比例随机划分出训练集、验证集和测试集；其中训练集用于训练模型，验证集用于验证训练模型的识别效果，测试集用于测试模型的泛化能力；训练时采用SGD优化器优化训练输出值，优选的，初始学习率设为0.01，批处理大小设为16，通过90000次迭代后得到违停检测模型；并将训练得到的违停检测模型部署至巡逻车的设备端，以便通过巡逻车进行巡检时实时进行非机动车的违停检测。
S103、获取巡逻车采集的待测图像；
S104、将每一待测图像输入违停检测模型进行多目标检测，输出待测图像中多目标的位置、类别和对应的置信度，并根据多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；
步骤S103-S104中，通过违停检测模型对待测图像中的多个目标（即图像中各种类型的车辆）进行检测，得到每一目标的位置信息、类别信息和置信度大小并判断该目标是否为非机动车，判断方式为：对类别信息为非机动车类型的目标进行置信度判断，当置信度大小是超过设定阈值，则认为该目标为非机动车，若不超过则认为是误判；而后将确认为非机动车的目标对应的图像作为目标图像并保存至队列。
S105、对队列中检测结果相同的相邻目标图像进行去重处理；
该步骤中，巡逻车在临时停车或者行车较慢时，摄像模块拍到的画面会有重复，违停检测模型的推理结果将会有大量的重复，故使用多帧去重的方法减少重复的目标图像。
S106、根据去重处理后队列中的目标图像进行违停告警处理。
该步骤中，通过审核队列中的目标图像是否正确，若正确，则确认为是真实违停，并使用数据分析方法得到违规场景的经纬度，锁定违规地点，发送通知至该点附近的处理部门派出人员对需要转移处理的非机动车进行转移和管理。若不正确，对不正确的目标图像进行标记处理。
进一步的，在数据分析阶段，提取收集目标图像的时间、经纬度信息；将提取的信息知识整合，绘制气泡地形图，可视化出模型误识别的类型、地点及时间，根据错误信息，制定与优化非机动车违停的检测策略。
本实施例提出的违停识别方法，有效解决了固定摄像头在指定监控区域进行识别非机动车违停存在的机动灵活性低、摄像头空间布局规划难度高、建设成本高、维护成本高等问题；实现了辅助巡查员对非机动车违规现象的整治，有利于点对点地处理因非机动车违停造成的拥堵、街面混乱等问题，加快了处理效率，便于营造安全畅通的道路交通秩序和维护市容市貌整洁。另外，在巡逻车智能巡检中，易出现大量重复告警信息，针对此问题采用多帧去重策略，有效减少重复告警信息，避免存储装置堆积大量重复数据。
结合图7所示的改进后的FCOS模型网络结构图（即违停检测模型），对步骤102的模型训练过程进行具体介绍：
在一实施例中，如图2所示，步骤102包括：
S201、利用一阶全卷积目标检测网络中的主干网络模块对每一样本图像进行特征提取并输出特征图Ci,i∈{3,4,5}；
该步骤中，考虑模型部署至巡逻车设备端，主干网络模块可以选用由ESBlock网络组成的增强型ShuffleNet神经网络（ESNet）。
S202、利用一阶全卷积目标检测网络中的特征金字塔模块对特征图Ci,i∈{3,4,5}进行多阶段的特征处理，得到特征图Pi,i∈{3,4,5,6,7}；
该步骤中，通过特征金字塔模块（Neck）进行多阶段的特征处理，并将得到的特征图Pi传递至Head模块。
S203、利用一阶全卷积目标检测网络中的Head模块对特征图Pi,i∈{3,4,5,6,7}进行分类处理、回归处理和中心度计算处理，并分别输出目标类别、特征点距离物体真实框左上右下边界距离和目标中心度。
该步骤中，Head模块有5个，5个Head模块共享权重，每个Head模块共有分类、回归和中心度三个输出分支，用于输出目标类别、目标的特征点距离物体真实框左上右下四个边界的距离和中心度。
下面具体介绍主干网络模块：
如图3所示，步骤201包括：
S301、利用主干网络模块中的Ghost模块对样本图像先进行逐点卷积计算，再进行深度卷积计算后进行特征图拼接，得到原始特征图；
S302、利用主干网络模块中的SE模块对原始特征图进行特征提取并输出特征图Ci,i∈{3,4,5}。
步骤S301-S302中，该步骤中，先对样本图像进行3×3卷积层卷积处理，再进行3×3最大池化处理，再通过ESBlock特征提取网络对最大池化处理后的特征图进行特征提取，得到特征图C3，再通过ESBlock特征提取网络对特征图C3进行特征提取，得到特征图C4，最后再通过ESBlock特征提取网络对特征图C4进行特征提取，得到特征图C5。ESBlock特征提取网络的处理过程具体为：以特征图C3为例，将最大池化处理后的特征图输入ESBlock特征提取网络中的输入层进行channel split处理，然后通过Ghost block模块进行卷积和特征融合处理，然后通过SE block模块进行数据压缩，然后通过1×1 pw Conv2d卷积层进行卷积处理后再与channel split处理后的特征图进行特征融合，最后通过channel shuffle模块进行特征重组后输出特征图C3。特征图C4和C5的获取方式与特征图C3同理。
本实施例采用的主干网络模块能够提升模型的学习能力、节约计算量和缩减参数量，具体原理描述如下：
主干网络模块包含Ghost模块和SE模块，Ghost模块首先对样本图像先进行逐点卷 积计算，再进行深度卷积计算，两种不同卷积操作得到的特征图进行拼接，能够用更少的参 数生成更多特征提升模型的学习能力。使用Ghost模块可以节约s倍计算量，缩减s倍的参数 量。给定输入样本图像
Figure 32055DEST_PATH_IMAGE001
，其中c是输入通道数，h和w是输入样本图像的高度和 宽度，分别用于生成n个特征图的任意卷积层的运算可表示为：
Y=X*f+b；
其中，*表示卷积运算，b表示偏差项，
Figure 214775DEST_PATH_IMAGE002
表示具有n个通道的输出特 征图，
Figure 197774DEST_PATH_IMAGE003
表示这一层的卷积核。
Figure 858563DEST_PATH_IMAGE004
和
Figure 499366DEST_PATH_IMAGE005
分别表示输出特征图的高度和宽 度，k×k是
Figure 587408DEST_PATH_IMAGE006
卷积核大小；计算量FLOPs数量为
Figure 57704DEST_PATH_IMAGE007
，FLOPs表示每秒 浮点运算次数，理解为计算速度。根据上述公式，优化参数数量(f,b中的参数)由输入和输 出特征图的大小确定；根据分析，输出特征图是少数原始特征图通过普通转换的“幻影” （Ghost）；这些原始特征图由普通的卷积核生成且通常具有较小的尺寸，一次卷积生成m个 原始特征图
Figure 522183DEST_PATH_IMAGE008
，Y'=X*f '；
其中，
Figure 518958DEST_PATH_IMAGE009
为使用的卷积核，m≤n，为了简化这里省略偏差项b； 超参数与普通卷积相同，以保证输出特征图大小（h',w'）相等；为了进一步获取所需的n个 特征图，对Y'中的每个原始特征应用普通的线性运算，以生成s个幻影特征图：
Figure 777901DEST_PATH_IMAGE010
；
其中，y'i是Y'中第i个原始特征图，
Figure 735493DEST_PATH_IMAGE011
是第j个线性运算，
Figure 738084DEST_PATH_IMAGE011
用于生成第i个幻 影特征图yij，y'i可以具有一个或多个幻影特征图
Figure 589365DEST_PATH_IMAGE012
。
Figure 284788DEST_PATH_IMAGE013
表示用于保留原始特征 图的恒等映射，通过普通的线性运算可以获得n=m·s个特征图Y=[y11，y12，...，yms]作为 Ghost模块的输出数据，线性运算
Figure 729676DEST_PATH_IMAGE014
在每个通道上运行的计算量比普通卷积更少，Ghost模 块可以有几种不同的线性运算（如3×3和5×5线性内核）。具体来说，Ghost模块具有一个恒 等映射和
Figure 598275DEST_PATH_IMAGE015
个线性运算，并且每个线性运算的平均内核大小为 d×d，理想情况下，
Figure 507325DEST_PATH_IMAGE016
个线性运算可以具有不同的形状和参数，为了高效实现 Ghost模块采用相同大小的线性运算，使用Ghost模块升级普通卷积的理论加速比为：
Figure 45754DEST_PATH_IMAGE017
；
其中，
Figure 40255DEST_PATH_IMAGE018
表示计算加速比，n是特征图数量，c是通道数，k×k表示卷积核大小，h'和 w'分别表示输出特征图的高度和宽度，d·d的幅度与k·k和
Figure 948430DEST_PATH_IMAGE019
相似，同样，参数压缩 比可以计算为：
Figure 711987DEST_PATH_IMAGE020
；
基于上述介绍的Ghost模块，Ghost模块具有两个超参数s和d，在本模型中s固定为2，d固定为3。
SE模块的核心思想是通过挤压操作，将非机动车场景图像的空间信息压缩为一个标量，算出不同空间信息的权值，然后与特征图逐通道乘法，能够提升特征表达能力。每个输入对象通过ESBlock特征提取网络生成三层特征图，即特征图Ci,i∈{3,4,5}。
下面具体介绍本发明中的特征金字塔模块：
在一实施例中，如图4所示，步骤202包括：
S401、对特征图Ci,i∈{3,4,5}进行卷积处理、上采样处理、特征图层堆叠处理，再进行卷积处理后得到特征图Pi,i∈{3,4,5}；
S402、对特征图P5进行卷积处理后得到特征图P6，再对特征图P6进行激活处理和卷积处理后得到特征图P7。
步骤S401-S402通过特征金字塔模块对特征图Ci,i∈{3,4,5}进行多个阶段的特征处理并得到特征图Pi,i∈{3,4,5,6,7}的过程，得到的特征图Pi,i∈{3,4,5,6,7}用于多尺度预测，具体过程结合图7中的特征金字塔模块部分和以下描述：
特征图P5的获取步骤为：先通过卷积核为1步长为1的卷积层对特征图C5进行卷积处理，再通过卷积核为3步长为1的卷积层进行卷积处理，即可得到大小为20×20×256的特征图P5。
特征图P4的获取步骤为：对特征图C5进行卷积处理（卷积核为1步长为1），再进行2倍上采样处理；对特征图C4进行卷积处理（卷积核为1步长为1），再与2倍上采样处理后的特征图C5进行堆叠，再对堆叠后的特征图进行卷积处理（卷积核为3步长为1），得到大小为40×40×256的特征图P4。特征图P3的获取方式与特征图P4同理，得到大小为80×80×256的特征图P3。
特征图P6的获取步骤为：对特征图P5进行卷积处理（卷积核为3步长为2填充数为1），得到大小为10×10×256的特征图P6。
特征图P7的获取步骤为：通过H-swish激活函数对特征图P6进行激活操作，然后对激活后的特征图P6进行卷积处理（卷积核为3步长为2填充数为1），得到大小为5×5×256的特征图P7。
还需介绍的是，在P6输出到P7以及下述Head模块的部分，均使用到H-Swish激活函数，H-Swish激活函数数值稳定性好，且ReLU6优化可以在更多软件和硬件框架中实现，它的实现为分段函数，可减少内存访问次数，从而显著地降低延迟时间，即计算速度快，对嵌入式平台有限的资源友好，综上将传统的FCOS模型网络结构后部分（P6输出到P7和Head模块部分）的修正线性单元（ReLU）替换为H-Swish，给定元素x，其公式如下：
Figure 686896DEST_PATH_IMAGE021
；
ReLU6=min(6,max(0,x))，ReLU6是ReLU的变体，ReLU的公式为max(0,x)，被定义是元素x与0的最大值，它仅保留正元素并抛弃所有负元素。ReLU6是ReLU与6的最小值，这是为了限制输出的激活范围，以防激活值过大，带来精度损失。
下面具体介绍Head模块，
如图3所示，步骤203中，将特征图P3，P4，P5，P6，P7分别输入5个Head模块，每一Head模块共有分类、回归和中心度三个输出分支，用于输出目标类别、目标的特征点距离物体真实框左上右下四个边界的距离和目标中心度。
以一Head模块为例进行介绍，在分类分支中：特征图Pi输入Head模块后，依次进行卷积处理（卷积核为3步长为1填充数为1）、GN网络的图嵌入处理和H-swish激活函数的激活处理；再对激活处理后的特征图Pi进行卷积处理（卷积核为3步长为1填充数为1通道为c），并输出特征图Pi中的目标类别。
在回归分支中：特征图Pi输入Head模块后，依次进行卷积处理（卷积核为3步长为1填充数为1）、组归一化处理和H-swish激活函数的激活处理；再对激活处理后的特征图Pi进行卷积处理（卷积核为3步长为1填充数为1通道为c4），并输出特征图Pi中目标的特征点距离物体真实框左上右下四个边界的距离。
在中心度分支中：特征图Pi输入Head模块后，依次进行卷积处理（卷积核为3步长为1填充数为1）、组归一化处理和H-swish激活函数的激活处理；再对激活处理后的特征图Pi进行卷积处理（卷积核为3步长为1填充数为1通道为c1），并输出特征图Pi中的目标中心度。
下面具体介绍本发明的违停检测模型的损失函数：
损失函数由分类损失Lcls、定位损失Lres、中心度损失Lctrness三部分共同组成，总损失函数公式如下：
Figure 903114DEST_PATH_IMAGE022
；
其中，其中Px,y表示在特征图(x,y)点处预测的每个类别的类别分值，
Figure 113515DEST_PATH_IMAGE023
表示在 特征图(x,y)点对应的真实类别标签，
Figure 731579DEST_PATH_IMAGE024
表示当特征图(x,y)点被匹配为正样本时 为1，否则为0，tx,y 表示在特征图(x,y)点处预测的目标边界框信息，
Figure 877389DEST_PATH_IMAGE025
表示在特征图 (x,y)点对应的真实目标边界框信息，sx,y 表示在特征图(x,y)点处预测的中心度，
Figure 580903DEST_PATH_IMAGE026
表示在特征图(x,y)点处真实的中心度。
Lcls 采用BCE Loss和Focal Loss损失函数，Focal Loss具有解决正负样本不均衡和难易样本不均衡的优点。
Lctrness 采用BCE Loss损失函数；传统的FCOS模型使用的定位损失函数为GIoULoss损失函数，GIoU Loss损失函数在预测框和真实框属于包含关系时，会退化成IoU，无法区分其相对位置关系，即GIoU性能不稳定，因此本发明的模型引入CIoU Loss损失函数作为定位损失函数Lres 。CIoU Loss损失函数在IoU损失函数、GIoU损失函数和DIoU损失函数基础上，考虑预测框和真实框的重叠面积，解决边界框不重合时的问题使得精度有所提高；考虑边界框中心点距离的信息、考虑边界框宽高比的尺度信息，通过迭代可以将预测框不断向真实框移动，尽可能的保证预测框和真实框的宽高的纵横比更为接近，加快预测框的速度。 所以CIoU有益于非机动车违停模型的构建，其公式如下所示：
Figure 329416DEST_PATH_IMAGE027
；
Figure 864303DEST_PATH_IMAGE028
；
其中，
Figure 243331DEST_PATH_IMAGE029
表示真实框和预测边界框的预测边界质心的欧氏距离，
Figure 371824DEST_PATH_IMAGE030
和
Figure 861712DEST_PATH_IMAGE031
分别表示预测边界框和真实框的质点，c表示真实框和预测边界框并 集的对角线长度，α表示权衡的指标，V表示评价真实框和预测边界框长宽比一致性的指标。 IoU表示交并比，是真实框和预测框交集和并集的比值，A和B表示真实框的面积和预测框的 面积。
基于上述介绍，本发明的违停识别模型基于逐像素回归的检测方法，采用了全卷积网络的思想，对特征图上每个特征点做回归操作，预测四个值（l,r,t,d）代表特征点到真实框左右上下边界的距离，另外使用特征金字塔大幅度减弱重叠处的像素回归的边界框的不明确性，提出了一种新的“中心度”（center-ness）分支来降低低质量检测框的权重，提升整体表现。
基于上述介绍，本发明为了让违停识别模型在巡逻车的设备端更具有效率，做出的改进有：在基础的FCOS搭建新的主干网络ESNet，其包含Ghost模块和SE模块、Ghost模块能够在参数小的情况下有效提高识别效果；针对FCOS采用的GIoU损失函数性能不稳定，易退化为IoU法区分其相对位置关系，采用CIoU作为损失函数，加快预测框回归速度和提高识别精度；在模型网络的后半部分结构引入H-swish激活函数，该激活函数具有数值稳定性好、计算速度快的优点。
下面结合图8所示的违停识别系统原理图，介绍应用本发明的违停识别模型的实际应用过程：
在一实施例中，如图5所示，步骤103包括：
S501、利用巡逻车的摄像模块获取视频流；
S502、对视频流进行解码并获取视频原图；
S503、对视频原图进行格式转换并得到待测图像。
本实施例中，首先，通过巡逻车在街道巡检时会自动捕获路上的实时画面，在巡逻车的设备端通过rtsp拉流来获取实时的视频流；然后，采用转换库libyuv对rtap视频流进行解码操作，获取到yuv格式的视频原图；最后，对yuv格式的视频原图进行格式转换得到rgb格式的待测图像，以用于后续的推理分析。
在一实施例中，步骤104包括：
将每一待测图像输入违停检测模型进行多目标检测，输出对应待测图像中多个目标的多个推理数据，其中每一推理数据表示为[x1,y1,x2,y2,conf,index]，其中，(x1,y1)表示检测框的左上角坐标，(x2,y2)表示检测框的左上角坐标，conf表示检测目标的置信度，index表示检测目标的类别索引，若index为0，则表示该检测目标为类别索引中的非机动车类别；将含有非机动车类别的目标图像中保存至队列。
本实施例中，通过违停检测模型对每一待测图像中的多个目标进行推理并得到多个推理数据后，根据推理数据即可快速分析出图像中是否存在非机动车违停的现象，具有良好的精度和实时性的优点。
在一实施例中，如图6所示，步骤105包括：
S601、获取队列的相邻目标图像的检测结果；
S602、判断相邻目标图像的检测结果中的目标数量是否一致，若一致则进入步骤S603，若不一致则跳转至步骤S604；
S603、判断相邻目标图像中所有检测目标的长宽比的比值是否在预设范围，若在预设范围则跳转至步骤S605，若不在预设范围则跳转至步骤S606；
该步骤中，预设范围为：[1-阈值,1+阈值]，阈值优选为0.2。
S604、分析结束并进入下一相邻目标图像的去重判断；
S605、判定相邻目标图像为重复帧，并将后加入队列的目标图像从队列中删除；
该步骤中，将保留的目标图像推送到告警平台以便进行告警处理。
S606、分析结束并进入下一相邻目标图像的去重判断。
本实施例中，根据S601-S606的去重步骤即可有效减少重复告警信息；去重的方法还可以是在所有的推理结果中，有1个以上检测目标均存在于相邻目标图像，则可以判定当前相邻目标图像也重复的。
本实施例基于上述介绍的去重方法，针对巡检过程中易出现大量重复告警信息进行去重，有效减少重复告警信息，避免存储装置堆积大量重复数。
本发明实施例还提供一种基于巡逻车的非机动车违停识别装置，该基于巡逻车的非机动车违停识别装置用于执行前述基于巡逻车的非机动车违停识别方法的任一实施例。具体地，请参阅图9，图9是本发明实施例提供的基于巡逻车的非机动车违停识别装置的示意性框图。
如图9所示，基于巡逻车的非机动车违停识别装置900，包括：采集单元901、模型训练单元902、获取单元903、目标检测单元904、去重单元905以及告警单元906。
第一获取单元901，用于获取巡逻车采集的样本图像集；
模型训练单元902，用于构建一阶全卷积目标检测网络，利用样本图像集进行模型训练并得到违停检测模型；
第二获取单元903，用于获取巡逻车采集的待测图像；
目标检测单元904，用于将每一待测图像输入违停检测模型进行多目标检测，输出待测图像中多目标的位置、类别和对应的置信度，并根据多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；
去重单元905，用于对队列中检测结果相同的相邻目标图像进行去重处理；
告警单元906，用于根据去重处理后队列中的目标图像进行违停告警处理。
该装置有效解决了固定摄像头在指定监控区域进行识别非机动车违停存在的机动灵活性低、摄像头空间布局规划难度高、建设成本高、维护成本高等问题；实现了辅助巡查员对非机动车违规现象的整治，有利于点对点地处理因非机动车违停造成的拥堵、街面混乱等问题，加快了处理效率，便于营造安全畅通的道路交通秩序和维护市容市貌整洁。另外，在巡逻车智能巡检中，易出现大量重复告警信息，针对此问题采用多帧去重策略，有效减少重复告警信息，避免存储装置堆积大量重复数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述基于巡逻车的非机动车违停识别装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备1000是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备1000包括通过系统总线1001连接的处理器1002、存储器和网络接口1005，其中，存储器可以包括非易失性存储介质1003和内存储器1004。
该非易失性存储介质1003可存储操作系统10031和计算机程序10032。该计算机程序10032被执行时，可使得处理器1002执行基于巡逻车的非机动车违停识别方法。
该处理器1002用于提供计算和控制能力，支撑整个计算机设备1000的运行。
该内存储器1004为非易失性存储介质1003中的计算机程序10032的运行提供环境，该计算机程序10032被处理器1002执行时，可使得处理器1002执行基于巡逻车的非机动车违停识别方法。
该网络接口1005用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备1000的限定，具体的计算机设备1000可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器1002可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器1002还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的基于巡逻车的非机动车违停识别方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于巡逻车的非机动车违停识别方法，其特征在于，包括：
获取巡逻车采集的样本图像集；
构建一阶全卷积目标检测网络，利用所述样本图像集进行模型训练并得到违停检测模型，其中，所述一阶全卷积目标检测网络为改进后的FCOS模型网络；
获取巡逻车采集的待测图像；
将每一所述待测图像输入所述违停检测模型进行多目标检测，输出所述待测图像中多目标的位置、类别和对应的置信度，并根据所述多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；
对所述队列中检测结果相同的相邻目标图像进行去重处理；
根据去重处理后所述队列中的目标图像进行违停告警处理；
其中，所述构建一阶全卷积目标检测网络，利用所述样本图像集进行模型训练并得到违停检测模型，包括：利用所述一阶全卷积目标检测网络中的主干网络模块对每一样本图像进行特征提取并输出特征图Ci,i∈{3,4,5}，其中所述主干网络模块为ESBlock网络组成的增强型ShuffleNet神经网络（ESNet）；利用所述一阶全卷积目标检测网络中的特征金字塔模块对所述特征图Ci,i∈{3,4,5}进行多阶段的特征处理，得到特征图Pi,i∈{3,4,5,6,7}，其中所述特征金字塔模块为Neck网络；利用所述一阶全卷积目标检测网络中的Head模块对所述特征图Pi,i∈{3,4,5,6,7}进行分类处理、回归处理和中心度计算处理，并分别输出目标类别、特征点距离物体真实框左上右下边界距离和目标中心度。
2.根据权利要求1所述的基于巡逻车的非机动车违停识别方法，其特征在于，所述利用所述一阶全卷积目标检测网络中的主干网络模块对每一样本图像进行特征提取并输出特征图Ci,i∈{3,4,5}，包括：
利用所述主干网络模块中的Ghost模块对所述样本图像先进行逐点卷积计算，再进行深度卷积计算后进行特征图拼接，得到原始特征图；
利用所述主干网络模块中的SE模块对所述原始特征图进行特征提取并输出特征图Ci,i∈{3,4,5}。
3.根据权利要求1所述的基于巡逻车的非机动车违停识别方法，其特征在于，所述利用所述一阶全卷积目标检测网络中的特征金字塔模块对所述特征图Ci,i∈{3,4,5}进行多阶段的特征处理，得到特征图Pi,i∈{3,4,5,6,7}，包括：
对所述特征图Ci,i∈{3,4,5}进行卷积处理、上采样处理、特征图层堆叠处理，再进行卷积处理后得到特征图Pi,i∈{3,4,5}；
对所述特征图P5进行卷积处理后得到特征图P6，再对所述特征图P6进行激活处理和卷积处理后得到特征图P7。
4.根据权利要求1所述的基于巡逻车的非机动车违停识别方法，其特征在于，所述获取巡逻车采集的待测图像，包括：
利用所述巡逻车的摄像模块获取视频流；
对所述视频流进行解码并获取视频原图；
对所述视频原图进行格式转换并得到待测图像。
5.根据权利要求1所述的基于巡逻车的非机动车违停识别方法，其特征在于，所述将每一所述待测图像输入所述违停检测模型进行多目标检测，输出所述待测图像中多目标的位置、类别和对应的置信度，并根据所述多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列，包括：
将每一所述待测图像输入所述违停检测模型进行多目标检测，输出对应所述待测图像中多个目标的多个推理数据，其中每一所述推理数据表示为[x1,y1,x2,y2,conf,index]，其中，(x1,y1)表示检测框的左上角坐标，(x2,y2)表示检测框的左上角坐标，conf表示检测目标的置信度，index表示检测目标的类别索引，若index为0，则表示该检测目标为所述类别索引中的非机动车类别；
将含有非机动车类别的目标图像中保存至队列。
6.根据权利要求1所述的基于巡逻车的非机动车违停识别方法，其特征在于，所述对所述队列中检测结果相同的相邻目标图像进行去重处理，包括：
获取所述队列的相邻目标图像的检测结果；
判断所述相邻目标图像的检测结果中的目标数量是否一致；
若所述目标数量一致则判断相邻目标图像中所有检测目标的长宽比的比值是否在预设范围；
若所述长宽比的比值在预设范围，则判定所述相邻目标图像为重复帧，并将后加入队列的目标图像从所述队列中删除。
7.一种基于巡逻车的非机动车违停识别装置，其特征在于，包括：
第一获取单元，用于获取巡逻车采集的样本图像集；
模型训练单元，用于构建一阶全卷积目标检测网络，利用所述样本图像集进行模型训练并得到违停检测模型，其中，所述一阶全卷积目标检测网络为改进后的FCOS模型网络；
第二获取单元，用于获取巡逻车采集的待测图像；
目标检测单元，用于将每一所述待测图像输入所述违停检测模型进行多目标检测，输出所述待测图像中多目标的位置、类别和对应的置信度，并根据所述多目标的位置、类别和对应的置信度筛选出具有违停目标的图像作为目标图像，并将目标图像保存至队列；
去重单元，用于对所述队列中检测结果相同的相邻目标图像进行去重处理；
告警单元，用于根据去重处理后所述队列中的目标图像进行违停告警处理；
其中，所述模型训练单元包括：利用所述一阶全卷积目标检测网络中的主干网络模块对每一样本图像进行特征提取并输出特征图Ci,i∈{3,4,5}，其中所述主干网络模块为ESBlock网络组成的增强型ShuffleNet神经网络（ESNet）；利用所述一阶全卷积目标检测网络中的特征金字塔模块对所述特征图Ci,i∈{3,4,5}进行多阶段的特征处理，得到特征图Pi,i∈{3,4,5,6,7}，其中所述特征金字塔模块为Neck网络；利用所述一阶全卷积目标检测网络中的Head模块对所述特征图Pi,i∈{3,4,5,6,7}进行分类处理、回归处理和中心度计算处理，并分别输出目标类别、特征点距离物体真实框左上右下边界距离和目标中心度。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于巡逻车的非机动车违停识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于巡逻车的非机动车违停识别方法。
CN202211016466.1A 2022-08-24 2022-08-24 非机动车违停识别方法、装置、计算机设备及存储介质 Active CN115082903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211016466.1A CN115082903B (zh) 2022-08-24 2022-08-24 非机动车违停识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211016466.1A CN115082903B (zh) 2022-08-24 2022-08-24 非机动车违停识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN115082903A CN115082903A (zh) 2022-09-20
CN115082903B true CN115082903B (zh) 2022-11-11

Family

ID=83245082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211016466.1A Active CN115082903B (zh) 2022-08-24 2022-08-24 非机动车违停识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115082903B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376554A (zh) * 2014-10-16 2015-02-25 中海网络科技股份有限公司 一种基于图像纹理的违章停车检测方法
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法
CN109993789A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种共享单车的违停判定方法、装置及相机
CN111368687A (zh) * 2020-02-28 2020-07-03 成都市微泊科技有限公司 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN111597902A (zh) * 2020-04-16 2020-08-28 浙江工业大学 机动车违停监测方法
CN112766069A (zh) * 2020-12-31 2021-05-07 广东电网有限责任公司 基于深度学习的车辆违停检测方法、装置及电子设备
CN113011365A (zh) * 2021-03-31 2021-06-22 中国科学院光电技术研究所 一种结合轻量化网络的目标检测方法
CN113221791A (zh) * 2021-05-21 2021-08-06 中国电信股份有限公司 车辆违停检测方法、装置、电子设备和存储介质
CN113435266A (zh) * 2021-06-09 2021-09-24 东莞理工学院 基于极值点特征增强的fcos智能目标检测方法
CN113593250A (zh) * 2021-07-12 2021-11-02 浙江工贸职业技术学院 一种基于视觉识别的违章停车检测系统
CN113591679A (zh) * 2021-07-28 2021-11-02 浙江大华技术股份有限公司 一种违停车辆检测方法及装置
CN113822144A (zh) * 2021-07-30 2021-12-21 腾讯科技（深圳）有限公司 一种目标检测方法、装置、计算机设备和存储介质
CN113989627A (zh) * 2021-12-29 2022-01-28 深圳市万物云科技有限公司 一种基于异步联邦学习的城市防控图像检测方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2864653C (en) * 2013-09-22 2021-12-14 Comtrol Corporation Stop violation detection system and method
US20160144788A1 (en) * 2014-11-26 2016-05-26 Southern Electronics Supply, Inc. Apparatuses, Systems, and Methods for Capturing and Reporting Vehicle Information
CN106408554B (zh) * 2015-07-31 2019-07-09 富士通株式会社 遗留物检测装置、方法和系统
CN106384532A (zh) * 2015-07-31 2017-02-08 富士通株式会社 视频数据分析方法、装置以及停车位监控系统
CN106571039A (zh) * 2016-08-22 2017-04-19 中海网络科技股份有限公司 一种高速公路违章行为自动抓拍系统
CN109902676B (zh) * 2019-01-12 2021-04-09 浙江工业大学 一种基于动态背景的违停检测算法
US11361552B2 (en) * 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
CN111476306B (zh) * 2020-04-10 2023-07-28 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN114648748A (zh) * 2022-05-23 2022-06-21 科大天工智能装备技术（天津）有限公司 一种基于深度学习的机动车违停智能识别方法及系统
CN114898297A (zh) * 2022-05-30 2022-08-12 浙江嘉兴数字城市实验室有限公司 基于目标检测和目标跟踪的非机动车违法行为判定的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376554A (zh) * 2014-10-16 2015-02-25 中海网络科技股份有限公司 一种基于图像纹理的违章停车检测方法
CN109993789A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种共享单车的违停判定方法、装置及相机
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法
CN111368687A (zh) * 2020-02-28 2020-07-03 成都市微泊科技有限公司 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN111597902A (zh) * 2020-04-16 2020-08-28 浙江工业大学 机动车违停监测方法
CN112766069A (zh) * 2020-12-31 2021-05-07 广东电网有限责任公司 基于深度学习的车辆违停检测方法、装置及电子设备
CN113011365A (zh) * 2021-03-31 2021-06-22 中国科学院光电技术研究所 一种结合轻量化网络的目标检测方法
CN113221791A (zh) * 2021-05-21 2021-08-06 中国电信股份有限公司 车辆违停检测方法、装置、电子设备和存储介质
CN113435266A (zh) * 2021-06-09 2021-09-24 东莞理工学院 基于极值点特征增强的fcos智能目标检测方法
CN113593250A (zh) * 2021-07-12 2021-11-02 浙江工贸职业技术学院 一种基于视觉识别的违章停车检测系统
CN113591679A (zh) * 2021-07-28 2021-11-02 浙江大华技术股份有限公司 一种违停车辆检测方法及装置
CN113822144A (zh) * 2021-07-30 2021-12-21 腾讯科技（深圳）有限公司 一种目标检测方法、装置、计算机设备和存储介质
CN113989627A (zh) * 2021-12-29 2022-01-28 深圳市万物云科技有限公司 一种基于异步联邦学习的城市防控图像检测方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FCOS:Fully Convolutional One-Stage Object Detection;Zhi Tian 等;《arXiv:1904.01355》;20190820;1-13 *
Real-Time Illegal Parking Detection System Based on Deep Learning;Xuemei Xie 等;《arXiv:1710.0254》;20171005;1-5 *
基于深度学习的城管道路监控图像目标检测算法研究;李坤坤;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20220215;C034-583 *
基于深度学习的高速服务区车位监管系统设计与实现;卢熠;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20210215;C034-1128 *
面向视频数据的深度学习目标识别算法综述;王振华 等;《计算机工程》;20211120;1-15 *

Also Published As

Publication number Publication date
CN115082903A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
Chen et al. Pointlanenet: Efficient end-to-end cnns for accurate real-time lane detection
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
JP6875021B2 (ja) 有用な学習データを取捨選別するためのｃｎｎ基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200027427A (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN106462940A (zh) 图像中通用对象检测
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
Pereira et al. Classification of paved and unpaved road image using convolutional neural network for road condition inspection system
WO2020258894A1 (zh) 车道线属性检测
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN117765480B (zh) 一种道路沿线野生动物迁徙预警方法及系统
CN113435370B (zh) 一种基于图像特征融合获取车辆排队长度的方法及装置
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
Liu et al. Multi-lane detection by combining line anchor and feature shift for urban traffic management
CN115082903B (zh) 非机动车违停识别方法、装置、计算机设备及存储介质
He et al. Real-time pedestrian warning system on highway using deep learning methods
Kuppusamy et al. Traffic Sign Recognition for Autonomous Vehicle Using Optimized YOLOv7 and Convolutional Block Attention Module
CN114639054A (zh) 一种基于视频的道路施工预警方法及设备
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备
Liu et al. Efficient dense attention fusion network with channel correlation loss for road damage detection
Yang et al. An modified intelligent real-time crack detection method for bridge based on improved target detection algorithm and transfer learning
CN117853883B (zh) 一种街道清洁度分析方法、装置、计算机设备及存储介质
CN116246128B (zh) 跨数据集的检测模型的训练方法、装置及电子设备
US20230343082A1 (en) Encoding of training data for training of a neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant