CN114792411A - 公交车礼让行人检测方法、系统、设备及存储介质 - Google Patents

公交车礼让行人检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114792411A
CN114792411A CN202210086945.4A CN202210086945A CN114792411A CN 114792411 A CN114792411 A CN 114792411A CN 202210086945 A CN202210086945 A CN 202210086945A CN 114792411 A CN114792411 A CN 114792411A
Authority
CN
China
Prior art keywords
bus
pedestrian
information
zebra crossing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210086945.4A
Other languages
English (en)
Inventor
陈欢
杜新柯
欧阳勇辉
陈扬豪
黄超
郭东接
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jiaoxin Investment Technology Co ltd
Original Assignee
Guangzhou Jiaoxin Investment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jiaoxin Investment Technology Co ltd filed Critical Guangzhou Jiaoxin Investment Technology Co ltd
Priority to CN202210086945.4A priority Critical patent/CN114792411A/zh
Publication of CN114792411A publication Critical patent/CN114792411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种公交车礼让行人检测方法、系统、设备及存储介质，该方法采集公交车行驶前进方向的区域的视频图像数据；检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。该方法可有效提高公交车在礼让行人方面的违规检测效率，便于监督、指导公交车驾驶员的驾驶行为，有利于促进公交车的文明驾驶与安全驾驶。本申请可广泛应用于人工智能技术领域内。

Description

公交车礼让行人检测方法、系统、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其是一种公交车礼让行人检测方法、系统、设备及存储介质。
背景技术
随着我国社会经济不断增长，城市人口不断扩容，公共交通系统作为市民出行的主要载体，其安全、有效地运行是推动城市发展和保障社会民生的重要前提。城市公交是公共交通系统重要的一环，具有运载量大、覆盖广和便捷实惠等特点。因此，公交车稳定、规范的运行对保障公交车乘客、驾驶员以及行人的安全意义重大。
在当前复杂的交通环境下，行人由于缺乏相应的保护设备，而成为道路交通参与者的弱势群体。人形横道作为公交车与行人最常交汇的地点，极易发生交通事故。根据相关规定：机动车行经人行横道时，应当减速行驶；遇行人正在通过人行横道，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。而在实际生活中，部分公交车司机未遵守该规定，甚至加速通过，给公交车乘客、驾驶员以及行人带来巨大的安全隐。目前，对于该行为尚无有效地监管方法。
综上，相关技术存在的问题亟需得到解决。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此，本申请实施例的一个目的在于提供一种公交车礼让行人检测方法、系统、设备及存储介质。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
一方面，本申请实施例提供了一种公交车礼让行人检测方法，包括以下步骤：
采集公交车行驶前进方向的区域的视频图像数据；
检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；
当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；
当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；
若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。
另外，根据本申请上述实施例的一种公交车礼让行人检测方法，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，所述检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号，包括：
将所述视频图像数据输入到目标检测模型中，通过所述目标检测模型检测得到斑马线、行人和交通灯在所述视频图像数据中的位置信息和类别信息。
进一步地，在本申请的一个实施例中，所述目标检测模型通过以下步骤得到：
获取样本图像数据；
对所述样本图像数据中的道路交通要素进行标注处理，并将标注好的样本图像数据输入到目标检测模型中，通过所述目标检测模型检测得到检测结果；所述道路交通要素包括斑马线信息、行人信息和交通灯信号，所述检测结果包括所述道路交通要素在所述视频图像数据中的位置信息和类别信息；
根据所述检测结果和标注的信息，通过预先设定的损失函数确定训练的损失值；
根据所述损失值对所述目标检测模型进行反向传播训练，得到训练好的目标检测模型。
进一步地，在本申请的一个实施例中，所述预先设定的损失函数包括质量损失函数和焦点损失函数。
进一步地，在本申请的一个实施例中，所述目标检测模型包括特征提取网络和检测网络。
进一步地，在本申请的一个实施例中，所述当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据，包括：
确定所述行人对应的第一检测框和所述斑马线对应的第二检测框；
计算所述第一检测框和所述第二检测框的面积的交并比；
当所述交并比大于或者等于预设阈值时，采集所述公交车的行驶速度数据。
另一方面，本申请实施例提供一种公交车礼让行人检测系统，包括：
第一采集模块，用于采集公交车行驶前进方向的区域的视频图像数据；
检测模块，用于检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；
判断模块，用于当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；
第二采集模块，用于当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；
处理模块，用于若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。
另一方面，本申请实施例提供了一种计算机设备，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的公交车礼让行人检测方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，上述处理器可执行的程序在由处理器执行时用于实现上述的公交车礼让行人检测方法。
本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本申请实施例所公开的一种公交车礼让行人检测方法，包括：采集公交车行驶前进方向的区域的视频图像数据；检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。该方法可有效提高公交车在礼让行人方面的违规检测效率，便于监督、指导公交车驾驶员的驾驶行为，有利于促进公交车的文明驾驶与安全驾驶。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请实施例中提供的一种公交车礼让行人检测方法的实施环境示意图；
图2为本申请实施例中提供的一种公交车礼让行人检测方法的流程示意图；
图3为本申请实施例中提供的ShuffleNet V2的单元示意图；
图4为本申请实施例中提供的特征金字塔网络的示意图；
图5为本申请实施例中提供的一种公交车礼让行人检测方法的具体实施方式示意图；
图6为本申请实施例中提供的一种计算机设备的结构示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在当前复杂的交通环境下，行人由于缺乏相应的保护设备，而成为道路交通参与者的弱势群体。人形横道作为公交车与行人最常交汇的地点，极易发生交通事故。根据相关规定：机动车行经人行横道时，应当减速行驶；遇行人正在通过人行横道，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。而在实际生活中，部分公交车司机未遵守该规定，甚至加速通过，给公交车乘客、驾驶员以及行人带来巨大的安全隐。目前，对于该行为尚无有效地监管方法。
有鉴于此，本申请实施例中提供一种公交车礼让行人检测方法，该方法围绕交通安全和运营管理等应用场景，提供一种有效的公交车不礼让行人行为的智能检测方法，通过人工智能技术的应用，可以提高公交车的运行安全水平，有利于对道路行为进行合理的监管，以规范公交车驾驶员安全驾驶。
图1是本申请实施例提供的一种公交车礼让行人检测方法的实施环境示意图。参照图1，该实施环境的软硬件主体主要包括终端101和服务器102，终端101与服务器102通信连接。其中，该公交车礼让行人检测方法可以单独配置于终端101执行，也可以单独配置于服务器 102执行，或者基于终端101与服务器102二者之间的交互来执行，具体可以根据实际应用情况进行适当的选择，本实施例对此并不作具体限定。此外，终端101与服务器102可以为区块链中的结点，本实施例对此并不作具体限定。
具体地，本申请中的终端101可以包括但不限于智能手表、智能手机、电脑、个人数字助理(Personal Digital Assistant，PDA)、智能语音交互设备、智能家电或者车载终端中的任意一种或者多种。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。终端101与服务器 102之间可以通过无线网络或有线网络建立通信连接，该无线网络或有线网络使用标准通信技术和/或协议，网络可以设置为因特网，也可以是其它任何网络，例如包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
请参照图2，图2是本申请实施例提供的一种公交车礼让行人检测方法的流程示意图，该公交车礼让行人检测方法可以配置在终端或者服务器中的至少一者。参照图2，该公交车礼让行人检测方法包括但不限于：
步骤110、采集公交车行驶前进方向的区域的视频图像数据；
本申请实施例中，在获取视频图像数据时，可以在公交车上或者道路的两侧安装相关的图像采集设备获取该数据。具体地，例如，可以采用安装在公交车前部，朝向公交车行驶前方的摄像机获取公交车前方行驶区域内的视频图像数据。此处，可选的摄像机可以包括高清摄像机或全景摄像机。在一些实施例中，本申请也可以是间接获取的该视频图像数据，例如，可以是由图像采集设备远程传回的数据。
步骤120、检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；
本申请实施例中，在获取到视频图像数据后，可以检测其中的斑马线信息、行人信息和交通灯信号。具体地，其中，斑马线信息可以包括每帧图像中斑马线的位置信息，行人信息可以包括每帧图像中行人所在的位置信息，这些位置信息可以以轮廓范围来表征；交通灯信息主要包括交通灯的指示信息，例如可以包括交通灯的颜色信息，根据交通灯的颜色信息，可以判定当前是否允许通行。
具体地，本申请实施例中，在检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号时，可以将视频图像数据输入到目标检测模型中，通过目标检测模型可以确定出各个目标所在的位置信息以及类别信息。其中，类别信息指的是目标为斑马线、行人还是交通灯，对于属于交通灯的类别的目标来说，还可以进一步识别其颜色类别。
具体地，本申请实施例中采用的目标检测模型，可以通过以下步骤训练得到：
获取样本图像数据；
对所述样本图像数据中的道路交通要素进行标注处理，并将标注好的样本图像数据输入到目标检测模型中，通过所述目标检测模型检测得到检测结果；所述道路交通要素包括斑马线信息、行人信息和交通灯信号，所述检测结果包括所述道路交通要素在所述视频图像数据中的位置信息和类别信息；
根据所述检测结果和标注的信息，通过预先设定的损失函数确定训练的损失值；
根据所述损失值对所述目标检测模型进行反向传播训练，得到训练好的目标检测模型。
本申请实施例中，在对目标检测模型进行使用时，可以包括有样本标注、模型训练和实时检测的过程。其中，在训练阶段，可以获取批量的样本图像数据，样本图像数据中可以包括各类交通要素，例如可以包括有斑马线信息、行人信息和交通灯信号。本申请实施例中的样本图像数据的来源可以根据需要灵活选择。当获取到样本图像数据后，可以对其进行标注处理，即对其中的道路交通要素的位置信息和类别信息进行标注，得到标注后的样本图像数据可以输入到初始化的目标检测模型中进行训练。
本申请实施例中，在对道路交通要素进行标注时，可以对视频图像数据进行格式化编号，使用标注工具对图像中的道路交通要素如行人、斑马线和红绿灯等，使用长方形标记框覆盖，得到对应的包围框坐标，同时附注类型信息，将标记的坐标信息、类型信息和保存路径储存在XML或者COCO格式文件中。具体地，例如坐标信息可以包括(x，y，w，h)四个元素，分别表示标注矩形框的横坐标、纵坐标、横向偏移量和纵向偏移量，以及标注矩形框的类别。
具体地，对于机器学习模型来说，它的预测结果的准确性可以通过损失函数(LossFunction)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签(即标注的信息)和模型对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(Cost Function)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的机器学习模型来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。在实际应用中，可以从中任选一种损失函数来确定训练的损失值，也即预测结果和标签之间的损失值。基于训练的损失值，采用反向传播算法对模型的参数进行更新，迭代预设的轮次即可得到训练好的机器学习模型。
本申请实施例中，可以使用轻量级目标检测模型Nanode作为目标检测模型，可以使用随机梯度下降算法训练Nanodet，Nanodet神经网络由特征提取网络和检测网络构成。其中，特征提取网络，可以将ShuffleNet V2网络作为骨干网络，并把视频图像数据的输入尺寸调整为320×320像素。在每一个卷积层单元，使用“通道分离”的操作，将特征图分为两个分支：一条分支仍然为原始特征；另一条分支由三层卷积组成，分为两层1×1的卷积操作和一层3×3 的深度可分离卷积。执行卷积操作后使用“通道混合”的操作，把两个分支的特征交互并合并，使得输出通道数与输入通道数保持一致。参照图3，ShuffleNet V2的单元示意图如图3所示，通过“通道分离”和“通道混合”的操作精简模型结构，加速特征重用，更适用于本申请实施例。当然，需要说明的是，本申请实施例中Nanodet神经网络的特征提取网络，不仅仅局限于将 ShuffleNet V2作为骨干网络，还可以将包括MobileNet V2、ResNet、VGG、GhostNet等网络类型作为骨干网络。
本申请实施例中，Nanodet神经网络的检测网络由特征金字塔网络组成。如图4所示，特征金字塔网络在自下而上的特征提取骨干网络部分，提供一种并行的自上而下路径，构建 3个语义丰富的高分辨率、低语义信息层和低分辨率、高语义信息层，并与对应的骨干网络卷积层之间构建横向连接。具体地，在骨干网络对应的3个卷积层底部横向输出特征图参考集，构建金字塔模型，再使用路径连接构建自上而下的信息传导。低分辨率特征图向高分辨特征图传导过程中，加入最近邻特征上采样，扩大至空间分辨率的两倍。最后在各个空间金字塔网络中提取特征信息完成预测，输出道路交通要素的定位信息和分类信息。
本申请实施例中，在Nanodet神经网络的训练过程中可以采用的损失函数表示如下：
Figure RE-GDA0003683136640000071
其中，Npos表示正样本的数量，z为特征金字塔特征图上所有位置的总和，LQ表示质量损失，LD表示焦点损失，LB表示GIOU损失；λ0和λ1可以分别设为2和1/4；
Figure RE-GDA0003683136640000072
为指示函数。
上述的损失函数中，质量损失通过如下的质量损失函数求取：
LQ(σ)＝-|y-σ|β((1-y)log(1-σ)+ylog(σ))
其中，y表示真实标签类别，|y-σ|β为调节系数，当预测值不准确且远离y时，调节系数则相应变大，σ和β为参数。
焦点损失通过如下的焦点损失函数求取：
LD(Si,Si+1)＝-((yi+1-y)log(Si)+(y-yi)log(Si+1))
其中，y表示边界框回归值；Si表示第i+1个单元组成的softmax层的值。
步骤130、当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；
步骤140、当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；
本申请实施例中，在交通信号灯为允许通过时，可以检测当前斑马线上是否有行人在通过。具体地，可以通过检测得到的行人和斑马线的重叠情况判断当前斑马线上是否有行人在通过。例如，当识别到行人目标和斑马线目标后，可以分别确定行人对应的第一检测框和斑马线对应的第二检测框，接着，可以计算第一检测框和第二检测框的面积的交并比，若两者的交并比大于或者等于一个预设阈值，则说明此时行人很可能处在斑马线上。此时，可以此埃及公交车的行驶速度数据。
步骤150、若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。
本申请实施例中，若判断到当前公交车前方的道路斑马线有人经过，且获取公交车的行驶速度数据发现其大于或者等于预设速度阈值，说明这种情况下公交车未减速或停止，则判定为属于未礼让行人的违规行驶行为，此时可以保存违法数据并储存至服务器；如果公交车减速或停止，则说明礼让行人。
下面结合一个具体的实施例，对本申请中的一种公交车礼让行人检测方法进行说明。
参照图5，本申请的一个具体实施例中，该检测方法可以包括有以下步骤：
步骤1：实时获取公交车辆前进方向的视频图像数据，并对视频图像数据中的斑马线、行人和红绿灯等道路交通要素进行实时识别，得到各道路交通要素的类别和在图像上的位置；
步骤2：判断是否检测到红绿灯，若检测到红灯则根据车速判断是否停车(未停车则判定闯红灯)，未检测到红绿灯或检测到红绿灯状态为绿灯，则执行步骤3；
步骤3：判断是否检测到斑马线，如果检测到斑马线，则执行步骤4；如果未检测到斑马线，则回到步骤1；
步骤4：判断是否检测到行人，如果检测到行人，则执行步骤5；如果未检测到行人，则回到步骤1；
步骤5：判断检测到的行人与斑马线的位置关系，若行人与斑马线在图像上的重合面积超过设定的阈值，则执行步骤6；如果未超过设定的阈值，则回到步骤1；
步骤6：获取公交车的行驶速度数据，根据行驶速度数据判断如果公交车未减速或停止，则判定为未礼让行人的违规行驶行为，保存违规行驶行为数据并储存至服务器；如果公交车减速或停止，则回到步骤1。此处，保存的违规行驶行为数据可以包括：违章时前后十秒的视频录像和车速报文信息。
本申请实施例中，在检测到公交车存在不礼让行人的行为时，可以进行实时预警操作，例如可以通过声光报警、扬声器报警和振动报警等方式对公交车驾驶员进行实时预警。采用预警方式仅仅是检测到公交车存在不礼让行人行为时，并不会采取强制措施干预公交车的驾驶，避免影响公交车驾驶员的驾驶操作，提高公交车驾驶的安全性，还可以减少公交车驾驶员的抵触心理。
可以理解的是，本申请实施例中，提供一种检测精度高、鲁棒性高和智能化程度高的公交车礼让行人检测方法，能够对公交车驾驶员的驾驶行为进行有效的规范，为推进贯彻落实道路交通安全奠定了技术基础，有效保障了在斑马线上的行人的安全。
本申请实施例中，还提供一种公交车礼让行人检测系统，包括：
第一采集模块，用于采集公交车行驶前进方向的区域的视频图像数据；
检测模块，用于检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；
判断模块，用于当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；
第二采集模块，用于当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；
处理模块，用于若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。
可以理解的是，图2所示的公交车礼让行人检测方法实施例中的内容均适用于本公交车礼让行人检测系统实施例中，本公交车礼让行人检测系统实施例所具体实现的功能与图2所示的公交车礼让行人检测方法实施例相同，并且达到的有益效果与图2所示的公交车礼让行人检测方法实施例所达到的有益效果也相同。
参照图6，本申请实施例还公开了一种计算机设备，包括：
至少一个处理器301；
至少一个存储器302，用于存储至少一个程序；
当至少一个程序被至少一个处理器301执行，使得至少一个处理器301实现如图2所示的公交车礼让行人检测方法实施例。
可以理解的是，如图2所示的公交车礼让行人检测方法实施例中的内容均适用于本计算机设备实施例中，本计算机设备实施例所具体实现的功能与如图2所示的公交车礼让行人检测方法实施例相同，并且达到的有益效果与如图2所示的公交车礼让行人检测方法实施例所达到的有益效果也相同。
本申请实施例还公开了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如图2所示的公交车礼让行人检测方法实施例。
可以理解的是，如图2所示的公交车礼让行人检测方法实施例中的内容均适用于本计算机可读存储介质实施例中，本计算机可读存储介质实施例所具体实现的功能与如图2所示的公交车礼让行人检测方法实施例相同，并且达到的有益效果与如图2所示的公交车礼让行人检测方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括： U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内
在本说明书的描述中，参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (9)

1.一种公交车礼让行人检测方法，其特征在于，包括：
采集公交车行驶前进方向的区域的视频图像数据；
检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；
当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；
当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；
若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。
2.根据权利要求1所述的一种公交车礼让行人检测方法，其特征在于，所述检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号，包括：
将所述视频图像数据输入到目标检测模型中，通过所述目标检测模型检测得到斑马线、行人和交通灯在所述视频图像数据中的位置信息和类别信息。
3.根据权利要求2所述的一种公交车礼让行人检测方法，其特征在于，所述目标检测模型通过以下步骤得到：
获取样本图像数据；
对所述样本图像数据中的道路交通要素进行标注处理，并将标注好的样本图像数据输入到目标检测模型中，通过所述目标检测模型检测得到检测结果；所述道路交通要素包括斑马线信息、行人信息和交通灯信号，所述检测结果包括所述道路交通要素在所述视频图像数据中的位置信息和类别信息；
根据所述检测结果和标注的信息，通过预先设定的损失函数确定训练的损失值；
根据所述损失值对所述目标检测模型进行反向传播训练，得到训练好的目标检测模型。
4.根据权利要求3所述的一种公交车礼让行人检测方法，其特征在于，所述预先设定的损失函数包括质量损失函数和焦点损失函数。
5.根据权利要求2所述的一种公交车礼让行人检测方法，其特征在于，所述目标检测模型包括特征提取网络和检测网络。
6.根据权利要求1所述的一种公交车礼让行人检测方法，其特征在于，所述当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据，包括：
确定所述行人对应的第一检测框和所述斑马线对应的第二检测框；
计算所述第一检测框和所述第二检测框的面积的交并比；
当所述交并比大于或者等于预设阈值时，采集所述公交车的行驶速度数据。
7.一种公交车礼让行人检测系统，其特征在于，包括：
第一采集模块，用于采集公交车行驶前进方向的区域的视频图像数据；
检测模块，用于检测所述视频图像数据中的斑马线信息、行人信息和交通灯信号；
判断模块，用于当所述交通灯信号为允许通过时，根据所述斑马线信息和所述行人信息判断行人是否正经过斑马线；
第二采集模块，用于当判断所述行人正经过所述斑马线，采集所述公交车的行驶速度数据；
处理模块，用于若所述行驶速度数据大于或者等于预设速度阈值，确定所述公交车存在不礼让行人的违规行驶行为。
8.一种计算机设备，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6中任一项所述的公交车礼让行人检测方法。
9.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-6中任一项所述的公交车礼让行人检测方法。
CN202210086945.4A 2022-01-25 2022-01-25 公交车礼让行人检测方法、系统、设备及存储介质 Pending CN114792411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210086945.4A CN114792411A (zh) 2022-01-25 2022-01-25 公交车礼让行人检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210086945.4A CN114792411A (zh) 2022-01-25 2022-01-25 公交车礼让行人检测方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114792411A true CN114792411A (zh) 2022-07-26

Family

ID=82459713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210086945.4A Pending CN114792411A (zh) 2022-01-25 2022-01-25 公交车礼让行人检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114792411A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998851A (zh) * 2022-08-03 2022-09-02 江西江投数字经济技术有限公司 基于交通信息的车辆预警方法、系统、存储介质及车辆

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998851A (zh) * 2022-08-03 2022-09-02 江西江投数字经济技术有限公司 基于交通信息的车辆预警方法、系统、存储介质及车辆

Similar Documents

Publication Publication Date Title
CN113688652B (zh) 一种异常驾驶行为的处理方法和装置
CN109598943A (zh) 车辆违章的监控方法、装置及系统
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN113343461A (zh) 自动驾驶车辆的仿真方法、装置、电子设备及存储介质
CN110716529A (zh) 一种自动驾驶测试用例自动生成方法和装置
CN111723854B (zh) 一种高速公路交通拥堵检测方法、设备及可读存储介质
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN112447041A (zh) 识别车辆的营运行为的方法、装置及计算设备
CN112598192B (zh) 一种车辆进入物流园区的预测方法、装置、存储介质及终端
CN112289037B (zh) 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN111931683A (zh) 图像识别方法、装置及计算机可读存储介质
CN114495060B (zh) 一种道路交通标线识别方法及装置
Singh et al. Driver behaviour modelling of vehicles at signalized intersection with heterogeneous traffic
CN115795808A (zh) 一种自动驾驶决策危险场景生成方法、系统、设备及介质
CN114792411A (zh) 公交车礼让行人检测方法、系统、设备及存储介质
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
CN109934161B (zh) 基于卷积神经网络的车辆识别与检测方法及系统
CN115131634A (zh) 图像识别方法、装置、设备、存储介质及计算机程序产品
CN114092902A (zh) 电动自行车违规行为的检测方法及装置
CN116737857A (zh) 道路数据处理方法、相关装置和介质
Li A scenario-based development framework for autonomous driving
CN114708560B (zh) 一种基于yolox算法的违章停车检测方法及系统
Tian et al. RSG-GCN: Predicting Semantic Relationships in Urban Traffic Scene With Map Geometric Prior
Khan Vehicle and pedestrian detection using YOLOv3 and YOLOv4 for self-driving cars
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination