CN111428644A - 基于深度神经网络的斑马线区域监测方法、系统及介质 - Google Patents

基于深度神经网络的斑马线区域监测方法、系统及介质 Download PDF

Info

Publication number
CN111428644A
CN111428644A CN202010219928.4A CN202010219928A CN111428644A CN 111428644 A CN111428644 A CN 111428644A CN 202010219928 A CN202010219928 A CN 202010219928A CN 111428644 A CN111428644 A CN 111428644A
Authority
CN
China
Prior art keywords
target
frame
zebra crossing
neural network
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010219928.4A
Other languages
English (en)
Inventor
武传营
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yisa Technology Co ltd
Qingdao Yisa Data Technology Co Ltd
Original Assignee
Beijing Yisa Technology Co ltd
Qingdao Yisa Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yisa Technology Co ltd, Qingdao Yisa Data Technology Co Ltd filed Critical Beijing Yisa Technology Co ltd
Priority to CN202010219928.4A priority Critical patent/CN111428644A/zh
Publication of CN111428644A publication Critical patent/CN111428644A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于深度神经网络的斑马线区域监测方法，获取交通监控视频数据流；逐帧读取图像，对图像进行缩放处理，得到缩放后的图像；采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标；采用SORT方法对检测目标进行目标追踪，并记录每个检测目标信息；绘制斑马线监测区域，获取交通实时信号，当检测目标进入斑马线监测区域时进行图像抓拍。该方法通过采用YOLOv3深度神经网络，提高了目标检测的精度和效率；使用SORT方法有针对性的对检测目标进行追踪，避免生成一些连续的、冗余的抓拍图像；结合交通信号对交通违章进行实时监控，更规范的记录斑马线区域监测情况。

Description

基于深度神经网络的斑马线区域监测方法、系统及介质
技术领域
本发明涉及计算机视觉的技术领域，具体涉及一种基于深度神经网络的斑马线区域监测方法、系统、终端及介质。
背景技术
斑马线是防止车辆快速行驶时伤及行人，在路口或指定路段设置的一个需减速避让行人的区域。车辆在斑马线前未礼让行人极易造成交通事故和人员伤亡，因此需要加强对斑马线区域同行的车辆和行人进行监控、抓拍和警告。
目前，在路口设置的斑马线区域监控方法主要分为以下几种：1、基于传统视频分析方法，如一篇申请号为201410329918.0，发明名称为行人过斑马线的智能化视频分析方法的发明专利公开了：划定视频监控区域，通过选取静态背景图像做参照物，与监控实时输入图像进行差分运算，判断是否有移动物体在视频监控区域，并将抓拍的图像与人的外形特征图像库进行对比，通过比对结果判断是否是行人，然而这种方法需要建立大量的外形特征图像库；2、基于雷达摄像机的方法，如一篇申请号为201811376311.2，发明名称为基于雷达摄像机的机动车斑马线不礼让行人预警抓拍系统的发明申请公开了：当机动车、行人位于预警区域内时，雷达采集模块会工作并产生预警信号，然而使用雷达信号不能识别机动车和行人，需要设置多个雷达摄像机监测多个区域的信号；3、基于道路光敏传感器、高速摄像头和多种车载传感器的方法，如一篇申请号为201810547026.6，发明名称为斑马线的预警系统和预警方法的发明申请公开了：当生物感应装置感应到斑马线处有人或动物经过后，道路主控制器驱使范围信号发射器向斑马线前方的辐射范围内呈面状发射电磁波示警信号，车辆行驶时，测速仪将实际车速发送给车载控制器，当实际车速超过临界车速时驱动车载报警装置，然而该方法需要配备在路口和机动车上配备大量传感器，不利于应用和推广。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种基于深度神经网络的斑马线监测方法，提高了斑马线区域的目标检测的效率和精度，也能实时地识别、追踪多类目标。
第一方面，本发明实施例提供的一种基于深度神经网络的斑马线监测方法，包括以下步骤：
获取交通监控视频数据流；
逐帧读取图像，对所述图像进行缩放处理，得到缩放后的图像；
采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标；
采用SORT方法对所述检测目标进行目标追踪，并记录每个检测目标信息；
绘制斑马线监测区域，获取交通实时信号，当检测目标进入斑马线监测区域时进行图像抓拍。
第二方面，本发明实施例还提供一种基于深度神经网络的斑马线区域监测系统，包括：数据获取模块、缩放模块、目标检测模块、目标追踪模块和斑马线区域监测模块，
所述数据获取模块用于获取交通监控视频数据；
所述缩放模块用于对逐帧读取图像进行缩放处理，得到缩放后的图像；
所述目标检测模块用于采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标；
所述目标追踪模块用于采用SORT方法对所述检测目标进行目标追踪，并记录每个检测目标信息；
所述斑马线区域监测模块用于绘制斑马线监测区域，获取交通实时信号，当检测目标进入斑马线监测区域时进行图像抓拍。
第三方面，本发明实施例提供的一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法步骤。
第四方面，本发明实施例提供的一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法步骤。
本发明的有益效果：
本发明实施例提供的一种基于深度神经网络的斑马线区域监测方法、系统、终端及介质，通过采用YOLOv3深度神经网络，目标检测的精度和效率有较大的提高；使用SORT方法有针对性的对检测目标进行追踪和抓拍，避免生成一些连续的、冗余的抓拍图像；结合交通信号对交通违章进行实时监控，更规范的记录斑马线区域监测情况。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1示出了本发明第一实施例所提供的一种基于深度神经网络的斑马线区域监测方法的流程图；
图2示出了本发明另一实施例所提供的一种基于深度神经网络的斑马线区域监测系统的结构示意图；
图3示出了本发明另一实施例所提供的一种智能终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，示出了本发明第一实施例所提供的一种基于深度神经网络的斑马线监测方法的流程图，该方法包括以下步骤：
S1:获取交通监控视频数据流。
S2:逐帧读取图像，对所述图像进行缩放处理，得到缩放后的图像。
S3:采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标。
S4:采用SORT方法对所述检测目标进行目标追踪，并记录每个检测目标信息。
S5:绘制斑马线监测区域，获取交通实时信号，当检测目标进入斑马线监测区域时进行图像抓拍。
具体地，通过读入交通监控视频流，根据设备处理速度设置跳帧，如每隔3帧图像读取一次，加速监控视频处理。逐帧读取图像，对读取的图像进行缩放处理，将图像缩放为416*416。采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标。YOLOv3深度神经网络的第一部分采用Darknet-53的前面的52层，并大量使用残差的跳层连接；在这个网络结构中使用了步长为2的卷积进行降采样，同时使用了上采样和route操作；网络中分别在32倍降采样，16倍降采样，8倍降采样时进行了检测。通过上采样的方式很好的使16倍降采样和8倍降采样使用深层特征，但进行4次下采样和3次下采样得到的浅层特征图(feature map)大小是一样的。YOLOv3把这些浅层特征也利用起来，就有了route层，把16倍降采样得到的feature map和四次下采样得到的层拼接在一起，在channel那个维度进行拼接，让网络同时学习深层和浅层特征，得到了更好的表达效果。8倍降采样同样也是这样的操作，把三次下采样的feature map拼接在一起。YOLOv3使用sigmoid函数进行中心坐标预测。这使得输出值在0和1之间。正常情况下，YOLOv3会预测与预测目标的网格单元左上角相关的偏移；并且使用feature map中的cell大小进行归一化，最终得到目标检测框(Bounding box)。使用非极大值抑制，去除冗余的目标检测结果边框。检测目标包括分为行人，车辆和其他目标。
采用SORT方法对检测目标进行目标追踪，并记录每个检测目标信息的具体方法包括：
第一帧进来时，以检测到的目标初始化并创建新的跟踪器，标注ID；
后面帧读取进来时，先使用卡尔曼滤波器得到由前面帧目标检测结果边框产生的状态预测和协方差预测，求取跟踪器所有目标状态预测与本帧检测的目标检测结果边框的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配，再去掉匹配值小于阈值的匹配对，得到本帧的跟踪检测结果边框。
使用OpenCV绘制斑马线监测区域，作为目标监测区域。根据检测目标box边框与监测区域边框是否相交，来判断目标是否入侵到监测区域；根据检测目标box中心是否在监测区域内，判断目标是否进入到监测区域；接入交通信号系统，若斑马线信号为绿灯，则对违规进入监测区域的车辆进行抓拍，并保存图像，分别保存车辆进入监测区域前的图像和进入监测区域的图像；若斑马线信号不为绿灯，则对违规进入监测区域的行人进行抓拍，并保存图像，分别保存行人进入监测区域前的图像和进入监测区域的图像。
本发明实施例提供的一种基于深度神经网络的斑马线区域监测方法，通过采用YOLOv3深度神经网络，目标检测的精度和效率有较大的提高；使用SORT方法有针对性的对检测目标进行追踪和抓拍，避免生成一些连续的、冗余的抓拍图像；结合交通信号对交通违章进行实时监控，更规范的记录斑马线区域监测情况。
在上述的第一实施例中，提供了一种基于深度神经网络的斑马线区域监测方法，与之相对应的，本申请还提供一种基于深度神经网络的斑马线区域监测系统。请参考图2，其为本发明第二实施例提供的一种基于深度神经网络的斑马线区域监测系统的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
如图2所示，示出了本发明实施例提供的一种基于深度神经网络的斑马线区域监测系统的结构示意图，该系统包括：数据获取模块、缩放模块、目标检测模块、目标追踪模块和斑马线区域监测模块，
所述数据获取模块用于获取交通监控视频数据；
所述缩放模块用于对逐帧读取图像进行缩放处理，得到缩放后的图像；
所述目标检测模块用于采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标；
所述目标追踪模块用于采用SORT方法对所述检测目标进行目标追踪，并记录每个检测目标信息；
所述斑马线区域监测模块用于绘制斑马线监测区域，获取交通实时信号，当检测目标进入斑马线监测区域时进行图像抓拍。
在本实施例中，目标检测模块包括深层特征提取单元和深层特征处理单元：
所述深层特征提取单元用于提取缩放后的图像的深层特征和浅层特征图；
所述深层特征处理单元用于对所述深层特征图和浅层特征图依次经过多次卷积、下采样和拼接操作，得到三组特征图；
对三组特征图进行拼接操作，将三组特征图融合并输出目标检测结果边框；
目标检测模块还包括冗余去除模块，所述冗余去除模块用于采用非极大值抑制，去除冗余的目标检测结果边框。
在本实施例中，目标追踪模块采用SORT方法对所述检测目标进行目标追踪的具体方法包括：
在读取第一帧图像时，以检测到的目标初始化并创建新的跟踪器，标注目标ID；
逐帧读取图像，使用卡尔曼滤波器得到前面帧的目标检测结果边框产生的状态预测和协方差预测，求取跟踪器所有目标状态预测与本帧检测的目标检测结果边框的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配，去掉匹配值小于阈值的匹配对，得到本帧的跟踪box。
本发明实施例提供的一种基于深度神经网络的斑马线区域监测系统，通过采用YOLOv3深度神经网络，目标检测的精度和效率有较大的提高；使用SORT方法有针对性的对检测目标进行追踪和抓拍，避免生成一些连续的、冗余的抓拍图像；结合交通信号对交通违章进行实时监控，更规范的记录斑马线区域监测情况。
如图3所示，示出了本发明第三实施例提供一种智能终端结构示意图，该终端包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一实施例描述的方法。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备可以包括显示器(LCD等)、扬声器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器、输入设备、输出设备可执行本发明实施例提供的方法实施例所描述的实现方式，也可执行本发明实施例所描述的系统实施例的实现方式，在此不再赘述。
在本发明还提供一种计算机可读存储介质的实施例，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于深度神经网络的斑马线区域监测方法，其特征在于，包括以下步骤：
获取交通监控视频数据流；
逐帧读取图像，对所述图像进行缩放处理，得到缩放后的图像；
采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标；
采用SORT方法对所述检测目标进行目标追踪，并记录每个检测目标信息；
绘制斑马线监测区域，获取交通实时信号，当检测目标进入斑马线监测区域时进行图像抓拍。
2.如权利要求1所述的基于深度神经网络的斑马线区域监测方法，其特征在于，所述采用YOLOv3深度神经网络对缩放后的图像进行目标检测的具体方法包括：
提取缩放后的图像的深层特征图和浅层特征图；
对所述深层特征图和浅层特征图依次经过多次卷积、下采样和拼接操作，得到三组特征图；
对三组特征图进行拼接操作，将三组特征图融合并输出目标检测结果边框。
3.如权利要求2所述的基于深度神经网络的斑马线区域监测方法，其特征在于，在所述对三组特征图依次经过上采样和拼接操作，将三组特征图融合并输出目标检测结果边框的步骤之后还包括：采用非极大值抑制，去除冗余的目标检测结果边框。
4.如权利要求3所述的基于深度神经网络的斑马线区域监测方法，其特征在于，所述采用SORT方法对所述检测目标进行目标追踪的具体方法包括：
在读取第一帧图像时，以检测到的目标初始化并创建新的跟踪器，标注目标ID；
逐帧读取图像，使用卡尔曼滤波器得到前面帧的目标检测结果边框产生的状态预测和协方差预测，求取跟踪器所有目标状态预测与本帧检测的目标检测结果边框的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配，去掉匹配值小于阈值的匹配对；
用本帧中匹配到的目标检测结果边框更新卡尔曼滤波器，计算卡尔曼增益、状态更新和协方差更新，并将状态更新值输出，作为本帧的跟踪器，对于本帧未匹配到的目标重新初始化跟踪器。
5.一种基于深度神经网络的斑马线区域监测系统，其特征在于，包括：数据获取模块、缩放模块、目标检测模块、目标追踪模块和斑马线区域监测模块，
所述数据获取模块用于获取交通监控视频数据；
所述缩放模块用于对逐帧读取图像进行缩放处理，得到缩放后的图像；
所述目标检测模块用于采用YOLOv3深度神经网络对缩放后的图像进行目标检测，得到检测目标；
所述目标追踪模块用于采用SORT方法对所述检测目标进行目标追踪，并记录每个检测目标信息；
所述斑马线区域监测模块用于绘制斑马线监测区域，获取交通实时信号，当检测目标进入斑马线监测区域时进行图像抓拍。
6.如权利要求5所述的基于深度神经网络的斑马线区域监测系统，其特征在于，所述目标检测模块包括深层特征提取单元和深层特征处理单元：
所述深层特征提取单元用于提取缩放后的图像的深层特征和浅层特征图；
所述深层特征处理单元用于对所述深层特征图和浅层特征图依次经过多次卷积、下采样和拼接操作，得到三组特征图经过多次卷积、上采样和拼接操作，得到三组特征图；
对三组特征图进行拼接操作，将三组特征图融合并输出目标检测结果边框。
7.如权利要求6所述的基于深度神经网络的斑马线区域监测系统，其特征在于，所述目标检测模块还包括冗余去除模块，所述冗余去除模块用于采用非极大值抑制，去除冗余的目标检测结果边框。
8.如权利要求7所述的基于深度神经网络的斑马线区域监测系统，其特征在于，所述目标追踪模块采用SORT方法对所述检测目标进行目标追踪的具体方法包括：
在读取第一帧图像时，以检测到的目标初始化并创建新的跟踪器，标注目标ID；
逐帧读取图像，使用卡尔曼滤波器得到前面帧的目标检测结果边框产生的状态预测和协方差预测，求取跟踪器所有目标状态预测与本帧检测的目标检测结果边框的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配，去掉匹配值小于阈值的匹配对；
用本帧中匹配到的目标检测结果边框更新卡尔曼滤波器，计算卡尔曼增益、状态更新和协方差更新，并将状态更新值输出，作为本帧的跟踪器，对于本帧未匹配到的目标重新初始化跟踪器。
9.一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，其特征在于，所述处理器被配置用于调用所述程序指令，执行如权利要求1至4任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至4任一项所述的方法步骤。
CN202010219928.4A 2020-03-25 2020-03-25 基于深度神经网络的斑马线区域监测方法、系统及介质 Pending CN111428644A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219928.4A CN111428644A (zh) 2020-03-25 2020-03-25 基于深度神经网络的斑马线区域监测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219928.4A CN111428644A (zh) 2020-03-25 2020-03-25 基于深度神经网络的斑马线区域监测方法、系统及介质

Publications (1)

Publication Number Publication Date
CN111428644A true CN111428644A (zh) 2020-07-17

Family

ID=71548747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219928.4A Pending CN111428644A (zh) 2020-03-25 2020-03-25 基于深度神经网络的斑马线区域监测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN111428644A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950537A (zh) * 2020-09-24 2020-11-17 北京百度网讯科技有限公司 斑马线信息获取方法、地图更新方法、装置及系统
CN112349096A (zh) * 2020-10-28 2021-02-09 厦门博海中天信息科技有限公司 一种道路中智能识别行人的方法、系统、介质及设备
CN112861716A (zh) * 2021-02-05 2021-05-28 深圳市安软科技股份有限公司 违规物品摆放的监测方法、系统、设备及存储介质
CN116030388A (zh) * 2022-12-30 2023-04-28 以萨技术股份有限公司 一种识别任务的处理方法、电子设备及存储介质
CN117496727A (zh) * 2023-11-13 2024-02-02 广东高信智能科技有限公司 基于卡槽板的交通识别和控制的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768800A (zh) * 2012-07-12 2012-11-07 复旦大学 基于高清视频的机动车闯红灯违章取证方法
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN109493609A (zh) * 2018-12-11 2019-03-19 杭州炬视科技有限公司 一种便携式未礼让行人自动识别抓拍的装置和方法
US20190147372A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Object Detection, Tracking, and Motion Prediction
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN110826508A (zh) * 2019-11-12 2020-02-21 浙江工商大学 一种基于视频流的行人非机动车违章检测与跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768800A (zh) * 2012-07-12 2012-11-07 复旦大学 基于高清视频的机动车闯红灯违章取证方法
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
US20190147372A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Object Detection, Tracking, and Motion Prediction
CN109493609A (zh) * 2018-12-11 2019-03-19 杭州炬视科技有限公司 一种便携式未礼让行人自动识别抓拍的装置和方法
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN110826508A (zh) * 2019-11-12 2020-02-21 浙江工商大学 一种基于视频流的行人非机动车违章检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董洪义: "《深度学习之PyTorch物体检测实战》", 机械工业出版社, pages: 180 - 183 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950537A (zh) * 2020-09-24 2020-11-17 北京百度网讯科技有限公司 斑马线信息获取方法、地图更新方法、装置及系统
CN111950537B (zh) * 2020-09-24 2023-06-23 北京百度网讯科技有限公司 斑马线信息获取方法、地图更新方法、装置及系统
CN112349096A (zh) * 2020-10-28 2021-02-09 厦门博海中天信息科技有限公司 一种道路中智能识别行人的方法、系统、介质及设备
CN112861716A (zh) * 2021-02-05 2021-05-28 深圳市安软科技股份有限公司 违规物品摆放的监测方法、系统、设备及存储介质
CN116030388A (zh) * 2022-12-30 2023-04-28 以萨技术股份有限公司 一种识别任务的处理方法、电子设备及存储介质
CN116030388B (zh) * 2022-12-30 2023-08-11 以萨技术股份有限公司 一种识别任务的处理方法、电子设备及存储介质
CN117496727A (zh) * 2023-11-13 2024-02-02 广东高信智能科技有限公司 基于卡槽板的交通识别和控制的方法及装置

Similar Documents

Publication Publication Date Title
CN111428644A (zh) 基于深度神经网络的斑马线区域监测方法、系统及介质
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
CN110147698A (zh) 用于车道检测的系统和方法
US20060067562A1 (en) Detection of moving objects in a video
CN111259868B (zh) 基于卷积神经网络的逆行车辆检测方法、系统及介质
CN112069879B (zh) 一种目标人物跟随方法、计算机可读存储介质及机器人
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
CN107633703A (zh) 一种行车记录仪及其前向防撞预警方法
Ali et al. Autonomous road surveillance system: A proposed model for vehicle detection and traffic signal control
CN112907867B (zh) 一种基于图像识别的预警方法、装置及服务器
Darapaneni et al. Computer vision based license plate detection for automated vehicle parking management system
KR102306789B1 (ko) 교행 다차로에서의 이상차량 인식방법 및 장치
CN114220063B (zh) 目标检测方法及装置
CN108710828A (zh) 识别目标物的方法、装置和存储介质以及车辆
CN116343085A (zh) 一种公路上的障碍物检测方法、系统、存储介质及终端
Iszaidy et al. Video size comparison for embedded vehicle speed detection & travel time estimation system by using Raspberry Pi
CN117218622A (zh) 路况检测方法、电子设备及存储介质
Sharma et al. Automatic vehicle detection using spatial time frame and object based classification
Santos et al. Car recognition based on back lights and rear view features
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
CN112686136B (zh) 一种对象检测方法、装置及系统
Wang Event-driven traffic ticketing system
WO2021149274A1 (ja) 監視システム、監視装置、監視方法、およびプログラム
CN115775371A (zh) 监视未礼让行人的车辆的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Issa Technology Co.,Ltd.

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant before: Qingdao Issa Technology Co.,Ltd.

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Qingdao Issa Technology Co.,Ltd.

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 100020 room 108, 1 / F, building 17, yard 6, Jingshun East Street, Chaoyang District, Beijing

Applicant before: BEIJING YISA TECHNOLOGY Co.,Ltd.

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200717

RJ01 Rejection of invention patent application after publication