CN107730906A - 斑马线车辆不礼让行人行为的视觉检测系统 - Google Patents

斑马线车辆不礼让行人行为的视觉检测系统 Download PDF

Info

Publication number
CN107730906A
CN107730906A CN201710558816.XA CN201710558816A CN107730906A CN 107730906 A CN107730906 A CN 107730906A CN 201710558816 A CN201710558816 A CN 201710558816A CN 107730906 A CN107730906 A CN 107730906A
Authority
CN
China
Prior art keywords
mrow
vehicle
pedestrian
zebra stripes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710558816.XA
Other languages
English (en)
Inventor
汤平
汤一平
王辉
吴越
陈才君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enjoyor Co Ltd
Original Assignee
Enjoyor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enjoyor Co Ltd filed Critical Enjoyor Co Ltd
Priority to CN201710558816.XA priority Critical patent/CN107730906A/zh
Publication of CN107730906A publication Critical patent/CN107730906A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

一种斑马线车辆不礼让行人行为的视觉检测系统，包括安装在覆盖整个斑马线区域的监控摄像机、用于抓拍车辆图像的高清抓拍摄像机、交通云服务器和视觉检测子系统；视觉检测子系统包括斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；交通云服务器用于接收从监控摄像机所获得的整个斑马线区域内的视频数据，并将其递交给视觉检测子系统进行不礼让行人行为检测并对违规车辆进行身份识别；将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存。本发明检测精度较高、鲁棒性较高。

Description

斑马线车辆不礼让行人行为的视觉检测系统
技术领域
本发明涉及人工智能、卷积神经网络和计算机视觉在斑马线上车辆不礼让行人行为的检测方面的应用，属于智能交通领域。
背景技术
《道路交通安全法》第四十七条规定，机动车行经人行横道时，应当减速行驶；遇到行人正在通过人行横道时，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。但是在实际生活中，部分司机却不遵守该规定，有的甚至看到行人正在通过人行横道时，加速鸣笛通过，给交通安全带来隐患。每年在斑马线上由于驾驶员没有礼让行人而造成的死亡事故超过千人次。就连全国在斑马线上车辆礼让行人做得最好的城市杭州，各种车辆的礼让率也只有90％～97％。
“礼让斑马线”，是《道路交通安全法》的明文规定，对遇行人正在通行人行横道时未停车让行的行为，交警将依法处以罚款100元，记3分的处罚，造成交通事故的，罚款200元，记3分。
《道路交通安全法》明确规定，行人、机动车在行经有信号灯的斑马线时，应按照信号灯指示通行。机动车在行经无信号灯控制的斑马线时，必须在斑马线外停车让行。如果机动车在斑马线前有鸣笛催促或者行人、车辆同处斑马线内，且行人在机动车前方，则认定为不礼让行人。
中国发明专利申请号为201510058281.0公开了一种违规车让人行为实时检测方法，该方法包括以下步骤：1)将视频数据解析成画面帧信息；2)检测画面中的斑马线区域；3)检测画面中车辆位置；4)对车辆进行速度检测和轨迹追踪；5)当有车辆越过斑马线且行驶速度超过阈值的时候，对斑马线两端的位置进行行人检测；6)若斑马线两端有行人等待，则高速越过斑马线的车辆为没有遵守车让人规定的违规车辆；7)对违规的车辆进行车牌识别。
中国发明专利申请号为201410630320.5公开了机动车斑马线未礼让行人自动抓拍的识别方法，该方法包括系统管理子系统，用于配置和管理机动车斑马线未礼让行人的自动抓拍；图像采集子系统，用于采集斑马线和机动车道区域的图像数据；违章抓拍子系统，在斑马线区域对未礼让行人的机动车进行抓拍和取证；数据存储子系统，用于保存原始图像及抓拍的违章图像和视频；网络传输子系统，用于将抓拍的图像和视频数据上传至交警平台或服务器。
中国发明专利申请号为201210040225.0公开了机动车斑马线不礼让行人行为抓拍系统及其方法，该方法，包括：行人图像采集单元，用于采集斑马线上的行人图像；机动车图像采集单元，用于采集经过斑马线的机动车道上的机动车图像；行人检测单元，用于检测行人图像中的行人人数；机动车检测与抓拍单元，用于根据机动车图像采集单元所采集的机动车图像实时检测机动车，当检测到有机动车位于斑马线上且行人人数大于或等于预定门限时，从机动车图像中提取至少三张取证照片。
上述视觉检测技术属于前深度学习时代的视觉检测技术，存在着检测精度和检测鲁棒性不高的问题。此外，上述几个专利内容只是披露了一些技术概要，实际应用中尚有很多技术细节和关键问题尚未涉及，尤其是针对《道路交通安全法》的各种细节问题的解决方案。
最近几年深度学习在计算机视觉领域的技术得到了迅速的发展,深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息,更全面直接地获取图像特征。数字图像是以矩阵来描述的,卷积神经网络更好地从局部信息块出发,进而描述图像的整体结构,故在计算机视觉领域,深度学习方法中大多采用卷积神经网络来解决问题。回绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，Faster R-CNN到Fasterer R-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于斑马线车辆不礼让行人视觉检测将是一个非常有实际应用价值的研究领域。
当人类的视觉系统在感知运动目标时，运动目标会在视觉系统的成像平面上形成一种均匀变化的图像流，称之为光流。光流表达了图像像素随时间的变化快慢程度，是一个图像序列中的图像灰度模式的表观运动，是空间运动物体的被观测表面上的像素点运动的瞬时速度场。光流法的优点在于提供了运动目标的相对运动速度、运动姿势位置以及表面纹理结构等丰富信息，而且能够在不知道场景任何信息的情况下，甚至复杂场景下，也能检测到运动目标。因此，在检测出道路上的运动对象后，可以用光流法来识别运动对象的运行方向和运动速度。
发明内容
为了克服已有斑马线上车辆不礼让行人行为的视觉检测方式的检测精度较低、检测鲁棒性不高的不足，本发明提供一种检测精度较高、鲁棒性较高的基于多任务深度卷积神经网络的斑马线上车辆不礼让行人行为的视觉检测系统。
本发明解决其技术问题所采用的技术方案是：
一种斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：包括安装在覆盖整个斑马线区域的监控摄像机、用于抓拍上行道路和下行道路上的车辆图像的高清抓拍摄像机、交通云服务器和用于检测在斑马线上车辆不礼让行人行为的视觉检测子系统；
所述的监控摄像机用于获取整个斑马线区域内的视频数据，配置在斑马线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；
所述的视觉检测子系统包括斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；
所述的不礼让行人行为检测模块用于根据道路交通安全法的规定检测在斑马线上车辆不礼让行人的行为，包括：过斑马线的行人检测单元、斑马线附近的车辆检测单元、光流法运动对象检测单元、过斑马线的行人行走方向识别单元、礼让车道计算单元、斑马线附近的车辆行驶速度检测单元和违规车辆判定单元；
所述的高清抓拍摄像机用于抓拍不礼让行人行为的车辆图像，配置在行车线的前上方，当检测到有车辆不礼让行人行为时，启动所述的高清抓拍摄像机连续抓拍该车辆图像并传输给所述的交通云服务器；
所述的交通云服务器用于接收从所述的监控摄像机所获得的整个斑马线区域内的视频数据，并将其递交给所述的视觉检测子系统进行不礼让行人行为检测并对违规车辆进行身份识别；将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存。
进一步，所述的斑马线区域检测模块用于检测出在所述的摄像机1的视场内的斑马线区域以及车道线，该模块运行于系统开始运行时期，采用Faster R-CNN检测和定位出道路上的斑马线区域和车道线；一旦检测结束就得到了车辆不礼让行人行为的关注区域以及车道线，然后将关注区域按车道线划分为若干子区域，每个子区域都与车道相对应；如果上下行道路上共有6个车道，从上行方向开始有1车道、2车道、3车道；到下行方向有4车道、5车道和6车道；
所述的过斑马线的行人检测单元用于检测在所述的斑马线区域检测模块中检测得到的关注区域内检测行人并确定其空间位置；如果没有行人对象，就设置一个标志FFree＝1；如果有超过设定人数(5人)的行人且分布在不同车道区域，就设置一个标志FStop＝1；反之就设置一个标志FPedestrians＝1；接着用光流法计算行人的行走方向，然后根据行人所处的空间位置确定其处在哪个车道区域内；接着，根据行人的行走方向及所处的区域位置确定礼让的车道；行人的视觉检测采用Faster R-CNN深度卷积神经网络；
再进一步，所述的斑马线附近的车辆检测单元用于检测在斑马线上及附近的车辆；首先检查标志，当F Free＝1时，不对车辆进行检测，直接跳过结束检测；反之，采用Faster R-CNN深度卷积神经网络检测出斑马线上及附近的所有车辆并得到其空间位置；当标志F Stop＝1时，表明所有车道都必须礼让行人，用光流法分别计算车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆；当FPedestrians＝1时，根据礼让车道的信息；检查在礼让车道上的车辆运行状态，采用光流法计算该车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆。
更进一步，所述的斑马线区域检测模块、所述的过斑马线的行人检测单元和所述的斑马线附近的车辆检测单元共享同一个Faster R-CNN的深度卷积神经网络；
这里行人、车辆和道路上的斑马线区域及车道线分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Faster R-CNN行人、车辆、斑马线区域和车道线目标检测网络，检测单元结构图如图1所示。
选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分。为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上。每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值。这个向量输出给两个同级的全连接的层。
在每一个滑动窗口的位置，同时预测k个建议区域，所以位置回归层有4k个输出，即k个包围盒的坐标编码。分类层输出2k个包围盒的得分，即对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层，还可以用logistic回归来生成k个得分。k个建议框被相应的k个称为anchor的建议框参数化。每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor。例如，对于大小为w×h的卷积特征映射，则总共有w×h×k个anchor。RPN网络结构图如图2所示。
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标。然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor。注意到一个GT包围盒可能给多个anchor分配正标签。分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor。非正非负的anchor对训练目标没有任何作用，则弃用。
有了这些定义，遵循Faster R-CNN中的多任务损失，最小化目标函数。对一个图像的损失函数定义为：
这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg＝2,400，分类损失函数Lcls是五个类别，即车辆目标、行人目标、斑马线区域、车道线vs.道路背景的对数损失：
对于回归损失函数Lreg，用以下函数定义：
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L1；
式中，smoothL1为smooth L1损失函数，x为变量；
Faster R-CNN网络结构如图3所示，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层。该层是只有一级空间“金字塔”池化的过程。输入是N个特征映射和R个RoI。N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c。每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽。输出则由最大池化得到的特征映射。该层的作用主要有两个，一是将原图中的RoI与特征图中的块对应起来；另一个是将特征图下采样为固定大小，然后再传入全连接。
优选的，选择性搜索网络与检测网络的权值共享：选择性搜索网络和Faster R-CNN都是独立训练的，要用不同方式修改它们的卷积层。因此需要采用一种允许两个网络间共享卷积层的技术，而不是分别学习两个网络。发明中使用一种实用的4步训练算法，通过交替优化来学习共享的特征。第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务。第二步，利用第一步的RPN生成的建议框，由FasterR-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层。第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了。第四步，保持共享的卷积层固定，微调Faster R-CNN的fc，即全连接层。这样，两个网络共享相同的卷积层，构成一个统一的网络。
考虑到对象的多尺度的问题，对于特征图上的每一个特征点采用三种简单的尺度，包围盒的面积分别为128×128、256×256、512×512和三种长宽比，分别为1:1、1:2、2:1。通过这种设计，就不再需要多尺度特征或者多尺度滑动窗口来预测大的区域，能达到节省大量运行时间的效果。
通过上述两个网络的处理，检测出一帧视频图像中的行人、车辆、斑马线和车道线并对它们的大小及空间位置进行了框定，即得到了行人、车辆、斑马线和车道线的大小及空间位置，其rp,cp是行人在图像中的左上角坐标，hp,wp分别是行人在图像平面的投影大小，即高和宽；其rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；其rz,cz是斑马线区域在图像中的左上角坐标，hz,wz分别是斑马线区域在图像平面的投影大小，即高和宽；其ry,cy是道路上的车道线在图像中的左上角坐标，hy,wy分别是道路上的车道线在图像平面的投影大小，即高和宽；接着需要判定和识别行人的行走方向和车辆的行驶方向和车速；
由于本发明中所关注的对象是行人、车辆、斑马线区域和车道线，即感兴趣对象，以下简称RoI，为了定位和分割出道路上的各种RoI，需要在学习和训练卷积神经网络时，将各种行人、车辆、斑马线区域和车道线以及道路背景图像分别标上相对应的标签进行训练；这样通过Faster R-CNN深度卷积神经网络就能自动分割定位出行人、车辆、斑马线区域和车道线感兴趣区域；
再进一步，所述的光流法运动对象检测单元用于检测道路上的车辆对象和行人对象的运动方向及运动速度；当道路场景中的运动对象对应于二维图像平面运动时，这些运动对象在二维图像平面的投影就形成了运动，这种运动以图像平面亮度模式表现出来的流动就称为光流。光流法是对运动序列图像进行分析的一个重要方法，光流中包含图像中车辆对象和行人对象目标的运动信息；
采用一种基于金字塔模型的Lucas-Kanade光流稀疏迭代法；下面先介绍图像的金字塔表示法，假设图像I的大小为nx×ny。定义I0表示第0层图像，第0层图像为分别率最高的图像，即原始图像，这一层图像的宽和高为和然后采用一种递归的方式来描述金字塔表示法：通过IL-1来计算IL(L＝1，2，…)。IL-1表示金字塔L-1层的图像，IL表示金字塔L层的图像，假设图像IL-1的宽和高为和那么图像IL表示为
为了简化公式，将图像的边界点的值定义如下，
公式(5)定义的点必须满足条件因此图像IL的宽和高需要满足公式(6)，
通过公式(5)和(6)来构建图像I的金字塔模型{IL}L＝0,…,Lm。Lm为金字塔模型的高度，Lm一般取2，3或4。对于一般的图像Lm大于4就没有意义了。以640×480大小的图像为例，其金字塔模型的第1，2，3，4层图像大小分别为320×240，160×120，80×60，40×30；
基于金字塔模型的LK光流计算法，首先在图像金字塔模型的最顶层k层搜索特征点的匹配点，然后以k层的计算结果作为k-1层的初始估计值在图像金字塔模型中的第k-1层搜索匹配点，周而复始一直迭代到图像金字塔模型的第0层，从而计算得到该特征点的光流；
光流法的检测目标是：在前后两帧图像I和J中，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，或找出它的偏移向量d，用公式(7)进行计算；
v＝u+d＝[ux+dx uy+dy]T (7)
式中，u为图像I中的某个像素点，v为图像J中与之相匹配的像素点，d为两者之间的偏移向量；
首先，建立图像I和J的金字塔模型{IL}L＝0,…,Lm和{JL}L＝0,…,Lm；然后计算像素点u在图像I各金字塔层中位置接着通过一个搜索窗口在图像J的金字塔模型最高层图像ILm中计算uLm的匹配点vLm，并计算偏移向量dLm。
接下来用迭代的方式描述基于金字塔模型的光流法；假设已经知道金字塔模型第L+1层的偏移向量dL+1。那么将2dL+1作为第L层的初始值，用在附近搜索第L层的匹配点vL；进而得到第L层的偏移向量dL；
经过迭代计算每一层的偏移向量dL(L＝0,...,Lm)后，该像素点的最终光流为
式中，d为某一像素点的光流值，dL为某一像素点在第L层的光流值；
所述的过斑马线的行人行走方向识别单元用于识别过斑马线或者准备过斑马线线的行人的行走方向，根据所述的过斑马线的行人检测单元检测到正在或者准备过斑马线的行人对象在斑马线区域所占的空间位置信息，即在二维图像平面上得到了每个行人对象的框，每个框都有四个数据表达，左上角的位置rp,cp及长度和宽度hp,wp；这里计算每个框内所有特征点光流向量的平均值，用公式(9)进行计算，
式中，为某框内的光流向量的平均值，di为某框内的某一特征像素点的光流向量值，n为某框内的特征像素点的数量；
计算得到某框内的光流向量的平均值后，如果该值大于某一阈值Tp，将该行人框的光流向量的方向作为行人的行走方向；
所述的礼让车道计算单元用于根据行人在斑马线上的位置及行走方向来确定车辆必须礼让的车道；在所述的斑马线区域检测模块中已经确定和命名了在斑马线区域内的车道编号，若行人是从道路上的行车的上行方向到下行方向行走，那么车道编号是递增的，这里称为行人的上行方向；反之车道编号是递减的，这里称为行人的下行方向；根据道路交通安全法的规定，机动车行经单向两条以上车道的斑马线，如果行人已经通过了第一条车道，进入第二、三条车道，停在第一条车道的机动车在确保安全的情况下，可以慢速安全通过，不必等行人走完整条斑马线；而二、三条车道上的车，如果不停车等待就属违法；此时，如果同向行驶的车正在停车礼让行人，其他并行车辆驾驶员一定要停车礼让，千要不能超车通过，否则也属于违法；如果见到行人从对向车道走来，距离行人最近的车道上的车辆应该停车让行，否则就是违法；按照这个规则，如行人行走方向为上行并处在车道编号为1的车道上，那么车道编号1和车道编号2为礼让车道，…；计算时，以行人现在所处的车道为基础，上行方向做加法，下行方向做减法，这样就得到了必须礼让的车道编号；对于多个行人的情况，分别求得每个行人的必须礼让的车道编号，然后做或运算得到所有行人的必须礼让的车道编号；
所述的斑马线附近的车辆行驶速度检测单元用于检测必须礼让的车道编号上车辆的运行状态；在所述的礼让车道计算单元中计算得到了必须礼让的车道编号，根据这些编号车道去找该车道上是否存在着车辆对象，在所述的斑马线附近的车辆检测单元中已经得到了车辆在图像中的位置及大小信息，其中rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；这里计算每个框内所有特征点光流向量的平均值，用公式(9)进行计算，
式中，为某框内的光流向量的平均值，di为某框内的某一特征像素点的光流向量值，n为某框内的特征像素点的数量；
计算得到某框内的光流向量的平均值后，如果该值大于某一阈值Tv，将该车辆作为疑似违规车辆，将标志F I,Illegal加1，并启动录像，保存在以地点+时间命名的文件夹中内；反之将标志F I,Illegal设置为0；标志中的i表示的车道编号；
所述的违规车辆判定单元用于最后确认有不礼让行人行为的发生，做法是分别检查标志F I,Illegal的值，如果存在着一个或者一个以上的标志F I,Illegal的值大于等于3，也就是说连续3次都检测为疑似违规就确认有不礼让行人行为，这时车道编号i来启动所述的不礼让行人行为的车辆图像抓拍模块对不礼让行人行为的车辆进行抓拍，如车道编号1、2、3为上行车道，启动第一高清抓拍摄像机，车道编号4、5、6为下行车道，启动第二高清抓拍摄像机，连续抓拍3次，保存在以地点+时间命名的文件夹中内；
所述的不礼让行人行为的车辆图像抓拍模块用于抓拍不礼让行人行为的车辆图像，根据标志F I,Illegal中的i值来确定用上行道路的第一高清抓拍摄像机还是下行道路的第二高清抓拍摄像机来进行抓拍，每隔2秒抓拍一张，共抓拍3张图像；
所述的车辆类型识别模块用于对违规车辆类型进行识别，以提高违章车辆身份识别能力以及自动化处理交通违法事件的水平；这里采用多任务深度卷积神经网络技术，在所述的Faster R-CNN网络中再添加一个中心损失函数与一个softmax损失函数，实现中心损失函数与softmax损失函数的联合监控，通过softmax输出得到违规车辆的品牌、系列、车身颜色信息；所述的车辆类型识别模块采用非实时的计算方式，当所述的所述的违规车辆判定单元判定有不礼让行人车辆后，启动一个线程，读取以地点+时间命名的文件夹中内的三幅抓拍违规车辆的图像，分别对其进行车辆定位及类型识别；
所述的车牌定位和识别模块用于识别违规车辆的身份，以进一步提高违规车辆身份识别能力以及自动化处理交通违法事件的水平；这里采用多任务深度卷积神经网络技术，当所述的违规车辆判定单元判定有不礼让行人行为的车辆后，启动一个线程，利用所述的车辆类型识别模块分割定位出来的车辆对象图像上再对该车辆的车牌位置进行定位，得到车牌的图像，接着对车牌图像进行识别，识别出违规车辆的车牌号；
所述的违规检测报告生成模块用于自动生成对违规车辆进行处罚的报告，根据所述的车辆类型识别模块处理得到的违章车辆的车型、品牌、系列、车身颜色信息、所述的车牌定位和识别模块得到的违章车辆的车牌号，然后根据这些信息访问车辆管理所的车辆登记数据库，比对识别的车辆身份信息与登记的车辆身份信息是否一致，如果一致就自动生成违规车辆进行处罚的报告；如果不一致，将该信息推送给管理人员，进一步进行确认；报告中的内容包括：三幅违章时抓拍的图像、不礼让行人行为过程的视频图像、车辆身份信息、违章地点和时间。
本发明实现在斑马线上车辆不礼让行人行为的视觉检测，其关键核心内容包括：斑马线区域的检测、过斑马线的行人和行走方向的检测、斑马线附近的车辆检测及车辆行驶速度检测、不礼让行人的车辆图像的抓拍及车牌识别、车辆不礼让行人行为过程的录像。
本发明的有益效果主要表现在：检测精度高、鲁棒性高和自动化程度高，对不礼让行人的驾驶员有强大的威慑作用，为彻底贯彻实施道路交通安全法奠定了技术基础，有效的保障了行人在斑马线上行走的安全性。
附图说明
图1为Fast R-CNN结构图；
图2为选择性搜索网络图；
图3为Faster R-CNN结构图；
图4为Faster R-CNN多任务不礼让行人行为的视觉检测网络结构图；
图5为斑马线礼让行人图例以及监控不礼让行人行为的摄像机的配置说明图；
图6为基于Faster R-CNN多任务Faster R-CNN深度卷积网络的不礼让行人行为视觉检测流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图6，一种斑马线车辆不礼让行人行为的视觉检测系统，包括安装在覆盖整个斑马线区域的监控摄像机1、用于抓拍上行道路上车辆图像的第一高清抓拍摄像机2、用于抓拍下行道路上车辆图像的第二高清抓拍摄像机3、交通云服务器和在斑马线上车辆不礼让行人行为的视觉检测系统；
所述的监控摄像机1用于获取整个斑马线区域内的视频数据，配置在斑马线的上方，如图5所示，通过网络将道路上的视频图像数据传输给所述的交通云服务器；
作为一种优选方案，所述的监控摄像机1采用全景摄像机；
所述的第一高清抓拍摄像机2和所述的第二高清抓拍摄像机3用于抓拍不礼让行人行为的车辆图像，配置在行车线的前上方，如图5所示；当检测到有车辆不礼让行人行为时，启动所述的一高清抓拍摄像机2和所述的第二高清抓拍摄像机3连续抓拍该车辆图像并传输给所述的交通云服务器；
所述的交通云服务器用于接收从所述的监控摄像机1所获得的整个斑马线区域内的视频数据，并将其递交给所述的在斑马线上车辆不礼让行人行为的视觉检测系统进行不礼让行人行为检测并对违规车辆进行身份识别，如果检测到有不礼让行人行为的发生就保存整个不礼让行人行为的过程视频图像，然后启动所述的第一高清抓拍摄像机2或者第二高清抓拍摄像机3连续抓拍该车辆图像，接着，对该车辆图像进行分割定位，提取出该图像中的车辆图像并进行车型、品牌、系列、车身颜色识别；进一步，在车辆图像上提取出该车辆图像中的车牌部分图像并进行车牌识别，最后将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存在云服务器中，以便对不礼让行人行为的车辆的车主进行警告和处罚，从而杜绝不礼让行人违规行为的发生；
考虑到系统的计算压力，另一种方案是将违规车辆身份识别及违规报告生成独立出来，整个处理流程如图6所示，属于离线处理方式；
所述的在斑马线上车辆不礼让行人行为的视觉检测系统包括：斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；
所述的不礼让行人行为检测模块用于根据道路交通安全法的规定检测在斑马线上车辆不礼让行人的行为，包括：过斑马线的行人检测单元、斑马线附近的车辆检测单元、光流法运动对象检测单元、过斑马线的行人行走方向识别单元、礼让车道计算单元、斑马线附近的车辆行驶速度检测单元、违规车辆判定单元；
所述的斑马线区域检测模块用于检测出在所述的监控摄像机1的视场内的斑马线区域以及车道线，该模块运行于系统开始运行时期，采用Faster R-CNN检测和定位出道路上的斑马线区域和车道线；一旦检测结束就得到了车辆不礼让行人行为的关注区域以及车道线，然后将关注区域按车道线划分为若干子区域，每个子区域都与车道相对应；为了方便计算，如果上下行道路上共有6个车道，从上行方向开始有1车道、2车道、3车道；到下行方向有4车道、5车道和6车道，如图5所示；
所述的过斑马线的行人检测单元用于检测在所述的斑马线区域检测模块中检测得到的关注区域内检测行人并确定其空间位置；如果没有行人对象，就设置一个标志FFree＝1；如果有超过5人以上的行人且分布在不同车道区域，就设置一个标志F Stop＝1；反之就设置一个标志F Pedestrians＝1；接着用光流法计算行人的行走方向，然后根据行人所处的空间位置确定其处在哪个车道区域内；接着，根据行人的行走方向及所处的区域位置确定礼让的车道；行人的视觉检测采用Faster R-CNN深度卷积神经网络；
所述的斑马线附近的车辆检测单元用于检测在斑马线上及附近的车辆；首先检查标志，当F Free＝1时，不对车辆进行检测，直接跳过结束检测；反之，采用Faster R-CNN深度卷积神经网络检测出斑马线上及附近的所有车辆并得到其空间位置；当标志F Stop＝1时，表明所有车道都必须礼让行人，用光流法分别计算车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆；当F Pedestrians＝1时，根据礼让车道的信息；检查在礼让车道上的车辆运行状态，具体用光流法计算该车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆；
所述的斑马线区域检测、所述的过斑马线的行人检测和所述的斑马线附近的车辆检测都共享同一个Faster R-CNN的深度卷积神经网络；
这里行人、车辆和道路上的斑马线区域及车道线分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Faster R-CNN行人、车辆、斑马线区域和车道线目标检测网络，检测单元结构图如图1所示。
选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分。为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上。每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值。这个向量输出给两个同级的全连接的层。
在每一个滑动窗口的位置，同时预测k个建议区域，所以位置回归层有4k个输出，即k个包围盒的坐标编码。分类层输出2k个包围盒的得分，即对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层，还可以用logistic回归来生成k个得分。k个建议框被相应的k个称为anchor的建议框参数化。每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor。例如，对于大小为w×h的卷积特征映射，则总共有w×h×k个anchor。RPN网络结构图如图2所示。
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标。然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor。注意到一个GT包围盒可能给多个anchor分配正标签。分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor。非正非负的anchor对训练目标没有任何作用，则弃用。
有了这些定义，遵循Faster R-CNN中的多任务损失，最小化目标函数。对一个图像的损失函数定义为：
这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg＝2,400，分类损失函数Lcls是五个类别，即车辆目标、行人目标、斑马线区域、车道线vs.道路背景的对数损失：
对于回归损失函数Lreg，用以下函数定义：
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L1；
式中，smoothL1为smooth L1损失函数，x为变量；
Faster R-CNN网络结构如图3所示，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层。该层是只有一级空间“金字塔”池化的过程。输入是N个特征映射和R个RoI。N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c。每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽。输出则由最大池化得到的特征映射。该层的作用主要有两个，一是将原图中的RoI与特征图中的块对应起来；另一个是将特征图下采样为固定大小，然后再传入全连接。
选择性搜索网络与检测网络的权值共享：选择性搜索网络和Faster R-CNN都是独立训练的，要用不同方式修改它们的卷积层。因此需要采用一种允许两个网络间共享卷积层的技术，而不是分别学习两个网络。发明中使用一种实用的4步训练算法，通过交替优化来学习共享的特征。第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务。第二步，利用第一步的RPN生成的建议框，由Faster R-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层。第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了。第四步，保持共享的卷积层固定，微调Faster R-CNN的fc，即全连接层。这样，两个网络共享相同的卷积层，构成一个统一的网络。
考虑到对象的多尺度的问题，对于特征图上的每一个特征点采用三种简单的尺度，包围盒的面积分别为128×128、256×256、512×512和三种长宽比，分别为1:1、1:2、2:1。通过这种设计，就不再需要多尺度特征或者多尺度滑动窗口来预测大的区域，能达到节省大量运行时间的效果。
通过上述两个网络的处理，检测出一帧视频图像中的行人、车辆、斑马线和车道线并对它们的大小及空间位置进行了框定，即得到了行人、车辆、斑马线和车道线的大小及空间位置，其rp,cp是行人在图像中的左上角坐标，hp,wp分别是行人在图像平面的投影大小，即高和宽；其rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；其rz,cz是斑马线区域在图像中的左上角坐标，hz,wz分别是斑马线区域在图像平面的投影大小，即高和宽；其ry,cy是道路上的车道线在图像中的左上角坐标，hy,wy分别是道路上的车道线在图像平面的投影大小，即高和宽；接着需要判定和识别行人的行走方向和车辆的行驶方向和车速；
由于本发明中所关注的对象是行人、车辆、斑马线区域和车道线，即感兴趣对象，以下简称RoI，为了定位和分割出道路上的各种RoI，需要在学习和训练卷积神经网络时，将各种行人、车辆、斑马线区域和车道线以及道路背景图像分别标上相对应的标签进行训练；这样通过Faster R-CNN深度卷积神经网络就能自动分割定位出行人、车辆、斑马线区域和车道线感兴趣区域，共享同一个Faster R-CNN深度卷积神经网络，如图4所示，属于多任务的Faster R-CNN深度卷积神经网络技术；
再进一步，所述的光流法运动对象检测单元用于检测道路上的车辆对象和行人对象的运动方向及运动速度；当道路场景中的运动对象对应于二维图像平面运动时，这些运动对象在二维图像平面的投影就形成了运动，这种运动以图像平面亮度模式表现出来的流动就称为光流。光流法是对运动序列图像进行分析的一个重要方法，光流中包含图像中车辆对象和行人对象目标的运动信息；
本发明采用一种基于金字塔模型的Lucas-Kanade光流稀疏迭代法；下面先介绍图像的金字塔表示法，假设图像I的大小为nx×ny。定义I0表示第0层图像，第0层图像为分别率最高的图像，即原始图像，这一层图像的宽和高为和然后我们用一种递归的方式来描述金字塔表示法：我们通过IL-1来计算IL(L＝1，2，…)。IL-1表示金字塔L-1层的图像，IL表示金字塔L层的图像。假设图像IL-1的宽和高为和那么图像IL可以表示为
为了简化公式，我们将图像的边界点的值定义如下，
公式(5)定义的点必须满足条件因此图像IL的宽和高需要满足公式(6)，
通过公式(5)和(6)来构建图像I的金字塔模型{IL}L＝0,…,Lm。Lm为金字塔模型的高度，Lm一般取2，3或4。对于一般的图像Lm大于4就没有意义了。以640×480大小的图像为例，其金字塔模型的第1，2，3，4层图像大小分别为320×240，160×120，80×60，40×30；
基于金字塔模型的LK光流计算法，首先在图像金字塔模型的最顶层k层搜索特征点的匹配点，然后以k层的计算结果作为k-1层的初始估计值在图像金字塔模型中的第k-1层搜索匹配点，周而复始一直迭代到图像金字塔模型的第0层，从而计算得到该特征点的光流；
光流法的检测目标是：在前后两帧图像I和J中，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，或找出它的偏移向量d，用公式(7)进行计算；
v＝u+d＝[ux+dx uy+dy]T (7)
式中，u为图像I中的某个像素点，v为图像J中与之相匹配的像素点，d为两者之间的偏移向量；
首先，建立图像I和J的金字塔模型{IL}L＝0,…,Lm和{JL}L＝0,…,Lm；然后计算像素点u在图像I各金字塔层中位置接着通过一个搜索窗口在图像J的金字塔模型最高层图像ILm中计算uLm的匹配点vLm，并计算偏移向量dLm。
接下来我们用迭代的方式描述基于金字塔模型的光流法；假设已经知道金字塔模型第L+1层的偏移向量dL+1。那么将2dL+1作为第L层的初始值，用在附近搜索第L层的匹配点vL；进而得到第L层的偏移向量dL；
经过迭代计算每一层的偏移向量dL(L＝0,...,Lm)后，该像素点的最终光流为
式中，d为某一像素点的光流值，dL为某一像素点在第L层的光流值；
所述的过斑马线的行人行走方向识别单元用于识别过斑马线或者准备过斑马线线的行人的行走方向，根据所述的过斑马线的行人检测单元检测到正在或者准备过斑马线的行人对象在斑马线区域所占的空间位置信息，即在二维图像平面上得到了每个行人对象的框，每个框都有四个数据表达，左上角的位置rp,cp及长度和宽度hp,wp；这里计算每个框内所有特征点光流向量的平均值，用公式(9)进行计算，
式中，为某框内的光流向量的平均值，di为某框内的某一特征像素点的光流向量值，n为某框内的特征像素点的数量；
计算得到某框内的光流向量的平均值后，如果该值大于某一阈值Tp，将该行人框的光流向量的方向作为行人的行走方向；
所述的礼让车道计算单元用于根据行人在斑马线上的位置及行走方向来确定车辆必须礼让的车道；在所述的斑马线区域检测模块中已经确定和命名了在斑马线区域内的车道编号，若行人是从道路上的行车的上行方向到下行方向行走，那么车道编号是递增的，这里称为行人的上行方向；反之车道编号是递减的，这里称为行人的下行方向；根据道路交通安全法的规定，如图5(a)所示，机动车行经单向两条以上车道的斑马线，如果行人已经通过了第一条车道，进入第二、三条车道，停在第一条车道的机动车在确保安全的情况下，可以慢速安全通过，不必等行人走完整条斑马线；而二、三条车道上的车，如果不停车等待就属违法；此时，如果同向行驶的车正在停车礼让行人，其他并行车辆驾驶员一定要停车礼让，千要不能超车通过，否则也属于违法；如果见到行人从对向车道走来，距离行人最近的车道上的车辆应该停车让行，否则就是违法；按照这个规则，如行人行走方向为上行并处在车道编号为1的车道上，那么车道编号1和车道编号2为礼让车道，…；计算时，以行人现在所处的车道为基础，上行方向做加法，下行方向做减法，这样就得到了必须礼让的车道编号；对于多个行人的情况，分别求得每个行人的必须礼让的车道编号，然后做或运算得到所有行人的必须礼让的车道编号；
所述的斑马线附近的车辆行驶速度检测单元用于检测必须礼让的车道编号上车辆的运行状态；在所述的礼让车道计算单元中计算得到了必须礼让的车道编号，根据这些编号车道去找该车道上是否存在着车辆对象，在所述的斑马线附近的车辆检测单元中已经得到了车辆在图像中的位置及大小信息，其中rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；这里计算每个框内所有特征点光流向量的平均值，用公式(9)进行计算，
式中，为某框内的光流向量的平均值，di为某框内的某一特征像素点的光流向量值，n为某框内的特征像素点的数量；
计算得到某框内的光流向量的平均值后，如果该值大于某一阈值Tv，将该车辆作为疑似违规车辆，将标志F I,Illegal加1，并启动录像，保存在以地点+时间命名的文件夹中内；反之将标志F I,Illegal设置为0；标志中的i表示的车道编号；
所述的违规车辆判定单元用于最后确认有不礼让行人行为的发生，具体做法是分别检查标志F I,Illegal的值，如果存在着一个或者一个以上的标志F I,Illegal的值大于等于3，也就是说连续3次都检测为疑似违规就确认有不礼让行人行为，这时车道编号i来启动所述的不礼让行人行为的车辆图像抓拍模块对不礼让行人行为的车辆进行抓拍，如车道编号1、2、3为上行车道，启动所述的第一高清抓拍摄像机2，车道编号4、5、6为下行车道，启动所述的第二高清抓拍摄像机3，连续抓拍3次，保存在以地点+时间命名的文件夹中内；
所述的不礼让行人行为的车辆图像抓拍模块用于抓拍不礼让行人行为的车辆图像，根据标志F I,Illegal中的i值来确定用上行道路的第一高清抓拍摄像机2还是下行道路的第二高清抓拍摄像机3来进行抓拍，每隔2秒抓拍一张，共抓拍3张图像；
所述的车辆类型识别模块用于对违规车辆类型进行识别，以提高违章车辆身份识别能力以及自动化处理交通违法事件的水平；这里采用多任务深度卷积神经网络技术，在所述的Faster R-CNN网络中再添加一个中心损失函数与一个softmax损失函数，实现中心损失函数与softmax损失函数的联合监控，通过softmax输出得到违规车辆的品牌、系列、车身颜色信息；所述的车辆类型识别模块采用非实时的计算方式，当所述的所述的违规车辆判定单元判定有不礼让行人车辆后，启动一个线程，读取以地点+时间命名的文件夹中内的三幅抓拍违规车辆的图像，分别对其进行车辆定位及类型识别；
所述的车牌定位和识别模块用于识别违规车辆的身份，以进一步提高违规车辆身份识别能力以及自动化处理交通违法事件的水平；这里采用多任务深度卷积神经网络技术，当所述的违规车辆判定单元判定有不礼让行人行为的车辆后，启动一个线程，利用所述的车辆类型识别模块分割定位出来的车辆对象图像上再对该车辆的车牌位置进行定位，得到车牌的图像，接着对车牌图像进行识别，识别出违规车辆的车牌号；
违规检测报告生成模块用于自动生成对违规车辆进行处罚的报告，根据所述的车辆类型识别模块处理得到的违章车辆的品牌、系列、车身颜色信息、所述的车牌定位和识别模块得到的违章车辆的车牌号，然后根据这些信息访问车辆管理所的车辆登记数据库，比对识别的车辆身份信息与登记的车辆身份信息是否一致，如果一致就自动生成违规车辆进行处罚的报告；如果不一致，将该信息推送给管理人员，进一步进行确认；报告中的内容包括：三幅违章时抓拍的图像、不礼让行人行为过程的视频图像、车辆身份信息、违章地点和时间。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：包括安装在覆盖整个斑马线区域的监控摄像机、用于抓拍上行道路和下行道路上的车辆图像的高清抓拍摄像机、交通云服务器和用于检测在斑马线上车辆不礼让行人行为的视觉检测子系统；
所述的监控摄像机用于获取整个斑马线区域内的视频数据，配置在斑马线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；
所述的视觉检测子系统包括斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；
所述的不礼让行人行为检测模块用于根据道路交通安全法的规定检测在斑马线上车辆不礼让行人的行为，包括：过斑马线的行人检测单元、斑马线附近的车辆检测单元、光流法运动对象检测单元、过斑马线的行人行走方向识别单元、礼让车道计算单元、斑马线附近的车辆行驶速度检测单元和违规车辆判定单元；
所述的高清抓拍摄像机用于抓拍不礼让行人行为的车辆图像，配置在行车线的前上方，当检测到有车辆不礼让行人行为时，启动所述的高清抓拍摄像机连续抓拍该车辆图像并传输给所述的交通云服务器；
所述的交通云服务器用于接收从所述的监控摄像机所获得的整个斑马线区域内的视频数据，并将其递交给所述的视觉检测子系统进行不礼让行人行为检测并对违规车辆进行身份识别；将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存。
2.如权利要求1所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的斑马线区域检测模块用于检测出在所述的监控摄像机的视场内的斑马线区域以及车道线，该模块运行于系统开始运行时期，采用Faster R-CNN检测和定位出道路上的斑马线区域和车道线；一旦检测结束就得到了车辆不礼让行人行为的关注区域以及车道线，然后将关注区域按车道线划分为若干子区域，每个子区域都与车道相对应。
3.如权利要求2所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的过斑马线的行人检测单元用于检测在所述的斑马线区域检测模块中检测得到的关注区域内检测行人并确定其空间位置；采用Faster R-CNN检测和定位出道路上的斑马线区域内的行人对象；如果没有行人对象，就设置一个标志FFree＝1；如果有超过设定人数的行人且分布在不同车道区域，就设置一个标志FStop＝1；反之就设置一个标志FPedestrians＝1；接着用光流法计算行人的行走方向，然后根据行人所处的空间位置确定其处在哪个车道区域内；接着，根据行人的行走方向及所处的区域位置确定礼让的车道；行人的视觉检测采用Faster R-CNN深度卷积神经网络。
4.如权利要求3所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的斑马线附近的车辆检测单元用于检测在斑马线上及附近的车辆；首先检查标志，当FFree＝1时，不对车辆进行检测，直接跳过结束检测；反之，采用Faster R-CNN深度卷积神经网络检测出斑马线上及附近的所有车辆并得到其空间位置；当标志FStop＝1时，表明所有车道都必须礼让行人，用光流法分别计算车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆；当FPedestrians＝1时，根据礼让车道的信息；检查在礼让车道上的车辆运行状态，具体用光流法计算该车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆。
5.如权利要求4所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的斑马线区域检测模块、所述的过斑马线的行人检测单元和所述的斑马线附近的车辆检测单元共享同一个Faster R-CNN的深度卷积神经网络，采用深度卷积神经网络快速分割出道路上的机动车辆和黄线并给出这些车辆和黄线在道路上所占的空间位置信息；
使用的斑马线区域、车道线、行人、车辆的分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Faster R-CNN斑马线区域、车道线、行人、车辆检测网络；
所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是斑马线区域、车道线、行人、车辆对象；
对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；
每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；
给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；
遵循Faster R-CNN中的多任务损失，最小化目标函数；对一个图像的损失函数定义为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mo>{</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>}</mo> <mo>,</mo> <mo>{</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>}</mo> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，Ncls是cls项的归一化值为mini-batch的大小，Nreg是reg项的归一化值为anchor位置的数量，分类损失函数Lcls是五个类别，即车辆目标、行人目标、斑马线区域、车道线与道路背景的对数损失：
<mrow> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mo>&amp;lsqb;</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
式中，Lcls为分类损失函数，Pi为anchor是第i目标的预测概率；Pi *为真正目标包围盒的第i目标的预测概率；
对于回归损失函数Lreg，用以下函数定义：
<mrow> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L1；
<mrow> <msub> <mi>smooth</mi> <mrow> <mi>L</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0.5</mn> <msup> <mi>x</mi> <mn>2</mn> </msup> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>&lt;</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>-</mo> <mn>0.5</mn> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> <mo>,</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
式中，smoothL1为smooth L1损失函数，x为变量；
Faster R-CNN网络，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是车辆目标、行人目标、斑马线区域、车道线；
对于Faster R-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；
每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；
输出则由最大池化得到的特征映射；将原图中的RoI与特征图中的块对应起来；将特征图下采样为固定大小，然后再传入全连接。
6.如权利要求5所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述选择性搜索网络和Fast R-CNN都是独立训练的，使用4步训练算法，通过交替优化来学习共享的特征；第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务；第二步，利用第一步的RPN生成的建议框，由Fast R-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层；第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了；第四步，保持共享的卷积层固定，微调Fast R-CNN的fc，即全连接层；这样，两个网络共享相同的卷积层，构成一个统一的网络；
通过上述两个网络的处理，检测出一帧视频图像中的车辆目标、行人目标、斑马线区域、车道线并对它们的大小及空间位置进行了框定，即得到了车辆目标、行人目标、斑马线区域、车道线的大小及空间位置；其rp,cp是行人在图像中的左上角坐标，hp,wp分别是行人在图像平面的投影大小，即高和宽；其rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；其rz,cz是斑马线区域在图像中的左上角坐标，hz,wz分别是斑马线区域在图像平面的投影大小，即高和宽；其ry,cy是道路上的车道线在图像中的左上角坐标，hy,wy分别是道路上的车道线在图像平面的投影大小，即高和宽。
7.如权利要求1～6之一所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的光流法运动对象检测单元用于检测道路上的车辆对象和行人对象的运动方向及运动速度；采用一种基于金字塔模型的Lucas-Kanade光流稀疏迭代法，假设图像I的大小为nx×ny。定义I0表示第0层图像，第0层图像为分别率最高的图像，即原始图像，这一层图像的宽和高为和 然后采用一种递归的方式来描述金字塔表示法：通过IL-1来计算IL，L＝1，2，…，IL-1表示金字塔L-1层的图像，IL表示金字塔L层的图像，假设图像IL-1的宽和高为和那么图像IL表示为
<mrow> <mtable> <mtr> <mtd> <mrow> <msup> <mi>I</mi> <mi>L</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>4</mn> </mfrac> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mn>2</mn> <mi>x</mi> <mo>,</mo> <mn>2</mn> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mn>1</mn> <mn>8</mn> </mfrac> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mi>y</mi> </mrow> <mo>)</mo> <mo>+</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mi>y</mi> </mrow> <mo>)</mo> <mo>+</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>,</mo> <mn>2</mn> <mi>y</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>,</mo> <mn>2</mn> <mi>y</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mn>1</mn> <mn>16</mn> </mfrac> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mi>y</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mi>y</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mi>y</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>,</mo> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mn>2</mn> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mi>y</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
将图像的边界点的值定义如下，
<mrow> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mover> <mo>=</mo> <mo>&amp;CenterDot;</mo> </mover> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mover> <mo>=</mo> <mo>&amp;CenterDot;</mo> </mover> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msubsup> <mi>n</mi> <mi>x</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mover> <mo>=</mo> <mo>&amp;CenterDot;</mo> </mover> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msubsup> <mi>n</mi> <mi>x</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <msubsup> <mi>n</mi> <mi>y</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mover> <mo>=</mo> <mo>&amp;CenterDot;</mo> </mover> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <msubsup> <mi>n</mi> <mi>y</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msubsup> <mi>n</mi> <mi>x</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>n</mi> <mi>y</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mover> <mo>=</mo> <mo>&amp;CenterDot;</mo> </mover> <msup> <mi>I</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msubsup> <mi>n</mi> <mi>x</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <mn>1</mn> <mo>,</mo> <msubsup> <mi>n</mi> <mi>y</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
公式(5)定义的点必须满足条件因此图像IL的宽和高需要满足公式(6)，
<mrow> <msubsup> <mi>n</mi> <mi>x</mi> <mi>L</mi> </msubsup> <mo>&amp;le;</mo> <mfrac> <mrow> <msubsup> <mi>n</mi> <mi>x</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> </mrow>
<mrow> <msubsup> <mi>n</mi> <mi>y</mi> <mi>L</mi> </msubsup> <mo>&amp;le;</mo> <mfrac> <mrow> <msubsup> <mi>n</mi> <mi>y</mi> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
通过公式(5)和(6)来构建图像I的金字塔模型{IL}L＝0,…,Lm，Lm为金字塔模型的高度；
基于金字塔模型的LK光流计算法，首先在图像金字塔模型的最顶层k层搜索特征点的匹配点，然后以k层的计算结果作为k-1层的初始估计值在图像金字塔模型中的第k-1层搜索匹配点，周而复始一直迭代到图像金字塔模型的第0层，从而计算得到该特征点的光流；
光流法的检测目标是：在前后两帧图像I和J中，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，或找出它的偏移向量d，用公式(7)进行计算；
v＝u+d＝[ux+dx uy+dy]T (7)
式中，u为图像I中的某个像素点，v为图像J中与之相匹配的像素点，d为两者之间的偏移向量；
首先，建立图像I和J的金字塔模型{IL}L＝0,…,Lm和{JL}L＝0,…,Lm；然后计算像素点u在图像I各金字塔层中位置L＝0,…,Lm；接着通过一个搜索窗口在图像J的金字塔模型最高层图像ILm中计算uLm的匹配点vLm，并计算偏移向量dLm；
接下来我们用迭代的方式描述基于金字塔模型的光流法；假设已经知道金字塔模型第L+1层的偏移向量dL+1。那么将2dL+1作为第L层的初始值，用在附近搜索第L层的匹配点vL；进而得到第L层的偏移向量dL；
经过迭代计算每一层的偏移向量dL(L＝0,...,Lm)后，该像素点的最终光流为
<mrow> <mi>d</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>L</mi> <mo>=</mo> <mn>0</mn> </mrow> <msub> <mi>L</mi> <mi>m</mi> </msub> </munderover> <msup> <mn>2</mn> <mi>L</mi> </msup> <msup> <mi>d</mi> <mi>L</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
式中，d为某一像素点的光流值，dL为某一像素点在第L层的光流值。
8.如权利要求7所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的过斑马线的行人行走方向识别单元用于识别过斑马线或者准备过斑马线线的行人的行走方向，根据所述的过斑马线的行人检测单元检测到正在或者准备过斑马线的行人对象在斑马线区域所占的空间位置信息，即在二维图像平面上得到了每个行人对象的框，每个框都有四个数据表达，左上角的位置rp,cp及长度和宽度hp,wp；这里计算每个框内所有特征点光流向量的平均值，用公式(9)进行计算，
<mrow> <mover> <mi>d</mi> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>/</mo> <mi>n</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
式中，为某框内的光流向量的平均值，di为某框内的某一特征像素点的光流向量值，n为某框内的特征像素点的数量；
计算得到某框内的光流向量的平均值后，如果该值大于某一阈值Tp，将该行人框的光流向量的方向作为行人的行走方向。
9.如权利要求1～6之一所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的礼让车道计算单元用于根据行人在斑马线上的位置及行走方向来确定车辆必须礼让的车道；在所述的斑马线区域检测模块中已经确定和命名了在斑马线区域内的车道编号，若行人是从道路上的行车的上行方向到下行方向行走，那么车道编号是递增的，这里称为行人的上行方向；反之车道编号是递减的，这里称为行人的下行方向；根据道路交通安全法的规定，如行人行走方向为上行并处在车道编号为1的车道上，那么车道编号1和车道编号2为礼让车道，…；计算时，以行人现在所处的车道为基础，上行方向做加法，下行方向做减法，这样就得到了必须礼让的车道编号；对于多个行人的情况，分别求得每个行人的必须礼让的车道编号，然后做或运算得到所有行人的必须礼让的车道编号。
10.如权利要求8所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的斑马线附近的车辆行驶速度检测单元用于检测必须礼让的车道编号上车辆的运行状态；在所述的礼让车道计算单元中计算得到了必须礼让的车道编号，根据这些编号车道去找该车道上是否存在着车辆对象，在所述的斑马线附近的车辆检测单元中已经得到了车辆在图像中的位置及大小信息；计算得到某框内的光流向量的平均值后，如果该值大于某一阈值Tv，将该车辆作为疑似违规车辆，将标志Fi,Illegal加1，并启动录像，保存在以地点+时间命名的文件夹中内；反之将标志Fi,Illegal设置为0；标志中的i表示的车道编号。
11.如权利要求1～6之一所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的违规车辆判定单元用于最后确认有不礼让行人行为的发生，具体做法是分别检查标志Fi,Illegal的值，如果存在着一个或者一个以上的标志Fi,Illegal的值大于等于3，也就是说连续3次都检测为疑似违规就确认有不礼让行人行为，这时车道编号i来启动所述的不礼让行人行为的车辆图像抓拍模块对不礼让行人行为的车辆进行抓拍，如车道编号1、2、3为上行车道，启动第一高清抓拍摄像机，车道编号4、5、6为下行车道，启动第二高清抓拍摄像机，连续抓拍3次，保存在以地点+时间命名的文件夹中内；
所述的不礼让行人行为的车辆图像抓拍模块用于抓拍不礼让行人行为的车辆图像，根据标志Fi,Illegal中的i值来确定用上行道路的高清摄像机2还是下行道路的高清摄像机3来进行抓拍，每隔2秒抓拍一张，共抓拍3张图像。
12.如权利要求11所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的车辆类型识别模块用于对违规车辆类型进行识别，采用多任务深度卷积神经网络技术，在所述的Faster R-CNN网络中再添加一个中心损失函数与一个softmax损失函数，实现中心损失函数与softmax损失函数的联合监控，通过softmax输出得到违规车辆的品牌、系列、车身颜色信息；所述的车辆类型识别模块采用非实时的计算方式，当所述的违规车辆判定单元判定有不礼让行人车辆后，启动一个线程，读取以地点+时间命名的文件夹中内的三幅抓拍违规车辆的图像，用所述的Faster R-CNN网络分别对其进行车辆定位及类型识别。
13.如权利要求11所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的车牌定位和识别模块用于识别违规车辆的身份，采用多任务深度卷积神经网络技术，当所述的违规车辆判定单元判定有不礼让行人行为的车辆后，启动一个线程，利用所述的车辆类型识别模块分割定位出来的车辆对象图像上再对该车辆的车牌位置进行定位，得到车牌的图像，接着对车牌图像进行识别，识别出违规车辆的车牌号。
14.如权利要求1～6之一所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的违规检测报告生成模块用于自动生成对违规车辆进行处罚的报告，根据所述的车辆类型识别模块处理得到的违章车辆的车型、品牌、系列、车身颜色信息、所述的车牌定位和识别模块得到的违章车辆的车牌号，然后根据这些信息访问车辆管理所的车辆登记数据库，比对识别的车辆身份信息与登记的车辆身份信息是否一致，如果一致就自动生成违规车辆进行处罚的报告；如果不一致，将该信息推送给管理人员，进一步进行确认；报告中的内容包括：三幅违章时抓拍的图像、不礼让行人行为过程的视频图像、车辆身份信息、违章地点和时间。
CN201710558816.XA 2017-07-11 2017-07-11 斑马线车辆不礼让行人行为的视觉检测系统 Pending CN107730906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710558816.XA CN107730906A (zh) 2017-07-11 2017-07-11 斑马线车辆不礼让行人行为的视觉检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710558816.XA CN107730906A (zh) 2017-07-11 2017-07-11 斑马线车辆不礼让行人行为的视觉检测系统

Publications (1)

Publication Number Publication Date
CN107730906A true CN107730906A (zh) 2018-02-23

Family

ID=61201075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710558816.XA Pending CN107730906A (zh) 2017-07-11 2017-07-11 斑马线车辆不礼让行人行为的视觉检测系统

Country Status (1)

Country Link
CN (1) CN107730906A (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447305A (zh) * 2018-04-21 2018-08-24 上海交通大学 一种新交规下礼让行人预警方法及预警系统
CN108830803A (zh) * 2018-05-17 2018-11-16 昆明理工大学 一种交通视频图像去雾优化算法
CN109035800A (zh) * 2018-09-30 2018-12-18 天津天地人和企业管理咨询有限公司 一种智能交通摄像机自动检测机动车不避让行人的方法
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109409191A (zh) * 2018-08-24 2019-03-01 广东智媒云图科技股份有限公司 一种基于机器学习的斑马线车辆避让检测方法及系统
CN109493609A (zh) * 2018-12-11 2019-03-19 杭州炬视科技有限公司 一种便携式未礼让行人自动识别抓拍的装置和方法
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109712406A (zh) * 2019-02-12 2019-05-03 合肥极光科技股份有限公司 一种行人闯红灯及机动车不礼让行人监控抓拍系统
CN109977772A (zh) * 2019-02-21 2019-07-05 南京邮电大学 一种基于车载行车记录仪视频的斑马线礼让行为检测方法
CN110225236A (zh) * 2018-03-02 2019-09-10 富士通株式会社 为视频监控系统配置参数的方法、装置和视频监控系统
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN110321823A (zh) * 2019-06-24 2019-10-11 杭州诚道科技股份有限公司 基于深度学习的斑马线礼让行人违法二次检测方法
CN110556000A (zh) * 2018-06-04 2019-12-10 义硕智能股份有限公司 人工智慧交通检测系统
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110689724A (zh) * 2018-12-31 2020-01-14 上海眼控科技股份有限公司 一种基于深度学习的机动车斑马线礼让行人自动审核方法
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN111008554A (zh) * 2019-10-16 2020-04-14 合肥湛达智能科技有限公司 一种基于深度学习的动态交通斑马线内不礼让行人识别方法
CN111242010A (zh) * 2020-01-10 2020-06-05 厦门博海中天信息科技有限公司 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法
CN111260928A (zh) * 2018-11-30 2020-06-09 浙江宇视科技有限公司 车辆不礼让行人检测方法及装置
CN111428644A (zh) * 2020-03-25 2020-07-17 北京以萨技术股份有限公司 基于深度神经网络的斑马线区域监测方法、系统及介质
CN111611438A (zh) * 2020-07-24 2020-09-01 支付宝(杭州)信息技术有限公司 图片标注方法、装置、处理设备及系统
CN111613066A (zh) * 2020-06-24 2020-09-01 威视安网络设备科技无锡有限公司 一种机动车不依法停车让行行为的自动取证系统和方法
CN111666805A (zh) * 2019-03-08 2020-09-15 现代摩比斯株式会社 用于自动驾驶的类别标记系统
CN111695374A (zh) * 2019-03-12 2020-09-22 中国科学院上海高等研究院 监控视角中斑马线区域的分割方法、系统、介质及设备
CN111695409A (zh) * 2020-04-24 2020-09-22 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习不礼让斑马线检测方法
CN111899514A (zh) * 2020-08-19 2020-11-06 陇东学院 一种人工智能的拥堵检测系统
CN112183206A (zh) * 2020-08-27 2021-01-05 广州中国科学院软件应用技术研究所 一种基于路侧单目摄像头的交通参与者定位方法和系统
CN112699189A (zh) * 2019-10-23 2021-04-23 阿里巴巴集团控股有限公司 位置信息更新方法、装置及计算机系统
CN112700644A (zh) * 2020-12-22 2021-04-23 公安部交通管理科学研究所 一种空中智能道路交通管理辅助方法及系统
CN113011331A (zh) * 2021-03-19 2021-06-22 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN113392812A (zh) * 2021-07-08 2021-09-14 湖南大学 基于深度神经网络的道路车道线检测方法及系统
CN114710626A (zh) * 2022-03-07 2022-07-05 北京千方科技股份有限公司 图像采集的方法、装置、电子设备及介质
CN114743376A (zh) * 2022-04-20 2022-07-12 深圳市旗扬特种装备技术工程有限公司 一种非灯控路口智能交通系统
CN114882455A (zh) * 2022-07-04 2022-08-09 南京信息工程大学 基于改进RetinaNet的斑马线礼让行人检测方法
CN114913202A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种微透镜阵列的目标追踪方法及系统
TWI787990B (zh) * 2021-09-07 2022-12-21 中華電信股份有限公司 監視未禮讓行人之車輛的系統和方法
EP4054183A4 (en) * 2019-11-01 2022-12-28 JVCKenwood Corporation OBJECT DETECTION DEVICE, METHOD AND PROGRAM
CN116092023A (zh) * 2023-02-03 2023-05-09 以萨技术股份有限公司 一种确定异常行为的数据处理系统
CN116978241A (zh) * 2023-09-21 2023-10-31 济南致业电子有限公司 一种基于执法记录仪的城市车辆监控方法及系统
CN117392621A (zh) * 2023-11-07 2024-01-12 西南交通大学 一种机动车右转不礼让行人行为识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710448A (zh) * 2009-12-29 2010-05-19 浙江工业大学 基于全方位计算机视觉的道路交通状态检测装置
CN102592450A (zh) * 2012-02-22 2012-07-18 杭州海康威视数字技术股份有限公司 机动车斑马线不礼让行人行为抓拍系统及其方法
CN202563684U (zh) * 2012-02-22 2012-11-28 杭州海康威视数字技术股份有限公司 机动车斑马线不礼让行人行为抓拍系统
CN104361747A (zh) * 2014-11-11 2015-02-18 杭州新迪数字工程系统有限公司 机动车斑马线未礼让行人自动抓拍系统与识别方法
CN104574979A (zh) * 2014-11-28 2015-04-29 北京尚易德科技有限公司 机动车行经人行横道不依法让行行为的拍照系统及方法
CN105139653A (zh) * 2015-09-11 2015-12-09 成都川睿科技有限公司 一种智能交通终端监控违规车辆信息设备
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710448A (zh) * 2009-12-29 2010-05-19 浙江工业大学 基于全方位计算机视觉的道路交通状态检测装置
CN102592450A (zh) * 2012-02-22 2012-07-18 杭州海康威视数字技术股份有限公司 机动车斑马线不礼让行人行为抓拍系统及其方法
CN202563684U (zh) * 2012-02-22 2012-11-28 杭州海康威视数字技术股份有限公司 机动车斑马线不礼让行人行为抓拍系统
CN104361747A (zh) * 2014-11-11 2015-02-18 杭州新迪数字工程系统有限公司 机动车斑马线未礼让行人自动抓拍系统与识别方法
CN104574979A (zh) * 2014-11-28 2015-04-29 北京尚易德科技有限公司 机动车行经人行横道不依法让行行为的拍照系统及方法
CN105139653A (zh) * 2015-09-11 2015-12-09 成都川睿科技有限公司 一种智能交通终端监控违规车辆信息设备
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225236B (zh) * 2018-03-02 2022-06-28 富士通株式会社 为视频监控系统配置参数的方法、装置和视频监控系统
CN110225236A (zh) * 2018-03-02 2019-09-10 富士通株式会社 为视频监控系统配置参数的方法、装置和视频监控系统
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
EP3676754A4 (en) * 2018-03-12 2021-09-01 Ratti, Jayant ARTIFICIAL INTELLIGENCE AND ROAD MANAGEMENT SYSTEM ON DEMAND
AU2019235551B2 (en) * 2018-03-12 2022-02-03 Jayant RATTI On-demand artificial intelligence and roadway stewardship system
CN108447305A (zh) * 2018-04-21 2018-08-24 上海交通大学 一种新交规下礼让行人预警方法及预警系统
CN108830803A (zh) * 2018-05-17 2018-11-16 昆明理工大学 一种交通视频图像去雾优化算法
CN110556000A (zh) * 2018-06-04 2019-12-10 义硕智能股份有限公司 人工智慧交通检测系统
CN109409191A (zh) * 2018-08-24 2019-03-01 广东智媒云图科技股份有限公司 一种基于机器学习的斑马线车辆避让检测方法及系统
CN109035800A (zh) * 2018-09-30 2018-12-18 天津天地人和企业管理咨询有限公司 一种智能交通摄像机自动检测机动车不避让行人的方法
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109389089B (zh) * 2018-10-14 2022-03-08 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN111260928B (zh) * 2018-11-30 2021-07-20 浙江宇视科技有限公司 车辆不礼让行人检测方法及装置
CN111260928A (zh) * 2018-11-30 2020-06-09 浙江宇视科技有限公司 车辆不礼让行人检测方法及装置
CN109493609A (zh) * 2018-12-11 2019-03-19 杭州炬视科技有限公司 一种便携式未礼让行人自动识别抓拍的装置和方法
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109635744B (zh) * 2018-12-13 2020-04-14 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN110689724B (zh) * 2018-12-31 2022-08-30 上海眼控科技股份有限公司 一种基于深度学习的机动车斑马线礼让行人自动审核方法
CN110689724A (zh) * 2018-12-31 2020-01-14 上海眼控科技股份有限公司 一种基于深度学习的机动车斑马线礼让行人自动审核方法
CN109712406A (zh) * 2019-02-12 2019-05-03 合肥极光科技股份有限公司 一种行人闯红灯及机动车不礼让行人监控抓拍系统
CN109977772B (zh) * 2019-02-21 2022-08-23 南京邮电大学 一种基于车载行车记录仪视频的斑马线礼让行为检测方法
CN109977772A (zh) * 2019-02-21 2019-07-05 南京邮电大学 一种基于车载行车记录仪视频的斑马线礼让行为检测方法
CN111666805B (zh) * 2019-03-08 2024-02-06 现代摩比斯株式会社 用于自动驾驶的类别标记系统
CN111666805A (zh) * 2019-03-08 2020-09-15 现代摩比斯株式会社 用于自动驾驶的类别标记系统
CN111695374B (zh) * 2019-03-12 2023-09-01 中国科学院上海高等研究院 监控视角中斑马线区域的分割方法、系统、介质及设备
CN111695374A (zh) * 2019-03-12 2020-09-22 中国科学院上海高等研究院 监控视角中斑马线区域的分割方法、系统、介质及设备
CN110321823A (zh) * 2019-06-24 2019-10-11 杭州诚道科技股份有限公司 基于深度学习的斑马线礼让行人违法二次检测方法
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN111008554A (zh) * 2019-10-16 2020-04-14 合肥湛达智能科技有限公司 一种基于深度学习的动态交通斑马线内不礼让行人识别方法
CN111008554B (zh) * 2019-10-16 2024-02-02 合肥湛达智能科技有限公司 一种基于深度学习的动态交通斑马线内不礼让行人识别方法
CN112699189B (zh) * 2019-10-23 2024-06-04 盒马(中国)有限公司 位置信息更新方法、装置及计算机系统
CN112699189A (zh) * 2019-10-23 2021-04-23 阿里巴巴集团控股有限公司 位置信息更新方法、装置及计算机系统
EP4054183A4 (en) * 2019-11-01 2022-12-28 JVCKenwood Corporation OBJECT DETECTION DEVICE, METHOD AND PROGRAM
CN111242010A (zh) * 2020-01-10 2020-06-05 厦门博海中天信息科技有限公司 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法
CN111428644A (zh) * 2020-03-25 2020-07-17 北京以萨技术股份有限公司 基于深度神经网络的斑马线区域监测方法、系统及介质
CN111695409B (zh) * 2020-04-24 2024-02-02 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习不礼让斑马线检测方法
CN111695409A (zh) * 2020-04-24 2020-09-22 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习不礼让斑马线检测方法
CN111613066A (zh) * 2020-06-24 2020-09-01 威视安网络设备科技无锡有限公司 一种机动车不依法停车让行行为的自动取证系统和方法
CN111611438A (zh) * 2020-07-24 2020-09-01 支付宝(杭州)信息技术有限公司 图片标注方法、装置、处理设备及系统
US11495021B2 (en) 2020-07-24 2022-11-08 Alipay (Hangzhou) Information Technology Co., Ltd. Picture annotation method, apparatus, processing device, and system
CN111899514A (zh) * 2020-08-19 2020-11-06 陇东学院 一种人工智能的拥堵检测系统
CN112183206B (zh) * 2020-08-27 2024-04-05 广州中国科学院软件应用技术研究所 一种基于路侧单目摄像头的交通参与者定位方法和系统
CN112183206A (zh) * 2020-08-27 2021-01-05 广州中国科学院软件应用技术研究所 一种基于路侧单目摄像头的交通参与者定位方法和系统
CN112700644A (zh) * 2020-12-22 2021-04-23 公安部交通管理科学研究所 一种空中智能道路交通管理辅助方法及系统
CN113011331B (zh) * 2021-03-19 2021-11-09 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN113011331A (zh) * 2021-03-19 2021-06-22 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN113392812B (zh) * 2021-07-08 2022-06-07 湖南大学 基于深度神经网络的道路车道线检测方法及系统
CN113392812A (zh) * 2021-07-08 2021-09-14 湖南大学 基于深度神经网络的道路车道线检测方法及系统
TWI787990B (zh) * 2021-09-07 2022-12-21 中華電信股份有限公司 監視未禮讓行人之車輛的系統和方法
CN114710626B (zh) * 2022-03-07 2024-05-14 北京千方科技股份有限公司 图像采集的方法、装置、电子设备及介质
CN114710626A (zh) * 2022-03-07 2022-07-05 北京千方科技股份有限公司 图像采集的方法、装置、电子设备及介质
CN114913202A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种微透镜阵列的目标追踪方法及系统
CN114913202B (zh) * 2022-04-07 2022-11-29 北京拙河科技有限公司 一种微透镜阵列的目标追踪方法及系统
CN114743376B (zh) * 2022-04-20 2023-09-05 深圳市旗扬特种装备技术工程有限公司 一种非灯控路口智能交通系统
CN114743376A (zh) * 2022-04-20 2022-07-12 深圳市旗扬特种装备技术工程有限公司 一种非灯控路口智能交通系统
CN114882455A (zh) * 2022-07-04 2022-08-09 南京信息工程大学 基于改进RetinaNet的斑马线礼让行人检测方法
CN114882455B (zh) * 2022-07-04 2022-09-27 南京信息工程大学 基于改进RetinaNet的斑马线礼让行人检测方法
CN116092023B (zh) * 2023-02-03 2023-10-20 以萨技术股份有限公司 一种确定异常行为的数据处理系统
CN116092023A (zh) * 2023-02-03 2023-05-09 以萨技术股份有限公司 一种确定异常行为的数据处理系统
CN116978241B (zh) * 2023-09-21 2023-12-26 济南致业电子有限公司 一种基于执法记录仪的城市车辆监控方法及系统
CN116978241A (zh) * 2023-09-21 2023-10-31 济南致业电子有限公司 一种基于执法记录仪的城市车辆监控方法及系统
CN117392621A (zh) * 2023-11-07 2024-01-12 西南交通大学 一种机动车右转不礼让行人行为识别方法及系统
CN117392621B (zh) * 2023-11-07 2024-06-07 西南交通大学 一种机动车右转不礼让行人行为识别方法及系统

Similar Documents

Publication Publication Date Title
CN107730906A (zh) 斑马线车辆不礼让行人行为的视觉检测系统
CN107730904A (zh) 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统
CN107730903A (zh) 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN109919072B (zh) 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
CN107730881A (zh) 基于深度卷积神经网络的交通拥堵视觉检测系统
Casas et al. Intentnet: Learning to predict intention from raw sensor data
Zhang et al. A traffic surveillance system for obtaining comprehensive information of the passing vehicles based on instance segmentation
JP6599986B2 (ja) きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習
CN107729799A (zh) 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
CN106886755A (zh) 一种基于交通标志识别的交叉口车辆违章检测系统
CN109598943A (zh) 车辆违章的监控方法、装置及系统
JP2018503160A (ja) 集合局所フロー記述子（ａｌｆｄ）を使用したニアオンラインマルチターゲットトラッキング
CN109902676A (zh) 一种基于动态背景的违停检测算法
CN108830246B (zh) 一种交通环境行人多维运动特征视觉提取方法
US20220146277A1 (en) Architecture for map change detection in autonomous vehicles
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN110069982A (zh) 一种交通车辆与行人的自动识别方法
CN111402632A (zh) 一种交叉口行人运动轨迹的风险预测方法
CN106710228A (zh) 一种客货分道交通参数监测系统的实现方法
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及系统
Quinn et al. Traffic flow monitoring in crowded cities
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
Abbas V-ITS: Video-based intelligent transportation system for monitoring vehicle illegal activities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223

RJ01 Rejection of invention patent application after publication