CN109493609A - 一种便携式未礼让行人自动识别抓拍的装置和方法 - Google Patents
一种便携式未礼让行人自动识别抓拍的装置和方法 Download PDFInfo
- Publication number
- CN109493609A CN109493609A CN201811509071.9A CN201811509071A CN109493609A CN 109493609 A CN109493609 A CN 109493609A CN 201811509071 A CN201811509071 A CN 201811509071A CN 109493609 A CN109493609 A CN 109493609A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- motor vehicle
- target
- precedence
- mobilenet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种便携式未礼让行人自动识别抓拍的方法，先对MobileNet‑SSD模型进行模型训练，使其识别出行人和机动车；然后通过摄像机采集斑马线与机动车道区域的实时视频数据，然后将实时视频数据传输给工控机处理；之后配置模块配置视频图像中斑马线的位置、机动车道数和违章信息；之后采用MobileNet‑SSD模型快速分割出实时视频数据的监测区域中的机动车和行人，并给出机动车和行人在监测区域中的空间位置信息；对于空间位置信息，使用KCF算法跟踪检测到的机动车和行人，得到运动轨迹，再根据运动轨迹判断是否礼让行人。
Description
技术领域
本发明属于交通违章监控方法领域，具体涉及一种便携式未礼让行人自动识别抓拍的装置和方法。
背景技术
机动车经过人行横道时，应当减速行驶；遇到行人正在通过人行横道时，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应该避让。但是在实际生活中，部分司机却不遵守该规定，有的甚至看到行人正在通过人行横道时，加速鸣笛通过，给交通安全带来隐患。中国每年由于机动车驾驶员在斑马线上没有礼让行人而造成的死亡事故超过千人次。因此，交通部门除了加大宣传和巡逻力度外，还需要采用电子警察来对违章的机动车进行抓拍和处罚，从而纠正驾驶员的不良行为。
最近几年深度学习在计算机视觉领域的技术得到了迅速的发展，深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取图像特征。数字图像是以矩阵来描述的，卷积神经网络更好地从局部信息块出发，进而描述图像的整体结构，故在计算机视觉领域，深度学习方法中大多采用卷积神经网络来解决问题。围绕着提高检测精度和检测实时性，深度卷积神经网络技术从R-CNN，SPP，Fast R-CNN，Faster R-CNN，YOLO发展到SSD。几乎覆盖了分类、定位、检测、分割等各个计算机视觉领域。深度学习技术运用于机动车斑马线未礼让行人的自动抓拍将是一个非常有实际应用价值的研究领域。
虽然卷积神经网络在图像分类、目标检测和图像分割等任务中表现出了巨大的优越性，但是伴随着模型精度的提升，卷积神经网络在计算量、存储空间以及能耗方面的开销巨大，这对于便携式或者车载应用都是难以接受的。
发明内容
本发明采用MobileNet，基于一个流线型的架构，使用深度可分离的卷积来构建轻量级的深层神经网络，引入两个简单的全局超参数，在延迟度和准确度之间进行了有效地平衡，这两个超参数允许模型构建者根据问题的约束条件，为其应用选择合适大小的模型。
为了解决上述问题，本发明提出一种便携式未礼让行人自动识别抓拍的方法。
本发明所采用的技术方案是：
一种便携式未礼让行人自动识别抓拍的方法，包括以下步骤:
步骤0:对MobileNet-SSD(深度卷积神经网络)模型进行模型训练，使其识别出行人和机动车；
步骤1：架设摄像机，通过摄像机采集斑马线与机动车道区域的实时视频数据，然后将实时视频数据传输给工控机，工控机对实时视频数据进行处理；
步骤2：通过配置模块配置视频图像中斑马线的位置、机动车道数和违章信息；
步骤3：采用MobileNet-SSD模型快速分割出实时视频数据的监测区域中的机动车和行人，并给出机动车和行人在监测区域中的空间位置信息；
步骤4：对于步骤3中的空间位置信息，使用KCF算法跟踪检测到的机动车和行人，得到机动车和行人的运动轨迹，接着确定每一辆机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧，记作Frame1-FrameN，同时记录下机动车的车道号，记作LaneN；
步骤5：判断在Frame1-FrameN之间是否有行人或非机动车在斑马线上朝着机动车移动，并且行人或非机动车处于LaneN车道或其相邻车道，结果如下：
a，若是，则判定机动车未礼让行人，定义为违章机动车，利用检测出来的违章机动车的位置，分割出违章机动车特写图，然后对车牌进行定位得到车牌图像，接着识别出违法机动车的车牌号码；
b，若否，则判定机动车礼让行人；
步骤6：如果不更换地点，返回步骤3进行下一次判断；如果更换地点，返回步骤1进行下一次判断。
工作原理：对深度卷积神经网络模型进行模型训练，采用深度卷积神经网络快速分割出监测区域中的机动车和行人并给出这些就机动车和行人在监测区域中的空间位置信息，然后使用KCF算法跟踪检测到的机动车得到机动车的运动轨迹，然后判定机动车是否礼让行人；MobileNet-SSD基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络，它引入两个简单的全局超参数，在延迟度和准确度之间进行了有效地平衡，这两个超参数允许模型构建者根据问题的约束条件，通过选择合适大小的模型，在精度略微降低的条件下，表现出了很强的实时性。
进一步的，步骤3中，所述MobileNet-SSD模型采用特征金字塔进行目标检测，检测时利用MobileNet(基础网络)作为特征提取器提取多个大小不同的Feature Maps(特征图)，并在多个特征图上同时进行Softmax分类和位置回归；对于宽为W高为H的特征图，设置W×H个Prior Box(预选框)，预选框的中心均匀地分布在整张图上，然后通过Softmax分类和Bounding Box Regression(边框回归)获取目标的准确位置。将标准卷积分解成一个深度卷积和一个1×1的点卷积，其中深度卷积用于处理输入的数据，点卷积用于将上一层卷积的结果进行合并，在保证准确率的条件下，计算参数减少为原来的1/7，计算时间减少为原来的1/9。
优选的，所述的MobileNet-SSD深度卷积神经网络模型运行于神经计算棒中。神经计算棒是一种使用USB接口的深度学习设备，比U盘略大，功耗1W，浮点性能可达100GFLOPs，有着低功耗高性能的优点。
进一步的，步骤3中，所述MobileNet-SSD模型由14层卷积层组成，每一层由多个卷积滤波器组成，采用删除卷积层的部分卷积滤波器的方法进行神经网络模型压缩；首先，将卷积滤波器权重的绝对值之和定义为卷积滤波器的L1范数，L1范数用于度量卷积滤波器和MobileNet-SSD模型的相关性；之后，每层卷积层中L1范数小于0.1的卷积滤波器的个数为n，为了配合神经计算棒中的VPU(视频处理单元)，每层卷积层应移除m个卷积滤波器，用于实现神经网络模型压缩，其中m为4的倍数并且n减去m小于4；最后，每有一层卷积层删除卷积滤波器完毕之后需要重新训练一次MobileNet-SSD模型。模型参数个数由原来的4253864个下降到3210232个，模型大小为原来的75.5％，模型计算时间为原来的67.3％；模型准确率由原来的68.4％下降到67.7％，准确率下降0.7％在可接受范围内。
进一步的，步骤4中，所述KCF目标跟踪算法在跟踪目标的过程中利用正负样本和脊回归方法训练目标检测器，训练目标检测器时选取目标区域为正样本，目标的周围区域为负样本，并且通过循环移位来产生大量的虚拟样本以扩充样本量，训练完成后使用该目标检测器检测整张图像，响应最大的地方是下一帧目标的位置，接着再使用新检测结果去更新正负样本，进而更新目标检测器。KCF目标跟踪算法通过循环移位产生了大量的虚拟样本，解决了跟踪问题样本过少的难点；利用循环矩阵可以在傅里叶域对角化的性质，大大减少了运算量，提高了运算速度；运用核函数，提高了分类器的性能；采用HOG特征，相较于灰度特征和颜色特征，准确度更高。脊回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。
进一步的，步骤4中，通过以下方法得到机动车和行人的运动轨迹：当获取到一帧最新的图像数据时，分成两种情况：(一)若没有已知的目标轨迹，使用MobileNet-SSD深度卷积神经网络模型检测最新帧中目标的位置，检测到的目标判定为刚进入监测区域的目标，以它们为起始位置创建轨迹；(二)若有已知的目标轨迹，先用KCF跟踪算法计算出已知轨迹在最新帧中的预测位置，接着使用MobileNet-SSD深度卷积神经网络模型检测最新帧中目标的位置，若在已知轨迹的预测位置有有相应的目标存在，判定预测位置正确；若在已知轨迹的预测位置没有相应的目标存在，判定轨迹在此帧中位置丢失；对于没有和已知轨迹匹配的检测到的目标判定为刚进入监测区域的目标，以它们为起始位置创建轨迹；针对以上情况，对于连续多帧丢失目标或者离开监控区域的轨迹，不再更新。
进一步的，步骤5中，通过以下方法判定机动车是否未礼让行人：在机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧Frame1-FrameN之间，判断是否满足条件，即有行人在斑马线上朝着机动车移动并且行人处于机动车所在的LaneN车道或其相邻车道；若在帧Frame1-FrameN之间，有超过1/3的帧满足条件，则可以判定机动车未礼让行人。
进一步的，一种未礼让行人自动识别抓拍便携式装置，包括星光级摄像头、便携式工控机，所述星光级摄像头与便携式工控机相配合并实现通讯；便携式工控机设置有用于识别斑马线上机动车未礼让行人行为的视觉检测子系统，视觉检测子系统包括系统配置模块、未礼让行人行为检测模块、车牌定位识别模块和违法行为取证模块，系统配置模块用于配置斑马线位置、机动车道数和违法信息，并将这些信息传递给未礼让行人行为检测模块；未礼让行人检测模块用于检测识别斑马线上机动车未礼让行人的违法行为，若检测到违法机动车则调用车牌定位识别模块识别出违法机动车的车牌号码，同时调用违法行为取证模块，截取三张人车位置关系图、一张违法机动车特写图和违法过程短视频作为违法处罚证据。
优选的，所述星光级高清摄像机设置在顺机动车行驶方向的停车线前方的机动车道旁，并逆机动车行驶方向采集斑马线和机动车道区域的实时图像数据。星光级高清摄像机通过网线将斑马线与机动车道区域的实时视频数据传输给所述高性能便携式工控机，摄像机逆机动车驾驶方向设置，视野清晰，抓拍的图像中机动车与行人的位置关系明确，并且机动车在成像图中越来越大，违法证据充分，处罚不存在争议。
本发明同现有技术相比具有以下优点及效果：
1、本发明采用MobileNet-SSD深度卷积神经网络，相较于前深度学习时代的图像检测技术，检测精度高、鲁棒性强和实时性好，对未礼让行人的驾驶员有强大的威慑作用。
2、本发明模型参数个数由原来的4253864个下降到3210232个，模型大小为原来的75.5％，模型计算时间为原来的67.3％；模型准确率由原来的68.4％下降到67.7％，准确率下降0.7％在可接受范围内；在准确率可接受的范围内，大幅减少模型大小以及模型计算时间，降低对系统硬件的要求，可以实现便携式，使监控更加灵活，可在本地进行实时的处理，保证系统的稳定性与实时性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明流程图；
图2为本发明中MobileNet-SSD网络结构图；
图3为本发明视觉检测子系统结构框图；
图4为本发明星光级高清摄像机架设位置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明所采用的技术方案是：
一种便携式未礼让行人自动识别抓拍的方法，包括以下步骤:
步骤0:对MobileNet-SSD模型进行模型训练，使其识别出行人和机动车；
步骤1：通过摄像机采集斑马线与机动车道区域的实时视频数据，然后将斑马线与机动车道区域的实时视频数据传输给工控机，工控机将实时视频数据传递给视觉检测子系统进行处理；
步骤2：通过配置模块配置视频图像中斑马线的位置、机动车道数和违章信息；
步骤3：采用MobileNet-SSD模型快速分割出实时视频数据的监测区域中的机动车和行人，并给出机动车和行人在监测区域中的空间位置信息；
步骤4：对于步骤3中的空间位置信息，使用KCF算法跟踪检测到的机动车和行人，得到机动车和行人的运动轨迹，接着确定每一辆机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧，记作Frame1-FrameN，同时记录下机动车的车道号，记作LaneN；
步骤5：判断在Frame1-FrameN之间是否有行人或非机动车在斑马线上朝着机动车移动，并且行人或非机动车处于LaneN车道或其相邻车道，结果如下：
a，若是，则判定机动车未礼让行人，定义为违章机动车，利用检测出来的违章机动车的位置，分割出违章机动车特写图，然后对车牌进行定位得到车牌图像，接着识别出违法机动车的车牌号码；
b，若否，则判定机动车礼让行人；
步骤6：如果不更换地点，返回步骤3进行下一次判断；如果更换地点，返回步骤1进行下一次判断。
下面结合实施例作进一步说明。
实施例1：
如图1至4所示，先利用大量样本对便携式工控机内的MobileNet-SSD模型进行模型训练，使其识别出行人和机动车；然后将星光级高清摄像机架设在顺机动车行驶方向的停车线前方的机动车道旁，并逆机动车行驶方向采集斑马线和机动车道区域的实时图像数据，通过网线将斑马线与机动车道区域的实时视频数据传输给高性能便携式工控机，在工控机上由用户配置视频图像中斑马线的位置、机动车道数和违章信息，其中违章信息包括违章名称、违章代码和违章地点等并根据《中华人民共和国道路交通安全法》第四十四条和第四十七条配置；工控机内的系统共享一个MobileNet-SSD模型，MobileNet-SSD模型采用特征金字塔进行目标检测，检测时利用MobileNet作为特征提取器提取多个大小不同的特征图，并在多个特征图上同时进行Softmax分类和位置回归，对于宽为W高为H的特征图，设置W×H个预选框，预选框的中心均匀地分布在整张图上，然后通过Softmax分类和边框回归获取目标的准确位置，快速分割出实时视频数据的监测区域中的机动车和行人，并给出机动车和行人在监测区域中的空间位置信息；得到机动车和行人的空间位置信息后，采用删除部分卷积滤波器的方法进行神经网络模型压缩：卷积滤波器权重的绝对值之和定义为卷积滤波器的L1范数，L1范数可以度量卷积滤波器的相关性；移除L1范数非常小、接近于零的卷积滤波器可以实现MobileNet-SSD模型准确度几乎不变的情况下提高模型的效率；将神经网络模型压缩完成后，对压缩完成后的空间位置信息使用KCF算法跟踪检测到的机动车和行人，利用正负样本和脊回归方法训练目标检测器，训练目标检测器时选取目标区域为正样本，目标的周围区域为负样本，并且通过循环移位来产生大量的虚拟样本以扩充样本量，训练完成后使用该目标检测器检测整张图像，响应最大的地方是下一帧目标的位置，接着再使用新检测结果去更新正负样本，进而更新目标检测器，通过目标检测器检测机动车和行人的运动轨迹：当获取到一帧最新的图像数据时，分成两种情况：(一)若没有已知的目标轨迹，使用MobileNet-SSD深度卷积神经网络模型检测最新帧中目标的位置，检测到的目标判定为刚进入监测区域的目标，以它们为起始位置创建轨迹；(二)若有已知的目标轨迹，先用KCF跟踪算法计算出已知轨迹在最新帧中的预测位置，接着使用MobileNet-SSD深度卷积神经网络模型检测最新帧中目标的位置，若在已知轨迹的预测位置有有相应的目标存在，判定预测位置正确；若在已知轨迹的预测位置没有相应的目标存在，判定轨迹在此帧中位置丢失；对于没有和已知轨迹匹配的检测到的目标判定为刚进入监测区域的目标，以它们为起始位置创建轨迹；针对以上情况，对于连续多帧丢失目标或者离开监控区域的轨迹，不再更新；然后，确定每一辆机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧，记作Frame1-FrameN，同时记录下机动车的车道号，记作LaneN，在机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧Frame1-FrameN之间，判断是否满足条件，即有行人在斑马线上朝着机动车移动并且行人处于机动车所在的LaneN车道或其相邻车道；若在帧Frame1-FrameN之间，有超过1/3的帧满足条件，则可以判定机动车未礼让行人。完成一次判断，之后如果要在相同地点重复检测，则用MobileNet-SSD深度卷积神经网络模型重新检测并往下进行；如果要更换地点检测，则在新地点架设摄像机，通过摄像机采集斑马线与机动车道区域的实时视频数据，然后将斑马线与机动车道区域的实时视频数据传输给工控机，工控机将实时视频数据重新处理。
实施例2：
本实施例与实施例1基本相同，区别点在于：实施例2中，工控机内安装IntelMovidius神经计算棒，MobileNet-SSD深度卷积神经网络模型运行于Intel Movidius神经计算棒中，Intel Movidius神经计算棒的核心是代号为Myraid2MA2X5X的VPU(VideoProcessing Units)，Myraid2芯片含有两个轻量级的CPU运行一个实时系统RTOS，管理各种外设，读取卷积神经网络模型。
实施例3：
本实施例与实施例1基本相同，区别点在于：实施例3中，MobileNet-SSD模型由14层卷积层组成，每一层由多个卷积滤波器组成，每层卷积层中L1范数小于0.1的卷积滤波器的个数为n，为了配合神经计算棒中的VPU(视频处理单元)，每层卷积层应移除m个卷积滤波器，用于实现神经网络模型压缩，其中m为4的倍数并且n减去m小于4。
实施例4：
本实施例与实施例1基本相同，区别点在于：实施例4中，在机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧Frame1-FrameN之间，判断是否满足条件，即有行人在斑马线上朝着机动车移动并且行人处于机动车所在的LaneN车道或其相邻车道；若在帧Frame1-FrameN之间，有超过2/5的帧满足条件，则可以判定机动车未礼让行人。
实施例5：
本实施例与实施例1基本相同，区别点在于：实施例5中，一种便携式未礼让行人自动识别抓拍装置，包括星光级摄像头、便携式工控机，所述星光级摄像头与便携式工控机通过网线连接并实现通讯，星光级高清摄像机设置在顺机动车行驶方向的停车线前方的机动车道旁，并逆机动车行驶方向采集斑马线和机动车道区域的实时图像数据；便携式工控机设置有用于识别斑马线上机动车未礼让行人行为的视觉检测子系统，视觉检测子系统包括系统配置模块、未礼让行人行为检测模块、车牌定位识别模块和违法行为取证模块，系统配置模块用于配置斑马线位置、机动车道数和违法信息，并将这些信息传递给未礼让行人行为检测模块；未礼让行人检测模块用于检测识别斑马线上机动车未礼让行人的违法行为，若检测到违法机动车则调用车牌定位识别模块识别出违法机动车的车牌号码，同时调用违法行为取证模块，截取三张人车位置关系图、一张违法机动车特写图和违法过程短视频作为违法处罚证据。
实施例6：
本实施例与实施例5基本相同，区别点在于：实施例6中，截取的人车位置关系图由机动车未行驶到斑马线、机动车即将行驶上斑马线而未行驶上斑马线、机动车车头刚好行驶过斑马线三种图组成，同时在图上标记相关的违法信息包括抓拍时间、抓拍地点、违法名称、违法代码、设备编号和防伪码。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种便携式未礼让行人自动识别抓拍的方法，其特征在于，包括以下步骤:
步骤0:对MobileNet-SSD(深度卷积神经网络)模型进行模型训练，使其识别出行人和机动车；
步骤1：架设摄像机，通过摄像机采集斑马线与机动车道区域的实时视频数据，然后将实时视频数据传输给工控机，工控机对实时视频数据进行处理；
步骤2：通过配置模块配置视频图像中斑马线的位置、机动车道数和违章信息；
步骤3：采用MobileNet-SSD模型快速分割出实时视频数据的监测区域中的机动车和行人，并给出机动车和行人在监测区域中的空间位置信息；
步骤4：对于步骤3中的空间位置信息，使用KCF算法跟踪检测到的机动车和行人，得到机动车和行人的运动轨迹，接着确定每一辆机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧，记作Frame1-FrameN，同时记录下机动车的车道号，记作LaneN；
步骤5：判断在Frame1-FrameN之间是否有行人或非机动车在斑马线上朝着机动车移动，并且行人或非机动车处于LaneN车道或其相邻车道，结果如下：
a，若是，则判定机动车未礼让行人，定义为违章机动车，利用检测出来的违章机动车的位置，分割出违章机动车特写图，然后对车牌进行定位得到车牌图像，接着识别出违法机动车的车牌号码；
b，若否，则判定机动车礼让行人；
步骤6：如果不更换地点，返回步骤3进行下一次判断；如果更换地点，返回步骤1进行下一次判断。
2.根据权利要求1所述的便携式未礼让行人自动识别抓拍的方法，其特征在于，步骤3中，所述MobileNet-SSD模型采用特征金字塔进行目标检测，检测时利用MobileNet(基础网络)作为特征提取器提取多个大小不同的Feature Maps(特征图)，并在多个特征图上同时进行Softmax分类和位置回归；对于宽为W高为H的特征图，设置W×H个Prior Box(预选框)，预选框的中心均匀地分布在整张图上，然后通过Softmax分类和Bounding Box Regression(边框回归)获取目标的准确位置。
3.根据权利要求3所述的便携式未礼让行人自动识别抓拍的方法，其特征在于，所述的MobileNet-SSD深度卷积神经网络模型运行于神经计算棒中。
4.根据权利要求1所述的便携式未礼让行人自动识别抓拍的方法，其特征在于，步骤3中，所述MobileNet-SSD模型由14层卷积层组成，每一层由多个卷积滤波器组成，采用删除卷积层的部分卷积滤波器的方法进行神经网络模型压缩：首先，将卷积滤波器权重的绝对值之和定义为卷积滤波器的L1范数，L1范数用于度量卷积滤波器和MobileNet-SSD模型的相关性；之后，每层卷积层中L1范数小于0.1的卷积滤波器的个数为n，为了配合神经计算棒中的VPU(视频处理单元)，每层卷积层应移除m个卷积滤波器，用于实现神经网络模型压缩，其中m为4的倍数并且n减去m小于4；最后，每有一层卷积层删除卷积滤波器完毕之后需要重新训练一次MobileNet-SSD模型。
5.根据权利要求1所述的便携式未礼让行人自动识别抓拍的方法，其特征在于，步骤4中，所述KCF目标跟踪算法在跟踪目标的过程中利用正负样本和脊回归方法训练目标检测器，训练目标检测器时选取目标区域为正样本，目标的周围区域为负样本，并且通过循环移位来产生大量的虚拟样本以扩充样本量，训练完成后使用该目标检测器检测整张图像，响应最大的地方是下一帧目标的位置，接着再使用新检测结果去更新正负样本，进而更新目标检测器。
6.根据权利要求1所述的便携式未礼让行人自动识别抓拍的方法，其特征在于，步骤4中，通过以下方法得到机动车和行人的运动轨迹：当获取到一帧最新的图像数据时，分成两种情况：(一)若没有已知的目标轨迹，使用MobileNet-SSD深度卷积神经网络模型检测最新帧中目标的位置，检测到的目标判定为刚进入监测区域的目标，以它们为起始位置创建轨迹；(二)若有已知的目标轨迹，先用KCF跟踪算法计算出已知轨迹在最新帧中的预测位置，接着使用MobileNet-SSD深度卷积神经网络模型检测最新帧中目标的位置，若在已知轨迹的预测位置有有相应的目标存在，判定预测位置正确；若在已知轨迹的预测位置没有相应的目标存在，判定轨迹在此帧中位置丢失；对于没有和已知轨迹匹配的检测到的目标判定为刚进入监测区域的目标，以它们为起始位置创建轨迹；针对以上情况，对于连续多帧丢失目标或者离开监控区域的轨迹，不再更新。
7.根据权利要求1所述的便携式未礼让行人自动识别抓拍的方法，其特征在于，步骤5中，通过以下方法判定机动车是否未礼让行人：在机动车车头从刚刚行驶上斑马线区域到刚刚驶离斑马线区域的帧Frame1-FrameN之间，判断是否满足条件，即有行人在斑马线上朝着机动车移动并且行人处于机动车所在的LaneN车道或其相邻车道；若在帧Frame1-FrameN之间，有超过1/3的帧满足条件，则可以判定机动车未礼让行人。
8.根据权利要求1至7任一所述的便携式未礼让行人自动识别抓拍的方法，一种便携式未礼让行人自动识别抓拍装置，其特征在于，包括星光级摄像头、便携式工控机，所述星光级摄像头与便携式工控机相配合并实现通讯；便携式工控机设置有用于识别斑马线上机动车未礼让行人行为的视觉检测子系统，视觉检测子系统包括系统配置模块、未礼让行人行为检测模块、车牌定位识别模块和违法行为取证模块，系统配置模块用于配置斑马线位置、机动车道数和违法信息，并将这些信息传递给未礼让行人行为检测模块；未礼让行人检测模块用于检测识别斑马线上机动车未礼让行人的违法行为，若检测到违法机动车则调用车牌定位识别模块识别出违法机动车的车牌号码，同时调用违法行为取证模块，截取三张人车位置关系图、一张违法机动车特写图和违法过程短视频作为违法处罚证据。
9.根据权利要求8所述的便携式未礼让行人自动识别抓拍装置，其特征在于，所述星光级高清摄像机设置在顺机动车行驶方向的停车线前方的机动车道旁，并逆机动车行驶方向采集斑马线和机动车道区域的实时图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811509071.9A CN109493609A (zh) | 2018-12-11 | 2018-12-11 | 一种便携式未礼让行人自动识别抓拍的装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811509071.9A CN109493609A (zh) | 2018-12-11 | 2018-12-11 | 一种便携式未礼让行人自动识别抓拍的装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109493609A true CN109493609A (zh) | 2019-03-19 |
Family
ID=65709735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811509071.9A Withdrawn CN109493609A (zh) | 2018-12-11 | 2018-12-11 | 一种便携式未礼让行人自动识别抓拍的装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109493609A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321823A (zh) * | 2019-06-24 | 2019-10-11 | 杭州诚道科技股份有限公司 | 基于深度学习的斑马线礼让行人违法二次检测方法 |
| CN110353958A (zh) * | 2019-08-09 | 2019-10-22 | 朱原灏 | 一种协助盲人乘车的便携式装置及其方法 |
| CN110414371A (zh) * | 2019-07-08 | 2019-11-05 | 西南科技大学 | 一种基于多尺度核卷积神经网络的实时人脸表情识别方法 |
| CN110909598A (zh) * | 2019-10-16 | 2020-03-24 | 合肥湛达智能科技有限公司 | 一种基于深度学习的非机动车道交通违法行驶识别方法 |
| CN111008554A (zh) * | 2019-10-16 | 2020-04-14 | 合肥湛达智能科技有限公司 | 一种基于深度学习的动态交通斑马线内不礼让行人识别方法 |
| CN111126170A (zh) * | 2019-12-03 | 2020-05-08 | 广东工业大学 | 一种基于目标检测与追踪的视频动态物检测方法 |
| CN111178206A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 一种基于改进yolo的建筑预埋件检测方法及系统 |
| CN111428644A (zh) * | 2020-03-25 | 2020-07-17 | 北京以萨技术股份有限公司 | 基于深度神经网络的斑马线区域监测方法、系统及介质 |
| CN111695409A (zh) * | 2020-04-24 | 2020-09-22 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的深度学习不礼让斑马线检测方法 |
| CN112686136A (zh) * | 2020-12-29 | 2021-04-20 | 上海高德威智能交通系统有限公司 | 一种对象检测方法、装置及系统 |
| CN113011331A (zh) * | 2021-03-19 | 2021-06-22 | 吉林大学 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
| CN113257008A (zh) * | 2021-05-12 | 2021-08-13 | 兰州交通大学 | 基于深度学习的行人流量动态控制系统及方法 |
| CN113326223A (zh) * | 2021-06-17 | 2021-08-31 | 恒安嘉新（北京）科技股份公司 | 一种信息交互、串口配置方法、装置、设备和介质 |
| US11386637B2 (en) | 2019-07-16 | 2022-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting object |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361747A (zh) * | 2014-11-11 | 2015-02-18 | 杭州新迪数字工程系统有限公司 | 机动车斑马线未礼让行人自动抓拍系统与识别方法 |
| CN104574979A (zh) * | 2014-11-28 | 2015-04-29 | 北京尚易德科技有限公司 | 机动车行经人行横道不依法让行行为的拍照系统及方法 |
| CN107730906A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 斑马线车辆不礼让行人行为的视觉检测系统 |
| KR20180050892A (ko) * | 2016-11-07 | 2018-05-16 | 경일대학교산학협력단 | 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| CN108230254A (zh) * | 2017-08-31 | 2018-06-29 | 北京同方软件股份有限公司 | 一种自适应场景切换的高速交通全车道线自动检测方法 |
| CN108417045A (zh) * | 2018-04-24 | 2018-08-17 | 佛山市澄澜点寸科技有限公司 | 一种礼让行人抓拍处理系统及其方法 |
| CN108447305A (zh) * | 2018-04-21 | 2018-08-24 | 上海交通大学 | 一种新交规下礼让行人预警方法及预警系统 |
| KR101915456B1 (ko) * | 2017-04-18 | 2018-11-06 | 최병주 | 횡단보도의 보행자 안전 장치 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
-
2018
- 2018-12-11 CN CN201811509071.9A patent/CN109493609A/zh not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361747A (zh) * | 2014-11-11 | 2015-02-18 | 杭州新迪数字工程系统有限公司 | 机动车斑马线未礼让行人自动抓拍系统与识别方法 |
| CN104574979A (zh) * | 2014-11-28 | 2015-04-29 | 北京尚易德科技有限公司 | 机动车行经人行横道不依法让行行为的拍照系统及方法 |
| KR20180050892A (ko) * | 2016-11-07 | 2018-05-16 | 경일대학교산학협력단 | 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| KR101915456B1 (ko) * | 2017-04-18 | 2018-11-06 | 최병주 | 횡단보도의 보행자 안전 장치 |
| CN107730906A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 斑马线车辆不礼让行人行为的视觉检测系统 |
| CN108230254A (zh) * | 2017-08-31 | 2018-06-29 | 北京同方软件股份有限公司 | 一种自适应场景切换的高速交通全车道线自动检测方法 |
| CN108447305A (zh) * | 2018-04-21 | 2018-08-24 | 上海交通大学 | 一种新交规下礼让行人预警方法及预警系统 |
| CN108417045A (zh) * | 2018-04-24 | 2018-08-17 | 佛山市澄澜点寸科技有限公司 | 一种礼让行人抓拍处理系统及其方法 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321823A (zh) * | 2019-06-24 | 2019-10-11 | 杭州诚道科技股份有限公司 | 基于深度学习的斑马线礼让行人违法二次检测方法 |
| CN110414371A (zh) * | 2019-07-08 | 2019-11-05 | 西南科技大学 | 一种基于多尺度核卷积神经网络的实时人脸表情识别方法 |
| US11386637B2 (en) | 2019-07-16 | 2022-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting object |
| CN110353958A (zh) * | 2019-08-09 | 2019-10-22 | 朱原灏 | 一种协助盲人乘车的便携式装置及其方法 |
| CN110909598B (zh) * | 2019-10-16 | 2024-02-02 | 合肥湛达智能科技有限公司 | 一种基于深度学习的非机动车道交通违法行驶识别方法 |
| CN110909598A (zh) * | 2019-10-16 | 2020-03-24 | 合肥湛达智能科技有限公司 | 一种基于深度学习的非机动车道交通违法行驶识别方法 |
| CN111008554A (zh) * | 2019-10-16 | 2020-04-14 | 合肥湛达智能科技有限公司 | 一种基于深度学习的动态交通斑马线内不礼让行人识别方法 |
| CN111008554B (zh) * | 2019-10-16 | 2024-02-02 | 合肥湛达智能科技有限公司 | 一种基于深度学习的动态交通斑马线内不礼让行人识别方法 |
| CN111126170A (zh) * | 2019-12-03 | 2020-05-08 | 广东工业大学 | 一种基于目标检测与追踪的视频动态物检测方法 |
| CN111178206A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 一种基于改进yolo的建筑预埋件检测方法及系统 |
| CN111178206B (zh) * | 2019-12-20 | 2023-05-16 | 山东大学 | 一种基于改进yolo的建筑预埋件检测方法及系统 |
| CN111428644A (zh) * | 2020-03-25 | 2020-07-17 | 北京以萨技术股份有限公司 | 基于深度神经网络的斑马线区域监测方法、系统及介质 |
| CN111695409B (zh) * | 2020-04-24 | 2024-02-02 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的深度学习不礼让斑马线检测方法 |
| CN111695409A (zh) * | 2020-04-24 | 2020-09-22 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的深度学习不礼让斑马线检测方法 |
| CN112686136B (zh) * | 2020-12-29 | 2023-04-18 | 上海高德威智能交通系统有限公司 | 一种对象检测方法、装置及系统 |
| CN112686136A (zh) * | 2020-12-29 | 2021-04-20 | 上海高德威智能交通系统有限公司 | 一种对象检测方法、装置及系统 |
| CN113011331B (zh) * | 2021-03-19 | 2021-11-09 | 吉林大学 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
| CN113011331A (zh) * | 2021-03-19 | 2021-06-22 | 吉林大学 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
| CN113257008A (zh) * | 2021-05-12 | 2021-08-13 | 兰州交通大学 | 基于深度学习的行人流量动态控制系统及方法 |
| CN113326223A (zh) * | 2021-06-17 | 2021-08-31 | 恒安嘉新（北京）科技股份公司 | 一种信息交互、串口配置方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493609A (zh) | 一种便携式未礼让行人自动识别抓拍的装置和方法 | |
| Adu-Gyamfi et al. | Automated vehicle recognition with deep convolutional neural networks | |
| CN106875424B (zh) | 一种基于机器视觉的城市环境行驶车辆行为识别方法 | |
| CN105702048B (zh) | 基于行车记录仪的高速公路前车违法占道识别系统及方法 | |
| CN100545867C (zh) | 航拍交通视频车辆快速检测方法 | |
| CN102903239B (zh) | 交通路口车辆左右违章转向检测方法和系统 | |
| CN106652465A (zh) | 一种道路异常驾驶行为的识别方法及系统 | |
| CN107730906A (zh) | 斑马线车辆不礼让行人行为的视觉检测系统 | |
| CN107705574A (zh) | 一种精准快速的道路违章停车全自动抓拍系统 | |
| CN105404857A (zh) | 一种基于红外的夜间智能车前方行人检测方法 | |
| CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| CN106991668B (zh) | 一种天网摄像头拍摄画面的评价方法 | |
| CN108269407B (zh) | 一种自动管理人流、物流的安防机器人 | |
| CN105070053A (zh) | 一种识别车辆违规运动模式的智能交通监控摄像机 | |
| CN114419659A (zh) | 一种复杂场景下的安全帽佩戴检测方法 | |
| CN110298300A (zh) | 一种检测车辆违章压线的方法 | |
| CN109086682A (zh) | 一种基于多特征融合的智能视频黑烟车检测方法 | |
| CN108520528A (zh) | 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法 | |
| Ravish et al. | Intelligent traffic violation detection | |
| Krishnakumar et al. | Detection of vehicle speeding violation using video processing techniques | |
| CN106951820A (zh) | 基于环形模板和椭圆拟合的客流统计方法 | |
| CN111914704B (zh) | 一种三轮车载人的识别方法、装置、电子设备及存储介质 | |
| CN113076821A (zh) | 一种事件的检测方法及装置 | |
| Lyasheva et al. | Application of the weight model to detect the state registration number of the vehicle in the image | |
| CN114973664A (zh) | 一种基于机器视觉的城市交通在线智能监测预警管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190319 |
|
| WW01 | Invention patent application withdrawn after publication |