CN110689724B - 一种基于深度学习的机动车斑马线礼让行人自动审核方法 - Google Patents
一种基于深度学习的机动车斑马线礼让行人自动审核方法 Download PDFInfo
- Publication number
- CN110689724B CN110689724B CN201811654791.4A CN201811654791A CN110689724B CN 110689724 B CN110689724 B CN 110689724B CN 201811654791 A CN201811654791 A CN 201811654791A CN 110689724 B CN110689724 B CN 110689724B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- vehicle
- judging whether
- algorithm
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 241000283070 Equus zebra Species 0.000 title claims abstract description 14
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000006073 displacement reaction Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012550 audit Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的机动车斑马线礼让行人自动审核方法：获取卡口摄像头抓拍到的车辆经过交通路口时的照片；使用行人检测算法检测图片上是否有行人；使用行人重识别算法追踪三张图片上的行人，并根据行人的位置判断行人是否有明显位移；使用场景分割算法分割出人行横道区域的信息，并判断行人是否在人行横道区域；使用车辆检测算法检测出抓拍图上的车辆；使用车牌识别和车辆重识别算法定位并追踪三种图上待审核的车辆；判断追踪的车辆行驶方向与行人位移方向是否有冲突；判断第一张照片是否越过停止线，且第二、三张图片机动车是否有位移并阻挡了行人通过。
Description
技术领域
本发明涉及道路交通领域交通路口的违章车辆的自动抓拍审核的全自动化、人工智能化判断的技术领域，特别涉及目标检测、字符识别、目标重识别、属性分类、场景分割等智能图像识别方法。
背景技术
随着社会经济的不断发展和人民私家车的保有量持续提高，道路交通安全状况也面临越来越严峻的考验。除了完善交通基础设施、多修路、加强驾驶员和普通民众的交通安全意识培训、教育之外，合理的法律手段也是督促驾驶员遵守交通法规、减少道路伤亡的有效手段。《道路交通安全法》规定，机动车行经人行横道时，应当减速行驶；遇行人正在通过人行横道，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。
各种交通路口的抓拍摄像头会抓拍到大量的车辆经过路口时的疑似违规图片组，传统的做法是对这些证据图进行多轮审核以严格确认驾驶员是否违反交通规则，并保证准确性、公正性，减少驾驶员的投诉率。
传统的传统的违章审核方式主要通过人工审核、矫正、查验，该方法人工成本较高，效率低下，且长时间的重复性工作和监考员的主观状态的不好等不良影响，会影响到违章审核的效率和公平性、公正性。
如何快速、有效、公正、公开的监督、评判驾驶员的违章行为和违章程度，同时避免人工成本较高，提升交通管理部门效率等问题，是急需解决的技术问题。
发明内容
本发明的目的是：提出一种基于深度学习的机动车斑马线礼让行人自动审核方法，替代现有审核体系中的人工审核的方式，提高了违章审核的准确性、审核效率和违章审核的公正性，并显著的降低了政企单位的人力资源成本，帮助其减少劳动密集性的岗位，投入更多精力培养员工到高附加值的岗位中，减小企业的开支并大大提高工作效率。
本发明解决其技术问题所采用的技术方案是：
一种用于自动判别道路违章审核中机动车是否违反遇到行人正在通过人行横道时未停车让行的规则的算法，包括如下步骤：
S1、通过交通路口卡口摄像头抓拍车辆经过交通路口时的组合照片；
S2、使用基于yolo-v2的行人检测算法检测多帧图片上的多个目标行人；
S3、使用基于深度神经网络inception的行人重识别算法追踪三张图片上的行人，设置id并绑定；
S4、根据追踪到的行人的位置在多张图片上的轨迹判断其是否有明显位移；
S5、使用pixel-level场景分割算法deeplab-v2分割出人行横道区域的信息，并判断行人是否在人行横道区域；
S6、使用基于caffe-ssd的车辆检测算法检测出抓拍图上的车辆；
S7、使用基于caffe-lstm和caffe-ssd的车牌识别和车辆重识别算法定位并追踪三种图上待审核的车辆；
S8、判断追踪的车辆行驶方向与行人位移方向是否有冲突；
S9、判断第一张照片是否越过停止线，且第二、三张图片机动车是否有位移并阻挡了行人通过；
进一步，所述基于深度学习的行人检测方法步骤如下：
S21、对卡口摄像头采集到的一组图片进行图像变换等预处理；
S22、将处理后的图片输入进神经网络进行前馈预测，得到行人矩形框；
S23、使用与S22相同的方式处理第二、三张图片，得到每一张图片上的行人矩形框，并记录保存；
S24、对第一张图片上的每个行人设置id；
进一步，所述基于行人的重识别算法步骤如下：
S31、使用行人重识别算法提取第一张图上通过S2行人检测到的每一个行人的特征；
S32、使用行人重识别算法提取第二张图上通过S2行人检测到的每一个行人的特征；
S33、使用行人重识别算法提取第三张图上通过S2行人检测到的每一个行人的特征；
S34、通过余弦距离计算出三张证据图上特征相同的行人，既判断哪些行人同时出现在了三张证据图上；
所述余弦距离计算公式为：
A为算法提取到的目标行人的特征向量，B为提取到的待搜索的行人的特征向量；
S35、对同时出现在三张图上的行人设置id，并绑定记录其信息；
进一步，所述判断追踪到的行人是否有明显位移的方法，其步骤如下：
S41、依次从S3记录的信息中的每一张图的容器里取出id相同的行人；
S42、判断该行人的坐标从图一到图二，再从图二到图三是否有明显位移；
S43、迭代判断容器中的每一个行人是否在证据图上有明显位移；
S44、记录在证据图上有明显位移的行人的id、坐标和矩形框等信息；
进一步，所述基于深度学习的场景分割算法，分割出人行横道等区域，其步骤如下：
S51、收集应用场景摄像头抓拍到的图片，然后进行数据标注，标注出图片中的人行横道线、斑马线、车道线、行人、汽车等区域，生成标注信息；
S52、将标注的目标信息转为标签矩阵，结合原始图片生成分割模型训练集；
S53、将公交车道图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skiplayer引入低维细节特征作为模型网络结构。使用a＊bce_loss+b＊lovasz_loss作为最终loss(0<＝a,b<＝1，人为设定)，并引入辅助损失aux_loss进行训练；
S54、获取卡口摄像头抓拍到的三张车辆违章证据图；
S55、使用场景分割算法模型分割得到三张证据图的特征图片；
S56、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于人行横道类别的像素点坐标集合输出，从而实现人行横道区域的分割；
S54、判断S4最终记录的有明显位移的行人的坐标区域与人行横道的坐标区域是否重合，既判断追踪的行人是否在人行横道区域；
进一步，所述基于深度学习的车辆检测算法，检测出证据图上的所有车辆，其步骤如下：
S61、对卡口摄像头采集到的一组证据图片进行图像变换等预处理；
S62、将处理后的图片输入进神经网络进行前馈预测，得到车辆矩形框；
S63、使用与S62相同的方式处理第二、三张图片，得到每一张图片上的车辆矩形框，并记录保存；
S64、对第一张图片上的每个车辆设置id；
进一步，所述基于车辆的重识别算法，其步骤如下：
S71、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强。当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征。
S72、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征；
S73、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到若干256维特征；
S74、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到若干256维特征；
S75、用S31中一个256维特征和S32中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；
S76、用S32中得分最高的256维特征和S33中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；
S77、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。
进一步，所述判断车辆行驶方向与行人行走方向冲突的方法，其步骤如下：
S81、根据S4的方法判断行人是否有明显位移，既过马路的行为；
S82、根据S5的方法判断行人是否在人行横道区域，既礼让行人违规区域；
S83、根据行人的位移框绘制出行人运行轨迹；
S84、根据S7追踪到的车辆矩形框绘制出车辆的行驶轨迹；
S85、判断车辆的行驶轨迹和行人的运行轨迹是否交叠，是则判断为车辆行驶方向与行人行走方向冲突；
进一步，所述判断车辆是否阻挡行人经过人行横道区域的方法，其步骤如下：
S91、判断第一张图上追踪的车辆是否越过停止线，否则继续步骤；
S92、判断第二张图上追踪的车辆是否进入人行横道区域，并在跟踪行人的左边，既阻挡行人经过人行横道区域，是则记为违规，否则继续步骤；
S93、判断第三张图上追踪的车辆是否进入人行横道区域，并在跟踪行人的左边，既阻挡行人经过人行横道区域，是则记为违规，否则继续步骤；
S94、若记录为违规，则审核通过，否则审核作废；
本发明的有益效果是：使用自动化的、人工智能化的违章审核方式替代现有审核体系中的人工审核的方式，显著提高了违章审核的准确性、审核效率和违章审核的公正性，并显著的降低了政企单位的人力资源成本，帮助其减少劳动密集性的岗位，投入更多精力培养员工到高附加值的岗位中，减小企业的开支并大大提高工作效率。
附图说明：
图1是本发明的自动化违章识别审核流程图；
图2是本发明的各算法模块示意图；
图3是本发明的礼让行人示意图；
图4所示根据道路电警摄像头抓拍到的一组违章照片分割出所需要的道路信息
图5所示为encoder-decoder结构
具体实施方式
以下结合附图，对本发明做进一步说明。
本发明主要基于底层图像算法模块，逻辑算法模块。
如图3示意图所示，机动车经过斑马线时应该礼让行人，既当行人行驶过斑马线后，车辆的行驶不是阻碍到行人经过人行横道区域时，机动车方可驶过人行横道区域。
如图2所示，底层算法模块由行人检测、车辆检测、行人追踪、车辆追踪、场景分割组成，由逻辑算法模块整合所有信息并进行违章审核判断。算法首先对卡口摄像头采集到的一组证据图片进行必要的图像预处理，然后历经各底层算法模块提取到人形矩形框、人形特征、车辆矩形框、车辆特征、场景分割信息并记录。根据算法提取到的必要信息，输入进逻辑算法模块，判断车辆在行人通过人行横道区域时是否进入该区域阻挡行人的通过。使用自动化的、人工智能的审核方法进一步的提高了违章审核的效率和准确性。
如图4所示，本发明采用的基于神经网络的场景分割识别算法(斑马线、车辆)模型结构由多层卷积结构conv-blocks提取特征图feature-map，并在深层特征出使用池化金字塔pyramid-pooling进行多尺度的特征分析，最后上采用出各关注目标的分割特征图，如斑马线、车辆、车道线等，并帮助进行车辆是否礼让行人的逻辑判断。
如图4所示根据道路电警摄像头抓拍到的一组违章照片分割出所需要的道路信息，道路信息有{斑马线，停止线，直行导向线，左转导向线，右转导向线，直行左转导向线，直行右转导向线，左转掉头导向线，左转右转直行导向线，直行掉头导向线，道路实现，道路虚线，小汽车，大汽车，行人，待转区域，道路黄线，占用车道标识，公交车区域，道路栅栏}。使用该模型输入路口图片进行预侧，得到彩色mask图，灰度mask图，覆盖mask信息的原图，各种目标提取图(如直行导向线、左转导向线，斑马线，小汽车等等)及其区域坐标和区域范围。
如图5所示，本发明分割算法由基本的encoder-decoder结构组成，encoder部分进行特征提取，decoder部分进行特征解码，还原出针对特定分割目标的特征图。
分割算法的优化主要分为几个方向：编码器encoder优化，解码器decoder优化，损失函数loss function优化。
编码器encoder方法：采用不同组织、不同深度的骨干结构，如VGG，ResNet-50,ResNet-101,RetainNet，Xception，MobileNet等。
解码器decoder方法：基于特征递此上采样融合的Unet，基于多孔卷积的Aspp，基于全局局部特征分析的psp_module，基于浅层细节和深层特征提取的CRF和skip layer，基于多层上采样融合的hyper column，辅助学习的auxiliary loss和引入全局分类细化特征的super supervised等等。
本发明的实施具体流程如图1所示，一种用于自动判别道路违章审核中机动车是否违反遇到行人正在通过人行横道时未停车让行的规则的算法，包括如下步骤：
S1、通过交通路口卡口摄像头抓拍车辆经过交通路口时的组合照片；
S2、使用行人检测算法检测多帧图片上的多个目标行人；
S3、使用行人重识别算法追踪三张图片上的行人，设置id并绑定；
S4、根据追踪到的行人的位置判断其是否有明显位移；
S5、使用场景分割算法分割出人行横道区域的信息，并判断行人是否在人行横道区域；
S6、使用车辆检测算法检测出抓拍图上的车辆；
S7、使用车牌识别和车辆重识别算法定位并追踪三种图上待审核的车辆；
S8、判断追踪的车辆行驶方向与行人位移方向是否有冲突；
S9、判断第一张照片是否越过停止线，且第二、三张图片机动车是否有位移并阻挡了行人通过；
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种基于深度学习的机动车斑马线礼让行人自动审核方法，其特征在于，包括以下步骤：
S1、通过交通路口卡口的视频采集设备采集三个不同时刻的图像,每张图像之间依次相隔1～2秒，还有一张为第一个时刻目标车辆放大之后的特写图，利用切分算法切出3张有效图；
S2、使用行人检测算法检测多帧图片上的多个目标行人；
S3、使用行人重识别算法追踪三张图片上的行人，设置id并绑定；
所述步骤S3基于行人的重识别算法，其步骤如下：
S31、使用行人重识别算法提取第一张图上通过S2行人检测到的每一个行人的特征；
S32、使用行人重识别算法提取第二张图上通过S2行人检测到的每一个行人的特征；
S33、使用行人重识别算法提取第三张图上通过S2行人检测到的每一个行人的特征；
S34、通过余弦距离计算出三张证据图上特征相同的行人，既判断哪些行人同时出现在了三张证据图上；
所述的余弦距离计算公式为：
A为算法提取到的目标行人的特征向量，B为提取到的待搜索的行人的特征向量；
S35、对同时出现在三张图上的行人设置id，并绑定记录其信息；
S4、根据追踪到的行人的位置判断其是否有明显位移；
S5、使用场景分割算法分割出人行横道区域的信息，并判断行人是否在人行横道区域；
S6、使用车辆检测算法检测出抓拍图上的车辆；
S7、使用车牌识别和车辆重识别算法定位并追踪三种图上待审核的车辆;
S8、判断追踪的车辆行驶方向与行人位移方向是否有冲突；
S9、判断第一张照片是否越过停止线，且第二、三张图片机动车是否有位移并阻挡了行人通过。
2.如权利要求1所述的一种基于深度学习的机动车斑马线礼让行人自动审核方法，其特征在于，所述步骤S2中基于深度学习的行人检测算法，其步骤如下：
S21、对卡口摄像头采集到的一组图片进行图像变换预处理；
S22、将处理后的图片输入进神经网络进行前馈预测，得到行人矩形框；
S23、使用与S22相同的方式处理第二、三张图片，得到每一张图片上的行人矩形框，并记录保存；
S24、对第一张图片上的每个行人设置id。
3.如权利要求1所述的一种基于深度学习的机动车斑马线礼让行人自动审核方法，其步骤如下：
S41、依次从S3记录的信息中的每一张图的容器里取出id相同的行人；
S42、判断该行人的坐标从图一到图二，再从图二到图三是否有明显位移；
S43、迭代判断容器中的每一个行人是否在证据图上有明显位移；
S44、记录在证据图上有明显位移的行人的id、坐标和矩形框信息。
4.如权利要求1所述的一种基于深度学习的机动车斑马线礼让行人自动审核方法，其特征在于，所述步骤S5中基于深度学习的场景分割算法，分割出人行横道区域，其步骤如下：
S51、获取卡口摄像头抓拍到的三张车辆违章证据图；
S52、使用场景分割算法分割得到三张证据图的特征图片；
S53、根据特征图提取出每一张图片上的人行横道区域；
S54、判断S4最终记录的有明显位移的行人的坐标区域与人行横道的坐标区域是否重合，既判断追踪的行人是否在人行横道区域。
5.如权利要求1所述的一种基于深度学习的机动车斑马线礼让行人自动审核方法，其特征在于，所述步骤S6中基于深度学习的车辆检测算法，检测出证据图上的所有车辆，其步骤如下：
S61、对卡口摄像头采集到的一组证据图片进行图像变换预处理；
S62、将处理后的图片输入进神经网络进行前馈预测，得到车辆矩形框；
S63、使用与S62相同的方式处理第二、三张图片，得到每一张图片上的车辆矩形框，并记录保存；
S64、对第一张图片上的每个车辆设置id。
6.如权利要求1所述的一种基于深度学习的机动车斑马线礼让行人自动审核方法，其特征在于，所述步骤S7中基于车辆的重识别算法，其步骤如下：
S71、使用车辆重识别算法提取第一张图上通过S6车辆检测到的每一辆车的特征；
S72、使用车辆重识别算法提取第二张图上通过S6车辆检测到的每一辆车的特征；
S73、使用车辆重识别算法提取第三张图上通过S6行人检测到的每一辆车的特征；
S74、通过余弦距离计算出三张证据图上特征相同的车辆，既判断哪些车辆同时出现在了三张证据图上；
S75、对同时出现在三张图上的车辆设置id，并绑定记录其信息。
7.如权利要求1所述的一种基于深度学习的机动车斑马线礼让行人自动审核方法，其特征在于，所述步骤S8中判断车辆行驶方向与行人行走方向冲突的方法，其步骤如下：
S81、根据S4的方法判断行人是否有明显位移，既过马路的行为；
S82、根据S5的方法判断行人是否在人行横道区域，既礼让行人违规区域；
S83、根据行人的位移框绘制出行人运行轨迹；
S84、根据S7追踪到的车辆矩形框绘制出车辆的行驶轨迹；
S85、判断车辆的行驶轨迹和行人的运行轨迹是否交叠，是则判断为车辆行驶方向与行人行走方向冲突。
8.如权利要求1所述的一种基于深度学习的机动车斑马线礼让行人自动审核方法，其特征在于，所述步骤S9中判断车辆是否阻挡行人经过人行横道区域的方法，其步骤如下：
S91、判断第一张图上追踪的车辆是否越过停止线，否则继续步骤；
S92、判断第二张图上追踪的车辆是否进入人行横道区域，并在跟踪行人的左边，既阻挡行人经过人行横道区域，是则记为违规，否则继续步骤；
S93、判断第三张图上追踪的车辆是否进入人行横道区域，并在跟踪行人的左边，既阻挡行人经过人行横道区域，是则记为违规，否则继续步骤；
S94、若记录为违规，则审核通过，否则审核作废。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811654791.4A CN110689724B (zh) | 2018-12-31 | 2018-12-31 | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811654791.4A CN110689724B (zh) | 2018-12-31 | 2018-12-31 | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110689724A CN110689724A (zh) | 2020-01-14 |
| CN110689724B true CN110689724B (zh) | 2022-08-30 |
Family
ID=69107152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811654791.4A Expired - Fee Related CN110689724B (zh) | 2018-12-31 | 2018-12-31 | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689724B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292530A (zh) * | 2020-02-04 | 2020-06-16 | 浙江大华技术股份有限公司 | 处理违章图片的方法、装置、服务器和存储介质 |
| CN112329682B (zh) * | 2020-11-16 | 2024-01-26 | 常州大学 | 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法 |
| CN112633062A (zh) * | 2020-11-18 | 2021-04-09 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的深度学习占用公交车道检测方法 |
| CN113011331B (zh) * | 2021-03-19 | 2021-11-09 | 吉林大学 | 机动车是否礼让行人的检测方法、装置、电子设备及介质 |
| CN113111824B (zh) * | 2021-04-22 | 2022-12-13 | 青岛图灵科技有限公司 | 一种基于视频分析的行人穿越马路实时识别方法 |
| CN113420714B (zh) * | 2021-07-12 | 2023-08-22 | 浙江大华技术股份有限公司 | 一种采集图像上报方法、装置及电子设备 |
| CN114740855A (zh) * | 2022-04-11 | 2022-07-12 | 沛远智能科技（厦门）有限公司 | 一种人物跟随识别确定方法及设备 |
| CN114882455B (zh) * | 2022-07-04 | 2022-09-27 | 南京信息工程大学 | 基于改进RetinaNet的斑马线礼让行人检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120107757A (ko) * | 2011-03-22 | 2012-10-04 | 양창열 | 스쿨존에서의 횡단보도 교통안전시스템 |
| CN104537360A (zh) * | 2015-01-15 | 2015-04-22 | 上海博康智能信息技术有限公司 | 车辆未让行违章检测方法及其检测系统 |
| CN107730906A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 斑马线车辆不礼让行人行为的视觉检测系统 |
| CN108009475A (zh) * | 2017-11-03 | 2018-05-08 | 东软集团股份有限公司 | 驾驶行为分析方法、装置、计算机可读存储介质及电子设备 |
| CN108229456A (zh) * | 2017-11-22 | 2018-06-29 | 深圳市商汤科技有限公司 | 目标跟踪方法和装置、电子设备、计算机存储介质 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680133B (zh) * | 2015-02-04 | 2018-02-02 | 上海依图网络科技有限公司 | 一种违规车让人行为实时检测方法 |
-
2018
- 2018-12-31 CN CN201811654791.4A patent/CN110689724B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120107757A (ko) * | 2011-03-22 | 2012-10-04 | 양창열 | 스쿨존에서의 횡단보도 교통안전시스템 |
| CN104537360A (zh) * | 2015-01-15 | 2015-04-22 | 上海博康智能信息技术有限公司 | 车辆未让行违章检测方法及其检测系统 |
| CN107730906A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 斑马线车辆不礼让行人行为的视觉检测系统 |
| CN108009475A (zh) * | 2017-11-03 | 2018-05-08 | 东软集团股份有限公司 | 驾驶行为分析方法、装置、计算机可读存储介质及电子设备 |
| CN108229456A (zh) * | 2017-11-22 | 2018-06-29 | 深圳市商汤科技有限公司 | 目标跟踪方法和装置、电子设备、计算机存储介质 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110689724A (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689724B (zh) | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 | |
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| CN110009913B (zh) | 一种闯红灯车辆的非现场执法图片智能审核方法和系统 | |
| CN109637151B (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
| CN109949578B (zh) | 一种基于深度学习的车辆压线违法自动审核方法 | |
| CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
| CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
| CN109948416A (zh) | 一种基于深度学习的违法占用公交车道自动审核方法 | |
| CN109948418A (zh) | 一种基于深度学习的违反导向违法自动审核方法 | |
| CN103778786A (zh) | 一种基于显著车辆部件模型的交通违章检测方法 | |
| CN114170580A (zh) | 一种面向高速公路的异常事件检测方法 | |
| CN109902676A (zh) | 一种基于动态背景的违停检测算法 | |
| CN112633722B (zh) | 车载道路安全风险评估系统及方法 | |
| CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
| CN110675637A (zh) | 车辆违法视频的处理方法、装置、计算机设备及存储介质 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| CN106980855A (zh) | 交通标志快速识别定位系统及方法 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN106960193A (zh) | 一种车道线检测装置和方法 | |
| CN118038409A (zh) | 车辆可行驶区域检测方法、装置、电子设备及存储介质 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN113435350A (zh) | 一种交通标线检测方法、装置、设备和介质 | |
| Nagaraj et al. | A Semantic Segmentation Approach for Road Defect Detection and Quantification | |
| CN112633163B (zh) | 一种基于机器学习算法实现非法运营车辆检测的检测方法 | |
| CN112329724B (zh) | 机动车变道实时检测与抓拍方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220830 |