CN109741608A - 基于深度学习的机动车右转礼让行人分析抓拍系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的机动车右转礼让行人分析抓拍系统，包括：视频流接入模块，用于接入道路监控系统的视频流；GPU图形分析模块，对视频流接入模块接入的视频流进行视频解码得到视频数据；深度学习算法模块，对GPU图形分析模块的视频数据进行分析，对右转不避让行人的违法行为车辆进行抓拍取证。本发明解决了现有电子警察系统和普通视频监控系统，不能分析抓拍车辆礼让行人违法问题。

Description

基于深度学习的机动车右转礼让行人分析抓拍系统及方法

技术领域

本发明涉及道路交通领域，尤其涉及一种基于深度学习的机动车右转礼让行人分析抓拍系统及方法。

背景技术

目前我国道路交通人行横道绿灯亮起，右转车辆一次红绿灯变换就有几辆甚至几十辆机动车通过，在这些右转机动车中,很多机动车没有礼让行人，让正在行经人行横道的行人被迫“让行”。机动车右转不礼让行人属于交通违法行为，这种行为侵犯了行人的优先权，也是导致路口一些交通事故的主要原因，更是一种不文明、不安全的交通行为。

现有电子警察系统、视频监控系统往往只针对车辆进行检测，能对闯红灯违法行为进行有效的取证和处罚，而不具备行人检测功能，对机动车人行横道右转不避让行人的现象难以做到非现场、自动违法检测。

法律规定

机动车行经人行横道，应当减速行驶，遇行人通行，必须停车让行。对此，法律法规早就明确规定，并有相关罚则，不过在实际操作中真正处罚的很少。人行横道上“人躲车”的现状，主要因素就源于有法不依、执法不严、违法不究。要让人行横道真正成为行人的“生命线”，须先实现违法行为非现场自动抓拍。

2013年1月1日出台的《机动车驾驶证申领和使用规定》(公安部123号令)对驾驶机动车行经人行横道，不按规定减速、停车、避让行人的违法行为由2分增至3分，体现了法律法规上对这一情形的重视。

《道路交通安全法》第四十七条规定：机动车行经人行横道时，应当减速行驶；遇行人正在通过人行横道，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。

同时，2015年2月11日发布、2015年7月1日实施的《人行横道道路交通安全违法行为监测记录系统通用技术条件》(GAT1244-2015)对机动车违反人行横道让行规定行为记录的取证做出了规定：

系统应能至少记录以下2张反映机动车违反人行横道让行规定行为过程的图片：

a)能反映机动车未进入人行横道区域并能清晰辨别机动车特征，以及人行横道上行人的通行方向；

b)能反映a)图片中同一机动车进入了人行横道区域，阻挡了行人通行。

发明内容

本申请提供了一种道路交通基于深度学习的机动车右转礼让行人分析抓拍系统，解决了现有电子警察系统和普通视频监控系统，不能分析抓拍车辆礼让行人违法问题。

一种基于深度学习的机动车右转礼让行人分析抓拍系统，包括：视频流接入模块，用于接入道路监控系统的视频流；

GPU图形分析模块，对视频流接入模块接入的视频流进行视频解码得到视频数据；

深度学习算法模块，对GPU图形分析模块的视频数据进行分析，对右转不避让行人的违法行为车辆进行抓拍取证。

优选的，所述的深度学习算法模块包括

第一分析判断单元：配置成根据视频数据中的图像信息判断行人是否进入人行横道区域，若有，则进入第二分析判断单元；

第二分析判断单元：配置成判断行人在人行横道上行进轨迹、方向和数量，判断各车道属性，对机动车进行检测、定位、车辆信息识别和车辆行驶轨迹跟踪；

第三分析判断单元：根据第二分析判断单元对车辆是否礼让行人以及行人是否通过斑马线进行分析判断；

第四违章取证单元，根据第三分析判读单元的分析判断结果，对机动车的三个位置的图像信息进行抓拍。

优选的，所述第二分析判断单元包括：判断人行横道上的行人是进入人行横道还是离开人行横道，以及行人的数量和行人的先进方向；判断车道属性右转车道、右转直行车道、复用车道；检测车辆位置、车辆特征、颜色、号牌信息，同时跟踪行驶轨迹。

优选的，所述第三分析判断单元中：当行人已经进入斑马线到达第一车道，第二第三第四车道的车若已经压到斑马线上则可以缓慢通过，其余车辆必须减速停车礼让，待行人通过后，行人后面的车道的车可缓慢通过。

优选的，所述的第四违章取证单元中的抓拍机动车的三个位置的图像信息包括：第一位置图像信息：未压到人行横道时的机动车尾部信息和当前的环境信息；第二位置图像信息：处于人行横道区域的机动车尾部信息和当前的环境信息；第三位置图像信息：离开人行横道区域的机动车尾部图像信息。

优选的，所述的视频流接入模块还用于检测判断与道路监控系统之间的网络是否正常、道路监控系统中的前端摄像机工作是否正常及接收到的视频流是否正常，若网络不通或者网络延时超出预设值则判断为网络不正常，摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为摄像机不正常，以及视频流丢帧、跳帧判断为视频流不正常；当视频流接入模块检测出网络、摄像机、视频流不正常，则提示报警信息到中心平台；报警信息给出网络IP地址、摄像机点位信息，中心平台进行人工干预排查解决外部故障。

本发明还提供了一种基于深度学习的机动车右转礼让行人分析抓拍方法，包括步骤1)：获取道路监控系统中的视频流并对视频流进行视频解码输出视频数据；

步骤2)：对视频数据中的机动车的通信信息、行人运行方向、行人数量信息、监控路口的红绿灯当前状态进行分析并对右转不避让行人的违法行为的车辆进行取证抓拍。

优选的，所述步骤2)包括：步骤21)：判断行人是否进入人行横道区域，若有，则进入步骤22)：判断人行在人行横道上行进轨迹、方向和数量；以及判断各车道属性、对机动车进行检测、定位、车辆信息识别和行使轨迹跟踪；步骤23)：结合步骤22)，判断车辆是否礼让行人及行人是否通过斑马线，若机动车存在不礼让行人行为，则进行步骤24)：抓拍取证机动车三个位置的图像信息、并保存和输出。

优选的，所述步骤22)包括判断人行横道上的行人是进入人行横道还是离开人行横道，以及行人的数量和行人的先进方向；判断车道属性右转车道、右转直行车道、复用车道；检测车辆位置、车辆特征、颜色、号牌信息，同时跟踪行驶轨迹；所述步骤23)包括当行人已经进入斑马线到达第一车道，第二、第三、和第四车道的车若已经压到斑马线上则可以缓慢通过，其余车辆必须减速停车礼让，待行人通过后，行人后面的车道的车可缓慢通过。

优选的，所述步骤24)：抓拍取证的机动车的三个位置的图像信息包括第一位置图像信息：未压到人行横道时的机动车尾部信息和当前的环境信息；第二位置图像信息：处于人行横道区域的机动车尾部信息和当前的环境信息；第三位置图像信息：离开人行横道区域的机动车尾部图像信息。

本申请抓拍系统利用深度学习技术，利用原有道路监控视频，对机动车的通行信息和行人运行方向、数量信息，对通过监测路口的信号机红、绿灯当前状态，特别是直行红灯时右转机动车和行人进行实时的检测，自动捕获存在右转不避让行人违法行为的车辆，实现对机动车人行横道前不避让行人违法行为的违法自动抓拍，规范驾驶员驾驶行为，打造城市文明行车、守法行驶的交通环境。实现了利用原有路口电子警察和普通视频监控视频，对右转车辆不礼让行人违法行为的非现场取证。

统可自动记录机动车在此过程中的三个位置的图像信息，以反映机动车不按规定避让行人的行为。其中，第一个位置能清晰辨别环境信息、机动车尾部信息和机动车未压到人行横道上的情况。第二个位置能清晰辨别环境信息、机动车尾部信息和机动车处于人行横道区域对行人通行造成干扰的情况；第三个位置能清晰辨别机动车尾部离开人行横道区域的情况。其中，第一位置的环境信息和第二位置的环境信息包括信号灯状态、行人位置、车辆先进方向和车辆位置、车道属性信息。

进一步的，视频流接入模块通过检测判断网络是否正常、前端摄像机否正常工作、视频码流是否正常，网络不通或网络延时超出预设值判断为网络不正常，摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为摄像机不正常，码流丢帧、跳帧判断为码流不正常。当视频流接入模块检测出网络、摄像机、视频流不正常，则提示报警信息到中心平台；报警信息给出网络IP地址、摄像机点位信息，中心平台进行人工干预排查解决外部故障。

进一步的，视频流接入模块检测判断通过后，接入前端摄像机视频流，输入到GPU图形分析模块进行分析。

进一步的，GPU图形分析模块分析接入的视频流，充分利用GPU，使用并行化运算技术,进一步提高检测效率，分析结果(经过GPU图形分析模块对视频流进行视频解码后的结果)输入到深度学习算法模块进行分析。其中，GPU图形分析模块负责视频解码、视频数据输出，深度学习算法模块负责事件分析。

更进一步的，深度学习算法模块，采用人工智能技术对分析结果进行比对、验证，监测识别处于通行状态的信号灯状态、行人及机动车进行通行检测,同时抓拍未礼让行人的机动车。深度学习算法,检测判定路口信号机红、绿灯当前状态，特别是直行红灯时右转人行横道区域是否有行人通行。当斑马线有行人通过时,自动监测识别判定人行横道区域行人通行,当系统在斑马线上检测到准备过马路的行人,同时行人所在相邻车道也检测到车辆,如果车辆不礼让行人继续行驶越过斑马线(具体的，如果行人已经进入斑马线到达第一车道，第二第三第四车道的车如果已经压到斑马线上面了可以缓慢通过，其余车辆必须减速停车礼让，待行人通过后，行人后面的车道的车可缓慢通过),系统自动抓拍3张机动车不礼让的违法图片(深度学习算法是把整个过程的视频录像进行逐个画面分析，从整个过程视频中提取准确的位置图像，这是行业内公开的技术)。通过抓拍到的图片,警方可以清晰地看到违法的车牌及车辆特征,从而为交通执法提供有力的处罚依据。

所述视频流接入模块，由各摄像机厂家公开提供的SDK接入组件封装组成，取样并通过运放进行解转码，输入GPU图形分析模块进行分析，由取样软件进行故障功能判断处理；

所述GPU图形分析模块为英伟达NVIDIA公司的GPU处理器芯片，芯片上集成了视频处理、转换功能；

所述深度学习算法模块为谷歌公司的DeepMind AI核心，深度学习运算集中在GPU中，后端处理程序CPU+GPU的运行模式可以充分调用服务器的运算资源，多线程模式协作。

本申请的优点在于：

1)深度学习技术：使用深度学习技术，有效率高；可根据用户数据进行进一步训练，提高有效率。

2)解决抓拍问题：解决了现有电子警察系统和普通视频监控系统，不能分析抓拍车辆礼让行人违法问题。实现了利用原有路口视频监控，对机动车辆不礼让行人违法行为的非现场取证。

3)强大的系统功能：采用人工智能技术对分析结果进行比对、验证，识别所有车辆信息，当系统在斑马线上检测到准备过马路的行人,同时行人所在相邻车道也检测到车辆,如果车辆不礼让行人继续行驶越过斑马线,系统自动抓拍3张机动车不礼让的违法图片，并记录输出到违法信息平台。

4)优异的产品兼容性：以GA/T1244-2014《人行横道道路交通安全违法行为监测记录系统通用技术条件》标准为最基础标准，同时结合当前交警业务开展的实际需要，进行必要的功能扩展，提高产品兼容性，可兼容国内所有主流实时监控系统及视频抓拍系统。

5)节约建设成本：不需要在前端安装任何设备，利用原有路口电子警察和普通视频监控视频，对右转车辆不礼让行人违法行为的非现场取证。

附图说明

图1本发明的原理结构示意图；

图2本发明的分析判断示意图；

图3本发明的分析流程示意图。

具体实施方式

下面结合附图对本发明做进一步说明：

一种基于深度学习的机动车右转礼让行人分析抓拍系统，包括安装在道路路口的电子警察系统和普通的视频监控系统，还包括视频流接入模块，用于接入电子警察系统和视频监控系统的视频流；

GPU图形分析模块，对视频流接入模块接入的视频流进行视频解码，输出视频数据；深度学习模块，对GPU图形分析模块的视频数据进行分析，对右转不避让行人的违法行为车辆进行抓拍取证。

优选的，所述深度学习算法模块包括：

第一分析判断单元，配置成根据视频数据中的图像信息判断行人是否进入人行横道区域，若有，则进入第二分析判断单元；

第二分析判断单元，配置成判断行人在人行横道上行进轨迹、方向和数量，以及判断各车道属性、对机动车进行检测、定位、车辆信息识别和行使轨迹跟踪；具体的，包括判断人行横道上的行人是进入人行横道还是离开人行横道，以及行人数量和行人的行进方向(从左到右或者从右到左)，判断车道属性右转车道、右转直行车道、复用车道；检测车辆位置、车辆特征、颜色、号牌信息，同时跟踪行驶轨迹。

第三分析判断单元，根据第二分析判断单元对车辆是否礼让行人以及行人是否通过斑马线进行分析判断；其中，第三分析判断单元中，若行人已经进入斑马线到达第一车道，第二车道、第三和第四车道上的车如果已经压到斑马线上面，可以缓慢通过，其余车辆必须减速停车礼让，待行人通过后，行人后面的车道的车可缓慢通过；

第四违章取证单元，根据第三分析判断单元的分析判断结果，对机动车的三个位置的图像信息进行违法取证抓拍。

其中，第四违章取证单元，用于抓拍机动车的三个位置的图像信息，这三个位置的图像信息包括第一位置图像信息：未压到人行横道时的机动车尾部信息和当前的环境信息；第二位置图像信息：处于人行横道区域的机动车尾部信息和当前的环境信息；第三位置图像信息：离开人行横道区域的机动车尾部图像信息。

深度分析模块抓拍取证的违法车辆的三个位置的图像信息，将违法信息输出至非现场平台。

优选的，所述视频流接入模块还用于检测判断与道路监控系统(包括电子警察系统和视频监控系统)之间的网络是否正常、电子警察系统和视频监控系统中的前端摄像机工作是否正常及接收到的视频流是否正常，若网络不通或者网络延时超出预设值则判断为网络不正常，摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为摄像机不正常，以及视频流丢帧、跳帧判断为视频流不正常。当视频流接入模块检测出网络、摄像机、视频流不正常，则提示报警信息到中心平台；报警信息给出网络IP地址、摄像机点位信息，中心平台进行人工干预排查解决外部故障。

本发明还提供一种基于深度学习的机动车右转礼让行人分析抓拍方法，包括步骤1：获取电子警察系统和视频监控系统中的视频流，并对视频流进行视频解码后输出视频数据；

步骤2：对视频数据中的机动车的通信信息、行人运行方向、行人数量信息、监控路口的红绿灯当前状态进行分析并获取抓拍右转不避让行人的违法行为的车辆。

优选的，步骤2包括：步骤21)：判断行人是否进入人行横道区域，若有则进入步骤22)：判断人行在人行横道上行进轨迹、方向和数量；以及判断各车道属性、对机动车进行检测、定位、车辆信息识别和行使轨迹跟踪；

步骤23)：结合步骤22)，判断车辆是否礼让行人及行人是否通过斑马线，若机动车存在不礼让行人行为，则进行步骤24)

步骤24)：抓拍取证机动车三个位置的图像信息、并保存和输出到违法信息平台。具体的，步骤23是车辆是否礼让行人的判断机制，如果YES(存在不礼让行为)就进行步骤24抓拍取证，如果NO(不存在不礼让行为)就循环返回步骤22开始下一位行人检测。因斑马线行人通过是多人顺序通过，系统在这里进行每位行人的循环跟踪判断，直到最后一位行人通过斑马线。

其中步骤24)中：抓拍取证的机动车的三个位置的图像信息包括第一位置图像信息：未压到人行横道时的机动车尾部信息和当前的环境信息；第二位置图像信息：处于人行横道区域的机动车尾部信息和当前的环境信息；第三位置图像信息：离开人行横道区域的机动车尾部图像信息。

其中，所述步骤22)包括判断人行横道上的行人是进入人行横道还是离开人行横道，以及行人的数量和行人的先进方向；判断车道属性右转车道、右转直行车道、复用车道；检测车辆位置、车辆特征、颜色、号牌信息，同时跟踪行驶轨迹；所述步骤23)包括当行人已经进入斑马线到达第一车道，第二、第三、和第四车道的车若已经压到斑马线上则可以缓慢通过，其余车辆必须减速停车礼让，待行人通过后，行人后面的车道的车可缓慢通过。

如图1所示，利用原有路口电子警察和普通视频监控视频，对右转车辆不礼让行人违法行为的非现场取证，视频传输到后端分析系统更行分析，分析后得到抓拍数据。

如图2所示，视频流接入模块检测判断通过后，接入前端摄像机视频流，输入到GPU图形分析模块进行分析。GPU图形分析模块分析接入的视频流，充分利用GPU，使用并行化运算技术,进一步提高检测效率，分析结果输入到深度学习算法模块进行分析。深度学习算法模块，采用人工智能技术对分析结果进行比对、验证，监测识别处于通行状态的行人及机动车进行通行检测,同时抓拍未礼让行人的机动车。深度学习算法,检测判定人行横道区域是否有行人通行。当斑马线有行人通过时,自动监测识别判定人行横道区域行人通行,当系统在斑马线上检测到准备过马路的行人,同时行人所在相邻车道也检测到车辆,如果车辆不礼让行人继续行驶越过斑马线,系统自动抓拍动车不礼让的违法图片。

如图3所示，采用人工智能技术对分析结果进行比对、验证，识别所有车辆信息，当系统在斑马线上检测到准备过马路的行人,同时行人所在相邻车道也检测到车辆,如果车辆不礼让行人继续行驶越过斑马线,系统自动抓拍3张机动车不礼让的违法图片，并记录输出到违法信息平台。

Claims (10)

1.一种基于深度学习的机动车右转礼让行人分析抓拍系统，其特征在于：包括：

视频流接入模块，用于接入道路监控系统的视频流；

GPU图形分析模块，对视频流接入模块接入的视频流进行视频解码得到视频数据；

深度学习算法模块，对GPU图形分析模块的视频数据进行分析，对右转不避让行人的违法行为车辆进行抓拍取证。

2.根据权利要求1所述的一种基于深度学习的机动车右转礼让行人分析抓拍系统，其特征在于：所述的深度学习算法模块包括

第一分析判断单元：配置成根据视频数据中的图像信息判断行人是否进入人行横道区域，若有，则进入第二分析判断单元；

第二分析判断单元：配置成判断行人在人行横道上行进轨迹、方向和数量，判断各车道属性，对机动车进行检测、定位、车辆信息识别和车辆行驶轨迹跟踪；

第三分析判断单元：根据第二分析判断单元对车辆是否礼让行人以及行人是否通过斑马线进行分析判断；

第四违章取证单元，根据第三分析判读单元的分析判断结果，对机动车的三个位置的图像信息进行抓拍。

3.根据权利要求2所述的一种基于深度学习的机动车右转礼让行人分析抓拍系统，其特征在于：所述第二分析判断单元包括：判断人行横道上的行人是进入人行横道还是离开人行横道，以及行人的数量和行人的先进方向；判断车道属性右转车道、右转直行车道、复用车道；检测车辆位置、车辆特征、颜色、号牌信息，同时跟踪行驶轨迹。

4.根据权利要求2所述的一种基于深度学习的机动车右转礼让行人分析抓拍系统，其特征在于：所述第三分析判断单元中：当行人已经进入斑马线到达第一车道，第二第三第四车道的车若已经压到斑马线上则可以缓慢通过，其余车辆必须减速停车礼让，待行人通过后，行人后面的车道的车可缓慢通过。

5.根据权利要求2所述的一种基于深度学习的机动车右转礼让行人分析抓拍系统，其特征在于：所述的第四违章取证单元中的抓拍机动车的三个位置的图像信息包括：第一位置图像信息：未压到人行横道时的机动车尾部信息和当前的环境信息；第二位置图像信息：处于人行横道区域的机动车尾部信息和当前的环境信息；第三位置图像信息：离开人行横道区域的机动车尾部图像信息。

6.根据权利要求4所述的一种基于深度学习的机动车右转礼让行人分析抓拍系统，其特征在于：所述的视频流接入模块还用于检测判断与道路监控系统之间的网络是否正常、道路监控系统中的前端摄像机工作是否正常及接收到的视频流是否正常，若网络不通或者网络延时超出预设值则判断为网络不正常，摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为摄像机不正常，以及视频流丢帧、跳帧判断为视频流不正常；当视频流接入模块检测出网络、摄像机、视频流不正常，则提示报警信息到中心平台；报警信息给出网络IP地址、摄像机点位信息，中心平台进行人工干预排查解决外部故障。

7.一种基于深度学习的机动车右转礼让行人分析抓拍方法，其特征在于：包括步骤1)：获取道路监控系统中的视频流并对视频流进行视频解码输出视频数据；

步骤2)：对视频数据中的机动车的通信信息、行人运行方向、行人数量信息、监控路口的红绿灯当前状态进行分析并对右转不避让行人的违法行为的车辆进行取证抓拍。

8.根据权利求7所述的一种基于深度学习的机动车右转礼让行人分析抓拍方法，其特征在于：所述步骤2)包括：步骤21)：判断行人是否进入人行横道区域，若有，则进入步骤22)：判断人行在人行横道上行进轨迹、方向和数量；以及判断各车道属性、对机动车进行检测、定位、车辆信息识别和行使轨迹跟踪；步骤23)：结合步骤22)，判断车辆是否礼让行人及行人是否通过斑马线，若机动车存在不礼让行人行为，则进行步骤24)：抓拍取证机动车三个位置的图像信息、并保存和输出。

9.根据权利要求8所述的一种基于深度学习的机动车右转礼让行人分析抓拍方法，其特征在于：所述步骤22)包括判断人行横道上的行人是进入人行横道还是离开人行横道，以及行人的数量和行人的先进方向；判断车道属性右转车道、右转直行车道、复用车道；检测车辆位置、车辆特征、颜色、号牌信息，同时跟踪行驶轨迹；所述步骤23)包括当行人已经进入斑马线到达第一车道，第二、第三、和第四车道的车若已经压到斑马线上则可以缓慢通过，其余车辆必须减速停车礼让，待行人通过后，行人后面的车道的车可缓慢通过。

10.根据权利要求8所述的一种基于深度学习的机动车右转礼让行人分析抓拍方法，其特征在于：所述步骤24)：抓拍取证的机动车的三个位置的图像信息包括第一位置图像信息：未压到人行横道时的机动车尾部信息和当前的环境信息；第二位置图像信息：处于人行横道区域的机动车尾部信息和当前的环境信息；第三位置图像信息：离开人行横道区域的机动车尾部图像信息。