CN111860280A - 一种基于深度学习的驾驶员违章行为识别系统 - Google Patents
一种基于深度学习的驾驶员违章行为识别系统 Download PDFInfo
- Publication number
- CN111860280A CN111860280A CN202010680050.4A CN202010680050A CN111860280A CN 111860280 A CN111860280 A CN 111860280A CN 202010680050 A CN202010680050 A CN 202010680050A CN 111860280 A CN111860280 A CN 111860280A
- Authority
- CN
- China
- Prior art keywords
- driver
- module
- video
- image
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 98
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 11
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000011160 research Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002898 library design Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的驾驶员违章行为识别系统，包含客户端和服务器端；在驾驶员违章行为识别系统客户端中输入待检视频，提取视频帧后上传到服务器端，通过后台的动作识别代码，结合所选择的需要识别的行为，对图像进行动作识别，并将识别结果传输至客户端。本发明对驾驶员违章行为识别系统的需求进行了分析，然后设计出客户端与服务器端两大模块，在客户端中设计了登录模块、视频操作模块、识别结果模块以及图像上传与下载模块，在服务器端中设计了配置模块与驾驶员违章行为识别模块。经过测试和应用，该系统较好的完成了驾驶员违章行为的识别，有较高的使用价值。
Description
技术领域
本发明具体涉及一种基于深度学习的驾驶员违章行为识别系统。
背景技术
由于交通事故数量不断增长，不少统计资料表明，绝大多数交通事故往往是由于驾驶员在驾驶过程中的各种违章行为直接或间接导致的，驾驶员的行为姿态往往会决定了驾驶员的注意力集不集中、是否存在疲劳驾驶以及精神状态等信息，因此，全球各国研究机构以及学者对驾驶员行为展开了广泛的研究工作。针对驾驶员的行为识别工作，目前的研究方法有很多，但是主要围绕三种类别进行：基于车辆传感器的驾驶员行为识别方法、基于人体传感器的驾驶员行为识别方法、基于计算机视觉的驾驶员行为识别方法。
其中，基于计算机视觉的驾驶员行为识别方法是利用计算机视觉技术和人工智能技术，利用摄像头对驾驶员在驾驶过程中所产生的一系列动作进行采集，然后再利用相关的算法、神经网络对图像进行分析。该方法对图像的获取方式相对来说最为简单便捷，对车辆以及驾驶员来说所受的干扰都是非常少的，此类方法在交通领域内的研究当中也被称为非接触性辅助，同时非接触性地对驾驶员进行检测也已经成为最广泛使用、最有价值的司机行为识别手段。随着全球范围的计算机技术的不断进步，基于计算机视觉的识别方法已被世界各国的研究人员广泛采用。非接触性的对驾驶员进行检测的方法早已突破了传统疲劳驾驶方法的局限，从简单的检测驾驶员面部特征的疲劳程度，到分析驾驶员在驾驶过程中的各种行为，同时对驾驶员的驾驶状态也有了越来越全面的分析。因此本发明从该方法出发设计出一套可用性高的驾驶员违章行为识别系统。
该类方法主要以摄像头为传感器，基于计算机技术进行姿态识别。该类方法可以分为三类：基于驾驶员眼部凝视状态的驾驶姿态识别方法、基于驾驶员面部及头部姿态的驾驶姿态识别方法以及基于驾驶员身体姿势的驾驶姿态识别方法。基于计算机视觉的驾驶员行为识别方法的发展是从局部到整体的发展(“眼睛——面部——躯干”)，其中国内外对驾驶员行为的识别中最为代表性的有：2011年，李洪研等提出了一种基于人眼PERCLOS特征的列车驾驶员疲劳检测系统对驾驶员安全和不安全驾驶姿势的识别方法。2017年，Sun等提出了一种基于热传感自适应传感器的驾驶员识别方法。2018年，Li等提出了一种基于实车眼动实验的驾驶员注视行为建模分析的方法。2018年，Huang等提出了一种基于驾驶员气质特征的驾驶员姿态特征提取方法，其中对驾驶员的驾驶姿态识别主要采用多分类器集成进行。2016年，许华胜等提出了一种基于计算机视觉的驾驶员行为分析的系统，其中识别的核心功能是对驾驶员在数据集中的区域(包含头部、四肢)，并利用肤色检测技术对数据进行处理。
综上所述，目前全世界范围内的研究人士对于驾驶员的姿态识别方法的研究成果大多基于驾驶员的凝视方向、面部变化来捕捉驾驶员注意力分散或者疲劳驾驶的状态用以避免交通事故，但是这就有一些问题，比如驾驶员的个体性差异，每个人的眼睛大小、形状等特征都是具有特征性的，以及每个人的长相面部的五官特征、表情神态、表情习惯等也是不一样的。而基于驾驶员的身体姿态所展开的研究是近年来刚刚兴起的，所以对于该方法在世界范围内的研究相比前两者来说是较少的，利用驾驶员的姿势信息特征分析会比前两种方法不易因为驾驶员的个体性差异而造成影响，因为大多数在车厢内能进行的合规及不合规的动作有限，大多数是双手握方向盘、换档位等合规行为以及打电话、吃东西、打瞌睡等不合规行为，而对于这些行为，相对于基于眼球、面部的检测，会更加宏观一点，并且所造成的差异性微乎其微，因此对驾驶员的身体姿态的研究十分必要。而现有的一些基于驾驶员姿态研究绝大多数是依据肤色特征，根据肤色特征对驾驶员姿态进行检测虽然受到的驾驶员个体化差异的影响较小，但是容易受到外部环境的制约，比如光线昏暗或者光线强烈的环境下容易导致识别准确率低。目前大部分研究针对的是视频数据，少数的研究是针对静态图像的。因为人类在做绝大多数动作的时候往往只需要短暂的几秒，而对驾驶员的行为研究是，研究者只需要对视频中动作那些标志性的动作定格帧进行分析，例如驾驶员从正常驾驶到拿起手机打电话，只需要检测到打电话这样一个行为。此外，由于视频也是由每一帧图像组成的，所以在分析视频的行为过程时，研究人员一般会关注一些静态图像，所以对静态图像的分析能够使得驾驶员行为识别具有较为高效的研究手段。
为了实现对于驾驶员的违章行为的识别功能，本发明提出基于深度学习的驾驶员违章行为识别方法。为了克服驾驶员个体性差异、驾驶舱内环境影响，本发明首先采用驾驶员关键点检测算法将驾驶员的关键点找出，然后将关键点依次连接成人体骨架，然后将骨架的角度、距离等特征信息保存，利用事先训练好的分类器实现对本发明系统的主要功能，最后，根据上述算法设计出可用的基于深度学习的驾驶员违章行为识别系统。
本发明对驾驶员违章行为的分析，主要通过机器视觉来实现，在实验过程中通过IP摄像头将驾驶员图像信息输入至客户端，系统客户端上传图像信息至后台服务器进行处理，处理得到的结果反馈到客户端，让使用者能够清晰的看到系统分析的结果。
发明内容
发明目的：为了解决现有技术的不足，本发明提供了一种基于深度学习的驾驶员违章行为识别系统。
技术方案：一种基于深度学习的驾驶员违章行为识别系统，所述的基于深度学习的驾驶员违章行为识别系统包含客户端和服务器端；在驾驶员违章行为识别系统客户端中输入待检视频，提取视频帧后上传到服务器端，通过后台的动作识别代码，结合所选择的需要识别的行为，对图像进行动作识别，并将识别结果传输至客户端；
(1)所述的客户端包括：登录注册模块、图像的上传与下载模块、视频操作模块、识别结果显示模块；
所述的登录注册模块主要是对用户进行管理；
所述的图像上传与下载模块主要是把待识别驾驶员违章行为图像上传到服务器，和将驾驶员违章行为识别结果图像从服务器下载到客户端；
所述的视频操作模块主要是控制视频暂停、继续操作；
所述的识别结果显示模块主要是显示驾驶员违章行为识别的结果图像；
(2)所述的服务器端包括驾驶员违章行为识别模块、配置模块；
所述的驾驶员违章行为识别模块主要是识别图像中的驾驶员的动作，并将动作识别的结果显示在图像上方；
所述的配置模块主要是配置识别结果图像的名字和需要识别的驾驶员动作。
进一步的，所述的登录注册模块中，在用户登录时，首先需要其输入用户名和密码，然后点击登录按钮，此时登录模块会把用户输入的信息与配置模块下已保存的用户名和密码进行匹配，如果正确将，则登录主界面。用户输入正确的用户名以及密码即可进入驾驶员违章行为识别系统；
如果用户名以及密码输入正确，则通过点击“登录”按钮，弹出“登录成功”对话框；
若用户名与密码两者有误，系统则会弹出用户名不存在提示窗口；
如果没有输入用户名或密码，系统会弹出无用户名提示窗口；
当用户不存在时，需要进入注册界面进行注册，注册成功，将用户信息进过二次MD5+salt加密方式进行存储，同时注册界面会弹出注册成功提示信息。
进一步的，所述的视频操作模块中，在驾驶员违章行为识别的主界面中，放置了两个菜单栏，分别是“打开”和“设置”，在“打开”下拉菜单中，有“打开视频文件”和“打开摄像头”两个选项；
a)在“打开”菜单中，点击“打开视频文件”功能选项，用户可以选择需要识别的视频文件，将待识别的视频按每帧获取图像上传到服务器进行识别。目前支持的视频格式有：.mp4；
如果选择的资源格式不是视频文件，主界面则弹出非规定格式提示的对话框；
系统运行完成后，点击窗口右上角的退出按钮，系统主界面弹出“是否关闭”对话框，即为驾驶员违章行为识别完毕窗口；
在选择完文件后，进入到“视频处理的主界面”，“打开视频”按钮即是将所选的视频文件播放；
此后界面会弹出之前所选择的视频，同时“打开视频”按钮也自动转成“暂停”，“暂停”按钮的功能就是将正在播放的视频暂停；
在图像识别完成后，系统会将处理完成的图像从服务器下载到客户端；
b)在“打开”菜单中，点击“打开摄像头”功能选项，可以进入到编辑摄像头IP地址编辑界面以此选择指定摄像头来进行工作；
设置完IP地址后进入“打开摄像头”界面，界面中“打开”按钮的作用是开启摄像头；
在打开摄像头之后，可以看到实时摄像头的信息，以及界面下方的“打开”转化成“暂停”，此时“暂停”的作用是将“摄像头显示”面板内的视频暂停，“关闭”按钮的功能是关闭摄像头，返回上一界面。
进一步的，所述的图像上传与下载模块中，将客户端播放的视频中的一帧帧图像上传到服务器上进行驾驶员动作识别，以及将服务器端动作识别的结果下载到客户端，并显示在街面上，该模块没有相关的界面。
进一步的，所述的驾驶员违章行为识别模块中，识别图像中的驾驶员的动作，并将动作识别的结果显示在图像上方；该模块是将已上传至服务器端按帧获取的图像放入后台的动作识别程序，识别过程中根据图像上驾驶员的行为将结果直接打印在图像上并上传到客户端中的识别结果面板，该模块没有操作界面。
进一步的，所述的驾驶员违章行为识别结果显示模块中，系统主界面左侧显示当前的视频图像，右侧显示服务器端动作识别的结果；通过“关闭”按钮可以将正在播放的视频退出，回到“打开视频文件”界面。
进一步的，所述的配置模块中，包括客户端和服务器端，在客户端中，通过点击“设置”下拉菜单内的“用户配置”选项可以对用户的名字和密码进行简单的修改配置，当名字和密码修改后点击确认，会弹出修改成功的弹框界面。
有益效果：本发明对驾驶员违章行为识别系统的需求进行了分析，然后设计出客户端与服务器端两大模块，在客户端中设计了登录模块、视频操作模块、识别结果模块以及图像上传与下载模块，在服务器端中设计了配置模块与驾驶员违章行为识别模块。经过测试和应用，该系统较好的完成了驾驶员违章行为的识别，有较高的使用价值。本发明的系统可以实现视频获取、驾驶员违章行为识别等功能，本系统在实际应用中拥有较高的推广价值。
附图说明
图1是本发明的驾驶员违章行为识别系统框架示意图；
图2是本发明的驾驶员违章行为识别系统软件流程示意图；
图3是本发明的驾驶员违章行为识别结果界面-普通摄像头下的“双手玩手机”行为的示意图；
图4是本发明的驾驶员违章行为识别结果界面-普通摄像头下的“右手抽烟”行为的示意图；
图5是本发明的驾驶员违章行为识别结果界面-红外摄像头下的“左手抽烟”行为的示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
1系统需求分析
伴随着人们的生活水平日渐提升，拥有车辆的家庭越来越多，交通安全也越来越受到人们的关注。在交通安全的一系列问题中最为关键的因素就是驾驶员在驾驶过程中的行为。驾驶员的安全驾驶行为变得尤为重要。安装监控摄像系统也成为预防事故发生最有效的方法之一。而监控视频的数量也因此日益激增，对监控管理而言是一个巨大的挑战，对此，对这些大量的视频进行自动化处理也就成为了本发明的重中之重，而制作一个可用性高的客户端则是本发明内容所阐述的重点。
本系统使用Python语言实现，同时使用OpenCV等开源库设计系统。用户在使用时，首先需要使用自己的账号和密码登录系统。如果没有账号的用户，需要先注册一个账号。注册的账号可以是电子邮箱或者手机号，然后设定密码。在进入系统之后，会看到图1中的几个模块。界面存在驾驶员检测、驾驶员识别、视频模块和文件选项。用户根据自己想要的功能进行选择，例如，如果想实现对视频进行检测目标的任务，可选择驾驶员检测模块，直接对接收到的每帧视频图像进行检测。使用系统时，不需要对图像进行前期图像处理操作，并且检测任务全在后端服务器上进行，最后将检测的结果保留在服务器上的检测文件夹中。
2系统设计与实现
基于深度学习的驾驶员违章行为识别系统包含客户端和服务器端。客户端包括：登录注册模块、图像的上传与下载模块、视频操作模块、识别结果显示模块；服务器端包括驾驶员违章行为识别模块、配置模块。
登录注册模块主要是对用户进行管理。
图像上传与下载模块主要是把待识别驾驶员违章行为图像上传到服务器，和将驾驶员违章行为识别结果图像从服务器下载到客户端。
视频操作模块主要是控制视频暂停、继续操作。
识别结果显示模块主要是显示驾驶员违章行为识别的结果图像。
服务器端包括：驾驶员违章行为识别模块和配置模块。
驾驶员违章行为识别模块主要是识别图像中的驾驶员的动作，并将动作识别的结果显示在图像上方。
配置模块主要是配置识别结果图像的名字和需要识别的驾驶员动作。
总体的框架如图1所示，驾驶员违章行为识别系统框架图。
3系统运行流程
驾驶员违章行为识别系统使用python、Java等开发语言，系统的实现包括服务器端和客户端。系统的客户端包含着登录模块、视频操作模块、识别结果显示模块；服务器端中包含图像上传与下载模块、配置模块、驾驶员违章行为识别模块。服务器端中利用了人体关键点检测、肤色检测等技术，确保了该系统功能的准确性。客户端中利用了C/S架构使得与用户的交互界面更加美观，提高了该系统的可用性。服务器端和客户端中均采用多线程技术，强化了整套系统的高效性。
在驾驶员违章行为识别系统客户端中输入待检视频，提取视频帧后上传到服务器端，通过后台的动作识别代码，结合所选择的需要识别的行为，对图像进行动作识别，并将识别结果传输至客户端。
该系统实现了对驾驶行为的有效管理，并且直观地对驾驶员的违章行为进行识别，为监督驾驶员安全行驶提供保障，间接性的促进了道路交通安全。
该系统的具体流程如图2所示。
4系统界面
4.1登录注册模块
登录注册模块主要是对用户进行管理，在用户登录时，首先需要其输入用户名和密码，然后点击登录按钮，此时登录模块会把用户输入的信息与配置模块下已保存的用户名和密码进行匹配，如果正确将，则登录主界面。用户输入正确的用户名以及密码即可进入驾驶员违章行为识别系统。
如果用户名以及密码输入正确，则通过点击“登录”按钮，弹出“登录成功”对话框。
若账号名与密码两者有误，系统则会弹出用户名不存在提示窗口。
如果没有输入用户名或密码，系统会弹出无用户名提示窗口。
当用户不存在时，需要进入注册界面进行注册，注册成功，将用户信息进过二次MD5+salt加密方式进行存储，同时注册界面会弹出注册成功提示信息。
4.2视频操作模块
视频操作模块主要是控制视频打开、暂停、继续、关闭等操作。
在驾驶员违章行为识别的主界面中，放置了两个菜单栏，分别是“打开”和“设置”，在“打开”下拉菜单中，有“打开视频文件”和“打开摄像头”两个选项。
a)在“打开”菜单中，点击“打开视频文件”功能选项，用户可以选择需要识别的视频文件，将待识别的视频按每帧获取图像上传到服务器进行识别。目前支持的视频格式有：.mp4。
如果选择的资源格式不是视频文件，主界面则弹出非规定格式提示的对话框。
系统运行完成后，点击窗口右上角的退出按钮，系统主界面弹出“是否关闭”对话框，即为驾驶员违章行为识别完毕窗口。
在选择完文件后，进入到“视频处理的主界面”，“打开视频”按钮即是将所选的视频文件播放。
此后界面会弹出之前所选择的视频，同时“打开视频”按钮也自动转成“暂停”，“暂停”按钮的功能就是将正在播放的视频暂停。
在图像识别完成后，系统会将处理完成的图像从服务器下载到客户端。
b)在“打开”菜单中，点击“打开摄像头”功能选项，可以进入到编辑摄像头IP地址编辑界面以此选择指定摄像头来进行工作。
设置完IP地址后进入“打开摄像头”界面，界面中“打开”按钮的作用是开启摄像头。
在打开摄像头之后，可以看到实时摄像头的信息，以及界面下方的“打开”转化成“暂停”，此时“暂停”的作用是将“摄像头显示”面板内的视频暂停，“关闭”按钮的功能是关闭摄像头，返回上一界面。
4.3图像上传与下载模块
图像上传与下载模块负责将客户端播放的视频中的一帧帧图像上传到服务器上进行驾驶员动作识别，以及将服务器端动作识别的结果下载到客户端，并显示在街面上。这个模块没有相关的界面。
4.4驾驶员违章行为识别模块
驾驶员违章行为识别模块主要是识别图像中的驾驶员的动作，并将动作识别的结果显示在图像上方。该模块是将已上传至服务器端按帧获取的图像放入后台的动作识别程序，识别过程中根据图像上驾驶员的行为将结果直接打印在图像上并上传到客户端中的识别结果面板。该模块没有操作界面。
4.5驾驶员违章行为识别结果显示模块
系统主界面左侧显示当前的视频图像，右侧显示服务器端动作识别的结果，较为典型的如图3、图4、图5所示。
通过“关闭”按钮可以将正在播放的视频退出，回到“打开视频文件”界面。
4.6配置模块
配置模块包括了客户端和服务器端。
在客户端中，通过点击“设置”下拉菜单内的“用户配置”选项可以对用户的名字和密码进行简单的修改配置，当名字和密码修改后点击确认，会弹出修改成功的弹框界面。
本发明对驾驶员违章行为识别系统的需求进行了分析，然后设计出客户端与服务器端两大模块，在客户端中设计了登录模块、视频操作模块、识别结果模块以及图像上传与下载模块，在服务器端中设计了配置模块与驾驶员违章行为识别模块。经过测试和应用，该系统较好的完成了驾驶员违章行为的识别，有较高的使用价值。
本发明使用Python语言和OpenCV库，实现了基于深度学习的驾驶员违章行为识别系统。该系统主要包含登录注册模块、图像的上传与下载模块、视频操作模块、识别结果显示模块、驾驶员违章行为识别模块、配置模块。最终形成了一套具有可用性、准确性的系统。
Claims (7)
1.一种基于深度学习的驾驶员违章行为识别系统，其特征在于：所述的基于深度学习的驾驶员违章行为识别系统包含客户端和服务器端；在驾驶员违章行为识别系统客户端中输入待检视频，提取视频帧后上传到服务器端，通过后台的动作识别代码，结合所选择的需要识别的行为，对图像进行动作识别，并将识别结果传输至客户端；
(1)所述的客户端包括：登录注册模块、图像的上传与下载模块、视频操作模块、识别结果显示模块；
所述的登录注册模块主要是对用户进行管理；
所述的图像上传与下载模块主要是把待识别驾驶员违章行为图像上传到服务器，和将驾驶员违章行为识别结果图像从服务器下载到客户端；
所述的视频操作模块主要是控制视频暂停、继续操作；
所述的识别结果显示模块主要是显示驾驶员违章行为识别的结果图像；
(2)所述的服务器端包括驾驶员违章行为识别模块、配置模块；
所述的驾驶员违章行为识别模块主要是识别图像中的驾驶员的动作，并将动作识别的结果显示在图像上方；
所述的配置模块主要是配置识别结果图像的名字和需要识别的驾驶员动作。
2.根据权利要求1所述的基于深度学习的驾驶员违章行为识别系统，其特征在于：所述的登录注册模块中，在用户登录时，首先需要其输入用户名和密码，然后点击登录按钮，此时登录模块会把用户输入的信息与配置模块下已保存的用户名和密码进行匹配，如果正确，则登录主界面。用户输入正确的用户名以及密码即可进入驾驶员违章行为识别系统；
如果用户名以及密码输入正确，则通过点击“登录”按钮，弹出“登录成功”对话框；
若用户名与密码两者有误，系统则会弹出用户名不存在提示窗口；
如果没有输入用户名或密码，系统会弹出无用户名提示窗口；
当用户不存在时，需要进入注册界面进行注册，注册成功，将用户信息进过二次MD5+salt加密方式进行存储，同时注册界面会弹出注册成功提示信息。
3.根据权利要求1所述的基于深度学习的驾驶员违章行为识别系统，其特征在于：所述的视频操作模块中，在驾驶员违章行为识别的主界面中，放置了两个菜单栏，分别是“打开”和“设置”，在“打开”下拉菜单中，有“打开视频文件”和“打开摄像头”两个选项；
a)在“打开”菜单中，点击“打开视频文件”功能选项，用户可以选择需要识别的视频文件，将待识别的视频按每帧获取图像上传到服务器进行识别。目前支持的视频格式有：.mp4；
如果选择的资源格式不是视频文件，主界面则弹出非规定格式提示的对话框；
系统运行完成后，点击窗口右上角的退出按钮，系统主界面弹出“是否关闭”对话框，即为驾驶员违章行为识别完毕窗口；
在选择完文件后，进入到“视频处理的主界面”，“打开视频”按钮即是将所选的视频文件播放；
此后界面会弹出之前所选择的视频，同时“打开视频”按钮也自动转成“暂停”，“暂停”按钮的功能就是将正在播放的视频暂停；
在图像识别完成后，系统会将处理完成的图像从服务器下载到客户端；
b)在“打开”菜单中，点击“打开摄像头”功能选项，可以进入到编辑摄像头IP地址编辑界面以此选择指定摄像头来进行工作；
设置完IP地址后进入“打开摄像头”界面，界面中“打开”按钮的作用是开启摄像头；
在打开摄像头之后，可以看到实时摄像头的信息，以及界面下方的“打开”转化成“暂停”，此时“暂停”的作用是将“摄像头显示”面板内的视频暂停，“关闭”按钮的功能是关闭摄像头，返回上一界面。
4.根据权利要求1所述的基于深度学习的驾驶员违章行为识别系统，其特征在于：所述的图像上传与下载模块中，将客户端播放的视频中的一帧帧图像上传到服务器上进行驾驶员动作识别，以及将服务器端动作识别的结果下载到客户端，并显示在界面上，该模块没有相关的界面。
5.根据权利要求1所述的基于深度学习的驾驶员违章行为识别系统，其特征在于：所述的驾驶员违章行为识别模块中，识别图像中驾驶员的动作，并将动作识别的结果显示在图像上方；该模块是将已上传至服务器端按帧获取的图像放入后台的动作识别程序，识别过程中根据图像上驾驶员的行为将结果直接显示在图像上并上传到客户端中的识别结果面板，该模块没有操作界面。
6.根据权利要求1所述的基于深度学习的驾驶员违章行为识别系统，其特征在于：所述的驾驶员违章行为识别结果显示模块中，系统主界面左侧显示当前的视频图像，右侧显示服务器端动作识别的结果；通过“关闭”按钮可以将正在播放的视频退出，回到“打开视频文件”界面。
7.根据权利要求1所述的基于深度学习的驾驶员违章行为识别系统，其特征在于：所述的配置模块中，包括客户端和服务器端，在客户端中，通过点击“设置”下拉菜单内的“用户配置”选项可以对用户的名字和密码进行简单的修改配置，当名字和密码修改后点击确认，会弹出修改成功的弹框界面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680050.4A CN111860280A (zh) | 2020-07-15 | 2020-07-15 | 一种基于深度学习的驾驶员违章行为识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680050.4A CN111860280A (zh) | 2020-07-15 | 2020-07-15 | 一种基于深度学习的驾驶员违章行为识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860280A true CN111860280A (zh) | 2020-10-30 |
Family
ID=72983721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010680050.4A Pending CN111860280A (zh) | 2020-07-15 | 2020-07-15 | 一种基于深度学习的驾驶员违章行为识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860280A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699827A (zh) * | 2021-01-05 | 2021-04-23 | 长威信息科技发展股份有限公司 | 一种基于区块链的交通警务处置方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140256303A1 (en) * | 2013-03-06 | 2014-09-11 | Qualcomm Incorporated | Preventing driver distraction |
| CN105898239A (zh) * | 2016-06-03 | 2016-08-24 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统及监测方法 |
| CN205793046U (zh) * | 2016-06-03 | 2016-12-07 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统 |
| CN106803060A (zh) * | 2016-12-13 | 2017-06-06 | 深圳市元征科技股份有限公司 | 一种违规驾驶记录方法及装置 |
| CN107545225A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种检测车载驾驶员违规行为的方法、装置及电子设备 |
| CN108154686A (zh) * | 2018-02-12 | 2018-06-12 | 苏州清研微视电子科技有限公司 | 一种车载违章行为抓拍系统 |
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| CN110309764A (zh) * | 2019-06-27 | 2019-10-08 | 浙江工业大学 | 一种基于深度学习的多阶段驾驶员打电话行为检测方法 |
| CN110334592A (zh) * | 2019-05-27 | 2019-10-15 | 天津科技大学 | 一种司机异常行为监测和安全保障系统及其方法 |
| CN110682865A (zh) * | 2019-11-06 | 2020-01-14 | 复变时空(武汉)数据科技有限公司 | 一种司机驾驶行为监测方法 |
| CN111209789A (zh) * | 2019-10-21 | 2020-05-29 | 高新兴创联科技有限公司 | 对关键项点发生瞬间进行图像采集以及分析的方法 |
| CN111414813A (zh) * | 2020-03-03 | 2020-07-14 | 南京领行科技股份有限公司 | 一种危险驾驶行为的识别方法、装置、设备及存储介质 |
-
2020
- 2020-07-15 CN CN202010680050.4A patent/CN111860280A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140256303A1 (en) * | 2013-03-06 | 2014-09-11 | Qualcomm Incorporated | Preventing driver distraction |
| CN105898239A (zh) * | 2016-06-03 | 2016-08-24 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统及监测方法 |
| CN205793046U (zh) * | 2016-06-03 | 2016-12-07 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统 |
| CN107545225A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种检测车载驾驶员违规行为的方法、装置及电子设备 |
| CN106803060A (zh) * | 2016-12-13 | 2017-06-06 | 深圳市元征科技股份有限公司 | 一种违规驾驶记录方法及装置 |
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| CN108154686A (zh) * | 2018-02-12 | 2018-06-12 | 苏州清研微视电子科技有限公司 | 一种车载违章行为抓拍系统 |
| CN110334592A (zh) * | 2019-05-27 | 2019-10-15 | 天津科技大学 | 一种司机异常行为监测和安全保障系统及其方法 |
| CN110309764A (zh) * | 2019-06-27 | 2019-10-08 | 浙江工业大学 | 一种基于深度学习的多阶段驾驶员打电话行为检测方法 |
| CN111209789A (zh) * | 2019-10-21 | 2020-05-29 | 高新兴创联科技有限公司 | 对关键项点发生瞬间进行图像采集以及分析的方法 |
| CN110682865A (zh) * | 2019-11-06 | 2020-01-14 | 复变时空(武汉)数据科技有限公司 | 一种司机驾驶行为监测方法 |
| CN111414813A (zh) * | 2020-03-03 | 2020-07-14 | 南京领行科技股份有限公司 | 一种危险驾驶行为的识别方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699827A (zh) * | 2021-01-05 | 2021-04-23 | 长威信息科技发展股份有限公司 | 一种基于区块链的交通警务处置方法及系统 |
| CN112699827B (zh) * | 2021-01-05 | 2023-07-25 | 长威信息科技发展股份有限公司 | 一种基于区块链的交通警务处置方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI741512B (zh) | 駕駛員注意力監測方法和裝置及電子設備 | |
| US11726577B2 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
| KR102469234B1 (ko) | 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량 | |
| KR102469233B1 (ko) | 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량 | |
| CN110291478A (zh) | 驾驶员监视和响应系统 | |
| US20210081754A1 (en) | Error correction in convolutional neural networks | |
| WO2020006154A2 (en) | Contextual driver monitoring system | |
| CN110167823A (zh) | 用于驾驶员监测的系统和方法 | |
| CN109937152A (zh) | 驾驶状态监测方法和装置、驾驶员监控系统、车辆 | |
| WO2022144839A1 (en) | Systems and methods for determining driver control over a vehicle | |
| CN111104820A (zh) | 一种基于深度学习的手势识别方法 | |
| US20230347903A1 (en) | Sensor-based in-vehicle dynamic driver gaze tracking | |
| KR102291740B1 (ko) | 영상처리 시스템 | |
| WO2022224173A1 (en) | Systems and methods for determining driver control over a vehicle | |
| CN114987500A (zh) | 驾驶员状态监控方法、终端设备及存储介质 | |
| CN111368590A (zh) | 一种情绪识别方法、装置、电子设备及存储介质 | |
| CN110825216A (zh) | 一种驾驶员驾驶时人机交互的方法和系统 | |
| CN111860280A (zh) | 一种基于深度学习的驾驶员违章行为识别系统 | |
| US20240112289A1 (en) | Augmented reality security screening and dynamic step-by-step guidance and communication | |
| CN114663863A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN114120292A (zh) | 一种车内智能交互方法、装置、设备及存储介质 | |
| CN113561988A (zh) | 一种基于视线追踪的语音控制方法、汽车及可读存储介质 | |
| CN113703485B (zh) | 机载智能眼镜设备及基于该设备的飞机控制方法 | |
| EP3435278A1 (en) | Body information analysis apparatus capable of indicating shading-areas | |
| US11887266B2 (en) | Augmented reality security screening and guidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |