CN108216252A - 一种地铁司机车载驾驶行为分析方法、车载终端及系统 - Google Patents
一种地铁司机车载驾驶行为分析方法、车载终端及系统 Download PDFInfo
- Publication number
- CN108216252A CN108216252A CN201711477182.1A CN201711477182A CN108216252A CN 108216252 A CN108216252 A CN 108216252A CN 201711477182 A CN201711477182 A CN 201711477182A CN 108216252 A CN108216252 A CN 108216252A
- Authority
- CN
- China
- Prior art keywords
- driver
- driving
- database
- driving action
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 15
- 230000009471 action Effects 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000006399 behavior Effects 0.000 claims abstract description 44
- 238000013135 deep learning Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 41
- 238000011176 pooling Methods 0.000 claims description 20
- 230000001815 facial effect Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010054196 Affect lability Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0836—Inactivity or incapacity of driver due to alcohol
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种地铁司机车载驾驶行为分析方法、车载终端及系统，所述方法包括：构建地铁司机的车载驾驶行为数据库；基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别。本发明能够实时监测和智能评估司机的驾驶行为和驾驶状态，有助于及早发现可能的人为操作失误，确保行车安全。
Description
技术领域
本发明涉及人工智能技术领域，更具体地，涉及一种地铁司机车载驾驶行为分析方法、车载终端及系统。
背景技术
近年来，城市轨道交通列车的平均运行速度和行车密度不断提高，虽然列车行车安全装备和司机标准化作业水平有了很大提升，但司机在值乘过程中可能出现的注意力不集中及意外伤病引发的丧失操纵能力等严重威胁列车安全运行的概率仍然存在。
目前我国城市轨道交通既有的列车行车安全装备基本不具备司机警惕控制的功能，对司机个人的工作状态没有识别、报警，系统功能不能满足实际运营要求。各种型号地铁、轻轨使用的车辆运行监控记录装置都是在车辆运行时，将采集到的各种运行数据存入该装置的存储器内，到车辆停站时由专人将信息下载，然后交给地面管理部门，最后由技术人员通过地面信息处理系统对数据进行储存和分析。然而，这样的列车运行监控装置存在着明显缺陷，无法对司机的操作情况进行实时报警，已经无法满足轨道交通运营管理部门的实际要求。地面管理人员只能被动的在办公室中等待司机提交运行记录，只能对己经成为历史的运行数据进行记录、管理和分析，缺乏对列车运行过程中由司机操作而产生的动态数据实时监控管理的能力。同时，地面管理人员对司机驾驶的状态没有直观的了解，对司机工作情况的监督明显缺乏力度。这使得在发生各种事故时，管理部门缺乏实时的、直观的数据和资料，不利于分析事故原因或处理各种事件。
因此，亟需提供一种能够对司机个人的工作状态进行识别、报警，以满足城市轨道交通列车的实际运营要求的方法或系统。
发明内容
为了克服城市轨道交通既有的列车行车安全装备基本不具备司机警惕控制的功能，对司机个人的工作状态没有识别、报警，不能满足实际运营要求的问题，本发明提供一种地铁司机车载驾驶行为分析方法、车载终端及系统。
根据本发明的一个方面，提供一种地铁司机车载驾驶行为分析方法，包括：
S1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；
S2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；
S3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；
S4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常。
其中，所述步骤S1进一步包括：
S11，使用红外视觉传感器采集地铁司机的标准工作视频，并在采集过程结束后从所述标准工作视频中均匀提取出图像帧，对所述图像帧中司机双手位置坐标点以及时间戳进行标注，将标注后的图像帧进行保存，生成驾驶动作数据库；
S12，使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像，从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存，生成面部状态数据库。
其中，所述步骤S2进一步包括：
S21，基于所述驾驶动作数据库，采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型；
S22，构建用于状态辨识的深度学习网络模型，并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型。
其中，所述步骤S21进一步包括：
S211，针对同一个动作，将所述驾驶动作数据库中所有描述该动作的图像帧提取出来，重复训练所述动作多次；
S212，将该动作过程中的任一时刻的双手轨迹点记为多次训练获得的均值，并将所述双手轨迹点按时间顺序记录在一张图片上，生成轨迹图，所述轨迹图记载了该动作时间序列的所有轨迹点，并对所述轨迹图中各轨迹点的位置设置阈值；
S213，重复步骤S211和S212，直至完成所述驾驶动作数据库中所有动作的训练。
其中，步骤S22中所构建的用于状态辨识的深度学习网络模型包括：
顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层、第八卷积层、第五池化层、全连接层、Softmax输出层和自编码器。
其中，步骤S22中利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型的步骤进一步包括：
从所述面部状态数据库中取出连续多帧图片输入所述第一卷积层开始进行卷积计算；
将所述全连接层的输出向量经激活函数计算得到预测值，使用交叉熵损失函数计算所述预测值与真实值的损失函数值，并最小化损失函数值；
通过随机梯度下降法不断调整网络权重和偏置并重新计算损失函数值，直至损失函数值趋于稳定或到达设定的迭代次数，获得分类后的图片特征；
将所述分类后的图片特征输入所述自编码器进行编码压缩，抽象出深度特征，再通过解码重构输入的图片特征，通过反向传播算法不断迭代训练，直至自编码器学习的误差小于预设阈值时完成训练；
将训练完成的所述深度学习网络模型的结构和参数固化，获得司机状态识别模型。
其中，步骤S4中利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规的步骤进一步包括：
将所述驾驶动作轨迹输入训练好的司机驾驶动作识别模型中，通过比较所述驾驶动作轨迹与所述司机驾驶动作识别模型中的轨迹点的偏差是否在预设阈值范围内，判断司机的驾驶动作是否符合规范。
其中，步骤S4中利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常的步骤进一步包括：
将所述连续多帧图像输入所述司机状态识别模型，输出所述司机面部状态的分类结果，根据所述分类结果判定司机的面部状态是否正常。
根据本发明的另一个方面，提供一种车载终端，包括：处理器模块、用户定制板和专用电源模块，其中，
所述处理器模块由256核NVIDIAPascal GPU和一个6核64位的ARMv8处理器集群组成，用于执行如上任一所述的方法；
所述用户定制板用于实现总线扩展存储功能、4G无线通讯功能，并对所述处理器模块的外接口进行保护引出；
所述专用电源模块用于将直流110V电压转换为所述处理器模块使用的直流低电压。
根据本发明的另一个方面，提供一种地铁司机车载驾驶行为分析系统，包括：如前所述的车载终端、通信层和云管理平台，其中，
所述通讯层用于负责所述车载终端与云管理平台间的数据传输；
所述云管理平台用于实现在线自学习与大数据分析功能。
本发明提出的一种地铁司机车载驾驶行为分析方法、车载终端及系统，能够实时监测和智能评估地铁司机的驾驶行为和驾驶状态，有助于及早发现可能的人为操作失误，确保行车安全。
附图说明
图1为本发明一实施例提供的一种地铁司机车载驾驶行为分析方法的流程示意图；
图2为本发明另一实施例提供的一种车载终端的结构示意图；
图3为本发明又一实施例提供的一种地铁司机车载驾驶行为分析系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
本发明以地铁司机为主要监控对象，对地铁司机的车载驾驶行为进行实时监控，将地铁司机的车载驾驶行为分析从两个方面来展开，一个是司机的驾驶动作，另一个是司机的面部状态，通过对司机的驾驶动作进行识别，能够及时发现司机的违规操作行为，通过对司机的面部状态进行识别，可以及时地发现司机的异常驾驶状态，如是否疲劳驾驶、是否发生了突发疾病、是否情绪不稳定等，并提供告警信息，对提高行车安全系数是一种实际而且行之有效的手段，对地铁的安全运营具有重要意义。
如图1所示，为本发明一实施例提供的一种地铁司机车载驾驶行为分析方法的流程示意图，包括：
S1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；
目前几乎所有的人体行为识别和面部识别研究工作都是在国际公认的公开数据库上进行的，便于进行算法间的比较。但是这些数据库大部分都是在固定场景下录制的，不同数据集的差别不大，人体行为识别的公开数据库中的动作都是人体各部位的动作，没有主要集中于手部动作的，基本不符合本发明的情况，而用于人脸识别的公开数据，大多以表情识别为主，只有小部分能够适用于本发明。因此本发明需要自行构建数据库，通过使用摄像头进行长时间的记录，以获得大量的司机驾驶行为数据，从而扩充训练和测试样本。
具体地，所述步骤S1进一步包括：
S11，使用红外视觉传感器采集地铁司机的标准工作视频，并在采集过程结束后从所采集的视频中均匀提取出图像帧，对所述图像帧中司机双手位置坐标点以及时间戳进行标注，将标注后的图像帧进行保存，生成驾驶动作数据库；
采集地铁司机的标准工作视频是为了使驾驶动作数据库中的驾驶动作都是标准动作，符合地铁司机的操作规程，从而可以利用驾驶动作数据库对实时采集的司机动作进行识别。采集一定时长的地铁司机标准工作视频，然后对视频进行一定的处理获得图像帧，将图像帧中的与司机动作直接相关的手部位置标注出来，并打上时间戳，将标注后的图像帧存储下来就生成了驾驶动作数据库。给所获得的图像帧进行标注工作量很大。目前已有一些自动标记的方法被提出，但是这些自动标注的可靠性并不理想，和人工标注的差距明显。然而随着动作集数据量的不断增大，人工标注显然无法满足需求。因此，可以先采用人工标注的方式，然后，训练机器有一定识别基础后再使用无监督学习算法，使机器能自动标注所获得的图像帧，从而生成驾驶动作数据库。
S12，使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像，从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存，生成面部状态数据库。
使用摄像机无间断拍摄地铁司机工作视频并按一定帧率截取成图像，但是所截图的图像不一定都是有效、能够明确分辨面部状态的，如果不能明确分辨面部状态，是无法用于进行训练的，因此，需要从所截取的图像中进一步筛选出可辨别出司机面部状态的有效图片进行保存，包括正常状态、异常状态(如饮酒、疲劳、情绪不稳定等)，并将其分为N类，从而构建出面部状态数据库。
S2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；
将车载驾驶行为数据库分为训练集和测试集，基于深度学习方法，通过训练获得用于识别司机驾驶动作的司机驾驶动作识别模型，和用于识别司机面部状态的司机面部状态识别模型。
具体地，使用时序轨迹标记方法，获取司机手部运动轨迹，将所述司机的手部运动轨迹映射到时间-空间维度，大大提高了司机车载驾驶动作的判断准确性和精度。而相比于传统的面部识别算法，深度学习能够从像素级原始数据到抽象的关键点信息逐层提取信息，其所抽取的特征比人工设计的特征更具有高效的表达能力，因此在图像识别方面有突出的优势。本发明基于深度学习的方法，融合3D卷积神经网络和自编码器，构建用于状态辨识的深度学习网络模型，将所述面部状态数据库输入到所构建的深度学习网络模型中进行训练，获得司机面部状态模型。
所述步骤S2进一步包括：
S21，基于所述驾驶动作数据库，采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型；
获得了所述驾驶动作数据库后，由于动作通常都是连续的，因此采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型，所述基于时序的动作识别方法是指按照时序记录动作轨迹，对于每一个动作通过多次训练取所有轨迹点的均值，得到每一个动作的轨迹图，并对每个轨迹图设置一定的可以变化的范围，从而形成轨迹训练模型，即司机驾驶动作识别模型。
所述步骤S21进一步包括：
S211，针对同一个动作，将所述驾驶动作数据库中所有描述该动作的图像帧提取出来，重复训练所述动作多次；
驾驶动作数据库中的图像帧均对司机双手位置坐标点以及时间戳进行了标注，记为：
Rt＝{Rx，Ry，t}；Lt＝{Lx，Ly，t} (1)，
其中，Rt为双手位置坐标点，Lt为时间戳。
S212，将该动作过程中的任一时刻的双手轨迹点记为多次训练获得的均值，并将所述双手轨迹点按时间顺序记录在一张图片上，生成轨迹图，所述轨迹图记载了该动作时间序列的所有轨迹点，并对所述轨迹图中各轨迹点的位置设置阈值；
轨迹图中各轨迹点的坐标和时间戳表示如下：
其中，K为训练次数。
S213，重复步骤S211和S212，直至完成所述驾驶动作数据库中所有动作的训练。
训练完成后就获得了司机驾驶动作识别模型。
S22，构建用于状态辨识的深度学习网络模型，并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型。
获得了所述面部状态数据库后，对所述面部状态数据库中的图像进行一系列的预处理，如人脸检测、对齐、裁剪和灰度化、求直方图、直方图均衡化、中值滤波等过程就可以作为输入，输入到所构建的深度学习网络模型中进行训练和测试，将训练完成的深度学习网络模型的所有参数保存下来，就形成了司机面部状态识别模型。
本发明改进性的提供了一种融合3D卷积神经网络(3DCNN)与自编码器(LSTM)的深度学习网络模型，与普通的深度学习网络不同，本发明提供的网络一次接受连续多帧图片的输入，能够在卷积神经网络进行识别分类的基础上，再使用自编码器对特征进行深度学习、抽象，从而实现精准的面部状态识别效果。
步骤S22中所构建的用于状态辨识的深度学习网络模型包括：
顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层、第八卷积层、第五池化层、全连接层、Softmax输出层和自编码器。即：
Conv1→Pool1→Conv2→Pool2→Conv3a→Conv3b→Pool3→Conv4a→Conv4b→Pool4→Conv5a→Conv5b→Pool5→fc6→Softmax→AE
所述深度学习网络模型中共包含8个卷积层(Conv)、5个池化层(Pool)、1个全连接层(fc)、1个Softmax输出层以及1个自编码器。其中，卷积层的卷积核与池化层的池化核都是三维结构，自编码器可实时处理图片，因此可以对连续的图像帧进行处理。
首层是卷积层Conv1，接受128*128*16*1的输入，其中128*128是指输入图片的宽度和高度，16是指连续16帧图，1是指图片为单通道。对于普通卷积层，其输出结果是单特征图的集合，本发明采用改进的3D卷积神经网络，能输出的多特征图的集合，称为特征体。因此，Conv1将会输出64个128*128*16*1的特征体。Conv2输出128个，Conv3输出256个，Conv4输出512个，Conv5输出512个。其中，所有卷积核大小为3*3*3，其权值都采用均值为0、方差为1的正太分布初始化，移动步长为1，输入边界填充为0，激活函数为Relu函数，其公式如下：
f(x)＝max(0，x) (3)；
对于池化层，Pool1的池化核大小为2*2*1，其余层都为2*2*2，池化核权值都采用均值为0、方差为1的正太分布初始化，移动步长为1，进行最大值池化。
对于全连接层，fc6接受Pool5的512个4*4*1*1的特征体输入。每个全连接层都有4096个节点，权值采用均值为0、方差为1的正太分布初始化，并使用Relu激活函数。fc6输出4096个参数给自编码器。
对于Softmax层，其有N个节点，每个节点对应一种面部状态，并输出目标为该类别的概率，对于节点n，Softmax的公式如下：
yn＝f(Wn，xn) (5)；
其中，为Softmax输出该样本为第n类的概率，yn为该节点从前一层网络获取的值。
对于自编码器，将分类后的图片特征输入1024个节点的隐藏层进行编码压缩，抽象出深度特征，再通过解码重构输入的特征。
步骤S22中利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型的步骤进一步包括：
从所述面部状态数据库中取出连续多帧图片输入所述第一卷积层开始进行卷积计算；
将所述全连接层的输出向量经激活函数计算得到预测值，使用交叉熵损失函数计算所述预测值与真实值的损失函数值，并最小化损失函数值；
通过随机梯度下降法不断调整网络权重和偏置并重新计算损失函数值，至损失函数值趋于稳定或到达设定的迭代次数，获得分类后的图片特征；
将所述分类后的图片特征输入所述自编码器进行编码压缩，抽象出深度特征，再通过解码重构输入的图片特征，通过反向传播算法不断迭代训练，直至自编码器学习的误差小于预设阈值时完成训练；
将训练完成的所述深度学习网络模型的结构和参数固化，获得司机状态识别模型。
具体地，对于样本库的一个样本i，属于类型j，该样本是包含一个动作的视频，假设共有a帧图像。首先将其分割成(为向下取整)份片段，每个片段内包含25帧，若最后一个片段不足25帧则舍弃该片段，并将每一帧的分辨率调整到128*128。同时，将该样本的标签进行独热编码(One-HotEncoding)编码。最后，将样本数据输入网络。
训练过程使用交叉熵损失函数，考虑数值计算稳定性情况后，所述交叉熵损失函数的公式如下：
对所有样本引入L1正则化惩罚后，损失函数的公式为：
训练过程使用随机梯度下降法，B为批量数，取30个样本为一个批量，学习率开始设为0.001，然后每经过10w次迭代计算后减半，每次迭代都会反向更新网络每层的权重。根据损失函数得到的最终梯度方向为：
Pi，N是样本i的标签独热向量，维度是N*1，第j个元素值为1，其它的元素值为0。PN是网络模型输出的样本i在N个分类上的概率。当损失变化随训练过程趋于稳定之后或到达设定的迭代次数，则停止训练，获得分类后的图片特征。
然后，将分类后的图片特征输入所述自编码器进行编码压缩，抽象出深度特征，再通过解码重构输入的图片特征，对损失函数进行正则、最小化操作，通过反向传播算法不断迭代训练，直至自编码器学习的误差小于预设阈值时停止训练，
最后，将训练完成的所述深度学习网络模型的结构和参数固化，获得司机状态识别模型。
将实时采集的地铁司机的工作图像输入所述训练好的司机状态识别模型，就可得到司机面部状态识别结果。
S3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；
在地铁的驾驶台上安装摄像头，以一定角度正面仰拍司机的驾驶过程，将所采集的地铁司机的实时工作视频按照一定的帧率提取出连续的多帧图像，用于进行司机驾驶动作的识别和面部状态的识别。
S4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常。
具体的，步骤S4中利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规的步骤进一步包括：
将所述驾驶动作轨迹输入训练好的司机驾驶动作识别模型中，通过比较所述驾驶动作轨迹与所述司机驾驶动作识别模型中的轨迹点的偏差是否在预设阈值范围内，判断司机的驾驶动作是否符合规范。
若偏差在预设阈值范围内，说明司机的驾驶动作符合规范，若偏差落在预设阈值范围外，则说明司机有违规操作。
步骤S4中利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常的步骤进一步包括：
将所述连续多帧图像输入所述司机状态识别模型，输出所述司机面部状态的分类结果，根据所述分类结果判定司机的面部状态是否正常。
若所述司机状态识别模型输出的分类结果中概率最大的是异常状态类型，则说明司机处于异常状态。若所述司机状态识别模型输出的分类结果中概率最大的是正常状态类型，则说明司机的面部状态是正常的。
本发明实施例提出的一种地铁司机车载驾驶行为分析方法，能够实时监测和智能评估地铁司机的驾驶行为和驾驶状态，有助于及早发现可能的人为操作失误，确保行车安全。
如图2所示，为本发明另一实施例提供的一种车载终端的结构示意图，包括：处理器模块21、用户定制板22和专用电源模块23，其中，
所述处理器模块21由256核NVIDIA Pascal GPU和一个6核64位的ARMv8处理器集群组成，用于执行如上述各实施例所述的方法，例如包括：S1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；S2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；S3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；S4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常。
其中，ARMv8处理器集群包含一个双核NVIDIADenver 2以及一个4核ARM Cortex-A57。
所述用户定制板22用于实现总线扩展存储功能、4G无线通讯、报警功能，并对所述处理器模块的外接口进行保护引出；
所述专用电源模块23用于将直流110V电压转换为所述处理器模块使用的直流低电，包括电源滤波，保护等功能，为核心模块长期稳定运行提供保证。
此外，为适应行车环境，车载终端采用加固结构设计，包括预留电源接口、网络接口、USB相机接口、预留4G及wifi天线接口，各接口采用航空连接器连接。考虑到车辆内部的环境对设备要求较高，车载终端采取导冷散热方式，同时设计安装孔位方便安装。
本发明实施例所提供的车载终端的改进之处在于软件算法部分和硬件部分，软件算法实现如上述各实施例所述的地铁司机车载驾驶行为分析方法，包括基于深度学习的司机驾驶动作规范检测与面部(疲劳、饮酒与情绪不稳定)检测算法，为了能够支持软件方面的改进，车载终端采用具有GPU的硬件设备，集成在驾驶室内，形成具有预警和通信能力的车载监测设备。
本发明实施例所提出的一种车载终端，能够实时监测和智能评估机车司机的驾驶行为和驾驶状态，有助于及早发现可能的人为操作失误，确保行车安全。
如图3所示，为本发明又一实施例提供的一种地铁司机车载驾驶行为分析系统的结构示意图，包括：如前所述的车载终端、通信层和云管理平台，其中，
所述通讯层用于负责所述车载终端与云管理平台间的数据传输；
所述云管理平台用于实现在线自学习与大数据分析功能。
具体地，车载终端对司机的车载驾驶行为进行分析，在上述实施例中已经进行了描述，在此不再赘述。车载终端将所获得的司机的车载驾驶行为监测结果通过通讯层上报给云管理平台，云管理平台接收到车载终端的监测结果后，对所述监测结果进行记录，实现在线自学习与大数据分析功能，云管理平台与车载终端协同工作，形成一套基于深度学习的地铁司机车载驾驶行为分析系统。
本发明实施例所提供的系统能够帮助司机更加专注于驾驶地铁列车，在其出现疲劳驾驶时能够发出警报，使其能够更加安全的操控机车。同时该系统还可以为地面管理部门提供列车运行动态数据的实时监控，在异常发生的情况下对地铁列车司机的工作状态进行实时的监督和全程的记录，实时掌握非正常状况下整个列车的运行状况，提高对城市轨道交通运行安全的监管能力。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种地铁司机车载驾驶行为分析方法，其特征在于，包括：
S1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；
S2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；
S3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；
S4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：
S11，使用红外视觉传感器采集地铁司机的标准工作视频，并在采集过程结束后从所述标准工作视频中均匀提取出图像帧，对所述图像帧中司机双手位置坐标点以及时间戳进行标注，将标注后的图像帧进行保存，生成驾驶动作数据库；
S12，使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像，从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存，生成面部状态数据库。
3.根据权利要求2所述的方法，其特征在于，所述步骤S2进一步包括：
S21，基于所述驾驶动作数据库，采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型；
S22，构建用于状态辨识的深度学习网络模型，并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型。
4.根据权利要求3所述的方法，其特征在于，所述步骤S21进一步包括：
S211，针对同一个动作，将所述驾驶动作数据库中所有描述该动作的图像帧提取出来，重复训练所述动作多次；
S212，将该动作过程中的任一时刻的双手轨迹点记为多次训练获得的均值，并将所述双手轨迹点按时间顺序记录在一张图片上，生成轨迹图，所述轨迹图记载了该动作时间序列的所有轨迹点，并对所述轨迹图中各轨迹点的位置设置阈值；
S213，重复步骤S211和S212，直至完成所述驾驶动作数据库中所有动作的训练。
5.根据权利要求3所述的方法，其特征在于，步骤S22中所构建的用于状态辨识的深度学习网络模型包括：
顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层、第八卷积层、第五池化层、全连接层、Softmax输出层和自编码器。
6.根据权利要求5所述的方法，其特征在于，步骤S22中利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型的步骤进一步包括：
从所述面部状态数据库中取出连续多帧图片输入所述第一卷积层开始进行卷积计算；
将所述全连接层的输出向量经激活函数计算得到预测值，使用交叉熵损失函数计算所述预测值与真实值的损失函数值，并最小化损失函数值；
通过随机梯度下降法不断调整网络权重和偏置并重新计算损失函数值，直至损失函数值趋于稳定或到达设定的迭代次数，获得分类后的图片特征；
将所述分类后的图片特征输入所述自编码器进行编码压缩，抽象出深度特征，再通过解码重构输入的图片特征，通过反向传播算法不断迭代训练，直至自编码器学习的误差小于预设阈值时完成训练；
将训练完成的所述深度学习网络模型的结构和参数固化，获得司机状态识别模型。
7.根据权利要求1所述的方法，其特征在于，步骤S4中利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规的步骤进一步包括：
将所述驾驶动作轨迹输入训练好的司机驾驶动作识别模型中，通过比较所述驾驶动作轨迹与所述司机驾驶动作识别模型中的轨迹点的偏差是否在预设阈值范围内，判断司机的驾驶动作是否符合规范。
8.根据权利要求1所述的方法，其特征在于，步骤S4中利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常的步骤进一步包括：
将所述连续多帧图像输入所述司机状态识别模型，输出所述司机面部状态的分类结果，根据所述分类结果判定司机的面部状态是否正常。
9.一种车载终端，其特征在于，包括：处理器模块、用户定制板和专用电源模块，其中，
所述处理器模块由256核NVIDIA Pascal GPU和一个6核64位的ARMv8处理器集群组成，用于执行如权利要求1-8任一所述的方法；
所述用户定制板用于实现总线扩展存储功能、4G无线通讯功能，并对所述处理器模块的外接口进行保护引出；
所述专用电源模块用于将直流110V电压转换为所述处理器模块使用的直流低电压。
10.一种地铁司机车载驾驶行为分析系统，其特征在于，包括：如权利要求9所述的车载终端、通信层和云管理平台，其中，
所述通讯层用于负责所述车载终端与云管理平台间的数据传输；
所述云管理平台用于实现在线自学习与大数据分析功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711477182.1A CN108216252B (zh) | 2017-12-29 | 2017-12-29 | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711477182.1A CN108216252B (zh) | 2017-12-29 | 2017-12-29 | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108216252A true CN108216252A (zh) | 2018-06-29 |
| CN108216252B CN108216252B (zh) | 2019-12-20 |
Family
ID=62646147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711477182.1A Active CN108216252B (zh) | 2017-12-29 | 2017-12-29 | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108216252B (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986400A (zh) * | 2018-09-03 | 2018-12-11 | 深圳市尼欧科技有限公司 | 一种基于图像处理的第三方乘驾安全自动报警方法 |
| CN109086873A (zh) * | 2018-08-01 | 2018-12-25 | 北京旷视科技有限公司 | 递归神经网络的训练方法、识别方法、装置及处理设备 |
| CN109229108A (zh) * | 2018-08-07 | 2019-01-18 | 武汉理工大学 | 一种基于驾驶指纹的驾驶行为安全评价方法 |
| CN109376673A (zh) * | 2018-10-31 | 2019-02-22 | 南京工业大学 | 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法 |
| CN109545027A (zh) * | 2018-12-24 | 2019-03-29 | 郑州畅想高科股份有限公司 | 一种实训台、乘务员仿真实训方法及装置 |
| CN110020597A (zh) * | 2019-02-27 | 2019-07-16 | 中国医学科学院北京协和医院 | 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统 |
| CN110096957A (zh) * | 2019-03-27 | 2019-08-06 | 苏州清研微视电子科技有限公司 | 基于面部识别和行为识别融合的疲劳驾驶监测方法和系统 |
| CN110163084A (zh) * | 2019-04-08 | 2019-08-23 | 睿视智觉（厦门）科技有限公司 | 操作员动作监督方法、装置及电子设备 |
| CN110197134A (zh) * | 2019-05-13 | 2019-09-03 | 睿视智觉（厦门）科技有限公司 | 一种人体动作检测方法及装置 |
| CN110260925A (zh) * | 2019-07-12 | 2019-09-20 | 创新奇智(重庆)科技有限公司 | 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备 |
| CN110443211A (zh) * | 2019-08-09 | 2019-11-12 | 紫荆智维智能科技研究院(重庆)有限公司 | 基于车载gpu的列车驾驶盹睡检测系统及方法 |
| CN110598734A (zh) * | 2019-08-05 | 2019-12-20 | 西北工业大学 | 基于卷积神经网络和支持向量域描述的驾驶员身份认证方法 |
| CN110705605A (zh) * | 2019-09-11 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 特征数据库建立及动作识别方法、装置、系统及存储介质 |
| CN110852190A (zh) * | 2019-10-23 | 2020-02-28 | 华中科技大学 | 一种融合目标检测与手势识别的驾驶行为识别方法及系统 |
| CN110866427A (zh) * | 2018-08-28 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 一种车辆行为检测方法及装置 |
| CN111104953A (zh) * | 2018-10-25 | 2020-05-05 | 北京嘀嘀无限科技发展有限公司 | 驾驶行为特征检测方法、装置、电子设备和计算机可读存储介质 |
| CN111126206A (zh) * | 2019-12-12 | 2020-05-08 | 创新奇智(成都)科技有限公司 | 基于深度学习的冶炼状态检测系统及检测方法 |
| CN111382599A (zh) * | 2018-12-27 | 2020-07-07 | 北京搜狗科技发展有限公司 | 一种图像处理方法、装置和电子设备 |
| CN111432229A (zh) * | 2020-03-31 | 2020-07-17 | 卡斯柯信号有限公司 | 一种对行车指挥进行记录分析与直播的方法与装置 |
| CN111460855A (zh) * | 2019-01-20 | 2020-07-28 | 青岛海尔智能技术研发有限公司 | 物品终端用户行为监测的方法、装置及计算机存储介质 |
| CN111553209A (zh) * | 2020-04-15 | 2020-08-18 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN112046489A (zh) * | 2020-08-31 | 2020-12-08 | 吉林大学 | 一种基于因子分析和机器学习的驾驶风格辨识算法 |
| CN112131972A (zh) * | 2020-09-07 | 2020-12-25 | 重庆邮电大学 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
| CN112277940A (zh) * | 2019-12-05 | 2021-01-29 | 马园 | 基于图像信息的司机状态控制系统 |
| CN112329657A (zh) * | 2020-11-10 | 2021-02-05 | 易显智能科技有限责任公司 | 一种感知驾驶员上半身动作的方法及相关装置 |
| CN112336349A (zh) * | 2020-10-12 | 2021-02-09 | 易显智能科技有限责任公司 | 一种识别驾驶员心理状态的方法及相关装置 |
| CN112347820A (zh) * | 2019-08-08 | 2021-02-09 | 株洲中车时代电气股份有限公司 | 司机驾驶行为监控方法及装置 |
| CN112487913A (zh) * | 2020-11-24 | 2021-03-12 | 北京市地铁运营有限公司运营四分公司 | 一种基于神经网络的标注方法、装置及电子设备 |
| CN112609765A (zh) * | 2020-11-18 | 2021-04-06 | 徐州徐工挖掘机械有限公司 | 一种基于面部识别挖掘机安全控制方法及系统 |
| CN112673378A (zh) * | 2018-10-29 | 2021-04-16 | 欧姆龙株式会社 | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 |
| CN113033239A (zh) * | 2019-12-09 | 2021-06-25 | 杭州海康威视数字技术股份有限公司 | 一种行为检测方法及装置 |
| CN113256064A (zh) * | 2021-04-22 | 2021-08-13 | 中国安全生产科学研究院 | 一种地铁驾驶员驾驶行为分析装置与方法 |
| CN113378733A (zh) * | 2021-06-17 | 2021-09-10 | 杭州海亮优教教育科技有限公司 | 一种构建情感日记和日常活动识别的系统及装置 |
| US11244180B2 (en) | 2019-01-25 | 2022-02-08 | Fujitsu Limited | Deep learning model used for driving behavior recognition and training apparatus and method thereof |
| CN115209342A (zh) * | 2022-06-29 | 2022-10-18 | 北京融信数联科技有限公司 | 一种地铁司机识别方法、系统和可读存储介质 |
| CN115761900A (zh) * | 2022-12-06 | 2023-03-07 | 深圳信息职业技术学院 | 用于实训基地管理的物联网云平台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技（广州）有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
| CN103021221A (zh) * | 2012-12-28 | 2013-04-03 | 成都运达科技股份有限公司 | 地铁列车虚拟司机驾驶行为仿真系统及仿真方法 |
| CN103065121A (zh) * | 2012-12-13 | 2013-04-24 | 李秋华 | 基于视频人脸分析的火车司机状态监控方法及装置 |
| CN106446811A (zh) * | 2016-09-12 | 2017-02-22 | 北京智芯原动科技有限公司 | 基于深度学习的驾驶员疲劳检测方法及装置 |
| CN106651910A (zh) * | 2016-11-17 | 2017-05-10 | 北京蓝天多维科技有限公司 | 驾驶员异常行为状态的智能图像分析方法和告警系统 |
-
2017
- 2017-12-29 CN CN201711477182.1A patent/CN108216252B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技（广州）有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
| CN103065121A (zh) * | 2012-12-13 | 2013-04-24 | 李秋华 | 基于视频人脸分析的火车司机状态监控方法及装置 |
| CN103021221A (zh) * | 2012-12-28 | 2013-04-03 | 成都运达科技股份有限公司 | 地铁列车虚拟司机驾驶行为仿真系统及仿真方法 |
| CN106446811A (zh) * | 2016-09-12 | 2017-02-22 | 北京智芯原动科技有限公司 | 基于深度学习的驾驶员疲劳检测方法及装置 |
| CN106651910A (zh) * | 2016-11-17 | 2017-05-10 | 北京蓝天多维科技有限公司 | 驾驶员异常行为状态的智能图像分析方法和告警系统 |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086873A (zh) * | 2018-08-01 | 2018-12-25 | 北京旷视科技有限公司 | 递归神经网络的训练方法、识别方法、装置及处理设备 |
| CN109229108A (zh) * | 2018-08-07 | 2019-01-18 | 武汉理工大学 | 一种基于驾驶指纹的驾驶行为安全评价方法 |
| CN110866427A (zh) * | 2018-08-28 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 一种车辆行为检测方法及装置 |
| CN108986400A (zh) * | 2018-09-03 | 2018-12-11 | 深圳市尼欧科技有限公司 | 一种基于图像处理的第三方乘驾安全自动报警方法 |
| CN111104953A (zh) * | 2018-10-25 | 2020-05-05 | 北京嘀嘀无限科技发展有限公司 | 驾驶行为特征检测方法、装置、电子设备和计算机可读存储介质 |
| CN111104953B (zh) * | 2018-10-25 | 2024-06-07 | 北京嘀嘀无限科技发展有限公司 | 驾驶行为特征检测方法、装置、电子设备和计算机可读存储介质 |
| CN112673378B (zh) * | 2018-10-29 | 2024-01-30 | 欧姆龙株式会社 | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 |
| CN112673378A (zh) * | 2018-10-29 | 2021-04-16 | 欧姆龙株式会社 | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 |
| CN109376673B (zh) * | 2018-10-31 | 2022-02-25 | 南京工业大学 | 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法 |
| CN109376673A (zh) * | 2018-10-31 | 2019-02-22 | 南京工业大学 | 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法 |
| CN109545027A (zh) * | 2018-12-24 | 2019-03-29 | 郑州畅想高科股份有限公司 | 一种实训台、乘务员仿真实训方法及装置 |
| CN111382599A (zh) * | 2018-12-27 | 2020-07-07 | 北京搜狗科技发展有限公司 | 一种图像处理方法、装置和电子设备 |
| CN111460855A (zh) * | 2019-01-20 | 2020-07-28 | 青岛海尔智能技术研发有限公司 | 物品终端用户行为监测的方法、装置及计算机存储介质 |
| CN111460855B (zh) * | 2019-01-20 | 2023-11-24 | 青岛海尔智能技术研发有限公司 | 物品终端用户行为监测的方法、装置及计算机存储介质 |
| US11244180B2 (en) | 2019-01-25 | 2022-02-08 | Fujitsu Limited | Deep learning model used for driving behavior recognition and training apparatus and method thereof |
| CN110020597B (zh) * | 2019-02-27 | 2022-03-11 | 中国医学科学院北京协和医院 | 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统 |
| CN110020597A (zh) * | 2019-02-27 | 2019-07-16 | 中国医学科学院北京协和医院 | 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统 |
| CN110096957A (zh) * | 2019-03-27 | 2019-08-06 | 苏州清研微视电子科技有限公司 | 基于面部识别和行为识别融合的疲劳驾驶监测方法和系统 |
| CN110096957B (zh) * | 2019-03-27 | 2023-08-08 | 苏州清研微视电子科技有限公司 | 基于面部识别和行为识别融合的疲劳驾驶监测方法和系统 |
| CN110163084A (zh) * | 2019-04-08 | 2019-08-23 | 睿视智觉（厦门）科技有限公司 | 操作员动作监督方法、装置及电子设备 |
| CN110197134A (zh) * | 2019-05-13 | 2019-09-03 | 睿视智觉（厦门）科技有限公司 | 一种人体动作检测方法及装置 |
| CN110260925A (zh) * | 2019-07-12 | 2019-09-20 | 创新奇智(重庆)科技有限公司 | 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备 |
| CN110260925B (zh) * | 2019-07-12 | 2021-06-25 | 重庆赛迪奇智人工智能科技有限公司 | 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备 |
| CN110598734A (zh) * | 2019-08-05 | 2019-12-20 | 西北工业大学 | 基于卷积神经网络和支持向量域描述的驾驶员身份认证方法 |
| CN110598734B (zh) * | 2019-08-05 | 2022-04-26 | 西北工业大学 | 基于卷积神经网络和支持向量域描述的驾驶员身份认证方法 |
| CN112347820A (zh) * | 2019-08-08 | 2021-02-09 | 株洲中车时代电气股份有限公司 | 司机驾驶行为监控方法及装置 |
| CN110443211A (zh) * | 2019-08-09 | 2019-11-12 | 紫荆智维智能科技研究院(重庆)有限公司 | 基于车载gpu的列车驾驶盹睡检测系统及方法 |
| CN110705605B (zh) * | 2019-09-11 | 2022-05-10 | 北京奇艺世纪科技有限公司 | 特征数据库建立及动作识别方法、装置、系统及存储介质 |
| CN110705605A (zh) * | 2019-09-11 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 特征数据库建立及动作识别方法、装置、系统及存储介质 |
| CN110852190A (zh) * | 2019-10-23 | 2020-02-28 | 华中科技大学 | 一种融合目标检测与手势识别的驾驶行为识别方法及系统 |
| CN110852190B (zh) * | 2019-10-23 | 2022-05-20 | 华中科技大学 | 一种融合目标检测与手势识别的驾驶行为识别方法及系统 |
| CN112277940A (zh) * | 2019-12-05 | 2021-01-29 | 马园 | 基于图像信息的司机状态控制系统 |
| CN113033239A (zh) * | 2019-12-09 | 2021-06-25 | 杭州海康威视数字技术股份有限公司 | 一种行为检测方法及装置 |
| CN113033239B (zh) * | 2019-12-09 | 2023-07-07 | 杭州海康威视数字技术股份有限公司 | 一种行为检测方法及装置 |
| CN111126206A (zh) * | 2019-12-12 | 2020-05-08 | 创新奇智(成都)科技有限公司 | 基于深度学习的冶炼状态检测系统及检测方法 |
| CN111432229A (zh) * | 2020-03-31 | 2020-07-17 | 卡斯柯信号有限公司 | 一种对行车指挥进行记录分析与直播的方法与装置 |
| CN111432229B (zh) * | 2020-03-31 | 2024-05-10 | 卡斯柯信号有限公司 | 一种对行车指挥进行记录分析与直播的方法与装置 |
| CN111553209A (zh) * | 2020-04-15 | 2020-08-18 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN111553209B (zh) * | 2020-04-15 | 2023-05-12 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN112046489A (zh) * | 2020-08-31 | 2020-12-08 | 吉林大学 | 一种基于因子分析和机器学习的驾驶风格辨识算法 |
| CN112046489B (zh) * | 2020-08-31 | 2021-03-16 | 吉林大学 | 一种基于因子分析和机器学习的驾驶风格辨识算法 |
| CN112131972A (zh) * | 2020-09-07 | 2020-12-25 | 重庆邮电大学 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
| CN112336349A (zh) * | 2020-10-12 | 2021-02-09 | 易显智能科技有限责任公司 | 一种识别驾驶员心理状态的方法及相关装置 |
| CN112336349B (zh) * | 2020-10-12 | 2024-05-14 | 易显智能科技有限责任公司 | 一种识别驾驶员心理状态的方法及相关装置 |
| CN112329657B (zh) * | 2020-11-10 | 2022-07-01 | 易显智能科技有限责任公司 | 一种感知驾驶员上半身动作的方法及相关装置 |
| CN112329657A (zh) * | 2020-11-10 | 2021-02-05 | 易显智能科技有限责任公司 | 一种感知驾驶员上半身动作的方法及相关装置 |
| CN112609765A (zh) * | 2020-11-18 | 2021-04-06 | 徐州徐工挖掘机械有限公司 | 一种基于面部识别挖掘机安全控制方法及系统 |
| CN112487913A (zh) * | 2020-11-24 | 2021-03-12 | 北京市地铁运营有限公司运营四分公司 | 一种基于神经网络的标注方法、装置及电子设备 |
| CN113256064A (zh) * | 2021-04-22 | 2021-08-13 | 中国安全生产科学研究院 | 一种地铁驾驶员驾驶行为分析装置与方法 |
| CN113378733A (zh) * | 2021-06-17 | 2021-09-10 | 杭州海亮优教教育科技有限公司 | 一种构建情感日记和日常活动识别的系统及装置 |
| CN115209342A (zh) * | 2022-06-29 | 2022-10-18 | 北京融信数联科技有限公司 | 一种地铁司机识别方法、系统和可读存储介质 |
| CN115761900A (zh) * | 2022-12-06 | 2023-03-07 | 深圳信息职业技术学院 | 用于实训基地管理的物联网云平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108216252B (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108216252B (zh) | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 | |
| CN108171176B (zh) | 一种基于深度学习的地铁司机情绪辨识方法及装置 | |
| CN107808139B (zh) | 一种基于深度学习的实时监控威胁分析方法及系统 | |
| WO2019179024A1 (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
| CN106980829B (zh) | 基于视频分析的打架斗殴异常行为自动检测方法 | |
| CN104504377B (zh) | 一种公交车乘客拥挤程度识别系统及方法 | |
| CN110188807A (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
| CN109743547A (zh) | 一种人工智能安全监控管理系统 | |
| CN109935080B (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
| CN112417953A (zh) | 道路状况检测和地图数据更新方法、装置、系统及设备 | |
| CN111738218B (zh) | 人体异常行为识别系统及方法 | |
| CN102163290A (zh) | 基于时空关联信息的多视角视频监控中异常事件建模方法 | |
| CN112287827A (zh) | 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统 | |
| CN113592905B (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
| CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和系统 | |
| CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN112084928A (zh) | 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法 | |
| CN117437599B (zh) | 面向监控场景的行人异常事件检测方法和系统 | |
| CN115311591A (zh) | 异常行为的预警方法、装置及智能摄像头 | |
| Cui et al. | Real-time detection method of driver fatigue state based on deep learning of face video | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN116959099B (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
| CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
| CN116611977A (zh) | 失联人员路径溯源及救援方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |