CN117445805B - 面向公交车司乘冲突的人员预警和行车控制方法及系统 - Google Patents

面向公交车司乘冲突的人员预警和行车控制方法及系统 Download PDF

Info

Publication number
CN117445805B
CN117445805B CN202311775198.6A CN202311775198A CN117445805B CN 117445805 B CN117445805 B CN 117445805B CN 202311775198 A CN202311775198 A CN 202311775198A CN 117445805 B CN117445805 B CN 117445805B
Authority
CN
China
Prior art keywords
driver
passenger
model
voice
anger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311775198.6A
Other languages
English (en)
Other versions
CN117445805A (zh
Inventor
臧珂欣
席建锋
周尚�
付如依
王潇菁
郑黎黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202311775198.6A priority Critical patent/CN117445805B/zh
Publication of CN117445805A publication Critical patent/CN117445805A/zh
Application granted granted Critical
Publication of CN117445805B publication Critical patent/CN117445805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18063—Creeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/008—Alarm setting and unsetting, i.e. arming or disarming of the security system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Analytical Chemistry (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于道路车辆驾驶控制领域，涉及一种面向公交车司乘冲突的人员预警和行车控制方法及系统，该方法利用传感器、相机等采集数据，并将采集的数据处理后输入提前训练好的愤怒情绪模型，分别对司机和乘客的愤怒情绪进行识别，同时对抢夺方向盘趋势进行预测，之后将司机与乘客的愤怒情绪进行分级，根据司机与乘客愤怒等级，对司机和乘客进行预警和干预，并采取相应的车辆控制措施。该方法考虑了乘客和司机语音冲突的逻辑性，有效避免了因乘客个人情绪产生的愤怒语音造成的误判，且既可对已经发生的肢体接触动作进行识别，同时对于危险动作（如抢夺方向盘）也能提前预测并干预，保证公交车行车安全。

Description

面向公交车司乘冲突的人员预警和行车控制方法及系统
技术领域
本发明属于道路车辆驾驶控制领域，涉及一种面向公交车司乘冲突的人员预警和行车控制方法及系统。
背景技术
近年来，我国智能驾驶发展迅速，有一些针对公交车的车辆控制系统研究成果。例如：CN 115291508 A公开了一种基于分布式深度强化学习的动态公交控制系统及方法，该方法通过对公交车到达不同站台的计划时间和实际时间进行分析和收集，对真实DRL公交系统的训练环境进行搭建和训练，从而减少计划时间和车头时距的偏差，防止偏差向下游累积，避免公交串车现象发生。但是现阶段对公交车车辆控制的研究大多都基于公交车运行时间和速度，希望减少公交车在城市中的行驶延误，实现公交系统运行优化。目前，没有面向公交车安全驾驶的车辆控制系统研究。
然而，在现代社会，公共交通成为了人们日常出行的重要方式之一。在公交运行过程中，司机和乘客之间会发生冲突。这些冲突可能由各种原因引起，例如：司机态度不友好、乘客错过下车、票务矛盾等。
司乘冲突干扰了公共交通的正常运营，降低了乘客出行的幸福感。当公交车出现司乘冲突时，车辆往往因此长时间停驶。这不仅会导致大量乘客滞留，还可能引发乘车秩序混乱，进一步激化冲突，形成一个恶性循环。更为糟糕的是，部分严重的司乘冲突有可能演变为暴力事件，触发严重的交通事故，导致人员伤害甚至造成生命损失。
因此，预防和解决司乘冲突对于维护公共交通的正常运营，保证行车安全具有至关重要的作用。
目前有一些针对司乘冲突情绪检测的研究，例如：
中国专利CN 116189267 A公开了一种基于机器学习的司机路怒情绪检测方法，该方法通过多种传感器采集司机的人脸图像、声音和用力状态，对司机的情绪进行分级，以实现对司机路怒情绪的检测；当检测到驾驶员的路怒情绪超过一定分值时，通过播放舒缓心情的音乐、语音提示等措施来缓解驾驶员愤怒的情绪，保证安全驾驶。然而，此方法只能检测并分析司机本人的情绪并进行干预，无法实时检测司乘冲突。
中国专利CN 116543770 A公开了司乘冲突的检测方法、装置、设备和存储介质，但该方法不适用于环境更为复杂的公交车，因为仅根据特征关键词并不能区分是司乘之间的冲突，还是乘客与乘客或乘客与其他非乘车人之间的冲突，可能会产生误判。
中国专利CN 114239887 A公开了一种安全分级的车内司乘冲突识别方法，此方法结合了司乘环境，通过采集网约车内语音信息，结合视频识别司乘是否产生肢体接触，判断车内是否发生冲突。该方法使用情绪识别和动作识别，提升了识别冲突的准确度，但其情绪识别模型和动作识别模型不适用于环境复杂的公交车，且对于动作识别，其是在已经发生肢体接触后识别的，对于危险动作（如抢夺方向盘）并不能提前预测并干预。
因此，有必要提供一种全新的面向公交车司乘冲突的人员预警和行车控制方法及系统，以保证行车安全，避免因司乘冲突触发严重的交通事故。
发明内容
鉴于上述技术问题和缺陷，本发明的目的在于提供一种面向公交车司乘冲突的人员预警和行车控制方法，该方法可以准确识别出复杂环境下的司乘冲突，对抢夺方向盘这种危险动作能够进行预测并干预，并且能够及时对车辆进行相应控制，消除潜在的交通隐患，避免交通事故和人身伤害等不良事件发生，提升乘客的出行幸福指数和安全系数。
为实现上述目的，本发明采用如下技术方案：
一种面向公交车司乘冲突的人员预警和行车控制方法，该方法包括以下步骤：
步骤1、司机端的摄像头实时捕获司机的人脸图像数据，对人脸图像数据进行预处理，并将处理后的数据输入司机表情识别愤怒情绪模型进行检测，判断司机是否出现愤怒表情；
司机端的声音传感器实时获取司机处的音频数据，对音频数据进行预处理，根据提前对司机进行个性化调查所获取的司机音频信息，从实时获取的音频数据中有针对性的提取司机的音频数据，并将司机的音频数据输入司机语音识别愤怒情绪模型进行检测，判断司机是否出现愤怒语言；
实时获取公交车内司机处的视频数据，对数据进行处理，并将处理后的数据输入司机动作识别愤怒情绪模型进行检测，判断司机是否出现异常行为；所述司机动作识别愤怒情绪模型包括打架斗殴模型、司机正常驾驶模型；其中，所述打架斗殴模型用于判断司机是否存在殴打乘客的行为；所述司机正常驾驶模型用于判断司机是否存在除打架斗殴以外的动作范围异常、动作幅度增大的行为；
若司机出现愤怒表情，但未出现愤怒语言和异常行为，执行步骤4；
若司机出现愤怒语言，但未出现异常行为，执行步骤5；
若司机出现异常行为，执行步骤6；
步骤2、乘客端实时获取公交车内靠近司机处的音频数据，对音频数据进行预处理，根据提前对司机进行个性化调查所获取的司机音频信息，从实时获取的音频数据中有针对性的提取除司机音频以外的乘客的音频数据，并将乘客的音频数据输入乘客语音识别愤怒情绪模型进行检测，判断乘客是否出现愤怒语言，若乘客出现愤怒语言，执行步骤3；
乘客端实时获取公交车内靠近司机处的视频数据，对数据进行预处理，并将预处理后的数据输入OpenPose模型，由OpenPose模型处理视频数据，获取人体手部关节坐标，之后分别对人体手部关节坐标进行一阶差分和二阶差分，得到人体手部运动的速度和加速度，根据人体手部运动的速度和加速度以及乘客语音关键词判断乘客是否有抢夺方向盘的趋势，若存在抢夺方向盘的趋势，执行步骤8；
乘客抢夺方向盘趋势的计算公式如下：
；
式中，k为修正系数，取；/>代表乘客运动表现出的抢夺方向盘趋势；代表乘客语音表现出的抢夺方向盘趋势；r代表乘客手部距方向盘的距离；若P/>40，则判断乘客有抢夺方向盘的趋势；
；
式中，v、a分别代表人体手部运动的速度和加速度，smoothness代表运动平滑度， ，/> 其中x 1 、y 1 、z 1 为视频前一帧人体手部关节坐标，x 2 、y 2 、z 2 为视频后一帧人体手部关节坐标；directionality代表方向系数，/>，θ表示向量/>与公交车行驶方向之间的夹角；/>；
；
式中，dB是分贝，是根据乘客语音关键词判断乘客愤怒等级进行归一化量化，/>，/>；
r；
式中，X 1 、Y 1 、Z 1 为人体手部三维坐标；X 2 、Y 2、Z 2为方向盘中心处的三维坐标；
步骤3、将司机语音识别愤怒情绪模型输出的司机语音关键词和乘客语音识别愤怒情绪模型输出的乘客语音关键词进行重复度对比，若关键词重合≥3，则判断司机和乘客发生口角，此时若乘客无抢夺方向盘的趋势，则定义这种状态为愤怒而未出现过激行为，执行步骤7；
步骤4、通过司机端播放音乐，同时语音智能讲解情绪化驾驶所带来的严重后果；调整车内的环境，如降低温度、调节照明等，辅助司机保持冷静；对公交车速度进行实时监控，控制车辆速度低至正常行驶速度的95%，防止车速出现异常增加；
步骤5、通过司机端播放司机家人语音的方式干预并安抚司机的情绪；对公交车的加速度和制动力度进行实时监控，分别将油门的踩踏力度、方向盘的转角大小和转速范围限制在正常驾驶的90%内，并打开车辆危险警示闪光灯；
步骤6、向车辆管理中心发送警报，并提供车辆当前位置、速度和司机状态；同时，通过司机端语音播报 “已智能报警，请保持冷静”，全面获取车辆控制权，控制车辆降低车速至正常行驶速度的75%，并检测四周车辆，控制车辆的行驶车道，保证公交车沿安全路径行驶，就近靠边停车；
步骤7、通过乘客端播放音乐，同时语音智能讲解干扰司机驾驶所带来的严重后果；
步骤8、通过乘客端播放“请保持冷静，否则将智能报警” 的方式干预乘客；同时，判断乘客是否存在殴打司机或抢夺方向盘的行为，若存在任意一种行为，执行步骤9；
判断乘客殴打司机的方法为：将乘客端实时获取的公交车内靠近司机处的视频数据处理后，输入乘客动作识别愤怒情绪模型进行检测，判断乘客是否存在殴打司机行为；
步骤9、向车辆管理中心发送警报，并提供车辆当前位置、速度和司机状态；同时，通过乘客端播放“已智能报警，请保持冷静”，全面获取车辆控制权，控制车辆降低车速至正常行驶速度的75%，并检测四周车辆，控制车辆的行驶车道，保证公交车沿安全路径行驶，就近靠边停车。
作为本发明的优选，所述步骤1中，对人脸图像数据进行预处理的具体方法为：从捕获的人脸图像中，先使用人脸检测器检测出人脸区域，然后将人脸区域实施灰度化，并将图片大小缩放至48×48，最后送入司机表情识别愤怒情绪模型进行检测。
作为本发明的优选，所述步骤8中，判断抢夺方向盘的方法为：对经过处理后的公交车内司机处的视频进行范围检测，若方向盘范围内出现手的数量超过3；同时，外接力度传感器判断压力超过临界值或外接角度传感器判断旋转角度过大，则判定乘客抢夺方向盘行为已经发生。
作为本发明的优选，所述司机表情识别愤怒情绪模型是利用数据库里的FER2013数据集，通过对改进的CNN表情识别模型进行训练，经过若干次迭代得到的；改进的CNN表情识别模型的网络由4个卷积级，2个自注意力层和1个全连接层组成；每个卷积级包含两个密集块和一个全局平均池化层；密集块由卷积层、ReLU激活函数、批标准化层组成，卷积层用于对输入特征进行卷积操作，使用3x3大小的卷积核；批标准化层用于加速神经网络的学习过程，减少内部协方差偏移，以及防止梯度消失或爆炸；每个密集块的输出会与前面所有密集块的输出进行连接，形成密集连接；两个自注意力层之后是ReLU激活函数；全连接层用于最终分类，使用SoftMax激活函数。
作为本发明的优选，所述司机语音识别愤怒情绪模型和乘客语音识别愤怒情绪模型均是利用数据库里的IEMOCAP数据集，通过对改进的GMM关键词检测模型1和改进的GMM关键词检测模型2进行训练，经过若干次迭代得到的，具体步骤为：选出IEMOCAP数据集中的愤怒情绪语音，对语音数据处理后采用最大似然估计算法对改进的GMM关键词检测模型1和改进的GMM关键词检测模型2进行训练，经过若干次迭代，分别输出司机语音识别愤怒情绪模型、乘客语音识别愤怒情绪模型。
作为本发明的优选，所述打架斗殴模型、乘客动作识别愤怒情绪模型均是利用数据库里的HockyFIghts数据集，通过对改进的OpenPose模型1和改进的OpenPose模型2进行训练，经过若干次迭代，分别输出打架斗殴模型和乘客动作识别愤怒情绪模型；
所述司机正常驾驶模型是利用数据库里的司机正常驾驶视频，通过对改进的OpenPose模型1进行训练，经过若干次迭代，输出司机正常驾驶模型。
作为本发明的进一步优选，所述改进的GMM关键词检测模型1和改进的GMM关键词检测模型2为相同网络结构的模型，模型输入层输入的数据为经 CNN中的Fbank函数处理后的音频数据；模型使用k均值聚类来初始化GMM的参数，运用VBM算法来优化GMM的参数；当模型输出观测概率时，先处理观测概率，得到状态转移概率；之后使用条件随机场算法进行解码与识别，再使用深度学习方法改善最终的识别结果，最后通过输出层输出最终识别的关键词；其中，处理观测概率的方法为：利用Gibbs采样算法估计状态序列的概率分布，通过动态时间规整化算法找到最匹配的状态序列，用随机梯度下降算法优化参数。
作为本发明的进一步优选，所述改进的OpenPose模型1和改进的OpenPose模型2为相同网络结构的模型，模型输入层输入的数据为通过关键帧提取技术提取的视频中的有效图像；输入层的数据经由主干网络VGG19提取图片的特征后，依次通过中间层、第一阶段、中间层、第二阶段后输出；其中，中间层包括卷积层、上采样层、池化层，用于进一步处理特征；第一阶段与第二阶段的网络结构相同，中间层输出的数据经卷积层处理后分别进行关键点检测、关节连接，之后经融合层、损失层处理；
关键点检测：
设x j,k 表示图中第k个人的第j个关节，置信度的峰值代表一个部位，用来控制峰值的扩散；
；
；
式中，为第k个人的第j个关节的置信度，/>为第k个人的第j个关节置信度的峰值；
关节连接：
；
式中，如果p在第k个人的肢体c上， ，其他/>0，/>表示p点亲和矢量场；/>、/>分别代表第k个人的两个关节；其中，p是图中的一个关键点，p点需满足条件/>且；其中，/>，是肢体长度，为肢体宽度；
；
式中，是指第k个人的第c个肢体的矢量场取值，/>是某个点p上对于所有k个人的非零向量个数；
融合层的融合方式为：
对于每个关键点的PAF矢量场，将其与对应关键点的PCM置信度相乘，得到加权后的PAF矢量场；然后，将所有加权后的PAF矢量场相加，得到最终融合后的PAF矢量场；
对于每个关键点的PAF矢量场，按以下方式进行置信度加权：
；
；
；
式中， 、/>和/>表示p点经过置信度加权后的PAF矢量场，/>、/>、/>表示p点的PAF矢量场， 表示p点的PCM置信度；
；
；
；
；
；
式中，为融合后的PAF矢量场，/>、/>分别为X、Y、Z方向所占比重；
损失层的损失函数为：
；
式中，是第j个关节的经过置信度加权后的预测PAF矢量场，/>是第j个关节的经过置信度加权后的实际PAF矢量场，/>是第j个关节的PCM的实际置信度矩阵，/>是第j个关节的PCM的预测置信度矩阵，W是一个二进制掩码，当注释再图像位置p中丢失时，二进制掩码用于在训练过程中避免惩罚正确的正面预测。
作为本发明的进一步优选，通过外接的红外摄像头采集司机面部表情视频，实时捕获司机的人脸图像数据；通过两个相机分别拍摄司机处和靠近司机处的司机和乘客的动作及活动范围的视频；通过安装在司机端的声音传感器采集司机处的音频数据，通过安装在乘客端的声音传感器采集靠近司机处的音频数据。
作为本发明的进一步优选，司机家人的语音为在对司机进行个性化调查时，获取的其家人提醒其“不要情绪化驾驶，注意行驶安全，保证平安回家”的语音包。
本发明还提供一种面向公交车司乘冲突的人员预警和行车控制系统，包括相机、红外摄像头、声音传感器、力度传感器、角度传感器、数据处理模块、数据库、司机表情识别愤怒情绪模型、司机语音识别愤怒情绪模型、司机动作识别愤怒情绪模型、乘客语音识别愤怒情绪模型、OpenPose模型、乘客动作识别愤怒情绪模型、语音关键词对比模块、乘客抢夺方向盘趋势预测模块、乘客抢夺方向盘行为判断模块、报警模块、控制模块；
其中，所述相机为两个，一个安装在司机端，用于获取公交车内司机处的视频数据；另一个安装在乘客端，用于获取公交车内靠近司机处的视频数据；
所述红外摄像头，用于捕获司机的人脸图像数据；
所述声音传感器为两个，一个安装在司机端，用于获取司机处的音频数据；另一个安装在乘客端，用于获取公交车内靠近司机处的音频数据；
所述数据处理模块，用于对获取的数据进行处理，将处理后的数据存储在数据库，并发送至与数据对应的愤怒情绪模型；
所述司机表情识别愤怒情绪模型，用于判断司机是否出现愤怒表情；
所述司机语音识别愤怒情绪模型，用于判断司机是否出现愤怒语言；
所述司机动作识别愤怒情绪模型，用于判断司机是否出现异常行为，司机动作识别愤怒情绪模型包括打架斗殴模型、司机正常驾驶模型；所述打架斗殴模型，用于判断司机是否存在殴打乘客的行为；所述司机正常驾驶模型，用于判断司机是否存在除打架斗殴以外的动作范围异常、动作幅度增大的行为；
所述乘客语音识别愤怒情绪模型，用于判断乘客是否出现愤怒语言；
所述OpenPose模型，用于获取人体手部关节坐标；
所述乘客动作识别愤怒情绪模型，用于判断乘客是否存在殴打司机行为；
所述语音关键词对比模块，用于对司机语音识别愤怒情绪模型输出的司机语音关键词和乘客语音识别愤怒情绪模型输出的乘客语音关键词进行重复度对比；
所述乘客抢夺方向盘趋势预测模块，用于对OpenPose模型输出的人体手部关节坐标进行一阶差分和二阶差分，得到人体手部运动的速度和加速度；根据人体手部运动的速度和加速度以及乘客语音识别愤怒情绪模型输出的乘客语音关键词判断乘客是否有抢夺方向盘的趋势；
乘客抢夺方向盘行为判断模块，用于根据公交车内司机处的视频数据以及力度传感器、角度传感器的数据判断乘客抢夺方向盘行为是否已经发生；
所述报警模块，用于向车辆管理中心发送警报；
所述控制模块，用于对乘客端和司机端的音乐播放设备、语音播报设备、公交车行驶速度、行驶路径、踩踏力度、方向盘的转角、车内温度、车内灯光进行控制。
本发明的优点和有益效果：
（1）本发明能够通过及时检测司乘情绪状态，对公交车进行相应控制，有效地监测和解决传统公交车出行方式中司乘之间的冲突问题，该方法具有自动化识别、多感知融合、实时监测和智能化解决等优势和创新性，公交车能够更智能地应对不同的冲突情境，避免发生重大交通事故，造成惨痛后果。
（2）本发明通过实时监测和识别司机和乘客的情绪状态，可以及时应对潜在的冲突和改善服务，该方法具有实时性、准确性、个性化服务和数据驱动决策等优势，将为乘坐公交车的体验带来积极影响，提高公共交通出行幸福指数，提高公共交通智慧化管理水平。
（3）本发明考虑了乘客和司机语音冲突的逻辑性，有效避免了因乘客个人情绪产生的愤怒语音造成的误判。
（4）本发明即可对已经发生的肢体接触动作进行识别，同时对于危险动作（如抢夺方向盘）也能提前预测并对公交车进行控制干预，保证公交车行车安全。
（5）本发明采用改进的CNN表情识别模型对数据库里的FER2013数据集进行训练，得到司机表情识别愤怒情绪模型，改进的CNN表情识别模型中加入密集连接，使得每一层的输出都与其前面所有层的输入连接在一起，有助于更有效地传递信息和梯度；且每一层都能够直接访问来自前面所有层的信息，从而减缓了梯度消失的问题，使得梯度更容易流动回较早的层；另外，密集连接允许每一层都能够直接访问前面所有层的特征图，这促使网络更容易学习到共享的特征表示，提高了特征的复用性，有助于模型更好地捕捉输入数据中的模式和结构；再者，密集连接还有助于减轻梯度稀疏性，减少信息的丢失，减小模型的复杂性，降低过拟合的风险，降低模型训练的难度。
（6）本发明改进的CNN表情识别模型中加入自注意力层，自注意力层允许模型在处理每个位置的特征时，同时考虑到输入序列的其他位置，而不仅仅是局部邻域，这有助于模型更好地捕捉全局上下文信息，尤其在处理长距离依赖关系时表现更好；另外，自注意力层增加了模型对输入序列内部关系的建模能力，能够更精确地关注到对当前位置有重要影响的上下文信息，从而提高了建模的准确性；再者，自注意力层允许模型动态地学习不同位置之间的权重，而不是固定的权重分配，这使得模型能够根据具体任务和输入序列的特征动态调整关注的重点，提高了模型的适应性；此外，自注意力机制有助于缓解信息在网络的深层传递过程中丢失的问题，使得模型更好地保留并传递重要的信息，提高模型的泛化能力，从而更好地适应不同任务和数据集，使训练后得到的模型能够更好地捕捉数据，保证识别结果的准确性和可靠性。
（7）本发明采用改进的GMM关键词检测模型对数据库里的IEMOCAP数据集进行训练，得到司机语音识别愤怒情绪模型和乘客语音识别愤怒情绪模型，在使用改进的 GMM 模型进行语音识别任务时，先使用CNN中的Fbank函数对原始语音信号进行处理，捕捉更多语音信息，以使得特征表示更加丰富，提取的更加丰富的特征输入改进的GMM关键词检测模型后，可以帮助模型学习到更抽象的语音结构，而不仅仅局限于原始的声学特征，这有助于提高模型对语音信号中复杂模式和抽象表示的理解。
（8）本发明改进的GMM关键词检测模型运用VBM算法来优化GMM的参数，可以防止过拟合，使得模型能够更好地捕捉数据中的不确定性，更加适用于公交车这种噪声较多的环境。
（9）本发明改进的GMM关键词检测模型采用Gibbs采样、动态时间规整化（DTW）、随机梯度下降（SGD）处理观察概率，得到状态转移概率，此种方式更加适用于本发明这种实时性要求高、数据动态变化的场景中。
（10）本发明改进的GMM关键词检测模型使用条件随机场（CRF）对 GMM 模型进行解码与识别，CRF 能够在序列中建模全局依赖关系，而不仅仅考虑局部的观测序列，特别适用于司乘愤怒语音检测中；此外，CRF有助于提高模型的泛化能力和鲁棒性，简化模型设计和训练流程，提高模型的整体性能。
（11）本发明改进的OpenPose模型将PAF与PCM先融合后损失，先进行特征融合可以使得模型更早地利用不同层次的信息进行决策，这有助于更好地捕捉全局上下文和语义信息，提高模型的鲁棒性和泛化能力；在反向传播过程中，先进行特征融合有助于更好地传播梯度；这有助于减轻梯度消失或梯度爆炸的问题，使得模型更容易收敛，降低模型的过拟合风险；使得模型的不同分支或层次可以更灵活地学习特征。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1 本发明面向公交车司乘冲突的人员预警和行车控制方法流程图；
图2 本发明面向公交车司乘冲突的人员预警和行车控制系统的示意图；
图3 本发明司机与乘客愤怒情绪分级示意图；
图4 本发明根据司机与乘客愤怒等级的控制策略图；
图5本发明CNN表情识别模型训练时所采取的数据增强方法示意图；
图6是本发明改进的VGGNet网络结构示意图；
图7是本发明改进的GMM关键词检测模型对数据处理的流程图；
图8是本发明改进的OpenPose模型网络结构示意图。
具体实施方式
为使本领域技术人员能够更好的理解本发明的技术方案及其优点，下面结合附图对本申请进行详细描述，但并不用于限定本发明的保护范围。
如图1至4所示，本发明提供一种面向公交车司乘冲突的人员预警和行车控制方法，该方法利用传感器、相机等采集数据，并将采集的数据处理后输入提前训练好的愤怒情绪模型，分别对司机和乘客的愤怒情绪进行识别，并将司机与乘客的愤怒情绪进行分级，根据司机与乘客愤怒等级对车辆进行控制；具体包括以下步骤：
步骤1、司机端的摄像头实时捕获司机的人脸图像数据，对人脸图像数据进行预处理，并将处理后的数据输入司机表情识别愤怒情绪模型进行检测，判断司机是否出现愤怒表情；
司机端的声音传感器实时获取司机处的音频数据，对音频数据进行预处理，根据提前对司机进行个性化调查所获取的司机音频信息，从实时获取的音频数据中有针对性的提取司机的音频数据，并将司机的音频数据输入司机语音识别愤怒情绪模型进行检测，判断司机是否出现愤怒语言；
实时获取公交车内司机处的视频数据，对数据进行处理，并将处理后的数据输入司机动作识别愤怒情绪模型进行检测，判断司机是否出现异常行为；所述司机动作识别愤怒情绪模型包括打架斗殴模型、司机正常驾驶模型；其中，所述打架斗殴模型用于判断司机是否存在殴打乘客的行为；所述司机正常驾驶模型用于判断司机是否存在除打架斗殴以外的动作范围异常、动作幅度增大的行为；
若司机出现愤怒表情，但未出现愤怒语言和异常行为，则定义这种状态为出现愤怒且情绪波动不大，执行步骤4；
若司机出现愤怒语言，但未出现异常行为，则定义这种状态为出现愤怒且情绪波动较大，执行步骤5；
若司机出现异常行为，则定义这种状态为出现愤怒且情绪波动很大，执行步骤6；
步骤2、乘客端实时获取公交车内靠近司机处的音频数据，对音频数据进行预处理，根据提前对司机进行个性化调查所获取的司机音频信息，从实时获取的音频数据中有针对性的提取除司机音频以外的乘客的音频数据，并将乘客的音频数据输入乘客语音识别愤怒情绪模型进行检测，判断乘客是否出现愤怒语言，若乘客出现愤怒语言，执行步骤3；
乘客端实时获取公交车内靠近司机处的视频数据，对数据进行预处理，并将预处理后的数据输入OpenPose模型，由OpenPose模型处理视频数据，获取人体手部关节坐标，之后分别对人体手部关节坐标进行一阶差分和二阶差分，得到人体手部运动的速度和加速度，根据人体手部运动的速度和加速度以及乘客语音关键词判断乘客是否有抢夺方向盘的趋势，若存在抢夺方向盘的趋势，则定义这种状态为愤怒且有过激趋势，执行步骤8；
乘客抢夺方向盘趋势的计算公式如下：
；
其中，k为修正系数，取；若P/>40，则判断乘客有抢夺方向盘的趋势；代表乘客运动表现出的抢夺方向盘趋势；/>代表乘客语音表现出的抢夺方向盘趋势；r代表乘客手部距方向盘的距离；
；
其中，v、a分别代表人体手部运动的速度和加速度，smoothness代表运动平滑度， ，/> 其中x 1 、y 1 、z 1 为视频前一帧人体手部关节坐标，x 2 、y 2 、z 2 为视频后一帧人体手部关节坐标；directionality代表方向系数，/>，θ表示向量/>与公交车行驶方向之间的夹角；/>；
；
式中，dB是分贝，是根据乘客语音关键词判断乘客愤怒等级进行60范围内归一化量化，/>，/>；
r；
其中，X 1 、Y 1 、Z 1 为人体手部三维坐标；X 2 、Y 2、Z 2为方向盘中心处的三维坐标；
步骤3、将司机语音识别愤怒情绪模型输出的司机语音关键词和乘客语音识别愤怒情绪模型输出的乘客语音关键词进行重复度对比，若关键词重合≥3，则判断司机和乘客发生口角，认为乘客是因为与司机发生冲突产生愤怒情绪，此时若乘客无抢夺方向盘的趋势，则定义这种状态为愤怒而未出现过激行为，执行步骤7；
步骤4、通过司机端播放音乐，同时语音智能讲解情绪化驾驶所带来的严重后果；调整车内的环境，如降低温度、调节照明等，辅助司机保持冷静；对公交车速度进行实时监控，控制车辆速度低至正常行驶速度的95%，防止车速出现异常增加；
步骤5、通过司机端播放司机家人语音的方式干预并安抚司机的情绪；对公交车的加速度和制动力度进行实时监控，分别将油门的踩踏力度、方向盘的转角大小和转速范围限制在正常驾驶的90%内，并打开车辆危险警示闪光灯；
步骤6、向车辆管理中心发送警报，并提供车辆当前位置、速度和司机状态；同时，通过司机端语音播报 “已智能报警，请保持冷静”，全面获取车辆控制权，控制车辆降低车速至正常行驶速度的75%，并检测四周车辆，控制车辆的行驶车道，保证公交车沿安全路径行驶，就近靠边停车；
步骤7、通过乘客端播放轻松舒缓的音乐，帮助乘客舒缓心情；同时语音智能讲解干扰司机驾驶可能带来的严重后果，帮助乘客保持冷静；
步骤8、通过乘客端播放“请保持冷静，否则将智能报警” 的方式干预乘客；同时，判断乘客是否存在殴打司机或抢夺方向盘的行为，若存在任意一种行为，则定义这种状态为愤怒且出现过激行为，执行步骤9；
判断乘客殴打司机的方法为：将乘客端实时获取的公交车内靠近司机处的视频数据处理后，输入乘客动作识别愤怒情绪模型进行检测，判断乘客是否存在殴打司机行为；
判断抢夺方向盘的方法为：对经过处理后的公交车内司机处的视频进行范围检测，若方向盘范围内出现手的数量超过3；同时，外接力度传感器判断压力超过临界值或外接角度传感器判断旋转角度过大，则判定乘客抢夺方向盘行为已经发生；
步骤9、向车辆管理中心发送警报，并提供车辆当前位置、速度和司机状态；同时，通过乘客端播放“已智能报警，请保持冷静”，全面获取车辆控制权，控制车辆降低车速至正常行驶速度的75%，并检测四周车辆，控制车辆的行驶车道，保证公交车沿安全路径行驶，就近靠边停车。
本发明中，司机家人的语音为在对司机进行个性化调查时，获取的其家人提醒其“不要情绪化驾驶，注意行驶安全，保证平安回家”的语音包，当司机出现愤怒且情绪波动较大，可以通过司机端播放司机家人的录音，提醒其“不要情绪化驾驶，注意行驶安全，保证平安回家”。
进一步，本发明步骤1中对人脸图像数据进行预处理的具体方式为：从捕获的人脸图像中，先使用人脸检测器检测出人脸区域，然后将人脸区域实施灰度化，并将图片大小缩放至48×48，最后送入司机表情识别愤怒情绪模型进行检测。
进一步，本发明所述司机表情识别愤怒情绪模型是利用数据库里的FER2013数据集，通过对改进的CNN表情识别模型进行训练，经过若干次迭代得到的，具体步骤如下：
（1）数据集分割
参照ICML官方设计的训练（TraInIng）、验证（ValIdatIon）、测试（Test）数据集的分割方法，即80%作为训练数据集，10%作为验证数据集，10%作为测试数据集的方式训练FER2013数据集；
（2）数据增强
为了能让卷积神经网络对表情识别有更加可靠的自适应性，本发明在卷积神经网络的训练中使用数据增强（Data AugmentatIon）；基于批量（Batch）数据的实时训练方式，数据增强方法如图5所示。
（3）构建改进的VGGNet 网络结构
如图6所示，改进的VGGNet 网络结构由4个卷积级（ConvolutIonal Stages），2个自注意力层（Self-Attention Layer）和1个全连接层（Fully Connected Layer）组成；每个卷积级包含两个密集块（Dense Blocks）和一个全局平均池化层（Global AveragePooling）；密集块由卷积层（ConvolutIon）、ReLU激活函数、批标准化层（BatchNormalIzatIon）组成，卷积层用于对输入特征进行卷积操作，使用3×3大小的卷积核；批标准化层能够加速神经网络的学习过程，减少内部协方差偏移，以及防止梯度消失或爆炸；每个密集块的输出都会与前面所有密集块的输出进行连接，这意味着每个密集块的输入特征包含了前面所有层的输出特征，形成密集连接；2个自注意力层之后是ReLU激活函数；全连接层用于最终分类，使用SoftMax激活函数。
（4）训练神经网络，获得司机表情识别愤怒情绪模型
设置具体训练参数，同时使用过拟合监测及学习速率监测两个策略监测网络，保证精度与学习速率。
本发明通过对现有的CNN表情识别模型进行改进，采用改进后的模型对数据库里的FER2013数据集进行训练，得到司机表情识别愤怒情绪模型。本发明的改进点在于网络结构部分，即：采用密集连接的形式将各个阶段的密集块连接，同时增加了2个自注意力层（Self-Attention Layer），因此本发明主要对改进部分进行说明，而关于具体训练过程等其他部分，可以参照现有模型训练方式，本申请不再赘述。
进一步，本发明所述司机语音识别愤怒情绪模型和乘客语音识别愤怒情绪模型均是利用数据库里的IEMOCAP数据集，通过对改进的GMM关键词检测模型1和改进的GMM关键词检测模型2进行训练，经过若干次迭代得到的，具体步骤为：选出IEMOCAP数据集中的愤怒情绪语音，对语音数据处理后采用最大似然估计算法对改进的GMM关键词检测模型1和改进的GMM关键词检测模型2进行训练，经过若干次迭代，分别输出司机语音识别愤怒情绪模型、乘客语音识别愤怒情绪模型。
如图7所示，本发明改进的GMM关键词检测模型1和改进的GMM关键词检测模型2为相同网络结构的模型，改进后的GMM关键词检测模型1和2与现有GMM关键词检测模型的区别在于：采用CNN中的Fbank函数（Fbank-CNN特征提取）对原始语音信号进行处理，将提取的更加丰富、有意义的特征输入改进后的GMM关键词检测模型；模型使用k均值聚类来初始化GMM的参数，运用VBM算法来优化GMM的参数（现有GMM采用EM 函数）；当模型输出观测概率时，先处理观察概率，得到状态转移概率；之后使用条件随机场（CRF）算法进行解码与识别，再使用深度学习方法改善最终的识别结果，最后通过输出层输出最终识别的关键词。
更进一步，本发明处理观察概率，得到状态转移概率的具体方法为：利用Gibbs采样算法估计状态序列的概率分布，通过动态时间规整化（DTW）算法找到最匹配的状态序列，用随机梯度下降（SGD）算法优化参数。
进一步，本发明所述打架斗殴模型、乘客动作识别愤怒情绪模型均是利用数据库里的HockyFights数据集，通过对改进的OpenPose模型1和改进的OpenPose模型2进行训练，经过若干次迭代，得到打架斗殴模型和乘客动作识别愤怒情绪模型；
所述司机正常驾驶模型是利用数据库里的司机正常驾驶视频，通过对改进的OpenPose模型1进行训练，经过若干次迭代，得到司机正常驾驶模型。
如图8所示，本发明中，改进的OpenPose模型1和改进的OpenPose模型2为相同网络结构的模型，模型输入层输入的数据为通过关键帧提取技术提取的视频中的有效图像；输入层的数据经由主干网络VGG19提取图片的特征后，依次通过中间层、第一阶段（Stage1）、中间层、第二阶段（Stage2）后输出；其中，中间层包括卷积层、上采样层、池化层，用于进一步处理特征；第一阶段与第二阶段的网络结构相同，中间层输出的数据经卷积层（conves）处理后分别进行I关键点检测（PCM）、II关节连接(PAF)，之后经融合层、损失层处理；
I关键点检测（PCM）：
设x j,k 表示图中第k个人的第j个关节，置信度的峰值代表一个部位，用来控制峰值的扩散；
；
；
式中，为第k个人的第j个关节的置信度，/>为第k个人的第j个关节置信度的峰值；
II关节连接(PAF)：
；
式中，如果p在第k个人的肢体c上， ，其他/>0；/>表示p点亲和矢量场；/>、/>分别代表第k个人的两个关节；其中，p是图中的一个关键点，p点需满足条件/>且；其中，/>，是肢体长度，为肢体宽度；
；
式中，是指第k个人的第c个肢体的矢量场取值，/>是某个点p上对于所有k个人的非零向量个数；
融合层的融合方式为：
对于每个关键点的PAF矢量场，将其与对应关键点的PCM置信度相乘，得到加权后的PAF矢量场；然后，将所有加权后的PAF矢量场相加，得到最终融合后的PAF矢量场；
对于每个关键点的PAF矢量场，按以下方式进行置信度加权：
；
；/>
；
式中， 、/>和/>表示p点经过置信度加权后的PAF矢量场，/>、/>、/>表示p点的PAF矢量场， 表示p点的PCM置信度；
；
；
；
；
；
式中，为融合后的PAF矢量场，/>、/>分别为X、Y、Z方向所占比重；
损失层的损失函数为：
；
式中，是第j个关节的经过置信度加权后的预测PAF矢量场，/>是第j个关节的经过置信度加权后的实际PAF矢量场，/>是第j个关节的PCM的实际置信度矩阵，/>是第j个关节的PCM的预测置信度矩阵，W是一个二进制掩码，当注释再图像位置p中丢失时，二进制掩码用于在训练过程中避免惩罚正确的正面预测。
需要说明，本发明抢夺方向盘趋势预测所使用的OpenPose模型为现有模型，改进的OpenPose模型1是在现有的OpenPose模型基础上通过对其网络结构进行改进得到的，改进的OpenPose模型1的训练过程可以参照现有OpenPose模型训练方法。
另外，本发明涉及的卷积层、上采样层、池化层等未特殊说明的部分，均是采用现有的处理方式，本申请对上述内容不做任何限定。
更进一步，本发明通过外接的红外摄像头采集司机面部表情视频，实时捕获司机的人脸图像数据；通过两个相机分别拍摄司机处和靠近司机处的司机和乘客的动作及活动范围的视频；通过安装在司机端的声音传感器采集司机处的音频数据，通过安装在乘客端的声音传感器采集靠近司机处的音频数据。
如图2所示，本发明还提供一种面向公交车司乘冲突的人员预警和行车控制系统，包括相机、红外摄像头、声音传感器、力度传感器、角度传感器、数据处理模块、数据库、司机表情识别愤怒情绪模型、司机语音识别愤怒情绪模型、司机动作识别愤怒情绪模型、乘客语音识别愤怒情绪模型、OpenPose模型、乘客动作识别愤怒情绪模型、语音关键词对比模块、乘客抢夺方向盘趋势预测模块、乘客抢夺方向盘行为判断模块、报警模块、控制模块；
其中，所述相机为两个，一个安装在司机端，用于获取公交车内司机处的视频数据；另一个安装在乘客端，用于获取公交车内靠近司机处的视频数据；
所述红外摄像头，用于捕获司机的人脸图像数据；
所述声音传感器为两个，一个安装在司机端，用于获取司机处的音频数据；另一个安装在乘客端，用于获取公交车内靠近司机处的音频数据；
所述数据处理模块，用于对获取的数据进行处理，将处理后的数据存储在数据库，并发送至与数据对应的愤怒情绪模型；
所述司机表情识别愤怒情绪模型，用于判断司机是否出现愤怒表情；
所述司机语音识别愤怒情绪模型，用于判断司机是否出现愤怒语言；
所述司机动作识别愤怒情绪模型，用于判断司机是否出现异常行为，司机动作识别愤怒情绪模型包括打架斗殴模型、司机正常驾驶模型；所述打架斗殴模型，用于判断司机是否存在殴打乘客的行为；所述司机正常驾驶模型，用于判断司机是否存在除打架斗殴以外的动作范围异常、动作幅度增大的行为；
所述乘客语音识别愤怒情绪模型，用于判断乘客是否出现愤怒语言；
所述OpenPose模型，用于获取人体手部关节坐标；
所述乘客动作识别愤怒情绪模型，用于判断乘客是否存在殴打司机行为；
所述语音关键词对比模块，用于对司机语音识别愤怒情绪模型输出的司机语音关键词和乘客语音识别愤怒情绪模型输出的乘客语音关键词进行重复度对比；
所述乘客抢夺方向盘趋势预测模块，用于对OpenPose模型输出的人体手部关节坐标进行一阶差分和二阶差分，得到人体手部运动的速度和加速度；根据人体手部运动的速度和加速度以及乘客语音识别愤怒情绪模型输出的乘客语音关键词判断乘客是否有抢夺方向盘的趋势；
乘客抢夺方向盘行为判断模块，用于根据公交车内司机处的视频数据以及力度传感器、角度传感器的数据判断乘客抢夺方向盘行为是否已经发生；
所述报警模块，用于向车辆管理中心发送警报；
所述控制模块，用于对乘客端和司机端的音乐播放设备、语音播报设备、公交车行驶速度、行驶路径、踩踏力度、方向盘的转角、车内温度、车内灯光等进行控制。
本发明还提供一种电子设备，包括：一个或多个处理器、存储器；其中，所述存储器用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，一个或多个处理器实现上述所述的一种面向公交车司乘冲突的人员预警和行车控制方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的面向公交车司乘冲突的人员预警和行车控制方法。
本领域技术人员可以理解，上述实施方式中各种方法/模块的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。
另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，该方法包括以下步骤：
步骤1、司机端的摄像头实时捕获司机的人脸图像数据，对人脸图像数据进行预处理，并将处理后的数据输入司机表情识别愤怒情绪模型进行检测，判断司机是否出现愤怒表情；
司机端的声音传感器实时获取司机处的音频数据，对音频数据进行预处理，根据提前对司机进行个性化调查所获取的司机音频信息，从实时获取的音频数据中有针对性的提取司机的音频数据，并将司机的音频数据输入司机语音识别愤怒情绪模型进行检测，判断司机是否出现愤怒语言；
实时获取公交车内司机处的视频数据，对数据进行处理，并将处理后的数据输入司机动作识别愤怒情绪模型进行检测，判断司机是否出现异常行为；所述司机动作识别愤怒情绪模型包括打架斗殴模型、司机正常驾驶模型；其中，所述打架斗殴模型用于判断司机是否存在殴打乘客的行为；所述司机正常驾驶模型用于判断司机是否存在除打架斗殴以外的动作范围异常、动作幅度增大的行为；
若司机出现愤怒表情，但未出现愤怒语言和异常行为，执行步骤4；
若司机出现愤怒语言，但未出现异常行为，执行步骤5；
若司机出现异常行为，执行步骤6；
步骤2、乘客端实时获取公交车内靠近司机处的音频数据，对音频数据进行预处理，根据提前对司机进行个性化调查所获取的司机音频信息，从实时获取的音频数据中有针对性的提取除司机音频以外的乘客的音频数据，并将乘客的音频数据输入乘客语音识别愤怒情绪模型进行检测，判断乘客是否出现愤怒语言，若乘客出现愤怒语言，执行步骤3；
乘客端实时获取公交车内靠近司机处的视频数据，对数据进行预处理，并将预处理后的数据输入OpenPose模型，由OpenPose模型处理视频数据，获取人体手部关节坐标，之后分别对人体手部关节坐标进行一阶差分和二阶差分，得到人体手部运动的速度和加速度，根据人体手部运动的速度和加速度以及乘客语音关键词判断乘客是否有抢夺方向盘的趋势，若存在抢夺方向盘的趋势，执行步骤8；
乘客抢夺方向盘趋势的计算公式如下：
；
式中，k为修正系数，取；/>代表乘客运动表现出的抢夺方向盘趋势；代表乘客语音表现出的抢夺方向盘趋势；r代表乘客手部距方向盘的距离；若P/>40，则判断乘客有抢夺方向盘的趋势；
；
式中，v、a分别代表人体手部运动的速度和加速度，smoothness代表运动平滑度， ，/> 其中x 1 、y 1 、z 1 为视频前一帧人体手部关节坐标，x 2 、y 2 、z 2 为视频后一帧人体手部关节坐标；directionality代表方向系数，/>，θ表示向量/>与公交车行驶方向之间的夹角；/>；
；
式中，dB是分贝，是根据乘客语音关键词判断乘客愤怒等级进行归一化量化，/>，/>；
r；
式中，X 1 、Y 1 、Z 1 为人体手部三维坐标；X 2 、Y 2、Z 2为方向盘中心处的三维坐标；
步骤3、将司机语音识别愤怒情绪模型输出的司机语音关键词和乘客语音识别愤怒情绪模型输出的乘客语音关键词进行重复度对比，若关键词重合≥3，则判断司机和乘客发生口角，此时若乘客无抢夺方向盘的趋势，执行步骤7；
步骤4、通过司机端播放音乐，同时语音智能讲解情绪化驾驶所带来的严重后果；调整车内的环境；对公交车速度进行实时监控，控制车辆速度低至正常行驶速度的95%；
步骤5、通过司机端播放司机家人语音的方式干预并安抚司机的情绪；对公交车的加速度和制动力度进行实时监控，分别将油门的踩踏力度、方向盘的转角大小和转速范围限制在正常驾驶的90%内，并打开车辆危险警示闪光灯；
步骤6、向车辆管理中心发送警报，并提供车辆当前位置、速度和司机状态；同时，通过司机端语音播报 “已智能报警，请保持冷静”，全面获取车辆控制权，控制车辆降低车速至正常行驶速度的75%，并检测四周车辆，控制车辆的行驶车道，保证公交车沿安全路径行驶，就近靠边停车；
步骤7、通过乘客端播放音乐，同时语音智能讲解干扰司机驾驶所带来的严重后果；
步骤8、通过乘客端播放“请保持冷静，否则将智能报警” 的方式干预乘客；同时，判断乘客是否存在殴打司机或抢夺方向盘的异常行为，若存在任意一种行为，执行步骤9；
判断乘客殴打司机的方法为：将乘客端实时获取的公交车内靠近司机处的视频数据处理后，输入乘客动作识别愤怒情绪模型进行检测，判断乘客是否存在殴打司机行为；
步骤9、向车辆管理中心发送警报，并提供车辆当前位置、速度和司机状态；同时，通过乘客端播放“已智能报警，请保持冷静”，全面获取车辆控制权，控制车辆降低车速至正常行驶速度的75%，并检测四周车辆，控制车辆的行驶车道，保证公交车沿安全路径行驶，就近靠边停车。
2.根据权利要求1所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，所述步骤1中，对人脸图像数据进行预处理的具体方法为：从捕获的人脸图像中，先使用人脸检测器检测出人脸区域，然后将人脸区域实施灰度化，并将图片大小缩放至48×48，最后送入司机表情识别愤怒情绪模型进行检测。
3.根据权利要求1所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，所述步骤8中，判断抢夺方向盘的方法为：对经过处理后的公交车内司机处的视频进行范围检测，若方向盘范围内出现手的数量超过3；同时，外接力度传感器判断压力超过临界值或外接角度传感器判断旋转角度过大，则判定乘客抢夺方向盘行为已经发生。
4.根据权利要求1所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，所述司机表情识别愤怒情绪模型是利用数据库里的FER2013数据集，通过对改进的CNN表情识别模型进行训练，经过若干次迭代得到的；改进的CNN表情识别模型的网络由4个卷积级，2个自注意力层和1个全连接层组成；每个卷积级包含两个密集块和一个全局平均池化层；密集块由卷积层、ReLU激活函数、批标准化层组成，卷积层用于对输入特征进行卷积操作，使用3x3大小的卷积核；批标准化层用于加速神经网络的学习过程，减少内部协方差偏移，以及防止梯度消失或爆炸；每个密集块的输出会与前面所有密集块的输出进行连接，形成密集连接；两个自注意力层之后是ReLU激活函数；全连接层用于最终分类，使用SoftMax激活函数。
5.根据权利要求1所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，所述司机语音识别愤怒情绪模型和乘客语音识别愤怒情绪模型均是利用数据库里的IEMOCAP数据集，通过对改进的GMM关键词检测模型1和改进的GMM关键词检测模型2进行训练，经过若干次迭代得到的，具体步骤为：选出IEMOCAP数据集中的愤怒情绪语音，对语音数据处理后采用最大似然估计算法对改进的GMM关键词检测模型1和改进的GMM关键词检测模型2进行训练，经过若干次迭代，分别输出司机语音识别愤怒情绪模型、乘客语音识别愤怒情绪模型。
6.根据权利要求1所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，所述打架斗殴模型、乘客动作识别愤怒情绪模型均是利用数据库里的HockyFIghts数据集，通过对改进的OpenPose模型1和改进的OpenPose模型2进行训练，经过若干次迭代，分别输出打架斗殴模型和乘客动作识别愤怒情绪模型；
所述司机正常驾驶模型是利用数据库里的司机正常驾驶视频，通过对改进的OpenPose模型1进行训练，经过若干次迭代，输出司机正常驾驶模型。
7.根据权利要求1所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，通过外接的红外摄像头采集司机面部表情视频，实时捕获司机的人脸图像数据；通过两个相机分别拍摄司机处和靠近司机处的司机和乘客的动作及活动范围的视频；通过安装在司机端的声音传感器采集司机处的音频数据，通过安装在乘客端的声音传感器采集靠近司机处的音频数据。
8.根据权利要求6所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，所述改进的GMM关键词检测模型1和改进的GMM关键词检测模型2为相同网络结构的模型，模型输入层输入的数据为经 CNN中的Fbank函数处理后的音频数据；模型使用k均值聚类来初始化GMM的参数，运用VBM算法来优化GMM的参数；当模型输出观测概率时，先处理观测概率，得到状态转移概率；之后使用条件随机场算法进行解码与识别，再使用深度学习方法改善最终的识别结果，最后通过输出层输出最终识别的关键词；其中，处理观测概率的方法为：利用Gibbs采样算法估计状态序列的概率分布，通过动态时间规整化算法找到最匹配的状态序列，用随机梯度下降算法优化参数。
9.根据权利要求6所述的一种面向公交车司乘冲突的人员预警和行车控制方法，其特征在于，所述改进的OpenPose模型1和改进的OpenPose模型2为相同网络结构的模型，模型输入层输入的数据为通过关键帧提取技术提取的视频中的有效图像；输入层的数据经由主干网络VGG19提取图片的特征后，依次通过中间层、第一阶段、中间层、第二阶段后输出；其中，中间层包括卷积层、上采样层、池化层，用于进一步处理特征；第一阶段与第二阶段的网络结构相同，中间层输出的数据经卷积层处理后分别进行关键点检测、关节连接，之后经融合层、损失层处理；
关键点检测：
设x j,k 表示图中第k个人的第j个关节，置信度的峰值代表一个部位，用来控制峰值的扩散；
；
；
式中，为第k个人的第j个关节的置信度，/>为第k个人的第j个关节置信度的峰值；
关节连接：
；
式中，如果p在第k个人的肢体c上， ，其他/>0；表示p点亲和矢量场；/>、/>分别代表第k个人的两个关节；其中，p是图中的一个关键点，p点需满足条件/>且；其中，/>，是肢体长度，为肢体宽度；
；
式中，是指第k个人的第c个肢体的矢量场取值，/>是某个点p上对于所有k个人的非零向量个数；
融合层的融合方式为：
对于每个关键点的PAF矢量场，将其与对应关键点的PCM置信度相乘，得到加权后的PAF矢量场；然后，将所有加权后的PAF矢量场相加，得到最终融合后的PAF矢量场；
对于每个关键点的PAF矢量场，按以下方式进行置信度加权：
；
；
；
式中， 、/>和/>表示p点经过置信度加权后的PAF矢量场，/>、/>、/>表示p点的PAF矢量场， 表示p点的PCM置信度；
；
；
；
；
；
式中，为融合后的PAF矢量场，/>、/>分别为X、Y、Z方向所占比重；
损失层的损失函数为：
；
式中，是第j个关节的经过置信度加权后的预测PAF矢量场，/>是第j个关节的经过置信度加权后的实际PAF矢量场，/>是第j个关节的PCM的实际置信度矩阵，/>是第j个关节的PCM的预测置信度矩阵，W是一个二进制掩码，当注释再图像位置p中丢失时，二进制掩码用于在训练过程中避免惩罚正确的正面预测。
10.一种面向公交车司乘冲突的人员预警和行车控制系统，其特征在于，包括相机、红外摄像头、声音传感器、力度传感器、角度传感器、数据处理模块、数据库、司机表情识别愤怒情绪模型、司机语音识别愤怒情绪模型、司机动作识别愤怒情绪模型、乘客语音识别愤怒情绪模型、OpenPose模型、乘客动作识别愤怒情绪模型、语音关键词对比模块、乘客抢夺方向盘趋势预测模块、乘客抢夺方向盘行为判断模块、报警模块、控制模块；
其中，所述相机为两个，一个安装在司机端，用于获取公交车内司机处的视频数据；另一个安装在乘客端，用于获取公交车内靠近司机处的视频数据；
所述红外摄像头，用于捕获司机的人脸图像数据；
所述声音传感器为两个，一个安装在司机端，用于获取司机处的音频数据；另一个安装在乘客端，用于获取公交车内靠近司机处的音频数据；
所述数据处理模块，用于对获取的数据进行处理，将处理后的数据存储在数据库，并发送至与数据对应的愤怒情绪模型；
所述司机表情识别愤怒情绪模型，用于判断司机是否出现愤怒表情；
所述司机语音识别愤怒情绪模型，用于判断司机是否出现愤怒语言；
所述司机动作识别愤怒情绪模型，用于判断司机是否出现异常行为，司机动作识别愤怒情绪模型包括打架斗殴模型、司机正常驾驶模型；所述打架斗殴模型，用于判断司机是否存在殴打乘客的行为；所述司机正常驾驶模型，用于判断司机是否存在除打架斗殴以外的动作范围异常、动作幅度增大的行为；
所述乘客语音识别愤怒情绪模型，用于判断乘客是否出现愤怒语言；
所述OpenPose模型，用于获取人体手部关节坐标；
所述乘客动作识别愤怒情绪模型，用于判断乘客是否存在殴打司机行为；
所述语音关键词对比模块，用于对司机语音识别愤怒情绪模型输出的司机语音关键词和乘客语音识别愤怒情绪模型输出的乘客语音关键词进行重复度对比；
所述乘客抢夺方向盘趋势预测模块，用于对OpenPose模型输出的人体手部关节坐标进行一阶差分和二阶差分，得到人体手部运动的速度和加速度；根据人体手部运动的速度和加速度以及乘客语音识别愤怒情绪模型输出的乘客语音关键词判断乘客是否有抢夺方向盘的趋势；
乘客抢夺方向盘行为判断模块，用于根据公交车内司机处的视频数据以及力度传感器、角度传感器的数据判断乘客抢夺方向盘行为是否已经发生；
所述报警模块，用于向车辆管理中心发送警报；
所述控制模块，用于对乘客端和司机端的音乐播放设备、语音播报设备、行驶速度、行驶路径、踩踏力度、方向盘的转角、车内温度、车内灯光进行控制。
CN202311775198.6A 2023-12-22 2023-12-22 面向公交车司乘冲突的人员预警和行车控制方法及系统 Active CN117445805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311775198.6A CN117445805B (zh) 2023-12-22 2023-12-22 面向公交车司乘冲突的人员预警和行车控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311775198.6A CN117445805B (zh) 2023-12-22 2023-12-22 面向公交车司乘冲突的人员预警和行车控制方法及系统

Publications (2)

Publication Number Publication Date
CN117445805A CN117445805A (zh) 2024-01-26
CN117445805B true CN117445805B (zh) 2024-02-23

Family

ID=89591483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311775198.6A Active CN117445805B (zh) 2023-12-22 2023-12-22 面向公交车司乘冲突的人员预警和行车控制方法及系统

Country Status (1)

Country Link
CN (1) CN117445805B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980829A (zh) * 2017-03-17 2017-07-25 苏州大学 基于视频分析的打架斗殴异常行为自动检测方法
CN108549720A (zh) * 2018-04-24 2018-09-18 京东方科技集团股份有限公司 一种基于情绪识别的安抚方法、装置及设备、存储介质
JP2018169703A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム及び車両運転支援方法
CN109993125A (zh) * 2019-04-03 2019-07-09 腾讯科技（深圳）有限公司 模型训练方法、人脸识别方法、装置、设备及存储介质
CN110001652A (zh) * 2019-03-26 2019-07-12 深圳市科思创动科技有限公司 驾驶员状态的监测方法、装置及终端设备
CN110371132A (zh) * 2019-06-18 2019-10-25 华为技术有限公司 驾驶员接管评估方法及装置
CN113780062A (zh) * 2021-07-26 2021-12-10 岚图汽车科技有限公司 一种基于情感识别的车载智能交互方法、存储介质及芯片
CN114735010A (zh) * 2022-05-17 2022-07-12 中南大学 基于情绪识别的智能车辆行驶控制方法、系统及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6686868B2 (ja) * 2016-12-22 2020-04-22 株式会社デンソー 車両用運転者状態判定装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980829A (zh) * 2017-03-17 2017-07-25 苏州大学 基于视频分析的打架斗殴异常行为自动检测方法
JP2018169703A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム及び車両運転支援方法
CN108549720A (zh) * 2018-04-24 2018-09-18 京东方科技集团股份有限公司 一种基于情绪识别的安抚方法、装置及设备、存储介质
CN110001652A (zh) * 2019-03-26 2019-07-12 深圳市科思创动科技有限公司 驾驶员状态的监测方法、装置及终端设备
CN109993125A (zh) * 2019-04-03 2019-07-09 腾讯科技（深圳）有限公司 模型训练方法、人脸识别方法、装置、设备及存储介质
CN110371132A (zh) * 2019-06-18 2019-10-25 华为技术有限公司 驾驶员接管评估方法及装置
CN113780062A (zh) * 2021-07-26 2021-12-10 岚图汽车科技有限公司 一种基于情感识别的车载智能交互方法、存储介质及芯片
CN114735010A (zh) * 2022-05-17 2022-07-12 中南大学 基于情绪识别的智能车辆行驶控制方法、系统及存储介质

Also Published As

Publication number Publication date
CN117445805A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
Weng et al. Driver drowsiness detection via a hierarchical temporal deep belief network
Choi et al. Car crash detection using ensemble deep learning and multimodal data from dashboard cameras
Cura et al. Driver profiling using long short term memory (LSTM) and convolutional neural network (CNN) methods
Zajdel et al. CASSANDRA: audio-video sensor fusion for aggression detection
Xu et al. ER: Early recognition of inattentive driving leveraging audio devices on smartphones
JP6682222B2 (ja) 検知装置及びその制御方法、コンピュータプログラム
US11421610B2 (en) Artificial intelligence apparatus for controlling auto stop system and method therefor
CN113723292A (zh) 司乘异常行为识别方法、装置、电子设备和介质
Elmalaki et al. Sentio: Driver-in-the-loop forward collision warning using multisample reinforcement learning
JP7181654B2 (ja) 自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法及び装置
Tran et al. Audio-vision emergency vehicle detection
Rovetta et al. Detection of hazardous road events from audio streams: An ensemble outlier detection approach
Xue et al. A context-aware framework for risky driving behavior evaluation based on trajectory data
Wan et al. Driving anger states detection based on incremental association markov blanket and least square support vector machine
Qiu et al. Use of triplet-loss function to improve driving anomaly detection using conditional generative adversarial network
CN117445805B (zh) 面向公交车司乘冲突的人员预警和行车控制方法及系统
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
Basit et al. Driver drowsiness detection with region-of-interest selection based spatio-temporal deep convolutional-lstm
Yu et al. Drowsydet: a mobile application for real-time driver drowsiness detection
Hao et al. Human behavior analysis based on attention mechanism and LSTM neural network
Park et al. Denoising recurrent neural networks for classifying crash-related events
Hyodo et al. Feature representation learning for calving detection of cows using video frames
KR20210115425A (ko) 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템
Raja et al. Driver Alertness and Awareness Monitoring System
Jain et al. Accist: Automatic Traffic Accident Detection and Notification with Smartphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant