CN112784695B - 一种基于图像及语音识别的司机异常状态检测方法 - Google Patents
一种基于图像及语音识别的司机异常状态检测方法 Download PDFInfo
- Publication number
- CN112784695B CN112784695B CN202011635033.5A CN202011635033A CN112784695B CN 112784695 B CN112784695 B CN 112784695B CN 202011635033 A CN202011635033 A CN 202011635033A CN 112784695 B CN112784695 B CN 112784695B
- Authority
- CN
- China
- Prior art keywords
- driver
- voice
- network
- emotion
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000003993 interaction Effects 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 230000008451 emotion Effects 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 125000004122 cyclic group Chemical group 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000008909 emotion recognition Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 abstract description 5
- 231100000331 toxic Toxicity 0.000 description 3
- 230000002588 toxic effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于图像及语音识别的司机异常状态检测方法，该方法包括：步骤1，通过图像模块实时监控驾驶员的状态并分析；步骤2，通过交互模块与驾驶员进行语音交互，采集驾驶员声音状态，语音系统会随机从语音库中抽取一组简短对话与驾驶员进行交互，步骤3，通过语音分析模块分析驾驶员的语音信息，判断驾驶员的状态，步骤4，通过告警模块进行告警。该方法可以实时监测驾驶员的驾驶状态，可以有效减少因为驾驶员异常导致的交通安全事故的发生。
Description
技术领域
本发明涉及图像识别和语音识别研究领域，具体涉及一种基于图像及语音识别的司机异常状态检测方法。
背景技术
近年来，由于驾驶员主观原因，如酒驾，毒驾或情绪不稳定等司机异常状态，所导致的安全事故时有发生，造成了很严重的后果。对于酒驾毒驾的现象，目前常规的做法是交警设卡检查，需要很大的人力投入，且收效较低；目前驾驶员异常行为的检测需要驾驶人员穿戴特定的传感器设备，使用成本较高，无法后装；或需要检测人员手持设备进行检测，耗费人工；现有的智能检测方法检测之后直接进行干预，缺乏确认的手段，若发生误报，会影响驾驶员的驾驶体验，也可能导致安全事故的发生。
发明内容
为了克服现有技术的不足，本公开实施例提供了一种基于图像及语音识别的司机异常状态检测方法，可以实时监测驾驶员的驾驶状态，可以有效减少因为驾驶员异常导致的交通安全事故的发生。技术方案如下：
提供了一种基于图像及语音识别的司机异常状态检测方法，主要包括以下步骤：
步骤1，通过图像模块实时监控驾驶员的状态并分析；
通过深度学习的方式根据摄像头获取到的司机图像，判断当前司机的情绪状态；具体为:采用人脸检测网络获取到司机的人脸位置，进行基于人脸状态分析；基于当前的司机的人脸图片，分析司机是否处于酒驾，毒驾，情绪异常等危险驾驶状态，若根据图像判断出司机当前的状态为危险驾驶，则会触发交互模块进行二次确认；
步骤2，通过交互模块与驾驶员进行语音交互，采集驾驶员声音状态，语音系统会随机从语音库中抽取一组简短对话与驾驶员进行交互，触发该模块后，若在规定时间内没有收到驾驶员的语音响应信息，则跳过语音分析模块，直接进行告警，若在规定时间内收到驾驶员的语音响应信息，则进入语音分析模块；
步骤3，通过语音分析模块分析驾驶员的语音信息，判断驾驶员的状态
语音分析模块采用基于深度学习的语音情绪识别系统，先将采集到的语音通过FIR滤波器进行滤波，保留在人声频率范围内的声音信息，然后将滤波后的声音信号转化为宽带频谱图，最后将转化后的宽带频谱图输入训练好的深度卷积神经网络中，提取其中的情绪信息；若提取到的情绪信息在负面状态，则触发告警系统；
步骤4，通过告警模块进行告警
优选的，步骤4具体为:通过声音提醒等手段对驾驶员进行告警，通过网络向运营平台发送告警信息等。
优选的，步骤1人脸检测网络使用改进的MTCNN检测算法，具体改进为:
(1)修改了MTCNN算法内的卷积方式，将原始的卷积层修改为深度卷积层，并在此基础上，使用自研数据集进行重新调整训练；
(2)在MTCNN检测网络的基础上，增加了MTCNN跟踪网络；将算法当前帧的人脸检测位置扩大A倍后，作为下一帧预测的输入,传给MTCNN跟踪网络,跟踪网络直接根据上一帧目标所在位置，提取ROI区域图片进行人脸细节检测，用目标检测网络进行跟踪。
优选的，步骤1进行基于人脸状态分析，使用基于OSnet结构训练的人脸情绪分析算法模型，来计算输入人脸的情绪状态；将目标人脸位置的图片，和MTCNN人脸检测网络基于该图片提取到的级联特征，一起作为人脸状态检测网络的输入；OSnet特征提取网络在提取图片特征的同时以MTCNN检测网络的特征为参考，使用双特征共同预测当前司机的情绪状态；其中MTCNN检测网络的特征为检测目标时的特征，其特征关注点有效锁定在人脸区域。
优选的，步骤2通过交互模块与驾驶员进行语音交互采用基于动态时间规整的语音识别算法，具体为：交互模块发出语音问答后，通过麦克风获取司机回答的音频数据；通过语音处理的双门极限点算法，判断出驾驶员回答的开始和结束时间，截取该开始和结束时间内的音频数据作为司机回答的音频基准数据；使用梅尔倒谱的方式对基准数据进行特征提取，与题库中的答案特征进行相似度判断，若相似度大于阈值，则认为其回答正确，进入语音分析模块，否则回答错误，进入告警模块。
优选的，步骤3深度循环卷积神经网络使用FasterRcnn网络为backbone骨架，将每层的参数量减少到原始大小的1/4以提升其速度，网络输入为音频基准数据的频谱图，将声音信号转化为图像信号，然后将图像信号作为输入传给深度学习网络，计算出该段音频所包含的情绪信息。
优选的，深度循环卷积神经网络在训练时，采用开源的标注好的语音数据库，将数据库中的音频转化为图像信号，使用转化后的数据关联其标注标签的方式，制作出频谱图-情绪标签的情绪数据集，使用该情绪数据集训练得到训练好的深度循环卷积神经网络，即语音情绪识别网络。
与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：先通过图像识别的方式发现驾驶员可能存在异常驾驶的情况，再通过语音交互，智能语音分析的方式确认驾驶员的驾驶状态，最终进行实时告警，可以实时监测驾驶员的驾驶状态，可以有效减少因为驾驶员异常导致的交通安全事故的发生。
本发明通过图像识别的方法进行检测，无接触，不需要驾驶员进行任何干预，装置简单，成本低，可以在营运车辆，两客一危上进行批量安装统一管理，方便管理机构进行监控。通过智能语音沟通，再通过分析驾驶员语音特征的方式进行二次确认，简单方便，解决了通过智能检测手段可能存在的误判问题，且准确率高，在保障驾驶员驾驶体验的基础上，有效减少误判情况，也能提醒驾驶员安全驾驶。
具体实施方式
为了阐明本发明的技术方案和工作原理，下面将对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。本申请的说明书和权利要求书中的术语“步骤1”、“步骤2”、“步骤3”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里描述的那些以外的顺序实施。
本公开实施例提供了一种基于图像及语音识别的司机异常状态检测方法：主要包括以下步骤：
步骤1，通过图像模块实时监控驾驶员的状态并分析；
通过深度学习的方式根据摄像头获取到的司机图像，判断当前司机的情绪状态；具体为:采用人脸检测网络获取到司机的人脸位置，进行基于人脸状态分析；基于当前的司机的人脸图片，分析司机是否处于酒驾，毒驾，情绪异常等危险驾驶状态，若根据图像判断出司机当前的状态为危险驾驶，则会触发交互模块进行二次确认；
优选的，步骤1人脸检测网络使用改进的MTCNN检测算法，针对司机驾驶场景，本发明对MTCNN算法做了两点改进。
具体改进为:
(1)修改了MTCNN算法内的卷积方式，将原始的卷积层修改为深度卷积层，并在此基础上，使用适用于本场景的自研数据集进行重新调整训练，同时提高了模型的速度和精度；
(2)在MTCNN检测网络的基础上，增加了MTCNN跟踪网络；MTCNN网络为三模型级联网络，其速度瓶颈在于第一层的图像金字塔操作，该操作在全图场景上检出目标人脸区域,时长约为40ms(RK3399),时间成本占三层网络总计算时间的80％。为了提升本模块的性能，本发明调整了算法实现部分的逻辑，将算法当前帧的人脸检测位置扩大A倍后，作为下一帧预测的输入,传给MTCNN跟踪网络,跟踪网络直接根据上一帧目标所在位置，提取ROI区域图片进行人脸细节检测，用目标检测网络进行跟踪，比传统的跟踪算法更有针对性，准确性更高，在确保检测而精度的前提下，大幅提升了人脸检测的速度。
优选的，步骤1进行基于人脸状态分析，使用基于OSnet结构训练的人脸情绪分析算法模型，来计算输入人脸的情绪状态；与一般人脸状态识别算法仅使用图片作为输入的做法不同，本发明同时将目标人脸位置的图片，和MTCNN人脸检测网络基于该图片提取到的级联特征，一起作为人脸状态检测网络的输入；OSnet特征提取网络在提取图片特征的同时以MTCNN检测网络的特征为参考，使用双特征共同预测当前司机的情绪状态；使用双网络特征共同进行人脸情绪状态分析，其中MTCNN检测网络的特征为检测目标时的特征，其特征关注点有效锁定在人脸区域，可以有效的提高模型人脸情绪状态检测的精度。若检测发现司机情绪存在异常，则进入语音交互模块进行二次确认；
步骤2，通过交互模块与驾驶员进行语音交互，采集驾驶员声音状态，语音系统会随机从语音库中抽取一组简短对话与驾驶员进行交互，触发该模块后，若在规定时间内没有收到驾驶员的语音响应信息，则跳过语音分析模块，直接进行告警，若在规定时间内收到驾驶员的语音响应信息，则进入语音分析模块；
本发明使用语音交互模块进行司机情绪状态的二次确认；优选的，步骤2通过交互模块与驾驶员进行语音交互采用基于动态时间规整的语音识别算法，采用该算法的原因是，交互模块是一个简单问答系统，需要识别的语音内容比较简略，为内容明确的问题答案，使用轻量的基于动态时间规整的语音识别算法即可满足该模块的要求。具体为：交互模块发出语音问答后，通过麦克风获取司机回答的音频数据；通过语音处理的双门极限点算法，判断出驾驶员回答的开始和结束时间，截取该开始和结束时间内的音频数据作为司机回答的音频基准数据；使用梅尔倒谱的方式对基准数据进行特征提取，与题库中的答案特征进行相似度判断，若相似度大于阈值，则认为其回答正确，进入语音分析模块，否则回答错误，进入告警模块；
步骤3，通过语音分析模块分析驾驶员的语音信息，判断驾驶员的状态
语音分析模块采用基于深度学习的语音情绪识别系统，先将采集到的语音通过FIR滤波器进行滤波，保留在人声频率范围内的声音信息，然后将滤波后的声音信号转化为宽带频谱图，最后将转化后的宽带频谱图输入训练好的深度卷积神经网络中，提取其中的情绪信息；若提取到的情绪信息在负面状态，则触发告警系统；
其中，语音情绪分析模块根据语音识别模块提取到的司机回答的基准音频数据，通过深度循环卷积神经网络进行情绪分析。
优选的，深度循环卷积神经网络使用FasterRcnn网络为backbone骨架，将每层的参数量减少到原始大小的1/4以提升其速度，网络输入为音频基准数据的频谱图，将声音信号转化为图像信号，从而提高信号所携带的信息量，然后将图像信号作为输入传给深度学习网络，计算出该段音频所包含的情绪信息；
优选的，深度循环卷积神经网络在训练时，采用开源的标注好的语音数据库，将数据库中的音频转化为图像信号，使用转化后的数据关联其标注标签的方式，制作出频谱图-情绪标签的情绪数据集，使用该情绪数据集训练得到训练好的深度循环卷积神经网络，即语音情绪识别网络。
步骤4，通过告警模块进行告警
优选的，步骤4具体为:通过声音提醒等手段对驾驶员进行告警，通过网络向运营平台发送告警信息等。
以上对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。
Claims (4)
1.一种基于图像及语音识别的司机异常状态检测方法，其特征在于，包括以下步骤：
步骤1，通过图像模块实时监控驾驶员的状态并分析；
通过深度学习的方式根据摄像头获取到的司机图像，判断当前司机的情绪状态；具体为:采用人脸检测网络获取到司机的人脸位置，使用基于OSnet结构训练的人脸情绪分析算法模型，来计算输入人脸的情绪状态，将目标人脸位置的图片，和MTCNN人脸检测网络基于该图片提取到的级联特征，一起作为人脸状态检测网络的输入；OSnet特征提取网络在提取图片特征的同时以MTCNN检测网络的特征为参考，使用双特征共同预测当前司机的情绪状态；其中MTCNN检测网络的特征为检测目标时的特征，其特征关注点有效锁定在人脸区域；基于当前的司机的人脸图片，分析司机是否处于酒驾，毒驾，情绪异常危险驾驶状态，若根据图像判断出司机当前的状态为危险驾驶，则会触发交互模块进行二次确认；
步骤2，通过交互模块与驾驶员进行语音交互，采用基于动态时间规整的语音识别算法，具体为：交互模块发出语音问答后，通过麦克风获取司机回答的音频数据；通过语音处理的双门极限点算法，判断出驾驶员回答的开始和结束时间，截取该开始和结束时间内的音频数据作为司机回答的音频基准数据；使用梅尔倒谱的方式对基准数据进行特征提取，与题库中的答案特征进行相似度判断，若相似度大于阈值，则认为其回答正确，进入语音分析模块，否则回答错误，进入告警模块；
采集驾驶员声音状态，语音系统会随机从语音库中抽取一组简短对话与驾驶员进行交互，触发该模块后，若在规定时间内没有收到驾驶员的语音响应信息，则跳过语音分析模块，直接进行告警，若在规定时间内收到驾驶员的语音响应信息，则进入语音分析模块；
步骤3，通过语音分析模块分析驾驶员的语音信息，判断驾驶员的状态
语音分析模块采用基于深度学习的语音情绪识别系统，先将采集到的语音通过FIR滤波器进行滤波，保留在人声频率范围内的声音信息，然后将滤波后的声音信号转化为宽带频谱图，最后将转化后的宽带频谱图输入训练好的深度卷积神经网络中，提取其中的情绪信息；若提取到的情绪信息在负面状态，则触发告警系统；
步骤4，通过声音提醒手段对驾驶员进行告警，通过网络向运营平台发送告警信息。
2.根据权利要求1所述的一种基于图像及语音识别的司机异常状态检测方法，其特征在于，步骤1人脸检测网络使用改进的MTCNN检测算法，具体改进为:
(1)修改了MTCNN算法内的卷积方式，将原始的卷积层修改为深度卷积层，并在此基础上，使用自研数据集进行重新调整训练；
(2) 在MTCNN检测网络的基础上，增加了MTCNN跟踪网络;将算法当前帧的人脸检测位置扩大A倍后，作为下一帧预测的输入,传给MTCNN跟踪网络,跟踪网络直接根据上一帧目标所在位置，提取ROI区域图片进行人脸细节检测，用目标检测网络进行跟踪。
3.根据权利要求1所述的一种基于图像及语音识别的司机异常状态检测方法，其特征在于，步骤3深度循环卷积神经网络使用FasterRcnn网络为backbone骨架，将每层的参数量减少到原始大小的1/4以提升其速度，网络输入为音频基准数据的频谱图，将声音信号转化为图像信号，然后将图像信号作为输入传给深度学习网络，计算出该段音频所包含的情绪信息。
4.根据权利要求1所述的一种基于图像及语音识别的司机异常状态检测方法，其特征在于，深度循环卷积神经网络在训练时，采用开源的标注好的语音数据库，将数据库中的音频转化为图像信号，使用转化后的数据关联其标注标签的方式，制作出频谱图-情绪标签的情绪数据集，使用该情绪数据集训练得到训练好的深度循环卷积神经网络，即语音情绪识别网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011635033.5A CN112784695B (zh) | 2020-12-31 | 2020-12-31 | 一种基于图像及语音识别的司机异常状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011635033.5A CN112784695B (zh) | 2020-12-31 | 2020-12-31 | 一种基于图像及语音识别的司机异常状态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112784695A CN112784695A (zh) | 2021-05-11 |
| CN112784695B true CN112784695B (zh) | 2024-02-20 |
Family
ID=75754929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011635033.5A Active CN112784695B (zh) | 2020-12-31 | 2020-12-31 | 一种基于图像及语音识别的司机异常状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784695B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469048A (zh) * | 2021-06-30 | 2021-10-01 | 平安科技（深圳）有限公司 | 一种乘员状态确定方法、装置、计算机设备及存储介质 |
| CN113990033A (zh) * | 2021-09-10 | 2022-01-28 | 南京融才交通科技研究院有限公司 | 基于5g车联网的车辆交通事故远程接管救援方法及系统 |
| CN116092267A (zh) * | 2023-01-29 | 2023-05-09 | 浙江吉利控股集团有限公司 | 车辆疲劳驾驶提醒方法、装置、设备及存储介质 |
| CN117115788B (zh) * | 2023-10-19 | 2024-01-02 | 天津所托瑞安汽车科技有限公司 | 车用智能交互方法、后端服务器及前端设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203165150U (zh) * | 2013-03-11 | 2013-08-28 | 沈阳三阳电子标签有限公司 | 疲劳驾驶预警装置 |
| CN109102825A (zh) * | 2018-07-27 | 2018-12-28 | 科大讯飞股份有限公司 | 一种饮酒状态检测方法及装置 |
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN110008879A (zh) * | 2019-03-27 | 2019-07-12 | 深圳市尼欧科技有限公司 | 车载个性化音视频内容推送方法及装置 |
| CN110855934A (zh) * | 2018-08-21 | 2020-02-28 | 北京嘀嘀无限科技发展有限公司 | 疲劳驾驶识别方法、装置、系统、车载终端及服务器 |
| CN110859609A (zh) * | 2019-11-26 | 2020-03-06 | 郑州迈拓信息技术有限公司 | 基于语音分析的多特征融合疲劳驾驶检测方法 |
| CN111329498A (zh) * | 2020-03-09 | 2020-06-26 | 郑州大学 | 多模态的驾驶员情绪辅助调节方法 |
| CN111547063A (zh) * | 2020-05-12 | 2020-08-18 | 武汉艾瓦客机器人有限公司 | 一种疲劳检测的智能车载情感交互装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10298741B2 (en) * | 2013-07-18 | 2019-05-21 | Secure4Drive Communication Ltd. | Method and device for assisting in safe driving of a vehicle |
| US10192171B2 (en) * | 2016-12-16 | 2019-01-29 | Autonomous Fusion, Inc. | Method and system using machine learning to determine an automotive driver's emotional state |
| KR102218526B1 (ko) * | 2019-07-26 | 2021-02-19 | 엘지전자 주식회사 | 졸음 운전을 방지하기 위한 방법, 시스템 및 차량 |
-
2020
- 2020-12-31 CN CN202011635033.5A patent/CN112784695B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203165150U (zh) * | 2013-03-11 | 2013-08-28 | 沈阳三阳电子标签有限公司 | 疲劳驾驶预警装置 |
| CN109102825A (zh) * | 2018-07-27 | 2018-12-28 | 科大讯飞股份有限公司 | 一种饮酒状态检测方法及装置 |
| CN110855934A (zh) * | 2018-08-21 | 2020-02-28 | 北京嘀嘀无限科技发展有限公司 | 疲劳驾驶识别方法、装置、系统、车载终端及服务器 |
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN110008879A (zh) * | 2019-03-27 | 2019-07-12 | 深圳市尼欧科技有限公司 | 车载个性化音视频内容推送方法及装置 |
| CN110859609A (zh) * | 2019-11-26 | 2020-03-06 | 郑州迈拓信息技术有限公司 | 基于语音分析的多特征融合疲劳驾驶检测方法 |
| CN111329498A (zh) * | 2020-03-09 | 2020-06-26 | 郑州大学 | 多模态的驾驶员情绪辅助调节方法 |
| CN111547063A (zh) * | 2020-05-12 | 2020-08-18 | 武汉艾瓦客机器人有限公司 | 一种疲劳检测的智能车载情感交互装置 |
Non-Patent Citations (4)
| Title |
|---|
| Driver Inattention Monitoring System for Intelligent Vehicles: A Review;Yanchao Dong等;IEEE Transactions on Intelligent Transportation Systems;第12卷(第2期);第596-614页 * |
| 有轨电车辅助驾驶系统研究;何杜明等;铁路技术创新(第2期);第103-105页 * |
| 结合图像分割和ResNet18的危险驾驶行为识别;杨维民等;信息通信(第6期);第7-8页 * |
| 驾驶员注意涣散检测技术研究;汪澎等;中国安全科学学报;第20卷(第7期);第82-88页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112784695A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784695B (zh) | 一种基于图像及语音识别的司机异常状态检测方法 | |
| CN111191545B (zh) | 一种驾驶员行为实时监控分析系统及方法 | |
| CN107633684B (zh) | 一种用于无人驾驶车的特种车辆识别方法 | |
| CN108399743B (zh) | 一种基于gps数据的高速公路车辆异常行为检测方法 | |
| CN102393989B (zh) | 司机工作状态实时监测系统 | |
| CN111432179A (zh) | 基于计算机视觉的输煤皮带智能巡检系统及方法 | |
| CN103049740B (zh) | 基于视频图像的疲劳状态检测方法及装置 | |
| CN101639894A (zh) | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 | |
| CN104809887B (zh) | 一种高速公路上车辆逆行检测方法与自动报警装置 | |
| CN110525456B (zh) | 一种列车安全驾驶监测系统及方法 | |
| CN111126171A (zh) | 一种车辆逆行检测方法及系统 | |
| CN110544360A (zh) | 一种列车安全驾驶监测系统及方法 | |
| CN102426757A (zh) | 基于模式识别的安全驾驶监控系统和方法 | |
| CN109867186B (zh) | 一种基于智能视频分析技术的电梯困人检测方法及系统 | |
| CN105608906A (zh) | 高速公路机动车非法占用应急车道的监控系统及实现方法 | |
| CN109146914B (zh) | 一种高速公路基于视频分析的醉酒驾驶行为预警方法 | |
| CN107464416B (zh) | 巴士的半自动驾驶方法及系统 | |
| CN105702049A (zh) | 一种基于dsp的应急车道监控系统及实现方法 | |
| CN109094458A (zh) | 车辆安全驾驶的控制方法及用于车辆安全驾驶的控制装置 | |
| CN112349296A (zh) | 一种基于声音识别的地铁站台安全监测方法 | |
| CN204613977U (zh) | 一种机车乘务员防作弊饮酒检测装置 | |
| CN112660207A (zh) | 一种可穿戴式地铁智能辅助驾驶系统 | |
| CN104834910A (zh) | 机车乘务员防作弊饮酒检测装置和方法 | |
| CN107403541A (zh) | 实时人眼识别监控疲劳驾驶的系统 | |
| CN113689700A (zh) | 一种山区施工便道行车监管方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |