CN112785837A - 用户驾驶车辆时情绪识别方法及装置、存储介质和终端 - Google Patents

用户驾驶车辆时情绪识别方法及装置、存储介质和终端 Download PDF

Info

Publication number
CN112785837A
CN112785837A CN201911094980.5A CN201911094980A CN112785837A CN 112785837 A CN112785837 A CN 112785837A CN 201911094980 A CN201911094980 A CN 201911094980A CN 112785837 A CN112785837 A CN 112785837A
Authority
CN
China
Prior art keywords
user
voice
vehicle
heart rate
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911094980.5A
Other languages
English (en)
Inventor
应臻恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Original Assignee
Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Electronic Equipment Manufacturing Co Ltd filed Critical Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority to CN201911094980.5A priority Critical patent/CN112785837A/zh
Publication of CN112785837A publication Critical patent/CN112785837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

本发明公开了一种用户驾驶车辆时情绪识别方法及装置、存储介质和终端，其中方法包括：实时获取面部表情，将面部表情进行数据化处理提取面部特征数据，基于面部特征数据和面部表情数据库得到面部信息情绪状态；实时获取语音素材，将语音素材进行数据化处理提取语音特征数据，基于语音特征数据和语音表情数据库得到语音信息情绪状态；检测心率将其与预设心率阈值进行对比得到心率信息情绪状态；基于面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态。本发明拓展了驾驶员情绪状态判断的判定参数，提高了情绪状态判断正确率，更有效的减少了用户驾驶过程中因情绪状态不好等主观因素导致的车祸发生。

Description

用户驾驶车辆时情绪识别方法及装置、存储介质和终端
技术领域
本发明涉及车辆驾驶情况识别技术领域，尤其涉及一种用户驾驶车辆时情绪识别方法及装置、存储介质和终端。
背景技术
随着生活水平的提高，汽车逐渐成为我们生活的一部分。汽车的不断增多，加大了道路交通安全的问题。为了加强交通安全，加上通信技术的发展，车辆安全驾驶提醒系统应运而生。
现有的车辆安全驾驶提醒系统主要应用于车载导航系统中，主要根据车辆当前行驶路段状况进行相应车速等安全提醒，并不能对驾驶员的驾驶状态进行检测并提醒，因此很可能会出现疲劳驾驶或在情绪激动的情况下驾驶，进而导致车祸的发生。为了进一步地对驾驶员的驾驶状态进行督促，以尽量避免由驾驶员个人主观原因导致车祸发生的情况发生，现有技术中存在根据用户面部表情或检测车辆两边到物体的距离等参数判断驾驶员的驾驶状态，但现有驾驶员驾驶过程中的驾驶状态的判定参数均比较单一，误报率较高，不容易判断出驾驶员真实的主观情绪状态，进而对驾驶员的不安全驾驶起不到很好的提醒作用。
因此现在市场亟需一种判定参数丰富，误报率较低的用户驾驶车辆时情绪识别方法。
发明内容
本发明所要解决的技术问题是现有驾驶员驾驶状态判断装置的情绪状态判断参数较单一误差率较大，不易判断出驾驶员真实的情绪状态，进而对驾驶员的不安全驾驶起不到很好的提醒作用。
为了解决上述技术问题，本发明提供了一种用户驾驶车辆时情绪识别方法，包括：
实时获取用户驾驶车辆时的面部表情，将所述面部表情进行数据化处理，并提取面部特征数据，将所述面部特征数据和面部表情数据库进行对比，得到面部信息情绪状态；
实时获取用户驾驶车辆时的语音素材，将所述语音素材进行数据化处理，并提取语音特征数据，将所述语音特征数据和语音表情数据库进行对比，得到语音信息情绪状态；
检测用户驾驶车辆时的心率，将所述心率与预设心率阈值进行对比，得到心率信息情绪状态；
基于所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态。
优选地，用户驾驶车辆时情绪识别方法还包括：
根据用户驾驶车辆时的情绪状态对所述用户进行语音提醒和图像提醒
优选地，用户驾驶车辆时情绪识别方法还包括：
接收后台服务器发送的面部表情数据库更新包和声音数据库更新包；
基于所述面部表情数据库更新包对所述面部表情数据库进行数据更新，基于所述声音数据库更新包对所述声音数据库进行数据更新。
优选地，所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别相同；
基于所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态包括：
判断所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别中是否存在两个或三个一致的情况，若存在则用户驾驶车辆时的情绪状态为对应状态类别一致的情绪状态；否则重新对所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别进行判断。
优选地，用户驾驶车辆时的面部表情是通过设置于仪表盘上的红外摄像头进行获取的。
优选地，用户驾驶车辆时的语音素材是通过设置于车机上的声音采集器进行获取的。
优选地，用户驾驶车辆时的心率是通过设置于方向盘上的心率检测器进行检测的。
为了解决上述技术问题，本发明提供了一种用户驾驶车辆时情绪识别装置，其特征在于包括情绪状态判定模块和分别与所述情绪状态判定模块连接的面部表情识别模块、语音识别模块、心率检测模块；
所述面部表情识别模块，用于实时获取用户驾驶车辆时的面部表情，将所述面部表情进行数据化处理，并提取面部特征数据，将所述面部特征数据和面部表情数据库进行对比，得到面部信息情绪状态；
所述语音识别模块，用于实时获取用户驾驶车辆时的语音素材，将所述语音素材进行数据化处理，并提取语音特征数据，将所述语音特征数据和语音表情数据库进行对比，得到语音信息情绪状态；
所述心率检测模块，用于检测用户驾驶车辆时的心率，将所述心率与预设心率阈值进行对比，得到心率信息情绪状态；
情绪状态判定模块，用于基于所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态。
为了解决上述技术问题，本发明提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述用户驾驶车辆时情绪识别方法。
为了解决上述技术问题，本发明提供了一种终端，其特征在于，包括：处理器以及存储器，所述存储器与所述处理器之间通信连接；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述用户驾驶车辆时情绪识别方法。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
应用本发明实施例提供的用户驾驶车辆时情绪识别方法，通过对用户驾驶车辆时的面部表情、语音素材以及心率进行情绪状态判定，再综合面部信息情绪状态、语音信息情绪状态和心率信息情绪状态对用户驾驶车辆的情绪状态进行判断，并基于情绪判断结果对用户进行提醒，拓展了驾驶员情绪状态判断的判定参数，提高了情绪状态判断正确率，更有效的减少了用户驾驶过程中因情绪状态不好等主观因素导致的车祸发生。
本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1示出了本发明实施例一用户驾驶车辆时情绪识别方法的一种流程示意图；
图2示出了本发明实施例一用户驾驶车辆时情绪识别方法的另一种流程示意图；
图3示出了本发明实施例二用户驾驶车辆时情绪识别装置的结构示意图；
图4示出了本发明实施例二用户驾驶车辆时情绪识别装置进行数据库更新时的过程示意图；
图5示出了本发明实施例四终端的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
为了进一步地对驾驶员的驾驶状态进行督促，以尽量避免由驾驶员个人主观原因导致车祸发生的情况发生，现有技术中存在根据用户面部表情或检测车辆两边到物体的距离等参数判断驾驶员的驾驶状态，但现有驾驶员驾驶过程中的驾驶状态的判定参数均比较单一，误报率较高，不容易判断出驾驶员真实的主观情绪状态，进而对驾驶员的不安全驾驶起不到很好的提醒作用。
实施例一
为解决现有技术中，本发明实施例提供了一种用户驾驶车辆时情绪识别方法。
图1示出了本发明实施例一用户驾驶车辆时情绪识别方法的流程示意图；参考图1所示，本发明实施例用户驾驶车辆时情绪识别方法，包括如下步骤。
步骤S101，实时获取用户驾驶车辆时的面部表情，将面部表情进行数据化处理，并提取面部特征数据，将面部特征数据和面部表情数据库进行对比，得到面部信息情绪状态。
具体地，用户驾驶汽车时的面部表情是通过安装于车辆仪表盘上的红外摄像头进行实时获取并传送的，进一步当用户启动车辆后红外摄像头便开始以固定频率对用户的面部表情进行获取并传送。获取到用户的面部表情后将面部表情进行数据化处理得到面部表情数据，而后在面部表情数据中提取面部特征数据，将面部特征数据和面部表情数据库进行对比，从面部表情数据库中找出与该面部特征数据对应代表的情绪状态，作为用户驾驶车辆时的面部信息情绪状态。优选地，面部信息情绪状态类别包括开心、生气、平稳、激动和愤怒。
步骤S102，实时获取用户驾驶车辆时的语音素材，将语音素材进行数据化处理，并提取语音特征数据，将语音特征数据和语音表情数据库进行对比，得到语音信息情绪状态。
具体地，用户驾驶汽车时的语音素材是通过设置于车机上的声音采集器进行实时获取并传送的，采集的语音素材例如有在打电话时的语音素材或在与人交谈时的语音素材。获取到语音素材后将语音素材进行数据化处理得到语音数据，而后在语音数据中提取语音特征数据将语音特征数据和语音表情数据库进行对比，从语音表情数据库中找出与该语音特征数据对应代表的情绪状态，作为用户驾驶车辆时的语音信息情绪状态。优选地，语音信息情绪状态类别也包括开心、生气、平稳、激动和愤怒。
需要说明的是，由于用户在驾驶过程中不是一直处于发声状态，因此有时声音采集器是采集不到用户的语音素材的，此时用户驾驶车辆时情绪仅能通过面部信息情绪状态和心率信息情绪状态进行识别。
步骤S103，检测用户驾驶车辆时的心率，将心率与预设心率阈值进行对比，得到心率信息情绪状态。
具体地，用户驾驶车辆时的心率是通过设置于方向盘上的心率检测器进行实时检测并传送的；具体心率检测器通过对驾驶员的手进行监测获取用户的心率。获取到用户驾驶车辆时的心率后，将心率与预设心率阈值进行对比，判断获取的用户心率落在哪个情绪状态的数据区间内，进而得到用户驾驶车辆时的心率信息情绪状态。优选地，心率信息情绪状态类别也包括开心、生气、平稳、激动和愤怒，不同的心率信息情绪状态类别存在不同的预设心率阈值范围。
需要说明的是，心率信息情绪状态类别的预设心率阈值范围可存在重叠区域，若用户驾驶车辆时的心率位于两个心率信息情绪状态类别的预设心率阈值范围重叠区域，则可认为用户驾驶车辆时的心率信息情绪状态为两种状态，且这两种状态为或的关系。
步骤S104，基于面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态。
具体地，由于面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别相同，因此检测获取处理后得到的面部信息情绪状态、语音信息情绪状态和心率信息情绪状态中的两个或三个可能存在相同的情况。为了是本发明用户驾驶车辆时情绪识别方法达到判定参数均丰富，误报率低的目的，本发明用户驾驶车辆时情绪识别方法在用户驾驶车辆时的情绪状态的判断过程中，以面部信息情绪状态、语音信息情绪状态和心率信息情绪状态中出现较高频率高的情绪状态为基准，即判断面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别中是否存在两个或三个一致的情况，若存在则用户驾驶车辆时的情绪状态为对应状态类别一致的情绪状态；否则重新对面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别进行判断。
除了上述步骤，本发明用户驾驶车辆时情绪识别方法还可包括其他步骤。图2示出了本发明实施例一用户驾驶车辆时情绪识别方法的另一种流程示意图；参考图2所示，本发明用户驾驶车辆时情绪识别方法还包括如下步骤。
步骤S105，根据用户驾驶车辆时的情绪状态对用户进行语音提醒和图像提醒。
具体地，根据用户驾驶车辆时不同的情绪状态可进行不同的语音提醒和图像提醒。进一步地，当用户驾驶车辆时的情绪状态的为激动或愤怒时，可设置语音提醒为：注意驾驶安全切勿情绪激动；同时车机显示屏可放可爱动物或动画的图像以对用户进行安抚。当用户驾驶车辆时的情绪状态的为开心或生气时，可设置语音提醒为：注意驾驶安全，不要有小情绪哦同时车机显示屏耶可放可爱动物或动画的图像以对用户进行安抚。当用户驾驶车辆时的情绪状态的为平稳时，可设置语音提醒为：注意驾驶安全，不要打瞌睡哦；同时车机显示屏可放调皮活泼动物或动画的图像以使得用户在驾驶车辆过程中不至于太乏味。
步骤S106，接收后台服务器发送的面部表情数据库更新包和声音数据库更新包；并基于面部表情数据库更新包对面部表情数据库进行数据更新，基于声音数据库更新包对声音数据库进行数据更新。
具体地，本发明中的面部表情数据库和声音数据库均设置为可更新的数据库，可过段时间就对面部表情数据库和声音数据库进行更新，刷新数据库中的特征数据对应的情绪状态，使得可更好的对用户驾驶车辆时的情绪状态进行识别。数据库更新过程为：对后台服务器发送的面部表情数据库更新包和声音数据库更新包进行接收，并根据接收的面部表情数据库更新包对面部表情数据库进行数据更新，根据声音数据库更新包对声音数据库进行数据更新。
应用本发明实施例提供的用户驾驶车辆时情绪识别方法，通过对用户驾驶车辆时的面部表情、语音素材以及心率进行情绪状态判定，再综合面部信息情绪状态、语音信息情绪状态和心率信息情绪状态对用户驾驶车辆的情绪状态进行判断，并基于情绪判断结果对用户进行提醒，拓展了驾驶员情绪状态判断的判定参数，提高了情绪状态判断正确率，更有效的减少了用户驾驶过程中因情绪状态不好等主观因素导致的车祸发生。
实施例二
为解决现有技术中存在的技术问题，本发明实施例还提供了一种用户驾驶车辆时情绪识别装置。
图3示出了本发明实施例二用户驾驶车辆时情绪识别装置的结构示意图；图4示出了本发明实施例二用户驾驶车辆时情绪识别装置进行数据库更新时的过程示意图；参考图3和图4所示，本发明用户驾驶车辆时情绪识别装置包括情绪状态判定模块和分别与情绪状态判定模块连接的面部表情识别模块、语音识别模块、心率检测模块。
面部表情识别模块用于实时获取用户驾驶车辆时的面部表情，将面部表情进行数据化处理，并提取面部特征数据，将面部特征数据和面部表情数据库进行对比，得到面部信息情绪状态；
语音识别模块用于实时获取用户驾驶车辆时的语音素材，将语音素材进行数据化处理，并提取语音特征数据，将语音特征数据和语音表情数据库进行对比，得到语音信息情绪状态；
心率检测模块用于检测用户驾驶车辆时的心率，将心率与预设心率阈值进行对比，得到心率信息情绪状态；
情绪状态判定模块用于基于面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态。
应用本发明实施例提供的用户驾驶车辆时情绪识别装置，通过对用户驾驶车辆时的面部表情、语音素材以及心率进行情绪状态判定，再综合面部信息情绪状态、语音信息情绪状态和心率信息情绪状态对用户驾驶车辆的情绪状态进行判断，并基于情绪判断结果对用户进行提醒，拓展了驾驶员情绪状态判断的判定参数，提高了情绪状态判断正确率，更有效的减少了用户驾驶过程中因情绪状态不好等主观因素导致的车祸发生。
实施例三
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种存储介质，其存储有计算机程序，该计算机程序被处理器执行时可实现实施例一中用户驾驶车辆时情绪识别方法中的所有步骤。
用户驾驶车辆时情绪识别方法的具体步骤以及应用本发明实施例提供的可读存储介质获取的有益效果均与实施例一相同，在此不在对其进行赘述。
需要说明的是：存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例四
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种终端。
图5示出了本发明实施例四终端结构示意图，参照图5，本实施例终端包括相互连接的处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行时可实现实施例一中用户驾驶车辆时情绪识别方法中的所有步骤。
用户驾驶车辆时情绪识别方法的具体步骤以及应用本发明实施例提供的终端获取的有益效果均与实施例一相同，在此不在对其进行赘述。
需要说明的是，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。同理处理器也可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用户驾驶车辆时情绪识别方法，包括：
实时获取用户驾驶车辆时的面部表情，将所述面部表情进行数据化处理，并提取面部特征数据，将所述面部特征数据和面部表情数据库进行对比，得到面部信息情绪状态；
实时获取用户驾驶车辆时的语音素材，将所述语音素材进行数据化处理，并提取语音特征数据，将所述语音特征数据和语音表情数据库进行对比，得到语音信息情绪状态；
检测用户驾驶车辆时的心率，将所述心率与预设心率阈值进行对比，得到心率信息情绪状态；
基于所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态。
2.根据权利要求1所述的识别方法，其特征在于，还包括：
根据用户驾驶车辆时的情绪状态对所述用户进行语音提醒和图像提醒。
3.根据权利要求2所述的识别方法，其特征在于，还包括：
接收后台服务器发送的面部表情数据库更新包和声音数据库更新包；
基于所述面部表情数据库更新包对所述面部表情数据库进行数据更新，基于所述声音数据库更新包对所述声音数据库进行数据更新。
4.根据权利要求1所述的识别方法，其特征在于，所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别相同；
基于所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态包括：
判断所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别中是否存在两个或三个一致的情况，若存在则用户驾驶车辆时的情绪状态为对应状态类别一致的情绪状态；否则重新对所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态的状态类别进行判断。
5.根据权利要求1所述的识别方法，其特征在于，用户驾驶车辆时的面部表情是通过设置于仪表盘上的红外摄像头进行获取并传送的。
6.根据权利要求1所述的识别方法，其特征在于，用户驾驶车辆时的语音素材是通过设置于车机上的声音采集器进行获取并传送的。
7.根据权利要求1所述的识别方法，其特征在于，用户驾驶车辆时的心率是通过设置于方向盘上的心率检测器进行检测并传送的。
8.一种用户驾驶车辆时情绪识别装置，其特征在于，包括情绪状态判定模块和分别与所述情绪状态判定模块连接的面部表情识别模块、语音识别模块、心率检测模块；
所述面部表情识别模块，用于实时获取用户驾驶车辆时的面部表情，将所述面部表情进行数据化处理，并提取面部特征数据，将所述面部特征数据和面部表情数据库进行对比，得到面部信息情绪状态；
所述语音识别模块，用于实时获取用户驾驶车辆时的语音素材，将所述语音素材进行数据化处理，并提取语音特征数据，将所述语音特征数据和语音表情数据库进行对比，得到语音信息情绪状态；
所述心率检测模块，用于检测用户驾驶车辆时的心率，将所述心率与预设心率阈值进行对比，得到心率信息情绪状态；
情绪状态判定模块，用于基于所述面部信息情绪状态、语音信息情绪状态和心率信息情绪状态判断用户驾驶车辆时的情绪状态。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述用户驾驶车辆时情绪识别方法。
10.一种终端，其特征在于，包括：处理器以及存储器，所述存储器与所述处理器之间通信连接；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述用户驾驶车辆时情绪识别方法。
CN201911094980.5A 2019-11-11 2019-11-11 用户驾驶车辆时情绪识别方法及装置、存储介质和终端 Pending CN112785837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911094980.5A CN112785837A (zh) 2019-11-11 2019-11-11 用户驾驶车辆时情绪识别方法及装置、存储介质和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911094980.5A CN112785837A (zh) 2019-11-11 2019-11-11 用户驾驶车辆时情绪识别方法及装置、存储介质和终端

Publications (1)

Publication Number Publication Date
CN112785837A true CN112785837A (zh) 2021-05-11

Family

ID=75749679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911094980.5A Pending CN112785837A (zh) 2019-11-11 2019-11-11 用户驾驶车辆时情绪识别方法及装置、存储介质和终端

Country Status (1)

Country Link
CN (1) CN112785837A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113241096A (zh) * 2021-07-09 2021-08-10 明品云(北京)数据科技有限公司 一种情绪监测装置及方法
CN113397544A (zh) * 2021-06-08 2021-09-17 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) 一种病患情绪监测方法及系统
CN113771859A (zh) * 2021-08-31 2021-12-10 智新控制系统有限公司 智能行车干预方法、装置、设备及计算机可读存储介质
CN114132328A (zh) * 2021-12-10 2022-03-04 智己汽车科技有限公司 一种自动调节驾乘环境的辅助驾驶系统及方法、存储介质
CN114475620A (zh) * 2022-01-26 2022-05-13 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN114475488A (zh) * 2022-02-25 2022-05-13 阿维塔科技(重庆)有限公司 车辆情景调节方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100062145A (ko) * 2008-12-01 2010-06-10 한국전자통신연구원 차량 운전자의 감성 조절 시스템 및 방법
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置
CN109190459A (zh) * 2018-07-20 2019-01-11 上海博泰悦臻电子设备制造有限公司 一种车主情绪识别及调节方法、存储介质及车载系统
CN110239555A (zh) * 2019-05-08 2019-09-17 浙江吉利控股集团有限公司 一种辅助车辆安全操作的装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100062145A (ko) * 2008-12-01 2010-06-10 한국전자통신연구원 차량 운전자의 감성 조절 시스템 및 방법
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置
CN109190459A (zh) * 2018-07-20 2019-01-11 上海博泰悦臻电子设备制造有限公司 一种车主情绪识别及调节方法、存储介质及车载系统
CN110239555A (zh) * 2019-05-08 2019-09-17 浙江吉利控股集团有限公司 一种辅助车辆安全操作的装置及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397544A (zh) * 2021-06-08 2021-09-17 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) 一种病患情绪监测方法及系统
CN113241096A (zh) * 2021-07-09 2021-08-10 明品云(北京)数据科技有限公司 一种情绪监测装置及方法
CN113771859A (zh) * 2021-08-31 2021-12-10 智新控制系统有限公司 智能行车干预方法、装置、设备及计算机可读存储介质
CN113771859B (zh) * 2021-08-31 2024-01-26 智新控制系统有限公司 智能行车干预方法、装置、设备及计算机可读存储介质
CN114132328A (zh) * 2021-12-10 2022-03-04 智己汽车科技有限公司 一种自动调节驾乘环境的辅助驾驶系统及方法、存储介质
CN114475620A (zh) * 2022-01-26 2022-05-13 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN114475620B (zh) * 2022-01-26 2024-03-12 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN114475488A (zh) * 2022-02-25 2022-05-13 阿维塔科技(重庆)有限公司 车辆情景调节方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112785837A (zh) 用户驾驶车辆时情绪识别方法及装置、存储介质和终端
US11375338B2 (en) Method for smartphone-based accident detection
CN108122556B (zh) 减少驾驶人语音唤醒指令词误触发的方法及装置
CN108629282B (zh) 一种吸烟检测方法、存储介质及计算机
US10446150B2 (en) In-vehicle voice command recognition method and apparatus, and storage medium
Jafarnejad et al. Towards a real-time driver identification mechanism based on driving sensing data
CN110575163B (zh) 一种检测驾驶员分心的方法及装置
Sathyanarayana et al. Information fusion for robust ‘context and driver aware’active vehicle safety systems
US11609565B2 (en) Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine
CN112071309B (zh) 网约车安全监测装置及系统
CN110276944A (zh) 基于车载机器人的代驾呼叫方法、计算机装置及计算机可读存储介质
CN112086098B (zh) 一种驾乘人员分析方法、装置及计算机可读存储介质
CN113401129B (zh) 信息处理装置、记录介质以及信息处理方法
CN108616814A (zh) 地图形成方法、使用方法、装置、终端及存储介质
CN105383497B (zh) 车载系统
WO2016165403A1 (zh) 一种交通辅助方法及系统
CN115782911B (zh) 行车场景中对方向盘脱手事件的数据处理方法及相关装置
CN112773349A (zh) 用户驾驶车辆情绪日志构建方法及装置、存储介质和终端
CN111340160A (zh) 一种汽车配件监控方法及系统
CN112528919A (zh) 一种疲劳驾驶检测方法及装置、计算机可读介质
JP7223275B2 (ja) 学習方法、運転支援方法、学習プログラム、運転支援プログラム、学習装置、運転支援システム及び学習システム
CN112102854A (zh) 一种录音过滤方法、装置及计算机可读存储介质
CN109977753B (zh) 一种预警方法及车辆
US11780458B1 (en) Automatic car side-view and rear-view mirrors adjustment and drowsy driver detection system
CN115206344A (zh) 感冒检测系统、设备、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201822 No.208, building 4, no.1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai

Applicant after: Botai vehicle networking technology (Shanghai) Co.,Ltd.

Address before: 201822 No.208, building 4, no.1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai

Applicant before: SHANGHAI PATEO ELECTRONIC EQUIPMENT MANUFACTURING Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210511