CN109190459A - 一种车主情绪识别及调节方法、存储介质及车载系统 - Google Patents
一种车主情绪识别及调节方法、存储介质及车载系统 Download PDFInfo
- Publication number
- CN109190459A CN109190459A CN201810805123.0A CN201810805123A CN109190459A CN 109190459 A CN109190459 A CN 109190459A CN 201810805123 A CN201810805123 A CN 201810805123A CN 109190459 A CN109190459 A CN 109190459A
- Authority
- CN
- China
- Prior art keywords
- car owner
- data
- mood
- voice
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种车主情绪识别及调节方法、存储介质及车载系统，该方法包括：采集车主的面部数据或/和车辆的行驶数据；根据采集到面部数据或/和车辆的行驶数据对车主的情绪进行识别判定，获得车主的情绪判定结果；根据车主的情绪判定结果，调用响应设备做出响应。现有技术中对车主的情绪识别受车辆的行驶数据单一影响，缺乏准确性，同时缺乏对车主不同情绪的调节机制，本发明解决了现有技术中忽略了对非行驶状态下的车主情绪的识别及反馈，以及现有的情绪识别技术缺乏准确性，仅对单一的面部数据或行驶数据进行识别，并缺乏对车主不同情绪的调节机制的问题。
Description
技术领域
本发明涉及一种汽车技术领域，特别是涉及一种车主情绪识别及调节方法、存储介质及车载系统。
背景技术
现有技术中一般是对车辆行驶过程中的车主情绪进行识别，忽略了对非行驶状态下的车主情绪的识别及反馈，车内空间作为车主的私密空间，车主进入车内空间休息时容易流露车主真实情绪，但现有技术缺乏对非行驶状态下车主情绪的识别并给予回应的机制。
现有的情绪识别技术缺乏准确性，仅对单一的面部数据或行驶数据进行识别，但部分车主情绪并不表现在面部或其驾驶行为，而是在于其声音片段，天气状况等外部环境对车主情绪也存在一定影响，现有技术还缺乏对车主不同情绪的调节机制。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种车主情绪识别、及调节方法及车载系统，用于解决现有技术中对车主的情绪识别缺乏准确性及忽略了对非行驶状态下的车主情绪的识别及调节的问题。
为实现上述目的及其他相关目的，本发明提供一种车主情绪识别及调节方法，所述车主情绪识别及调节方法包括：采集车主的面部数据、语音数据或/和车辆的行驶数据；根据采集到面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，获得车主的情绪判定结果；根据车主的情绪判定结果，调用响应设备做出响应。
于本发明的一实施例中，所述面部数据包括：眼睛闭合度、眉毛弯曲度、嘴巴闭合度、嘴型弯曲方向或/和鼻孔张合度。
于本发明的一实施例中，所述语音数据包括：语音的语义、语音的语调。
于本发明的一实施例中，所述行驶数据包括：驾驶速度、预设时间段内的刹车次数、预设时间段内的超车次数、驾驶环境信息、天气状况信息、驾驶行程信息或/和路况信息。
于本发明的一实施例中，所述采集车主的面部数据、语音数据和驾驶车辆的行驶数据的一种实现过程包括：调用图像采集装置采集车主人脸面部图像，基于人脸识别技术对所述面部图像进行识别获得面部数据，所述面部数据包括：眼睛闭合度、眉毛弯曲度、嘴巴闭合度或/和鼻孔张合度；调用音频采集装置采集车主的声音片段，基于语音识别技术对所述声音片段进行识别获得语音数据，所述语音数据包括：语音的语义、语音的语调；在车辆上布置传感器，采集传感器信息获得的车辆的行驶数据，所述行驶数据包括：预设时间段内的刹车次数、预设时间段内的超车次数、驾驶环境信息、天气状况信息、驾驶行程信息或/和路况信息。
于本发明的一实施例中，所述根据采集到的面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，得出车主的情绪结果的过程包括：
对车主进行疲劳状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第一预设阈值，若达到第一预设阈值，则判定车主处于疲劳状态，并输出该情绪判定结果；否则，则判定面部数据或/和语音数据是否达到第二预设阈值，若达到第二预设阈值，则判定车主处于疲劳状态，并输出该情绪判定结果；
对车主进行愤怒状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第三预设阈值，若达到第三预设阈值，则判定车主处于愤怒状态，并输出该情绪判定结果；否则，则判定面部数据或/和语音数据是否达到第四预设阈值，若达到第四预设阈值，则判定车主处于愤怒状态，并输出该情绪判定结果；或/和
对车主进行情绪低落状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第五预设阈值，若达到第五预设阈值，则判定车主处于情绪低落状态，并输出该情绪判定结果；否则，则判定面部数据或/和语音数据是否达到第六预设阈值，若达到第六预设阈值，则判定车主处于情绪低落状态，并输出该情绪判定结果。
于本发明的一实施例中，所述响应包括：车主处于情绪低落状态时提示播放轻松愉悦的音视频或/和提示与联系频繁的人进行语音通信、视频通信、短信交流；车主处于愤怒状态时，提示播放缓和情绪的音视频或/和提示与联系频繁的人进行语音通信、视频通信、短信交流；车主处于疲劳状态时语音提示注意休息或/和提示播放提神的音乐或/和提示与联系频繁的人进行语音通信、视频通信、短信交流。
为实现上述目的及其他相关目的，本发明提供一种车载系统，所述系统包括：一图像采集装置，采集车主的面部图像；一音频采集装置，采集车主的声音片段；至少一个传感器，采集车辆的行驶数据；至少一个响应设备，对车主情绪作出对应响应；一处理器，所述处理器与图像采集装置、音频采集装置、传感器、响应设备通信相连，识别采集到的面部图像、声音片段，获得面部数据、语音数据，根据获得的部数据、行驶数据数据或/和语音数据对车主的情绪进行识别判定，得出车主的情绪判定结果；根据车主的情绪判定结果，调用响应设备做出响应。
于本发明一实施例中，所述处理器根据采集到的面部数据或/和车辆的行驶数据对车主的情绪进行识别判定，得出车主的情绪判定结果，其中：
所述处理器对车主进行疲劳状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据和行驶数据是否达到第一预设阈值，若达到第一预设阈值，则判定车主处于疲劳状态，并输出该情绪判定结果；否则，则判定面部数据是否达到第二预设阈值，若达到第二预设阈值，则判定车主处于疲劳状态，并输出该情绪判定结果；
所述处理器对车主进行愤怒状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据和行驶数据是否达到第三预设阈值，若达到第三预设阈值，则判定车主处于愤怒状态，并输出该情绪判定结果；否则，则判定面部数据是否达到第四预设阈值，若达到第四预设阈值，则判定车主处于愤怒状态，并输出该情绪判定结果；或/和
所述处理器对车主进行情绪低落状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据和行驶数据是否达到第五预设阈值，若达到第五预设阈值，则判定车主处于情绪低落状态，并输出该情绪判定结果；否则，则判定面部数据是否达到第六预设阈值，若达到第六预设阈值，则判定车主处于情绪低落状态，并输出该情绪判定结果。
为实现上述目的及其他相关目的，本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器调用时执行权利要求所述车主情绪识别及调节方法方法。
如上所述，本发明的车主情绪识别及调节方法、存储介质及车载系统，具有以下有益效果：
本发明解决了现有技术中忽略了对非行驶状态下的车主情绪的识别及反馈，以及现有的情绪识别技术缺乏准确性，仅对单一的面部数据或行驶数据进行识别，并缺乏对车主不同情绪的调节机制的问题。
本发明对行驶状态和非行驶状态下的车主情绪识别进行区分，并针对不同情绪状态的识别采用的数据进行区分，提供更加准确的车主情绪识别方法，还提供了针对车主不同情绪状态的多种调节方法，提供人性化服务，极大地提升了用户体验。
附图说明
图1显示为本发明实施例所述的车主情绪识别及调节方法的一种实现流程示意图。
图2显示为本发明实施例所述的采集车主的面部数据、语音数据和车辆的行驶数据的一种实现流程示意图。
图3A显示为本发明实施例所述的对车主疲劳状态进行识别的一种实现流程示意图。
图3B显示为本发明实施例所述的对车主愤怒状态进行识别的一种实现流程示意图。
图3C显示为本发明实施例所述的对车主情绪低落状态进行识别的一种实现流程示意图。
图4显示为本发明实施例所述的车载系统的一种结构框图示意图。
元件标号说明
400 车载系统
410 图像采集装置
420 音频采集装置
430 传感器
440 响应设备
450 处理器
S101～S103 步骤
S201～S208 步骤
S211～S218 步骤
S221～S228 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种车主情绪识别及调节方法，所述车主情绪识别及调节方法包括：
S101，采集车主的面部数据、语音数据或/和车辆的行驶数据。
S102，根据采集到面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，获得车主的情绪判定结果。
S103，根据车主的情绪判定结果，调用响应设备做出响应。例如，响应设备可为手机音响、手机显示屏、手机中的其他应用车载音响、车载显示屏。
于本发明的一实施例中，所述面部数据包括：眼睛闭合度、眉毛弯曲度、嘴巴闭合度、嘴型弯曲方向或/和鼻孔张合度。
于本发明的一实施例中，所述语音数据包括：语音的语义、语音的语调。进一步，所述语音的语义为语音转换为文字信息后的文字表达、所述语音的语调是语音中的旋律模式，反映语音中除音质特征之外的音高、音长、音强等方面变化的旋律特征。具体的，所述语调包括：升调、降调、升降调、降升调、平调。
于本发明的一实施例中，所述行驶数据包括：驾驶速度、预设时间段内的刹车次数、预设时间段内的超车次数、驾驶环境信息、天气状况信息、驾驶行程信息或/和路况信息。进一步，所述驾驶环境信息包括：白天、黑夜；所述天气状况信息包括：晴天、雨天、阴天、雪天；路况信息包括：路况畅通、路况拥堵、路况颠簸、路况平坦。
请参阅图2，于本发明的一实施例中，步骤S101采集车主的面部数据、语音数据和车辆的行驶数据的一种实现过程包括：
S201，调用图像采集装置采集车主人脸面部图像，基于人脸识别技术对所述面部图像进行识别获得面部数据，所述面部数据包括：眼睛闭合度、眉毛弯曲度、嘴巴闭合度或/和鼻孔张合度。
S202，调用音频采集装置采集车主的声音片段，基于语音识别技术对所述声音片段进行识别获得语音数据，所述语音数据包括：语音的语义、语音的语调。
S203，在车辆上布置传感器，采集传感器信息获得的车辆的行驶数据，所述行驶数据包括：行驶速度、预设时间段内的刹车次数、预设时间段内的超车次数、驾驶环境信息、天气状况信息、驾驶行程信息或/和路况信息。
图3A、3B、3C中分别对车主进行疲劳状态、愤怒状态和情绪低落状态识别，对各情绪状态的识别判定既可同时判定，亦可按顺序依次判定，判定顺序可依据实际需要设置，不限于本发明图3A、3B、3C的顺序。
请参阅图3A，于本发明的一实施例中，步骤S102根据采集到面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，获得车主的情绪判定结果的一种实现过程包括：
S301，对车主进行疲劳状态识别。
S302，判定车辆是否处于行驶状态。
S303，若车辆处于行驶状态，则判定面部数据、行驶数据或/和语音数据是否达到第一预设阈值。具体地，面部数据中眼睛闭合度低于一定预设闭合度、行驶数据中行驶数据低于一定预设速度、行驶数据中驾驶行程达到一定里程数、行驶数据中驾驶环境信息为黑夜或/和语音数据中语音的语义出现“困”、“累”等字样达到第一预设次数时，车主可能处于疲劳状态，则判定面部数据、行驶数据或/和语音数据达到第一预设阈值。
S304，若达到第一预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果。
S305，若未达到第一预设阈值，则结束本次判定。
S306，若车辆未处于行驶状态，则判定面部数据或/和语音数据是否达到第二预设阈值。具体地，面部数据中眼睛闭合度低于一定预设闭合度或/和语音数据中语音的语义出现“困”、“累”等字样达到第二预设次数时，车主可能处于疲劳状态，则判定面部数据、行驶数据或/和语音数据达到第二预设阈值。
S307，若达到第二预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果。
S308，若未达到第二预设阈值，则结束本次判定。
请参阅图3B，于本发明的一实施例中，步骤S102根据采集到面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，获得车主的情绪判定结果的一种实现过程包括：
S311，对车主进行愤怒状态识别。
S312，判定车辆是否处于行驶状态。
S313，若车辆处于行驶状态，则判定面部数据、行驶数据或/和语音数据是否达到第三预设阈值。具体地，面部数据中眼睛闭合度高于第三预设闭合度、面部数据中鼻孔张和度高于第三预设张和度、面部数据中嘴巴张和度高于第三预设张和度、面部数据中嘴型弯曲方向为向下、行驶数据中行驶数据高于第三预设速度、行驶数据中预设时间段内的刹车次数高于第三预设刹车次数、预设时间段内的超车次数高于第三预设超车次数或/和语音数据中语音的语义出现“慢”、“堵”等字样达到第三预设次数、语音数据中语音的语调出现升调次数达到第三预设升调次数时，车主可能处于愤怒状态，则判定面部数据、行驶数据或/和语音数据达到第三预设阈值。
S314，若达到第三预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果。
S315，若未达到第三预设阈值，则结束本次判定。
S316，若车辆未处于行驶状态，则判定面部数据或/和语音数据是否达到第四预设阈值。具体地，面部数据中眼睛闭合度高于第四预设闭合度、面部数据中鼻孔张和度高于第四预设张和度、面部数据中嘴巴张和度高于第四预设张和度、面部数据中嘴型弯曲方向为向下或/和语音数据中语音的语义出现“慢”、“堵”、“烦”等字样达到第四预设次数、语音数据中语音的语调出现升调次数达到第四预设升调次数时，车主可能处于愤怒状态，则判定面部数据、行驶数据或/和语音数据达到第四预设阈值。
S317，若达到第四预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果。
S317，若未达到第四预设阈值，则结束本次判定。
请参阅图3C，于本发明的一实施例中，步骤S102根据采集到面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，获得车主的情绪判定结果的一种实现过程包括：
S321，对车主进行情绪低落状态识别。
S322，判定车辆是否处于行驶状态。
S323，若车辆处于行驶状态，则判定面部数据、行驶数据或/和语音数据是否达到第五预设阈值。具体地，面部数据中眉毛弯曲度达到第五预设弯曲度、面部数据中嘴型弯曲方向为向下、行驶数据中天气状况信息为阴天、雨天或/和语音数据中语音的语义出现“难过”、“伤心”等字样达到第五预设次数、语音数据中语音的语调出现降调次数达到第五预设降调次数时，车主可能处于情绪低落状态，则判定面部数据、行驶数据或/和语音数据达到第五预设阈值。
S324，若达到第五预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果。
S325，若未达到第五预设阈值，则结束本次判定。
S326，若车辆未处于行驶状态，则判定面部数据或/和语音数据是否达到第六预设阈值。具体地，面部数据中眉毛弯曲度达到第六预设弯曲度、面部数据中嘴型弯曲方向为向下或/和语音数据中语音的语义出现“难过”、“伤心”等字样达到第六预设次数、语音数据中语音的语调出现降调次数达到第六预设降调次数时，车主可能处于情绪低落状态，则判定面部数据、行驶数据或/和语音数据达到第六预设阈值。
S326，若达到第六预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果。
S327，若未达到第六预设阈值，则结束本次判定。
于本发明一实施例中，步骤S103所述响应包括：车主处于情绪低落状态时提示播放轻松愉悦的音视频或/和提示与联系频繁的人进行语音通信、视频通信、短信交流；车主处于愤怒状态时，提示播放缓和情绪的音视频或/和提示与联系频繁的人进行语音通信、视频通信、短信交流；车主处于疲劳状态时语音提示注意休息或/和提示播放提神的音乐或/和提示与联系频繁的人进行语音通信、视频通信、短信交流。
本发明所述的车主情绪识别及调节方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种车载系统，所述车载系统可以实现本发明所述的车主情绪识别及调节方法，但本发明所述的车主情绪识别及调节方法的实现装置包括但不限于本实施例列举的车载系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
请参阅图4，为实现上述目的及其他相关目的，本发明提供一种车载系统，所述车载系统400包括：一图像采集装置410，一音频采集装置420，至少一传感器430，至少一响应设备440，一处理器450。
所述图像采集装置410采集车主的面部图像。所述图像采集装置采集车主人脸面部图像，基于人脸识别技术对所述面部图像进行识别获得面部数据，所述面部数据包括：眼睛闭合度、眉毛弯曲度、嘴巴闭合度、嘴型弯曲方向或/和鼻孔张合度。
所述音频采集装置420采集车主的声音片段。所述音频采集装置采集车主的声音片段，基于语音识别技术对所述声音片段进行识别获得语音数据，所述语音数据包括：语音的语义、语音的语调。
所述传感器430采集车辆的行驶数据。所述传感器信息获得的车辆的行驶数据包括：预设时间段内的刹车次数、预设时间段内的超车次数、驾驶环境信息、天气状况信息、驾驶行程信息或/和路况信息。
所述响应设备440对车主情绪作出对应响应。
所述处理器450所述处理器与图像采集装置、音频采集装置、传感器、响应设备通信相连，识别采集到的面部图像、声音片段，获得面部数据、语音数据，根据获得的部数据、行驶数据数据或/和语音数据对车主的情绪进行识别判定，得出车主的情绪判定结果；根据车主的情绪判定结果，调用响应设备做出响应。
于本发明一实施例中，所述处理器根据采集到的面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，得出车主的情绪判定结果，其中：
所述处理器对车主进行疲劳状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第一预设阈值，若达到第一预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第二预设阈值，若达到第二预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果；
所述处理器对车主进行愤怒状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第三预设阈值，若达到第三预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第四预设阈值，若达到第四预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果；或/和
所述处理器对车主进行情绪低落状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第五预设阈值，若达到第五预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第六预设阈值，若达到第六预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果。
本发明实施例还提供一种存储介质，所述存储介质存储有计算机程序；所述计算机程序被处理器调用时执行上述的车主情绪识别及调节方法。
综上所述，本发明的车主情绪识别及调节方法、存储介质及车载系统，具有以下有益效果：
本发明解决了现有技术中忽略了对非行驶状态下的车主情绪的识别及反馈，以及现有的情绪识别技术缺乏准确性，仅对单一的面部数据或行驶数据进行识别，并缺乏对车主不同情绪的调节机制的问题。
本发明对行驶状态和非行驶状态下的车主情绪识别进行区分，并针对不同情绪状态的识别采用的数据进行区分，提供更加准确的车主情绪识别方法，还提供了针对车主不同情绪状态的多种调节方法，提供人性化服务，极大地提升了用户体验。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种车主情绪识别及调节方法，其特征在于，包括：
采集车主的面部数据、语音数据或/和车辆的行驶数据；
根据采集到面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，获得车主的情绪判定结果；
根据车主的情绪判定结果，调用响应设备做出响应。
2.根据权利要求1所述的车主情绪识别及调节方法，其特征在于，所述面部数据包括：眼睛闭合度、眉毛弯曲度、嘴巴闭合度或/和鼻孔张合度。
3.根据权利要求2所述的车主情绪识别及调节方法，其特征在于，所述语音数据包括：语音的语义、语音的语调。
4.根据权利要求3所述的车主情绪识别及调节方法，其特征在于，所述行驶数据包括：驾驶速度、预设时间段内的刹车次数、预设时间段内的超车次数、驾驶环境信息、天气状况信息、驾驶行程信息或/和路况信息。
5.根据权利要求4所述的车主情绪识别及调节方法，其特征在于，所述采集车主的面部数据、语音数据和驾驶车辆的行驶数据的一种实现过程包括：
调用图像采集装置采集车主人脸面部图像，基于人脸识别技术对所述面部图像进行识别获得面部数据，所述面部数据包括：眼睛闭合度、眉毛弯曲度、嘴巴闭合度、嘴型弯曲方向或/和鼻孔张合度；
调用音频采集装置采集车主的声音片段，基于语音识别技术对所述声音片段进行识别获得语音数据，所述语音数据包括：语音的语义、语音的语调；
在车辆上布置传感器，采集传感器信息获得的车辆的行驶数据，所述行驶数据包括：预设时间段内的刹车次数、预设时间段内的超车次数、驾驶环境信息、天气状况信息、驾驶行程信息或/和路况信息。
6.根据权利要求5所述车主情绪识别及调节方法，其特征在于，所述根据采集到的面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，得出车主的情绪结果的过程包括：
对车主进行疲劳状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第一预设阈值，若达到第一预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第二预设阈值，若达到第二预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果；
对车主进行愤怒状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第三预设阈值，若达到第三预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第四预设阈值，若达到第四预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果；或/和
对车主进行情绪低落状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第五预设阈值，若达到第五预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第六预设阈值，若达到第六预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果。
7.根据权利要求1所述的车主情绪识别及调节方法，其特征在于，所述响应包括：
车主处于情绪低落状态时，提示播放轻松愉悦的音视频或/和提示与联系频繁的人进行语音通信、视频通信、短信交流；
车主处于愤怒状态时，提示播放缓和情绪的音视频或/和提示与联系频繁的人进行语音通信、视频通信、短信交流；
车主处于疲劳状态时语音提示注意休息或/和提示播放提神的音乐或/和提示与联系频繁的人进行语音通信、视频通信、短信交流。
8.一种车载系统，其特征在于，所述系统包括：
一图像采集装置，采集车主的面部图像；
一音频采集装置，采集车主的声音片段；
至少一个传感器，采集车辆的行驶数据；
至少一个响应设备，对车主情绪作出对应响应；
一处理器，所述处理器与图像采集装置、音频采集装置、传感器、响应设备通信相连，识别采集到的面部图像、声音片段，获得面部数据、语音数据，根据获得的部数据、行驶数据数据或/和语音数据对车主的情绪进行识别判定，得出车主的情绪判定结果；根据车主的情绪判定结果，调用响应设备做出响应。
9.根据权利要求8所述的车载系统，其特征在于，所述处理器根据采集到的面部数据、语音数据或/和车辆的行驶数据对车主的情绪进行识别判定，得出车主的情绪判定结果，其中：
所述处理器对车主进行疲劳状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第一预设阈值，若达到第一预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第二预设阈值，若达到第二预设阈值，则判定车主处于疲劳状态，输出该情绪判定结果；
所述处理器对车主进行愤怒状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第三预设阈值，若达到第三预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第四预设阈值，若达到第四预设阈值，则判定车主处于愤怒状态，输出该情绪判定结果；
所述处理器对车主进行情绪低落状态识别，判定车辆是否处于行驶状态，若是，则判定面部数据、行驶数据或/和语音数据是否达到第五预设阈值，若达到第五预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果；若不是，则判定面部数据或/和语音数据是否达到第六预设阈值，若达到第六预设阈值，则判定车主处于情绪低落状态，输出该情绪判定结果。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器调用时执行权利要求1至7任一项所述车主情绪识别及调节方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810805123.0A CN109190459A (zh) | 2018-07-20 | 2018-07-20 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810805123.0A CN109190459A (zh) | 2018-07-20 | 2018-07-20 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109190459A true CN109190459A (zh) | 2019-01-11 |
Family
ID=64936945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810805123.0A Pending CN109190459A (zh) | 2018-07-20 | 2018-07-20 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109190459A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008879A (zh) * | 2019-03-27 | 2019-07-12 | 深圳市尼欧科技有限公司 | 车载个性化音视频内容推送方法及装置 |
| CN110001652A (zh) * | 2019-03-26 | 2019-07-12 | 深圳市科思创动科技有限公司 | 驾驶员状态的监测方法、装置及终端设备 |
| CN110264136A (zh) * | 2019-06-13 | 2019-09-20 | 陌享(上海)网络科技有限公司 | 一种用于仓储拣选的智能交互方法及系统 |
| CN110525447A (zh) * | 2019-10-09 | 2019-12-03 | 吉林大学 | 一种防商用车驾驶员路怒的人机共驾系统 |
| CN110751011A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
| CN110826433A (zh) * | 2019-10-23 | 2020-02-21 | 上海能塔智能科技有限公司 | 试驾用户情绪分析数据处理方法、装置、设备与存储介质 |
| CN111797755A (zh) * | 2020-06-30 | 2020-10-20 | 东风汽车有限公司 | 一种汽车乘员情绪识别方法及电子设备 |
| CN111976732A (zh) * | 2019-05-23 | 2020-11-24 | 上海博泰悦臻网络技术服务有限公司 | 基于车主情绪的车辆控制方法、系统及车载终端 |
| CN112078588A (zh) * | 2020-08-11 | 2020-12-15 | 大众问问(北京)信息科技有限公司 | 一种车辆控制方法、装置及电子设备 |
| CN112137630A (zh) * | 2020-09-27 | 2020-12-29 | 广州汽车集团股份有限公司 | 一种驾驶员负面情绪缓解方法及系统 |
| CN112215097A (zh) * | 2020-09-25 | 2021-01-12 | 三一专用汽车有限责任公司 | 车辆驾驶状态的监控方法、车辆和计算机可读存储介质 |
| CN112785837A (zh) * | 2019-11-11 | 2021-05-11 | 上海博泰悦臻电子设备制造有限公司 | 用户驾驶车辆时情绪识别方法及装置、存储介质和终端 |
| CN113012717A (zh) * | 2021-02-22 | 2021-06-22 | 上海埃阿智能科技有限公司 | 一种基于语音识别情绪反馈信息推荐系统及方法 |
| CN114516341A (zh) * | 2022-04-13 | 2022-05-20 | 北京智科车联科技有限公司 | 用户交互方法、系统及车辆 |
| WO2022193465A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳市火乐科技发展有限公司 | 一种展示内容的控制方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140171752A1 (en) * | 2012-12-14 | 2014-06-19 | Electronics And Telecommunications Research Institute | Apparatus and method for controlling emotion of driver |
| CN104548309A (zh) * | 2015-01-05 | 2015-04-29 | 浙江工业大学 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
| CN105303829A (zh) * | 2015-09-11 | 2016-02-03 | 深圳市乐驰互联技术有限公司 | 汽车驾驶员情绪识别方法及装置 |
| CN106649843A (zh) * | 2016-12-30 | 2017-05-10 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的媒体文件推荐方法、系统、及车载终端 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| CN106803423A (zh) * | 2016-12-27 | 2017-06-06 | 智车优行科技（北京）有限公司 | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
| US20180061415A1 (en) * | 2011-04-22 | 2018-03-01 | Emerging Automotive, Llc | Methods and vehicles for capturing emotion of a human driver and moderating vehicle response |
| US20180174457A1 (en) * | 2016-12-16 | 2018-06-21 | Wheego Electric Cars, Inc. | Method and system using machine learning to determine an automotive driver's emotional state |
-
2018
- 2018-07-20 CN CN201810805123.0A patent/CN109190459A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180061415A1 (en) * | 2011-04-22 | 2018-03-01 | Emerging Automotive, Llc | Methods and vehicles for capturing emotion of a human driver and moderating vehicle response |
| US20140171752A1 (en) * | 2012-12-14 | 2014-06-19 | Electronics And Telecommunications Research Institute | Apparatus and method for controlling emotion of driver |
| CN104548309A (zh) * | 2015-01-05 | 2015-04-29 | 浙江工业大学 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
| CN105303829A (zh) * | 2015-09-11 | 2016-02-03 | 深圳市乐驰互联技术有限公司 | 汽车驾驶员情绪识别方法及装置 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| US20180174457A1 (en) * | 2016-12-16 | 2018-06-21 | Wheego Electric Cars, Inc. | Method and system using machine learning to determine an automotive driver's emotional state |
| CN106803423A (zh) * | 2016-12-27 | 2017-06-06 | 智车优行科技（北京）有限公司 | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 |
| CN106649843A (zh) * | 2016-12-30 | 2017-05-10 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的媒体文件推荐方法、系统、及车载终端 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
Non-Patent Citations (1)
| Title |
|---|
| 朱娜: "基于表情和语音的双模态情感识別研究", 《中国优秀博硕士学位论文全文数据库》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110001652B (zh) * | 2019-03-26 | 2020-06-23 | 深圳市科思创动科技有限公司 | 驾驶员状态的监测方法、装置及终端设备 |
| CN110001652A (zh) * | 2019-03-26 | 2019-07-12 | 深圳市科思创动科技有限公司 | 驾驶员状态的监测方法、装置及终端设备 |
| CN110008879A (zh) * | 2019-03-27 | 2019-07-12 | 深圳市尼欧科技有限公司 | 车载个性化音视频内容推送方法及装置 |
| CN111976732A (zh) * | 2019-05-23 | 2020-11-24 | 上海博泰悦臻网络技术服务有限公司 | 基于车主情绪的车辆控制方法、系统及车载终端 |
| CN110751011A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
| CN110264136A (zh) * | 2019-06-13 | 2019-09-20 | 陌享(上海)网络科技有限公司 | 一种用于仓储拣选的智能交互方法及系统 |
| CN110525447A (zh) * | 2019-10-09 | 2019-12-03 | 吉林大学 | 一种防商用车驾驶员路怒的人机共驾系统 |
| CN110826433B (zh) * | 2019-10-23 | 2022-06-03 | 上海能塔智能科技有限公司 | 试驾用户情绪分析数据处理方法、装置、设备与存储介质 |
| CN110826433A (zh) * | 2019-10-23 | 2020-02-21 | 上海能塔智能科技有限公司 | 试驾用户情绪分析数据处理方法、装置、设备与存储介质 |
| CN112785837A (zh) * | 2019-11-11 | 2021-05-11 | 上海博泰悦臻电子设备制造有限公司 | 用户驾驶车辆时情绪识别方法及装置、存储介质和终端 |
| CN111797755A (zh) * | 2020-06-30 | 2020-10-20 | 东风汽车有限公司 | 一种汽车乘员情绪识别方法及电子设备 |
| CN112078588A (zh) * | 2020-08-11 | 2020-12-15 | 大众问问(北京)信息科技有限公司 | 一种车辆控制方法、装置及电子设备 |
| CN112215097A (zh) * | 2020-09-25 | 2021-01-12 | 三一专用汽车有限责任公司 | 车辆驾驶状态的监控方法、车辆和计算机可读存储介质 |
| CN112137630A (zh) * | 2020-09-27 | 2020-12-29 | 广州汽车集团股份有限公司 | 一种驾驶员负面情绪缓解方法及系统 |
| CN113012717A (zh) * | 2021-02-22 | 2021-06-22 | 上海埃阿智能科技有限公司 | 一种基于语音识别情绪反馈信息推荐系统及方法 |
| WO2022193465A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳市火乐科技发展有限公司 | 一种展示内容的控制方法及装置 |
| CN114516341A (zh) * | 2022-04-13 | 2022-05-20 | 北京智科车联科技有限公司 | 用户交互方法、系统及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190459A (zh) | 一种车主情绪识别及调节方法、存储介质及车载系统 | |
| JP6953464B2 (ja) | 情報プッシュ方法及び装置 | |
| CN106803423B (zh) | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 | |
| US20200057487A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
| US10192171B2 (en) | Method and system using machine learning to determine an automotive driver's emotional state | |
| US20190225232A1 (en) | Passenger Experience and Biometric Monitoring in an Autonomous Vehicle | |
| CN108896061A (zh) | 一种基于车载导航系统的人机交互方法及车载导航系统 | |
| US20050192730A1 (en) | Driver safety manager | |
| CN110875940B (zh) | 基于虚拟机器人的应用程序调用方法、装置和设备 | |
| CN111547063A (zh) | 一种疲劳检测的智能车载情感交互装置 | |
| CN110458604A (zh) | 一种网约司机评价方法、装置、设备及存储介质 | |
| CN106200004A (zh) | 提醒方法、智能眼镜及车载系统 | |
| CN108492819A (zh) | 语言练习方法、装置、智能车载终端及存储介质 | |
| WO2021115232A1 (zh) | 到站提醒方法、装置、终端及存储介质 | |
| CN110134821A (zh) | 一种针对行车拥堵的智能车载音频精准推送方法 | |
| EP4042322A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
| CN113723528A (zh) | 车载语视融合多模态交互方法及系统、设备、存储介质 | |
| CN111540222A (zh) | 基于无人车的智能交互方法、装置及无人车 | |
| CN115205729A (zh) | 基于多模态特征融合的行为识别方法、系统 | |
| CN115195637A (zh) | 一种基于多模交互和虚拟现实技术的智能座舱系统 | |
| CN109102825A (zh) | 一种饮酒状态检测方法及装置 | |
| US20220335292A1 (en) | Information processing device, information processing method, and program | |
| CN113320537A (zh) | 一种车辆控制方法和系统 | |
| CN109830116A (zh) | 基于图像识别的信息提示方法、装置及相关设备 | |
| JP7235554B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Ying Zhenkai Inventor before: Ying Yilun |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 201822 No.208, building 4, no.1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai Applicant after: Botai vehicle networking technology (Shanghai) Co.,Ltd. Address before: 201822 No.208, building 4, no.1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai Applicant before: SHANGHAI PATEO ELECTRONIC EQUIPMENT MANUFACTURING Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190111 |