CN114084144A - 用于结合驾驶环境确定驾驶员情绪的方法和系统 - Google Patents
用于结合驾驶环境确定驾驶员情绪的方法和系统 Download PDFInfo
- Publication number
- CN114084144A CN114084144A CN202011381279.4A CN202011381279A CN114084144A CN 114084144 A CN114084144 A CN 114084144A CN 202011381279 A CN202011381279 A CN 202011381279A CN 114084144 A CN114084144 A CN 114084144A
- Authority
- CN
- China
- Prior art keywords
- emotion
- driver
- driving environment
- basic
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000036651 mood Effects 0.000 title claims abstract description 21
- 230000008451 emotion Effects 0.000 claims abstract description 266
- 230000008909 emotion recognition Effects 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 10
- 230000003213 activating effect Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 208000019901 Anxiety disease Diseases 0.000 description 7
- 230000036506 anxiety Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/107—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/089—Driver voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0026—Lookup tables or parameter maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种结合驾驶环境确定驾驶员情绪的方法包括:确定驾驶员的基本情绪;获取驾驶环境信息;基于驾驶环境信息和基本情绪确定驾驶员情绪;以及提供显示驾驶员情绪的服务或基于驾驶员情绪的服务。
Description
技术领域
本发明涉及一种用于结合驾驶环境确定驾驶员情绪的方法和系统。
背景技术
全球生活范式带来了作为人类的帮手以提高生活质量的专业技术的出现。特别地,需要车辆技术来确保现代生活中必需的、各种车辆中的安全和便利的驾驶环境,但迄今为止,仍然需要创新车辆技术,为基于情绪识别的、情绪和安全驾驶功能提供新概念。
传统的驾驶员情绪分类系统,使用关于驾驶员情绪状态的信息和其它信息来提供适合于驾驶员的服务,使用关于驾驶环境的信息和关于驾驶员情绪的信息来识别驾驶员的技术水平,并且基于识别的技术来改变车辆控制装置的设置值。
相反,需要一种技术作为用于更准确地识别驾驶员情绪状态的技术,该技术使用关于初级分类的驾驶员情绪的信息和关于情绪变化时车辆的驾驶环境的信息来详细分类驾驶员情绪。
发明内容
因此,本发明旨在一种用于结合驾驶环境确定驾驶员情绪的方法和系统,用于使用驾驶员情绪信息以及车辆在情绪变化时的驾驶环境信息对驾驶员情绪进行详细分类。
通过实施方式解决的技术问题不限于以上技术问题,并且通过下述描述本文中未描述的其他技术问题对于本领域技术人员将变得显而易见。
为了实现这些目的和其它优点,并且根据本发明的目的,如本文所体现和广泛描述的,一种结合驾驶环境确定驾驶员情绪的方法包括以下步骤:确定驾驶员的基本情绪;获取驾驶环境信息;基于驾驶环境信息和基本情绪确定驾驶员情绪;以及提供显示驾驶员情绪的服务或基于驾驶员情绪的服务。
在一些实施方式中,驾驶环境信息可以包括:车辆速度、加速度、全球定位系统(GPS)信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
在一些实施方式中,确定驾驶员情绪的步骤可以包括:同时接收实时生成的基本情绪和驾驶环境信息,并且识别是否出现驾驶员情绪;以及根据预设的匹配表将基本情绪与驾驶环境信息匹配,并且确定是否出现预设的驾驶员情绪。
在一些实施方式中,该方法还可以包括:确定基本情绪的积极水平和消极水平。
在一些实施方式中,确定驾驶员情绪的步骤可以包括:当基本情绪是积极情绪时,确定基本情绪是驾驶员行驶时的情绪;以及当基本情绪为消极情绪时,基于消极情绪和驾驶环境信息将基本情绪分类为细分的消极情绪。
在一些实施方式中,该方法还可以包括:检测驾驶环境事件;并且当检测到的驾驶环境事件指示与情绪相关的事件时,激活基本情绪识别系统。
在一些实施方式中,该方法还可以包括,在激活基本情绪识别系统之后,确定在阈值时间内是否出现基本情绪。
在一些实施方式中,该方法还可以包括:当在阈值时间内没有出现基本情绪时,停用基本情绪识别系统;以及当在阈值时间内出现基本情绪时,基于驾驶环境信息和基本情绪确定驾驶员情绪。
在一些实施方式中,当检测到驾驶环境事件时,激活基本情绪识别系统的步骤可以包括:将驾驶环境事件的类型分类为引起情绪变化的事件和需要时间引起情绪变化的事件,并且改变激活情绪识别系统的时间。
附图说明
包含附图以提供对本发明进一步的理解,并且附图并入并构成本申请的一部分,附图示出了本发明的实施方式,并且与描述一起用于解释本发明的原理。在附图中:
图1是根据本发明实施方式的、用于结合驾驶环境确定驾驶员情绪的系统的框图;
图2是示出根据本发明实施方式的、驾驶员情绪的情绪分类和提取的结果的图;
图3是示出根据本发明第一实施方式的、对应于驾驶员情绪的车辆服务和车辆控制的图;
图4是示出根据本发明第一实施方式的、基于驾驶员情绪的服务的图;
图5是示出根据本发明第一实施方式的、结合驾驶环境确定驾驶员情绪的方法的图;
图6是示出根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图;以及
图7是用于说明根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
具体实施方式
现在将详细参照本发明的示例性实施方式,在附图中示出所述实施方式的示例。为了便于描述,在此使用元件的后缀“模块”和“单元”,因此可以互换使用并且不具有任何可区分的含义或功能。
在示例性实施方式的描述中,应理解的是,当元件被称为在另一元件“上”或“下”以及“前”或“后”时,该元件可以直接在另一元件上,或者可以存在中间元件。
应理解的是,虽然在此处可能使用术语第一、第二、A、B、(a)、(b)等以描述本发明的各个元件,但是这些术语仅用于区分一个元件与另一元件,并且相应元件的基本顺序或次序不受这些术语的限制。应理解的是,当一个元件被称为“连结至”、“联接至”或“接入至”另一元件时,该元件可以经由进一步的元件“连结至”、“联接至”或“接入至”另一个元件,或者该元件可以直接连接至或直接接入至另一元件。
除非另外指出,否则此处描述的术语“包含”,“包括”和“具有”不应解释为排除其他元件,而是还包括这样的其他元件。除非另外提及,否则包括技术或科学术语的所有术语具有与具有本发明所属领域的普通技术的人员通常理解的含义相同的含义。从上下文出发,诸如词典中定义的通用术语应解释为与现有技术的含义一致。除非在本发明中不同地定义,否则不应以理想的或过度形式的方式解释这些术语。
图1是根据本发明实施方式的、用于结合驾驶环境确定驾驶员情绪的系统的框图。
参照图1,用于结合驾驶环境确定驾驶员情绪的系统可以包括:摄像机10、基本情绪识别系统20、驾驶环境信息获取器30,以及驾驶员情绪分类系统40。
包括图像传感器的摄像机10可以设置在车辆中并且可以获取驾驶员的面部的图像。
基本情绪识别系统20可以包括预处理模块、特征提取模块,以及情绪分类模块。
预处理模块可以对通过摄像机10获取的原始数据进行预处理,来校正图像质量并且可以去除噪声。
特征提取模块可以从输入图像检测诸如情绪或运动的特征点。
可以使用以下方法执行特征提取:通过对整个面部图像中的像素值的强度进行建模或表达来检测特征的整体方法、通过搜索面部中的特征的几何布置和位置来检测特征的几何逼近方法、以及通过组合整体方法和几何逼近方法而形成的主动外观模型(AAM,active appearance model)。
情绪分类模块可以基于检测到的特征的模式的分类,来对给定图像的状态分类。
情绪分类模块可以使用以下方法来对情绪分类:使用预定义条件概率的贝叶斯网络、K近邻算法、人工神经网络等。
基本情绪识别系统20可以在多个阶段中重复地对通过后处理分类的图像的模式分类,并且可以输出最终选择的结果作为确定结果。
驾驶员情绪分类系统40可以使用驾驶信息和识别基本情绪的结果,来对驾驶员的基本情绪分类。以下将参照图2至图4详细描述驾驶员情绪分类系统40。
驾驶环境信息获取器30可以包括:配置为确定车辆速度的传感器、配置为确定车辆加速度的传感器(例如,惯性传感器)、配置为获得车辆的GPS信息的全球定位系统(GPS)、配置为获得乘客乘坐信息的传感器、配置为获得语音话语信息的具有语音识别的麦克风、或者配置为接收由驾驶员或乘客输入的操纵信息的用户接口。在这点上,驾驶环境信息可以包括车辆速度、加速度、全球定位系统(GPS)信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
图2是示出根据本发明实施方式的、驾驶员情绪的情绪分类和提取的结果的图。
参照图2,第一实验数据至第三实验数据210、220和230可以是示出通过提取实际驾驶期间驾驶员情绪而获得的实验结果的实验数据。用于结合驾驶环境确定驾驶员情绪的系统,可以在车辆行驶预设时间时使用摄像机10和基本情绪识别系统20检测基本情绪,并且可以使用检测到的基本情绪和驾驶环境信息来导出驾驶员情绪。
参照第一实验数据210,当检测到多次出现惊讶的基本情绪时,驾驶员情绪分类系统40可以基于驾驶环境信息将惊讶的情绪细分为三种类型的驾驶员情绪,并且可以基于此确定驾驶员情绪。因此,当驾驶环境信息对应于狭窄街道的状态时,驾驶员情绪分类系统40可以将驾驶员情绪确定为专注。
参照第二实验数据220,当检测到喜悦的基本情绪时,驾驶员情绪分类系统40可以基于驾驶环境信息细分喜悦的情绪,并且可以确定驾驶员情绪。因此,当驾驶环境信息对应于收听无线电时,驾驶员情绪分类系统40可以将驾驶员情绪确定为兴奋。
参照第三实验数据230,当检测到蔑视的基本情绪时,驾驶员情绪分类系统40可以基于驾驶环境信息细分蔑视的情绪,并且可以确定驾驶员情绪。因此,当驾驶环境信息对应于重复操作空调装置时,驾驶员情绪分类系统40可以将驾驶员情绪确定为不满。
图3是示出根据本发明第一实施方式的、对应于驾驶员情绪的车辆服务和车辆控制的图。
参照图3,驾驶员情绪分类系统40可以预先配置与特定基本情绪相匹配的特定驾驶环境事件。即,驾驶员情绪分类系统40可以根据配置,来预设形成为特定基本情绪与特定驾驶环境之间的交集的详细情绪。
当基本情绪是蔑视时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以执行引导至旁路。
然而,当基本情绪是愤怒时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
当基本情绪是惊讶时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
当基本情绪是喜悦时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
当基本情绪是蔑视时,如果驾驶环境信息不对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
根据配置的匹配表,驾驶员情绪分类系统40可以确定仅当基本情绪和驾驶环境事件这两者均出现时才出现特定的“驾驶员情绪”。在这种情况下,驾驶员情绪分类系统40可以同时接收实时出现的“基本情绪”和“驾驶环境信息”,并且可以识别是否出现驾驶员情绪。
图4是示出根据本发明第一实施方式的、基于驾驶员情绪的服务的图。
参照图4,驾驶员情绪分类系统40可以基于来自基本情绪识别系统20的基本情绪信息310和从驾驶环境信息获取器30实时获取的驾驶环境信息320对驾驶员情绪330进行分类。
驾驶员在行驶时经常经历惊讶的基本情绪,因此需要设计驾驶员情绪识别系统以细分惊讶的情绪,并且重要的是为了驾驶员的安全而识别驾驶员的消极情绪,因此需要设计系统以便细分消极情绪(惊讶、蔑视、愤怒或厌恶)。
当基本情绪是喜悦时,如果驾驶环境信息对应于与乘客交谈,则驾驶员情绪分类系统40可以将驾驶员情绪确定为兴致。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制来执行降低声音并且消除噪声。
当基本情绪是喜悦时,如果驾驶环境信息对应于收听媒体,则驾驶员情绪分类系统40可以将驾驶员情绪确定为兴奋。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制来推荐后续内容。
当基本情绪是惊讶时,如果驾驶环境信息指示在狭窄街道上行驶,则驾驶员情绪分类系统40可以将驾驶员情绪确定为专注。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制提供AVM图像。
当基本情绪是惊讶时,如果驾驶环境信息指示接近目的地并且搜索停车位,则驾驶员情绪分类系统40可以将驾驶员情绪确定为疑惑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制提供关于附近停车场的信息。
当基本情绪是蔑视时,如果驾驶环境信息指示交通拥堵,则驾驶员情绪分类系统40可以将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制来执行引导到旁路。
当基本情绪是愤怒时,如果驾驶环境信息指示其他车辆的攻击性驾驶,则驾驶员情绪分类系统40可以将驾驶员情绪确定为受到威胁。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制将图像存储在黑盒中。
当基本情绪是厌恶时,如果驾驶环境信息指示长期驾驶和巡航,则驾驶员情绪分类系统40可以将驾驶员情绪确定为无聊。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制推荐音乐并且执行引导至休息区。
图5是示出根据本发明第一实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
参照图5,用于结合驾驶环境确定驾驶员情绪的系统可以基于通过摄像机10输入的驾驶员的图像来识别基本情绪(S510)。
在操作S510之后,驾驶员情绪分类系统40可以确定基本情绪的积极水平和消极水平(S520)。
在操作S520之后,当基本情绪被确定为积极情绪时(S530),驾驶员情绪分类系统40可以输出确定的基本情绪作为驾驶员行驶时的情绪(S540)。因此,当基本情绪是积极情绪时,驾驶员情绪分类系统40可以将权重应用于基本情绪,并且可以对驾驶员情绪分类。
在操作S540之后,用于结合驾驶环境确定驾驶员情绪的系统可以提供用于显示驾驶员情绪的服务或基于驾驶员情绪的服务(S570)。
在操作S520之后,当确定基本情绪是消极情绪时(S550),驾驶员情绪分类系统40可以基于驾驶环境信息输出驾驶员情绪(S560)。因此,当基本情绪是消极情绪时,驾驶员情绪分类系统40可以将权重应用于驾驶环境,并且可以对驾驶员情绪分类。在这种情况下,可以预先配置与引起消极情绪的驾驶环境匹配的详细情绪。例如,当驾驶环境指示交通拥堵时,驾驶员情绪可以与焦虑匹配,当驾驶环境指示突然停车时,驾驶员情绪可以与窘迫匹配,当驾驶环境指示巡航时,驾驶员情绪可以与无聊匹配。
在操作S560之后,用于结合驾驶环境确定驾驶员情绪的系统可以提供显示驾驶员情绪的服务或基于驾驶员情绪的服务(S570)。
图6是示出根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
参照图6,用于结合驾驶环境确定驾驶员情绪的系统可以检测驾驶环境事件(S610)。因此,可以不在整个驾驶时间内获取关于情绪的信息,而是可以在用户可预测的情况下获取关于情绪的信息。
在操作S610之后,用于结合驾驶环境确定驾驶员情绪的系统可以生成情绪相关事件(S620)。
在操作S620之后,可以激活基本情绪识别系统20。可以通过激活的基本情绪识别系统20来识别基本情绪(S630)。即,可以仅在出现驾驶环境事件时才激活情绪识别系统。
在操作S630之后,基本情绪识别系统20可以确定在预设阈值时间内情绪是否变化(S640)。
当在操作S640中在预设阈值时间内情绪没有变化时,可以不激活基本情绪识别系统20(S645)。
当在操作S640中在预设阈值时间内情绪变化时,驾驶员情绪分类系统40可以基于驾驶环境信息和根据驾驶环境事件识别的基本情绪来识别驾驶员情绪(S650)。
在操作S650之后,用于结合驾驶环境确定驾驶员情绪的系统可以提供用于显示驾驶员情绪的服务或基于驾驶员情绪的服务(S660)。
图7是用于说明根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
参照图7,可以根据驾驶环境事件的类型,来改变激活情绪识别系统的时间。
如图所示,当在激活情绪识别系统的第一时间710出现惊讶相关事件(例如,突然停止)时,用于结合驾驶环境确定驾驶员情绪的系统可以在出现情绪相关事件时立即激活情绪识别系统。
如图所示,当在激活情绪识别系统的第二时间720出现喜悦相关事件(例如,收听媒体)时,用于结合驾驶环境确定驾驶员情绪的系统可以在从情绪相关事件出现时间起的预设时间间隔之后激活情绪识别系统。
因此,用于结合驾驶环境确定驾驶员情绪的系统可以区分立即引起情绪变化的事件和需要时间引起情绪变化的事件,并且可以在情绪变化的时间激活情绪识别系统。
根据本发明的、用于结合驾驶环境确定驾驶员情绪的方法和系统可以有利地细分驾驶员频繁经历的情绪,并且可以应用指定给驾驶员的情绪分类。
用于结合驾驶环境激活情绪识别系统的技术可以有利地避免浪费车辆计算能力,并且可以保护驾驶员的隐私。
本领域技术人员将理解,本发明可以实现的效果不限于以上已经具体描述的,并且从详细描述中将更加清楚地理解本发明的其他优点。
根据实施方式的前述方法可以实现为存储在计算机可读记录介质(包括在网络设备中)中的计算机可读代码。计算机可读记录介质包括所有种类的、存储可由处理器读取的数据的记录介质。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等,以及作为载波的实现(例如,通过互联网传输)。另外,计算机可读记录介质可以被分布至通过网络连接的计算机系统,作为以分布式方式可读的代码来存储和执行。另外,本发明所属领域的熟练程序设计人员可以容易地理解用于实现本发明的功能程序、代码和代码段。基本情绪识别系统20和驾驶员情绪分类系统40各自或一起或用于确定驾驶员情绪的系统可以实现为计算机、处理器或微处理器。当计算机、处理器或微处理器读取并执行存储在计算机可读记录介质中的计算机可读代码时,计算机、处理器或微处理器可以配置为执行上述操作。
对于本领域技术人员显而易见的是,在不脱离实施方式的精神和范围的情况下,可以对本发明进行各种变形和变化。因此,只要变形和变化落入所附权利要求及其等价物的范围内,本发明旨在覆盖实施方式的变形和变化。
Claims (19)
1.一种结合驾驶环境确定驾驶员情绪的方法,所述方法包括以下步骤:
确定驾驶员的基本情绪;
获取驾驶环境信息;
基于所述驾驶环境信息和所述基本情绪,来确定所述驾驶员情绪;以及
提供显示所述驾驶员情绪的服务或基于驾驶员情绪的服务。
2.根据权利要求1所述的方法,其中,所述驾驶环境信息包括:车辆速度、加速度、全球定位系统GPS信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
3.根据权利要求1所述的方法,其中,确定驾驶员情绪的步骤包括:
同时接收实时生成的所述基本情绪和所述驾驶环境信息,并且识别是否出现所述驾驶员情绪;以及
根据预设的匹配表将所述基本情绪与所述驾驶环境信息匹配,并且确定是否出现预设的驾驶员情绪。
4.根据权利要求3所述的方法,还包括:
确定所述基本情绪的积极水平和消极水平。
5.根据权利要求4所述的方法,其中,确定驾驶员情绪的步骤包括:
当所述基本情绪是积极情绪时,确定所述基本情绪是驾驶员行驶时的情绪;以及
当所述基本情绪为消极情绪时,基于所述消极情绪和所述驾驶环境信息将所述基本情绪分类为细分的消极情绪。
6.根据权利要求1所述的方法,还包括:
检测驾驶环境事件;并且
当检测到的驾驶环境事件指示与情绪相关的事件时,激活基本情绪识别系统。
7.根据权利要求6所述的方法,还包括:在激活所述基本情绪识别系统之后,确定在阈值时间内是否出现所述基本情绪。
8.根据权利要求7所述的方法,还包括:
当在所述阈值时间内没有出现所述基本情绪时,停用所述基本情绪识别系统;以及
当在所述阈值时间内出现所述基本情绪时,基于所述驾驶环境信息和所述基本情绪确定所述驾驶员情绪。
9.根据权利要求6所述的方法,其中,当检测到所述驾驶环境事件时,所述激活所述基本情绪识别系统的步骤包括:将所述驾驶环境事件的类型分类为引起情绪变化的事件和需要时间引起情绪变化的事件,并且改变激活所述情绪识别系统的时间。
10.一种非暂时性计算机可读记录介质,具有记录于其上的用于根据执行权利要求1中任一项所述方法的程序。
11.一种结合驾驶环境确定驾驶员情绪的系统,所述系统包括:
摄像机;
基本情绪识别系统,配置为使用所述摄像机的面部识别信息对驾驶员的基本情绪分类;
驾驶环境信息获取器,配置为获取驾驶环境信息;以及
驾驶员情绪分类系统,配置为:使用所述驾驶信息和识别所述基本情绪的结果,对所述驾驶员的基本情绪分类,并且对驾驶员情绪分类,
其中,所述用于确定驾驶员情绪的系统配置为:提供显示所述驾驶员情绪的服务或基于驾驶员情绪的服务。
12.根据权利要求11所述的系统,其中,所述驾驶环境信息包括:车辆速度、加速度、全球定位系统GPS信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
13.根据权利要求11所述的系统,其中,所述驾驶员情绪分类系统同时接收实时生成的所述基本情绪和所述驾驶环境信息,并且识别是否出现所述驾驶员情绪,并且根据预设的匹配表将所述基本情绪和所述驾驶环境信息进行匹配,并且确定出现预设的驾驶员情绪。
14.根据权利要求13所述的系统,其中,所述驾驶员情绪分类系统确定所述基本情绪的积极水平和消极水平。
15.根据权利要求14所述的系统,其中,当所述基本情绪是积极情绪时,所述驾驶员情绪分类系统确定所述基本情绪是所述驾驶员行驶时的情绪,并且当所述基本情绪是消极情绪时,所述驾驶员情绪分类系统基于所述消极情绪和所述驾驶环境信息将所述基本情绪分类为细分的消极情绪。
16.根据权利要求11所述的系统,其中,当检测到驾驶环境事件时,并且当所述检测到的驾驶环境事件指示与情绪相关的事件时,激活所述基本情绪识别系统。
17.根据权利要求16所述的系统,其中,在激活所述基本情绪识别系统之后,所述基本情绪识别系统确定在阈值时间内是否出现所述基本情绪。
18.根据权利要求17所述的系统,其中,当在所述阈值时间内没有出现所述基本情绪时,停用所述基本情绪识别系统,以及当在所述阈值时间内出现所述基本情绪时,所述驾驶员情绪分类系统基于所述驾驶环境信息和所述基本情绪确定所述驾驶员情绪。
19.根据权利要求16所述的系统,其中,当检测到所述驾驶环境事件时,如果激活所述基本情绪识别系统,则所述用于确定驾驶员情绪的系统将所述驾驶环境事件的类型分类为引起情绪变化的事件和需要时间引起情绪变化的事件,并且改变激活所述情绪识别系统的时间。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0094531 | 2020-07-29 | ||
KR1020200094531A KR20220014943A (ko) | 2020-07-29 | 2020-07-29 | 주행 환경 연동 운전자 감정 판단 방법 및 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114084144A true CN114084144A (zh) | 2022-02-25 |
Family
ID=80003845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011381279.4A Pending CN114084144A (zh) | 2020-07-29 | 2020-12-01 | 用于结合驾驶环境确定驾驶员情绪的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11440554B2 (zh) |
KR (1) | KR20220014943A (zh) |
CN (1) | CN114084144A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240037421A (ko) | 2022-09-14 | 2024-03-22 | 주식회사 투비원솔루션즈 | 차량 내에서 운전자 개인 맞춤 콘텐츠의 제공 장치 및 그 제공 방법 |
EP4375156A1 (en) * | 2022-11-22 | 2024-05-29 | Toyota Jidosha Kabushiki Kaisha | Method and data processing device for controlling a device based on a state of its user |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101901417B1 (ko) | 2011-08-29 | 2018-09-27 | 한국전자통신연구원 | 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법 |
EP2969642A4 (en) * | 2013-03-14 | 2016-11-16 | Boosted Inc | DYNAMIC CONTROL FOR LIGHT ELECTRIC VEHICLES |
WO2018096688A1 (ja) | 2016-11-28 | 2018-05-31 | 本田技研工業株式会社 | 運転支援装置、運転支援システム、プログラム及び運転支援装置の制御方法 |
KR102506866B1 (ko) * | 2017-12-13 | 2023-03-08 | 현대자동차주식회사 | 차량 환경에서 선발화 안내 장치, 방법 및 시스템 |
KR102574937B1 (ko) * | 2018-05-18 | 2023-09-05 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
US11532319B2 (en) * | 2020-03-16 | 2022-12-20 | Harman International Industries, Incorporated | Techniques for separating driving emotion from media induced emotion using an additive/subtractive, conjunctive, disjunctive, or Bayesian technique in a driver monitoring system |
-
2020
- 2020-07-29 KR KR1020200094531A patent/KR20220014943A/ko active Search and Examination
- 2020-10-29 US US17/084,041 patent/US11440554B2/en active Active
- 2020-12-01 CN CN202011381279.4A patent/CN114084144A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220032919A1 (en) | 2022-02-03 |
US11440554B2 (en) | 2022-09-13 |
KR20220014943A (ko) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108122556B (zh) | 减少驾驶人语音唤醒指令词误触发的方法及装置 | |
KR100586767B1 (ko) | 다중모드 입력을 이용한 다중모드 초점 탐지, 기준 모호성해명 및 기분 분류를 위한 시스템 및 방법 | |
JP6977004B2 (ja) | 車載装置、発声を処理する方法およびプログラム | |
EP4047561A1 (en) | Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle | |
KR102485342B1 (ko) | 차량의 환경에 기반한 추천 신뢰도 판단 장치 및 방법 | |
CN112397065A (zh) | 语音交互方法、装置、计算机可读存储介质及电子设备 | |
CN114084144A (zh) | 用于结合驾驶环境确定驾驶员情绪的方法和系统 | |
US20210183362A1 (en) | Information processing device, information processing method, and computer-readable storage medium | |
JP2020077000A (ja) | インタラクション装置、インタラクション方法、プログラム、および車両制御方法 | |
US20230393619A1 (en) | System and method for assessing device usage | |
CN112071309A (zh) | 网约车安全监测装置及系统 | |
KR20210044475A (ko) | 대명사가 가리키는 객체 판단 방법 및 장치 | |
CN105609105A (zh) | 语音识别系统和语音识别方法 | |
CN112307816A (zh) | 车内图像获取方法、装置以及电子设备、存储介质 | |
CN108710821A (zh) | 车辆用户状态识别系统及其识别方法 | |
US10757248B1 (en) | Identifying location of mobile phones in a vehicle | |
US11393249B2 (en) | Apparatus and method of providing vehicle service based on individual emotion recognition | |
US20230317072A1 (en) | Method of processing dialogue, user terminal, and dialogue system | |
US11427216B2 (en) | User activity-based customization of vehicle prompts | |
US20200178073A1 (en) | Vehicle virtual assistance systems and methods for processing and delivering a message to a recipient based on a private content of the message | |
CN116483305A (zh) | 智能网联汽车数字虚拟人应用系统及其使用方法、车辆 | |
US11315362B2 (en) | Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same | |
CN114834456A (zh) | 向车辆的驾驶员提供辅助信息的方法和装置 | |
US20230290342A1 (en) | Dialogue system and control method thereof | |
US20240101137A1 (en) | Information notification system and information notification method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |