CN114084144A - 用于结合驾驶环境确定驾驶员情绪的方法和系统 - Google Patents

用于结合驾驶环境确定驾驶员情绪的方法和系统 Download PDF

Info

Publication number
CN114084144A
CN114084144A CN202011381279.4A CN202011381279A CN114084144A CN 114084144 A CN114084144 A CN 114084144A CN 202011381279 A CN202011381279 A CN 202011381279A CN 114084144 A CN114084144 A CN 114084144A
Authority
CN
China
Prior art keywords
emotion
driver
driving environment
basic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011381279.4A
Other languages
English (en)
Inventor
李珍牟
闵泳彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN114084144A publication Critical patent/CN114084144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089Driver voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0026Lookup tables or parameter maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种结合驾驶环境确定驾驶员情绪的方法包括:确定驾驶员的基本情绪;获取驾驶环境信息;基于驾驶环境信息和基本情绪确定驾驶员情绪;以及提供显示驾驶员情绪的服务或基于驾驶员情绪的服务。

Description

用于结合驾驶环境确定驾驶员情绪的方法和系统
技术领域
本发明涉及一种用于结合驾驶环境确定驾驶员情绪的方法和系统。
背景技术
全球生活范式带来了作为人类的帮手以提高生活质量的专业技术的出现。特别地,需要车辆技术来确保现代生活中必需的、各种车辆中的安全和便利的驾驶环境,但迄今为止,仍然需要创新车辆技术,为基于情绪识别的、情绪和安全驾驶功能提供新概念。
传统的驾驶员情绪分类系统,使用关于驾驶员情绪状态的信息和其它信息来提供适合于驾驶员的服务,使用关于驾驶环境的信息和关于驾驶员情绪的信息来识别驾驶员的技术水平,并且基于识别的技术来改变车辆控制装置的设置值。
相反,需要一种技术作为用于更准确地识别驾驶员情绪状态的技术,该技术使用关于初级分类的驾驶员情绪的信息和关于情绪变化时车辆的驾驶环境的信息来详细分类驾驶员情绪。
发明内容
因此,本发明旨在一种用于结合驾驶环境确定驾驶员情绪的方法和系统,用于使用驾驶员情绪信息以及车辆在情绪变化时的驾驶环境信息对驾驶员情绪进行详细分类。
通过实施方式解决的技术问题不限于以上技术问题,并且通过下述描述本文中未描述的其他技术问题对于本领域技术人员将变得显而易见。
为了实现这些目的和其它优点,并且根据本发明的目的,如本文所体现和广泛描述的,一种结合驾驶环境确定驾驶员情绪的方法包括以下步骤:确定驾驶员的基本情绪;获取驾驶环境信息;基于驾驶环境信息和基本情绪确定驾驶员情绪;以及提供显示驾驶员情绪的服务或基于驾驶员情绪的服务。
在一些实施方式中,驾驶环境信息可以包括:车辆速度、加速度、全球定位系统(GPS)信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
在一些实施方式中,确定驾驶员情绪的步骤可以包括:同时接收实时生成的基本情绪和驾驶环境信息,并且识别是否出现驾驶员情绪;以及根据预设的匹配表将基本情绪与驾驶环境信息匹配,并且确定是否出现预设的驾驶员情绪。
在一些实施方式中,该方法还可以包括:确定基本情绪的积极水平和消极水平。
在一些实施方式中,确定驾驶员情绪的步骤可以包括:当基本情绪是积极情绪时,确定基本情绪是驾驶员行驶时的情绪;以及当基本情绪为消极情绪时,基于消极情绪和驾驶环境信息将基本情绪分类为细分的消极情绪。
在一些实施方式中,该方法还可以包括:检测驾驶环境事件;并且当检测到的驾驶环境事件指示与情绪相关的事件时,激活基本情绪识别系统。
在一些实施方式中,该方法还可以包括,在激活基本情绪识别系统之后,确定在阈值时间内是否出现基本情绪。
在一些实施方式中,该方法还可以包括:当在阈值时间内没有出现基本情绪时,停用基本情绪识别系统;以及当在阈值时间内出现基本情绪时,基于驾驶环境信息和基本情绪确定驾驶员情绪。
在一些实施方式中,当检测到驾驶环境事件时,激活基本情绪识别系统的步骤可以包括:将驾驶环境事件的类型分类为引起情绪变化的事件和需要时间引起情绪变化的事件,并且改变激活情绪识别系统的时间。
附图说明
包含附图以提供对本发明进一步的理解,并且附图并入并构成本申请的一部分,附图示出了本发明的实施方式,并且与描述一起用于解释本发明的原理。在附图中:
图1是根据本发明实施方式的、用于结合驾驶环境确定驾驶员情绪的系统的框图;
图2是示出根据本发明实施方式的、驾驶员情绪的情绪分类和提取的结果的图;
图3是示出根据本发明第一实施方式的、对应于驾驶员情绪的车辆服务和车辆控制的图;
图4是示出根据本发明第一实施方式的、基于驾驶员情绪的服务的图;
图5是示出根据本发明第一实施方式的、结合驾驶环境确定驾驶员情绪的方法的图;
图6是示出根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图;以及
图7是用于说明根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
具体实施方式
现在将详细参照本发明的示例性实施方式,在附图中示出所述实施方式的示例。为了便于描述,在此使用元件的后缀“模块”和“单元”,因此可以互换使用并且不具有任何可区分的含义或功能。
在示例性实施方式的描述中,应理解的是,当元件被称为在另一元件“上”或“下”以及“前”或“后”时,该元件可以直接在另一元件上,或者可以存在中间元件。
应理解的是,虽然在此处可能使用术语第一、第二、A、B、(a)、(b)等以描述本发明的各个元件,但是这些术语仅用于区分一个元件与另一元件,并且相应元件的基本顺序或次序不受这些术语的限制。应理解的是,当一个元件被称为“连结至”、“联接至”或“接入至”另一元件时,该元件可以经由进一步的元件“连结至”、“联接至”或“接入至”另一个元件,或者该元件可以直接连接至或直接接入至另一元件。
除非另外指出,否则此处描述的术语“包含”,“包括”和“具有”不应解释为排除其他元件,而是还包括这样的其他元件。除非另外提及,否则包括技术或科学术语的所有术语具有与具有本发明所属领域的普通技术的人员通常理解的含义相同的含义。从上下文出发,诸如词典中定义的通用术语应解释为与现有技术的含义一致。除非在本发明中不同地定义,否则不应以理想的或过度形式的方式解释这些术语。
图1是根据本发明实施方式的、用于结合驾驶环境确定驾驶员情绪的系统的框图。
参照图1,用于结合驾驶环境确定驾驶员情绪的系统可以包括:摄像机10、基本情绪识别系统20、驾驶环境信息获取器30,以及驾驶员情绪分类系统40。
包括图像传感器的摄像机10可以设置在车辆中并且可以获取驾驶员的面部的图像。
基本情绪识别系统20可以包括预处理模块、特征提取模块,以及情绪分类模块。
预处理模块可以对通过摄像机10获取的原始数据进行预处理,来校正图像质量并且可以去除噪声。
特征提取模块可以从输入图像检测诸如情绪或运动的特征点。
可以使用以下方法执行特征提取:通过对整个面部图像中的像素值的强度进行建模或表达来检测特征的整体方法、通过搜索面部中的特征的几何布置和位置来检测特征的几何逼近方法、以及通过组合整体方法和几何逼近方法而形成的主动外观模型(AAM,active appearance model)。
情绪分类模块可以基于检测到的特征的模式的分类,来对给定图像的状态分类。
情绪分类模块可以使用以下方法来对情绪分类:使用预定义条件概率的贝叶斯网络、K近邻算法、人工神经网络等。
基本情绪识别系统20可以在多个阶段中重复地对通过后处理分类的图像的模式分类,并且可以输出最终选择的结果作为确定结果。
驾驶员情绪分类系统40可以使用驾驶信息和识别基本情绪的结果,来对驾驶员的基本情绪分类。以下将参照图2至图4详细描述驾驶员情绪分类系统40。
驾驶环境信息获取器30可以包括:配置为确定车辆速度的传感器、配置为确定车辆加速度的传感器(例如,惯性传感器)、配置为获得车辆的GPS信息的全球定位系统(GPS)、配置为获得乘客乘坐信息的传感器、配置为获得语音话语信息的具有语音识别的麦克风、或者配置为接收由驾驶员或乘客输入的操纵信息的用户接口。在这点上,驾驶环境信息可以包括车辆速度、加速度、全球定位系统(GPS)信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
图2是示出根据本发明实施方式的、驾驶员情绪的情绪分类和提取的结果的图。
参照图2,第一实验数据至第三实验数据210、220和230可以是示出通过提取实际驾驶期间驾驶员情绪而获得的实验结果的实验数据。用于结合驾驶环境确定驾驶员情绪的系统,可以在车辆行驶预设时间时使用摄像机10和基本情绪识别系统20检测基本情绪,并且可以使用检测到的基本情绪和驾驶环境信息来导出驾驶员情绪。
参照第一实验数据210,当检测到多次出现惊讶的基本情绪时,驾驶员情绪分类系统40可以基于驾驶环境信息将惊讶的情绪细分为三种类型的驾驶员情绪,并且可以基于此确定驾驶员情绪。因此,当驾驶环境信息对应于狭窄街道的状态时,驾驶员情绪分类系统40可以将驾驶员情绪确定为专注。
参照第二实验数据220,当检测到喜悦的基本情绪时,驾驶员情绪分类系统40可以基于驾驶环境信息细分喜悦的情绪,并且可以确定驾驶员情绪。因此,当驾驶环境信息对应于收听无线电时,驾驶员情绪分类系统40可以将驾驶员情绪确定为兴奋。
参照第三实验数据230,当检测到蔑视的基本情绪时,驾驶员情绪分类系统40可以基于驾驶环境信息细分蔑视的情绪,并且可以确定驾驶员情绪。因此,当驾驶环境信息对应于重复操作空调装置时,驾驶员情绪分类系统40可以将驾驶员情绪确定为不满。
图3是示出根据本发明第一实施方式的、对应于驾驶员情绪的车辆服务和车辆控制的图。
参照图3,驾驶员情绪分类系统40可以预先配置与特定基本情绪相匹配的特定驾驶环境事件。即,驾驶员情绪分类系统40可以根据配置,来预设形成为特定基本情绪与特定驾驶环境之间的交集的详细情绪。
当基本情绪是蔑视时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以执行引导至旁路。
然而,当基本情绪是愤怒时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
当基本情绪是惊讶时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
当基本情绪是喜悦时,如果驾驶环境信息对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
当基本情绪是蔑视时,如果驾驶环境信息不对应于交通拥堵,则驾驶员情绪分类系统40可以不将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以不执行车辆控制和服务提供。
根据配置的匹配表,驾驶员情绪分类系统40可以确定仅当基本情绪和驾驶环境事件这两者均出现时才出现特定的“驾驶员情绪”。在这种情况下,驾驶员情绪分类系统40可以同时接收实时出现的“基本情绪”和“驾驶环境信息”,并且可以识别是否出现驾驶员情绪。
图4是示出根据本发明第一实施方式的、基于驾驶员情绪的服务的图。
参照图4,驾驶员情绪分类系统40可以基于来自基本情绪识别系统20的基本情绪信息310和从驾驶环境信息获取器30实时获取的驾驶环境信息320对驾驶员情绪330进行分类。
驾驶员在行驶时经常经历惊讶的基本情绪,因此需要设计驾驶员情绪识别系统以细分惊讶的情绪,并且重要的是为了驾驶员的安全而识别驾驶员的消极情绪,因此需要设计系统以便细分消极情绪(惊讶、蔑视、愤怒或厌恶)。
当基本情绪是喜悦时,如果驾驶环境信息对应于与乘客交谈,则驾驶员情绪分类系统40可以将驾驶员情绪确定为兴致。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制来执行降低声音并且消除噪声。
当基本情绪是喜悦时,如果驾驶环境信息对应于收听媒体,则驾驶员情绪分类系统40可以将驾驶员情绪确定为兴奋。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制来推荐后续内容。
当基本情绪是惊讶时,如果驾驶环境信息指示在狭窄街道上行驶,则驾驶员情绪分类系统40可以将驾驶员情绪确定为专注。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制提供AVM图像。
当基本情绪是惊讶时,如果驾驶环境信息指示接近目的地并且搜索停车位,则驾驶员情绪分类系统40可以将驾驶员情绪确定为疑惑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制提供关于附近停车场的信息。
当基本情绪是蔑视时,如果驾驶环境信息指示交通拥堵,则驾驶员情绪分类系统40可以将驾驶员情绪确定为焦虑。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制来执行引导到旁路。
当基本情绪是愤怒时,如果驾驶环境信息指示其他车辆的攻击性驾驶,则驾驶员情绪分类系统40可以将驾驶员情绪确定为受到威胁。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制将图像存储在黑盒中。
当基本情绪是厌恶时,如果驾驶环境信息指示长期驾驶和巡航,则驾驶员情绪分类系统40可以将驾驶员情绪确定为无聊。因此,用于结合驾驶环境确定驾驶员情绪的系统可以根据服务和车辆控制推荐音乐并且执行引导至休息区。
图5是示出根据本发明第一实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
参照图5,用于结合驾驶环境确定驾驶员情绪的系统可以基于通过摄像机10输入的驾驶员的图像来识别基本情绪(S510)。
在操作S510之后,驾驶员情绪分类系统40可以确定基本情绪的积极水平和消极水平(S520)。
在操作S520之后,当基本情绪被确定为积极情绪时(S530),驾驶员情绪分类系统40可以输出确定的基本情绪作为驾驶员行驶时的情绪(S540)。因此,当基本情绪是积极情绪时,驾驶员情绪分类系统40可以将权重应用于基本情绪,并且可以对驾驶员情绪分类。
在操作S540之后,用于结合驾驶环境确定驾驶员情绪的系统可以提供用于显示驾驶员情绪的服务或基于驾驶员情绪的服务(S570)。
在操作S520之后,当确定基本情绪是消极情绪时(S550),驾驶员情绪分类系统40可以基于驾驶环境信息输出驾驶员情绪(S560)。因此,当基本情绪是消极情绪时,驾驶员情绪分类系统40可以将权重应用于驾驶环境,并且可以对驾驶员情绪分类。在这种情况下,可以预先配置与引起消极情绪的驾驶环境匹配的详细情绪。例如,当驾驶环境指示交通拥堵时,驾驶员情绪可以与焦虑匹配,当驾驶环境指示突然停车时,驾驶员情绪可以与窘迫匹配,当驾驶环境指示巡航时,驾驶员情绪可以与无聊匹配。
在操作S560之后,用于结合驾驶环境确定驾驶员情绪的系统可以提供显示驾驶员情绪的服务或基于驾驶员情绪的服务(S570)。
图6是示出根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
参照图6,用于结合驾驶环境确定驾驶员情绪的系统可以检测驾驶环境事件(S610)。因此,可以不在整个驾驶时间内获取关于情绪的信息,而是可以在用户可预测的情况下获取关于情绪的信息。
在操作S610之后,用于结合驾驶环境确定驾驶员情绪的系统可以生成情绪相关事件(S620)。
在操作S620之后,可以激活基本情绪识别系统20。可以通过激活的基本情绪识别系统20来识别基本情绪(S630)。即,可以仅在出现驾驶环境事件时才激活情绪识别系统。
在操作S630之后,基本情绪识别系统20可以确定在预设阈值时间内情绪是否变化(S640)。
当在操作S640中在预设阈值时间内情绪没有变化时,可以不激活基本情绪识别系统20(S645)。
当在操作S640中在预设阈值时间内情绪变化时,驾驶员情绪分类系统40可以基于驾驶环境信息和根据驾驶环境事件识别的基本情绪来识别驾驶员情绪(S650)。
在操作S650之后,用于结合驾驶环境确定驾驶员情绪的系统可以提供用于显示驾驶员情绪的服务或基于驾驶员情绪的服务(S660)。
图7是用于说明根据本发明第二实施方式的、结合驾驶环境确定驾驶员情绪的方法的图。
参照图7,可以根据驾驶环境事件的类型,来改变激活情绪识别系统的时间。
如图所示,当在激活情绪识别系统的第一时间710出现惊讶相关事件(例如,突然停止)时,用于结合驾驶环境确定驾驶员情绪的系统可以在出现情绪相关事件时立即激活情绪识别系统。
如图所示,当在激活情绪识别系统的第二时间720出现喜悦相关事件(例如,收听媒体)时,用于结合驾驶环境确定驾驶员情绪的系统可以在从情绪相关事件出现时间起的预设时间间隔之后激活情绪识别系统。
因此,用于结合驾驶环境确定驾驶员情绪的系统可以区分立即引起情绪变化的事件和需要时间引起情绪变化的事件,并且可以在情绪变化的时间激活情绪识别系统。
根据本发明的、用于结合驾驶环境确定驾驶员情绪的方法和系统可以有利地细分驾驶员频繁经历的情绪,并且可以应用指定给驾驶员的情绪分类。
用于结合驾驶环境激活情绪识别系统的技术可以有利地避免浪费车辆计算能力,并且可以保护驾驶员的隐私。
本领域技术人员将理解,本发明可以实现的效果不限于以上已经具体描述的,并且从详细描述中将更加清楚地理解本发明的其他优点。
根据实施方式的前述方法可以实现为存储在计算机可读记录介质(包括在网络设备中)中的计算机可读代码。计算机可读记录介质包括所有种类的、存储可由处理器读取的数据的记录介质。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等,以及作为载波的实现(例如,通过互联网传输)。另外,计算机可读记录介质可以被分布至通过网络连接的计算机系统,作为以分布式方式可读的代码来存储和执行。另外,本发明所属领域的熟练程序设计人员可以容易地理解用于实现本发明的功能程序、代码和代码段。基本情绪识别系统20和驾驶员情绪分类系统40各自或一起或用于确定驾驶员情绪的系统可以实现为计算机、处理器或微处理器。当计算机、处理器或微处理器读取并执行存储在计算机可读记录介质中的计算机可读代码时,计算机、处理器或微处理器可以配置为执行上述操作。
对于本领域技术人员显而易见的是,在不脱离实施方式的精神和范围的情况下,可以对本发明进行各种变形和变化。因此,只要变形和变化落入所附权利要求及其等价物的范围内,本发明旨在覆盖实施方式的变形和变化。

Claims (19)

1.一种结合驾驶环境确定驾驶员情绪的方法,所述方法包括以下步骤:
确定驾驶员的基本情绪;
获取驾驶环境信息;
基于所述驾驶环境信息和所述基本情绪,来确定所述驾驶员情绪;以及
提供显示所述驾驶员情绪的服务或基于驾驶员情绪的服务。
2.根据权利要求1所述的方法,其中,所述驾驶环境信息包括:车辆速度、加速度、全球定位系统GPS信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
3.根据权利要求1所述的方法,其中,确定驾驶员情绪的步骤包括:
同时接收实时生成的所述基本情绪和所述驾驶环境信息,并且识别是否出现所述驾驶员情绪;以及
根据预设的匹配表将所述基本情绪与所述驾驶环境信息匹配,并且确定是否出现预设的驾驶员情绪。
4.根据权利要求3所述的方法,还包括:
确定所述基本情绪的积极水平和消极水平。
5.根据权利要求4所述的方法,其中,确定驾驶员情绪的步骤包括:
当所述基本情绪是积极情绪时,确定所述基本情绪是驾驶员行驶时的情绪;以及
当所述基本情绪为消极情绪时,基于所述消极情绪和所述驾驶环境信息将所述基本情绪分类为细分的消极情绪。
6.根据权利要求1所述的方法,还包括:
检测驾驶环境事件;并且
当检测到的驾驶环境事件指示与情绪相关的事件时,激活基本情绪识别系统。
7.根据权利要求6所述的方法,还包括:在激活所述基本情绪识别系统之后,确定在阈值时间内是否出现所述基本情绪。
8.根据权利要求7所述的方法,还包括:
当在所述阈值时间内没有出现所述基本情绪时,停用所述基本情绪识别系统;以及
当在所述阈值时间内出现所述基本情绪时,基于所述驾驶环境信息和所述基本情绪确定所述驾驶员情绪。
9.根据权利要求6所述的方法,其中,当检测到所述驾驶环境事件时,所述激活所述基本情绪识别系统的步骤包括:将所述驾驶环境事件的类型分类为引起情绪变化的事件和需要时间引起情绪变化的事件,并且改变激活所述情绪识别系统的时间。
10.一种非暂时性计算机可读记录介质,具有记录于其上的用于根据执行权利要求1中任一项所述方法的程序。
11.一种结合驾驶环境确定驾驶员情绪的系统,所述系统包括:
摄像机;
基本情绪识别系统,配置为使用所述摄像机的面部识别信息对驾驶员的基本情绪分类;
驾驶环境信息获取器,配置为获取驾驶环境信息;以及
驾驶员情绪分类系统,配置为:使用所述驾驶信息和识别所述基本情绪的结果,对所述驾驶员的基本情绪分类,并且对驾驶员情绪分类,
其中,所述用于确定驾驶员情绪的系统配置为:提供显示所述驾驶员情绪的服务或基于驾驶员情绪的服务。
12.根据权利要求11所述的系统,其中,所述驾驶环境信息包括:车辆速度、加速度、全球定位系统GPS信息、乘客乘坐信息、语音话语信息或者信息装置操纵信息中的至少一者。
13.根据权利要求11所述的系统,其中,所述驾驶员情绪分类系统同时接收实时生成的所述基本情绪和所述驾驶环境信息,并且识别是否出现所述驾驶员情绪,并且根据预设的匹配表将所述基本情绪和所述驾驶环境信息进行匹配,并且确定出现预设的驾驶员情绪。
14.根据权利要求13所述的系统,其中,所述驾驶员情绪分类系统确定所述基本情绪的积极水平和消极水平。
15.根据权利要求14所述的系统,其中,当所述基本情绪是积极情绪时,所述驾驶员情绪分类系统确定所述基本情绪是所述驾驶员行驶时的情绪,并且当所述基本情绪是消极情绪时,所述驾驶员情绪分类系统基于所述消极情绪和所述驾驶环境信息将所述基本情绪分类为细分的消极情绪。
16.根据权利要求11所述的系统,其中,当检测到驾驶环境事件时,并且当所述检测到的驾驶环境事件指示与情绪相关的事件时,激活所述基本情绪识别系统。
17.根据权利要求16所述的系统,其中,在激活所述基本情绪识别系统之后,所述基本情绪识别系统确定在阈值时间内是否出现所述基本情绪。
18.根据权利要求17所述的系统,其中,当在所述阈值时间内没有出现所述基本情绪时,停用所述基本情绪识别系统,以及当在所述阈值时间内出现所述基本情绪时,所述驾驶员情绪分类系统基于所述驾驶环境信息和所述基本情绪确定所述驾驶员情绪。
19.根据权利要求16所述的系统,其中,当检测到所述驾驶环境事件时,如果激活所述基本情绪识别系统,则所述用于确定驾驶员情绪的系统将所述驾驶环境事件的类型分类为引起情绪变化的事件和需要时间引起情绪变化的事件,并且改变激活所述情绪识别系统的时间。
CN202011381279.4A 2020-07-29 2020-12-01 用于结合驾驶环境确定驾驶员情绪的方法和系统 Pending CN114084144A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0094531 2020-07-29
KR1020200094531A KR20220014943A (ko) 2020-07-29 2020-07-29 주행 환경 연동 운전자 감정 판단 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN114084144A true CN114084144A (zh) 2022-02-25

Family

ID=80003845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011381279.4A Pending CN114084144A (zh) 2020-07-29 2020-12-01 用于结合驾驶环境确定驾驶员情绪的方法和系统

Country Status (3)

Country Link
US (1) US11440554B2 (zh)
KR (1) KR20220014943A (zh)
CN (1) CN114084144A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240037421A (ko) 2022-09-14 2024-03-22 주식회사 투비원솔루션즈 차량 내에서 운전자 개인 맞춤 콘텐츠의 제공 장치 및 그 제공 방법
EP4375156A1 (en) * 2022-11-22 2024-05-29 Toyota Jidosha Kabushiki Kaisha Method and data processing device for controlling a device based on a state of its user

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901417B1 (ko) 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
EP2969642A4 (en) * 2013-03-14 2016-11-16 Boosted Inc DYNAMIC CONTROL FOR LIGHT ELECTRIC VEHICLES
WO2018096688A1 (ja) 2016-11-28 2018-05-31 本田技研工業株式会社 運転支援装置、運転支援システム、プログラム及び運転支援装置の制御方法
KR102506866B1 (ko) * 2017-12-13 2023-03-08 현대자동차주식회사 차량 환경에서 선발화 안내 장치, 방법 및 시스템
KR102574937B1 (ko) * 2018-05-18 2023-09-05 현대자동차주식회사 차량 및 그 제어 방법
US11532319B2 (en) * 2020-03-16 2022-12-20 Harman International Industries, Incorporated Techniques for separating driving emotion from media induced emotion using an additive/subtractive, conjunctive, disjunctive, or Bayesian technique in a driver monitoring system

Also Published As

Publication number Publication date
US20220032919A1 (en) 2022-02-03
US11440554B2 (en) 2022-09-13
KR20220014943A (ko) 2022-02-08

Similar Documents

Publication Publication Date Title
CN108122556B (zh) 减少驾驶人语音唤醒指令词误触发的方法及装置
KR100586767B1 (ko) 다중모드 입력을 이용한 다중모드 초점 탐지, 기준 모호성해명 및 기분 분류를 위한 시스템 및 방법
JP6977004B2 (ja) 車載装置、発声を処理する方法およびプログラム
EP4047561A1 (en) Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle
KR102485342B1 (ko) 차량의 환경에 기반한 추천 신뢰도 판단 장치 및 방법
CN112397065A (zh) 语音交互方法、装置、计算机可读存储介质及电子设备
CN114084144A (zh) 用于结合驾驶环境确定驾驶员情绪的方法和系统
US20210183362A1 (en) Information processing device, information processing method, and computer-readable storage medium
JP2020077000A (ja) インタラクション装置、インタラクション方法、プログラム、および車両制御方法
US20230393619A1 (en) System and method for assessing device usage
CN112071309A (zh) 网约车安全监测装置及系统
KR20210044475A (ko) 대명사가 가리키는 객체 판단 방법 및 장치
CN105609105A (zh) 语音识别系统和语音识别方法
CN112307816A (zh) 车内图像获取方法、装置以及电子设备、存储介质
CN108710821A (zh) 车辆用户状态识别系统及其识别方法
US10757248B1 (en) Identifying location of mobile phones in a vehicle
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
US20230317072A1 (en) Method of processing dialogue, user terminal, and dialogue system
US11427216B2 (en) User activity-based customization of vehicle prompts
US20200178073A1 (en) Vehicle virtual assistance systems and methods for processing and delivering a message to a recipient based on a private content of the message
CN116483305A (zh) 智能网联汽车数字虚拟人应用系统及其使用方法、车辆
US11315362B2 (en) Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
CN114834456A (zh) 向车辆的驾驶员提供辅助信息的方法和装置
US20230290342A1 (en) Dialogue system and control method thereof
US20240101137A1 (en) Information notification system and information notification method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination