CN114092987A - 基于个体情绪识别提供车辆服务的装置和方法 - Google Patents

基于个体情绪识别提供车辆服务的装置和方法 Download PDF

Info

Publication number
CN114092987A
CN114092987A CN202011383455.8A CN202011383455A CN114092987A CN 114092987 A CN114092987 A CN 114092987A CN 202011383455 A CN202011383455 A CN 202011383455A CN 114092987 A CN114092987 A CN 114092987A
Authority
CN
China
Prior art keywords
user
driving environment
event
vehicle
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011383455.8A
Other languages
English (en)
Inventor
李珍牟
闵泳彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN114092987A publication Critical patent/CN114092987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)

Abstract

公开了一种基于个体情绪识别提供车辆服务的装置和方法，用于通过学习各用户的情绪来提供基于个体定制的情绪识别的车辆服务。该装置包括：处理器，配置为基于关于驾驶环境的信息来确定是否发生事件；以及图像获取器，配置为获取响应于事件发生的用户面部图像。处理器还配置为基于响应于事件发生的用户面部图像来学习用户面部表情，并且基于学习的用户面部表情来确定用户是否经历特定情绪。该装置还包括：服务提供器，配置为当确定用户经历特定情绪时，提供与驾驶环境相对应的车辆服务。

Description

基于个体情绪识别提供车辆服务的装置和方法
与相关申请的交叉引用
本申请要求于2020年7月29日提交的第10-2020-0094340号韩国专利申请的权益，该专利申请在此通过引用被引入本文，如同在此完整阐述一样。
技术领域
本发明涉及一种基于个体情绪识别来提供车辆服务的装置，更具体地，本发明涉及一种基于个体情绪识别来提供车辆服务的装置和方法，用于通过学习各用户的情绪来提供基于个体定制的情绪识别的车辆服务。
背景技术
通常，存在导致用户经历消极情绪的各种驾驶环境因素，例如，交通拥堵、突然停车或者行驶时的攻击性驾驶。
因此，当驾驶环境恶化而导致用户经历消极情绪时，车辆控制受到不利影响而导致事故。
近年来，已经开发了基于用户情绪来提供适合于用户的车辆服务的车辆服务提供装置。
然而，即使产生了导致消极情绪的驾驶环境因素，用户情绪也不总是发生消极变化。
即，在频繁产生的驾驶环境因素的情况下，如果每当用户识别到驾驶环境因素时就向用户提供车辆服务，则用户相当不方便。
例如，当用户预测到交通拥堵时，即使车辆进入交通拥堵状态，用户情绪也不会发生消极变化。
另外，当无论车辆驾驶情况怎样用户都个人感觉良好时，他或她可能会宽宏大量地理解他人的攻击性驾驶。
因此，即使驾驶环境不利，当用户情绪没有发生消极变化时，不向车辆中的用户提供特定服务也是可取的。
因此，需要一种车辆服务提供装置，用于准确地识别用户的实际情绪变化以及检测驾驶环境并且学习表达个人情绪的方法，以提供用户所需的车辆服务。
发明内容
因此，本发明旨在一种基于个体情绪识别提供车辆服务的装置和方法，用于通过基于与驾驶环境相对应的用户面部表情来识别用户的隐含情绪以提供车辆服务，从而提高便利性和安全性。
通过实施方式解决的技术问题不限于以上技术问题，并且通过下述描述本文中未描述的其他技术问题对于本领域技术人员将变得显而易见。
为了实现这些目的和其它优点，并且根据本发明的目的，如本文所体现和广泛描述的，一种用于提供车辆服务的装置包括：处理器，配置为：基于关于驾驶环境的信息，来确定是否发生事件；以及图像获取设备，配置为：获取响应于事件发生的用户面部图像。处理器还配置为：基于响应于事件发生的用户面部图像，来学习用户面部表情；并且基于学习的用户面部表情，来确定用户是否经历特定情绪。该装置还包括：服务提供器，配置为：当确定用户经历特定情绪时，提供与驾驶环境相对应的车辆服务。
在本发明的另一方面，一种提供车辆服务的方法包括：通过处理器，基于关于驾驶环境的信息，来确定是否发生事件；通过图像获取设备，获取响应于事件发生的用户面部图像；通过处理器，基于响应于事件发生的用户面部图像，来学习用户面部表情；通过处理器，基于学习的用户面部表情，来确定用户是否经历特定情绪；以及当确定用户经历特定情绪时，通过服务提供器提供与驾驶环境相对应的车辆服务。
在本发明的另一方面，一种提供车辆服务的方法包括：通过处理器，确定是否响应于驾驶环境而发生事件；通过图像获取设备，获取响应于事件发生的用户面部图像；通过处理器检查用户是否响应于事件发生而操纵车辆的界面和功能；当用户操纵车辆的界面和功能时，通过处理器基于响应于事件发生的用户面部图像来，学习用户面部表情；通过处理器，基于学习的用户面部表情，来确定用户是否经历特定情绪；以及当确定用户经历特定情绪时，通过服务提供器提供与驾驶环境相对应的车辆服务。
在本发明的另一方面中，一种计算机可读记录介质执行基于个体情绪识别提供车辆服务提供装置的车辆服务的方法所提供的程序，该计算机可读记录介质具有记录于其上的、用于执行车辆服务提供装置的车辆服务的方法的程序。
在本发明的另一方面，一种车辆包括：感测装置，配置为感测驾驶环境；以及车辆服务提供装置，配置为：基于与驾驶环境相对应的用户面部表情，来提供车辆服务。车辆服务提供装置配置为：当响应于驾驶环境发生事件时，获取响应于事件发生的用户面部图像，基于响应于事件发生的用户面部图像来学习用户面部表情，基于学习的用户面部表情来确定用户是否经历特定情绪，并且当确定用户经历所述特定情绪时，提供与驾驶环境相对应的车辆服务。
附图说明
包含附图以提供对本发明进一步的理解，并且附图并入并构成本申请的一部分，附图示出了本发明的实施方式，并且与描述一起用于解释本发明的原理。在附图中：
图1是用于说明根据本发明实施方式的、包括车辆服务提供装置的车辆的图；
图2是示出根据本发明实施方式的、基于个体情绪识别的车辆服务提供装置的配置的框图；
图3是用于说明学习响应于事件发生的用户面部表情的程序的图；
图4A和图4B是示出积极性和兴奋性指数的图，积极性和兴奋性指数指示取决于驾驶环境的用户情绪的变化；
图5是示出根据本发明第一实施方式的、提供车辆服务提供装置的车辆服务的方法的流程图；以及
图6是示出根据本发明第二实施方式的、提供车辆服务提供装置的车辆服务的方法的流程图。
具体实施方式
详细描述本发明的示例性实施方式，以便本领域的普通技术人员参照附图容易地实现本发明。然而，本发明可以以各种不同的形式实现，并且不限于这些实施方式。为了清楚地描述本发明，在附图中省略了与描述无关的部分，并且说明书中相同的附图标记表示相同的元件。
在整个说明书中，除非明确相反地定义，否则本领域普通技术人员能够理解的是，术语“包括”、“包含”和“含有”默认地解释为包含的或开放的，而不是排他的或封闭的。另外，本说明书中所发发明的术语“单元”、“模块”等是指用于处理至少一个功能或者操作的、可由硬件、软件或其组合实现的单元。
在下文中，将参照图1至图6详细描述适用于本发明的实施方式的、基于个体情绪识别提供车辆服务的装置和方法。
图1是用于说明根据本发明实施方式的、包括车辆服务提供装置的车辆的图。
如图1所示，根据本发明的车辆1可以包括：用于感测驾驶环境的感测装置100以及用于基于与驾驶环境相对应的用户面部表情来提供车辆服务的车辆服务提供装置200。
在此，当响应于驾驶环境而发生事件时，车辆服务提供装置200可以获取响应于事件发生的用户面部图像，可以基于响应于事件发生的用户面部图像来学习用户面部表情，可以基于学习的用户面部表情来学习用户是否经历消极情绪，并且可以在确定用户经历消极情绪时提供与驾驶环境相对应的车辆服务。
车辆服务提供装置200可以基于从车辆的传感器(例如，诸如摄像头、激光雷达传感器等的图像传感器)接收的信息，来监视驾驶环境，并且可以生成与监视的驾驶环境相对应的事件。
例如，当监视的驾驶环境包括交通拥堵情况、突然停车情况、长期减速情况或攻击性驾驶情况中的至少一者时，车辆服务提供装置200可以生成事件，但是本发明不限于此。
当学习用户面部表情时，车辆服务提供装置200可以根据响应于事件发生的用户面部图像来分析面部表情，可以对与分析的面部表情相对应的情绪表现进行分类，并且可以结合分类的情绪表现和相对应的事件来学习各驾驶环境的用户面部表情。
在此，当分析面部表情时，车辆服务提供装置200可以根据用户面部图像来计算积极性和兴奋性指数，并且可以基于计算的积极性和兴奋性指数来分析面部表情。
例如，当计算积极性和兴奋性指数时，车辆服务提供装置200可以基于预先存储的情绪识别算法来计算积极性和兴奋性指数。
例如，车辆服务提供装置200可以如下识别用户情绪。
首先，车辆服务提供装置200可以通过预处理过程对通过图像传感器(摄像头)获取的原始数据执行图像质量校正和噪声去除，并且可以对输入图像执行特征提取(例如，提取情绪或运动)。
在此，本发明可以将通过使用整体方法对整个面部图像中的像素值的强度进行建模或表达来检测特征的方法用作情绪特征提取方法。
本发明还可以将通过使用几何逼近方法从面部搜索特征的几何排列和位置来检测特征的方法用作另一种情绪特征提取方法。
根据需要，本发明还可以将通过组合上述两种特征提取方法而获得的主动外观模型(AAM)方法用作另一种情绪特征提取方法。
车辆服务提供装置200可以基于提取的特征的模式分类，来对给定图像的状态进行分类。
在此，分类方法可以使用各种方法(例如，使用预定义条件概率表(CPT)的贝叶斯网络、K近邻算法、或人工神经网络)对情绪进行分类。
然后，车辆服务提供装置200可以通过后处理程序在多个阶段中重复地对分类的图像的模式进行分类，并且可以输出最终选择的结果作为识别结果，以终止情绪识别过程。
在另一示例中，当学习用户面部表情时，车辆服务提供装置200可以检查用户是否响应于事件发生而操纵车辆的界面和功能，并且当用户操纵车辆的界面和功能时，车辆服务提供装置200可以根据响应于事件发生的用户面部图像来分析面部表情，可以对与分析的面部表情相对应的情绪表现进行分类，并且可以结合分类的情绪表现和相对应的事件来学习各驾驶环境的用户面部表情。
在此，当检查用户是否操纵车辆的界面和功能时，当用户未操纵车辆的界面和功能时，车辆服务提供装置200可以删除获取的用户面部图像。
当获取响应于事件发生的用户面部图像时，车辆服务提供装置200可以基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历消极情绪。
在此，当确定用户是否经历消极情绪时，当基于获取的用户面部图像的用户面部表情与针对各驾驶环境学习的用户面部表情彼此不同时，车辆服务提供装置200可以基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历消极情绪。
然后，当车辆服务提供装置200提供车辆服务时，如果车辆服务提供装置200确定用户经历消极情绪，则车辆服务提供装置200可以提取与驾驶环境相对应的车辆服务的信息，并且可以基于提取的关于车辆服务的信息，来提供包括车辆控制服务或用户便利服务中的至少一者的车辆服务。
当车辆服务提供装置200提供车辆服务时，如果车辆服务提供装置200未确定用户经历消极情绪，则车辆服务提供装置200可以不提供与驾驶环境相对应的车辆服务。
因此，根据本发明，当响应于驾驶环境而发生事件时，可以通过学习所有用户面部表情，来生成平均情绪信息和情绪识别算法。
因此，根据本发明，当响应于驾驶环境而发生事件时，用户不总是需要服务，因此，不需要服务的情绪表现也可以包括在学习目标中。
根据本发明的另一实施方式，还可以通过过滤获取的面部图像并且仅学习需要服务的情绪表现，来对情绪进行分类。
因此，根据本发明，可以在事件发生时获取面部图像，在事件发生之后可以跟踪和观察用户对车辆的界面和功能的操纵，并且仅当用户操纵车辆的界面和功能时，才可以利用面部图像，将与面部图像相对应的情绪表现包括在学习目标中。
当用户未操纵车辆的界面和功能时，可以删除获取的面部图像。
在这种情况下，根据本发明，为了确定在学习中是否使用相应的面部图像，可能额外需要时间，用于获取面部图像以及识别是否在预定时间内生成车辆功能操纵命令(例如，信息娱乐功能)。
在此，根据本发明，当不需要服务的情绪表现很少时，在学习中不存在很大问题，但是当不需要服务的情绪表现很多时，可能导出错误的学习结果，因此需要增加可靠性以防止该问题。
因此，本发明可以通过基于与驾驶环境相对应的用户面部表情，来识别用户的隐含情绪，提供车辆服务，从而提高便利性和安全性。
本发明可以提供用于提供个性化用户情绪识别和定制的基于情绪的服务的技术，并且可以基于主要在特定驾驶环境出现时出现的用户面部表情，通过对用户情绪进行分类，来准确地识别用户的隐含情绪，从而提高可靠性。
这样，通过考虑到用于表达情绪的方法和程度因人而异，本发明可以提供个体定制的情绪识别系统，而不是统一的情绪识别系统。
图2是示出根据本发明实施方式的、基于个体情绪识别的车辆服务提供装置的配置的框图。
如图2所示，车辆服务提供装置200可以包括：事件确定器210，用于响应于驾驶环境而生成事件；图像获取器220，用于获取响应于事件发生的用户面部图像；表情学习器230，用于基于响应于事件发生的用户面部图像来学习用户面部表情；情绪确定器240，用于基于学习的用户面部表情来确定用户是否经历消极情绪；以及服务提供器250，用于当确定用户经历消极情绪时提供与驾驶环境相对应的车辆服务。
在此，事件确定器210可以基于从车辆的传感器(例如，诸如摄像头、激光雷达传感器等的图像传感器)接收的信息，来监视驾驶环境，并且可以确定是否响应于监视的驾驶环境发生事件。
例如，当监视的驾驶环境包括交通拥堵情况、突然停车情况、长期减速情况或攻击性驾驶情况中的至少一者时，事件确定器210可以生成事件。
图像获取器220可以安装在车辆的室内区域中，并且可以包括用于拍摄用户的面部以获取面部图像的摄像头。
然后，表情学习器230可以基于响应于事件发生的用户面部图像，来存储各事件的用户面部图像，并且当确保足够数量的累积面部图像时，即，当存储的面部图像的数量等于或大于N时，表情学习器230可以生成算法，用于针对各事件学习驾驶员的面部表情并且对各事件的驾驶员情绪进行分类。
即，表情学习器230可以根据响应于事件发生的用户面部图像来分析面部表情，可以对与分析的面部表情相对应的情绪表现进行分类，并且可以结合分类的情绪表现和相对应的事件来学习各驾驶环境的面部表情。
在此，当分析面部表情时，表情学习器230可以根据用户面部图像来计算积极性和兴奋性指数，并且可以基于计算的积极性和兴奋性指数来分析面部表情。
在这种情况下，当计算积极性和兴奋性指数时，表情学习器230可以基于预先存储的情绪识别算法来计算积极性和兴奋性指数。
根据需要，表情学习器230可以检查用户是否响应于事件发生而操纵车辆的界面和功能，并且当用户操纵车辆的界面和功能时，表情学习器230可以根据响应于事件发生的用户面部图像来分析面部表情，可以对与分析的面部表情相对应的情绪表现进行分类，并且可以结合分类的情绪表现和相对应的事件来学习各驾驶环境的用户面部表情。
在此，当检查用户是否操纵车辆的界面和功能时，当用户未操纵车辆的界面和功能时，表情学习器230可以删除获取的用户面部图像。
然后，当分析面部表情时，表情学习器230可以根据用户面部图像来计算积极性和兴奋性指数，并且可以基于计算的积极性和兴奋性指数来分析面部表情。
在此，当计算积极性和兴奋性指数时，表情学习器230可以基于预先存储的情绪识别算法来计算积极性和兴奋性指数。
然后，当获取响应于事件发生的用户面部图像时，情绪确定器240可以基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历消极情绪。
在此，当确定用户是否经历消极情绪时，当基于获取的用户面部图像的用户面部表情与针对各驾驶环境学习的用户面部表情彼此不同时，情绪确定器240可以基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历消极情绪。
例如，当基于获取的用户面部图像的用户面部表情是用户的积极情绪而针对各驾驶环境学习的用户面部表情是用户的消极情绪时，情绪确定器240可以基于针对各驾驶环境学习的用户面部表情，来确定用户经历消极情绪。
在另一示例中，当基于获取的用户面部图像的用户面部表情是用户的消极情绪而针对各驾驶环境学习的用户面部表情是用户的积极情绪时，情绪确定器240可以基于针对各驾驶环境学习的用户面部表情，来确定用户经历积极情绪。
当服务提供器250提供车辆服务(例如，打开窗户、操作空调或多媒体/音乐播放)时，如果服务提供器250确定用户经历消极情绪，则服务提供器250可以提取与驾驶环境相对应的车辆服务的信息，并且可以基于提取的关于车辆服务的信息，来提供包括车辆控制服务或用户便利服务中的至少一者的车辆服务。在一个示例中，服务提供器250可以包括诸如处理器(配置为控制包括但不限于车辆的扬声器、电机、风扇、空调、GPS的部件)的控制器，以便提供车辆服务。
当服务提供器250提供车辆服务时，如果服务提供器250没有确定用户经历消极情绪，则服务提供器250可以不提供与驾驶环境相对应的车辆服务。
因此，存在导致用户经历负面情绪的各种驾驶环境因素(例如，交通拥堵、突然停车或者行驶时的攻击性驾驶)。
然而，即使发生导致消极情绪的驾驶环境因素，驾驶员也未必总是发生消极改变，并且在频繁产生的驾驶环境因素的情况下，如果每当用户识别到驾驶环境因素就向用户提供车辆服务，则用户可能相当不便。
例如，当用户预测到交通拥堵时，即使当车辆进入交通拥堵状态时，用户情绪也不会发生消极变化，并且当无论车辆驾驶情况怎样用户都个人感觉良好时，他或她可能会宽宏大量地理解其他人的攻击性驾驶。
在这种情况下，在车辆中特别地提供服务的需要可以较低。
因此，根据本发明，由于上述原因，可以很重要的是：与检测驾驶环境一起识别用户情绪的实际变化以及识别与用户情绪的变化一起发生的情况。
然而，驾驶员表达个人消极情绪的方法因人而异的，因此根据本发明，可以通过面部表情来识别驾驶员情绪，并且可以学习表达个体情绪的方法。
即，根据本发明，可以使用用于识别面部表情的情绪的技术来检测消极情绪。
例如，根据本发明，当基于情绪分类(喜悦、悲伤、愤怒、惊讶、痛苦和厌恶)发生特定情绪时，可以提供与特定情绪相对应的车辆控制和服务。
例如，根据本发明，当响应于驾驶环境(例如，交通拥堵)识别到用户的消极情绪(例如，悲伤)时，可以提供车辆服务(例如，绕行)。
根据本发明，可以单独地学习表达消极情绪的驾驶员的面部表情的方法。
例如，当发生交通拥堵情况或突然停车情况时，即使用户隐含地经历疲倦或惊讶，他或她也可以表达相反的面部表情，例如空洞的笑或微笑。
用户面部表情(例如，空洞的笑或微笑)不对应于用户经历实质愉快情绪的情况，因此根据本发明，可以通过明显区分和识别诸如假笑和真笑的表情方法来提高提供服务的可靠性。
因此，根据本发明，可以通过学习与各个体用户的特定驾驶环境状况相对应的面部表情并且对与各个体用户的驾驶环境状况相对应的情绪进行分类，来减少不必要的服务提供，并且仅提供用户所需的服务。
图3是用于说明学习响应于事件发生的用户面部表情的程序的图。
如图3所示，根据本发明，当学习用户面部表情时，可以根据响应于事件发生的用户面部图像来分析面部表情，可以对与分析的面部表情相对应的情绪表现进行分类，并且可以结合分类的情绪表现和相对应的事件来学习各驾驶环境的用户面部表情。
在此，根据本发明，当分析面部表情时，可以根据用户面部图像计算积极性-兴奋性指数310，并且可以基于计算的积极性-兴奋性指数310来分析面部表情。
如图3所示，可以基于积极性-兴奋性指数310，通过多次执行的行驶，来获取与特定驾驶事件发生相对应的情绪的多条信息，可以基于获取的关于情绪的信息对特定范围内的积极性-兴奋性指数310进行分组，并且可以将相应的情绪指数组300分类为特定情绪以识别用户情绪。
因此，根据本发明，可以如下识别用户情绪。
首先，根据本发明，可以通过预处理过程对通过图像传感器(摄像头)获取的原始数据执行图像质量校正和噪声去除，并且可以对输入图像执行特征提取(例如，提取情绪或运动)。
在此，本发明可以将通过使用整体方法(Holistic method)对整个面部图像中的像素值的强度进行建模或表达来检测特征的方法用作情绪特征提取方法。
本发明还可以将通过使用几何逼近方法从面部搜索特征的几何排列和位置来检测特征的方法用作另一种情绪特征提取方法。
根据需要，本发明还可以将通过组合上述两种特征提取方法而获得的主动外观模型(AAM)方法用作另一种情绪特征提取方法。
根据本发明，可以基于提取的特征的模式分类，来对给定图像的状态进行分类。
在此，分类方法可以使用各种方法(例如，使用预定义条件概率表(CPT)的贝叶斯网络、K近邻算法、或人工神经网络)对情绪进行分类。
然后，可以通过后处理过程在多个阶段中重复地对分类的图像的模式进行分类，并且可以输出最终选择的结果作为识别结果，以终止情绪识别过程。
因此，根据本发明，当响应于驾驶环境而发生事件时，可以通过学习所有用户面部表情，来生成平均情绪信息和情绪识别算法。
图4A和图4B是示出积极性和兴奋性指标的图，积极性和兴奋性指标指示取决于驾驶环境的用户情绪的变化。
如图4A和图4B所示，根据本发明，当可以响应于事件发生而获取用户面部图像时，可以基于针对各驾驶环境学习的用户面部表情来确定用户是否经历消极情绪。
在此，根据本发明，当基于获取的用户面部图像的用户面部表情与针对各驾驶环境学习的用户面部表情彼此不同时，可以基于针对各驾驶环境学习的用户面部表情来确定用户是否经历消极情绪。
例如，根据本发明，当基于获取的用户面部图像的用户面部表情是用户的积极情绪而针对各驾驶环境学习的用户面部表情是用户的消极情绪时，可以基于针对各驾驶环境学习的用户面部表情，来确定用户经历消极情绪。
在另一示例中，当基于获取的用户面部图像的用户面部表情是用户的消极情绪而针对各驾驶环境学习的用户面部表情是用户的积极情绪时，可以基于针对各驾驶环境学习的用户面部表情，来确定用户经历积极情绪。
如图4A和图4B所示，根据本发明，可以将与积极性-兴奋性指数310相对应的情绪指数组300分类为特定情绪以识别用户情绪。
例如，如图4A所示，当用户在交通拥堵情况下具有惊讶表情或空洞的笑的表情时，可以学习到：通过与交通拥堵情况相对应的惊讶或笑的表情，来表现情绪改变。
根据本发明，当学习的用户情绪在交通拥堵情况下改变时，可以提供诸如引导到旁路的服务。
相反，根据本发明，当用户在交通拥堵状况中具有愤怒表情和悲伤表情时，可以确定：当前表情不是用户用于表现交通拥堵情况的一般情绪表现，并且可以不提供服务。
即，根据本发明，可以确定用户的愤怒表情和悲伤表情在交通拥堵情况时意外出现，并且当前表情是用户出于与交通拥堵情况无关的不同原因的情绪表现。
根据需要，如图4B所示，当用户在交通拥堵情况下具有蔑视、悲伤或生气的表情时，可以学习到：通过与交通拥堵情况相对应的蔑视、悲伤或生气的表情，来表现情绪改变。
根据本发明，当学习的用户情绪在交通拥堵情况下改变时，可以提供诸如引导到旁路的服务。
相反，根据本发明，当用户在交通拥堵状况中具有笑的表情时，可以确定：当前表情不是用户用于表现交通拥堵情况的一般情绪表现，并且可以不提供服务。
即，根据本发明，可以确定用户的笑表情在交通拥堵情况时意外出现，并且当前表情是用户出于与交通拥堵情况无关的不同原因的情绪表现。
图5是示出根据本发明第一实施方式的、提供车辆服务提供装置的车辆服务的方法的流程图。
如图5所示，根据本发明，可通过关于驾驶环境的信息来识别特定事件(S110)。
在此，根据本发明，可以基于从车辆的传感器(例如，诸如摄像头、激光雷达传感器等的图像传感器)接收的信息来监视驾驶环境，并且可以通过关于监视的驾驶环境的信息来识别特定事件。
根据本发明，可以响应于事件发生来获取用户面部图像(S120)。
然后，根据本发明，可以基于响应于事件发生的用户面部图像，来存储各事件的用户面部图像(S130)。
当确保足够数量的累积面部图像时，即，当存储的面部图像的数量等于或大于N时，可以生成用于针对各事件学习驾驶员的面部表情并且对各事件的驾驶员情绪进行分类的算法(S160)。在一个示例中，N是预定自然数。例如，N是3、4、5或更大。
在此，根据本发明，可以根据响应于事件发生的用户面部图像来分析面部表情，可以对与分析的面部表情相对应的情绪表现进行分类，并且可以结合分类的情绪表现和相对应的事件来学习各驾驶环境的面部表情。
例如，根据本发明，可以根据用户面部图像计算积极性和兴奋性指数，并且可以基于计算的积极性和兴奋性指数来分析面部表情。
然后，根据本发明，可以基于学习的用户面部表情来确定用户是否经历消极情绪(S140)。
在此，当获取了响应于事件发生的用户面部图像时，可以基于针对各驾驶环境学习的用户面部表情来确定用户是否经历消极情绪。
例如，根据本发明，当基于获取的用户面部图像的用户面部表情与针对各驾驶环境学习的用户面部表情彼此不同时，可以基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历消极情绪。
根据本发明，当确定用户经历消极情绪时，可以提供与驾驶环境相对应的车辆服务(S150)。
在此，根据本发明，当确定用户经历消极情绪时，可以提取与驾驶环境相对应的车辆服务的信息，并且可以基于提取的关于车辆服务的信息，来提供包括车辆控制服务或用户便利服务中的至少一者的车辆服务。
根据本发明，当确定用户未经历消极情绪时，可以不提供与驾驶环境相对应的车辆服务。
图6是示出根据本发明第二实施方式的、提供车辆服务提供装置的车辆服务的方法的流程图。
如图6所示，根据本发明，可通过关于驾驶环境的信息来识别特定事件(S210)。
在此，根据本发明，可以基于从车辆的传感器接收的信息来监视驾驶环境，并且可以通过关于监视的驾驶环境的信息来识别特定事件。
根据本发明，可以响应于事件发生来获取用户面部图像(S220)。
然后，根据本发明，可以检查用户是否响应于事件发生而操纵车辆的界面和功能(S230)。
然后，根据本发明，当用户操纵车辆的界面和功能时，可以基于响应于事件发生的用户面部图像，存储各事件的用户面部图像(S240)。
当确保足够数量的累积面部图像时，即，当存储的面部图像的数量等于或大于n时，可以生成用于针对各事件学习驾驶员的面部表情并且对各事件的驾驶员情绪进行分类的算法(S280)。
在此，根据本发明，当用户操纵车辆的界面和功能时，可以根据响应于事件发生的用户面部图像来分析面部表情，可以对与分析的面部表情相对应的情绪表现进行分类，并且可以结合分类的情绪表现和相对应的事件来学习各驾驶环境的面部表情。
例如，根据本发明，可以根据用户面部图像计算积极性和兴奋性指数，并且可以基于计算的积极性和兴奋性指数来分析面部表情。
根据本发明，当用户未操纵车辆的界面和功能时，可以删除获取的面部图像(S270)。
然后，根据本发明，可以基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历消极情绪(S250)。
在此，根据本发明，当获取了响应于事件发生的用户面部图像时，可以基于针对各驾驶环境学习的用户面部表情来确定用户是否经历消极情绪。
例如，根据本发明，当基于获取的用户面部图像的用户面部表情与针对各驾驶环境学习的用户面部表情彼此不同时，可以基于针对各驾驶环境学习的用户面部表情来确定用户是否经历消极情绪。
根据本发明，当确定用户经历消极情绪时，可以提供与驾驶环境相对应的车辆服务(S260)。
在此，根据本发明，当确定用户经历消极情绪时，可以提取与驾驶环境相对应的车辆服务的信息，并且可以基于提取的关于车辆服务的信息，来提供包括车辆控制服务或用户便利服务中的至少一者的车辆服务。
根据本发明，当未确定用户经历消极情绪时，可以不提供与驾驶环境相对应的车辆服务。
根据本发明，记录有用于执行基于个体情绪识别提供车辆服务提供装置的车辆服务的方法的程序的计算机可读记录介质(例如，非暂时性计算机可读记录介质)，可以执行由基于个体情绪识别提供车辆服务提供装置的车辆服务的方法提供的程序。
因此，本发明可以通过基于与驾驶环境相对应的用户面部表情，来识别用户的隐含情绪，提供车辆服务，从而提高便利性和安全性。
本发明可以提供用于提供个性化用户情绪识别和定制的基于情绪的服务的技术，并且可以基于主要在特定驾驶环境出现时出现的用户面部表情，通过对用户情绪进行分类，来准确地识别用户的隐含情绪，从而提高可靠性。
因此，通过考虑到用于表达情绪的方法和程度因人而异，本发明可以提供个体定制的情绪识别系统，而不是统一的情绪识别系统。
如上配置的、与本发明的至少一个实施方式相关的、基于个体情绪识别来提供车辆服务提供装置的车辆服务的方法，可以基于与驾驶环境相对应的用户面部表情。通过识别用户的隐含情绪来提供车辆服务，从而提高便利性和安全性。
本发明可以提供用于提供个性化用户情绪识别和定制的基于情绪的服务的技术，并且可以基于主要在特定驾驶环境出现时出现的用户面部表情，通过对用户情绪进行分类，来准确地识别用户的隐含情绪，从而提高可靠性。
因此，通过考虑到用于表达情绪的方法和程度因人而异，本发明可以提供个体定制的情绪识别系统，而不是统一的情绪识别系统。
本领域技术人员将理解，本发明可以实现的效果不限于以上已经具体描述的，并且根据详细描述将更加清楚地理解本发明的其他优点。
上述本发明还可以实施为存储在计算机可读记录介质(例如，非暂时性计算机可读记录介质)上的计算机可读代码。例如，通过车辆服务提供装置200和/或单独部件执行的方法或操作可以实现为存储在存储器上的计算机可读代码，存储器实现为例如计算机可读记录介质(例如，非暂时性计算机可读记录介质)。计算机可读记录介质是可以存储随后可通过计算机读取的数据的任何数据存储设备。计算机可读记录介质的示例包括硬盘驱动器(HDD)、固态驱动器(SSD)、硅片驱动器(SDD)、只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储设备等。在一个示例中，车辆服务提供装置200可以包括计算机、处理器或微处理器。当计算机、处理器或微处理器读取并执行存储在计算机可读记录介质中的计算机可读代码时，计算机、处理器或微处理器可以配置为执行上述操作/方法。或者，事件确定器210、表情学习器230、情绪确定器240以及服务提供器250可以各自或一起包括计算机、处理器或微处理器。当计算机、处理器或微处理器读取并执行存储在计算机可读记录介质中的计算机可读代码时，计算机、处理器或微处理器可以配置为与图像获取器220一起执行上述操作/方法。
对于本领域技术人员显而易见的是，在不脱离实施方式的精神和范围的情况下，可以对本发明进行各种变形和变化。因此，只要变形和变化落入所附权利要求及其等同物的范围内，本发明旨在覆盖实施方式的变形和变化。

Claims (20)

1.一种提供车辆服务的装置，所述装置包括：
处理器，配置为基于关于驾驶环境的信息，来确定是否发生事件；以及
图像获取设备，配置为获取响应于事件发生的用户面部图像；
其中，所述处理器还配置为：
基于响应于所述事件发生的用户面部图像，来学习用户面部表情；并且
基于所学习的用户面部表情，来确定用户是否经历特定情绪，并且
所述装置还包括：服务提供器，配置为当确定用户经历所述特定情绪时，提供与所述驾驶环境相对应的车辆服务。
2.根据权利要求1所述的装置，其中，所述处理器基于从车辆的传感器接收的信息，来监视所述驾驶环境，并且确定是否响应于所监视的驾驶环境而发生所述事件。
3.根据权利要求1所述的装置，其中，所述图像获取设备安装在车辆的室内区域中，并且包括配置为拍摄用户的面部以获取用户面部图像的摄像头。
4.根据权利要求1所述的装置，其中，所述处理器根据响应于所述事件发生的用户面部图像，来分析面部表情，对与所分析的面部表情相对应的情绪表现进行分类，并且结合所分类的情绪表现和相对应的事件来学习各驾驶环境的面部表情。
5.根据权利要求4所述的装置，其中，当分析所述面部表情时，所述处理器根据用户面部图像，来计算积极性和兴奋性指数，并且基于所计算的积极性和兴奋性指数，来分析所述面部表情。
6.根据权利要求1所述的装置，其中，所述处理器检查用户是否响应于所述事件发生而操纵车辆的界面和功能，并且当用户操纵所述车辆的界面和功能时，所述处理器根据响应于所述事件发生的用户面部图像来分析面部表情，对与所分析的面部表情相对应的情绪表现进行分类，并且结合所分类的情绪表现和相对应的事件来学习各驾驶环境的用户面部表情。
7.根据权利要求6所述的装置，其中，当检查用户是否操纵所述车辆的界面和功能时，当用户未操纵所述车辆的界面和功能时，所述处理器删除所获取的用户面部图像。
8.根据权利要求1所述的装置，其中，当获取响应于所述事件发生的用户面部图像时，所述处理器基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历所述特定情绪。
9.根据权利要求1所述的装置，其中，当确定用户是否经历所述特定情绪时，当基于所获取的用户面部图像的用户面部表情与针对各驾驶环境学习的用户面部表情彼此不同时，所述处理器基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历所述特定情绪。
10.根据权利要求1所述的装置，其中，当提供所述车辆服务时，如果确定用户经历所述特定情绪，则所述服务提供器提取与所述驾驶环境相对应的车辆服务的信息，并且基于所提取的车辆服务的信息，来提供包括车辆控制服务或用户便利服务中的至少一者的车辆服务。
11.根据权利要求1所述的装置，其中，当提供所述车辆服务时，如果确定用户未经历所述特定情绪，则所述服务提供器不提供与所述驾驶环境相对应的车辆服务。
12.一种提供车辆服务的方法，所述方法包括以下步骤：
通过处理器，基于关于驾驶环境的信息，来确定是否发生事件；
通过图像获取设备，获取响应于事件发生的用户面部图像；
通过所述处理器，基于响应于所述事件发生的用户面部图像，来学习用户面部表情；
通过所述处理器，基于所学习的用户面部表情，来确定用户是否经历特定情绪；以及
当确定用户经历所述特定情绪时，通过服务提供器，提供与所述驾驶环境相对应的车辆服务。
13.根据权利要求12所述的方法，其中，基于关于所述驾驶环境的信息确定是否发生所述事件的步骤包括：基于从车辆的传感器接收的信息来监视所述驾驶环境，并且确定是否响应于所监视的驾驶环境发生所述事件。
14.根据权利要求12所述的方法，其中，学习用户面部表情的步骤包括：
根据响应于所述事件发生的用户面部图像，来分析面部表情；
对与所分析的面部表情相对应的情绪表现进行分类；以及
结合所分类的情绪表现与相对应的事件，来学习各驾驶环境的面部表情。
15.根据权利要求12所述的方法，其中，确定用户是否经历所述特定情绪的步骤包括：当获取响应于所述事件发生的用户面部图像时，基于针对各驾驶环境学习的用户面部表情，来确定用户是否经历所述特定情绪。
16.一种提供车辆服务的方法，所述方法包括以下步骤：
通过处理器，确定是否响应于驾驶环境发生事件；
通过图像获取设备，获取响应于事件发生的用户面部图像；
通过所述处理器，检查用户是否响应于所述事件发生而操纵车辆的界面和功能；
当用户操纵所述车辆的界面和功能时，通过所述处理器，基于响应于所述事件发生的用户面部图像，来学习用户面部表情；
通过所述处理器，基于所学习的用户面部表情，来确定用户是否经历特定情绪；以及
当确定用户经历所述特定情绪时，通过服务提供器，提供与所述驾驶环境相对应的车辆服务。
17.根据权利要求16所述的方法，其中，学习用户面部表情的步骤包括：当用户操纵所述车辆的界面和功能时，根据响应于所述事件发生的用户面部图像来分析面部表情，对与所分析的面部表情相对应的情绪表现进行分类，以及结合所分类的情绪表现和相对应的事件来学习各驾驶环境的用户面部表情。
18.根据权利要求16所述的方法，其中，学习用户面部表情的步骤包括：当检查用户是否操纵所述车辆的界面和功能时，当用户未操纵所述车辆的界面和功能时，删除所获取的用户面部图像。
19.一种非暂时性计算机可读记录介质，具有记录于其上的、用于执行根据权利要求12所述的方法的程序。
20.一种车辆，包括：
感测装置，配置为感测驾驶环境；以及
车辆服务提供装置，配置为基于与所述驾驶环境相对应的用户面部表情，来提供车辆服务，
其中，所述车辆服务提供装置配置为：当响应于所述驾驶环境发生事件时，获取响应于事件发生的用户面部图像，基于响应于所述事件发生的用户面部图像来学习用户面部表情，基于所学习的用户面部表情来确定用户是否经历特定情绪，并且当确定用户经历所述特定情绪时，提供与所述驾驶环境相对应的车辆服务。
CN202011383455.8A 2020-07-29 2020-12-01 基于个体情绪识别提供车辆服务的装置和方法 Pending CN114092987A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0094340 2020-07-29
KR1020200094340A KR20220014579A (ko) 2020-07-29 2020-07-29 개인별 감정 인식 기반 차량 서비스 제공 장치 및 그의 차량 서비스 제공 방법

Publications (1)

Publication Number Publication Date
CN114092987A true CN114092987A (zh) 2022-02-25

Family

ID=80004444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011383455.8A Pending CN114092987A (zh) 2020-07-29 2020-12-01 基于个体情绪识别提供车辆服务的装置和方法

Country Status (3)

Country Link
US (1) US11393249B2 (zh)
KR (1) KR20220014579A (zh)
CN (1) CN114092987A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092664B (zh) * 2017-03-30 2020-04-28 华为技术有限公司 一种内容解释方法及装置
US11687155B2 (en) * 2021-05-13 2023-06-27 Toyota Research Institute, Inc. Method for vehicle eye tracking system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US11410438B2 (en) * 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US20170095192A1 (en) * 2010-06-07 2017-04-06 Affectiva, Inc. Mental state analysis using web servers
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
KR101901417B1 (ko) 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
WO2018096688A1 (ja) 2016-11-28 2018-05-31 本田技研工業株式会社 運転支援装置、運転支援システム、プログラム及び運転支援装置の制御方法
WO2019183612A1 (en) * 2018-03-23 2019-09-26 Koniku Inc. Methods of predicting emotional response to sensory stimuli based on individual traits
EP3837137A4 (en) * 2018-06-26 2022-07-13 Itay Katz CONTEXT DRIVER MONITORING SYSTEM
US20200082188A1 (en) * 2018-09-07 2020-03-12 Gauss Moto, Inc. Methods and systems for real-time monitoring of vehicles
KR20200029716A (ko) * 2018-09-11 2020-03-19 현대자동차주식회사 차량 및 차량의 제어방법
KR20200093090A (ko) * 2019-01-07 2020-08-05 현대자동차주식회사 차량 및 그 제어방법
US10960838B2 (en) * 2019-01-30 2021-03-30 Cobalt Industries Inc. Multi-sensor data fusion for automotive systems

Also Published As

Publication number Publication date
US20220036049A1 (en) 2022-02-03
KR20220014579A (ko) 2022-02-07
US11393249B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
Omidyeganeh et al. Yawning detection using embedded smart cameras
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
KR102385874B1 (ko) 3차원 시선 벡터를 이용한 차량 탑승자 참여
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
Chiou et al. Driver monitoring using sparse representation with part-based temporal face descriptors
Tawari et al. Face expression recognition by cross modal data association
EP2474163A2 (en) Foreground object detection in a video surveillance system
CN107688790B (zh) 人体行为识别方法、装置、存储介质及电子设备
Wimmer et al. Low-level fusion of audio and video feature for multi-modal emotion recognition
CN114092987A (zh) 基于个体情绪识别提供车辆服务的装置和方法
US20080175447A1 (en) Face view determining apparatus and method, and face detection apparatus and method employing the same
Paleari et al. Evidence theory-based multimodal emotion recognition
CN112307816A (zh) 车内图像获取方法、装置以及电子设备、存储介质
Oh et al. Using binary decision tree and multiclass SVM for human gesture recognition
JP5648452B2 (ja) 画像処理プログラムおよび画像処理装置
CN115471824A (zh) 眼部状态检测方法、装置、电子设备和存储介质
JP2007280219A (ja) 動きパターン認識装置、動きパターン認識方法及び動きパターン認識プログラム
US20030123734A1 (en) Methods and apparatus for object recognition
Pant et al. Driver's Companion-Drowsiness Detection and Emotion Based Music Recommendation System
Roy et al. Ear Biometric: A Deep Learning Approach
US20220036048A1 (en) Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
CN111753583A (zh) 一种识别方法及装置
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质
CN115862597A (zh) 人物类型的确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination