CN115402333A - 基于驾驶员情绪的车内互动控制系统、方法及存储介质 - Google Patents
基于驾驶员情绪的车内互动控制系统、方法及存储介质 Download PDFInfo
- Publication number
- CN115402333A CN115402333A CN202210809333.3A CN202210809333A CN115402333A CN 115402333 A CN115402333 A CN 115402333A CN 202210809333 A CN202210809333 A CN 202210809333A CN 115402333 A CN115402333 A CN 115402333A
- Authority
- CN
- China
- Prior art keywords
- emotion
- image
- driver
- vehicle
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003993 interaction Effects 0.000 title claims abstract description 21
- 230000008921 facial expression Effects 0.000 claims abstract description 40
- 230000002452 interceptive effect Effects 0.000 claims abstract description 24
- 230000001815 facial effect Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000003068 static effect Effects 0.000 claims abstract description 9
- 238000010191 image analysis Methods 0.000 claims abstract description 5
- 230000014509 gene expression Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000036651 mood Effects 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 2
- 238000010008 shearing Methods 0.000 claims 2
- 238000009966 trimming Methods 0.000 claims 1
- 239000003086 colorant Substances 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000007935 neutral effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000008909 emotion recognition Effects 0.000 description 6
- 230000002040 relaxant effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明公开了一种基于驾驶员情绪的车内互动控制系统、方法及存储介质。该系统包括图像获取单元，用于通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列，并对所采集到的图像进行传输；图像分析单元，用于对图像获取单元采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，以得到面部表情分类结果；控制单元，用于基于获取到的面部表情分类结果，对情绪类型进行情绪管理，以生成对应的车内互动控制方案。本发明基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。
Description
技术领域
本发明涉及汽车控制技术领域，特别是涉及一种基于驾驶员情绪的车内互动控制系统、方法及存储介质。
背景技术
随着汽车电子技术的发展，汽车照明除了最初的功能性照明以外，用户越来越注重舒适性、个性化照明，汽车氛围灯应运而生。汽车氛围灯作为一种装饰汽车和烘托气氛的产品，逐渐从高端车型向中低档车型普及，恰到好处的氛围灯显示可以给人营造一个放松舒适的驾驶环境，从而使驾驶员身心愉悦，舒缓心灵。
现有的车内灯光或者音乐大多数需要人为去控制，不兼具自动调节的功能，或者是情绪识别准确性不高，使得驾驶者在人机交互体验感不佳。
发明内容
为此，本发明的一个实施例提出一种基于驾驶员情绪的车内互动控制系统，以提升人机交互体验。
根据本发明一实施例的基于驾驶员情绪的车内互动控制系统，包括：
图像获取单元，用于通过车载摄像机对驾驶员的面部进行图像采集，获取静态图像或动态图像序列，并将所采集到的图像进行传输，所述的图像获取单元需适应多种工况，包括白天、夜晚、顺光、逆光等。
图像分析单元，由车载摄像头采集驾驶员面部信息如眉、眼、鼻、嘴和面部轮廓的数据变化，图像分析单元对采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，最终得到面部表情分类结果。此处将情绪分为三类，包括开心、难过、中立。开心分为三个等级：一般开心、很开心、非常开心；难过分为三个等级：一般难过、很难过、非常难过；
控制单元，此处可以是座舱域控制器，用于基于获取到的面部表情结果，对情绪类型进行情绪管理，生成对应的车内互动控制方案。
进一步地，所述控制单元包括数据缓冲池、情绪管理模块、氛围灯控制模块和音乐控制模块。数据缓冲池用于存储预设好的音乐，情绪管理模块通过所获取到的情绪类别及等级，对不同情绪进行分类管理，如识别到情绪1的第1个等级，情绪管理模块需生成对应的氛围灯显示方案及音乐播放方案，并将生成的方案通过信号传输的方式发送给氛围灯控制模块和音乐控制模块，氛围灯控制模块驱动氛围灯按指令进行显示，音乐控制模块驱动数据缓冲池中的音乐进行播放。
其中，情感与色彩的研究比较多，比如现在比较流行的色彩心理学，红色能让人兴奋，给人以速度、激情、热烈等情绪；黄色比较明亮，给人以青春、乐观、豁达的感觉；绿色代表自然、和平、友善；粉色代表轻盈、柔美；橙色代表积极、进取、活力；紫色代表浪漫、冷静、神秘；白色代表纯净、干净、素雅等。
此外，所述车内互动控制系统还包括执行单元，执行单元包含氛围灯及扬声器，执行单元是基于氛围灯控制模块和音乐控制模块，并执行对应的氛围灯显示以及音乐播放。所述的显示单元可以安装在车门储物盒、车门把手、车门装饰条、脚踏板周边、中控台、仪表盘等部位。扬声器分为前扬声器、后扬声器、左扬声器、右扬声器。
在日常生活和工作中，人们情感的表达方式主要有语言、声音、肢体行为、面部表情等，而在这些行为方式中，根据本发明实施例提供的基于驾驶员情绪的车内互动控制系统，通过识别面部表情来判断驾驶员情绪，能够提升情绪识别准确性。基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。
本发明的另一个实施例提出一种基于驾驶员情绪的车内互动控制方法，以提升人机交互体验。
根据本发明实施例的基于驾驶员情绪的车内互动控制方法，包括：
步骤1：采集车内驾驶员的面部图像并进行传输。
通过车载摄像头等图像捕捉工具获取静态图像或动态图像序列，该车载摄像机需能适应各种光源环境，包括白天、夜晚、顺光、逆光等，即使在夜间、逆光等环境下，也能采集到高品质的图像。
步骤2：对采集到的图像进行处理，识别出驾驶员的情绪类别及等级。
面部情绪识别的应用步骤有：(1)图像预处理：通过车载摄像头等图像捕捉工具获取静态图像或动态图像序列，然后执行图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。(2)特征提取:将点阵转化成更高级别图像表述，如形状、运动、颜色、纹理、空间结构等，在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。(3)分类判别：包括设计和分类决策。判断识别到的表情，与预存的表情库做对比。
所述的图像预处理，是指提取仅具有面部的图像部分，对面部特征区域进行分割和归一化，头部姿态矫正，其中执行归一化主要是对面部光照和位置进行统一处理，将图像统一重塑为标准大小。归一化分为两个主要步骤：面部校正和面部修剪，主要目的是将图像转化为统一大小，具体步骤包括：(1)找到特征点并对其进行标记，首先选取两眼和鼻子作为三个特征点并采用一个函数对其进行标记，该操作的主要目的是获得特征点的坐标值，可以用鼠标进行调整。(2)两眼的坐标值可以看作参考点，将两眼之间的距离设置为d，找到两眼间的中点并标记为O，然后根据参考点对图像进行旋转,这步操作是为了保证将人脸图像调到一致。(3)进一步的地，以选定的O为基准，分别向左右两个方向各剪切距离为d的区域，在垂直方向剪切0.5d和1.5d的区域，进而可以根据面部特征点和几何模型对特征区域进行确定。为了更好的对表情进行提取，可将表情的子区域图像裁剪成统一像素。
所述的面部表情特征提取，主要通过卷积神经网络(CNN)来实现，将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。卷积神经网络是一种前馈神经网络，它包括卷积计算并具有较深的结构，因此是深度学习的代表性算法之一。
进一步地，面部表情分类包括设计和分类决策，判断识别到的表情，与预存的表情库做对比，识别出驾驶员的情绪类别及等级，所述的面部表情分类结果包括但不仅限于开心、难过、中立等。此处将情绪分为三类，包括开心、难过、中立。开心分为三个等级：一般开心、很开心、非常开心；难过分为三个等级：一般难过、很难过、非常难过；
如果坐标差值在预设范围1，表示用户情绪为“开心”，进一步，如果坐标差异在预设范围1中的上段部分，表示一般开心，中段部分，表示很开心；下段部分，表示非常开心。如果坐标差值在预设范围2，表示用户情绪为“难过”，进一步，如果坐标差异在预设范围2中的上段部分，表示一般难过，中段部分，表示很难过；下段部分，表示非常难过。如果坐标差值在预设范围3，表示用户情绪为“中立”。
步骤3：据获取到的情绪类别以及等级，通过座舱域控制器进行用户情绪管理处理，形成对应的车内互动控制方案。
所述的情绪管理指的是，座舱域控制器在获取到情绪类别及等级后，映射到相应的氛围灯颜色及音乐。例如，氛围灯颜色包含64种，预设“开心”对应的氛围灯颜色色彩范围为a(第1-21种)，对应的音乐为音乐库1；进一步地，开心程度分为三个等级，一般开心、很开心、非常开心，“一般开心”对应氛围灯颜色范围a中的第1-7种，对应音乐库1中的第一首音乐；“很开心”对应氛围灯颜色范围a中的第8-14种，对应音乐库1中的第二首音乐；“非常开心”对应氛围灯颜色范围a中的第15-21种，对应音乐库1中的第三首音乐。类似地，预设“难过”对应的氛围灯颜色色彩范围为b(第22-42种)，对应的音乐为音乐库2；进一步地，难过程度分为三个等级，一般难过、很难过、非常难过，“一般难过”对应氛围灯颜色范围b中的第22-29种，对应音乐库2中的第一首音乐；“很难过”对应氛围灯颜色范围b中的第30-37种，对应音乐库2中的第二首音乐；“非常难过”对应氛围灯颜色范围b中的第37-42种，对应音乐库2中的第三首音乐。预设中立对应的氛围灯颜色为第43-64种，对应的音乐为音乐库3。
此处所描述的氛围灯范围显示方法可以是循环显示，假设驾驶员情绪类别为一般开心，显示的方法为第1-7种颜色循环显示，每种颜色需控制显示的时间t。
步骤4：基于车内互动控制方案，控制车内氛围灯的显示及音乐播放。
其中，车内氛围灯包含但不仅限于仪表台氛围灯带、左门板氛围灯带、右门板氛围灯带、中控氛围灯带，氛围灯需根据座舱域控制器所生成的显示方案进行执行。音乐存储于数据缓冲池中，由座舱域控制器调用并通过扬声器进行播放。
在日常生活和工作中，人们情感的表达方式主要有语言、声音、肢体行为、面部表情等，而在这些行为方式中，根据本发明实施例提供的基于驾驶员情绪的车内互动控制方法，通过识别面部表情来判断驾驶员情绪，能够提升情绪识别准确性。基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。
此外，本发明还提供一种存储介质，具体是可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于驾驶员情绪的车内互动控制方法。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明第一实施例的基于驾驶员情绪的车内互动控制系统的结构框图；
图2是根据本发明第二实施例的基于驾驶员情绪的车内互动控制方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例
请参阅图1，本发明第一实施例提供的基于驾驶员情绪的车内互动控制系统构成，可应用于座舱域控制系统中，主要包括图像获取单元、图像分析单元、控制单元以及执行单元。
其中图像获取单元，用于在整车上电后，获取驾驶员的面部图像信息，该图像可以是静态图像或动态图像序列。由于汽车驾驶工况比较复杂，可能会遇到夜晚、逆光等环境，因此该图像获取单元需要在夜晚、逆光的环境下，也能保证采集到高品质的图像。
图像分析单元，图像分析单元对采集到的图像进行图像预处理、面部表情特征提取、面部表情分类。其中，图像预处理是指通过车载摄像头等图像捕捉工具获取静态图像或动态图像序列，然后执行图像的大小和灰度的归一化，头部姿态的矫正，图像分割等；特征提取指的是将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。面部表情分类指的是判断识别到的面部表情，与预存的表情库做对比，识别出输入的面部表情类型。
控制单元，此处可以是座舱域控制器，基于获取到的面部表情结果，对情绪类型进行情绪管理，生成对应的车内互动控制方案，将其集成到座舱域控制器的优点有：便于氛围灯显示策略及音乐播放策略的统一管理，无需单独的氛围灯控制器及音乐控制器，同时也能降低因不同模块之间交互信号指令错发或者延时发送的风险。
所述控制单元包括数据缓冲池、情绪管理模块、氛围灯控制模块和音乐控制模块。数据缓冲池用于存储预设好的音乐，情绪管理模块通过所获取到的情绪类别及等级，对不同情绪进行分类管理，氛围灯控制模块驱动氛围灯按指令进行显示，音乐控制模块驱动数据缓冲池中的音乐进行播放。如果识别到驾驶员的情绪为开心，情绪管理模块则向氛围灯控制模块发送红色、粉色、橙色三种颜色交替显示的指令，每种颜色显示时间为1s，同时，情绪管理模块向音乐控制模块发送调用数据缓冲池中定义为开心的音乐，如“最炫民族风”，并且控制全部扬声器进行播放，音量设置成90％，营造一种激情、速度氛围，让驾驶员感到汽车犹如自己的朋友一样因自己开心而开心。如果识别到驾驶员的情绪为难过，情绪管理模块则向氛围灯控制模块发送蓝色、粉色、橙色三种颜色交替显示的指令，每种颜色显示时间为3s，同时，情绪管理模块向音乐控制模块发送调用数据缓冲池中定义为舒缓放松的轻音乐，如“Windy Hill”，并且控制全部扬声器进行播放,音量设置成50％，使驾驶员的心情得到舒缓、安慰，逐渐平静下来。如果识别到驾驶员的情绪为中立，即面无表情，情绪管理模块则向氛围灯控制模块发送黄色、紫色、白色三种颜色交替显示的指令，每种颜色显示时间为5s，同时，情绪管理模块向音乐控制模块发送调用数据缓冲池中音乐，此处可以是随机调用音乐库中的任意音乐，并且控制全部扬声器进行播放,音量设置成75％。
执行单元，本实施例的执行单元包含6路氛围灯及4路扬声器，执行单元是基于控制单元的控制策略执行对应的氛围灯显示以及音乐调用播放。其中，6路氛围灯分别安装在车门储物盒、车门把手、车门装饰条、脚踏板周边、中控台、仪表盘等部位，扬声器分为前左扬声器、前右扬声器、后左扬声器、后右扬声器。
在日常生活和工作中，人们情感的表达方式主要有语言、声音、肢体行为、面部表情等，而在这些行为方式中，根据本发明实施例提供的基于驾驶员情绪的车内互动控制系统，通过识别面部表情来判断驾驶员情绪，能够提升情绪识别准确性。基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。
第二实施例
请参阅图2，所示为本发明第二实施例中的基于驾驶员情绪的车内互动控制方法，可应用于座舱域控制系统中，所述方法具体包括步骤S1-S9。
步骤S1，IGN ON整车上电。
IGN ON整车上电用于给基于情绪的车内互动控制系统供电，所有的流程均需在IGN ON的状态下进行。
步骤S2，红外摄像头获取静态图像或者动态的图像序列。
本实施例中，采用红外摄像头获取静态图像或者动态的图像序列，此操作的主要目的是为了提供需进行面部识别的图片来源。采用红外摄像机采集图像，主要原因是红外摄像机能适应各种光源环境，包括白天、夜晚、顺光、逆光等，即使在夜间、逆光等环境下，也能采集到高品质的图像。同时，在驾驶员佩戴眼镜、墨镜等情况下由于红外特性可以穿透墨镜镜片，被遮挡的部位也能正常成像，很好地解决了驾驶员眼镜反光或佩戴墨镜的问题。
步骤S3，将图像发送至目标检测器检测人脸。
人脸检测是对图像中的每个像素判断是否具有人脸属性，通常采集到的原图像中含有大量的背景区域，对人脸表情识别来讲，只需其中包含人脸区域的部分图像，其余背景信息属于冗余部分需要提前去除，因此需要建立人脸检测模型，通过人脸检测算法将原图像中的人脸区域检测出来并进行提取。
步骤S4，通过检测人脸关键点将人脸对齐。
人脸检测得到的初始人脸图像姿态千差万别，若直接应用，则需要处理很多冗余信息以及容易出现人脸角度偏转等问题，因此需要通过人脸对齐将人脸检测获得的人脸标准化，即使人脸处于图像中心，眼睛处于同一水平线，再进行缩放，使得面部的大小大致相同。
步骤S5，对人脸图像进行归一化处理。
通常情况下，人脸检测及对齐后的人脸图片不能直接进行特征提取，还需进行尺度归一化和灰度归一化，其中尺度归一化的目的是去除冗余信息使图像尺寸相同，灰度归一化主要目的是减弱光照的影响，使图像层次更加清晰。此处预设归一化处理后的图片大小为48*48像素。
步骤S6，通过卷积神经网络进行特征提取。
人脸表情图像在经过了预处理之后，去除了部分背景信息，但脸部仍有其他冗余信息，需要从中有效地提取出特征信息，如眉毛、眼睛、嘴巴的位置信息，通过卷积神经网络自动提取特征并进行分类预测。卷积神经网络自动提取层次特征的能力在计算机视觉领域表现卓越，此处不再进行过多的赘述，要求面部表情识别的准确率不低于95％。
步骤S7，对表情进行情绪分类。
通过提取出来的特征信息，将识别到的面部特征信息与预存的表情库做对比，识别出输入的面部表情类型，进而判断出驾驶员的情绪，此处将情绪类别大致分为开心、难过、中立。
步骤S8，域控制器根据情绪管理策略生成对应氛围灯显示方案。
如果获取到驾驶员情绪类别为开心或中立，则显示代表热情、激动、喜悦的颜色，如红色、橙色，此处预设红色和橙色交替循环显示，每种颜色单次显示时间为1.5S；如果获取到驾驶员情绪类别为难过，则显示代表柔和、希望和理智的颜色，如蓝色、粉色，此处预设蓝色和粉色交替循环显示，每种颜色单次显示时间为5S。
步骤S9，域控制器根据情绪管理策略生成对应音乐播放方案。
在氛围灯执行显示的同时，音乐也需随之匹配，达到使驾驶员身心愉悦、舒适的目的。如果获取到驾驶员情绪类别为开心或中立，控制器则发送指令调用音乐库中定义为happy的音乐，此处预设happy音乐库中的音乐包含50首，这50首音乐随机播放；如果获取到驾驶员情绪类别为难过，控制器则发送指令调用音乐库中定义为sad的音乐，此处预设sad音乐库中的音乐包含50首，这50首音乐随机播放。
在日常生活和工作中，人们情感的表达方式主要有语言、声音、肢体行为、面部表情等，而在这些行为方式中，根据本发明实施例提供的基于驾驶员情绪的车内互动控制方法，通过识别面部表情来判断驾驶员情绪，能够提升情绪识别准确性。基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。
此外，本发明的实施例还提供一种存储介质，具体是可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于驾驶员情绪的车内互动控制方法。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通讯、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于驾驶员情绪的车内互动控制系统，其特征在于，包括：
图像获取单元，用于通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列，并对所采集到的图像进行传输；
图像分析单元，用于对图像获取单元采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，以得到面部表情分类结果；
控制单元，用于基于获取到的面部表情分类结果，对情绪类型进行情绪管理，以生成对应的车内互动控制方案。
2.根据权利要求1所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述控制单元包括数据缓冲池、情绪管理模块、氛围灯控制模块和音乐控制模块；
所述数据缓冲池用于存储预设好的音乐；
所述情绪管理模块用于通过所获取到的情绪类别及等级，对不同情绪进行分类管理，以生成与情绪类别及等级对应的氛围灯显示方案及音乐播放方案，并将生成的方案通过信号传输的方式发送给所述氛围灯控制模块和所述音乐控制模块；
所述氛围灯控制模块用于驱动氛围灯按指令进行显示，所述音乐控制模块驱动所述数据缓冲池中对应的音乐进行播放。
3.根据权利要求2所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述车内互动控制系统还包括执行单元；
所述执行单元包括氛围灯及扬声器，所述执行单元用于基于所述氛围灯控制模块和所述音乐控制模块，执行对应的氛围灯显示以及音乐播放，所述氛围灯安装在车门储物盒、车门把手、车门装饰条、脚踏板周边、中控台、仪表盘中的至少一个位置，扬声器包括前扬声器、后扬声器、左扬声器、右扬声器中的至少一种。
4.根据权利要求1所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述控制单元采用座舱域控制器。
5.一种基于驾驶员情绪的车内互动控制方法，其特征在于，包括：
步骤1：采集车内驾驶员的面部图像并进行传输；
步骤2：对采集到的图像进行处理，识别出驾驶员的情绪类别及等级；
步骤3：根据获取到的情绪类别以及等级，通过座舱域控制器进行用户情绪管理处理，形成对应的车内互动控制方案；
步骤4：基于车内互动控制方案，控制车内氛围灯的显示及音乐播放。
6.根据权利要求5所述的基于驾驶员情绪的车内互动控制方法，其特征在于，步骤1具体包括：
通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列。
7.根据权利要求5所述的基于驾驶员情绪的车内互动控制方法，其特征在于，步骤2具体包括：
(1)图像预处理：对获取到的静态图像或动态图像序列，执行图像的大小和灰度的归一化，头部姿态的矫正，图像分割；
(2)面部表情特征提取：将点阵转化成更高级别图像表述，在尽可能保证稳定性和识别率的前提下，对图像数据进行降维处理；
(3)面部表情分类判别：包括设计和分类决策，判断识别到的表情，与预存的表情库做对比，以得到面部表情分类结果。
8.根据权利要求7所述的基于驾驶员情绪的车内互动控制方法，其特征在于，所述的图像预处理具体为提取仅具有面部的图像部分，对面部特征区域进行分割和归一化，头部姿态矫正，其中，归一化是对面部光照和位置进行统一处理，将图像统一重塑为标准大小；
所述的面部表情特征提取，通过卷积神经网络来实现，将点阵转化成更高级别图像表述，所述更高级别图像表述至少包括形状、运动、颜色、纹理、空间结构；
所述的面部表情分类结果包括开心、难过、中立，开心分为三个等级：一般开心、很开心、非常开心；难过分为三个等级：一般难过、很难过、非常难过。
9.根据权利要求8所述的基于驾驶员情绪的车内互动控制方法，其特征在于，所述的归一化分为两个主要步骤：面部校正和面部修剪，具体步骤包括：(1)找到特征点并对其进行标记，首先选取两眼和鼻子作为三个特征点并采用一个函数对其进行标记，以获得特征点的坐标值；(2)两眼的坐标值看作参考点，将两眼之间的距离设置为d，找到两眼间的中点并标记为O，然后根据参考点对图像进行旋转，以将人脸图像调到一致；(3)以选定的O为基准，分别向左右两个方向各剪切距离为d的区域，在垂直方向剪切0.5d和1.5d的区域，进而根据面部特征点和几何模型对特征区域进行确定。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述权利要求5至9任意一项所述的基于驾驶员情绪的车内互动控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210809333.3A CN115402333A (zh) | 2022-07-11 | 2022-07-11 | 基于驾驶员情绪的车内互动控制系统、方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210809333.3A CN115402333A (zh) | 2022-07-11 | 2022-07-11 | 基于驾驶员情绪的车内互动控制系统、方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115402333A true CN115402333A (zh) | 2022-11-29 |
Family
ID=84158265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210809333.3A Pending CN115402333A (zh) | 2022-07-11 | 2022-07-11 | 基于驾驶员情绪的车内互动控制系统、方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115402333A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117657170A (zh) * | 2024-02-02 | 2024-03-08 | 江西五十铃汽车有限公司 | 一种新能源汽车智能安全和整车控制方法及系统 |
| CN118545613A (zh) * | 2024-07-30 | 2024-08-27 | 保利长大工程有限公司 | 基于视觉识别的料斗自动初定位系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102053200B1 (ko) * | 2018-08-10 | 2019-12-06 | 엘지전자 주식회사 | 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법 |
| CN111231970A (zh) * | 2020-02-27 | 2020-06-05 | 广汽蔚来新能源汽车科技有限公司 | 健康调节方法、装置、计算机设备和存储介质 |
| CN112172830A (zh) * | 2019-06-17 | 2021-01-05 | 上海博泰悦臻网络技术服务有限公司 | 驾驶员状态的监控方法、系统、可读存储介质及车载终端 |
| CN113780062A (zh) * | 2021-07-26 | 2021-12-10 | 岚图汽车科技有限公司 | 一种基于情感识别的车载智能交互方法、存储介质及芯片 |
| CN113771859A (zh) * | 2021-08-31 | 2021-12-10 | 智新控制系统有限公司 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
-
2022
- 2022-07-11 CN CN202210809333.3A patent/CN115402333A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102053200B1 (ko) * | 2018-08-10 | 2019-12-06 | 엘지전자 주식회사 | 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법 |
| CN112172830A (zh) * | 2019-06-17 | 2021-01-05 | 上海博泰悦臻网络技术服务有限公司 | 驾驶员状态的监控方法、系统、可读存储介质及车载终端 |
| CN111231970A (zh) * | 2020-02-27 | 2020-06-05 | 广汽蔚来新能源汽车科技有限公司 | 健康调节方法、装置、计算机设备和存储介质 |
| CN113780062A (zh) * | 2021-07-26 | 2021-12-10 | 岚图汽车科技有限公司 | 一种基于情感识别的车载智能交互方法、存储介质及芯片 |
| CN113771859A (zh) * | 2021-08-31 | 2021-12-10 | 智新控制系统有限公司 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117657170A (zh) * | 2024-02-02 | 2024-03-08 | 江西五十铃汽车有限公司 | 一种新能源汽车智能安全和整车控制方法及系统 |
| CN117657170B (zh) * | 2024-02-02 | 2024-05-17 | 江西五十铃汽车有限公司 | 一种新能源汽车智能安全和整车控制方法及系统 |
| CN118545613A (zh) * | 2024-07-30 | 2024-08-27 | 保利长大工程有限公司 | 基于视觉识别的料斗自动初定位系统 |
| CN118545613B (zh) * | 2024-07-30 | 2024-09-17 | 保利长大工程有限公司 | 基于视觉识别的料斗自动初定位系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115402333A (zh) | 基于驾驶员情绪的车内互动控制系统、方法及存储介质 | |
| US9465978B2 (en) | Feeling monitoring system | |
| CN110287790B (zh) | 一种面向静态多人场景的学习状态混合分析方法 | |
| CN106406504B (zh) | 人机交互界面的氛围渲染系统与方法 | |
| CN110395260B (zh) | 车辆、安全驾驶方法和装置 | |
| CN111062292B (zh) | 一种疲劳驾驶检测装置与方法 | |
| CN114633686B (zh) | 一种氛围灯自动变换方法、装置及车辆 | |
| JP2012113747A (ja) | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム | |
| CN114043939B (zh) | 一种使用全息投影技术的车载中控系统及控制方法 | |
| CN107458381A (zh) | 一种基于人工智能的机动车驾驶许可装置 | |
| CN113128295A (zh) | 一种车辆驾驶员危险驾驶状态识别方法及装置 | |
| JP2017109635A (ja) | 乗員の感性向上システム | |
| CN110825216A (zh) | 一种驾驶员驾驶时人机交互的方法和系统 | |
| CN114954321A (zh) | 一种车辆的控制方法、装置和车辆 | |
| JP7150354B2 (ja) | 車両デザイン支援システム | |
| CN112644375B (zh) | 基于情绪感知的车内氛围灯调节方法、系统、介质及终端 | |
| US20210303070A1 (en) | Devices and headsets | |
| CN116580661A (zh) | 车辆内的终端颜色调整方法、系统、电子设备和存储介质 | |
| CN111605479A (zh) | 感知情绪并自调节的内饰氛围灯系统及控制方法 | |
| CN116543266A (zh) | 注视行为知识引导的自动驾驶智能模型训练方法及装置 | |
| CN116486383A (zh) | 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质 | |
| CN115471890A (zh) | 车辆的交互方法、装置、车辆及存储介质 | |
| US20230224442A1 (en) | Methods for producing visual immersion effects for audiovisual content | |
| KR102490035B1 (ko) | 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법 | |
| JP2020161002A (ja) | 映像表示システム、運転シミュレータシステム、映像表示方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |