CN113780062A - 一种基于情感识别的车载智能交互方法、存储介质及芯片 - Google Patents
一种基于情感识别的车载智能交互方法、存储介质及芯片 Download PDFInfo
- Publication number
- CN113780062A CN113780062A CN202110847694.2A CN202110847694A CN113780062A CN 113780062 A CN113780062 A CN 113780062A CN 202110847694 A CN202110847694 A CN 202110847694A CN 113780062 A CN113780062 A CN 113780062A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- emotion
- music
- interaction method
- switched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 title claims abstract description 32
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 25
- 230000002996 emotional effect Effects 0.000 claims abstract description 54
- 230000000875 corresponding effect Effects 0.000 claims abstract description 45
- 230000008451 emotion Effects 0.000 claims abstract description 41
- 230000014509 gene expression Effects 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 19
- 210000001508 eye Anatomy 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 210000001097 facial muscle Anatomy 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 235000017166 Bambusa arundinacea Nutrition 0.000 claims description 3
- 235000017491 Bambusa tulda Nutrition 0.000 claims description 3
- 241001330002 Bambuseae Species 0.000 claims description 3
- 235000015334 Phyllostachys viridis Nutrition 0.000 claims description 3
- 239000011425 bamboo Substances 0.000 claims description 3
- 230000035622 drinking Effects 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 230000033764 rhythmic process Effects 0.000 claims description 3
- 230000000391 smoking effect Effects 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 claims 1
- 230000008921 facial expression Effects 0.000 abstract description 4
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 239000003205 fragrance Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004861 thermometry Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及智能驾驶技术领域，为一种基于情感识别的车载智能交互方法、存储介质及芯片，包括：S1，分类预存情绪状态及相应的车载情景模式，通过摄像头定期获取车内的驾驶员和/或乘客的图像信息；S2，对所述图像信息提取表情特征信息，并进行去噪处理；S3，通过特征分类方法确定表情特征信息所对应的情绪状态，根据情绪状态自动调节车载电子设备开启相应情景模式以执行对应动作。通过车内摄像头识别车内乘员的面部表情、情绪状态，结合用户大数据分析，并通过不断学习，自适应的调整车内氛围灯、音乐、香氛、空调等，让车内驾乘员享受一种更舒适、更愉悦的乘车体验，让车辆更智能更人性化，进一步提升车载智能交互用户体验。
Description
技术领域
本发明涉及智能驾驶技术领域，具体涉及一种基于情感识别的车 载智能交互方法、存储介质及芯片。
背景技术
随着智能网联技术的发展，汽车不再作为一个纯粹的交通工具， 而应该成为家庭的伙伴、车主的朋友。现有的方案一般通过开关、触 摸屏、语音、手势等方式，以人主动形式与车辆进行交互，需要车主 或乘员主动和车辆进行交互，是一种单向的交互模式，无法形成互动。 且会影响到驾驶员的驾驶状态，不利于安全驾驶。
申请号为CN201810022165.7的发明专利，公开了基于微表情的 驾驶员疲劳驾驶状态检测方法，利用车内高速红外摄像头采集驾驶员 的驾驶状态视频，从中得到驾驶员的面部图像信息；对得到的图像信 息进行预处理和特征提取，检测驾驶员在驾驶过程中出现的微表情； 将采集到的驾驶员的微表情进行识别，基于微表情对驾驶员的驾驶疲 劳状态进行监测，预警驾驶员的疲劳状态或是否有驾驶疲劳的倾向； 实现驾驶疲劳的预警识别。该技术方案仅仅是针对疲劳驾驶进行识别 及预警，但是车辆在行驶过程中绝大多数状态为正常清醒，且正常清 醒时的驾乘人员包含了众多的情绪，如何针对不同的情绪去调整相应 的车载模式需要进一步的探索以提高智能驾驶的用户的体验。
发明内容
本发明提供了一种基于情感识别的车载智能交互方法、存储介质 及芯片，解决了以上所述的智能驾驶交互模式单一且智能化程度低的 技术问题。
本发明为解决上述技术问题提供了一种基于情感识别的车载智 能交互方法，其特征在于，包括：
S1，分类预存情绪状态及相应的车载情景模式，通过摄像头定期 获取车内的驾驶员和/或乘客的图像信息；
S2，对所述图像信息提取表情特征信息，并进行去噪处理；
S3，通过特征分类方法确定所述表情特征信息所对应的情绪状态， 根据情绪状态自动调节车载电子设备开启相应情景模式以执行对应 动作。
可选地，所述S1中通过摄像头定期获取车内的驾驶员和/或乘客 的图像信息具体包括：
通过安装在车内前柱上的疲劳检测摄像头及前阅读灯处的娱乐 摄像头实时监测座位上的驾驶员及乘客的图像信息。
可选地，所述S2具体包括：
从所述图像信息中提取眼部区域特征信息、嘴巴区域特征信息、 头部特征信息、面部肌肉特征信息及身体动作姿势信息。
可选地，所述眼部区域特征包括眼睛开/闭距离、眼睛闭合频率、 眼球凝视方向及眼皮动作；
所述嘴巴区域特征嘴巴开/闭距离；
所述头部特征包括点头、左右转动及歪头；
所述面部肌肉特征包括肌肉纹理特征；
所述身体动作姿势包括喝酒抽烟，调收音机，面向后面，与乘客 交谈，打电话，发短信。
可选地，所述S3中通过特征分类方法确定所述表情特征信息所 对应的情绪状态具体包括：
基于贝叶斯网络的分类方法，具体地，首先从原始数字图像模式 出发，构造分块矩阵图像，每个图像块分别与40个滤波器做卷积， 得到每个图像块的特征表达，计算对应图像块的特征差值，然后对每 一个图像块分别进行贝叶斯分类，最后对各个分类结果进行加权平均 以实现情绪状态分类；
或，基于距离度量的分类方法，具体地，将摄像头提取到的表情 特征信息与样本中的情绪状态对比，以距离样本最近的特征状态作为 情绪判断依据实现情绪状态分类。
可选地，所述情绪状态包括兴趣、愉快、惊奇、悲伤、厌恶、愤 怒、恐惧、轻蔑和羞愧；
当判定为兴趣或愉快的情绪状态时，则控制车载氛围灯切换为红 色，车载音乐切换为轻快的音乐；
当判定为惊奇或愤怒的情绪状态时，则控制车载氛围灯切换为白 色，车载音乐切换为快节奏钢琴曲；
当判定为厌恶或轻蔑的情绪状态时，则控制车载氛围灯切换为紫 色，车载音乐切换为乐感浑厚且节奏慢的音乐；
当判定为悲伤或恐惧的情绪状态时，则控制车载氛围灯切换为黑 色，车载音乐切换为舒缓哀伤的音乐；
当判定为羞愧的情绪状态时，则控制车载氛围灯切换为粉色，车 载音乐切换为萨克斯氛围曲。
可选地，所述S3具体包括：当判定情绪状态发生变化后，经过 预设时间长度后自动调节车载电子设备开启相应情景模式以执行对 应动作。
可选地，所述S3之后还包括：当情绪状态所对应的情景模式开 启之后并保持，若监测到新的情绪状态产生，则切换至新的情绪状态 所对应的情景模式。
本发明还提供了一种存储介质，所述存储介质用于存储计算机程 序，所述计算机程序包括：用于执行基于情感识别的车载智能交互方 法的指令。
本发明还提供了一种芯片，包括：处理器，用于从存储器中调用 并运行计算机程序，所述计算机程序包括：用于执行基于情感识别的 车载智能交互方法的指令。
有益效果：本发明提供了一种基于情感识别的车载智能交互方法、 存储介质及芯片，包括S1，分类预存情绪状态及相应的车载情景模 式，通过摄像头定期获取车内的驾驶员和/或乘客的图像信息；S2， 对所述图像信息提取表情特征信息，并进行去噪处理；S3，通过特征 分类方法确定表情特征信息所对应的情绪状态，根据情绪状态自动调 节车载电子设备开启相应情景模式以执行对应动作。通过车内摄像头 识别车内乘员的面部表情、情绪状态，结合用户大数据分析，并通过 不断学习，自适应的调整车内氛围灯、音乐、香氛、空调等，让车内 驾乘员享受一种更舒适、更愉悦的乘车体验，让车辆更智能更人性化， 进一步提升车载智能交互用户体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发 明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较 佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实 施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请 的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构 成对本发明的不当限定。在附图中：
图1为本发明基于情感识别的车载智能交互方法的流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于 解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以 举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明 的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且 均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的 目的。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直 接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是 “连接”另一个组件，它可以是直接连接到另一个组件或者可能同时 存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以 是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用 的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了 说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发 明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说 明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于 限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所 列项目的任意的和所有的组合。
如图1所示，本发明提供了一种基于情感识别的车载智能交互方 法存储介质及芯片，包括S1，分类预存情绪状态及相应的车载情景 模式，通过摄像头定期获取车内的驾驶员和/或乘客的图像信息；S2， 对所述图像信息提取表情特征信息，并进行去噪处理；S3，通过特征 分类方法判断表情特征信息所对应的情绪状态，根据情绪状态自动调 节车载电子设备开启相应情景模式以执行对应动作。通过车内摄像头 识别车内乘员的面部表情、情绪状态，结合用户大数据分析，并通过 不断学习，自适应的调整车内氛围灯、音乐、香氛、空调等，让车内 驾乘员享受一种更舒适、更愉悦的乘车体验，让车辆更智能更人性化， 进一步提升车载智能交互用户体验。
在车辆出厂时配置好情绪状态及相应的车载情景模式。情绪状态 可以是驾驶员的情绪，可以是乘客的情绪，还可以是驾驶员与乘客的 情绪综合。根据不同的情绪对应预存不同的车载情景模式。当采用驾 驶员与乘客的情绪综合进行情绪类别判定时，若二者的情绪不同，则 可以预先设定优先级，比如驾驶员的情绪级别优先于乘客或反之亦可。
具体地，首先在车内安装摄像头，通过摄像头按一定周期获取车 内的驾驶员和/或乘客的图像信息。定期获取的时间间隔可以是实时 不间断拍摄获取，这样不会漏掉任何稍纵即逝的图像信息，但是容易 占内存，且资源太多筛选分析难度大，成本也高，维护不易。还可以 是设定一个时间长度周期，每间隔一个时间长度自动去获取图像信息， 然后通过LVDS数据传输线，传送给座舱域控制器，通过座舱域控制 器进行数据处理分析。
然后，座舱域控制器接收传输过来的图像信息数据，通过算法对 数字图像进行数据的组织和处理，提取表情特征，去除非表情噪声。 经典算法有主元分析法(PCA)、独立分量分析法(ICA)、线性判 别分析法(LDA)、Gabor小波法和LBP算子法。上述算法为现有技术，具体的算法实现在此不再赘述。
最后，提取表情特征后，通过特征分类判断特征对应的表情类别 即情绪状态，根据该情绪状态便可以自动将车载电子设备调节成相应 的车载情景模式。不需要通过语音或手势等认为主动去切换调节电子 设备执行相关动作。通过车内传感器，包括且不限于摄像头、红外测 温及声音检测。实时监测乘员状态，通过控制器算法，可以实现人车 双向交互的目的，更智能和人性化。达到自动判断识别和调节的车载 交互效果，提高驾乘体验。
可选的方案，通过安装在车内前柱上的疲劳检测摄像头及前阅读 灯处的娱乐摄像头实时监测座位上的驾驶员及乘客的图像信息。所述 图像信息包括眼部区域特征、嘴巴区域特征、头部特征、面部肌肉特 征及身体动作姿势。车内的前风挡和前后门的玻璃两侧有三个立柱， 从前往后依次为前柱(A柱)、中柱(B柱)、后柱(C柱)。除了起到门框 的作用，最主要还起了支撑作用。通过在A柱侧的疲劳检测摄像头 和前阅读灯处的娱乐摄像头，实时监测驾驶员和车内乘员的情绪状态， 包括眼部区域检测(眼睛开/闭距离、眼睛闭合频率、眼球凝视方向 及眼皮动作)、嘴巴区域检测(嘴巴开/闭距离)、头部特征(点头、 左右转动及歪头)、面部预取(面部肌肉特征包括肌肉纹理特征)、 身体动作姿势(喝酒抽烟，调收音机，面向后面，与乘客交谈，打电 话，发短信)，提取驾驶员和/或车内乘员的情绪状态，针对不同的 情绪状态，实时调整车内氛围灯、音乐、香氛、空调等系统，使整个 驾乘体验更舒适，车辆更人性化。
可选的方案，所述S3中通过特征分类方法确定所述表情特征信 息所对应的情绪状态具体包括：采用特征分类方法分为基于贝叶斯网 络的分类方法和基于距离度量的分类方法。贝叶斯网络是以贝叶斯公 式为基础、基于概率推理的图形化网络。从人脸表情识别的角度出发， 概率推理的作用就是从已知表情信息中推断出未知表情的概率信息 的过程。
基于贝叶斯网络的分类方法，具体地，首先从原始数字图像模式 出发，构造分块矩阵图像，每个图像块分别与40个滤波器做卷积， 得到每个图像块的特征表达，计算对应图像块的特征差值，然后对每 一个图像块分别进行贝叶斯分类，最后对各个分类结果进行加权平均 情绪状态分类。
事件Bi的概率为P(Bi)，事件Bi已发生条件下事件A的概率为 P(A│Bi)，事件A发生条件下事件Bi的概率为P(Bi│A)。
基于距离度量的分类方法，具体地，将摄像头提取到的表情特征 信息与样本中的情绪状态对比，以距离样本最近的特征状态作为情绪 判断依据实现情绪状态分类。
可选的方案，所述情绪状态包括兴趣、愉快、惊奇、悲伤、厌恶、 愤怒、恐惧、轻蔑、羞愧。需要特别指出的是，情绪状态不仅仅限于 上述九种，用户还可以根据自己的想法去更改、删除或添加新的情绪 状态，每一个情绪状态有且仅有一种车载情景模式与之对应。
座舱域控制器完成特征分类。当判定为兴趣或愉快的情绪状态时， 则控制车载氛围灯切换为红色，车载音乐切换为轻快的音乐；比如梦 中的婚礼或DJ或Rap。还可以发送开启香氛信号到空调控制器，空 调执行打开香氛系统。
当判定为惊奇或愤怒的情绪状态时，则控制车载氛围灯切换为白 色，车载音乐切换为快节奏钢琴曲；比如钢琴曲野蜂飞舞。
当判定为厌恶或轻蔑的情绪状态时，则控制车载氛围灯切换为紫 色，车载音乐切换为乐感浑厚且节奏慢的音乐；
当判定为悲伤或恐惧的情绪状态时，则控制车载氛围灯切换为黑 色，车载音乐切换为舒缓哀伤的音乐；
当判定为羞愧的情绪状态时，则控制车载氛围灯切换为粉色，车 载音乐切换为萨克斯氛围曲。
可选的方案，所述S3具体包括：当判定情绪状态发生变化后， 经过预设时间长度后自动调节车载电子设备开启相应情景模式以执 行对应动作。由于人的情绪有时会波动比较大，且持续时间比较短。 这时摄像头没来得及获取相关图像信息，座舱域控制器没法及时去提 取情绪状态。或者此时获取到了相关的图像信息并已经处理判定出了 情绪状态，但是该情绪状态只是昙花一现后就立马消失或者转换成其 他情绪状态了，此时，预设时间长度便可以起到滤除的作用。若判定 的一种情绪状态在该预设时间长度内一直持续，则可以根据情绪状态 自动调节车载电子设备开启相应情景模式以执行对应动作。否则，维持当前的情景模式不予切换。
另一可选的方案，所述S3之后还包括：当情绪状态所对应的情 景模式开启之后并保持，若监测到新的情绪状态产生，则切换至新的 情绪状态所对应的情景模式。
进一步地，中控屏中有此情景模式设置开关，如用户不喜欢，可 设置关闭此模式。
本发明实施例还提供了一种存储介质，所述存储介质用于存储计 算机程序，所述计算机程序包括：用于执行前述基于情感识别的车载 智能交互方法的指令。关于基于情感识别的车载智能交互方法的所有 可选的方案均已在前面所记载，且都属于计算机程序所指范围，在此 不再赘述。
本发明实施例还提供了一种芯片，包括：处理器，用于从存储器 中调用并运行计算机程序，所述计算机程序包括：用于执行基于情感 识别的车载智能交互方法的指令。关于基于情感识别的车载智能交互 方法的所有可选的方案均已在前面所记载，且都属于计算机程序所指 范围，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系 统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用 存储介质(包括但不限于磁盘存储器、CD－ROM、光学存储器等)上 实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算 机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序 指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图 和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理 设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处 理设备的处理器执行的指令产生用于实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能的装置。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而 非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属 领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进 行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等 同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于情感识别的车载智能交互方法，其特征在于，包括：
S1，分类预存情绪状态及相应的车载情景模式，通过摄像头定期获取车内的驾驶员和/或乘客的图像信息；
S2，对所述图像信息提取表情特征信息，并进行去噪处理；
S3，通过特征分类方法确定所述表情特征信息所对应的情绪状态，根据情绪状态自动调节车载电子设备开启相应的情景模式以执行对应动作。
2.根据权利要求1所述的基于情感识别的车载智能交互方法，其特征在于，所述S1中通过摄像头定期获取车内的驾驶员和/或乘客的图像信息具体包括：
通过安装在车内前柱上的疲劳检测摄像头及前阅读灯处的娱乐摄像头实时监测座位上的驾驶员及乘客的图像信息。
3.根据权利要求2所述的基于情感识别的车载智能交互方法，其特征在于，所述S2具体包括：
从所述图像信息中提取眼部区域特征信息、嘴巴区域特征信息、头部特征信息、面部肌肉特征信息及身体动作姿势信息。
4.根据权利要求3所述的基于情感识别的车载智能交互方法，其特征在于，所述眼部区域特征包括眼睛开/闭距离、眼睛闭合频率、眼球凝视方向及眼皮动作；
所述嘴巴区域特征嘴巴开/闭距离；
所述头部特征包括点头、左右转动及歪头；
所述面部肌肉特征包括肌肉纹理特征；
所述身体动作姿势包括喝酒抽烟，调收音机，面向后面，与乘客交谈，打电话，发短信。
5.根据权利要求4所述的基于情感识别的车载智能交互方法，其特征在于，所述S3中通过特征分类方法确定所述表情特征信息所对应的情绪状态具体包括：
基于贝叶斯网络的分类方法，首先，从原始数字图像模式出发，构造分块矩阵图像，每个图像块分别与40个滤波器做卷积，得到每个图像块的特征表达，计算对应图像块的特征差值，然后对每一个图像块分别进行贝叶斯分类，最后对各个分类结果进行加权平均以实现情绪状态分类；
或，基于距离度量的分类方法，将摄像头提取到的表情特征信息与样本中的情绪状态对比，以距离样本最近的特征状态作为情绪判断依据实现情绪状态分类。
6.根据权利要求1或5所述的基于情感识别的车载智能交互方法，其特征在于，所述情绪状态包括兴趣、愉快、惊奇、悲伤、厌恶、愤怒、恐惧、轻蔑和羞愧；
当判定为兴趣或愉快的情绪状态时，则控制车载氛围灯切换为红色，车载音乐切换为轻快的音乐；
当判定为惊奇或愤怒的情绪状态时，则控制车载氛围灯切换为白色，车载音乐切换为快节奏钢琴曲；
当判定为厌恶或轻蔑的情绪状态时，则控制车载氛围灯切换为紫色，车载音乐切换为乐感浑厚且节奏慢的音乐；
当判定为悲伤或恐惧的情绪状态时，则控制车载氛围灯切换为黑色，车载音乐切换为舒缓哀伤的音乐；
当判定为羞愧的情绪状态时，则控制车载氛围灯切换为粉色，车载音乐切换为萨克斯氛围曲。
7.根据权利要求1所述的基于情感识别的车载智能交互方法，其特征在于，所述S3具体包括：当判定情绪状态发生变化后，经过预设时间长度后自动调节车载电子设备开启相应情景模式以执行对应动作。
8.根据权利要求1所述的基于情感识别的车载智能交互方法，其特征在于，所述S3之后还包括：当情绪状态所对应的情景模式开启之后并保持，若监测到新的情绪状态产生，则切换至新的情绪状态所对应的情景模式。
9.一种存储介质，其特征在于：所述存储介质用于存储计算机程序，所述计算机程序包括：用于执行权利要求1至8中任一项所述的基于情感识别的车载智能交互方法的指令。
10.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，所述计算机程序包括：用于执行权利要求1至8中任一项所述的基于情感识别的车载智能交互方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847694.2A CN113780062A (zh) | 2021-07-26 | 2021-07-26 | 一种基于情感识别的车载智能交互方法、存储介质及芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847694.2A CN113780062A (zh) | 2021-07-26 | 2021-07-26 | 一种基于情感识别的车载智能交互方法、存储介质及芯片 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113780062A true CN113780062A (zh) | 2021-12-10 |
Family
ID=78836138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110847694.2A Pending CN113780062A (zh) | 2021-07-26 | 2021-07-26 | 一种基于情感识别的车载智能交互方法、存储介质及芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780062A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114312816A (zh) * | 2022-01-04 | 2022-04-12 | 大陆投资(中国)有限公司 | 用于移动出行工具的人机交互方法和系统 |
| CN114475488A (zh) * | 2022-02-25 | 2022-05-13 | 阿维塔科技(重庆)有限公司 | 车辆情景调节方法、装置及计算机可读存储介质 |
| CN114537409A (zh) * | 2022-02-17 | 2022-05-27 | 上海交通大学 | 基于多模态分析的多感官车载交互方法及系统 |
| CN114684152A (zh) * | 2022-02-25 | 2022-07-01 | 智己汽车科技有限公司 | 驾驶体验数据处理的方法、装置、车辆及介质 |
| CN115278095A (zh) * | 2022-05-11 | 2022-11-01 | 岚图汽车科技有限公司 | 一种基于融合感知的车载摄像头控制方法及装置 |
| CN115278462A (zh) * | 2022-07-30 | 2022-11-01 | 重庆长安汽车股份有限公司 | 一种车内音频处理方法、系统、电子设备及存储介质 |
| CN115402333A (zh) * | 2022-07-11 | 2022-11-29 | 江铃汽车股份有限公司 | 基于驾驶员情绪的车内互动控制系统、方法及存储介质 |
| CN115601821A (zh) * | 2022-12-05 | 2023-01-13 | 中国汽车技术研究中心有限公司（Cn） | 基于表情识别的交互方法 |
| CN117445805A (zh) * | 2023-12-22 | 2024-01-26 | 吉林大学 | 面向公交车司乘冲突的人员预警和行车控制方法及系统 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201838333U (zh) * | 2010-11-12 | 2011-05-18 | 北京工业大学 | 基于驾驶员状态的音乐播放器 |
| CN106529578A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于深度学习的车辆品牌型号精细识别方法与系统 |
| CN106803423A (zh) * | 2016-12-27 | 2017-06-06 | 智车优行科技（北京）有限公司 | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 |
| CN106846303A (zh) * | 2016-12-30 | 2017-06-13 | 平安科技（深圳）有限公司 | 图像篡改检测方法及装置 |
| CN108549720A (zh) * | 2018-04-24 | 2018-09-18 | 京东方科技集团股份有限公司 | 一种基于情绪识别的安抚方法、装置及设备、存储介质 |
| CN109766765A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 音频数据推送方法、装置、计算机设备和存储介质 |
| CN109815817A (zh) * | 2018-12-24 | 2019-05-28 | 北京新能源汽车股份有限公司 | 一种驾驶员的情绪识别方法及音乐推送方法 |
| CN110210321A (zh) * | 2019-05-08 | 2019-09-06 | 华南理工大学 | 基于多维尺度变换网络与分块加权法的欠样本人脸识别方法 |
| CN110348322A (zh) * | 2019-06-19 | 2019-10-18 | 西华师范大学 | 基于多特征融合的人脸活体检测方法及设备 |
| CN110705419A (zh) * | 2019-09-24 | 2020-01-17 | 新华三大数据技术有限公司 | 情绪识别方法、预警方法、模型训练方法和相关装置 |
| CN111126482A (zh) * | 2019-12-23 | 2020-05-08 | 自然资源部国土卫星遥感应用中心 | 一种基于多分类器级联模型的遥感影像自动分类方法 |
| CN111260645A (zh) * | 2020-02-20 | 2020-06-09 | 中国科学院自动化研究所 | 基于分块分类深度学习的篡改图像检测方法及系统 |
| CN111782052A (zh) * | 2020-07-13 | 2020-10-16 | 湖北亿咖通科技有限公司 | 一种车辆内的人机交互方法 |
| CN112172830A (zh) * | 2019-06-17 | 2021-01-05 | 上海博泰悦臻网络技术服务有限公司 | 驾驶员状态的监控方法、系统、可读存储介质及车载终端 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN112712043A (zh) * | 2021-01-04 | 2021-04-27 | 重庆长安汽车股份有限公司 | 一种智能座舱图像处理系统 |
| CN112735440A (zh) * | 2020-12-30 | 2021-04-30 | 北京瞰瞰科技有限公司 | 车载智能机器人交互方法、机器人及车辆 |
| CN113516015A (zh) * | 2021-04-15 | 2021-10-19 | 广东工业大学 | 情绪识别方法、辅助驾驶装置以及应用 |
-
2021
- 2021-07-26 CN CN202110847694.2A patent/CN113780062A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201838333U (zh) * | 2010-11-12 | 2011-05-18 | 北京工业大学 | 基于驾驶员状态的音乐播放器 |
| CN106529578A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于深度学习的车辆品牌型号精细识别方法与系统 |
| CN106803423A (zh) * | 2016-12-27 | 2017-06-06 | 智车优行科技（北京）有限公司 | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 |
| CN106846303A (zh) * | 2016-12-30 | 2017-06-13 | 平安科技（深圳）有限公司 | 图像篡改检测方法及装置 |
| CN108549720A (zh) * | 2018-04-24 | 2018-09-18 | 京东方科技集团股份有限公司 | 一种基于情绪识别的安抚方法、装置及设备、存储介质 |
| CN109766765A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 音频数据推送方法、装置、计算机设备和存储介质 |
| CN109815817A (zh) * | 2018-12-24 | 2019-05-28 | 北京新能源汽车股份有限公司 | 一种驾驶员的情绪识别方法及音乐推送方法 |
| CN110210321A (zh) * | 2019-05-08 | 2019-09-06 | 华南理工大学 | 基于多维尺度变换网络与分块加权法的欠样本人脸识别方法 |
| CN112172830A (zh) * | 2019-06-17 | 2021-01-05 | 上海博泰悦臻网络技术服务有限公司 | 驾驶员状态的监控方法、系统、可读存储介质及车载终端 |
| CN110348322A (zh) * | 2019-06-19 | 2019-10-18 | 西华师范大学 | 基于多特征融合的人脸活体检测方法及设备 |
| CN110705419A (zh) * | 2019-09-24 | 2020-01-17 | 新华三大数据技术有限公司 | 情绪识别方法、预警方法、模型训练方法和相关装置 |
| CN111126482A (zh) * | 2019-12-23 | 2020-05-08 | 自然资源部国土卫星遥感应用中心 | 一种基于多分类器级联模型的遥感影像自动分类方法 |
| CN111260645A (zh) * | 2020-02-20 | 2020-06-09 | 中国科学院自动化研究所 | 基于分块分类深度学习的篡改图像检测方法及系统 |
| CN111782052A (zh) * | 2020-07-13 | 2020-10-16 | 湖北亿咖通科技有限公司 | 一种车辆内的人机交互方法 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN112735440A (zh) * | 2020-12-30 | 2021-04-30 | 北京瞰瞰科技有限公司 | 车载智能机器人交互方法、机器人及车辆 |
| CN112712043A (zh) * | 2021-01-04 | 2021-04-27 | 重庆长安汽车股份有限公司 | 一种智能座舱图像处理系统 |
| CN113516015A (zh) * | 2021-04-15 | 2021-10-19 | 广东工业大学 | 情绪识别方法、辅助驾驶装置以及应用 |
Non-Patent Citations (1)
| Title |
|---|
| 徐克虎等: "陆战目标威胁评估方法及其应用", 西安电子科技大学出版社, pages: 109 - 110 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114312816A (zh) * | 2022-01-04 | 2022-04-12 | 大陆投资(中国)有限公司 | 用于移动出行工具的人机交互方法和系统 |
| CN114537409A (zh) * | 2022-02-17 | 2022-05-27 | 上海交通大学 | 基于多模态分析的多感官车载交互方法及系统 |
| CN114537409B (zh) * | 2022-02-17 | 2022-11-11 | 上海交通大学 | 基于多模态分析的多感官车载交互方法及系统 |
| CN114475488A (zh) * | 2022-02-25 | 2022-05-13 | 阿维塔科技(重庆)有限公司 | 车辆情景调节方法、装置及计算机可读存储介质 |
| CN114684152A (zh) * | 2022-02-25 | 2022-07-01 | 智己汽车科技有限公司 | 驾驶体验数据处理的方法、装置、车辆及介质 |
| CN115278095A (zh) * | 2022-05-11 | 2022-11-01 | 岚图汽车科技有限公司 | 一种基于融合感知的车载摄像头控制方法及装置 |
| CN115402333A (zh) * | 2022-07-11 | 2022-11-29 | 江铃汽车股份有限公司 | 基于驾驶员情绪的车内互动控制系统、方法及存储介质 |
| CN115278462A (zh) * | 2022-07-30 | 2022-11-01 | 重庆长安汽车股份有限公司 | 一种车内音频处理方法、系统、电子设备及存储介质 |
| CN115278462B (zh) * | 2022-07-30 | 2024-07-23 | 重庆长安汽车股份有限公司 | 一种车内音频处理方法、系统、电子设备及存储介质 |
| CN115601821A (zh) * | 2022-12-05 | 2023-01-13 | 中国汽车技术研究中心有限公司（Cn） | 基于表情识别的交互方法 |
| CN117445805A (zh) * | 2023-12-22 | 2024-01-26 | 吉林大学 | 面向公交车司乘冲突的人员预警和行车控制方法及系统 |
| CN117445805B (zh) * | 2023-12-22 | 2024-02-23 | 吉林大学 | 面向公交车司乘冲突的人员预警和行车控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113780062A (zh) | 一种基于情感识别的车载智能交互方法、存储介质及芯片 | |
| US11155141B2 (en) | Facilitating personalized vehicle occupant comfort | |
| US20220189093A1 (en) | Interaction based on in-vehicle digital persons | |
| CN108725357B (zh) | 基于人脸识别的参数控制方法、系统与云端服务器 | |
| JP2021057057A (ja) | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム | |
| US11292477B2 (en) | Vehicle manipulation using cognitive state engineering | |
| JP2021518010A (ja) | 運転者注意力の監視方法および装置、ならびに電子機器 | |
| KR101078466B1 (ko) | 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체 | |
| JP2017168097A (ja) | 状況に特有の車両ドライバとの交信を提供するためのシステムおよび方法 | |
| CN109726771A (zh) | 异常驾驶检测模型建立方法、装置及存储介质 | |
| CN113867527A (zh) | 车窗控制方法、装置、电子设备及存储介质 | |
| US11151865B2 (en) | In-vehicle system for estimating a scene inside a vehicle cabin | |
| JP7204283B2 (ja) | 雰囲気推測装置およびコンテンツの提示方法 | |
| CN111736700A (zh) | 基于数字人的车舱交互方法、装置及车辆 | |
| CN113614713A (zh) | 一种人机交互方法及装置、设备及车辆 | |
| JP7469467B2 (ja) | デジタルヒューマンに基づく車室インタラクション方法、装置及び車両 | |
| CN111866382A (zh) | 用于采集图像的方法、电子设备及计算机可读存储介质 | |
| CN110944149A (zh) | 车辆用儿童看护系统以及方法 | |
| CN115471890A (zh) | 车辆的交互方法、装置、车辆及存储介质 | |
| KR102689884B1 (ko) | 차량 및 그 제어방법 | |
| CN113850106A (zh) | 车辆及其控制方法 | |
| US20240146723A1 (en) | Biometric service evaluation architecture for a vehicle | |
| CN118372760A (zh) | 一种人车交互方法、装置、电子设备、车辆及存储介质 | |
| US20240078820A1 (en) | Vehicle cabin monitoring system | |
| CN117112633A (zh) | 基于智能座舱主动交互方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |