CN115471890A - 车辆的交互方法、装置、车辆及存储介质 - Google Patents

车辆的交互方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN115471890A
CN115471890A CN202211079588.5A CN202211079588A CN115471890A CN 115471890 A CN115471890 A CN 115471890A CN 202211079588 A CN202211079588 A CN 202211079588A CN 115471890 A CN115471890 A CN 115471890A
Authority
CN
China
Prior art keywords
user
vehicle
interaction
emotion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211079588.5A
Other languages
English (en)
Inventor
张强
王友兰
汪一峰
夏勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chery Automobile Co Ltd
Original Assignee
Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chery Automobile Co Ltd filed Critical Chery Automobile Co Ltd
Priority to CN202211079588.5A priority Critical patent/CN115471890A/zh
Publication of CN115471890A publication Critical patent/CN115471890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种车辆的交互方法、装置、车辆及存储介质，其中，方法包括：识别用户的实际情绪；获取车辆的当前交互信息，并根据实际情绪和当前交互信息匹配车辆的最佳多模态人机交互参数；按照最佳多模态人机交互参数控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作。由此，解决了相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节的技术问题。

Description

车辆的交互方法、装置、车辆及存储介质
技术领域
本申请涉及多模感知和人机交互技术领域，特别涉及一种车辆的交互方法、装置、车辆及存储介质。
背景技术
当今社会发展迅速、生活节奏快，很多人在工作、生活中会遇到一些挫折，压力较大，情绪受外界影响，容易出现消极、脾气暴躁等不良情绪，从而影响人们的心理健康状态，因此，情绪调节愈发重要。
从人们的日常生活、出行等方面考虑，汽车已逐渐成为用户的智能“移动空间”，交通出行场景与汽车使用场景更加多元化和富有生活化，用户需求从最开始对于功能汽车安全性、舒适性等生理需求，逐渐发展成现在的情感与归属需求，希望可以将更亲密的社交关系延伸到座舱内。用户在驾驶车辆过程中，情绪对于用户的驾驶行为存在一定的干扰，不良情绪或亢奋情绪极易导致用户产生过激的驾驶行为，易导致交通事故的发生，而相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节，有待改进。
发明内容
本申请提供一种车辆的交互方法、装置、车辆及存储介质，以解决相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节的技术问题。
本申请第一方面实施例提供一种车辆的交互方法，包括以下步骤：识别用户的实际情绪；获取车辆的当前交互信息，并根据所述实际情绪和所述当前交互信息匹配所述车辆的最佳多模态人机交互参数；以及按照所述最佳多模态人机交互参数控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作。
可选地，在本申请的一个实施例中，所述识别用户的实际情绪，包括：采集所述用户的人脸图像；根据所述人脸图像提取所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列；根据所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列识别所述实际情绪。
可选地，在本申请的一个实施例中，所述当前交互信息包括所述车辆的车内温度、所述车辆的车内湿度、所述用户的主动交互行为、所述用户的视觉信息和所述用户的声音信息中的至少一项。
可选地，在本申请的一个实施例中，还包括：存储所述用户的实际情绪至预设情绪数据库；基于所述预设情绪数据库数据，形成用户个人情绪档案，并根据所述用户个人情绪档案，分析生成用户心理健康报告。
本申请第二方面实施例提供一种车辆的交互装置，包括：识别模块，用于识别用户的实际情绪；匹配模块，用于获取车辆的当前交互信息，并根据所述实际情绪和所述当前交互信息匹配所述车辆的最佳多模态人机交互参数；以及控制模块，用于按照所述最佳多模态人机交互参数控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作。
可选地，在本申请的一个实施例中，所述识别模块包括：采集单元，用于采集所述用户的人脸图像；提取单元，用于根据所述人脸图像提取所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列；识别单元，用于根据所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列识别所述实际情绪。
可选地，在本申请的一个实施例中，所述当前交互信息包括所述车辆的车内温度、所述车辆的车内湿度、所述用户的主动交互行为、所述用户的视觉信息和所述用户的声音信息中的至少一项。
可选地，在本申请的一个实施例中，还包括：存储模块，用于存储所述用户的实际情绪至预设情绪数据库；分析模块，用于基于所述预设情绪数据库数据，形成用户个人情绪档案，并根据所述用户个人情绪档案，分析生成用户心理健康报告。
本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆的交互方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的车辆的交互方法。
本申请实施例可以基于用户的实际情绪和当前交互信息匹配车辆的最佳多模态人机交互参数，从而控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作，可以针对用户不同的情绪，主动为用户提供不同的情绪调节的交互方式，可以有效缓解用户压力、舒缓用户情绪，对个人身心健康、社会情绪化均有重要的改善作用。由此，解决了相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节的技术问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种车辆的交互方法的流程图；
图2为根据本申请一个实施例的车辆的交互方法的情绪识别视觉框架示意图；
图3为根据本申请一个实施例的车辆的交互方法的感知交互原理示意图；
图4为根据本申请实施例提供的一种车辆的交互装置的结构示意图；
图5为根据本申请实施例提供的车辆的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车辆的交互方法、装置、车辆及存储介质。针对上述背景技术中心提到的相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节的技术问题，本申请提供了一种车辆的交互方法，在该方法中，可以基于用户的实际情绪和当前交互信息匹配车辆的最佳多模态人机交互参数，从而控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作，可以针对用户不同的情绪，主动为用户提供不同的情绪调节的交互方式，可以有效缓解用户压力、舒缓用户情绪，对个人身心健康、社会情绪化均有重要的改善作用。由此，解决了相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节的技术问题。
具体而言，图1为本申请实施例所提供的一种车辆的交互方法的流程示意图。
如图1所示，该车辆的交互方法包括以下步骤：
在步骤S101中，识别用户的实际情绪。
在实际执行过程中，本申请实施例可以通过摄像头检测用户人脸和/或通过语音采集设备采集用户的声音数据，从而识别用户的实际情绪，如高兴、悲伤、愤怒(生气)、中性等。
可选地，在本申请的一个实施例中，识别用户的实际情绪，包括：采集用户的人脸图像；根据人脸图像提取用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列；根据用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列识别实际情绪。
作为一种可能实现的方式，本申请实施例可以基于采集的用户人脸图像，获取人脸关键点(如脸部纹路、嘴巴张合、眼角状态、面部肌肉)及其时序序列，并如图2所示，可以通过边缘AI算法进行人脸矫正、数据增强等，通过离散情绪、连续情绪空间、面部动作单元三种建模方式来识别用户情绪。
具体地，视觉识别的AI算法指标可以如表1所示，其中，表1为视觉识别AI的功能及技术指标表。
表1
Figure BDA0003832400370000051
步骤S102中，获取车辆的当前交互信息，并根据实际情绪和当前交互信息匹配车辆的最佳多模态人机交互参数。
可以理解是，情绪调节是个体对情绪的唤醒水平的调节，包括正性和负性的调节，情绪调节包括削弱或去除正在进行的情绪，激活需要的情绪，既包括抑制、削弱和掩盖等过程，也包括维持和增强的过程。因此，本申请时时乐可以在识别用户的情绪后，针对不同类型的情绪，同时结合车内环境等多模态信息，主动提供情绪缓解或调节的交互方式，匹配车辆的最佳多模态人机交互参数。
可选地，在本申请的一个实施例中，当前交互信息包括车辆的车内温度、车辆的车内湿度、用户的主动交互行为、用户的视觉信息和用户的声音信息中的至少一项。
具体而言，当前交互信息可以包括车辆的当前车内温度、车辆的当前车内湿度、用户的主动交互行为、用户的视觉信息和用户的声音信息中的至少一项。
其中，用户的主动交互行为可以为用户主动对车内功能性设备的调整，如进行空调参数调整，进行娱乐交互等行为；
用户的视觉信息可以为用户当前中控屏幕显示的状态，或车辆当前内部氛围灯的状态等；
用户的声音信息可以包括用户的语音指令等。
综上，本申请实施例可以同时融合视觉输入、交互行为输入以及舱内环境等综合维度，匹配车辆的最佳多模态人机交互参数，从而提供不同的场景化交互方式。
步骤S103中，按照最佳多模态人机交互参数控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作。
在实际执行过程中，本申请实施例的情绪调节、车辆的交互可以集中在安全、关怀、娱乐三个方面，在安全方面，当识别到用户长时间处于悲伤或愤怒情绪时，及时对用户的情绪进行安抚，或许可以避免许多悲剧；在关怀方面，当识别到用户处于负面情绪时，可以通过音乐推荐、释放香氛、形象互动来进行缓解；在娱乐方面，可以根据情绪来调节氛围灯、抓拍等交互方式。
具体地，本申请实施例可以按照最佳多模态人机交互参数控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作，实现从视觉、听觉和/或嗅觉多方面的情绪调节。
举例而言，在嗅觉交互方面：
本申请实施例可以在检测到用户情绪时，通过打开空气净化、打开香氛功能(如清新自然、治愈舒缓、运动激情等香氛)，营造更舒适的环境，让用户情绪得到缓解。
在视觉交互方面：
本申请实施例可以针对用户的不同情绪，采用不同的交互策略，如智能助手形象呈现不同的表情反馈，体现更多的情感交互，其中，表情可以作为抑郁症的辅助判断手段，比如：检测到用户悲伤的时候，让车载虚拟形象展示哭脸或抚摸的动作，陪用户一起哭并安抚用户，让用户产生被共情的感受，通过形象的互动，给用户创造愉悦的情感体验，更好的调节情绪，有助于用户心理健康，同时结合用户的情绪，可以通过控制调节车内氛围灯的亮度、颜色、律动频率以及车内显示屏界面风格，营造更舒适的环境，让情绪得到缓解。
本申请实施例还可以当检测到用户高兴的时候，自动开启抓拍功能，帮助用户留住美好瞬间。
在听觉交互方面：
本申请实施例可以在检测到用户处于开心情绪，基于情绪进行歌单推荐，如通过发送歌单标签或关键字发送指令至在线音乐应用程序播放对应歌曲。
同时，本申请实施例在本次行车过程中首次触发情绪识别时，还可以通过趣味对话与用户互动(如“小姐姐真美”、“跟着节奏唱起来吧”等)；
当检测到用户处于负面情绪时，可通过推荐用户收藏的音乐以及安抚内容的对话(如“主人，我一直陪着你”、“跟着我一起深呼吸”等)，让用户达到情感共鸣的效果，从而实现情绪调节。
进一步地，车内不同的交互方式可进行融合，实现多模态交互，可以如表2所示，其中，表2为情绪与多模态交互功能对照表。
表2
Figure BDA0003832400370000071
可选地，在本申请的一个实施例中，还包括：存储用户的实际情绪至预设情绪数据库；基于预设情绪数据库数据，形成用户个人情绪档案，并根据用户个人情绪档案，分析生成用户心理健康报告。
作为一种可能实现的方式，本申请实施例可以通过一段时间的数据积累，形成用户个人情绪档案，对用户长期的情绪数据进行统计，便于用户判断个人情绪的变化，形成心理健康报告，对用户心理状态做出建议，对心理疾病做到更好的预防。
结合图2和图3所示，以一个实施例对本申请实施例的车辆的交互方法多工作原理进行详细阐述。
举例而言，如图3所示，本申请实施例可以基于多模感知及情绪调节系统，实现基于用户情绪调节的车辆的交互。
其中，本申请实施例的多模感知及情绪调节系统系统工作条件可以为：
工作温度范围为-40℃～85℃；无载存放温度为-40℃～95℃；相对湿度0～85％。
工作电流：单个主机(接上4个摄像头)：≤1A；正常工作电压7V～17V。
本申请实施例的多模感知及情绪调节系统的硬件系统可以包括：
摄像头(提供图像/视频输入，DMS、RMS、OMS摄像头通过Virtual Channel的形式，合并成一路视频(类似美信9296双路视频合成一路的输出)通过一路LVDS传输给CVBOX，由CVBOX来判断感知的结果)；
CVBOX(将识别感知的最终算法结果，通过CAN传输给DMC，由DMC来作处理分配)；
CAN网关(实现CAN通讯)；
多路MIC(识取语音信息给CVBOX)；
DMC(合理分配交互方式，并通过CAN通讯、LVDS通道、A2B等方式，传输给各个控制器，由控制器呈现最终交互，实现整个系统的交互功能)；
5G-TB0X(给DMC提供网络)；
显示屏、氛围灯系统(展示视觉互动)；
扬声器(展示听觉反馈)；
香氛系统(提供嗅觉反馈)；
空调系统(实现空气净化)。
本申请实施例的多模感知及情绪调节系统的软件算法可以如下：
本申请实施例可以通过摄像头检测用户人脸、人脸关键点(如脸部纹路、嘴巴张合、眼角状态、面部肌肉)及其时序序列，并如图2所示，通过边缘AI算法进行人脸矫正、数据增强等，通过离散情绪、连续情绪空间、面部动作单元三种建模方式来识别用户情绪，同时融合视觉输入、交互行为输入以及舱内环境等综合维度，从而提供不同的场景化交互方式。
例如，在嗅觉交互方面：
本申请实施例可以在检测到用户情绪时，通过打开空气净化、打开香氛功能(如清新自然、治愈舒缓、运动激情等香氛)，营造更舒适的环境，让用户情绪得到缓解。
在视觉交互方面：
本申请实施例可以针对用户的不同情绪，采用不同的交互策略，如智能助手形象呈现不同的表情反馈，体现更多的情感交互，其中，表情可以作为抑郁症的辅助判断手段，比如：检测到用户悲伤的时候，让车载虚拟形象展示哭脸或抚摸的动作，陪用户一起哭并安抚用户，让用户产生被共情的感受，通过形象的互动，给用户创造愉悦的情感体验，更好的调节情绪，有助于用户心理健康，同时结合用户的情绪，可以通过控制调节车内氛围灯的亮度、颜色、律动频率以及车内显示屏界面风格，营造更舒适的环境，让情绪得到缓解。
本申请实施例还可以当检测到用户高兴的时候，自动开启抓拍功能，帮助用户留住美好瞬间。
在听觉交互方面：
本申请实施例可以在检测到用户处于开心情绪，基于情绪进行歌单推荐，如通过发送歌单标签或关键字发送指令至在线音乐应用程序播放对应歌曲。
同时，本申请实施例在本次行车过程中首次触发情绪识别时，还可以通过趣味对话与用户互动(如“小姐姐真美”、“跟着节奏唱起来吧”等)；
当检测到用户处于负面情绪时，可通过推荐用户收藏的音乐以及安抚内容的对话(如“主人，我一直陪着你”、“跟着我一起深呼吸”等)，让用户达到情感共鸣的效果，从而实现情绪调节。
根据本申请实施例提出的车辆的交互方法，可以基于用户的实际情绪和当前交互信息匹配车辆的最佳多模态人机交互参数，从而控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作，可以针对用户不同的情绪，主动为用户提供不同的情绪调节的交互方式，可以有效缓解用户压力、舒缓用户情绪，对个人身心健康、社会情绪化均有重要的改善作用。由此，解决了相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节的技术问题。
其次参照附图描述根据本申请实施例提出的车辆的交互装置。
图4是本申请实施例的车辆的交互装置的方框示意图。
如图4所示，该车辆的交互装置10包括：识别模块100、匹配模块200和控制模块300。
具体地，识别模块100，用于识别用户的实际情绪。
匹配模块200，用于获取车辆的当前交互信息，并根据实际情绪和当前交互信息匹配车辆的最佳多模态人机交互参数。
控制模块300，用于按照最佳多模态人机交互参数控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作。
可选地，在本申请的一个实施例中，识别模块100包括：采集单元、提取单元和识别单元。
其中，采集单元，用于采集用户的人脸图像。
提取单元，用于根据人脸图像提取用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列。
识别单元，用于根据用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列识别实际情绪。
可选地，在本申请的一个实施例中，当前交互信息包括车辆的车内温度、车辆的车内湿度、用户的主动交互行为、用户的视觉信息和用户的声音信息中的至少一项。
可选地，在本申请的一个实施例中，车辆的交互装置10还包括：存储模块和分析模块。
其中，存储模块，用于存储用户的实际情绪至预设情绪数据库。
分析模块，用于基于预设情绪数据库数据，形成用户个人情绪档案，并根据用户个人情绪档案，分析生成用户心理健康报告。
需要说明的是，前述对车辆的交互方法实施例的解释说明也适用于该实施例的车辆的交互装置，此处不再赘述。
根据本申请实施例提出的车辆的交互装置，可以基于用户的实际情绪和当前交互信息匹配车辆的最佳多模态人机交互参数，从而控制车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作，可以针对用户不同的情绪，主动为用户提供不同的情绪调节的交互方式，可以有效缓解用户压力、舒缓用户情绪，对个人身心健康、社会情绪化均有重要的改善作用。由此，解决了相关技术中，车辆仅包括固定的交互模式，缺乏对用户情绪的感知及调节的技术问题。
图5为本申请实施例提供的车辆的结构示意图。该车辆可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的车辆的交互方法。
进一步地，车辆还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的车辆的交互方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车辆的交互方法，其特征在于，包括以下步骤：
识别用户的实际情绪；
获取车辆的当前交互信息，并根据所述实际情绪和所述当前交互信息匹配所述车辆的最佳多模态人机交互参数；以及
按照所述最佳多模态人机交互参数控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作。
2.根据权利要求1所述的方法，其特征在于，所述识别用户的实际情绪，包括：
采集所述用户的人脸图像；
根据所述人脸图像提取所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列；
根据所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列识别所述实际情绪。
3.根据权利要求1所述的方法，其特征在于，所述当前交互信息包括所述车辆的车内温度、所述车辆的车内湿度、所述用户的主动交互行为、所述用户的视觉信息和所述用户的声音信息中的至少一项。
4.根据权利要求1所述的方法，其特征在于，还包括：
存储所述用户的实际情绪至预设情绪数据库；
基于所述预设情绪数据库数据，形成用户个人情绪档案，并根据所述用户个人情绪档案，分析生成用户心理健康报告。
5.一种车辆的交互装置，其特征在于，包括：
识别模块，用于识别用户的实际情绪；
匹配模块，用于获取车辆的当前交互信息，并根据所述实际情绪和所述当前交互信息匹配所述车辆的最佳多模态人机交互参数；以及
控制模块，用于按照所述最佳多模态人机交互参数控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和/或至少一个嗅觉交互设备执行相应的交互动作。
6.根据权利要求5所述的装置，其特征在于，所述识别模块包括：
采集单元，用于采集所述用户的人脸图像；
提取单元，用于根据所述人脸图像提取所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列；
识别单元，用于根据所述用户的至少一个人脸特征、至少一个人脸关键点特征和对应的时序序列识别所述实际情绪。
7.根据权利要求5所述的装置，其特征在于，所述当前交互信息包括所述车辆的车内温度、所述车辆的车内湿度、所述用户的主动交互行为、所述用户的视觉信息和所述用户的声音信息中的至少一项。
8.根据权利要求5所述的装置，其特征在于，还包括：
存储模块，用于存储所述用户的实际情绪至预设情绪数据库；
分析模块，用于基于所述预设情绪数据库数据，形成用户个人情绪档案，并根据所述用户个人情绪档案，分析生成用户心理健康报告。
9.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的车辆的交互方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的车辆的交互方法。
CN202211079588.5A 2022-09-05 2022-09-05 车辆的交互方法、装置、车辆及存储介质 Pending CN115471890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211079588.5A CN115471890A (zh) 2022-09-05 2022-09-05 车辆的交互方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211079588.5A CN115471890A (zh) 2022-09-05 2022-09-05 车辆的交互方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN115471890A true CN115471890A (zh) 2022-12-13

Family

ID=84370635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211079588.5A Pending CN115471890A (zh) 2022-09-05 2022-09-05 车辆的交互方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN115471890A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116061959A (zh) * 2023-04-03 2023-05-05 北京永泰万德信息工程技术有限公司 一种车辆的人机交互方法、车辆及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116061959A (zh) * 2023-04-03 2023-05-05 北京永泰万德信息工程技术有限公司 一种车辆的人机交互方法、车辆及存储介质

Similar Documents

Publication Publication Date Title
CN104244824B (zh) 情绪监视系统
WO2015198716A1 (ja) 情報処理装置及び情報処理方法並びにプログラム
CN110728256A (zh) 基于车载数字人的交互方法及装置、存储介质
US20090030619A1 (en) Vehicular user hospitality system
CN105955490A (zh) 一种基于增强现实的信息处理方法、装置和移动终端
CN113780062A (zh) 一种基于情感识别的车载智能交互方法、存储介质及芯片
CN112959998B (zh) 一种车载人机交互方法、装置、车辆及电子设备
CN110958750B (zh) 照明设备控制方法及装置
CN108115695A (zh) 一种情感色彩表达系统及机器人
CN110287766A (zh) 一种基于人脸识别自适应调节方法、系统和可读存储介质
CN115471890A (zh) 车辆的交互方法、装置、车辆及存储介质
CN106861012A (zh) Vr体验场景下基于智能手环的用户情绪调节方法
CN110598611A (zh) 看护系统、基于看护系统的病人看护方法和可读存储介质
CN109087636A (zh) 交互设备
JP2019208576A (ja) 感情データ取得装置および感情操作装置
CN113835375A (zh) 一种辅助治疗焦虑障碍的人工智能系统
CN111966321A (zh) 音量调节方法、ar设备及存储介质
CN110587621A (zh) 机器人、基于机器人的病人看护方法和可读存储介质
TW201826167A (zh) 一種表情反饋方法及智慧機器人
CN110435567A (zh) 一种疲劳驾驶的管理方法和装置
CN112644375B (zh) 基于情绪感知的车内氛围灯调节方法、系统、介质及终端
JP7443908B2 (ja) 制御装置、情報処理システム、および制御方法
CN115205917A (zh) 一种人机交互的方法及电子设备
WO2024159679A1 (zh) 应用程序控制方法、装置、设备及存储介质
CN109582271B (zh) 一种动态设置tts播放参数的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination