CN116061959A - 一种车辆的人机交互方法、车辆及存储介质 - Google Patents
一种车辆的人机交互方法、车辆及存储介质 Download PDFInfo
- Publication number
- CN116061959A CN116061959A CN202310343791.7A CN202310343791A CN116061959A CN 116061959 A CN116061959 A CN 116061959A CN 202310343791 A CN202310343791 A CN 202310343791A CN 116061959 A CN116061959 A CN 116061959A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- human
- emotion
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008451 emotion Effects 0.000 claims abstract description 66
- 230000019771 cognition Effects 0.000 claims abstract description 42
- 230000007613 environmental effect Effects 0.000 claims abstract description 12
- 230000008909 emotion recognition Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 41
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/107—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本申请涉及车辆智能控制技术领域，尤其涉及一种车辆的人机交互方法、车辆及存储介质，该方法包括：响应于智能模式的启动，获取车辆目标用户的情绪认知数据；获取车辆的驾驶状态数据和/或环境数据；根据所述情绪认知数据，结合车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令；输出多模态人机交互指令给所述用户确定。本申请将用户情绪、车辆驾驶状态和环境数据相结合，匹配合适的多模态人机交互指令，从而提升用户的驾驶体验。
Description
技术领域
本申请涉及车辆智能控制技术领域，尤其涉及一种车辆的人机交互方法、车辆及存储介质。
背景技术
随着汽车工业的发展，很多车辆提供了车辆内的人机交互功能。
目前，车辆内的人机交互主要是通过车机语音交互系统实现的语音交互，具体的：车机语音交互系统在收到用户语音后，识别该用户语音得到对应的文本信息；然后，根据该文本信息确定出用户意图；进一步的，针对用户意图，确定出该用户语音对应的回复文本；最后，将回复文本转换为语音，作为语音交互结果返回给用户。
然而，这种语音交互的方式缺乏对用户情绪的感知，不够人性化，难以满足用户更高交互需求的问题，因此目前亟需一种方法解决上述问题。
发明内容
针对目前车辆的人机交互方式不够人性化，难以满足用户更高的交互需求的问题，本申请提出了一种车辆的人机交互方法、车辆及存储介质。
本申请的第一方面实施例提供了一种车辆的人机交互方法，包括：
响应于智能模式的启动，获取车辆内目标用户的情绪认知数据；
获取车辆的驾驶状态数据和/或环境数据；
根据情绪认知数据，结合车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令，其中，其中，所述多模态人机交互指令用于控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和/至少一个嗅觉交互设备执行相应的交互动作；
输出多模态人机交互指令给用户确定。
通过采用上述技术方案，在获取车内目标用户的情绪认知数据后，结合车辆的驾驶状态数据和/或环境数据进行多模态人机交互指令的匹配，进而将用户情绪、车辆驾驶状态和环境数据相结合，匹配合适的多模态人机交互指令，更加人性化，可以满足用户更高的交互需求的问题，从而提升用户的驾驶体验。
可选的，响应于智能模式的启动，获取车辆内目标用户的情绪认知数据包括：
捕捉智能模式的唤醒信号，进行车内目标用户的确认；
获取目标用户的人脸图像；
将人脸图像输入情绪识别模型，得到目标用户的情绪认知数据。
通过采用上述技术方案，在获取用户的人脸图像后，基于情绪识别模型得到目标用户的情绪认知数据，从而实现用户情绪的精准识别，提高了情绪识别效率。
可选的，情绪识别模型通过如下方式进行训练：
生成第一训练样本集，第一训练样本集包括预设数量的用户人脸训练图像以及与用户人脸训练图像匹配的第一情绪认知结果；
将第一训练样本集合中的用户人脸训练图像输入至预设模型，输出与所述用户人脸训练图像对应的第二情绪认知结果；
当输出的所述第二情绪认知结果与所述第一情绪认知结果的匹配度满足预设阈值时，完成情绪识别模型的训练。
通过采用上述技术方案，以与用户人脸训练图像匹配的第一情绪认知结果作为训练基础，训练得到与用户人脸训练图像对应的第二情绪认知结果，并根据第一情绪认知结果判断第二情绪认知结果的真假，进而将判断结果输出至深度学习模型中，使得学习模型后续生成的第二情绪认知结果能够更接近第一情绪认知结果，当输出的第二情绪结果与第一情绪认知结果的统一率满足预设阈值时，从而完成情绪识别模型的训练。
可选的，获取车辆的驾驶状态数据，包括：
周期性获取当前车辆速度信息，车辆速度信息包括预设时间段内的平均车速信息和车速信息；
获取当前车辆的加速度；
当所述加速度绝对值的方差不大于预设数值时，则判定所述当前车辆的驾驶状态数据为稳定行驶状态，否则判定所述当前车辆的驾驶状态数据为非稳定行驶状态。
通过采用上述技术方案，以周期性获取预设时间段内的平均车速信息和当前车速信息，以判断当前的行车环境，以预设数据对加速度绝对值的方差进行判断以确定当前车辆的行驶状态，如高速公路平稳驾驶，或城市高峰期拥挤行驶，从而进行车辆行驶状态的识别。
可选的，环境数据包括车内环境数据和车外环境数据；
车内环境数据包括车内温度数据、车内湿度数据和车内PM2.5数值中的至少一者；
车外环境数据包括车外天气数据、道路类型数据和实时路况数据中的至少一者。
通过采用上述技术方案，对车内温度、湿度、PM2.5数值、车外天气数据、道路类型和实时路况中的一者或多者进行监测，从而实现驾驶环境数据的确定，为车辆的智能化行驶提供了判断基础。
可选的，根据情绪认知数据，结合车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令包括：
基于情绪认知数据，得到情绪认知数据对应的指令目标集合；
根据驾驶状态数据和/或行驶环境数据匹配指令目标集合中的多模态人机交互指令。
通过采用上述技术方案，在情绪认知数据为基础，得到与情绪认知数据相对应的指令目标集合，同时基于驾驶状态数据和/或行驶环境数据对顶指令目标集合中的匹配指令，进行视觉交互设备、听觉交互设备和嗅觉交互设备控制，从而使得车辆能够智能感知用户情绪，并结合行车环境和状态匹配适应的交互动作，从而提升用户的家驾驶体验。
可选的，视觉交互设备包括安装在车辆内部的能够显示多种颜色的氛围灯，听觉交互设备包括音乐播放模块和语音互动模块，嗅觉交互设备包括车载PM2.5空气净化器。
通过采用上述技术方案，基于氛围灯、音乐播放模块、语音互动模块、PM2.5空气净化器实现氛围灯的智能调节、匹配音乐智能筛选播放、智能语音互动和PM2.5空气净化器的智能调节。
可选的，输出多模态人机交互指令给用户确定后，还包括：
接收目标用户对多模态人机交互指令的确定指令；
根据所述确定指令响应多模态人机交互指令。
通过采用上述技术方案，在接收目标用户对多模态人机交互指令确定后，控制对应的交互设备响应多模态人机交互指令，从而实现交互设备的智能化控制，提升用户的驾驶体验。
本申请的第二方面实施例提供了一种车辆，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序，以实现上述实施例车辆的人机交互方法。
本申请的第三方面实施例提供了一种计算机可读存储介质，该程序被处理器执行，以实现上述实施例车辆的人机交互方法。
综上，本申请包括以下至少一种的有益技术效果：
1.通过采用上述技术方案，在获取车内目标用户的情绪认知数据后，结合车辆的驾驶状态数据和/或环境数据进行多模态人机交互指令的匹配，进而将用户情绪、车辆驾驶状态和环境数据相结合，匹配合适的多模态人机交互指令，更加人性化，可以满足用户更高的交互需求的问题，从而提升用户的驾驶体验；
2.通过采用上述技术方案，以与用户人脸训练图像匹配的第一情绪认知结果作为训练基础，训练得到与用户人脸训练图像对应的第二情绪认知结果，并根据第一情绪认知结果判断第二情绪认知结果的真假，进而将判断结果输出至深度学习模型中，使得学习模型后续生成的第二情绪认知结果能够更接近第一情绪认知结果，当输出的第二情绪结果与第一情绪认知结果的统一率满足预设阈值时，从而完成情绪识别模型的训练；
3.通过采用上述技术方案，在情绪认知数据为基础，得到与情绪认知数据相对应的指令目标集合，同时基于驾驶状态数据和/或行驶环境数据对顶指令目标集合中的匹配指令，进行视觉交互设备、听觉交互设备和嗅觉交互设备控制，从而使得车辆能够智能感知用户情绪，并结合行车环境和状态匹配适应的交互动作，从而提升用户的家驾驶体验。
附图说明
图1是本申请一实施例车辆的人机交互方法的流程示意图；
图2是本申请一实施例中获取车内目标用户的情绪认知情绪方法的流程示意图；
图3是本申请一实施例中情绪识别模型训练方法的流程示意图；
图4是本申请一实施例中车辆的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，通过以下附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
图1是本申请一实施例中基于车载显示的导航方法的流程示意图。
参照图1，本申请提供了一种车辆的人机交互方法，包括：
S102、响应于智能模式的启动，获取车辆内目标用户的情绪认知数据。
这里的智能模式的启动，可以通过按钮按压或旋转触发，也可以通过特殊语音信息的输入触发，例如：当检测到车内用户发出“你好，启动智能模式”等语音信息触发。
进一步的，这里的车内目标用户可以是驾驶员或者乘客，具体可以根据实际智能模式的触发方式确定，例如：当智能模式的启动为特殊语音信息的输入触发时，可通过唇动测试进行目标用户的确认。
可选的，由于用户的情绪随着时间的推移可能发生变化，因此这里的情绪认知数据可以为一段时间内多次情绪认知情绪的获取，通过对多次情绪认知情绪的分析，进而确定目标用户的情绪。
S104、获取车辆的驾驶状态数据和/或环境数据。
但是由于在车载场景的表情往往是暂态的，通常较难反映一个人情绪的基本面，因此需要结合车辆的驾驶状态数据和/或环境数据进行分析，从而才能准确的分析出用户此刻的实际需求，进而提升智能化程度。
这里的驾驶状态数据包括车速、加速度、加速度变化情况和驾驶时间等数据，环境数据包括外部光照、车内湿度、温度、空气质量、道路拥堵情况和目的地等。
其中，车速、加速度、加速度情况和驾驶时间等数据可以通过车辆的CAN总线与车机中控系统连接获取；光照、车内湿度、温度、空气质量可以通过通信盒子（车载T-box）与远程服务终端连接进行通信获取；道路拥堵情况和目的地可以通过车载地图盒子获取。
S106、根据情绪认知数据，结合车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令，其中，所述多模态人机交互指令用于控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和/至少一个嗅觉交互设备执行相应的交互动作。
在获取目标用户的情绪认知数据、车辆的驾驶状态数据和/或行驶环境数据后，进行匹配对应的多模态人机交互指令，对应的匹配规则可以基于实际需求进行灵活设置；例如：当目标用户为中性情绪、驾驶时间为2个小时、行驶状态为高速匀速行驶，则表明用户有些困乏，根据预设的相应规则可匹配提神的动感类的音乐或类似的音频播放指令，进而在避免用户分心的状态下，快速获取匹配的音乐或音频以达到提升的效果，即确保用户的安全的前提下，提升了用户的驾驶体验。
进一步的，视觉交互设备包括安装在车辆内部的能够显示多种颜色的氛围灯，听觉交互设备包括音乐播放模块和语音互动模块，嗅觉交互设备包括车载PM2.5空气净化器。
其中，基于氛围灯、音乐播放模块、语音互动模块、PM2.5空气净化器实现氛围灯的智能调节、匹配音乐智能筛选播放、智能语音互动和PM2.5空气净化器的智能调节。
S108、输出多模态人机交互指令给用户确定。
在匹配到对应的人机交互指令后可通过车载显示向用户传达对应的指令，如：播放舒缓类音乐、单口相声和民间故事会播放这三个指令，在收到用户的选择指令后（如：播放舒缓类音乐），则进行预配音乐的播放。上述仅为方便理解引用，不做为对本申请技术方案的限定，具体设置可以根据厂家或用户进行灵活设置。
上述方案在获取车内目标用户的情绪认知数据后，结合车辆的驾驶状态数据和/或环境数据进行多模态人机交互指令的匹配，进而将用户情绪、车辆驾驶状态和环境数据相结合，匹配合适的多模态人机交互指令，如智能播放匹配风格的音乐、调节车内的氛围灯等，从而提升用户的驾驶体验。
图2是本申请一实施例中获取车内目标用户的情绪认知情绪方法的流程示意图。
参照图2，响应于智能模式的启动，获取车辆内目标用户的情绪认知数据包括：
S202、捕捉智能模式的唤醒信号，进行车内目标用户的确认。
这里目标用户的确认可以优选设置为前排驾驶人员优先，也可以根据唤醒信号的类型进行限定，例如通过语音唤醒的方式则可以通过唇动测试确定语音唤醒信号的来源，进而确认目标用户。
S204、获取目标用户的人脸图像。
人脸图像可以通过置于车内的摄像头获取，其中，人脸图像可以不仅限于一张，可以为预设时间段内的多个人脸图像的获取，例如：人脸图像获取时间为5分钟，每1分钟进行10张人脸图像的获取，5分钟共计50张人脸图像作为情绪识别的数据基础。
S206、将人脸图像输入情绪识别模型，得到目标用户的情绪认知数据。
在获取预设数量的人脸图像后，通过将人脸图像输入情绪识别模型，基于情绪识别模型进行人物情绪识别；例如：通过预设规则对不同的情绪进行打分，采用100分制进行判定，其中0分至40分为悲伤、41至70分为中性、71分至100分为喜悦，基于上述举例中，将50张人脸图像作为情绪识别基础，得到平均情绪值为80，则判定为喜悦，则可以向用户推荐欢快类的音乐。
在获取用户的人脸图像后，基于情绪识别模型得到目标用户的情绪认知数据，从而实现用户情绪的精准识别，提高了情绪识别效率。
图3是本申请一实施例中情绪识别模型训练方法的流程示意图
参照图3，情绪识别模型通过如下方式进行训练：
302、生成第一训练样本集，所述第一训练样本集包括预设数量的用户人脸训练图像以及与所述用户人脸训练图像匹配的第一情绪认知结果；
S304、将所述第一训练样本集合中的用户人脸训练图像输入至预设模型，输出与所述用户人脸训练图像对应的第二情绪认知结果；
S306、当输出的所述第二情绪认知结果与所述第一情绪认知结果的匹配度满足预设阈值时，完成所述情绪识别模型的训练。
上述技术方案以与用户人脸训练图像匹配的第一情绪认知结果作为训练基础，训练得到与用户人脸训练图像对应的第二情绪认知结果，并根据第一情绪认知结果判断第二情绪认知结果的真假，进而将判断结果输出至深度学习模型中，使得学习模型后续生成的第二情绪认知结果能够更接近第一情绪认知结果，当输出的第二情绪结果与第一情绪认知结果的统一率满足预设阈值时，从而完成情绪识别模型的训练。
可选的，获取车辆的驾驶状态数据包括：
周期性获取当前车辆速度信息，车辆速度信息包括预设时间段内的平均车速信息和当车速信息。
为了减缓车辆的驾驶状态数据获取的压力，通过周期性的获取当前车辆速度信息，能够提升车辆驾驶状态的检测效率。
获取当前车辆的加速度；
上述方案可以通过当前车辆的加速度信息作为车辆驾驶状态的判断依据，简洁高效。
当所述加速度绝对值的方差不大于预设数值时，则判定所述当前车辆的驾驶状态数据为稳定行驶状态，否则判定所述当前车辆的驾驶状态数据为非稳定行驶状态。
可以理解的是，当车辆属于稳定行驶状态时，则说明此时道路情况平稳，驾驶员相对无聊和乏困，可以以提神和有趣作为标签向用户匹配相关指令；当车辆属于非稳定行驶状态时，则说明此时道路情况复杂，驾驶员精神状态紧绷，可以以舒缓为标签向用户匹配相关指令。
上述技术方案以周期性获取预设时间段内的平均车速信息和当前车速信息，以判断当前的行车环境，以预设数据对加速度绝对值的方差进行判断以确定当前车辆的行驶状态，如高速公路平稳驾驶，或城市高峰期拥挤行驶，从而进行车辆行驶状态的识别。
进一步的，环境数据包括车内环境数据和车外环境数据；
车内环境数据包括车内温度数据、车内湿度数据和车内PM2.5数值中的至少一者；
车外环境数据包括车外天气数据、道路类型数据和实时路况数据中的至少一者。
上述技术方案通过对车内温度、湿度、PM2.5数值、车外天气数据、道路类型和实时路况中的一者或多者进行监测，从而实现驾驶环境数据的确定，为车辆的智能化行驶提供了判断基础。
进一步的，根据情绪认知数据，结合车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令包括：
基于情绪认知数据，得到情绪认知数据对应的指令目标集合；
根据驾驶状态数据和/或行驶环境数据匹配指令目标集合中的多模态人机交互指令。
以情绪认知数据为基础，在得到与情绪认知数据相对应的指令目标集合，同时基于驾驶状态数据和/或行驶环境数据对顶指令目标集合中的匹配指令，进行视觉交互设备、听觉交互设备和嗅觉交互设备控制，从而使得车辆能够智能感知用户情绪，并结合行车环境和状态匹配适应的交互动作，从而提升用户的家驾驶体验。
进一步的，输出多模态人机交互指令给用户确定后包括：
接收目标用户对多模态人机交互指令的确定指令；
根据所述确定指令响应多模态人机交互指令。
通过采用上述技术方案，在接收目标用户对多模态人机交互指令确定后，控制对应的交互设备响应多模态人机交互指令，从而实现交互设备的智能化控制，提升用户的驾驶体验。
图4是本申请一实施例中车辆的结构示意图。该车辆可以包括：
存储器42、处理器43及存储在存储器42上并可在处理器43上运行的计算机程序，处理器执行程序，以实现上述实施例车辆的人机交互方法。
进一步的，车辆还包括：
通信接口41，用于存储器42和处理器43之间的通信。
存储器42，用于存放可在处理器43上运行的计算机程序。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。
如果存储器42、处理器43和通信接口41独立实现，则通信接口41、存储器42和处理器43可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器42、处理器43及通信接口41，集成在一块芯片上实现，则存储器42、处理器43及通信接口41可以通过内部接口完成相互间的通信。
处理器43可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如上车辆的人机交互方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种车辆的人机交互方法，其特征在于，包括：
响应于智能模式的启动，获取车辆内目标用户的情绪认知数据；
获取所述车辆的驾驶状态数据和/或环境数据；
根据所述情绪认知数据，结合所述车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令,其中，所述多模态人机交互指令用于控制所述车辆的至少一个视觉交互设备、至少一个听觉交互设备和或至少一个嗅觉交互设备执行相应的交互动作；
输出所述多模态人机交互指令给所述用户确定。
2.根据权利要求1所述的人机交互方法，其特征在于，所述响应于智能模式的启动，获取车辆内目标用户的情绪认知数据包括：
捕捉智能模式的唤醒信号，进行车内目标用户的确认；
获取所述目标用户的人脸图像；
将所述人脸图像输入情绪识别模型，得到目标用户的情绪认知数据。
3.根据权利要求2所述的人机交互方法，其特征在于，所述情绪识别模型通过如下方式进行训练：
生成第一训练样本集，所述第一训练样本集包括预设数量的用户人脸训练图像以及与所述用户人脸训练图像匹配的第一情绪认知结果；
将所述第一训练样本集合中的用户人脸训练图像输入至预设模型，输出与所述用户人脸训练图像对应的第二情绪认知结果；
当输出的所述第二情绪认知结果与所述第一情绪认知结果的匹配度满足预设阈值时，完成所述情绪识别模型的训练。
4.根据权利要求1所述的人机交互方法，其特征在于，所述获取所述车辆的驾驶状态数据，包括：
周期性获取当前车辆速度信息，所述车辆速度信息包括预设时间段内的平均车速信息和车速信息；
获取所述当前车辆的加速度；
当所述加速度绝对值的方差不大于预设数值时，则判定所述当前车辆的驾驶状态数据为稳定行驶状态，否则判定所述当前车辆的驾驶状态数据为非稳定行驶状态。
5.根据权利要求1所述的人机交互方法，其特征在于，所述环境数据包括车内环境数据和车外环境数据；
所述车内环境数据包括车内温度数据、车内湿度数据和车内PM2.5数值中的至少一者；
所述车外环境数据包括车外天气数据、道路类型数据和实时路况数据中的至少一者。
6.根据权利要求4或5任一所述的人机交互方法，其特征在于，所述根据所述情绪认知数据，结合所述车辆的驾驶状态数据和/或行驶环境数据匹配多模态人机交互指令包括：
基于所述情绪认知数据，得到所述情绪认知数据对应的指令目标集合；
根据所述驾驶状态数据和/或所述行驶环境数据匹配所述指令目标集合中的多模态人机交互指令。
7.根据权利要求6所述的人机交互方法，其特征在于，所述视觉交互设备包括安装在所述车辆内部的能够显示多种颜色的氛围灯，所述听觉交互设备包括音乐播放模块和语音互动模块，所述嗅觉交互设备包括车载PM2.5空气净化器。
8.根据权利要求1所述的人机交互方法，其特征在于，所述输出所述多模态人机交互指令给所述用户确定后，还包括：
接收所述目标用户对所述多模态人机交互指令的确定指令；
根据所述确定指令响应所述多模态人机交互指令。
9.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-8任一项所述车辆的人机交互方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-8中任一项所述车辆的人机交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343791.7A CN116061959A (zh) | 2023-04-03 | 2023-04-03 | 一种车辆的人机交互方法、车辆及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343791.7A CN116061959A (zh) | 2023-04-03 | 2023-04-03 | 一种车辆的人机交互方法、车辆及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116061959A true CN116061959A (zh) | 2023-05-05 |
Family
ID=86178847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310343791.7A Pending CN116061959A (zh) | 2023-04-03 | 2023-04-03 | 一种车辆的人机交互方法、车辆及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116061959A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105261153A (zh) * | 2015-11-03 | 2016-01-20 | 北京奇虎科技有限公司 | 车辆行驶监控方法和装置 |
| CN112735440A (zh) * | 2020-12-30 | 2021-04-30 | 北京瞰瞰科技有限公司 | 车载智能机器人交互方法、机器人及车辆 |
| CN114132328A (zh) * | 2021-12-10 | 2022-03-04 | 智己汽车科技有限公司 | 一种自动调节驾乘环境的辅助驾驶系统及方法、存储介质 |
| CN114202791A (zh) * | 2021-11-30 | 2022-03-18 | 网易（杭州）网络有限公司 | 面部情绪识别模型的训练方法、情绪识别方法及相关设备 |
| US20220234593A1 (en) * | 2021-08-17 | 2022-07-28 | Beijing Baidu Netcom Science Technology Co., Ltd. | Interaction method and apparatus for intelligent cockpit, device, and medium |
| CN115471890A (zh) * | 2022-09-05 | 2022-12-13 | 奇瑞汽车股份有限公司 | 车辆的交互方法、装置、车辆及存储介质 |
-
2023
- 2023-04-03 CN CN202310343791.7A patent/CN116061959A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105261153A (zh) * | 2015-11-03 | 2016-01-20 | 北京奇虎科技有限公司 | 车辆行驶监控方法和装置 |
| CN112735440A (zh) * | 2020-12-30 | 2021-04-30 | 北京瞰瞰科技有限公司 | 车载智能机器人交互方法、机器人及车辆 |
| US20220234593A1 (en) * | 2021-08-17 | 2022-07-28 | Beijing Baidu Netcom Science Technology Co., Ltd. | Interaction method and apparatus for intelligent cockpit, device, and medium |
| CN114202791A (zh) * | 2021-11-30 | 2022-03-18 | 网易（杭州）网络有限公司 | 面部情绪识别模型的训练方法、情绪识别方法及相关设备 |
| CN114132328A (zh) * | 2021-12-10 | 2022-03-04 | 智己汽车科技有限公司 | 一种自动调节驾乘环境的辅助驾驶系统及方法、存储介质 |
| CN115471890A (zh) * | 2022-09-05 | 2022-12-13 | 奇瑞汽车股份有限公司 | 车辆的交互方法、装置、车辆及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7881934B2 (en) | Method and system for adjusting the voice prompt of an interactive system based upon the user's state | |
| CN110390932A (zh) | 基于人脸识别的语音处理方法及其设备 | |
| JP6612707B2 (ja) | 情報提供装置 | |
| WO2014057540A1 (ja) | ナビゲーション装置およびナビゲーション用サーバ | |
| JPWO2015059764A1 (ja) | ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法 | |
| CN112313137A (zh) | 行驶信息处理装置和处理方法 | |
| CN114286479A (zh) | 基于场景的车内灯光控制方法、系统及可读存储介质 | |
| CN112061059B (zh) | 一种车辆的屏幕调节方法、装置、车辆和可读存储介质 | |
| US20200286479A1 (en) | Agent device, method for controlling agent device, and storage medium | |
| CN113548062A (zh) | 汽车的交互控制方法、装置及计算机存储介质 | |
| US9715878B2 (en) | Systems and methods for result arbitration in spoken dialog systems | |
| JP7235554B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
| US20200317055A1 (en) | Agent device, agent device control method, and storage medium | |
| CN116061959A (zh) | 一种车辆的人机交互方法、车辆及存储介质 | |
| CN113479214B (zh) | 一种自动驾驶系统及其应用方法 | |
| CN116483305A (zh) | 智能网联汽车数字虚拟人应用系统及其使用方法、车辆 | |
| CN111731320A (zh) | 智能体系统、智能体服务器及其控制方法、存储介质 | |
| CN113709954B (zh) | 一种氛围灯的控制方法、装置、电子设备及存储介质 | |
| JP2020144285A (ja) | エージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラム | |
| CN115214696A (zh) | 一种车机虚拟形象交互方法、系统、车辆及存储介质 | |
| CN113555017A (zh) | 基于ai智能语音车载氛围灯控制系统及方法 | |
| JP2018195167A (ja) | 情報提供装置および情報提供方法 | |
| JP7175221B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
| CN111993997A (zh) | 基于语音的行人避让提示方法、装置、设备及存储介质 | |
| CN113888846B (zh) | 一种预提醒行车的方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230505 |