CN115391590A - 基于人脸识别的车载音乐推送方法及系统 - Google Patents

Abstract

本发明公开了一种基于人脸识别的车载音乐推送方法及系统，所述方法包括：采集用户的人脸视频，得到人脸视频数据；对人脸视频数据进行人脸识别，以得到人脸视频数据中每帧人脸图像所对应的情绪标签；对当前预设时间段内的情绪标签进行分析，以得到用户当前整体情绪；根据用户当前整体情绪向用户推送音乐。本发明的基于人脸识别的车载音乐推送方法及系统，对人脸视频数据进行人脸识别得到每帧人脸图像所对应的情绪标签，并对预设时间段内的情绪标签进行分析得到用户当前整体情绪，以根据用户当前整体情绪向用户推送音乐，通过人脸识别技术，识别当前驾驶员、乘客的情绪标签，结合音乐标签进行主动推送，为用户带来更加主动的服务和体验。

Description

基于人脸识别的车载音乐推送方法及系统

技术领域

本发明涉及车载音乐推送技术领域，尤其涉及一种基于人脸识别的车载音乐推送方法及系统。

背景技术

目前的车载音乐推荐主要是根据用户听歌数据、听歌习惯进行推送，无法做到和用户实际开车的情景精准匹配，且无法进行主动推送。

因此，亟需一种基于人脸识别的车载音乐推送方法及系统。

发明内容

本发明的目的是提供一种基于人脸识别的车载音乐推送方法及系统，以解决上述现有技术中的问题，通过人脸识别技术，识别当前驾驶员、乘客的情绪标签，结合音乐标签进行主动推送，为用户带来更加主动的服务和体验。

本发明提供了一种基于人脸识别的车载音乐推送方法，其中，包括：

采集用户的人脸视频，得到人脸视频数据；

对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签；

对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪；

根据所述用户当前整体情绪向用户推送音乐。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述采集用户的人脸视频，得到人脸视频数据，具体包括：

通过DMS摄像头采集用户的人脸视频，得到人脸视频数据。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述通过DMS摄像头采集用户的人脸视频，得到人脸视频数据，具体包括：

通过主驾DMS摄像头采集主驾驶员的人脸视频，得到驾驶员人脸视频数据，并通过副驾DMS摄像头采集副驾乘客的人脸视频，得到副驾乘客人脸视频数据，其中，所述主驾DMS摄像头设置在前挡风玻璃顶部且面向主驾驶员的脸部位置，所述副驾DMS摄像头设置在前挡风玻璃顶部且面向副驾乘客的脸部位置。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述情绪标签包括：快乐情绪、悲伤情绪、愤怒情绪、惊讶情绪、恐惧情绪和厌恶情绪中的至少一个。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签，具体包括：

通过J2芯片基于卷积神经网络算法按照先后顺序逐帧对所述人脸视频数据进行图像识别，以得到每帧人脸图像所对应的结构化的标识符，其中，每个结构化的标识符对应一种情绪标签。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪，具体包括：

通过娱乐信息控制器对当前预设时间段内的每帧人脸图像所对应的情绪标签进行累加计算，以得到各所述情绪标签在当前预设时间段内的累加结果；

将累加结果最高的情绪标签作为用户当前整体情绪。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述根据所述用户当前整体情绪向用户推送音乐，具体包括：

通过音乐模块根据所述用户当前整体情绪向用户推送音乐。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述基于人脸识别的车载音乐推送方法还包括：

音乐模块根据用户对音乐推送结果的反馈确定是否开启音乐播放。

如上所述的基于人脸识别的车载音乐推送方法，其中，优选的是，所述音乐模块根据用户对音乐推送结果的反馈确定是否开启音乐播放，具体包括：

文本转语音系统通过语音播报询问用户是否要听音乐，您可以回答“确定”或“取消”，同时文字显示“开启音乐播放”，若用户选择“确定”则开启音乐播放，所述音乐模块根据所述用户当前整体情绪播放筛选后的推荐歌单列表，若用户选择“取消”或15s未操作，则不进行任何操作；

若用户选择“取消”后超过10分钟，同时检测到用户情绪未发生变化，则文本转语音系统播报询问用户是否要听音乐，同时文字显示“开启音乐播放”，用户若选择“确定”则开启音乐播放，进入推荐歌单列表，若用户选择“取消”或15s未操作，则不进行任何操作；

若用户两次选择“取消”或不操作，则本行程中不再触发文本转语音系统进行语音播报和弹框进行歌单推荐。

本发明还提供一种采用上述方法的基于人脸识别的车载音乐推送系统，包括：

依次设置的人脸视频采集模块、人脸识别模块、整体情绪分析模块和音乐推送模块，其中：

所述人脸视频采集模块用于采集用户的人脸视频，得到人脸视频数据；

所述人脸识别模块用于对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签；

所述整体情绪分析模块用于对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪；

所述音乐推送模块用于根据所述用户当前整体情绪向用户推送音乐。

本发明提供一种基于人脸识别的车载音乐推送方法及系统，对人脸视频数据进行人脸识别得到每帧人脸图像所对应的情绪标签，并对预设时间段内的情绪标签进行分析得到用户当前整体情绪，以根据用户当前整体情绪向用户推送音乐，通过人脸识别技术，识别当前驾驶员、乘客的情绪标签，结合音乐标签进行主动推送，利用人脸识别技术，设计了独特的音乐推送场景，为用户带来更加主动的服务和体验；通过MP5智能语音提醒的方式，为用户情绪缓解提供有效的服务，提升驾乘过程中的安全性，也使用车体验更加人性化和情感化。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的基于人脸识别的车载音乐推送方法的实施例的流程图；

图2为本发明提供的基于人脸识别的车载音乐推送系统的实施例的结构框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的，而不是作为限制。

本公开中使用的“第一”、“第二”：以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在本公开中，当描述到特定部件位于第一部件和第二部件之间时，在该特定部件与第一部件或第二部件之间可以存在居间部件，也可以不存在居间部件。当描述到特定部件连接其它部件时，该特定部件可以与所述其它部件直接连接而不具有居间部件，也可以不与所述其它部件直接连接而具有居间部件。

本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。

如图1所示，本实施例提供的基于人脸识别的车载音乐推送方法在实际执行过程中，具体包括如下步骤：

步骤S1、采集用户的人脸视频，得到人脸视频数据。

其中，通过DMS(疲劳驾驶)摄像头采集用户的人脸视频，得到人脸视频数据。具体地，通过主驾DMS摄像头采集主驾驶员的人脸视频，得到驾驶员人脸视频数据，并通过副驾DMS摄像头采集副驾乘客的人脸视频，得到副驾乘客人脸视频数据，其中，所述主驾DMS摄像头设置在前挡风玻璃顶部且面向主驾驶员的脸部位置，所述副驾DMS摄像头设置在前挡风玻璃顶部且面向副驾乘客的脸部位置。需要说明的是，本发明对主驾DMS摄像头及副驾DMS摄像头的安装位置不作具体限定。本发明在一些实施方式中，主驾DMS摄像头及副驾DMS摄像头可以转动，以准确地对准主驾驶员及副驾乘客的脸部位置。

步骤S2、对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签。

其中，所述情绪标签包括：快乐情绪、悲伤情绪、愤怒情绪、惊讶情绪、恐惧情绪和厌恶情绪中的至少一个。需要说明的是，本发明对情绪标签的数量及类型不作具体限定。

具体地，通过J2芯片基于卷积神经网络算法按照先后顺序逐帧对所述人脸视频数据进行图像识别，以得到每帧人脸图像所对应的结构化的标识符，其中，每个结构化的标识符对应一种情绪标签。通过J2芯片对人脸视频数据进行图像识别，可以实现离线人脸识别，无需将人脸视频数据上传到云端，也不需要占用中央处理器(CPU)的进程，避免降低中央处理器的处理效率。

本发明在一些实施方式中，J2芯片还可以基于卷积神经网络算法还可以对年龄、性别等参数进行图像识别，这样在标识符及情绪标签中还涵盖了年龄、性别标签，便于更加精准地根据用户情绪结合年龄及性别等参数向用户推送音乐，提升用户体验。

步骤S3、对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪。

在本发明的基于人脸识别的车载音乐推送方法的一种实施方式中，所述步骤S3具体可以包括：

步骤S31、通过娱乐信息控制器(MP5)对当前预设时间段内的每帧人脸图像所对应的情绪标签进行累加计算，以得到各所述情绪标签在当前预设时间段内的累加结果。

步骤S32、将累加结果最高的情绪标签作为用户当前整体情绪。

步骤S4、根据所述用户当前整体情绪向用户推送音乐。

具体地，通过音乐模块根据所述用户当前整体情绪向用户推送音乐。其中，音乐模块例如可以是音乐APP。在具体实现中，音乐APP根据用户当前的情绪、年龄、性别在曲库中筛选出对应的歌曲推送给用户。

本发明在一些实施方式中，所述基于人脸识别的车载音乐推送方法还包括：

步骤S5、音乐模块根据用户对音乐推送结果的反馈确定是否开启音乐播放。

在本发明的基于人脸识别的车载音乐推送方法的一种实施方式中，所述步骤S5具体可以包括：

步骤S51、文本转语音系统(TTS)通过语音播报询问用户是否要听音乐，您可以回答“确定”或“取消”，同时文字显示“开启音乐播放”，若用户选择“确定”则开启音乐播放，所述音乐模块根据所述用户当前整体情绪播放筛选后的推荐歌单列表，若用户选择“取消”或15s未操作，则不进行任何操作。

步骤S52、若用户选择“取消”后超过10分钟，同时检测到用户情绪未发生变化，则文本转语音系统播报询问用户是否要听音乐，同时文字显示“开启音乐播放”，用户若选择“确定”则开启音乐播放，进入推荐歌单列表，若用户选择“取消”或15s未操作，则不进行任何操作。

步骤S53、若用户两次选择“取消”或不操作，则本行程中不再触发文本转语音系统进行语音播报和弹框进行歌单推荐。

本发明在一些实施方式中，所述基于人脸识别的车载音乐推送方法还包括：

步骤S6、根据用户当前整体情绪的变化情况调整音乐推送结果。

本发明在一些实施方式中，当娱乐信息控制器(MP5)经过分析后判断车内有人表情发生变化，例如2分钟内检测到车内同一个人出现3次相同的其他表情(如由悲伤情绪变为快乐情绪)，每次表情500ms或同一人保持相同表情持续5秒)，此时音乐模块根据变化后的用户当前整体情绪及时调整音乐推送结果。

本发明实施例提供的基于人脸识别的车载音乐推送方法，对人脸视频数据进行人脸识别得到每帧人脸图像所对应的情绪标签，并对预设时间段内的情绪标签进行分析得到用户当前整体情绪，以根据用户当前整体情绪向用户推送音乐，通过人脸识别技术，识别当前驾驶员、乘客的情绪标签，结合音乐标签进行主动推送，利用人脸识别技术，设计了独特的音乐推送场景，为用户带来更加主动的服务和体验；通过MP5智能语音提醒的方式，为用户情绪缓解提供有效的服务，提升驾乘过程中的安全性，也使用车体验更加人性化和情感化。

相应地，如图2所示，本发明还提供一种基于人脸识别的车载音乐推送系统，包括：依次设置的人脸视频采集模块1、人脸识别模块2、整体情绪分析模块3和音乐推送模块4，其中：

所述人脸视频采集模块1用于采集用户的人脸视频，得到人脸视频数据；

所述人脸识别模块2用于对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签；

所述整体情绪分析模块3用于对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪；

所述音乐推送模块4用于根据所述用户当前整体情绪向用户推送音乐。

其中，人脸视频采集模块1通过LVDS(Low Voltage Differential Signaling，低压差分信号)线将采集的人脸视频数据发送到人脸识别模块2；人脸识别模块2通过BIFSD通讯链路将每帧人脸图像所对应的情绪标签发送到整体情绪分析模块3，整体情绪分析模块3通过antares接口将用户当前整体情绪发送到音乐推送模块4。

本发明实施例提供的基于人脸识别的车载音乐推送系统，对人脸视频数据进行人脸识别得到每帧人脸图像所对应的情绪标签，并对预设时间段内的情绪标签进行分析得到用户当前整体情绪，以根据用户当前整体情绪向用户推送音乐，通过人脸识别技术，识别当前驾驶员、乘客的情绪标签，结合音乐标签进行主动推送，利用人脸识别技术，设计了独特的音乐推送场景，为用户带来更加主动的服务和体验；通过MP5智能语音提醒的方式，为用户情绪缓解提供有效的服务，提升驾乘过程中的安全性，也使用车体验更加人性化和情感化。

至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种基于人脸识别的车载音乐推送方法，其特征在于，包括：

采集用户的人脸视频，得到人脸视频数据；

对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签；

对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪；

根据所述用户当前整体情绪向用户推送音乐。

2.根据权利要求1所述的基于人脸识别的车载音乐推送方法，其特征在于，所述采集用户的人脸视频，得到人脸视频数据，具体包括：

通过DMS摄像头采集用户的人脸视频，得到人脸视频数据。

3.根据权利要求2所述的基于人脸识别的车载音乐推送方法，其特征在于，所述通过DMS摄像头采集用户的人脸视频，得到人脸视频数据，具体包括：

通过主驾DMS摄像头采集主驾驶员的人脸视频，得到驾驶员人脸视频数据，并通过副驾DMS摄像头采集副驾乘客的人脸视频，得到副驾乘客人脸视频数据，其中，所述主驾DMS摄像头设置在前挡风玻璃顶部且面向主驾驶员的脸部位置，所述副驾DMS摄像头设置在前挡风玻璃顶部且面向副驾乘客的脸部位置。

4.根据权利要求1所述的基于人脸识别的车载音乐推送方法，其特征在于，所述情绪标签包括：快乐情绪、悲伤情绪、愤怒情绪、惊讶情绪、恐惧情绪和厌恶情绪中的至少一个。

5.根据权利要求1所述的基于人脸识别的车载音乐推送方法，其特征在于，所述对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签，具体包括：

通过J2芯片基于卷积神经网络算法按照先后顺序逐帧对所述人脸视频数据进行图像识别，以得到每帧人脸图像所对应的结构化的标识符，其中，每个结构化的标识符对应一种情绪标签。

6.根据权利要求5所述的基于人脸识别的车载音乐推送方法，其特征在于，所述对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪，具体包括：

通过娱乐信息控制器对当前预设时间段内的每帧人脸图像所对应的情绪标签进行累加计算，以得到各所述情绪标签在当前预设时间段内的累加结果；

将累加结果最高的情绪标签作为用户当前整体情绪。

7.根据权利要求1所述的基于人脸识别的车载音乐推送方法，其特征在于，所述根据所述用户当前整体情绪向用户推送音乐，具体包括：

通过音乐模块根据所述用户当前整体情绪向用户推送音乐。

8.根据权利要求1所述的基于人脸识别的车载音乐推送方法，其特征在于，所述基于人脸识别的车载音乐推送方法还包括：

音乐模块根据用户对音乐推送结果的反馈确定是否开启音乐播放。

9.根据权利要求8所述的基于人脸识别的车载音乐推送方法，其特征在于，所述音乐模块根据用户对音乐推送结果的反馈确定是否开启音乐播放，具体包括：

文本转语音系统通过语音播报询问用户是否要听音乐，您可以回答“确定”或“取消”，同时文字显示“开启音乐播放”，若用户选择“确定”则开启音乐播放，所述音乐模块根据所述用户当前整体情绪播放筛选后的推荐歌单列表，若用户选择“取消”或15s未操作，则不进行任何操作；

若用户选择“取消”后超过10分钟，同时检测到用户情绪未发生变化，则文本转语音系统播报询问用户是否要听音乐，同时文字显示“开启音乐播放”，用户若选择“确定”则开启音乐播放，进入推荐歌单列表，若用户选择“取消”或15s未操作，则不进行任何操作；

若用户两次选择“取消”或不操作，则本行程中不再触发文本转语音系统进行语音播报和弹框进行歌单推荐。

10.一种基于人脸识别的车载音乐推送系统，其特征在于，包括：依次设置的人脸视频采集模块、人脸识别模块、整体情绪分析模块和音乐推送模块，其中：

所述人脸视频采集模块用于采集用户的人脸视频，得到人脸视频数据；

所述人脸识别模块用于对所述人脸视频数据进行人脸识别，以得到所述人脸视频数据中每帧人脸图像所对应的情绪标签；

所述整体情绪分析模块用于对当前预设时间段内的所述情绪标签进行分析，以得到用户当前整体情绪；

所述音乐推送模块用于根据所述用户当前整体情绪向用户推送音乐。

Images