CN107800793A - 车联网环境下行车音乐主动推送系统 - Google Patents

Abstract

本发明公开一种安装在车辆上的车联网环境下行车音乐主动推送系统，智能车载设备包括数据采集模块、数据储存模块、车载音乐播放器和5G通信模块一，音乐推送处理中心包括特征训练与标记处理中心、音乐目录库、规则储存单元和5G通信模块二，特征训练与标记处理中心对智能车载设备传送的数据进行识别与分类后得到驾驶人状态与行车环境标签N₁并输入音乐目录库中，音乐目录库将标签N₁与音乐目录库自带标签N₂进行相似度匹配，筛选出目标音乐，在目标音乐中计算出每首音乐的适合程度，根据适合程度判断是否向车载音乐播放器推送音乐，可以针对驾驶过程中驾驶者的不同状态与周围行车环境进行精确识别并进行主动音乐推送，推送精确性高。

Description

车联网环境下行车音乐主动推送系统

技术领域

本发明涉及安装在车辆上的行车音乐服务系统，具体涉及一种基于车联网环境下的行车音乐推送系统。

背景技术

车辆驾驶者希望能够在驾车过程中获取更多、更好的服务，满足自己的多元化需求。与此同时，利用车联网技术，通过对驾驶人不同状态与周围环境进行观察与训练，适时的向驾驶人推送针对性音乐、增加驾驶乐趣并提高驾驶安全性，已成为当前汽车和交通行业发展的趋势。目前已有的音乐推送系统有：基于场景的音乐推送系统、在线音乐推送系统等。经基于场景的音乐推送系统为例，是每隔预设时长检测一次用户端的上网行为信息，根据连续两次获取到的上网行为信息获取用户端的所处的运动场景，根据运动场景和预先设置的第一对应关系表，查询出与运动场景对应的播放比特率，第一对应关系表中记载有不同运动场景及其对应的播放比特率，根据查询结果向所述用户端推送具备相应播放比特率的音乐，通过获取用户端所处的运动场景，并根据运动场景的不同，向用户端推送不同播放比特率的音乐，以使得用户端在低速运动场景时能够听到高品质音乐，以及在高速运动场景时能够听到连续播放的音乐，从而有效提升了用户的体验感。这一音乐推送系统所提供的音乐服务为被动模式，即“搜索—推送”，对使用者的辨识能力差，无法做到针对当前使用者的状态进行主动音乐推送服务，所提供的音乐推送服务质量差。行车过程中，驾驶员为了保证行驶安全，注意力很大程度上放在驾驶安全上，不方便分心进行歌曲选取与切换，此时这一音乐推送系统无法起到向驾驶者推送歌曲的作用，并没有专门针对具体的驾驶场景的音乐推送，也无法对驾驶者不同驾驶状态进行针对性的主动音乐推送。由此可以看出现有的音乐服务推送系统有很大的局限性，且不适用于对车辆驾驶中进行音乐的主动推送。

发明内容

本发明的目的是针对上述现有音乐推送系统存在的缺陷，提出一种在车联网环境下行车音乐主动推送系统，能为不同驾驶员在行车环境下提出针对性的、实时准确的音乐推送，保证驾驶的舒适性与安全性。

为了实现上述目的，本发明所提出的车联网环境下行车音乐主动推送系统采用的技术方案是：该音乐主动推送系统由智能车载设备和音乐推送处理中心组成，所述的智能车载设备包括数据采集模块、数据储存模块、车载音乐播放器和5G通信模块一，数据采集模块的输出端经数据储存模块连接5G通信模块一，5G通信模块一与车载音乐播放器双向连接，数据采集模块采集驾驶人状态照片P_i、车外环境照片P_e、车外行驶温度T、车外空气湿度ρ、外部光照强度Eav和外界噪声强度X并传输到数据预处理模块中；所述的音乐推送处理中心包括特征训练与标记处理中心、音乐目录库、规则储存单元和5G通信模块二，5G通信模块二与5G通信模块一双向连接且5G通信模块二输出端分别连接规则储存单元和特征训练与标记处理中心，规则储存单元和特征训练与标记处理中心的输出端均连接音乐目录库，音乐目录库的输出端连接5G通信模块二；所述的特征训练与标记处理中心对智能车载设备传送的数据进行识别与分类后得到驾驶人状态与行车环境标签N₁并输入音乐目录库中；所述的音乐目录库将标签N₁与音乐目录库自带标签N₂进行相似度匹配，筛选出目标音乐，在目标音乐中计算出每首音乐的适合程度根据适合程度判断是否向车载音乐播放器推送音乐。

进一步地，所述的音乐目录库根据式计算出相似度λ，将0.5＜λ≤1的音乐作为目标音乐；根据式计算出每首音乐的适合程度当时，判断向车载音乐播放器推送音乐且值越大越优先推送；1≤k≤n，n是标签N₂的数量，Q是听歌喜好矩阵，P是每首音乐的标签矩阵，P^I是矩阵转置，r₂为匹配阀值，0＜r₂≤60。

更进一步地，所述的车载音乐播放器将本次播放的音乐名称代号M_i与播放时长t_i反馈给规则储存单元，规则储存单元经计算出驾驶人反应满意度并输入音乐目录库中，时，音乐目录库在下次音乐推送时将适合程度值扩大0.2倍；时，在下次音乐推送时适合程度值不变；时，在下次音乐推送时适合程度值减小0.2倍。

本发明采用上述技术方案后具有的优点是：

1.本发明音乐主动推送系统所提供的服务更具个性化。利用车联网信息传递的快速与准确性，在行车环境下对驾驶人的状态与周围环境信息进行采集与识别，将驾驶人不同驾驶状态通过大量照片的方式发向后台服务器，通过驾驶员不同状态进行识别并且标记，将系统原有对应标签数据库与用户自己的音乐库相结合，选取此状态下最合适的音乐推送，可以针对驾驶过程中驾驶者的不同状态与周围行车环境进行精确识别并进行主动音乐推送。

2.本发明利用深度学习的优点，增加音乐推送的主动性与智能性。由于系统可以主动对驾驶人的状态进行识别，通过对驾驶人状态与音乐听取偏好传到后台训练，在行车过程中，驾驶人并不需要自己选取，可由系统进行分析、精确识别与直接推送，行车环境适用性好、推送精确性高、服务效果明显、所提供的音乐推送服务具有实时性、主动性与智能性。

3.本发明所提供的音乐推送服务不仅增加了驾驶的舒适性，而且保证了驾驶安全。在驾驶过程中，驾驶员易出现驾驶疲劳、注意力不集中等危险的驾驶行为，适时地提供合适的音乐服务可以降低驾驶员的精神压力，缓解情绪，增加舒适感的同时又保证了安全性。

附图说明

以下结合附图和具体实施方式对本发明作进一步详细描述：

图1为本发明所述车联网环境下行车音乐主动推送系统的结构连接框图；

图2为本发明所述音乐主动推送系统的工作流程图。

具体实施方式

参见图1，本发明所述的音乐主动推送系统由智能车载设备1和音乐推送处理中心2组成，智能车载设备1与音乐推送处理中心2之间通过5G通信模块进行信息传递。智能车载设备1以安装于车辆上的形式布置，包括数据采集模块、数据储存模块、车载音乐播放器以及5G通信模块一。数据采集模块的输出端经数据储存模块连接5G通信模块一，5G通信模块一与车载音乐播放器采用双向连接方式。其中，数据采集模块由车内摄像头、车外摄像头、温度传感器、湿度传感器、光照传感器和噪音传感器组成。车内摄像头安装于车辆内的反光镜上，用于采集驾驶者面部状态信息，如：开心、平静、烦躁、吃惊、悲伤、愤怒、恐惧等21种面部表情，通过30帧/min的速度进行速度采集到驾驶人状态照片P_i。车外摄像头布置在车辆顶端，可以30帧/min的速度进行全景拍摄车外环境照片P_e，拍摄的焦点包括周围行车环境的状况、车流量的大小和周围建筑群等。温度传感器布置在车辆挡风玻璃外部右上方，用来收集车外行驶温度T(单位：℃)。湿度传感器安装在车辆顶端位置，用于测试车外空气湿度ρ(单位：RH)。光照传感器布置于挡风玻璃外部中间上部，用于测试外部光照强度Eav(单位：Lx)。噪音传感器放置在车顶部，用于采集外界噪声强度X(单位：dB),保证能够较为准确的采集行车周围噪音情况。车外摄像头、车内摄像头和温度、湿度、光照、噪音这四类传感器采集的数据以时间t(单位：s)为计量单位，将每s采集的数据{{车外环境照片P_e}，{驾驶人状态照片P_i}，{n_t＝{T,ρ,Eav,X}}}传输到数据预处理模块。

数据预处理模块接受数据采集模块采集的数据，对数据采集模块采集到的信息采用成熟且适用于计算机实时处理和运算的卡尔曼波方法进行滤波，将传感器采集到的信号去掉白噪声。对采集的照片进行归一化处理，保证图像格式的统一性，并且对所采集的照片进行初步的采选，若采集的某个时间点的数据出现异常，如：照片模糊，传感器采集的数据突变范围过大等情况，则数据处理模块则会将该组数据过滤掉，减少传输压力并转化为可识别的数字信息，最后将{P_e，P_i，T,ρ,Eav,X}进行打包压缩。

车载音乐播放器用于接收与播放音乐推送处理中心2推送的音乐，并记录从音乐开始播放到音乐结束播放(驾驶人切歌或播放完成)的时长t_i(单位：s)。将音乐名称代号M_i与时长t_i打包通过5G模块一反馈给音乐推送处理中心2。

5G通信模块一接收数据处理模块输出的打包压缩数据并传送给音乐推送处理中心2，同时接收音乐推送处理中心2推送的音乐并传送给车载音乐播放器，且接受车载音乐播放器的反馈数据传送回音乐推送处理中心2，保证数据与后台服务器的实时交互。

音乐推送处理中心2是以高性能服务器来完成其功能的，其包括特征训练与标记处理中心、音乐目录库、规则储存单元和5G通信模块二，其中，音乐目录库由个人音乐库与云端音乐库组成。5G通信模块二的输出端分别连接规则储存单元和特征训练与标记处理中心，规则储存单元和特征训练与标记处理中心的输出端均连接音乐目录库，音乐目录库的输出端连接5G通信模块二，5G通信模块二与5G通信模块一双向相接。

5G通信模块二通过5G形式与5G通信模块一通信，接受由车辆上的数据采集模块发送的数据，并分别传送到特征训练与标记处理中心与规则储存单元。

特征训练与标记处理中心对5G通信模块二传送的数据进行识别与分类，得到标签，并将标签输入音乐目录库中。车外环境照片P_e、驾驶人状态照片P_i这些数据输入到AlexNet卷积神经网络中进行识别与分类，根据驾驶人状态照片P_i完成对驾驶人状态包括开心、平静、烦躁、吃惊、悲伤、愤怒、恐惧等21种面部表情的分类，并以此为作为此时驾驶员状态标签，记为n₁，并进行数值化计算：0≤n₁≤100，表情越积极数值n₁越高，越消极数值n₁越低。根据车外环境照片P_e对周围行车环境状况分类为：拥挤的城市环境、通畅的乡间环境等，记为n₂，并进行数值化计算：0≤n₂≤100，环境舒适度越高数值n₂越高，反之则越低。对四类传感器参数(车外行驶温度T、外部光照强度Eav、空气湿度ρ与外界噪声强度X)根据阶跃分类算算法得出此时的标签，得到的标签分别是：人体感温标签记为n₃、人体光感标签记为n₄、湿度感觉标签记为n₅，听觉感觉标签记为n₆，以分类树的形式进行结构设计：

对于驾驶员状态标签n₁，通过音乐标签选取生成算法生成最终的表情音乐标签，记为n₁′，音乐标签选取生成算法分别给定阀值r₁，则：其中，k₁为补偿常数，10≤k₁≤60；A为增益倍数，0<λ≤3。为了便于区分，将{n₁′,n₂,n₃,n₄,n₅,n₆}记为驾驶人状态与行车环境标签N₁。

音乐目录库中个人音乐库与云端音乐库包含的所有音乐已经带有标签，如：小清新的、吉他伴奏的、每个歌星的等，由专业人士与大众进行标记完成。个人音乐库为驾驶人的个人音乐库，包含着驾驶人自己平时喜欢的音乐，云端音乐库是包含大量音乐的泛音乐库。

音乐匹配算法包含两部分：首先，利用驾驶人状态与行车环境标签N₁与个音乐库音乐自带有各种标签，如“欢快”、“宁静”、“乡村”等，记作N₂。进行相似度匹配值，公式如下：

其中：1≤k≤n，n是标签N₂的数量，根据0.5＜λ≤1的规则筛选出目标音乐。

进一步地，在筛选出的目标音乐中再计算出音乐与驾驶人当前状态匹配的适合程度具体是：

将驾驶者平时听歌喜好矩阵Q：

Q＝[q₁ q₂ … q_n]，

其中，q_n为对各类标签的偏好程度，0≤q_n≤1，矩阵Q所包含的所有数据内置于音乐目录库中。

在筛选出的目标音乐中，每首音乐的标签矩阵P：

P＝[p₁ p₂ … p_n]，

其中，p_n为含各种标签的程度，0≤p_n≤1，p₁...p_n表示对每首音乐自带标签N₂的数值评价。

对于每首音乐在目前的适合程度由以下公式得出：

其中，反应了该音乐与驾驶人当前状态匹配的适合程度，的值越大推送的优先级越高。P＝[p₁ p₂ … p_n]，P^I是指矩阵P转置，r₂为匹配阀值0＜r₂≤60，当时，判定进行推送。

车载音乐播放器将本次播放的音乐名称代号M_i与播放时长t_i打包，通过5G模块一和5G模块二反馈给规则储存单元，通过音乐推送效果识别算法，计算和判断出驾驶人反应满意度将驾驶人反应满意度输入音乐目录库中，在下次的音乐推送中，音乐目录库会根据决定是否增加或减少该歌曲或同类歌曲的推送优先级别。其中，音乐推送效果识别算法利用音乐总时长t_is与驾驶人收听的播放时间t_i进行比较，进行效果反馈。驾驶人反应满意度计算公式如下：

表示驾驶人反应满意，则在下次音乐推送中，对于值扩大0.2倍，以增加该歌曲推送优先级别。

表示驾驶人反应一般，则在下次音乐推送中，对于值不做改变，该歌曲推送优先级别不变。

表示驾驶人反应不满意，则在下次音乐推送中，对于值减小0.2倍，降低该歌曲的推送优先级别。

如图2所示，本发明所述的音乐主动推送系统工作时，首先由数据采集模块的摄像头大量记录当前驾驶人状态与周围行车环境照片，由传感器对周围天气因素进行采集，利用高速的传送通道传送到音乐推送处理中心，经过处理，将图片进行识别并且标记，最后从音乐目录库中选出相应的音乐并进行推送。具体如下：

步骤1：车内摄像头和车外摄像头分别对驾驶人状态与外界环境进行信息采集，并对采集的数据进行处理、识别分类。车内摄像头完成对于驾驶人状态的采集，拍摄速度为30帧/min的速度进行采集，拍摄重点在于驾驶员面部表情，得到驾驶人状态照片P_i。外界环境的信息采集通过车外摄像头与四类传感器(温度传感器、湿度传感器、光照传感器、噪音传感器)，车外摄像头以30帧/min的速度进行对行车环境进行拍摄，包括：行车周围建筑物群、车流量大小等，着重对周围地理环境的拍摄，得到车外环境照片P_e。车内、车外摄像头采集的照片先通过归一化处理保证格式的统一性，最后的处理结果为227×227像素格式的照片。四类传感器测试行车外界天气状况包括车外行驶温度T、车外空气湿度ρ、外部光照强度Eav与外界噪声强度X。对所有传感器采集到的信息采用成熟且适用于计算机实时处理和运算的卡尔曼波方法进行滤波，将传感器采集到的信号去掉白噪声。所得到数据打包经5G通信模块一和5G通信模块二发送到音乐推送处理中心2中的特征训练与标记处理中心中。

步骤2:特征训练与标记处理中心在接受到打包数据后，驾驶人状态照片P_i与车外环境照片P_e输入到两类改进后的AlexNet卷积神经网络中，经过识别之后，驾驶员状态可得到识别与分类，如：高兴、吃惊、悲伤、愤怒、恐惧等21种表情，驾驶员状态标签记为n₁，再将驾驶员状态标签n₁利用音乐标签选取生成算法生成最终的表情音乐标签n₁′。周围地理环境可分类为：拥挤的城市环境、通畅的乡间环境等，经过识别之后，记为周围行车环境状况标签n₂。四类传感器根据阶跃分类算法得出相应标签：人体感温标签n₃、人体光感标签n₄、湿度感觉标签n₅、听觉感觉标签n₆。经汇总并去重，得到驾驶人状态与行车环境标签N₁。

步骤3：在完成驾驶人所需音乐标记后，利用音乐匹配算法，首先在个人音乐库中匹配音乐，利用驾驶人状态与行车环境标签N₁与个音乐库音乐自带的标签进行相似度匹配，对于每首音乐在目前的适合程度进行判断，若有某音乐的适合程度则认定匹配成功，先筛选出匹配成功的目标音乐。然后，再在目标音乐中计算出每首音乐的适合程度根据适合程度判断是否向车载音乐播放器推送音乐。若没有适合音乐进行推送，则利用音乐匹配算法在云端音乐库进行匹配。

步骤4：车载音乐播放器将步骤3推送来的音乐播放时间t_i与音乐名称M_i反馈回音乐推送处理中心2，通过音乐推送效果识别算法得出驾驶人反应满意度对驾驶人反应满意度进行判断：当表示驾驶人反应满意，在以后的推送中调高此音乐的推送优先级，若不在驾驶人个人音乐库中，则增加到驾驶人个人音乐库中；当表示驾驶人反应一般，在以后的推送中此音乐的优先级不做变动；当表示驾驶人反应不满意，在以后的推送中降低此音乐的优先级，并返回步骤3重新进行匹配。

Claims (6)

1.车联网环境下行车音乐主动推送系统，由智能车载设备和音乐推送处理中心组成，其特征是：

所述的智能车载设备包括数据采集模块、数据储存模块、车载音乐播放器和5G通信模块一，数据采集模块的输出端经数据储存模块连接5G通信模块一，5G通信模块一与车载音乐播放器双向连接，数据采集模块采集驾驶人状态照片P_i、车外环境照片P_e、车外行驶温度T、车外空气湿度ρ、外部光照强度Eav和外界噪声强度X并传输到数据预处理模块中；

所述的音乐推送处理中心包括特征训练与标记处理中心、音乐目录库、规则储存单元和5G通信模块二，5G通信模块二与5G通信模块一双向连接且5G通信模块二输出端分别连接规则储存单元和特征训练与标记处理中心，规则储存单元和特征训练与标记处理中心的输出端均连接音乐目录库，音乐目录库的输出端连接5G通信模块二；

所述的特征训练与标记处理中心对智能车载设备传送的数据进行识别与分类后得到驾驶人状态与行车环境标签N₁并输入音乐目录库中；

所述的音乐目录库将标签N₁与音乐目录库自带标签N₂进行相似度匹配，筛选出目标音乐，在目标音乐中计算出每首音乐的适合程度根据适合程度判断是否向车载音乐播放器推送音乐。

2.根据权利要求1所述的车联网环境下行车音乐主动推送系统，其特征是：所述的音乐目录库由个人音乐库与云端音乐库组成，先在个人音乐库匹配中音乐，若个人音乐库没有音乐推送，则在云端音乐库中进行匹配。

3.根据权利要求1所述的车联网环境下行车音乐主动推送系统，其特征是：所述的音乐目录库根据式计算出相似度λ，将0.5＜λ≤1的音乐作为目标音乐；根据式计算出每首音乐的适合程度当时，判断向车载音乐播放器推送音乐且值越大越优先推送；1≤k≤n，n是标签N₂的数量，Q是听歌喜好矩阵，P是每首音乐的标签矩阵，P^I是矩阵转置，r₂为匹配阀值，0＜r₂≤60。

4.根据权利要求3所述的车联网环境下行车音乐主动推送系统，其特征是：车载音乐播放器将本次播放的音乐名称代号M_i与播放时长t_i反馈给规则储存单元，规则储存单元经计算出驾驶人反应满意度并输入音乐目录库中，时，音乐目录库在下次音乐推送时将适合程度值扩大0.2倍；时，在下次音乐推送时适合程度值不变；时，在下次音乐推送时适合程度值减小0.2倍。

5.根据权利要求1所述的车联网环境下行车音乐主动推送系统，其特征是：数据采集模块由车内摄像头、车外摄像头、温度传感器、湿度传感器、光照传感器和噪音传感器组成，车内摄像头采集驾驶人状态照片P_i，车外摄像头采集车外环境照片P_e，温度传感器采集车外行驶温度T，湿度传感器采集车外空气湿度ρ，光照传感器采集外部光照强度Eav，噪音传感器采集外界噪声强度X。

6.根据权利要求1所述的车联网环境下行车音乐主动推送系统，其特征是：特征训练与标记处理中心根据驾驶人状态照片P_i和车外环境照片P_e识别与分类后分别得到驾驶员状态标签n₁和周围行车环境状况标签n₂，根据车外行驶温度T、外部光照强度Eav、空气湿度ρ与外界噪声强度X识别与分类后分别得到人体感温标签n₃、人体光感标签记为n₄、湿度感觉标签记为n₅和听觉感觉标签记为n₆，对驾驶员状态标签n₁生成表情音乐标签n₁′，将{n₁′,n₂,n₃,n₄,n₅,n₆}作为所述的驾驶人状态与行车环境标签N₁。