CN110008879A - 车载个性化音视频内容推送方法及装置 - Google Patents
车载个性化音视频内容推送方法及装置 Download PDFInfo
- Publication number
- CN110008879A CN110008879A CN201910238945.XA CN201910238945A CN110008879A CN 110008879 A CN110008879 A CN 110008879A CN 201910238945 A CN201910238945 A CN 201910238945A CN 110008879 A CN110008879 A CN 110008879A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- driver
- audio
- module
- congestion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008451 emotion Effects 0.000 claims abstract description 84
- 230000002159 abnormal effect Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000036651 mood Effects 0.000 claims abstract description 23
- 230000002996 emotional effect Effects 0.000 claims abstract description 17
- 230000001149 cognitive effect Effects 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000505 pernicious effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种车载个性化音视频内容推送方法及装置，所述推送方法包括：情绪识别阶段、堵车识别阶段、及个性化内容推送，个性化内容推送是基于所述情绪识别阶段识别到异常情绪时或所述堵车识别阶段识别到拥堵时启动。推送装置包括：核心处理模块，及与所述核心处理模块电连接的外接电源、车内摄像头、车外摄像头、蓝牙BT、通讯模块、多路拾音器、音频输出模块、及FM发射模块。本发明可在驾驶过程中识别驾驶员的情绪，根据驾驶员的情绪变化来与驾驶员进行互动，缓解驾驶员的疲劳、愤怒、沮丧、亢奋等异常情绪，提高驾驶员的驾驶注意力，本发明根据驾驶员不同的情绪定向与之互动及推送精准的内容给驾驶员，提高驾驶安全和行车乐趣。
Description
技术领域
本发明涉及车载娱乐电子产品技术领域，尤其涉及一种车载个性化音视频内容推送方法及装置。
背景技术
随着汽车的日益普及，开车已成为最重要的出行手段，我国的汽车保有量(包括小汽车和货车)约为3.9亿辆，且每年都在以2000万辆递增，随着汽车的普及，交通安全也变得越来越重要。
现有车辆都是被动式的机器，没有主动的交互，容易造成疲劳驾驶，缺乏个性化的使用体验。传统的车载娱乐电子产品如车机、流媒体后视镜、DVD娱乐系统都是被动式的，需要用户自己去操作、设置或手动播放音视频内容，操作不便而且增加驾驶时的不安全因素，不能进行主动定向推送，不够智能；内容相对固定，需要用户自己购买或下载相应的音视频内容资源，已不适合目前国家和社会发展所需要的车联网新需求。
目前日益拥堵的城市交通也让大家每天花费大半的堵车时间在通行路上，如果能识别到所在道路实时路况处于拥堵状态，通过大数据人工智能技术能给用户推送一些娱乐、新闻资讯、知识学习内容，缓解堵车焦虑；在识别到驾驶人情绪微表情变化时能主动与驾驶人进行沟通，降低司机因不良情绪造成的风险，推送轻松搞笑幽默的内容，缓解和调节驾驶人的情绪，提高驾驶乐趣。
因此，现有技术存在不足，需要改进。
发明内容
本发明的目的是克服现有技术的不足，提供一种车载个性化音视频内容推送方法及装置。
本发明的技术方案如下：提供一种车载个性化音视频内容推送方法，包括：情绪识别阶段、堵车识别阶段、个性化内容推送。其中，所述个性化内容推送是基于所述情绪识别阶段识别到异常情绪时或所述堵车识别阶段识别到拥堵时启动。所述情绪识别阶段包括如下步骤：
步骤S1、采集数据：采集驾驶员位置的图像数据和声音数据；
步骤S2、人脸特征识别与提取：将采集到的图像数据传输给人脸识别算法模块，人脸识别算法模块识别并提取人脸特征；
步骤S3、人脸特征识别结果判断，判断是否识别到人脸特征，如识别到人脸特征则进入下一步，如未识别到人脸特征则返回上一步；
步骤S4、情绪识别：将提取到的人脸特征经过情绪识别算法与已知的异常情绪特征进行匹配，识别驾驶员的情绪特征是否为异常情绪特征；
步骤S5、异常情绪特征识别结果判断，判断是否识别出异常情绪特征，如识别出异常情绪特征则进入下一步，如未识别出异常情绪特征则返回所述步骤S1；
步骤S6、情绪识别结果的音频确认：识别到驾驶员的情绪特征为异常情绪特征后激发情绪音频确认模块工作，所述情绪音频确认模块能够通过采集到的音频内容对驾驶员的异常情绪特征进行确认。
所述堵车识别阶段包括以下步骤：
步骤Q1、判断GPS有无信号；
步骤Q2、GPS有信号时，GPS获取车速信息和位置信息，当没有GPS信号时，系统会通过ODB数据接口读取车辆中的车速信息及位置信息，并同时采集车辆前方图像数据；
步骤Q3、系统将车速低于下限值时的车速信息及对应的位置信息上报后台；
步骤Q4、后台利用大数据拥堵分析算法根据系统上报的车速信息和位置信息区分拥堵级别；
步骤Q5、系统将所述步骤Q2中采集到的图像数据通过图像拥堵算法识别当前实际路况拥堵情况；
步骤Q6、结合步骤Q4的拥堵级别与步骤Q5的实际路况拥堵情况，判断最终拥堵状况。
所述个性化内容推送包括以下模式：
模式一、内容个性化大数据推送模块，能够根据驾驶员不同的异常情绪特征或道路拥堵状况，推送个性化音视频内容；
模式二、AI人机交互模块，能够与驾驶员进行互动，推送个性化内容，转移驾驶员注意力；
模式三、语音内容端，能够拨打后台预设的紧急联系电话、或与联系人进行音视频聊天。
进一步地，所述步骤S1中采用带拾音模块的车内摄像头采集驾驶员位置的图像和声音，所述车内摄像头可对准人脸上下左右调整角度，能够校准到所述车内摄像头与人脸的夹角小于30°。
进一步地，所述步骤S2中人脸识别算法模块利用深度神经网络图像识别算法、及多任务深度学习人脸特征提取算法识别并提取人脸的局部特征。
进一步地，所述步骤S4中所述情绪识别算法中车内摄像头采集批量图像数据，先把图像做标定和分类，把图像数据分为模型训练机器学习组和测试对照组，再通过深度神经网络模型训练，提取人脸微表情特征，最后判断输出情绪特征种类，完成情绪识别算法识别。所述模型训练机器学习组和测试对照组的情绪识别算法均包括以下步骤：
步骤S41、图像数据采集；
步骤S42、人像特征识别及智能运动追踪；
步骤S43、微表情特征分析与提取；
步骤S44、SVM模型训练；
步骤S45、情绪种类输出。
进一步地，所述步骤S3中的异常情绪特征分别为疲劳、愤怒、沮丧、亢奋，所述步骤S6中的音频内容包括关键词、语音及语速。
进一步地，所述步骤Q3中的车速下限值为30km/h，所述步骤Q4中的拥堵级别包括：行驶缓慢、拥堵、严重拥堵。
进一步地，所述个性化内容推送阶段的三种模式没有先后顺序，模式一至模式三的等级由低到高，匹配等级从低到高的异常情绪特征或拥堵状况。所述个性化内容推送阶段中模式一中个性化音视频内容包括：知识培训、电子书、广播电台、当日新闻、实事、体育简讯。所述个性化内容推送阶段中模式二中的个性化内容包括：脑筋急转弯、问答、知识普及、吵闹的音乐。所述个性化内容推送阶段中的模式三中音视频聊天的具体流程包括以下步骤：
步骤Y1、发出邀请，语音邀请联系人进行音视频聊天；
步骤Y2、创建房间号；
步骤Y3、判断创建房间号是否成功，如创建房间号成功则进入房间，如创建房间号失败则邀请自动结束；
步骤Y4、进入房间后，采用AMQP协议实现房间消息列队；
步骤Y5、发送邀请至联系人；
步骤Y6、邀请创建成功；
步骤Y7、等待联系人做出回应，联系人同意邀请则进入房间，联系人拒绝邀请则邀请自动结束。所述联系人包括：用户录入的好友列表中的联系人、及与后台自动匹配有相同需求的陌生司机。
本发明还提供一种车载个性化音视频内容推送装置，包括：核心处理模块，及与所述核心处理模块电连接的外接电源、车内摄像头、车外摄像头、蓝牙BT、通讯模块、多路拾音器、音频输出模块、及FM发射模块。
所述外接电源用于为所述推送装置提供电源；
所述车内摄像头用于采集车辆内驾驶员的人面表情信息；
多路拾音器用于采集车辆内的声音信号；
所述车外摄像头用于采集车辆外图像信息；
所述核心处理模块用于接收并处理驾驶员的位置信息、车辆内的声音信号、车辆外图像信息，同时输出处理结果；
所述蓝牙BT用于与外部设备实现无线连接；
所述通讯模块用于与联系人实现音视频通讯；
所述音视频输出模块用于输出音视频内容；
所述FM发射模块用于发射FM调频信号。
进一步地，所述核心处理模块包括：处理器、PMIC、DDR、eMMC。
进一步地，所述核心处理模块通过所述PMIC与所述外接电源电连接。
采用上述方案，本发明可在驾驶过程中识别驾驶员的情绪，根据驾驶员的情绪变化来与驾驶员进行互动，缓解驾驶员的疲劳、愤怒、沮丧、亢奋等异常情绪，提高驾驶员的驾驶注意力，本发明根据驾驶员不同的情绪定向与之互动及推送精准的内容给驾驶员，提高驾驶安全和行车乐趣。
附图说明
图1为本发明车载个性化音视频内容推送方法的原理图；
图2为本发明车载个性化音视频内容推送方法中情绪识别阶段的程序流程图；
图3为本发明车载个性化音视频内容推送方法中情绪识别算法的程序流程图；
图4为本发明车载个性化音视频内容推送方法中音视频聊天的程序流程图；
图5为本发明车载个性化音视频内容推送方法中堵车识别阶段的程序流程图；
图6为本发明车载个性化音视频内容推送装置的结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
请参阅图1，本发明提供一种车载个性化音视频内容推送方法，包括：情绪识别阶段、堵车识别阶段、个性化内容推送阶段。其中，所述个性化内容推送阶段是基于所述情绪识别阶段识别到异常情绪时或所述堵车识别阶段识别到拥堵时启动。
请参阅图1至图4，所述情绪识别阶段包括如下步骤：
步骤S1、采集数据：采集驾驶员位置的图像数据和声音数据。具体地，本实施例中采用带拾音模块的车内摄像头采集驾驶员位置的图像和声音，所述车内摄像头可对准人脸上下左右调整角度，能够校准到所述车内摄像头与人脸的夹角小于30°时拍照效果最佳。
步骤S2、人脸特征识别与提取：将采集到的图像数据传输给人脸识别算法模块，人脸识别算法模块识别并提取人脸特征。人脸识别算法模块利用深度神经网络图像识别算法、及多任务深度学习人脸特征提取算法识别并提取人脸的局部特征。
步骤S3、人脸特征识别结果判断，判断是否识别到人脸局部特征，如识别到人脸局部特征则进入下一步，如未识别到人脸局部特征则自动返回上一步重新开始采集数据。
步骤S4、情绪识别：将提取到的人脸特征经过情绪识别算法与已知的异常情绪特征进行匹配，识别驾驶员的情绪特征是否为异常情绪特征。具体地，本实施例中异常情绪特征分别为疲劳、愤怒、沮丧、亢奋等。所述情绪识别算法中车内摄像头采集批量图像数据，先把图像做标定和分类，设定疲劳、愤怒、沮丧、亢奋等的分类，把图像数据分为模型训练机器学习组和测试对照组，通过深度神经网络模型训练，提取人脸微表情特征，最后判断输出情绪特征种类，完成情绪识别算法识别。所述情绪识别算法具体包括以下步骤：
步骤S41、图像数据采集；
步骤S42、人像特征识别及智能运动追踪；
步骤S43、微表情特征分析与提取；
步骤S44、SVM模型训练；
步骤S45、情绪种类输出。
步骤S5、异常情绪特征识别结果判断，判断是否识别出异常情绪特征，如识别出异常情绪特征则进入下一步，如未识别出异常情绪特征则返回所述步骤S1。
步骤S6、情绪识别结果的确认：识别到驾驶员的情绪特征为异常情绪特征后激发情绪音频确认模块工作，所述情绪音频确认模块能够通过采集到的音频内容对驾驶员的异常情绪特征进行确认。具体地，本实施例中通过语音识别匹配对应的关键词、语音及语速等来确认驾驶员的异常情绪特征。
步骤S7、个性化内容推送，根据情绪识别结果识别出的异常情绪特征，进行个性化内容推送。所述个性化内容推送包括以下三种模式：模式一、内容个性化大数据推送模块，能够根据驾驶员不同的异常情绪特征，推送个性化音视频内容(包括：知识培训、电子书、广播电台、当日新闻、实事、体育简讯)，转移并提醒驾驶员的不良情绪，使驾驶员能及时调整情绪，提高驾驶安全和驾驶乐趣，降低因情绪异常导致的恶性交通事故。模式二、AI人机交互模块，能够与驾驶员进行互动，推送个性化内容(比如脑筋急转弯、问答、知识普及、吵闹的音乐等)，转移驾驶员的注意力，确保驾驶员行车安全。模式三、语音内容端，能够拨打后台预设的紧急联系电话、或与联系人进行音视频聊天，具体地，本实施例中所述联系人包括：用户录入的好友列表中的联系人、及与后台自动匹配有相同需求的陌生司机。
所述模式三中音视频聊天的具体流程包括以下步骤：
步骤Y1、发出邀请，语音邀请联系人进行音视频聊天；
步骤Y2、创建房间号；
步骤Y3、判断创建房间号是否成功，如创建房间号成功则进入房间，如创建房间号失败则邀请自动结束；
步骤Y4、进入房间后，采用AMQP协议实现房间消息列队；
步骤Y5、发送邀请至联系人；
步骤Y6、邀请创建成功；
步骤Y7、等待联系人做出回应，联系人同意邀请则进入房间，联系人拒绝邀请则邀请自动结束。
具体地，本实施例中三种模式没有先后顺序，模式一至模式三的等级由低到高，匹配等级从低到高的异常情绪特征。
请参阅图1与图5，所述堵车识别阶段包括以下步骤：
步骤Q1、判断GPS有无信号；
步骤Q2、GPS有信号时，GPS获取车速信息和位置信息，当没有GPS信号时(隧道、偏远山区、有遮挡物)，系统会通过ODB数据接口读取车辆中的车速信息及位置信息，并同时打开摄像头(高清、30帧)采集行车前方图像数据；
步骤Q3、系统将车速低于下限值时的车速信息及对应的位置信息上报后台；具体地，本实施例中车速下限值可以是但不限于30km/h。
步骤Q4、后台利用大数据拥堵分析算法根据系统上报的车速信息和位置信息区分拥堵级别，具体地拥堵级别包括：行驶缓慢、拥堵、严重拥堵等；
步骤Q5、
系统将所述步骤Q2中采集到的图像数据通过图像拥堵算法识别当前实际路况拥堵情况；
步骤Q6、结合步骤Q4的拥堵级别与步骤Q6的实际路况拥堵情况，判断最终拥堵状况。
步骤Q7、个性化内容推送，根据系统判断的拥堵状况，进行个性化内容推送。所述个性化内容推送包括以下三种模式：模式一、内容个性化大数据推送模块，能够根据道路拥堵状况，推送个性化音视频内容(包括：知识培训、电子书、广播电台、当日新闻、实事、体育简讯)，转移并提醒驾驶员的注意力，消磨无聊的堵车时间，提高堵车时的驾驶乐趣。模式二、AI人机交互模块，能够与驾驶员进行互动，推送个性化内容(比如脑筋急转弯、问答、知识普及、吵闹的音乐等)，转移驾驶员的注意力，提高堵车时的驾驶乐趣。模式三、语音内容端，能够拨打后台预设的紧急联系电话、或与好友联系人进行音视频聊天，或与后天自动匹配有相同需求的陌生司机进行音视频聊天，从而排解堵车的无聊烦闷情绪，提高驾驶乐趣。
所述模式三中音视频聊天的具体流程包括以下步骤：
步骤Y1、发出邀请，语音邀请联系人进行音视频聊天；
步骤Y2、创建房间号；
步骤Y3、判断创建房间号是否成功，如创建房间号成功则进入房间，如创建房间号失败则邀请自动结束；
步骤Y4、进入房间后，采用AMQP协议实现房间消息列队；
步骤Y5、发送邀请至联系人；
步骤Y6、邀请创建成功；
步骤Y7、等待联系人做出回应，联系人同意邀请则进入房间，联系人拒绝邀请则邀请自动结束。
具体地，本实施例中三种模式没有先后顺序，模式一至模式三的等级由低到高，匹配等级从低到高的拥堵状况。请参阅图6，本发明还提供一种车载个性化音视频内容推送装置，包括：核心处理模块1，及与所述核心处理模块1电连接的外接电源2、车内摄像头3、车外摄像头4、蓝牙BT5、通讯模块6、多路拾音器7、音频输出模块8、及FM发射模块9。所述外接电源2用于为所述推送装置提供电源；所述车内摄像头3用于采集车辆内驾驶员的人面表情信息；多路拾音器7用于采集车辆内的声音信号；所述车外摄像头4用于采集车辆外图像信息；所述核心处理模块1用于接收并处理车辆的位置信息、车辆内的声音信号、车辆外图像信息，同时输出处理结果；所述蓝牙BT5用于与外部设备实现无线连接；所述通讯模块6用于与联系人实现音视频通讯；所述音视频输出模块8用于输出音视频内容；所述FM发射模块9用于发射FM调频信号。具体地，本实施例中所述核心处理模块1包括：处理器11、PMIC12、DDR13、eMMC14。具体地，本实施例中所述核心处理模块1通过所述PMIC12与所述外接电源2电连接，实现整体装置的电源控制。
使用时，具体地情绪识别阶段包括以下步骤：
步骤S1、采集数据：通过所述车内摄像头3采集驾驶员位置的图像数据，通过所述多路拾音器7采集驾驶员位置的声音数据。具体地，所述车内摄像头3可对准人脸上下左右调整角度，能够校准到所述车内摄像头3与人脸的夹角小于30°时拍照效果最佳。
步骤S2、人脸特征识别与提取：将所述车内摄像头3采集到的图像数据传输给所述核心处理模块1，所述核心处理模块1内的人脸识别算法模块识别并提取人脸特征。人脸识别算法模块利用深度神经网络图像识别算法、及多任务深度学习人脸特征提取算法识别并提取人脸的局部特征。
步骤S3、人脸特征识别结果判断，所述核心处理模块1判断是否识别到人脸局部特征，如识别到人脸局部特征则进入下一步，如未识别到人脸局部特征则自动返回上一步重新开始采集数据。
步骤S4、情绪识别：通过所述核心处理模块1将提取到的人脸特征经过情绪识别算法与已知的异常情绪特征进行匹配，识别驾驶员的情绪特征是否为异常情绪特征。
步骤S5、异常情绪特征识别结果判断，通过所述核心处理模块1判断是否识别出异常情绪特征，如识别出异常情绪特征则进入下一步，如未识别出异常情绪特征则返回所述步骤S1。
步骤S6、情绪识别结果的确认：通过所述核心处理模块1识别到驾驶员的情绪特征为异常情绪特征后激发情绪音频确认模块工作，所述情绪音频确认模块能够通过所述多路拾音器7采集到的关键词、语音及语速等音频内容对驾驶员的异常情绪特征进行确认。
步骤S7、个性化内容推送，根据所述核心处理模块1识别出的异常情绪特征，通过所述蓝牙BT5、所述通讯模块6、所述多路拾音器7、及所述音频输出模块8进行个性化内容推送。转移并提醒驾驶员的不良情绪，使驾驶员能及时调整情绪，提高驾驶安全和驾驶乐趣，降低因情绪异常导致的恶性交通事故。
堵车识别阶段包括以下步骤：
步骤Q1、通过所述核心处理模块1判断GPS有无信号；
步骤Q2、当GPS有信号时，GPS获取车速信息和位置信息，当没有GPS信号时(隧道、偏远山区、有遮挡物)，所述核心处理模块1会通过ODB数据接口读取车辆中的车速信息及位置信息，并同时打开所述车外摄像头4(高清、30帧)采集行车前方图像数据；
步骤Q3、所述核心处理模块1获得车速低于下限值时的车速信息及对应的位置信息。
步骤Q4、所述核心处理模块1利用大数据拥堵分析算法根据系统上报的车速信息和位置信息区分拥堵级别；
步骤Q5、所述核心处理模块1将所述步骤Q2中采集到的图像数据通过图像拥堵算法识别当前实际路况拥堵情况；
步骤Q6、结合步骤Q4的拥堵级别与步骤Q6的实际路况拥堵情况，判断最终拥堵状况。
步骤Q7、根据所述核心处理模块1识别出的拥堵状况，通过所述蓝牙BT5、所述通讯模块6、所述多路拾音器7、及所述音频输出模块8进行个性化内容推送。转移并提醒驾驶员的注意力，消磨无聊的堵车时间，提高堵车时的驾驶乐趣。
综上所述，本发明可在驾驶过程中识别驾驶员的情绪，根据驾驶员的情绪变化来与驾驶员进行互动，缓解驾驶员的疲劳、愤怒、沮丧、亢奋等异常情绪，提高驾驶员的驾驶注意力，本发明根据驾驶员不同的情绪定向与之互动及推送精准的内容给驾驶员，提高驾驶安全和行车乐趣。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种车载个性化音视频内容推送方法，其特征在于，包括：情绪识别阶段、堵车识别阶段、及个性化内容推送，其中，所述个性化内容推送是基于所述情绪识别阶段识别到异常情绪时或所述堵车识别阶段识别到拥堵时启动，所述情绪识别阶段包括如下步骤：
步骤S1、采集数据：采集驾驶员位置的图像数据和声音数据；
步骤S2、人脸特征识别与提取：将采集到的图像数据传输给人脸识别算法模块，人脸识别算法模块识别并提取人脸特征；
步骤S3、人脸特征识别结果判断，判断是否识别到人脸特征，如识别到人脸特征则进入下一步，如未识别到人脸特征则返回上一步；
步骤S4、情绪识别：将提取到的人脸特征经过情绪识别算法与已知的异常情绪特征进行匹配，识别驾驶员的情绪特征是否为异常情绪特征；
步骤S5、异常情绪特征识别结果判断，判断是否识别出异常情绪特征，如识别出异常情绪特征则进入下一步，如未识别出异常情绪特征则返回所述步骤S1；
步骤S6、情绪识别结果的音频确认：识别到驾驶员的情绪特征为异常情绪特征后激发情绪音频确认模块工作，所述情绪音频确认模块能够通过采集到的音频内容对驾驶员的异常情绪特征进行确认；
所述堵车识别阶段包括以下步骤：
步骤Q1、判断GPS有无信号；
步骤Q2、GPS有信号时，GPS获取车速信息和位置信息，当没有GPS信号时，系统会通过ODB数据接口读取车辆中的车速信息及位置信息，并同时采集车辆前方图像数据；
步骤Q3、系统将车速低于下限值时的车速信息及对应的位置信息上报后台；
步骤Q4、后台利用大数据拥堵分析算法根据系统上报的车速信息和位置信息区分拥堵级别；
步骤Q5、系统将所述步骤Q2中采集到的图像数据通过图像拥堵算法识别当前实际路况拥堵情况；
步骤Q6、结合步骤Q4的拥堵级别与步骤Q5的实际路况拥堵情况，判断最终拥堵状况；
所述个性化内容推送包括以下模式：
模式一、内容个性化大数据推送模块，能够根据驾驶员不同的异常情绪特征或道路拥堵状况，推送个性化音视频内容；
模式二、AI人机交互模块，能够与驾驶员进行互动，推送个性化内容，转移驾驶员注意力；
模式三、语音内容端，能够拨打后台预设的紧急联系电话、或与联系人进行音视频聊天。
2.根据权利要求1所述的车载个性化音视频内容推送方法，其特征在于，所述步骤S1中采用带拾音模块的车内摄像头采集驾驶员位置的图像和声音，所述车内摄像头可对准人脸上下左右调整角度，能够校准到所述车内摄像头与人脸的夹角小于30°。
3.根据权利要求1所述的车载个性化音视频内容推送方法，其特征在于，所述步骤S2中人脸识别算法模块利用深度神经网络图像识别算法、及多任务深度学习人脸特征提取算法识别并提取人脸的局部特征。
4.根据权利要求1所述的车载个性化音视频内容推送方法，其特征在于，所述步骤S4中所述情绪识别算法中车内摄像头采集批量图像数据，先把图像数据做标定和分类，把图像数据分为模型训练机器学习组和测试对照组，再通过深度神经网络模型训练，提取人脸微表情特征，最后判断输出情绪特征种类，完成情绪识别算法识别，所述模型训练机器学习组和测试对照组的情绪识别算法均包括以下步骤：
步骤S41、图像数据采集；
步骤S42、人像特征识别及智能运动追踪；
步骤S43、微表情特征分析与提取；
步骤S44、SVM模型训练；
步骤S45、情绪种类输出。
5.根据权利要求1所述的车载个性化音视频内容推送方法，其特征在于，所述步骤S3中的异常情绪特征分别为疲劳、愤怒、沮丧、亢奋，所述步骤S6中的音频内容包括关键词、语音及语速。
6.根据权利要求1所述的车载个性化音视频内容推送方法，其特征在于，所述步骤Q3中的车速下限值为30km/h，所述步骤Q4中的拥堵级别包括：行驶缓慢、拥堵、严重拥堵。
7.根据权利要求1所述的车载个性化音视频内容推送方法，其特征在于，所述个性化内容推送阶段的三种模式没有先后顺序，模式一至模式三的等级由低到高，匹配等级从低到高的异常情绪特征或拥堵状况，
所述个性化内容推送阶段中模式一中个性化音视频内容包括：知识培训、电子书、广播电台、当日新闻、实事、体育简讯，
所述个性化内容推送阶段中模式二中的个性化内容包括：脑筋急转弯、问答、知识普及、吵闹的音乐，
所述个性化内容推送阶段中的模式三中音视频聊天的具体流程包括以下步骤：
步骤Y1、发出邀请，语音邀请联系人进行音视频聊天；
步骤Y2、创建房间号；
步骤Y3、判断创建房间号是否成功，如创建房间号成功则进入房间，如创建房间号失败则邀请自动结束；
步骤Y4、进入房间后，采用AMQP协议实现房间消息列队；
步骤Y5、发送邀请至联系人；
步骤Y6、邀请创建成功；
步骤Y7、等待联系人做出回应，联系人同意邀请则进入房间，联系人拒绝邀请则邀请自动结束；
所述联系人包括：用户录入的好友列表中的联系人、及与后台自动匹配有相同需求的陌生司机。
8.一种车载个性化音视频内容推送装置，其特征在于，包括：核心处理模块，及与所述核心处理模块电连接的外接电源、车内摄像头、车外摄像头、蓝牙BT、通讯模块、多路拾音器、音频输出模块、及FM发射模块，
所述外接电源用于为所述推送装置提供电源；
所述车内摄像头用于采集车辆内驾驶员的人面表情信息；
多路拾音器用于采集车辆内的声音信号；
所述车外摄像头用于采集车辆外图像信息；
所述核心处理模块用于接收并处理车辆的位置信息、车辆内的声音信号、车辆外图像信息，同时输出处理结果；
所述蓝牙BT用于与外部设备实现无线连接；
所述通讯模块用于与联系人实现音视频通讯；
所述音视频输出模块用于输出音视频内容；
所述FM发射模块用于发射FM调频信号。
9.根据权利要求8所述的车载个性化音视频内容推送装置，其特征在于，所述核心处理模块包括：处理器、PMIC、DDR、eMMC。
10.根据权利要求9所述的车载个性化音视频内容推送装置，其特征在于，所述核心处理模块通过所述PMIC与所述外接电源电连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910238945.XA CN110008879A (zh) | 2019-03-27 | 2019-03-27 | 车载个性化音视频内容推送方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910238945.XA CN110008879A (zh) | 2019-03-27 | 2019-03-27 | 车载个性化音视频内容推送方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110008879A true CN110008879A (zh) | 2019-07-12 |
Family
ID=67168573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910238945.XA Pending CN110008879A (zh) | 2019-03-27 | 2019-03-27 | 车载个性化音视频内容推送方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008879A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728256A (zh) * | 2019-10-22 | 2020-01-24 | 上海商汤智能科技有限公司 | 基于车载数字人的交互方法及装置、存储介质 |
| CN110758325A (zh) * | 2019-10-23 | 2020-02-07 | 上海能塔智能科技有限公司 | 车辆的人脸认证方法及装置、存储介质、终端、汽车 |
| CN111556348A (zh) * | 2020-03-13 | 2020-08-18 | 东风小康汽车有限公司重庆分公司 | 一种视频的推送方法、装置及计算机系统 |
| CN111739450A (zh) * | 2020-05-29 | 2020-10-02 | 惠州华阳通用电子有限公司 | 一种多舱位迎宾方法、系统以及车辆 |
| CN112562267A (zh) * | 2020-11-27 | 2021-03-26 | 深圳腾视科技有限公司 | 车载安全机器人和安全驾驶辅助方法 |
| CN112667762A (zh) * | 2020-12-25 | 2021-04-16 | 贵州北斗空间信息技术有限公司 | 一种零编程快速构建gis系统的方法 |
| CN112784695A (zh) * | 2020-12-31 | 2021-05-11 | 南京视察者智能科技有限公司 | 一种基于图像及语音识别的司机异常状态检测方法 |
| CN113297387A (zh) * | 2021-04-20 | 2021-08-24 | 内蒙古工业大学 | 一种基于nkd-gnn的图文不匹配新闻检测方法 |
| CN113765954A (zh) * | 2020-06-03 | 2021-12-07 | 本田技研工业(中国)投资有限公司 | 信息推送方法、信息推送系统和服务器 |
| CN114694349A (zh) * | 2020-12-30 | 2022-07-01 | 上海博泰悦臻网络技术服务有限公司 | 一种交互方法及交互系统 |
| US20220355804A1 (en) * | 2021-05-05 | 2022-11-10 | Mitac Digital Technology Corporation | Method and system for enhancing driving safety |
| GB2607086A (en) * | 2021-05-28 | 2022-11-30 | Continental Automotive Gmbh | In-car digital assistant system |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649843A (zh) * | 2016-12-30 | 2017-05-10 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的媒体文件推荐方法、系统、及车载终端 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| CN108182093A (zh) * | 2017-12-29 | 2018-06-19 | 戴姆勒股份公司 | 智能型车辆信息娱乐系统 |
| CN108197185A (zh) * | 2017-12-26 | 2018-06-22 | 努比亚技术有限公司 | 一种音乐推荐方法、终端及计算机可读存储介质 |
| CN108875682A (zh) * | 2018-06-29 | 2018-11-23 | 百度在线网络技术（北京）有限公司 | 信息推送方法和装置 |
| CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
| CN109471954A (zh) * | 2018-09-29 | 2019-03-15 | 百度在线网络技术（北京）有限公司 | 基于车载设备的内容推荐方法、装置、设备和存储介质 |
| CN109523831A (zh) * | 2018-12-20 | 2019-03-26 | 北京无线电计量测试研究所 | 一种智能交通系统和方法 |
-
2019
- 2019-03-27 CN CN201910238945.XA patent/CN110008879A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| CN106649843A (zh) * | 2016-12-30 | 2017-05-10 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的媒体文件推荐方法、系统、及车载终端 |
| CN108197185A (zh) * | 2017-12-26 | 2018-06-22 | 努比亚技术有限公司 | 一种音乐推荐方法、终端及计算机可读存储介质 |
| CN108182093A (zh) * | 2017-12-29 | 2018-06-19 | 戴姆勒股份公司 | 智能型车辆信息娱乐系统 |
| CN108875682A (zh) * | 2018-06-29 | 2018-11-23 | 百度在线网络技术（北京）有限公司 | 信息推送方法和装置 |
| CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
| CN109471954A (zh) * | 2018-09-29 | 2019-03-15 | 百度在线网络技术（北京）有限公司 | 基于车载设备的内容推荐方法、装置、设备和存储介质 |
| CN109523831A (zh) * | 2018-12-20 | 2019-03-26 | 北京无线电计量测试研究所 | 一种智能交通系统和方法 |
Non-Patent Citations (4)
| Title |
|---|
| 《广播节目概论》: "《广播节目概论》", 30 April 2017, 中国国际广播出版社 * |
| 《第十届多国城市交通学术会议论文集》编委会编: "《创建和谐交通 迎接科技奥运》", 31 May 2007, 中国科学技术出版社 * |
| 中国人工智能学会编: "《中国人工智能》", 31 December 2007, 北京邮电大学出版社 * |
| 王海静: ""INKANET带’机器人’上路 荣威350牵手Android的云端岁月"", 《移动信息》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021077737A1 (zh) * | 2019-10-22 | 2021-04-29 | 上海商汤智能科技有限公司 | 基于车载数字人的交互 |
| CN110728256A (zh) * | 2019-10-22 | 2020-01-24 | 上海商汤智能科技有限公司 | 基于车载数字人的交互方法及装置、存储介质 |
| CN110758325A (zh) * | 2019-10-23 | 2020-02-07 | 上海能塔智能科技有限公司 | 车辆的人脸认证方法及装置、存储介质、终端、汽车 |
| CN111556348A (zh) * | 2020-03-13 | 2020-08-18 | 东风小康汽车有限公司重庆分公司 | 一种视频的推送方法、装置及计算机系统 |
| CN111739450A (zh) * | 2020-05-29 | 2020-10-02 | 惠州华阳通用电子有限公司 | 一种多舱位迎宾方法、系统以及车辆 |
| CN111739450B (zh) * | 2020-05-29 | 2022-05-03 | 惠州华阳通用电子有限公司 | 一种多舱位迎宾方法、系统以及车辆 |
| CN113765954A (zh) * | 2020-06-03 | 2021-12-07 | 本田技研工业(中国)投资有限公司 | 信息推送方法、信息推送系统和服务器 |
| CN112562267A (zh) * | 2020-11-27 | 2021-03-26 | 深圳腾视科技有限公司 | 车载安全机器人和安全驾驶辅助方法 |
| CN112667762A (zh) * | 2020-12-25 | 2021-04-16 | 贵州北斗空间信息技术有限公司 | 一种零编程快速构建gis系统的方法 |
| CN112667762B (zh) * | 2020-12-25 | 2023-04-25 | 贵州北斗空间信息技术有限公司 | 一种零编程快速构建gis系统的方法 |
| CN114694349A (zh) * | 2020-12-30 | 2022-07-01 | 上海博泰悦臻网络技术服务有限公司 | 一种交互方法及交互系统 |
| CN112784695A (zh) * | 2020-12-31 | 2021-05-11 | 南京视察者智能科技有限公司 | 一种基于图像及语音识别的司机异常状态检测方法 |
| CN112784695B (zh) * | 2020-12-31 | 2024-02-20 | 南京视察者智能科技有限公司 | 一种基于图像及语音识别的司机异常状态检测方法 |
| CN113297387A (zh) * | 2021-04-20 | 2021-08-24 | 内蒙古工业大学 | 一种基于nkd-gnn的图文不匹配新闻检测方法 |
| US20220355804A1 (en) * | 2021-05-05 | 2022-11-10 | Mitac Digital Technology Corporation | Method and system for enhancing driving safety |
| US12091021B2 (en) * | 2021-05-05 | 2024-09-17 | Mitac Digital Technology Corporation | Method and system for enhancing driving safety |
| GB2607086A (en) * | 2021-05-28 | 2022-11-30 | Continental Automotive Gmbh | In-car digital assistant system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110008879A (zh) | 车载个性化音视频内容推送方法及装置 | |
| JP6736685B2 (ja) | 感情推定装置、および、感情推定システム | |
| US11107471B2 (en) | Dialog processing server, control method for dialog processing server, and terminal | |
| CN103918247B (zh) | 基于背景环境的智能手机传感器逻辑 | |
| CN108000526A (zh) | 用于智能机器人的对话交互方法及系统 | |
| CN106649843A (zh) | 基于车载终端的媒体文件推荐方法、系统、及车载终端 | |
| CN107870977A (zh) | 基于用户状态形成聊天机器人输出 | |
| CN106878364A (zh) | 用于车辆的信息推送方法、系统、云服务器和车辆 | |
| CN106128453A (zh) | 一种机器人的智能识别语音自动应答方法及机器人 | |
| EP2787477A1 (en) | Information input device, information provision device, and information provision system | |
| CN109712615A (zh) | 用于检测对话语音中的提示的系统和方法 | |
| CN108923808A (zh) | 车辆及其车载终端和语音交互模式主动触发方法 | |
| CN107808191A (zh) | 虚拟人多模态交互的输出方法和系统 | |
| CN105244042B (zh) | 一种基于有限状态自动机的语音情感交互装置与方法 | |
| CN111547063A (zh) | 一种疲劳检测的智能车载情感交互装置 | |
| CN106486122A (zh) | 一种智能语音交互机器人 | |
| JP6730802B2 (ja) | 音声指向ネットワークを経由してドライバ通信を容易にするシステムおよび方法 | |
| CN110871813A (zh) | 虚拟机器人的控制方法、装置、车辆、设备和存储介质 | |
| CN109690601B (zh) | 信息提供装置和移动体 | |
| CN208675495U (zh) | 车辆及其多媒体播放自动控制的播放设备 | |
| CN109115236A (zh) | 车辆、车机设备及其基于条件触发的行程自动导航方法 | |
| CN108648734A (zh) | 面向汽车娱乐的处理系统及其方法 | |
| CN113734187A (zh) | 用于与车辆用户进行信息交互的方法、装置及车机 | |
| CN111063346A (zh) | 基于机器学习的跨媒体明星情感陪伴交互系统 | |
| CN105635314A (zh) | 一种行车交友的实现方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190712 |