CN104548309A - 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 - Google Patents
利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 Download PDFInfo
- Publication number
- CN104548309A CN104548309A CN201510002815.8A CN201510002815A CN104548309A CN 104548309 A CN104548309 A CN 104548309A CN 201510002815 A CN201510002815 A CN 201510002815A CN 104548309 A CN104548309 A CN 104548309A
- Authority
- CN
- China
- Prior art keywords
- driver
- music
- emotional state
- information
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种利用不同情感特征音乐调整驾驶员情绪状态的装置,包括音乐播放单元,所述的装置还包括:驾驶员生理信息采集单元,用于检测驾驶员的心率、皮温信息和皮阻信息;控制单元,用于根据驾驶员生理信息采集单元所采集的信息,采用情绪识别算法和是否有利于安全驾驶行为的情绪判定算法,识别并判定当前驾驶员的情绪状态;所述的音乐播放单元,用于根据当前驾驶员的情绪状态,检索并播放相适应的音乐曲目。本发明还公开了一种利用不同情感特征音乐调整驾驶员情绪状态的方法。本发明利用驾驶员生理信息来实时监控驾驶员的情绪状态,并可以自动从音乐库中选择相应的情感音乐以调整驾驶员的情绪状态,以改良其驾驶行为。
Description
技术领域
本发明涉及汽车电子技术领域,尤其涉及一种利用不同情感特征音乐调整驾驶员情绪状态的主动驾驶安全辅助装置及方法。
背景技术
情绪状态对人们的认知能力、意识状态和行为方式有重要的影响,对于汽车驾驶者而言尤为重要。驾驶员作为道路交通信息系统中信息的接受者和处理者,其情绪状态直接影响着驾驶安全。
现有研究表明,驾驶员的不良情绪状态是导致驾驶事故的一种主要影响因素,例如愤怒等高价效高唤醒度的情绪状态,会诱发驾驶员采用提高车速、横纵向操控加快、超车频繁等趋向鲁莽的驾驶行为,而平静等低价效低唤醒度的情绪状态下,驾驶员通常采用车速降低、操作平稳等趋向避免危险的驾驶行为。
一边听音乐一边驾驶汽车,是驾驶员比较常见的驾驶行为,尤其在长途驾驶过程中,听音乐解乏提神是驾驶员的主要选择。然而,音乐对驾驶员驾驶行为的影响比较复杂,现有的研究多从音乐的节奏、音量等声学属性讨论了其对驾驶行为的影响,研究结果表明音乐内部的时间机制(节奏等属性)会影响驾驶员对驾驶时间和车速的准确判断,而音量则影响驾驶员对周围环境的感知。
部分研究也开始关注音乐的情感属性对驾驶行为的影响。不同情感属性的音乐会诱发听众产生不同的情绪状态,而驾驶员被诱发而产生的情绪又会影响其驾驶行为。当然,现有的研究也提出了音乐欣赏本身作为一种驾驶分心的行为,会增加驾驶员的主观心理工作负荷,尤其是其对歌曲的跟唱行为。
部分研究已经关注到驾驶员情绪状态对驾驶安全的重要影响,相应提出了监测驾驶员情绪状态,采用措施提醒驾驶员或调整驾驶员情绪状态,并施加相应的车辆控制。尤其是在调整驾驶员情绪状态时,也关注到了音乐的重要作用,主要的实施方式有以下两种:
(1)监控驾驶员的情绪状态,提供判断和提醒装置。例如,专利ZL200710098412.3公开了一种汽车安全驾驶监控系统和方法,通过监测驾驶员的面目表情来判断驾驶员所处的情绪状态。根据其情绪状态是否危及驾驶安全,给出提醒。公开号CN201110395977.4的专利申请公开了一种可以通过测量驾驶员多种生理信息而判断驾驶员身体和心理状态的安全驾驶监控装置,对驾驶员危险情绪进行判断后提出警告。公开号CN201220186112.7的专利申请公开了一种驾驶员情绪监控装置,采用体温传感器、血压传感器和脉搏传感器三个生理信号判断驾驶员的情绪状态,并据此将驾驶员情绪分级判断,并给出相应的安全措施。公开号为CN201210470407.1的专利申请公开了一种通过检测驾驶员脉象的方法确定其情绪状态,并通过判断其状态的安全性而提供安全措施的方法。但上述专利都没有涉及到充分利用情绪调整技术而改良驾驶状态这一关键技术。
(2)设计不同的音乐曲目和音乐播放器,部分技术尝试利用音乐的情感属性调整驾驶心态。例如,公开号为CN201010250208.0专利申请公开了一种通过学习取得对应驾驶情况的车辆中音乐选择方法。其主要实现方法是通过对用户喜好的自然语言采集和分析来确定用户喜好,但没有涉及到如何提供对应其驾驶状态的,可以改良用户情绪状态的音乐筛选方法。ZL201020608255.3公开了一种基于驾驶员状态的音乐播放器,其主要方法是通过视频图像实时分析驾驶员的驾驶状态,并提供适当音乐来调整驾驶员状态至恢复正常,以提高驾驶安全性。该方法虽然提出提供不同不良情绪状态的调节曲库,但曲库的建立方法没有明确给出,同时没有注意到驾驶员的强烈个性特征。公开号为CN201310636431.2的专利申请公开了一种车辆音乐推荐系统和方法。提供了用于舒缓驾驶员压力的音乐推荐方法,其推荐的依据来源于天气信息、车辆的运动信息和控制信息。其重点是间接判断驾驶员的心理压力状态,而对驾驶员的不同驾驶情绪状态关注不足。另外,其音乐库的组成与推荐类型也因推荐依据的不同而与主动情绪调整不同。ZL201220374865.0公开了一种基于情绪变化的音乐播放系统,该专利通过检测用户面部表情、声音和皮电等多种方法检测用户当前的情绪状态,并提供对应情绪调整用的音乐。但该方法没有明确提出如何利用不同情感特征的音乐对驾驶员情绪状态进行调试的方法。另外,该方法也没有给出个性化的音乐库建立方法。公开号为201210199411.9的专利申请公开了一种汽车驾驶员情绪监视及车辆控制系统,利用心率信号以及面部表情识别的方法,判断驾驶员的当前情绪状态,通过录音或播放乐曲的方法缓解对应情绪。但具体操作方式是判断是否出现较大的情绪波动,与不良驾驶情绪状态判断上有所欠缺,同样也没有给出乐曲的个性化选择。
然而,上述专利没有将正常人的良性情绪(愉快等)、不良情绪(忧愁、恐惧、苦恼、愤怒等)与会诱发良性与非良性驾驶行为对应的驾驶员情绪状态进行区分。现有研究已经发现,诱发快乐情绪的音乐在减缓驾驶员行驶速度的同时,却又降低了其对汽车的横向控制能力,而悲伤的音乐虽然通常被划分为不良情绪,但其诱发驾驶员悲伤情绪后,却会增加驾驶员对汽车的横向保持能力。另外,上述专利或仅是给予提示或车辆控制措施,或者虽然提出提供相应的情绪调整,但没有明确情绪调节的具体方法,尤其是忽视了不同驾驶员对音乐情感的个性化反应,没有提及个性化音乐库的建立方法。因此在实际的驾驶过程中效果受限。
发明内容
本发明目的是针对现有技术在不良情绪的处理上,大多只是给予提示或进行车辆控制的措施,或者虽然提出要建立相应的情绪调整音乐库以调整不良情绪,但在具体操作中没有明确或混淆了平常意义上的不良情绪与相对要安全驾驶的不良情绪问题,以及没有明确的驾驶员情绪调整的具体方法问题,提供一种可以利用驾驶员生理信息来实时监控驾驶员的情绪状态,并可以自动从音乐库中选择相应的情感音乐以调整驾驶员的情绪状态,以改良其驾驶行为的装置和方法。
一种利用不同情感特征音乐调整驾驶员情绪状态的主动驾驶安全辅助装置,包括驾驶员生理信息采集单元、控制单元、驾驶员情绪状态的可视化信息反馈单元、可提供个性化建立和调整的音乐库单元和音乐播放单元。所述的生理信息采集单元包括生理信息传感器以及对应的信号采集和调整电路;所述的情绪状态可视化信息反馈单元包括声音模块和图示模块;所述的控制单元分别与生理信息采集单元、情绪状态反馈单元、个性化音乐库单元和音乐播放单元相连;
进一步地,所述驾驶员生理信息传感器包括用于实时采集驾驶员心率的第一传感器、用于实时采集驾驶员皮温信息的第二传感器和用于实时采集驾驶员皮阻信息的第三传感器;所述的信号调整电路将上述生理信号进行滤波放大预处理后,输入至控制单元;
所述的控制单元内设有驾驶员情绪状态识别和判定模块、情绪状态的可视化显示控制模块;控制单元接收经过预处理的生理信号,通过内置的情绪识别算法和是否有利于安全驾驶行为的情绪判定算法,对于判断当前驾驶员的情绪状态进行识别并判定,并将识别和判定结果输出至可视化信息反馈单元的声音和图示反馈模块进行声、光反馈;
更进一步地,所述的可视化信息反馈单元的声音反馈模块包括声效处理器和声效发生器。
所述的声效处理器储存声音信息;所述的声效发生器接收控制单元发出的控声信号,并根据这一控声信号从预先存储的声音信息中选择与当前驾驶员情绪状态适配的声音片段进行播放。所述图示反馈模块包括光效处理器和光效发生器。
所述的光效处理器储存图示信息;所述的光效发生器接收控制单元发出的控光信号,并根据这一控光信号从预先存储的图示信息中选择与当前驾驶员情绪状态适配的图示光信息进行展示。
所述的控制单元中还设有音乐库检索模块以及音乐播放控制模块;控制单元根据其情绪状态识别与判定模块的识别和判定结果,利用其音乐库检索模块对事先建立好的个性化音乐库进行检索,选择与其识别和判定结果相适应的音乐曲目,并对音乐播放模块发出音乐播放指令;
进一步地,所述的控制单元的驾驶员情绪状态识别和判定模块中,内置驾驶员情绪状态识别算法和不良驾驶情绪判定算法。
更进一步地,所述的情绪状态识别算法,将采集到的驾驶员的实时生理信号进行特征提取和降维处理后,采用基于统计学习的算法,对情绪状态进行识别。所述的不良情绪判定算法在模拟驾驶实验的基础上总结,以低唤醒度和低价效情绪为安全情绪状态,高唤醒度和高价效为不良情绪状态。
更进一步的,所述的个性化建立和调整的音乐库单元包括推荐曲目存储模块和个性化调整模块,采用推送的方法,定期推送低能量低紧张度的纯音乐并存储在曲目推荐模块中,而使用者可以根据自己的个性化要求,通过个性化调整模块对推荐的音乐库进行删减,形成个性化的音乐库备用。
更进一步地,所述的音乐播放单元包括音量调整模块和曲目切换模块,允许驾驶员调整音量的大小,允许驾驶员切换当前播放的具体曲目,如循环播放以及上下曲目调整等。
一种利用不同情感音乐调整驾驶员情绪状态的方法,使用上述装置完成,包括步骤:
(1)实时采集驾驶员的心率信号、皮肤温度信号和皮肤电信号,并对各生理信号进行滤波放大等预处理;
(2)预处理后的信息传递到控制单元,根据内置的驾驶员情绪识别算法和不良情绪判定算法,对当前驾驶员的情绪状态以及是否不良驾驶情绪进行识别和判断;
(3)控制单元根据识别和判断结果在反馈单元进行声音和图示反馈;
(4)如果驾驶员当前的情绪状态判定为不良驾驶情绪,则控制单元根据内置的音乐调整方法,在事先建立好的个性化音乐库中检索对应音乐,并控制音乐播放单元进行播放,从而对当前驾驶情绪状态进行调适,直至驾驶员的情绪状态处于良性状态。
(5)上述步骤循环执行。
进一步地,步骤(1)中对驾驶员生理信息的采集,基于对应传感器的使用,即第一传感器采集驾驶员的心率信息,第二传感器采集驾驶员的皮肤温度信息,第三传感器采集驾驶员的皮肤电信息。
进一步地,步骤(2)中驾驶员的情绪状态采用价效和唤醒度(Valence-Arousal)二维空间来刻画,将驾驶员的情绪状态分为四个空间(象限),即高价效高唤醒度空间(第一象限)、高价效低唤醒度空间(第二象限)、低价效低唤醒度空间(第三象限)和低价效高唤醒度空间(第四象限)。根据现有的研究成果,将第三象限空间视为良性驾驶情绪状态所处的空间。
更进一步地,所述的情绪状态识别算法,将采集到的驾驶员的实时生理信号进行特征提取和降维处理后,采用基于统计学习的算法,对情绪状态进行识别。所述的不良情绪判定算法在模拟驾驶实验的基础上总结,以低唤醒度和低价效情绪为安全情绪状态,高唤醒度和高价效为不良情绪状态。在实际操作中,将处于第一、第二、第四象限的情绪状态视为不良驾驶情绪,将处于第三象限的情绪状态视为良性驾驶情绪。
进一步的,步骤(3)中可视化信息反馈单元的图示信息和声音信息是预先设计好的声音片段和图示信息。所有声音和图示反馈的显示时间、声音反馈的音量和图示反馈的颜色表示,可以通过外部输入来调整。
进一步地,步骤(4)中可提供个性化建立和调整的音乐库单元中基本曲目由采用推送的方法,接受定期推送的低能量低紧张度的纯音乐,而使用者可以根据自己的个性化要求,对推荐的音乐库进行删减,形成个性化的音乐库备用。
更进一步地,步骤(4)中音乐播放单元允许驾驶员对播放的曲目进行音量调整,也允许驾驶员切换当前播放的具体曲目,例如循环播放以及上下曲目调整等。
进一步地,采用二维表示法来表述音乐的情感特征和驾驶员的情感状态。所述的二维音乐情感特征表述以Thayer情感模型为基础,采用能量和压力两种维度来连续性标注音乐的情感特征;所述的二维驾驶员情绪状态以价效和唤醒度(Valence-Arousal)二维空间来刻画。
本发明的利用不同情感特征的音乐调整驾驶员情绪状态的装置及其方法具有如下优点:
一、利用驾驶员喜欢在驾车过程中收听音乐这一常见的客观行为,充分发挥音乐对情绪的调适功能,从而达到主动辅助驾驶安全的目的。
二、通过对驾驶员生理信息来判断驾驶员的情绪状态,相对于传统的基于驾驶员面目表情的情绪判断方法,可以避免因不同驾驶任务而导致驾驶员头部晃动、面目表情多变等影响因素,对驾驶员的情绪状态判断更加准确。
三、充分认识到针对驾驶安全的良性与不良情绪状态与日常的良性与不良情绪之间的差异性,采用二维情绪状态的刻画方法,将低唤醒度和低价效情绪空间为控制目标,更具有可行性和准确性。
四、充分认识到不同人群对同一音乐情感属性的感受程度即具有普遍性又具有差异性,因此在实际操作中,根据音乐情感属性的感受普遍性,音乐库的基本曲目由专家推送构成;同时又考虑到不同人群对音乐情感属性的感受差异性,允许驾驶员在基本曲目库中根据自己的偏好进行个性化删减调整,因此本方法在考虑到个性化调整后,更易于实际应用,效果更好。
附图说明
图1是本发明装置的框架结构示意图;
图2是本发明方法的流程示意图;
图中:1、驾驶员生理信息采集单元;11、心率信息采集传感器;12、皮肤温度信息采集传感器;13、皮肤电信息采集传感器;2、控制单元;21、驾驶员情绪识别和判断模块、22、情绪状态的可视化显示控制模块;23、音乐库检索模块;24、音乐播放控制模块;3、音乐播放单元,31、音量调整模块;32、曲目切换模块;4、个性化音乐库单元;41、推荐曲目存储模块;42、个性化调整模块;5、情绪状态可视化反馈单元;51、声音反馈模块;52、图示反馈模块。
具体实施方式
如图1和图2所示,一种利用不同情感属性音乐调整驾驶员情绪状态的装置,包括驾驶员生理信息采集单元1、控制单元2、音乐播放单元3、个性化音乐库单元4、情绪状态可视化反馈单元5。
本实施例中,采用二维表示法来表述音乐的情感特征和驾驶员的情感状态。其中二维音乐情感特征表述以Thayer情感模型为基础,采用能量和压力两种维度来连续性标注音乐的情感特征;而二维驾驶员情绪状态以价效和唤醒度(Valence-Arousal)二维空间来刻画。
驾驶员生理信息采集单元1包括传感器11、传感器12和传感器13,分别用于采集心率信息、皮肤温度信息和皮肤电信息,本实施例中各传感器均为微型,且置于驾驶员手部。
控制单元2包括驾驶员情绪识别和判断模块21、情绪状态的可视化显示控制模块22、音乐库检索模块23和音乐播放控制模块24。驾驶员情绪识别和判断模块21中,内置情绪状态识别算法和不良情绪判定算法,将采集到的驾驶员的实时生理信号进行特征提取和降维处理后,采用基于统计学习的算法,对情绪状态进行识别。而不良情绪判定算法在模拟驾驶实验的基础上总结,以低唤醒度和低价效情绪为安全情绪状态,高唤醒度和高价效为不良情绪状态。
运用生理信号辨识人的情感状态方法非常多。部分学者仅利用一种生理信号进行情感识别研究,例如“蔡青.皮肤电反应信号在情感状态识别中的研究[D].西南大学,2010”设计了改进的禁忌搜索算法(TS),仅利用皮肤电信号(GSR)对高兴、惊奇、厌恶、悲伤、愤怒和恐惧等六种情绪进行了有效识别;“徐亚.基于心电信号的情感识别研究[D].西南大学,2010”设计了离散二进制粒子群算法(BPSO),对愤怒、厌恶、恐惧、悲伤、高兴和惊奇等六种情绪进行了有效识别;“徐鲁强,刘静霞.模糊支持向量机情感状态识别的研究[J].计算机应用研究,2011,28(3):831-833”利用模糊支持向量机算法,分别利用皮肤电、呼吸、心电、肌电等单一生理信号实现了对高兴、悲伤、愤怒和满足四种情绪的识别。但上述研究也表明,单一的生理信号对不同的情绪状态的反应强度不同,因此大部分学者都是采用多种生理信号组合的方法来识别人的情绪状态。例如,温万慧等学者采集皮肤电、心率、脉搏、心电、呼吸、面部肌电和脑电等8路生理信号,基于随机矩阵理论和后续选择算法,最终实现了对高兴、惊奇、厌恶、悲伤、愤怒和恐惧等六种情绪的二分类情绪识别,具体见“温万慧.基于生理信号的情感识别方法研究[D].西南大学,2010”;“杨瑞清,刘光远.基于BPSO的四种生理信号的情感状态识别[J].计算机科学,2008,35(3):137-138,154”通过采集皮肤电、呼吸、肌电和心电信号,利用离散二进制粒子群优化算法对高兴、悲伤、愤怒、满足等四种情绪进行了高精度识别;刘静霞等建立模糊识别算法,通过采集心电、肌电、皮肤电和呼吸等四种生理信号,实现了对高兴、悲伤、愤怒和满足四种情绪的识别,具体见“刘静霞,史云兵,徐鲁强.情感状态模糊识别的研究[J].四川师范大学学报(自然科学版),2010,33(5):707-710”;“郭漩.基于人工神经网络的多生理信号情绪识别系统设计与实现[D].华东师范大学,2014”设计了BP神经网络算法,采集皮肤电信号、脉搏信号、呼吸信号、皮肤温度信号等四种生理信号,实现了对平静、快乐和恐惧等三种情绪的有效识别。
本研究在上述研究的基础上,根据文献“曾志强.支持向量分类机的训练与简化算法研究[D].浙江大学,2007”和“Q Wu,Real-time emotionassessment method based on physiological signals[C],2010InternationalSymposium on Computational Intelligence and Design,pp.225-228,2010”,提出改进支持向量机算法,采用心电、皮温、皮肤电三种生理信号实现对高唤醒度高价效、高唤醒度低价效、低唤醒度低价效和低唤醒度高价效四种情绪的有效识别。
在本实施例中,由于是将不良情绪从整个情绪空间中识别出来,而不良情绪样本量相对较小,因此可以视为二类分类问题。利用SVM进行分类的主要思想是建立一个空间最优决策使得该超平面两侧的两类样本到它的距离达到最大化,以使最终确定的SVM模型具有良好的泛化性能。定义一个包含所有数据的封闭区为超球体,超球体由球心a和球的半径R决定,假定训练样本集包含l个目标样本{xi,i=1,...,l},xi表示第i个样本,l表示样本个数,如果超球体包容所有的目标训练样本,则分类的经验误差为0,类似支持向量分类器,定义结构误差:
ε(R,a)=R2 (1)
所有样本点到中心a的距离应该不大于R,因此最小化ε的约束条件为
||xi-a||≤R2 (2)
由于目标集的样本分布有可能包含少数极为偏远的样本,如果球体包含所有的样本,则容量将非常庞大,因此引入松弛因子ξ,允许部分数据点在球体以外,最小化问题变为
式中,C>0是一个常数,称为惩罚算子,它控制对错分样本惩罚的程度;ξi表示第i个向量的松弛因子。
约束条件相应变成
||xi-a||≤R2+ξi,ξi>0 (4)
构造拉格朗日算式
式中αi>0,γi≥0为拉格朗日乘子,
求偏导得:
C-αi-γi=0
将上述结果代入式(5)得
式中,αj表示第j个样本的拉格朗日算子,xj表示第j个样本;
在实际应用中,以10分钟为一段,采集心电、皮温、皮阻等生理信号,在训练过程中,采用前后两段数据9分钟重叠的数据采集方法,保证情感预测的实时性,由于支持向量机的运算特性,在前期训练时需要花费一定时间,但在实际预测时速度非常快。
对心电信号取低频均值LF(频率在0.04Hz-0.15Hz信号的平均值)、高频均值(频率在0.15Hz-0.4Hz信号的平均值)、以及二者比值(LF/HF);对皮温信号和皮阻信号取均值,并作标准化预处理后组成特征向量空间。取前30分钟样本作为正常训练样本,通过核主元分析,将总量大于75%的前几个主元作为训练样本,建立SVDD分类器。在具体训练过程中,选择高斯核函数,其中σ=2-8;C=10。
在本实施例中,选择8名被试进行情绪分类识别,识别结果如表1所示,证明本方法具有较好的识别精度。
表1 不良情绪识别结果
被试 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
识别准确率 | 54.7 | 66.2 | 64.4 | 90.4 | 77.3 | 56.8 | 80.4 | 78.8 |
音乐播放单元3包括音量调整模块31和曲目切换模块32,可以让驾驶员根据个人偏好对当前播放的音乐曲目进行音量调整以及曲目的切换包括循环播放以及上下曲目调整等。本实施例中,音量调整和曲目切换等功能的实现是通过安装在音乐播放器的按钮来实现的。
个性化音乐库单元4包括推荐曲目存储模块41和个性化调整模块42,其中推荐曲目存储模块中的基本曲目由采用推送的方法,接受定期推送的低能量低紧张度的纯音乐,而个性化调整模块可以让驾驶员可以根据自己的个性化要求,对推荐的音乐库进行删减,形成个性化的音乐库并再度存储在存储模块41中备用。本实施例中,对音乐库的个性化调整是在系统运行前由驾驶员手动控制的。
由于前期的研究已经表明,低能量低紧张度情感类型的音乐可以将高价效高唤醒度、高价效低唤醒度、低价效高唤醒度的情绪状态调整至低价效低唤醒度的情绪状态,低价效低唤醒度的情绪状态有助于促使驾驶员采用趋向安全的驾驶策略。因此,出于方便实用的角度,推荐曲目中的所有音乐都是经过测试的低能量低紧张度的纯音乐,可以有效诱发被试产生低唤醒度低价效的情绪状态。
另外,考虑到不同驾驶员对音乐的感受度不同,因此本实施例中提供音乐库的个性化调整功能,驾驶员可以事先对低能量低紧张度情感类型的音乐库进行试听,根据自己的喜欢,对给定音乐进行调整。
情绪状态可视化反馈单元5包括声音反馈模块51和图示反馈模块52,其中声音反馈模块包括声效处理器和声效发生器。可以接收控制单元发出的控声信号,并根据这一控声信号从预先存储的声音信息中选择与当前驾驶员情绪状态适配的声音片段进行播放。而图示反馈模块包括光效处理器和光效发生器。可以接收控制单元发出的控光信号,并根据这一控光信号从预先存储的图示信息中选择与当前驾驶员情绪状态适配的图示信息进行展示。本实施例中,声音信息的大小与响应时间,以及图示信息的响应时间和具体色彩,可以由驾驶员根据实际情况,在系统运行前手工调整。
上述装置的实施步骤如下:
(1)驾驶员在启动汽车前,对音乐播放单元3、个性化音乐库单元4、情绪状态可视化反馈单元5所提供的预设功能,有选择性的进行预设后,将生理信息采集单元1中的传感器11、传感器12、和传感器13按照使用要求佩戴后,系统开始运行;
(2)系统运行期间,驾驶员生理信息采集单元始终采集驾驶员的心率、皮温和皮阻信息,并经过系列的滤波放大电路对上述信息进行预处理,处理后的信息传入控制单元;
(3)控制单元2内驾驶员情绪状态识别和判定模块21对驾驶员当前的情绪状态进行识别,并判断其是否处于不良情绪状态,同时将识别结果和判定结果通过可视化控制模块22输出至情绪状态可视化反馈单元5,由声音反馈模块51和图示反馈模块52显示给驾驶员。
更具体地,根据驾驶员情绪变化的实际模拟实验,驾驶员的情绪状态识别与判定的最长周期不可超过5分钟。而对情绪状态的反馈方式可以多样化,声音反馈采用模拟语音的方法直接将当前驾驶员的情绪状态进行播报提醒;图示反馈以不同跳动频率和色彩的心形图案显示,对应于良性驾驶情绪状态,采用绿色心形图案和缓慢频率的心形跳动图案,对应于不良驾驶情绪状态,采用红色心形图案和快速频率的心形跳动图案。
(4)如果控制单元2中情绪状态识别和判定模块21对驾驶员当前的情绪状态判断为良性,则系统不对音乐播放单元进行控制,跳回情绪状态识别和判断步骤;如果对驾驶员当前的情绪状态判断为不良情绪状态,则启动音乐库检索模块23和音乐播放控制模块24,根据音乐的能量度和紧张度进行排序,排序按能量值和紧张值之和由小到大为原则而预设好而存储在音乐库单元4中推荐音乐曲目存储模块41中的曲目顺序,控制音乐播放单元3进行播放。考虑到有歌词的音乐曲目会因驾驶员的跟唱行为而加重驾驶员的分心程度,因此本实施例中的所有曲目都为无歌词的纯音乐曲目。
更具体地,在实际音乐播放过程中,驾驶员可以根据自身的偏好通过音乐播放单元3中的音量调整模块31和曲目切换模块32对当前播放的音乐曲目进行调整。
(5)在调整音乐播放过程中,持续对驾驶员当前的情绪状态进行识别和判定,如果判定结果表明驾驶员的情绪状态转为良性情绪,则终止音乐播放,系统跳回情绪识别和判定;如果判定结果表明驾驶员仍然处于不良情绪状态,则持续音乐播放。
更具体地,考虑到音乐对驾驶员情绪调适功能的渐进性,因此本实施例中调整音乐的播放时间最短为5分钟。
本实施例的基本原理简述如下:
通过安置在驾驶员手上的生理信息采集传感器,利用内置的驾驶员情绪状态识别和判定算法对驾驶员当前的情绪状态进行识别和判定,并将结果利用声音和图示反馈模块反馈给驾驶员;如果对当前情绪状态的判定结果为不良情绪状态,则启动音乐播放单元,按照个性化音乐库中预设好的音乐曲目进行播放,通过音乐将驾驶员的不良情绪状态调整为良性情绪状态,间接促使驾驶员采用趋向安全的驾驶行为,从而实现主动辅助驾驶安全的功能。
本实施例仅是对本发明的优选实施方式,本发明的保护范围并不仅限于上述实施方式,凡是属于本发明原理的技术方案均属于本发明的保护范围。对本领域的技术人员而言,在不脱离本发明的原理的前提下进行的若干改进和润饰,也应视为本发明的保护范围。
Claims (10)
1.一种利用不同情感特征音乐调整驾驶员情绪状态的装置,包括音乐播放单元,其特征在于,所述的装置还包括:
驾驶员生理信息采集单元,用于检测驾驶员的心率、皮温信息和皮阻信息;
控制单元,用于根据驾驶员生理信息采集单元所采集的信息,采用情绪识别算法和是否有利于安全驾驶行为的情绪判定算法,识别并判定当前驾驶员的情绪状态;
所述的音乐播放单元,用于根据当前驾驶员的情绪状态,检索并播放相适应的音乐曲目。
2.如权利要求1所述的利用不同情感特征音乐调整驾驶员情绪状态的装置,其特征在于,所述的装置还包括反馈驾驶员情绪状态的可视化信息反馈单元。
3.如权利要求2所述的利用不同情感特征音乐调整驾驶员情绪状态的装置,其特征在于,所述的可视化信息反馈单元包括:
声音反馈模块,用于根据所述驾驶员的情绪状态,控制音乐播放单元播放预存的声音信息;
图示反馈模块,用于根据所述驾驶员的情绪状态,从预先存储的图示信息中选择与当前驾驶员情绪状态适配的图示光信息进行展示。
4.如权利要求3所述的利用不同情感特征音乐调整驾驶员情绪状态的装置,其特征在于,所述声音反馈模块包括声效处理器和声效发生器;所述的声效处理器储存声音信息;所述的声效发生器接收控制单元发出的控声信号,并根据这一控声信号从预先存储的声音信息中选择与当前驾驶员情绪状态适配的声音片段进行播放。
5.如权利要求3所述的利用不同情感特征音乐调整驾驶员情绪状态的装置,其特征在于,所述图示反馈模块包括光效处理器和光效发生器;所述的光效处理器储存图示信息;所述的光效发生器接收控制单元发出的控光信号,并根据这一控光信号从预先存储的图示信息中选择与当前驾驶员情绪状态适配的图示信息进行展示。
6.如权利要求1所述的利用不同情感特征音乐调整驾驶员情绪状态的装置,其特征在于,所述的控制单元中还设有音乐库检索模块以及音乐播放控制模块;控制单元根据其情绪状态识别与判定模块的识别和判定结果,利用其音乐库检索模块对事先建立好的个性化音乐库进行检索,选择与其识别和判定结果相适应的音乐曲目,并对音乐播放模块发出音乐播放指令。
7.如权利要求6所述的利用不同情感特征音乐调整驾驶员情绪状态的装置,其特征在于,所述的装置还包括信号调整电路,用于对驾驶员生理信息采集单元采集的生理信号进行滤波放大预处理后,输入至控制单元。
8.一种利用不同情感特征音乐调整驾驶员情绪状态的方法,其特征在于,包括步骤:
(1)采集驾驶员的心率、皮温和皮阻信息;
(2)根据所述的心率、皮温和皮阻信息,对驾驶员当前的情绪状态进行识别,并判断其是否处于不良情绪状态;
(3)若判定驾驶员当前的情绪状态判断为不良情绪状态,检索音乐库并按曲目顺序播放音乐,调整驾驶员的情绪状态。
9.如权利要求8所述的利用不同情感特征音乐调整驾驶员情绪状态的方法,其特征在于,若判定驾驶员当前的情绪状态判断为不良情绪状态,采用模拟语音对情绪状态进行播报,并以图示反馈的方式显示驾驶情绪状态。
10.如权利要求9所述的利用不同情感特征音乐调整驾驶员情绪状态的方法,其特征在于,在步骤(2)中,采用情绪状态识别算法和不良情绪判定算法,对驾驶员当前的情绪状态进行识别和判定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510002815.8A CN104548309A (zh) | 2015-01-05 | 2015-01-05 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510002815.8A CN104548309A (zh) | 2015-01-05 | 2015-01-05 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104548309A true CN104548309A (zh) | 2015-04-29 |
Family
ID=53066059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510002815.8A Pending CN104548309A (zh) | 2015-01-05 | 2015-01-05 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104548309A (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105232064A (zh) * | 2015-10-30 | 2016-01-13 | 科大讯飞股份有限公司 | 一种预测音乐对驾驶员行为影响的系统和方法 |
CN105868382A (zh) * | 2016-04-08 | 2016-08-17 | 惠州Tcl移动通信有限公司 | 一种音乐推荐方法及其系统 |
CN105975536A (zh) * | 2016-04-29 | 2016-09-28 | 合网络技术(北京)有限公司 | 网络资源的推荐方法和装置 |
CN106274662A (zh) * | 2015-06-24 | 2017-01-04 | 奥迪股份公司 | 操作机动车辆的输出装置的方法、输出装置和机动车辆 |
CN106562793A (zh) * | 2015-10-08 | 2017-04-19 | 松下电器(美国)知识产权公司 | 信息提示装置的控制方法、以及信息提示装置 |
CN106652378A (zh) * | 2015-11-02 | 2017-05-10 | 比亚迪股份有限公司 | 用于车辆的驾驶提醒方法、系统、服务器和车辆 |
CN106649843A (zh) * | 2016-12-30 | 2017-05-10 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的媒体文件推荐方法、系统、及车载终端 |
WO2017096979A1 (zh) * | 2015-12-08 | 2017-06-15 | 乐视控股(北京)有限公司 | 基于用户情绪的节目播放方法和系统 |
WO2018023519A1 (zh) * | 2016-08-04 | 2018-02-08 | 易晓阳 | 一种语音控制音乐本地播放方法 |
WO2018023520A1 (zh) * | 2016-08-04 | 2018-02-08 | 易晓阳 | 一种语音控制音乐本地播放装置 |
CN108252634A (zh) * | 2018-01-05 | 2018-07-06 | 湖南固尔邦幕墙装饰股份有限公司 | 自动调节情绪的智能门窗系统 |
CN108764169A (zh) * | 2018-05-31 | 2018-11-06 | 厦门大学 | 一种基于机器学习的驾驶员情绪识别与显示装置及方法 |
CN108937966A (zh) * | 2018-05-29 | 2018-12-07 | 四川斐讯信息技术有限公司 | 一种情绪的检测方法及可穿戴设备 |
CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
CN109491499A (zh) * | 2018-11-05 | 2019-03-19 | 广州创维平面显示科技有限公司 | 一种电器设备控制方法、装置、电器设备和介质 |
CN109606386A (zh) * | 2018-12-12 | 2019-04-12 | 北京车联天下信息技术有限公司 | 智能车内座舱 |
CN110074780A (zh) * | 2019-04-25 | 2019-08-02 | 内蒙古农业大学 | 一种基于erp技术的音乐模式调节方法 |
CN110134822A (zh) * | 2019-05-10 | 2019-08-16 | 一汽轿车股份有限公司 | 车载音乐推荐方法和推荐系统 |
CN110618804A (zh) * | 2018-06-18 | 2019-12-27 | 国际商业机器公司 | 用于实时通信的自动提示系统 |
CN110908576A (zh) * | 2018-09-18 | 2020-03-24 | 阿里巴巴集团控股有限公司 | 车辆系统/车辆应用显示方法、装置及电子设备 |
CN110947075A (zh) * | 2019-11-27 | 2020-04-03 | 华南理工大学 | 基于脑波音乐的个性化精神状态调节系统及调节方法 |
CN111984855A (zh) * | 2019-05-24 | 2020-11-24 | 北京车和家信息技术有限公司 | 信息推荐的方法及装置 |
CN112472950A (zh) * | 2019-09-11 | 2021-03-12 | 北京小米移动软件有限公司 | 智能切换音乐的系统、可穿戴设备和电子设备 |
CN112545516A (zh) * | 2020-12-07 | 2021-03-26 | 中国第一汽车股份有限公司 | 一种情绪调节方法、装置、系统及存储介质 |
CN112612917A (zh) * | 2020-12-30 | 2021-04-06 | 北京梧桐车联科技有限责任公司 | 歌曲推荐方法、装置、设备及存储介质 |
CN112618913A (zh) * | 2021-01-06 | 2021-04-09 | 中国科学院心理研究所 | 一种基于多模态的自适应情绪调节系统与方法 |
CN113069115A (zh) * | 2021-03-09 | 2021-07-06 | 清华大学 | 一种情绪识别方法、电子设备及存储介质 |
CN113223718A (zh) * | 2021-06-02 | 2021-08-06 | 重庆医药高等专科学校 | 一站式情绪宣泄系统 |
CN113656635A (zh) * | 2021-09-03 | 2021-11-16 | 咪咕音乐有限公司 | 视频彩铃合成方法、装置、设备及计算机可读存储介质 |
CN114384998A (zh) * | 2021-11-12 | 2022-04-22 | 南京邮电大学 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
WO2023164905A1 (zh) * | 2022-03-03 | 2023-09-07 | 上海禹点电子科技有限公司 | 具有律动调节功能的机动车座椅和模块 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1745711A (zh) * | 2005-07-21 | 2006-03-15 | 高春平 | 多媒体型多功能生物反馈装置 |
CN101337103A (zh) * | 2008-08-28 | 2009-01-07 | 北京阳光易德科技发展有限公司 | 一种压力与情绪调节方法、系统及一种生理信号采集装置 |
WO2009112990A1 (en) * | 2008-03-14 | 2009-09-17 | Koninklijke Philips Electronics N.V. | Modifying a psychophysiological state of a subject |
CN201838333U (zh) * | 2010-11-12 | 2011-05-18 | 北京工业大学 | 基于驾驶员状态的音乐播放器 |
CN102641541A (zh) * | 2012-05-15 | 2012-08-22 | 北京思博纳科技发展有限公司 | 3d体感生物反馈综合放松训练系统 |
CN202619669U (zh) * | 2012-04-27 | 2012-12-26 | 浙江吉利汽车研究院有限公司杭州分公司 | 驾驶员情绪监控装置 |
-
2015
- 2015-01-05 CN CN201510002815.8A patent/CN104548309A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1745711A (zh) * | 2005-07-21 | 2006-03-15 | 高春平 | 多媒体型多功能生物反馈装置 |
WO2009112990A1 (en) * | 2008-03-14 | 2009-09-17 | Koninklijke Philips Electronics N.V. | Modifying a psychophysiological state of a subject |
CN101337103A (zh) * | 2008-08-28 | 2009-01-07 | 北京阳光易德科技发展有限公司 | 一种压力与情绪调节方法、系统及一种生理信号采集装置 |
CN201838333U (zh) * | 2010-11-12 | 2011-05-18 | 北京工业大学 | 基于驾驶员状态的音乐播放器 |
CN202619669U (zh) * | 2012-04-27 | 2012-12-26 | 浙江吉利汽车研究院有限公司杭州分公司 | 驾驶员情绪监控装置 |
CN102641541A (zh) * | 2012-05-15 | 2012-08-22 | 北京思博纳科技发展有限公司 | 3d体感生物反馈综合放松训练系统 |
Non-Patent Citations (1)
Title |
---|
刘月华: "典型生理信号综合测量及情绪识别研究", 《上海交通大学硕士学位论文》 * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106274662A (zh) * | 2015-06-24 | 2017-01-04 | 奥迪股份公司 | 操作机动车辆的输出装置的方法、输出装置和机动车辆 |
CN106562793A (zh) * | 2015-10-08 | 2017-04-19 | 松下电器(美国)知识产权公司 | 信息提示装置的控制方法、以及信息提示装置 |
CN105232064B (zh) * | 2015-10-30 | 2018-06-26 | 科大讯飞股份有限公司 | 一种预测音乐对驾驶员行为影响的系统和方法 |
CN105232064A (zh) * | 2015-10-30 | 2016-01-13 | 科大讯飞股份有限公司 | 一种预测音乐对驾驶员行为影响的系统和方法 |
CN106652378A (zh) * | 2015-11-02 | 2017-05-10 | 比亚迪股份有限公司 | 用于车辆的驾驶提醒方法、系统、服务器和车辆 |
WO2017096979A1 (zh) * | 2015-12-08 | 2017-06-15 | 乐视控股(北京)有限公司 | 基于用户情绪的节目播放方法和系统 |
CN105868382A (zh) * | 2016-04-08 | 2016-08-17 | 惠州Tcl移动通信有限公司 | 一种音乐推荐方法及其系统 |
CN105975536A (zh) * | 2016-04-29 | 2016-09-28 | 合网络技术(北京)有限公司 | 网络资源的推荐方法和装置 |
WO2018023519A1 (zh) * | 2016-08-04 | 2018-02-08 | 易晓阳 | 一种语音控制音乐本地播放方法 |
WO2018023520A1 (zh) * | 2016-08-04 | 2018-02-08 | 易晓阳 | 一种语音控制音乐本地播放装置 |
CN106649843A (zh) * | 2016-12-30 | 2017-05-10 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的媒体文件推荐方法、系统、及车载终端 |
CN108252634A (zh) * | 2018-01-05 | 2018-07-06 | 湖南固尔邦幕墙装饰股份有限公司 | 自动调节情绪的智能门窗系统 |
CN108937966A (zh) * | 2018-05-29 | 2018-12-07 | 四川斐讯信息技术有限公司 | 一种情绪的检测方法及可穿戴设备 |
CN108764169A (zh) * | 2018-05-31 | 2018-11-06 | 厦门大学 | 一种基于机器学习的驾驶员情绪识别与显示装置及方法 |
CN110618804A (zh) * | 2018-06-18 | 2019-12-27 | 国际商业机器公司 | 用于实时通信的自动提示系统 |
CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
CN110908576A (zh) * | 2018-09-18 | 2020-03-24 | 阿里巴巴集团控股有限公司 | 车辆系统/车辆应用显示方法、装置及电子设备 |
CN109491499A (zh) * | 2018-11-05 | 2019-03-19 | 广州创维平面显示科技有限公司 | 一种电器设备控制方法、装置、电器设备和介质 |
CN109491499B (zh) * | 2018-11-05 | 2022-05-24 | 创维集团智能科技有限公司 | 一种电器设备控制方法、装置、电器设备和介质 |
CN109606386A (zh) * | 2018-12-12 | 2019-04-12 | 北京车联天下信息技术有限公司 | 智能车内座舱 |
CN110074780A (zh) * | 2019-04-25 | 2019-08-02 | 内蒙古农业大学 | 一种基于erp技术的音乐模式调节方法 |
CN110134822A (zh) * | 2019-05-10 | 2019-08-16 | 一汽轿车股份有限公司 | 车载音乐推荐方法和推荐系统 |
CN111984855A (zh) * | 2019-05-24 | 2020-11-24 | 北京车和家信息技术有限公司 | 信息推荐的方法及装置 |
CN112472950A (zh) * | 2019-09-11 | 2021-03-12 | 北京小米移动软件有限公司 | 智能切换音乐的系统、可穿戴设备和电子设备 |
CN110947075A (zh) * | 2019-11-27 | 2020-04-03 | 华南理工大学 | 基于脑波音乐的个性化精神状态调节系统及调节方法 |
CN112545516A (zh) * | 2020-12-07 | 2021-03-26 | 中国第一汽车股份有限公司 | 一种情绪调节方法、装置、系统及存储介质 |
CN112612917A (zh) * | 2020-12-30 | 2021-04-06 | 北京梧桐车联科技有限责任公司 | 歌曲推荐方法、装置、设备及存储介质 |
CN112612917B (zh) * | 2020-12-30 | 2024-04-12 | 北京梧桐车联科技有限责任公司 | 歌曲推荐方法、装置、设备及存储介质 |
CN112618913A (zh) * | 2021-01-06 | 2021-04-09 | 中国科学院心理研究所 | 一种基于多模态的自适应情绪调节系统与方法 |
CN113069115A (zh) * | 2021-03-09 | 2021-07-06 | 清华大学 | 一种情绪识别方法、电子设备及存储介质 |
CN113223718A (zh) * | 2021-06-02 | 2021-08-06 | 重庆医药高等专科学校 | 一站式情绪宣泄系统 |
CN113656635A (zh) * | 2021-09-03 | 2021-11-16 | 咪咕音乐有限公司 | 视频彩铃合成方法、装置、设备及计算机可读存储介质 |
CN113656635B (zh) * | 2021-09-03 | 2024-04-09 | 咪咕音乐有限公司 | 视频彩铃合成方法、装置、设备及计算机可读存储介质 |
CN114384998A (zh) * | 2021-11-12 | 2022-04-22 | 南京邮电大学 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
WO2023164905A1 (zh) * | 2022-03-03 | 2023-09-07 | 上海禹点电子科技有限公司 | 具有律动调节功能的机动车座椅和模块 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104548309A (zh) | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 | |
Halim et al. | On identification of driving-induced stress using electroencephalogram signals: A framework based on wearable safety-critical scheme and machine learning | |
CN110422174A (zh) | 生物特征传感器融合以对车辆乘客状态进行分类 | |
US20210221404A1 (en) | Driver predictive mental response profile and application to automated vehicle brain interface control | |
Solovey et al. | Classifying driver workload using physiological and driving performance data: two field studies | |
US10885800B2 (en) | Human performance optimization and training methods and systems | |
CN109820525A (zh) | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 | |
van der Zwaag et al. | Using music to change mood while driving | |
CN106843395A (zh) | 一种可穿戴健康管理设备及其使用方法 | |
CN106691441A (zh) | 基于脑电与运动状态反馈的注意力训练系统及方法 | |
CN105232064B (zh) | 一种预测音乐对驾驶员行为影响的系统和方法 | |
Manawadu et al. | Multiclass classification of driver perceived workload using long short-term memory based recurrent neural network | |
CN108464839A (zh) | 一种基于机器学习的车载疲劳驾驶监测预警系统 | |
Hooda et al. | A comprehensive review of approaches to detect fatigue using machine learning techniques | |
CN113521723B (zh) | 一种基于虚拟现实的认知功能评估系统及方法 | |
CN101528114A (zh) | 用于使全局调整生物网络唤起优化的自组织自发适应能力的方法、系统及装置 | |
CN109255366B (zh) | 一种针对在线学习的情感状态调节系统 | |
KR20180134310A (ko) | 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법 | |
Isaychev et al. | The psychophysiological diagnostics of the functional state of the athlete. Preliminary data | |
KR20170018696A (ko) | 감성 인식 차량 제어 장치, 시스템 및 방법 | |
CN112163518A (zh) | 情绪监测的情绪建模方法及情绪监测调节系统 | |
Wang et al. | Modeling and recognition of driving fatigue state based on RR intervals of ECG data | |
CN110812803B (zh) | 用于认知能力提升的交互式辅助干预系统 | |
Zontone et al. | Stress recognition in a simulated city environment using Skin Potential Response (SPR) signals | |
Li et al. | Identification of stress state for drivers under different gps navigation modes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150429 |