CN107464572A - 多模式交互音乐感知系统及其控制方法 - Google Patents
多模式交互音乐感知系统及其控制方法 Download PDFInfo
- Publication number
- CN107464572A CN107464572A CN201710703520.2A CN201710703520A CN107464572A CN 107464572 A CN107464572 A CN 107464572A CN 201710703520 A CN201710703520 A CN 201710703520A CN 107464572 A CN107464572 A CN 107464572A
- Authority
- CN
- China
- Prior art keywords
- music
- emotion
- temperature
- music file
- heat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008447 perception Effects 0.000 title claims abstract description 27
- 230000003993 interaction Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000008451 emotion Effects 0.000 claims abstract description 127
- 238000012800 visualization Methods 0.000 claims abstract description 35
- 230000003139 buffering effect Effects 0.000 claims abstract description 18
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 239000004065 semiconductor Substances 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 13
- 238000001816 cooling Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000008909 emotion recognition Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000003491 array Methods 0.000 claims description 8
- 238000010422 painting Methods 0.000 claims description 8
- 238000009790 rate-determining step (RDS) Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 239000004020 conductor Substances 0.000 claims description 7
- 230000036760 body temperature Effects 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 230000001934 delay Effects 0.000 claims description 2
- 238000010438 heat treatment Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 239000000523 sample Substances 0.000 description 10
- 230000033764 rhythmic process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000035922 thirst Effects 0.000 description 2
- 208000035239 Synesthesia Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000012497 inhomogeneous sample Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000036413 temperature sense Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/18—Details of the transformation process
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Otolaryngology (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种多模式交互音乐感知系统及其控制方法，包括音乐文件库内依次连接的音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件缓冲区与主控制器连接，该主控制器获取音乐文件缓冲区任一音乐文件，主控制器还连接有音乐情感识别器、音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统；音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统对任一音乐文件同步进行的声音播放、视频播放、热触觉感知控制。有益效果：实现听觉、视觉和热触觉同步交互感知音乐的旋律及音乐的情感，加深人们对音乐情感的感知度。让人们身临其境，感知音乐。
Description
技术领域
本发明涉及音乐感知技术领域，具体的说是一种多模式交互音乐感知系统及其控制方法。
背景技术
音乐是以乐音为表现媒介和载体。在时间中展现用来表达人们的思想情感、反映现实生活的艺术体验与娱乐方式。迄今为止，人们感知音乐的主要方式仍然是凭借听觉来实现，但是音乐的表现形式和情感信息的传达并不仅仅局限在声学情景中。
古人弹曲，舞剑助兴，手、眼、步和身法做到高度协调，节奏分明，劲力充足，以求达到十分精妙的听觉和视觉上的音乐体验。现代社会，人们借助声、光、电等高科技载歌载舞、体验音乐，达到美妙的视、听效果和情感交互，如音乐晚会、音乐喷泉等。由此可见，从古至今，这些行为都反映了人们渴望通过听觉、视觉和触觉等多感知模式同步交互，感知乐音的音高、响度、时长和音色，体验音乐的节奏、旋律、和声、调式和调性等特征，最终实现人与音乐的情感同步交互，达到一种美妙的效果与功能。
当前，随着人们的物质生活水平的逐年增高，人们对精神生活的需求提出了更高的要求。追求物质文明和精神文明是社会进步的内在驱动力，信息传播的方式正在从“多媒休”时代走向“全媒体”时代，人们不再只满足于基于“听-视觉”交互感知音乐。
再者，对于听觉残障人群，不能够“听”到音乐，但是他们也渴望能够体验音乐的情感、接受音乐教育和从事音乐表演。近代心理学研究成果表明,音乐感知是多感知系统协同的认知活动,并不仅仅局限于听觉，在适当的刺激方式下，视觉和触觉也能够能通过联觉感知音乐。2007年，Edward等人的研究成果表明，听觉残障人士用来处理触觉信息的大脑部位与正常人处理听觉信息的部位相同，这就意味着听觉残障人士能够利用身体皮肤的触觉感知音乐，能够像正常人一样体验音乐。这些研究成果为开展“触觉辅助或替代听觉感知音乐”的相关研究奠定了生理和心理基础。
根据上述陈述，有必要提出一种将“听-视-触觉”相结合的音乐感知技术，来满足人们对音乐感知的需求。
发明内容
针对上述问题，本发明提供了一种多模式交互音乐感知系统及其控制方法，实现听觉、视觉与热触觉多感知交互模式对音乐旋律及音乐情感进行感知，加深人们对音乐情感的感知。
为达到上述目的，本发明采用的具体技术方案如下：
一种多模式交互音乐感知系统，包括音乐文件库，所述音乐文件库内设置有音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件数据库中的音乐文件经所述音乐文件解码器解码后保存在所述音乐文件缓冲区中，所述音乐文件缓冲区的缓冲数据输出端与主控制器连接，所述主控制器的播放控制输出端连接有音乐播放控制系统，该音乐播放控制系统对任一音乐文件A进行音频声音播放控制，其关键在于：所述音乐文件缓冲区的缓冲数据输出端与主控制器连接；所述主控制器的情感识别端上连接有音乐情感识别器，该音乐情感识别器对音乐文件数据库中任一音乐文件A进行情感类型识别，并将识别的情感类型反馈给主控制器；所述主控制器的可视化控制输出端上连接有音乐可视化控制系统，该音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制；所述主控制器的热触控制输出端连接有音乐情感热触控制系统；该音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制；所述音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统对任一音乐文件A进行的声音播放控制、视频播放控制、热触觉感知控制均同步。
通过上述设计，音乐情感识别器对任一音乐文件A进行情感识别，结合音乐播放控制系统、音乐可视化控制系统和音乐情感热触控制系统对任一音乐文件进行同步控制。当任一音乐文件进行播放的同时，音乐可视化控制系统同步进行视频播放，音乐情感热触控制系统同步获取该音乐文件的情感类型，调节感知温度，进行热触觉感知。实现听觉、视觉与触觉多感知模式交互体验音乐。提高人们对音乐情感的感知度，让人们身临其境，感知音乐。
进一步的，所述音乐可视化控制系统包括分析仪，所述分析仪与所述主控制器连接，所述分析仪用于获取所述音乐文件缓冲区中的缓冲数据并对该缓冲数据进行分段处理，利用电子画布，将分段处理后的缓冲数据抽象成对应的图像，每个图像对应一种形状、颜色、清晰度、尺寸大小和运动速度，所述图像经视频播放器与音频声音进行同步连续播放。
所述电子画布与图像数据库连接，在该数据库中保存有多种的形状、颜色、清晰度、尺寸大小的图像。
采用上述方案，主控制器将音乐文件缓冲区中的缓冲数据传送至分析仪，分析仪对缓冲数据进行情感分析、数据分段处理，结合电子画布，将多种的情感类型以对应一种形状、颜色、清晰度、尺寸大小、运动速度的方式，进行呈现和显示。人们在听音乐的同时，通过眼睛观看与音乐相呼应的视频，对音乐进行更深刻的理解。
再进一步描述，所述音乐情感热触控制系统包括热触控制器，该热触控制器与主控制器连接，所述热触控制器的第一温度输入端上连接有第一温度传感器，所述热触控制器的第二温度输入端上连接有第二温度传感器，所述热触控制器温度控制输出端连接有半导体温度调节器。所述第一温度传感器用于检测所述半导体温度调节器的温度，所述第二温度传感器用于检测人体的体表温度，所述半导体温度调节器贴附在人体皮肤表面，如手指、手臂、肚皮等皮肤。
采用上述方案，采用第二温度传感器用于检测人体的体表温度，将半导体温度调节器的温度检测端贴附在人体体表，第一温度传感器用于检测所述半导体温度调节器的温度，当音乐播放时，随着音乐情感的变化，半导体温度调节器同时对贴附在人体体表的触感温度进行调节，同时采用第二温度传感器检测人体体表的温度，来获得人体体表最佳温度，使温度触感与音乐情感紧密结合，实现音乐热触感知。
再进一步描述，所述半导体温度调节器为贴片式半导体温度调节器，包括升温、降温和关停三种工作模式。所述热触控制器水冷控制输出端连接有水冷系统，所述水冷系统贴附设置在所述半导体温度调节器表面，用于对所述半导体温度调节器进行快速降温。所述第一温度传感器、第二温度传感器均为数字式红外温度传感器。所述热触控制器的显示输出端上连接有温度显示器。所述热触控制器的报警输出端上连接有温度阈值报警设备。
通过上述技术方案，提高了半导体温度调节器与音乐情感的联系紧密度，使温度调节范围更大，增强人们对音乐的感知度。同时采用水冷系统，加快了温度调节速度，使音乐情感快速转变使，温度感知也能快速调节。温度实时显示，使人们对音乐情感了解更加清晰。
一种多模式交互音乐感知系统的控制方法，包括音乐情感识别器对任一音乐文件A进行情感识别的步骤；包括音乐播放控制系统对任一音乐文件A进行音频声音播放控制的步骤；包括音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制的步骤；包括音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制的步骤。
再进一步描述，所述音频声音播放控制步骤、音频可视化视频播放控制步骤和音频热触觉感知控制步骤中对任一音乐文件A进行控制的步调一致。
再进一步描述，所述音乐情感识别器对任一音乐文件A进行情感识别的步骤具体包括：
S11：主控制器从音乐文件缓冲区获取缓冲数据；
S12：主控制器将缓冲数据进行分段处理；
S13：主控制器将分段的缓冲数据录入音乐情感混合分类模型，得到对应数据段的音乐情感类型。
其中，建立所述音乐情感混合分类模型的步骤为：
S141：从数据库中调取音乐文件训练库，获取该音乐文件训练库中的音乐文件的情感标签，并对所有音乐文件进行编号、预处理、提取特征值，得到音乐训练特征数据集合；
该音乐文件为一段时长为Z秒的连续时序非平稳音乐信号。
音乐文件的情感标签是基于效价-激励情感模型获取音乐文件的情感分类的真实效价值和真实激励值。
其中，效价-激励情感模型(Valence-Arousal,V-A)可以用直角坐标系中效价-激励情感平面来描述，将人们的情感量化到效价为横坐标和激励为纵坐标的二维直角坐标系中，把情感映射为效价-激励坐标系中的一个点，坐标为：(V，A)。其中，V代表效价值，A代表激励值，V和A均分布在[-1,1]区间。激励值A表示的是兴奋或沉静程度的指标，A值越接近1表示对情感强烈程度越高，反之越低；效价值V表示的是正面或负面情绪的指标，V值越接近1表示具有越正面的情感，反之表示具有越多负面的情感。
对音乐文件进行预处理包括分帧和加窗处理，其中，对每一个音乐文件进行分帧操作的具体内容为：
选取分帧起始点，从起始点开始每隔z1秒进行一次注释，每帧滑动长度为z2秒，x％窗长度重叠的矩形窗对数据库中的每个音乐文件进行分帧；
分别对每帧内的音乐信号进行感情识别特征值提取和统计，得到对应于音乐文件的动态激励、效价注释的局部特征数据集合；
对该音乐信号中所有帧的感情识别特征值进行提取和统计，得到与整个音乐文件静态激励、效价注释相对应的全局特征数据集合；
对每一个音乐文件进行加窗操作的具体内容为：
在音乐信号的时间序列上直接与窗函数W作点乘运算：
其中，w(n)＝0.5[1-cos(2πn/(M+1))]。
感情识别特征值提取的具体内容为：
基于效价-激励情感模型，确定音乐训练处理文件库中所有音乐文件的音乐情感特性以及每个音乐情感特性对应的所有取值，得到训练集D；
从训练集D中随机选择一个样本R，然后遵循距离度量规则：从和R同类的样本中寻找最近邻样本H，从和R不同类的样本中寻找最近邻样本M；
根据更新权重规则更新每个特征的权重；其中，A为特征的维度标量，其中函数diff(A,I1,I2)被定义为
描述音乐情感特性的特征主要包括能量、节奏、时域、频谱以及和声等五大类特征。抽取的特征可以为：均值(Mean)、标准差(Std)、协方差(Cov)、一阶差分均值(Diff ord)、二阶差分(dd)、斜率(Slope)、周期熵(PeriodEntropy)、峰位置(peak_PeakPos)、幅度(PeakMagMean)、周期频率(PeriodFreq)、幅度(PeriodAmp)。
本发明的特征提取器(features extractor)包括：
(1)Matlab：Daubechies小波分解；
(2)声音描述工具箱(Sound Description toolbox,SDT)；
(3)音乐信息检索工具箱(Music Information Retrieval toolbox,MIRtoolbox)。
S142：将音乐训练特征数据集合中的每个音乐文件分别输入到六个子分类器中，每个子分类器对应输出预测分类音乐情感标签和分类准确度；
其中子分类器包括支持向量机分类器(SVM)、模糊神经网络分类器(NFNC)、K邻域分类器(KNN)、模糊K邻域分类器(FKNN)、贝叶斯分类器(Bayes)和线性判别式分类器(LDA)；
其中，支持向量机分类器的具体内容为：
建立一个分类超平面作为决策曲面，使最优超分类平面能够实现与最近训练数据点具有最大距离。其理论基础是结构风险最小化近似。支持向量x(i)和输入空间抽取向量x之间的内积核是构造算法的关键。
设有线性可分的两类样本(x1,y1)，(x2,y2)，…，(xn,yn)，xn∈Rn，yn＝{0,1}，yn＝0表示xn属于C1类，yn＝1表示xn属于C2类，可采用超平面进行分离。
其中，超平面公式为w·x+b＝0；
支持向量机分类算法将寻找超平面解的问题可以转化为求解式
对应的预测函数为：
如果问题属于线性不可分，则公式中引入松驰因子ξi≥0，则约束条件可变为：
yi|w·x+b|+ξi≥1
目标函数则改为求Φ(w,ξ)最小值，其中
其中C为惩罚参数；判别函数也相应的变为：
K(x,xi)表示对偶形式的内积运算，可以采用满足Mercer条件的核函数K(x,xi)来实现空间映射。本申请采用核函数是径向基核函数，常用的支持向量机核函数有，相关参数通过寻优确定。
径向基核函数：K(x,xi)＝exp(-γ||x-xi||2),γ＞0。
K邻域分类器的具体内容为：
如果一个样本在特征空间中的K个最相似(特征空间中距离最近)样本中大多数属于某一个类，则该样本也属于该类。设已知的训练样本为(x1,y1)，(x2,y2)，…，(xn,yn)，xi为特征向量集，yi为类别标签集。给定距离测度，如欧式距离，算法参数K。则可以在训练样本中找出与输入x距离最近的K个点，并将该K个点的集合记录为NK(x)，针对NK(x)集合利用分类决策方法判定输入x属于那个类别
其中I∈{1,0}为指示函数，当yi＝cj时I＝1；否则I＝0。上述公式阐述了简单但是具有较好鲁棒效果的分类思想，其含义是在NK(x)集合中哪类占多数则输入属于该类别。设覆盖NK(x)区域的类别是cj，那么计算错误分类率有，
如果要使得错误分类率最小，那么等效于最大，因此KNN算法在NK(x)集合中采用多数表决方法等价于错误分类率最小，即经验风险最小化。此外，值得注意的是在KNN算法中生成NK(x)集合时使用了距离度量的定义。在算法中距离除了常用的能够表示两个样本相近似程度的欧式距离外，也可以使用更一般的距离度量，如Lp距离：
模糊神经网络分类器的具体内容为：模糊神经网络分类(Neuro Fuzzy networksclassification,NFNC)是将模糊分类和神经网络相结合的分类算法。其在神经网络结构的分类器中引入模糊隶属函数及模糊规则，并采用反向误差传递方法通过对已知数据的学习得到模糊隶属函数的参数和模糊规则。模糊神经网络一般包含输入层，模糊隶属函数层，模糊规则层，归一化层和输出层。
设输入层的输入为[x1,x2,...,xn]，输入层输出经过第二层的模糊函数映射为模糊集合的隶属度
其中，i为输出特征维度，m为定义的模糊隶属度分割个数。在音乐情感分类中我们将模糊隶属度分割个数m定义为4，即第二层中对应有4个节点与输入层中输入xi连接。
模糊函数选用了高斯函数：其中，cij和σij分别表示模糊隶属函数的中心和宽度，该参数需要通过对样本的学习获得。
经过模糊函数处理后可以生成相应的模糊规则，模糊隶属函数度层和模糊规则层间采用全连接结构，可通过计算出每条规则的权重
并在归一化层中，采用公式对模糊规则的适用度进行归一化。
最后为输出层，给出的分类预测
模糊神经网络分类器参数以为代价函数，通过误差反向传播和最快梯度下降学习算法求得，其中yo为实际输出，yi为期望输出。
模糊K邻域分类器、贝叶斯分类器和线性判别式分类器均为现有技术，在此不作赘述。
S143：将该输出预测分类音乐情感标签和分类准确度带入中值投票决策算法生成音乐情感混合分类器。
为了更好的实现音乐情感分类，受采用弱分类器组合可以得到强分类器的启发，采用中值投票将支持向量机、模糊神经网络、K邻域、模糊K邻域、贝叶斯分类器和线性判别式分析等六个分类器组成一个新混合分类器。
针对音乐情感分类设计的混合分类器。在混合分类器中包含了六个独立的子分类器和中值投票决策算法。首先，特征空间的数据分别输入到独立的分类器，并输出预测类音乐情感标签和分类准确度；然后，每个独立分类器的输出结果用中值投票决策算法来生成混合分类器，提高分类准确度。
假设在混合分类器中每个子分类器对第t个测试样本预测的结果为p(i,t)，i∈{1,2,...,6}，六个子分类器的输出构成的投票向量为H(t)，
H(t)＝{p(i,t)}
设计的中值投票决策算法实现六个子分类器融合的过程如下：
(1)当投票向量H(t)的中值不等于均值时，整个混合分类器的预测输出为H(t)中重复频次最高的类标记输出；
(2)如果投票向量H(t)的中值等于均值时，那么将采用六个分类器对训练集合预测精度最高的分类器输出作为混合分类器的输出。
再进一步描述，所述音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制的步骤具体为：
S21：获取分析仪节点的频率长度，根据长度实例化一个8位整型数组；
S22：通过分析仪获取字节频率数据，分别将分析仪节点中的频率数据依次拷贝进8位数组；
S23：根据8位数组的值，将各个频域分量的频率与幅度值，利用电子画布绘制一种形状、颜色、清晰度、尺寸大小和运动速度的图像；
S24：采用视频播放器对图像进行连续同步播放。
再进一步描述，所述音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制的具体内容为：
S31：设置每一种情感类型对应的热触温度值，并设定每一种情感类型的热触阈值；
S32：将半导体温度调节器贴附在人体表面，将第一温度传感器贴附在半导体温度调节器上，将第二温度传感器贴附在人体表面；
S33：所述热触控制器从所述主控制器处获取所述音乐情感识别器识别的情感类型，同时所述热触控制器获取第二温度传感器检测人体温度；
S34：所述热触控制器根据获取到的情感类型和人体温度，向所述半导体温度调节器发出温度调节信号；
S35：所述热触控制器实时获取所述第一温度传感检测到的半导体温度调节器的温度，并通过温度显示器实时显示；当超出情感阈值后，温度阈值报警设备进行报警并应急处理。
本发明的有益效果：听音乐时，结合音乐情感识别器、音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统实现听觉、视觉、热触觉多感知模式对音乐旋律及音乐情感进行感知，加深人们对音乐情感的感知度。让人们身临其境，感知音乐。
附图说明
图1是本发明的系统结构框图；
图2是可视音乐感知界面示意图；
图3是平静情感类的可视音乐感知画面；
图4是欢乐情感类的可视音乐感知画面；
图5是愤怒情感类的可视音乐感知画面；
图6是悲伤情感类的可视音乐感知画面；
图7是本发明的温度调节响应示意图；
图8是本发明的音乐情感识别控制流程图；
图9是本发明的建立音乐情感混合分类流程图；
图10是本发明的音乐情感混合分类器结构图；
图11是本发明的对任一音乐文件A进行音频可视化视频播放控制流程图；
图12是本发明的对任一音乐文件A进行音频热触觉感知控制流程图。
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
从图1可以看出，一种多模式交互音乐感知系统，包括音乐文件库，所述音乐文件库内设置有音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件数据库中的音乐文件经所述音乐文件解码器解码后保存在所述音乐文件缓冲区中，所述音乐文件缓冲区的缓冲数据输出端与主控制器连接，所述主控制器的播放控制输出端连接有音乐播放控制系统，该音乐播放控制系统对任一音乐文件A进行音频声音播放控制，所述主控制器的情感识别端上连接有音乐情感识别器，该音乐情感识别器对音乐文件数据库中任一音乐文件A进行情感类型识别，并将识别的情感类型反馈给主控制器；所述主控制器的可视化控制输出端上连接有音乐可视化控制系统，该音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制；所述主控制器的热触控制输出端连接有音乐情感热触控制系统；该音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制；所述音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统对任一音乐文件A进行的声音播放控制、视频播放控制、热触觉感知控制均同步。
结合图1和图2可以看出，在本实施例中，所述音乐可视化控制系统包括分析仪，所述分析仪与所述主控制器连接，所述分析仪用于获取所述音乐文件缓冲区中的缓冲数据，并对该缓冲数据进行分段处理，利用电子画布，将分段处理后的缓冲数据抽象成对应的图像，每个图像对应一种形状、颜色、清晰度、尺寸大小和运动速度，并通过调节视频画面一种图案的密度来进行显示，所述图像经视频播放器进行同步连续播放。
从图3、4、5、6可以看出，在本实施例中，选择四种情感进行分析，分别为平静、欢快、愤怒、悲伤。其中，平静类说明形状设置为方形，形状颜色为蓝绿色。欢快说明形状设置为圆点形，形状颜色为红色。愤怒说明形状设置为三角形，形状颜色为紫色。悲伤说明形状设置为方形，形状颜色为黑灰。
每一种情感的情感等级通过情感评估值(0～100)进行评定，情感等级最低级评估值为0，最高级评估值为100，通过该情感评估值，设定与音乐情感相对应的可视化图形的形状清晰度、尺寸大小、运动速度以及整个画面的密度。具体如下：
情感为平静类的可视音乐画面：画面清晰，画面中的图形整体水平向右运动、速度缓慢，图形的形状为方形、颜色为蓝绿色，画面中的图形布置密度适中，并且各个图形的尺寸整体动态缩放与振动的幅度较大，可视画面整体呈现一种平静、舒适的情感。
情感为欢快类的可视音乐画面：画面清晰，画面中的图形整体水平向右运动、速度较大，图形形状为圆点形、颜色为红色，画面中的图形布置密度偏大，并且各个图形的尺寸整体动态缩放与振动的幅度大，可视画面整体呈现一种欢快、愉悦的情感。
情感为愤怒类的可视音乐画面：可视音乐的画面清晰，画面中的图形整体水平向右运动、速度较大，图形形状为三角形、颜色为偏紫色，画面中的图形布置密度大，并且各个图形的尺寸整体动态缩放与振动的幅度大，可视画面整体呈现一种愤怒、厌恶的情感。
情感为悲伤类的可视音乐画面：可视音乐的画面模糊，画面中的图形整体水平向右运动、速度小，图形形状为方形、颜色为黑灰，画面中的图形布置密度适中，并且各个图形的尺寸整体动态缩放与振动的幅度适中，可视画面整体呈现一种悲伤、恐惧的情感。
从图1还可以看出，所述音乐情感热触控制系统包括热触控制器，该热触控制器与主控制器连接，所述热触控制器的第一温度输入端上连接有第一温度传感器，所述热触控制器的第二温度输入端上连接有第二温度传感器，所述热触控制器温度控制输出端连接有半导体温度调节器；所述第一温度传感器用于检测所述半导体温度调节器的温度，所述第二温度传感器用于检测人体的体表温度，所述半导体温度调节器贴附在人体表面。
其中平静类情感的音乐，温度设置范围为25-35℃；欢快类情感的音乐，温度设置范围为35-45℃；悲伤类情感的音乐，温度设置范围为10-20℃；愤怒类情感的音乐，温度设置范围为45-60℃。
在本实施例中，平静类情感的音乐，温度设置为30℃；欢快类情感的音乐，温度设置为40℃；悲伤类情感的音乐，温度设置为14℃；愤怒类情感的音乐，温度设置为49℃。
在本实施例中，所述半导体温度调节器为贴片式半导体温度调节器，包括升温、降温和关停三种工作模式。
本实施例中，选用C1206型帕尔贴元件作为温度发生器件，C1206型与普通型相比寿命更长，可达3年以上；制冷(热)效能为70％，比普通型提高25％，制冷(热)速度更快；多块使用时分压稳定，不会因为分压不均造成器件损坏。
所述热触控制器水冷控制输出端连接有水冷系统，所述水冷系统贴附设置在所述半导体温度调节器表面，用于对所述半导体温度调节器进行快速降温。
从图7可以看出，水冷系统结合半导体温度调节器，能实现升温或降温速率大于10℃/s。
所述第一温度传感器、第二温度传感器均为数字式红外温度传感器；所述热触控制器的显示输出端上连接有温度显示器；所述热触控制器的报警输出端上连接有温度阈值报警设备。
一种多模式交互音乐感知系统的控制方法，包括音乐情感识别器对任一音乐文件A进行情感识别的步骤；包括音乐播放控制系统对任一音乐文件A进行音频声音播放控制的步骤；包括音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制的步骤；包括音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制的步骤。
所述音频声音播放控制步骤、音频可视化视频播放控制步骤和音频热触觉感知控制步骤中对任一音乐文件A进行控制的步调一致。
从图8可以看出，所述音乐情感识别器对任一音乐文件A进行情感识别的步骤具体包括：
S11：主控制器从音乐文件缓冲区获取缓冲数据；
S12：主控制器将缓冲数据进行分段处理；
S13：主控制器将分段的缓冲数据录入音乐情感混合分类模型，得到对应数据段的音乐情感类型。
其中，建立所述音乐情感混合分类模型的步骤为：
S141：从数据库中调取音乐文件训练库，获取该音乐文件训练库中的音乐文件的情感标签，并对所有音乐文件进行编号、预处理、提取特征值，得到音乐训练特征数据集合；
S142：将音乐训练特征数据集合中的每个音乐文件分别输入到六个子分类器中，每个子分类器对应输出预测分类音乐情感标签和分类准确度；
其中子分类器包括支持向量机分类器、模糊神经网络分类器、K邻域分类器、模糊K邻域分类器、贝叶斯分类器和线性判别式分类器；
S143：将该输出预测分类音乐情感标签和分类准确度带入中值投票决策算法生成音乐情感混合分类器。
为了更好的实现音乐情感分类，采用中值投票将支持向量机、模糊神经网络、K邻域、模糊K邻域、贝叶斯分类器和线性判别式分析等六个分类器组成一个新混合分类器，具体见图9。
从图10可以看出，在混合分类器中包含了六个独立的子分类器和中值投票决策算法。首先，特征空间的数据分别输入到独立的分类器，并输出预测类标签和分类准确度。接着，每个独立分类器的输出结果用中值投票决策算法来生成混合分类器。
设在混合分类器中每个子分类器对第t个测试样本预测结果为p(i,t)，i∈{1,2,...,6}，六个子分类器的输出构成的投票向量为H(t)，
H(t)＝{p(i,t)}
设计的中值投票决策算法实现六个子分类器融合过程如下：
(1)当投票向量H(t)的中值不等于均值时，整个混合分类器的预测输出为H(t)中重复频次最高的类标记输出；
(2)如果投票向量H(t)的中值等于均值时，那么将采用六个分类器对训练集合预测精度最高的分类器输出作为混合分类器的输出。
在图10中，SVM为支持向量机分类器、NFNC为模糊神经网络分类器、KNN为K邻域分类器、FKNN为模糊K邻域分类器、Bayes为贝叶斯分类器和LDA为线性判别式分类器。
进一步的，从图11可以看出，所述音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制的步骤具体为：
S21：获取分析仪节点的频率长度，根据长度实例化一个8位整型数组；
S22：通过分析仪获取字节频率数据，分别将分析仪节点中的频率数据依次拷贝进8位数组；
S23：根据8位数组的值，将各个频域分量的频率与幅度值，利用电子画布绘制对应的形状、颜色、清晰度、尺寸大小和运动速度的图像；
S24：采用视频播放器对图像进行连续同步播放。
优选地，如图12，所述音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制的具体内容为：
S31：设置每一种情感类型对应的热触温度值，并设定每一种情感类型的热触阈值；
S32：将半导体温度调节器贴附在人体表面，将第一温度传感器贴附在半导体温度调节器上，将第二温度传感器贴附在人体表面；
S33：所述热触控制器从所述主控制器处获取所述音乐情感识别器识别的情感类型，同时所述热触控制器获取第二温度传感器检测人体温度；
S34：所述热触控制器根据获取到的情感类型和人体温度，向所述半导体温度调节器发出温度调节信号；
S35：所述热触控制器实时获取所述第一温度传感检测到的半导体温度调节器的温度，并通过温度显示器实时显示；当超出情感阈值后，温度阈值报警设备进行报警并应急处理。
应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。
Claims (10)
1.一种多模式交互音乐感知系统，包括音乐文件库，所述音乐文件库内设置有音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件数据库中的音乐文件经所述音乐文件解码器解码后保存在所述音乐文件缓冲区中，所述音乐文件缓冲区的缓冲数据输出端与主控制器连接，所述主控制器的播放控制输出端连接有音乐播放控制系统，该音乐播放控制系统对任一音乐文件A进行音频声音播放控制，其特征在于：
所述主控制器的情感识别端上连接有音乐情感识别器，该音乐情感识别器对音乐文件数据库中任一音乐文件A进行情感类型识别，并将识别的情感类型反馈给主控制器；
所述主控制器的可视化控制输出端上连接有音乐可视化控制系统，该音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制；
所述主控制器的热触控制输出端连接有音乐情感热触控制系统；该音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制；
所述音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统对任一音乐文件A进行的声音播放控制、视频播放控制、热触觉感知控制均同步。
2.根据权利要求1所述的多模式交互音乐感知系统，其特征在于：所述音乐可视化控制系统包括分析仪，所述分析仪与所述主控制器连接，所述分析仪用于获取所述音乐文件缓冲区中的缓冲数据，并对该缓冲数据进行分段处理，利用电子画布，将分段处理后的缓冲数据抽象成对应的图像，每个图像对应一种形状、颜色、清晰度、尺寸大小和运动速度，所述图像经视频播放器与音频声音进行同步连续播放。
3.根据权利要求1所述的多模式交互音乐感知系统，其特征在于：所述音乐情感热触控制系统包括热触控制器，该热触控制器与主控制器连接，所述热触控制器的第一温度输入端上连接有第一温度传感器，所述热触控制器的第二温度输入端上连接有第二温度传感器，所述热触控制器温度控制输出端连接有半导体温度调节器；
所述第一温度传感器用于检测所述半导体温度调节器的温度，所述第二温度传感器用于检测人体的体表温度，所述半导体温度调节器贴附在人体皮肤表面。
4.根据权利要求3所述的多模式交互音乐感知系统，其特征在于：
所述半导体温度调节器为贴片式半导体温度调节器，包括升温、降温和关停三种工作模式；
所述热触控制器水冷控制输出端连接有水冷系统，所述水冷系统贴附设置在所述半导体温度调节器表面，用于对所述半导体温度调节器进行快速降温；
所述第一温度传感器、第二温度传感器均为数字式红外温度传感器；
所述热触控制器的显示输出端上连接有温度显示器；
所述热触控制器的报警输出端上连接有温度阈值报警设备。
5.一种如权利要求1-4任意一项所述的多模式交互音乐感知系统的控制方法，其特征在于：
包括音乐情感识别器对任一音乐文件A进行情感识别的步骤；
包括音乐播放控制系统对任一音乐文件A进行音频声音播放控制的步骤；
包括音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制的步骤；
包括音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制的步骤。
6.根据权利要求5任意一项所述的多模式交互音乐感知系统的控制方法，其特征在于所述音频声音播放控制步骤、音频可视化视频播放控制步骤和音频热触觉感知控制步骤中对任一音乐文件A进行控制的步调一致。
7.根据权利要求5任意一项所述的多模式交互音乐感知系统的控制方法，其特征在于所述音乐情感识别器对任一音乐文件A进行情感识别的步骤具体包括：
S11：主控制器从音乐文件缓冲区获取缓冲数据；
S12：主控制器将缓冲数据进行分段处理；
S13：主控制器将分段的缓冲数据录入音乐情感混合分类模型，得到对应数据段的音乐情感类型。
8.根据权利要求7任意一项所述的多模式交互音乐感知系统的控制方法，其特征在于建立所述音乐情感混合分类模型的步骤为：
S141：从数据库中调取音乐文件训练库，获取该音乐文件训练库中的音乐文件的情感标签，并对所有音乐文件进行编号、预处理、提取特征值，得到音乐训练特征数据集合；
S142：将音乐训练特征数据集合中的每个音乐文件分别输入到六个子分类器中，每个子分类器对应输出预测分类音乐情感标签和分类准确度；
其中子分类器包括支持向量机分类器、模糊神经网络分类器、K邻域分类器、模糊K邻域分类器、贝叶斯分类器和线性判别式分类器；
S143：将该输出预测分类音乐情感标签和分类准确度带入中值投票决策算法生成音乐情感混合分类器。
9.根据权利要求5所述的多模式交互音乐感知系统的控制方法，其特征在于：所述音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制的步骤具体为：
S21：获取分析仪节点的频率长度，根据长度实例化一个8位整型数组；
S22：通过分析仪获取字节频率数据，分别将分析仪节点中的频率数据依次拷贝进8位数组；
S23：根据8位数组的值，将各个频域分量的频率与幅度值，利用电子画布绘制对应形状、颜色、清晰度、尺寸大小和运动速度的图像；
S24：采用视频播放器对图像进行连续同步播放。
10.根据权利要求5所述的多模式交互音乐感知系统的控制方法，其特征在于所述音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制的具体内容为：
S31：设置每一种情感类型对应的热触温度值，并设定每一种情感类型的热触阈值；
S32：将半导体温度调节器贴附在人体表面，将第一温度传感器贴附在半导体温度调节器上，将第二温度传感器贴附在人体表面；
S33：所述热触控制器从所述主控制器处获取所述音乐情感识别器识别的情感类型，同时所述热触控制器获取第二温度传感器检测人体温度；
S34：所述热触控制器根据获取到的情感类型和人体温度，向所述半导体温度调节器发出温度调节信号；
S35：所述热触控制器实时获取所述第一温度传感检测到的半导体温度调节器的温度，并通过温度显示器实时显示；当超出情感阈值后，温度阈值报警设备进行报警并应急处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703520.2A CN107464572B (zh) | 2017-08-16 | 2017-08-16 | 多模式交互音乐感知系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703520.2A CN107464572B (zh) | 2017-08-16 | 2017-08-16 | 多模式交互音乐感知系统及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107464572A true CN107464572A (zh) | 2017-12-12 |
| CN107464572B CN107464572B (zh) | 2020-10-16 |
Family
ID=60549827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710703520.2A Active CN107464572B (zh) | 2017-08-16 | 2017-08-16 | 多模式交互音乐感知系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107464572B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510998A (zh) * | 2018-04-09 | 2018-09-07 | 宗莉加 | 一种聋哑人音乐感知器 |
| CN108986843A (zh) * | 2018-08-10 | 2018-12-11 | 杭州网易云音乐科技有限公司 | 音频数据处理方法及装置、介质和计算设备 |
| CN109524022A (zh) * | 2018-11-16 | 2019-03-26 | 方雯晖 | 视觉、听觉、嗅觉的相互转化系统与音乐可视化应用 |
| CN110085263A (zh) * | 2019-04-28 | 2019-08-02 | 东华大学 | 一种音乐情感分类和机器作曲方法 |
| CN111601433A (zh) * | 2020-05-08 | 2020-08-28 | 中国传媒大学 | 舞台灯光效果控制策略的预测方法及装置 |
| CN111627412A (zh) * | 2020-05-06 | 2020-09-04 | Oppo（重庆）智能科技有限公司 | 音频变速方法、装置、电子设备和计算机可读存储介质 |
| CN111651243A (zh) * | 2020-05-29 | 2020-09-11 | 北京东方通科技股份有限公司 | 一种面向内存数据网格的分布式事务保障方法 |
| CN113272890A (zh) * | 2019-01-07 | 2021-08-17 | 雅马哈株式会社 | 影像控制系统及影像控制方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1599925A (zh) * | 2001-10-09 | 2005-03-23 | 伊默逊股份有限公司 | 基于计算机设备的音频输出的触觉反馈感觉 |
| WO2006014068A1 (en) * | 2004-08-05 | 2006-02-09 | Republic Of Korea (Management: Rural Development Administration) | Voice output device for use with flowerpot |
| WO2007093057A1 (en) * | 2006-02-16 | 2007-08-23 | Philippe Stanislas Zaborowski | Touch -sensitive motion device |
| WO2008085759A2 (en) * | 2007-01-07 | 2008-07-17 | Apple Inc. | Multitouch data fusion |
| JP2010094799A (ja) * | 2008-10-17 | 2010-04-30 | Littleisland Inc | 人型ロボット |
| CN201652977U (zh) * | 2010-02-11 | 2010-11-24 | 上海联孚新能源科技有限公司 | 半导体温度调节器 |
| EP2634552A1 (en) * | 2012-02-28 | 2013-09-04 | Sony Mobile Communications AB | Electronic device and method for determining a temperature of an electronic device |
| CN203415221U (zh) * | 2013-09-06 | 2014-01-29 | 王浩臣 | 交互式音乐可视化装置 |
| CN104012098A (zh) * | 2011-12-21 | 2014-08-27 | 高通股份有限公司 | 使用触觉技术提供增强的媒体体验 |
| CN104732983A (zh) * | 2015-03-11 | 2015-06-24 | 浙江大学 | 一种交互式音乐可视化方法和装置 |
| CN105247510A (zh) * | 2013-04-12 | 2016-01-13 | 微软技术许可有限责任公司 | 重算用户接口中变换的编译 |
| CN105528438A (zh) * | 2015-12-18 | 2016-04-27 | 大陆汽车投资（上海）有限公司 | 将电台广播中的音频内容可视化的方法 |
| CN105953470A (zh) * | 2016-06-29 | 2016-09-21 | 青岛天地鸿华新能源科技有限公司 | 模块化半导体制冷制热控制装置 |
| US9607594B2 (en) * | 2013-12-20 | 2017-03-28 | Samsung Electronics Co., Ltd. | Multimedia apparatus, music composing method thereof, and song correcting method thereof |
| CN106571149A (zh) * | 2015-10-07 | 2017-04-19 | 三星电子株式会社 | 电子装置及电子装置的音乐内容可视化方法 |
-
2017
- 2017-08-16 CN CN201710703520.2A patent/CN107464572B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1599925A (zh) * | 2001-10-09 | 2005-03-23 | 伊默逊股份有限公司 | 基于计算机设备的音频输出的触觉反馈感觉 |
| WO2006014068A1 (en) * | 2004-08-05 | 2006-02-09 | Republic Of Korea (Management: Rural Development Administration) | Voice output device for use with flowerpot |
| WO2007093057A1 (en) * | 2006-02-16 | 2007-08-23 | Philippe Stanislas Zaborowski | Touch -sensitive motion device |
| WO2008085759A2 (en) * | 2007-01-07 | 2008-07-17 | Apple Inc. | Multitouch data fusion |
| JP2010094799A (ja) * | 2008-10-17 | 2010-04-30 | Littleisland Inc | 人型ロボット |
| CN201652977U (zh) * | 2010-02-11 | 2010-11-24 | 上海联孚新能源科技有限公司 | 半导体温度调节器 |
| CN104012098A (zh) * | 2011-12-21 | 2014-08-27 | 高通股份有限公司 | 使用触觉技术提供增强的媒体体验 |
| EP2634552A1 (en) * | 2012-02-28 | 2013-09-04 | Sony Mobile Communications AB | Electronic device and method for determining a temperature of an electronic device |
| CN105247510A (zh) * | 2013-04-12 | 2016-01-13 | 微软技术许可有限责任公司 | 重算用户接口中变换的编译 |
| CN203415221U (zh) * | 2013-09-06 | 2014-01-29 | 王浩臣 | 交互式音乐可视化装置 |
| US9607594B2 (en) * | 2013-12-20 | 2017-03-28 | Samsung Electronics Co., Ltd. | Multimedia apparatus, music composing method thereof, and song correcting method thereof |
| CN104732983A (zh) * | 2015-03-11 | 2015-06-24 | 浙江大学 | 一种交互式音乐可视化方法和装置 |
| CN106571149A (zh) * | 2015-10-07 | 2017-04-19 | 三星电子株式会社 | 电子装置及电子装置的音乐内容可视化方法 |
| CN105528438A (zh) * | 2015-12-18 | 2016-04-27 | 大陆汽车投资（上海）有限公司 | 将电台广播中的音频内容可视化的方法 |
| CN105953470A (zh) * | 2016-06-29 | 2016-09-21 | 青岛天地鸿华新能源科技有限公司 | 模块化半导体制冷制热控制装置 |
Non-Patent Citations (1)
| Title |
|---|
| JUNJIE BAI: ""imensional Music Emotion Recognition by Machine Learning"", 《INTERNATIONAL JOURNAL OFCOGNITIVE INFORMATICS AND NATURAL INTELLIGENCE》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510998A (zh) * | 2018-04-09 | 2018-09-07 | 宗莉加 | 一种聋哑人音乐感知器 |
| CN108986843A (zh) * | 2018-08-10 | 2018-12-11 | 杭州网易云音乐科技有限公司 | 音频数据处理方法及装置、介质和计算设备 |
| CN109524022A (zh) * | 2018-11-16 | 2019-03-26 | 方雯晖 | 视觉、听觉、嗅觉的相互转化系统与音乐可视化应用 |
| CN113272890A (zh) * | 2019-01-07 | 2021-08-17 | 雅马哈株式会社 | 影像控制系统及影像控制方法 |
| US20210335331A1 (en) * | 2019-01-07 | 2021-10-28 | Yamaha Corporation | Image control system and method for controlling image |
| CN113272890B (zh) * | 2019-01-07 | 2024-06-18 | 雅马哈株式会社 | 影像控制系统及影像控制方法 |
| CN110085263A (zh) * | 2019-04-28 | 2019-08-02 | 东华大学 | 一种音乐情感分类和机器作曲方法 |
| CN111627412A (zh) * | 2020-05-06 | 2020-09-04 | Oppo（重庆）智能科技有限公司 | 音频变速方法、装置、电子设备和计算机可读存储介质 |
| CN111627412B (zh) * | 2020-05-06 | 2023-05-05 | Oppo（重庆）智能科技有限公司 | 音频变速方法、装置、电子设备和计算机可读存储介质 |
| CN111601433A (zh) * | 2020-05-08 | 2020-08-28 | 中国传媒大学 | 舞台灯光效果控制策略的预测方法及装置 |
| CN111651243A (zh) * | 2020-05-29 | 2020-09-11 | 北京东方通科技股份有限公司 | 一种面向内存数据网格的分布式事务保障方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107464572B (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107464572A (zh) | 多模式交互音乐感知系统及其控制方法 | |
| Pandeya et al. | Deep learning-based late fusion of multimodal information for emotion classification of music video | |
| Yang et al. | Review of data features-based music emotion recognition methods | |
| Yang et al. | Avoid-df: Audio-visual joint learning for detecting deepfake | |
| Owens et al. | Learning sight from sound: Ambient sound provides supervision for visual learning | |
| Carlson et al. | Dance to your own drum: Identification of musical genre and individual dancer from motion capture using machine learning | |
| US11694084B2 (en) | Self-supervised AI-assisted sound effect recommendation for silent video | |
| US11381888B2 (en) | AI-assisted sound effect generation for silent video | |
| US11615312B2 (en) | Self-supervised AI-assisted sound effect generation for silent video using multimodal clustering | |
| CN113190709A (zh) | 一种基于短视频关键帧的背景音乐推荐方法和装置 | |
| Abdulsalam et al. | Emotion recognition system based on hybrid techniques | |
| Lattner et al. | Learning transposition-invariant interval features from symbolic music and audio | |
| Xia et al. | Study on music emotion recognition based on the machine learning model clustering algorithm | |
| CN107507629A (zh) | 热触觉音乐感知系统及其控制方法 | |
| CN113743267B (zh) | 一种基于螺旋和文本的多模态视频情感可视化方法及装置 | |
| Kalinli et al. | Saliency-driven unstructured acoustic scene classification using latent perceptual indexing | |
| CN116883608A (zh) | 一种多模态数字人社交属性控制方法及相关装置 | |
| Liao | Research on intelligent interactive music information based on visualization technology | |
| Richard et al. | Introduction to the special section on sound scene and event analysis | |
| Gloor et al. | Measuring audience and actor emotions at a theater play through automatic emotion recognition from face, speech, and body sensors | |
| Vickery | Notational semantics in music visualization and notation | |
| Singh et al. | Study on Facial Recognition to Detect Mood and Suggest Songs | |
| Fang et al. | Frame-Level Multiple Sound Sources Localization Based on Visual Understanding | |
| Ananthabhotla | Cognitive Audio: Enabling Auditory Interfaces with an Understanding of How We Hear | |
| Sun et al. | Original Research Article A multimodal deep learning algorithm for polyphonic music applied to music sentiment analysis and generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221226 Address after: 201800 Area A, Building 6, No. 485, Xiangjiang Road, Jiading District, Shanghai Patentee after: Shanghai e-Car Technology Co.,Ltd. Address before: No. 20, East Road, University City, Chongqing, Shapingba District, Chongqing Patentee before: Chongqing University of Science & Technology |