CN101149950A - 实现分类播放的媒体播放器及分类播放方法 - Google Patents
实现分类播放的媒体播放器及分类播放方法 Download PDFInfo
- Publication number
- CN101149950A CN101149950A CNA2007101774349A CN200710177434A CN101149950A CN 101149950 A CN101149950 A CN 101149950A CN A2007101774349 A CNA2007101774349 A CN A2007101774349A CN 200710177434 A CN200710177434 A CN 200710177434A CN 101149950 A CN101149950 A CN 101149950A
- Authority
- CN
- China
- Prior art keywords
- media file
- emotion
- media
- music
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008451 emotion Effects 0.000 claims description 139
- 238000004458 analytical method Methods 0.000 claims description 45
- 230000006399 behavior Effects 0.000 claims description 31
- 230000003340 mental effect Effects 0.000 claims description 21
- 241000282414 Homo sapiens Species 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 14
- 230000033764 rhythmic process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000036651 mood Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/135—Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/155—Library update, i.e. making or modifying a musical database using musical parameters as indices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
- G10H2250/015—Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
本发明提供了一种实现分类播放的媒体播放器和一种媒体文件的分类播放方法。本发明根据用户输入的指令,将该指令对应类别的各媒体文件进行音频解码并播放。例如,用户可根据其当前的心情、其当前所处环境、其当前行为状态,输入相应的指令,表示其希望听到不同舒缓度、激情度等类别的音乐,媒体播放器即可根据该指令播放符合用户需求的媒体文件,满足了用户对媒体播放的多样化需求,从而能够提高媒体播放的实用性。
Description
技术领域
本发明涉及媒体播放技术,特别涉及一种实现分类播放的媒体播放器、以及一种媒体文件的分类播放方法。
背景技术
随着多媒体技术的不断发展,媒体播放器得到了广泛的应用。图1为现有媒体播放器的结构示意图。如图1所示,现有媒体播放器包括:主控单元101、媒体文件库102、音频解码单元103和音频输出单元104。
主控单元101根据外部输入的用户指令,将媒体文件库102中与该用户指令对应的至少一个媒体文件输出给音频解码单元103。
其中,媒体文件库102中存储着多个媒体文件。
音频解码单元103对接收到的媒体文件进行音频解码,并将音频解码后音频数据输出给音频输出单元104。
音频输出单元104播放输出接收到的媒体文件。
可见,上述媒体播放器通过查找、音频解码和输出,实现了媒体文件的播放。然而,由于用户对媒体播放的需求越来越多样化,例如,用户在不同的环境或不同的时间可能希望播放不同的媒体文件,因此,上述媒体播放器只能简单地进行查找、音频解码和输出以实现对媒体文件的播放,已经无法有效满足用户的需求,从而使得现有媒体播放的实用性不高。
发明内容
有鉴于此,本发明了提供一种实现分类播放的媒体播放器、以及一种媒体文件的分类播放方法,能够提高媒体播放的实用性。
本发明提供的一种实现分类播放的媒体播放器,包括:主控单元、媒体文件库、音频解码单元、音频输出单元,该媒体播放器进一步包括:音乐情感分类单元,其中,
所述音频解码单元,对接收到的媒体文件进行音频解码,并将音频解码后音频数据输出;
所述音乐情感分类单元,对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类,将分类结果提供给主控单元;
所述主控单元,根据用户输入的类别选择指令,调取媒体文件库中与该指令所表示类别相同的各媒体文件用以播放。
所述音乐情感分类单元包括:音乐元素分析子单元、心理模型匹配子单元,其中,
所述音乐元素分析单元,接收来自所述音频解码单元的音频数据,从当前接收到的音频数据中提取各种音乐基本元素,将提取出的音乐基本元素作为分析结果,与当前接收到的音频数据对应的媒体文件标识一起输出给所述心理模型匹配子单元;
所述心理模型匹配单元,存储多个预设的心理模型;将当前接收到的分析结果与心理模型进行匹配,得到与媒体文件标识表示的媒体文件匹配的心理模型,将匹配的心理模型作为该媒体文件所属的情感类别,与对应的媒体文件标识一起输出给所述主控单元。
所述音乐情感分类单元中包括简单特征提取子单元和具有智能学习功能的分类器,其中,
所述简单特征提取子单元,接收音频解码后的音频数据,从接收到的音频数据中提取简单特征后,输出给所述分类器;
所述分类器根据预先计算得到的参数,对接收到的简单特征进行分析,得到该简单特征对应的媒体文件所匹配的心理模型,并将每个媒体文件匹配的心理模型与对应媒体文件标识一起输出给所述主控单元。
所述音乐情感分类单元包括:列表存储子单元,用于存储每个媒体文件所匹配的情感类别。
所述与媒体文件匹配的心理模型为:与所述媒体文件的相关度大于预设阈值的心理模型。
所述列表存储单元进一步存储所述心理模型与所述媒体文件的相关度;
所述媒体播放器进一步包括显示单元,用于将当前播放的媒体文件与其匹配的心理模型的相关度显示输出。
所述音乐基本元素包括:音乐的速度、力度、节奏、旋律、音色。
所述媒体播放器为便携式播放器,所述音乐情感分类单元进一步按照预设的环境类别与情感类别的对应关系对媒体文件进行分类;
其中,所述环境类别与情感类别的对应关系是按照环境对人类心理影响和音乐对心理影响之间的相关性建立的。
该媒体播放器中进一步包括:环境感测单元,用于感测该媒体播放器所处外部环境的环境参数;
所述列表存储单元中进一步存储了环境参数与环境类别的对应关系;
所述主控单元进一步根据所述环境参数与环境类别的对应关系,查找与所述环境感测单元感测到的环境参数所匹配的环境类别。
所述环境感测单元包括下述之一或任意组合:加速度传感器、温度传感器、光传感器、声音传感器、计时器,其中,
所述加速度传感器,感测所述媒体播放器在外力作用下移动时所具有的加速度,并将感测到的加速度取值输出给所述主控单元;
所述温度传感器,感测所述媒体播放器所处外部环境的温度,并将感测到的温度取值输出给所述主控单元;
所述光传感器,感测所述媒体播放器所述外部环境的光线强度,并将感测到的光线强度取值输出给所述主控单元;
所述声音传感器,感测所述媒体播放器所述外部环境的声音的类别和强度,并将感测到的信息输出给所述主控单元;
所述计时器,将当前时间输出给所述主控单元。
所述音乐情感分类单元进一步按照预设的行为状态类别与情感类别的对应关系对媒体文件进行分类;
其中,所述行为状态类别与情感类别的对应关系是按照人类在不同行为状态下对心理的需求和音乐对心理影响之间的相关性建立的。
本发明提供的一种媒体文件的分类播放方法,包括:
对接收到的媒体文件进行音频解码得到音频数据;
对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类;
根据用户输入的类别选择指令,调取媒体文件库中与该指令所表示类别相同的媒体文件用以播放。
所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类包括:
从音频数据中提取各种音乐基本元素,将提取出的音乐基本元素作为分析结果;
将所述分析结果与预设心理模型进行匹配,得到与媒体文件标识表示的媒体文件匹配的心理模型,将匹配的心理模型作为该媒体文件所属的情感类别,与对应的媒体文件标识一起输出。
所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类包括:
从音频数据中提取简单特征;
根据预先计算得到的参数,对接收到的简单特征进行分析,得到该简单特征对应的媒体文件所匹配的心理模型,并将匹配的心理模型作为该媒体文件所属的情感类别,与对应媒体文件标识一起输出。
所述将匹配的心理模型作为该媒体文件所属的情感类别,与对应媒体文件标识一起输出之后,该方法进一步包括:存储媒体文件所匹配的情感类别。
该方法进一步包括:
设置所述心理模型与所述媒体文件的相关度;
在播放媒体文件时,将当前播的媒体文件与其匹配的心理模型的相关度显示输出。
所述音乐基本元素包括:音乐的速度、力度、节奏、旋律、音色。
所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类进一步包括:
按照预设的环境类别与情感类别的对应关系对媒体文件进行分类;
其中,所述环境类别与情感类别的对应关系是按照环境对人类心理影响和音乐对心理影响之间的相关性建立的。
所述按照预设的环境类别与情感类别的对应关系对媒体文件进行分类之前,该方法进一步包括:
感测外部环境的环境参数;
根据所述环境参数与环境类别的对应关系,查找与感测到的环境参数所匹配的环境类别。
所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类进一步包括:
按照预设的行为状态类别与情感类别的对应关系对媒体文件进行分类;
其中,所述行为状态类别与情感类别的对应关系是按照人类在不同行为状态下对心理的需求和音乐对心理影响之间的相关性建立的。
有上述技术方案可见,本发明根据用户输入的指令,将该指令对应类别的各媒体文件进行音频解码并播放。例如,用户可根据其当前的心情、其当前所处环境、其当前行为状态,输入相应的指令,表示其希望听到不同舒缓度、激情度等类别的音乐,媒体播放器即可根据该指令播放符合用户需求的媒体文件,满足了用户对媒体播放的多样化需求,从而能够提高媒体播放的实用性。
附图说明
图1为现有媒体播放器的结构示意图。
图2为本发明中实现分类播放的媒体播放器的结构示意图。
图3为本发明中媒体文件的分类播放过程的流程示意图。
图4为本发明中媒体文件分类过程的流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
本发明中,根据用户输入的指令,将该指令对应类别的各媒体文件进行音频解码并播放。例如,用户可根据其当前的心情或其当前所处环境输入相应的指令,表示其希望听到不同舒缓度、激情度等类别的音乐,媒体播放器即可根据该指令播放符合用户需求的媒体文件。
其中,媒体文件的分类可以按照如下方式来实现:先对音频解码后的音频数据进行音乐基本元素分析,得到包括媒体文件的音乐播放速度、力度、节奏、旋律、音色等音乐基本元素的分析结果;然后将分析结果与预设的心理模型进行匹配,例如与表示不同舒缓度、激情度等心理模型进行匹配,得到与媒体文件匹配的心理模型,作为表示情感类别的匹配结果,匹配相同心理模型的各媒体文件,即属于相同的类别。
图2为本发明中实现分类播放的媒体播放器的结构示意图。如图2所示,该媒体播放器包括:主控单元101、媒体文件库102、音频解码单元103、音频输出单元104、音乐情感分类单元205、显示单元206。
音频解码单元103,对接收到的媒体文件进行音频解码,并将音频解码后的音频数据输出给音乐情感分类单元205或音频输出单元104。
音乐情感分类单元205,对解码后的媒体文件进行情感分析,根据分析结果并按预设的情感类别进行分类,将分类结果提供给主控单元101。
主控单元101,根据用户输入表示不同情感类别的类别选择指令,调取媒体文件库102中与该指令所表示类别相同的各媒体文件用以播放。
例如,主控单元可将与该指令所表示类别相同的各媒体文件的音频数据通过显示单元206显示到用户界面(供用户选择是否播放、选择播放其中的哪一个或哪几个媒体文件)、或经音频解码单元103解码后由音频输出单元104播放。
可见,上述媒体播放器实现了媒体文件的分类播放。
在分类播放之前,主控单元101、音频解码单元103和音乐情感分类单元205还需要进行协同处理,以对媒体文件库102中存储的媒体文件进行分类。
主控单元101,将媒体文件库102中的媒体文件依次输出给音频解码单元103。
音频解码单元103,对接收到的媒体文件进行音频解码,并将音频解码后的音频数据输出给音乐情感分类单元205。
音乐情感分类单元205,从来自音频解码单元103的音频数据中提取媒体文件的播放速度、力度、节奏、旋律、音色等各种音乐基本元素;将从各音频数据中提取出的音乐基本元素分别与预设的各心理模型进行匹配,将解码后的音频数据匹配不同心理模型的媒体文件分为不同情感类别,并存储情感类别与媒体文件的对应关系,以实现如图2所示的媒体播放器能够按类别播放对应的媒体文件。
这样,上述如图2所示的媒体播放器则能够实现基于不同心理模型的媒体文件分类播放。用户即可根据其当前的心情或其当前所处环境,选择播放不同舒缓度、激情度等类别的媒体文件。
具体来说,音乐情感分类单元205可以从媒体文件中提取各种音乐基本元素,并根据提取出的音乐基本元素与预设心理模型的匹配结果对媒体文件进行分类;音乐情感分类单元205还可以通过智能学习方式对媒体文件进行分类。
如果采用前一种方式,则音乐情感分类单元205中可以包括:音乐元素分析子单元2051、心理模型匹配子单元2052、列表存储子单元2053。
音乐元素分析子单元2051,从当前接收到的音频数据中提取各种音乐基本元素,例如音乐播放速度、力度、节奏、旋律、音色等,并将提取出的音乐基本元素作为分析结果,与该音频数据对应的媒体文件标识一起输出给心理模型匹配子单元2052。
其中,播放速度、力度、节奏、旋律、音色等音乐基本元素,均可以按照其元素特性并利用现有方式来提取。
心理模型匹配子单元2052,存储多个预设的心理模型,例如表示不同舒缓度、不同激情度等心理模型;将当前接收到的分析结果与心理模型进行匹配,得到与媒体文件标识表示的媒体文件匹配的心理模型,将匹配的心理模型作为该媒体文件所属情感类别,与对应的媒体文件标识一起输出给列表存储子单元2503。
其中,不同心理模型是由不同取值的各种音乐基本元素构成的,因此,将提取出的音乐基本元素与心理模型中的音乐基本元素进行比较,即可获得匹配的心理模型。匹配的方式可以为:如果从某一媒体文件的音频数据中提取的音乐基本元素与某一心理模型中的各音乐基本元素的相关度大于预设域值时,即该媒体文件与该心理模型的相关度大于预设域值时,则确定该媒体文件与该心理模型匹配。例如,当从媒体文件1中提取的音乐基本元素,与心理模型1中的对应音乐基本元素的相关度为90%,大于预设阈值60%,则确定媒体文件1与心理模型1匹配。该相关度可看作媒体文件与其所属类别的相关度。
列表存储子单元2053,存储着分类列表,列表中包括每个媒体文件所匹配的情感类别。
如果心理模型匹配子单元2052还将每个媒体文件与其所属情感类别的相关度也输出给列表存储子单元2053,则列表存储单元2053存储的分类列表中,还可以存储每个媒体文件所对应的上述相关度。
实际应用中,心理模型匹配子单元206可以直接将每个媒体文件所属情感类别及其对应的媒体文件标识输出给主控单元101,使得主控单元101获知每个媒体文件所属类别;这种情况下,可以由主控单元101再将每个媒体文件所属情感类别及其对应的媒体文件标识输出给存储列表子单元2053,并存储到分类列表中,以便后续接收到用户输入的指令能够根据该分类列表中存储的对应关系获知对应情感类别的各媒体文件。
当然,在确定分类类型后,也可以不以列表存储子单元2053的形式存在,可以直接在媒体库的相应媒体文件的属性上加上情感类型即可。
心理模型匹配子单元2052还可以直接将每个媒体文件所属情感类别及其对应的媒体文件标识输出给存储列表子单元2053,并存储到分类列表中,而不需主控单元101的中继转发。
这样,主控单元101根据外部输入的用户指令和列表存储单元207中的分类列表,将媒体文件库102中与该用户指令对应的至少一个类别的各媒体文件输出给音频解码单元103。
例如,心理模型1、心理模型2、心理模型3,分别表示悲伤度、激情度、舒缓度这3个情感类别,则用户输入表示激情度和舒缓度的指令之后,主控单元101即在列表存储单元207中查找与心理模型2和心理模型3所对应的各媒体文件标识,然后调用媒体文件库102中与查找的各媒体文件标识对应的媒体文件,输出给音频解码单元103。
音频解码单元103对接收到的媒体文件进行音频解码,并将音频解码后的音频数据输出给音频输出单元104。
音频输出单元104播放输出接收到的音频数据,即实现了满足激情度等级2和舒缓度等级1的各媒体文件的播放。
用户输入的指令可能表示多种情感类别,用户输入的指令也可能表示随机播放或表示各情感类别。这种情况下,为了使得用户能够获知当前播放的媒体文件是属于哪一个情感类别,如图2所示的媒体播放器中的显示单元206,还可以将当前播放的媒体文件所属情感类别的信息显示输出。
其中,该信息可以是情感类别所对应的心理模型名称,也可以是心理模型所表示的情感类别名称,例如,“舒缓度等级1”、“激情度等级2”等。
同时,由于列表存储单元2053中还可以存储媒体文件与其所属类别的相关度,因此,显示单元还可以将当前播放的媒体文件与其所属类型的相关度显示输出。这样,假设当前播放的媒体文件对应“舒缓度”,同时输出该媒体文件与“舒缓度”所对应的心理模型的相关度80%;假设上一次播放的媒体文件也对应“舒缓度”,上一次播放时输出该媒体文件与“舒缓度”所对应的心理模型的相关度70%,则用户即可获知,虽然两次播放的媒体文件均对应“舒缓度”,但相比之下,当前播放的媒体文件更加舒缓。
可见,本发明中的媒体播放器可根据用户输入的指令,播放符合用户在当前环境或时间所希望播放的一个或多个类别的媒体文件,满足了用户对媒体播放的多样化需求,还能够进一步显示输出当前播放的媒体文件的相关信息,从而进一步提高了媒体播放的实用性。
上述实施例中音乐基本元素的定义十分直观,与心理模型之间有着直接的对应关系,但是其中多数元素的计算过程较为复杂,计算结果也不能充分表征该元素的意义,因此,我们可以简化音乐元素的提取,代之以一些计算简单的特征,并采用智能学习的方法实现媒体文件的分类。该实施方案的特点在于特征计算简单、分类器设计理论成熟、基于学习的分类方法更为可靠。
在音乐情感分类单元205中,用一个简单特征提取子单元和分类器替换音乐元素分析子单元2051和心理模型匹配子单元2052。其中的简单特征可以包括短时能量、短时平均幅度、短时谱特征等;分类器可以为现有的人工神经网络(Artificial Neural Network,ANN)分类器、隐马尔科夫模型(HiddenMarkov Model,HMM)分类器等任意一种具有学习能力的现有分类器。
在利用分类器进行媒体文件的分类之前,预先挑选若干媒体文件,并结合经验值对这些媒体文件的心理模型分别进行评定,确定每个媒体文件所匹配的心理模型。然后将确定的匹配不同心理模型的媒体文件的音频数据作为分类器的训练样本;提取训练样本的简单特征作为分类器的输入,将媒体文件对应的心理模型作为分类器的期望输出,根据预设学习法则计算出分类器的参数,以使得分类器输出的心理模型尽量接近期望输出,从而实现分类器的训练过程,也就是智能学习过程。
经过训练过程的分类器即可实现媒体文件的分类。简单特征提取子单元的输入端与音频解码单元103相连,接收音频解码后的音频数据,从接收到的音频数据中提取简单特征后,输出给分类器;分类器根据预先计算得到的参数,对接收到的简单特征进行分析,最后输出该简单特征对应的媒体文件所匹配的心理模型。除此之外,分类器还可以输出简单特征对应的媒体文件与其匹配的心理模型的相关度,即该媒体文件以多大的概率匹配于该心理模型。
这样,音乐情感分类单元205即可将分类器得到的每个媒体文件匹配的心理模型以及对应的媒体文件标识一起输出给主控单元101;还可以根据每个媒体文件匹配的心理模型确定并存储每个文件所属情感类别,并将每个媒体文件所属情感类别及其对应的媒体文件标识输出给主控单元101。
上述如图2所示的媒体播放器,可以为体积小巧,便于携带的便携式播放器,这样,用户随身携带该媒体播放器处于不同的环境下,则可以输入其所处环境的类别,媒体播放器的列表存储单元207中还存储了环境类别与情感类别的对应关系,主控单元101即可根据该对应关系,在列表存储单元207中查找与任意一种环境类别所对应情感类别对应的各媒体文件标识,并调取媒体文件库102中与查找到的媒体文件标识所对应的各媒体文件,经由音频解码单元103和音频输出单元104来播放。
具体来说,音乐情感分类单元205可以进一步按照预设的环境类别与情感类别的对应关系对媒体文件进行分类,即音乐情感分类单元205中可存储该对应关系。主控单元101即可根据用户输入的表示不同环境类别的类别选择指令,以及环境类别与情感类别的对应关系,调用媒体文件库102中,与该指令所表示环境类别相同的各情感类别的媒体文件通过显示单元206显示到用户界面、或经音频解码单元103解码后由音频输出单元104播放。简单的说,就是使得用户能够在不同环境听不同的音乐。
其中,环境类别与情感类别的对应关系是根据环境对人类心理影响和音乐对心理影响之间的相关性建立的。而环境对人类心理影响、音乐对心理影响可以是预先统计分析的经验值。
可见,本发明中的媒体播放器还可以使得用户能够根据其自身所处环境来选择媒体文件,进一步提高了媒体播放器的实用性。
进一步地,本发明中的媒体播放器还可以自动识别其自身所处环境状态,从而自动选择符合该环境状态的心理模型所对应的媒体文件进行播放。
这种情况下,该媒体播放器中进一步包括:环境感测单元(图中未示出),用于感测该媒体播放器所处外部环境的环境参数。
具体来说,环境感测单元中可以包括下述之一或任意组合:加速度传感器、温度传感器、光传感器、计时器。
加速度传感器,感测媒体播放器在外力作用下移动时所具有的加速度,并将感测到的加速度取值输出给所述主控单元101,例如,如果媒体播放器为便携式,则用户会带动该媒体播放器行走、奔跑,对该媒体播放器产生加速度。
温度传感器,感测媒体播放器所处外部环境的温度,并将感测到的温度取值输出给所述主控单元101,主控单元101可根据当前光照强度选择对应的媒体文件播放,例如在温度较高时可以播放激情度较高的媒体文件,在温度较低时则播放舒缓度较高的媒体文件。
光传感器,感测媒体播放器所述外部环境的光线强度,并将感测到的光线强度取值输出给主控单元101,主控单元101可根据当前光照强度选择对应的媒体文件播放,例如在光照强度较高时可以播放激情度较高的媒体文件,在光照强度较低时则播放舒缓度较高的媒体文件。
声音传感器,可以是麦克风,感测媒体播放器所述外部环境的声音的类别和强度,并将感测到的信息输出给主控单元101。
计时器,将当前时间输出给所述主控单元101,主控单元101可根据当前时间判断出当前是白天或是夜晚,从而选择对应的媒体文件播放,例如在白天可以播放激情度较高的媒体文件,在夜晚则播放舒缓度较高的媒体文件。
同时,列表存储单元207中则进一步存储了环境参数与环境类别的对应关系;主控单元101则根据环境参数与环境类别的对应关系,查找与环境感测单元感测到的环境参数所匹配的环境类别。
例如,假设加速度传感器测量到的加速度值大于预设的阈值,则主控单元根据环境参数与环境类别的对应关系,判断出媒体播放器当前所处环境为运动环境,再根据环境类别与心理模型的对应关系,在列表存储单元207中查找表示激情度等级1~n的心理模型所对应的媒体文件标识,从而将媒体文件库102中与上述媒体文件标识对应的媒体文件输出给音频解码单元103,以实现激情度等级1~n的媒体文件的播放。
同理,主控单元101根据接收到的各种环境参数的取值、以及列表存储单元207中环境参数与环境类别的对应关系,自动判断出媒体播放器当前所处的环境类别,进而查找与对应心理模型对应的媒体文件并播放。
可见,本发明中的媒体播放器还能够自动根据其自身所处环境来选择媒体文件,更进一步地提高了媒体播放器的实用性。
本发明提供的媒体播放器,还能够根据用户所处的行为状态,例如用户在休息、在工作、在健身、在学习、睡觉前、在行走、在散步时等行为状态下,对心理的需求,选择对应情感类别的媒体文件进行播放。
这种情况下,音乐情感分类单元205进一步按照预设的行为状态类别与情感类别的对应关系对媒体文件进行分类,即音乐情感分类单元205中可存储该对应关系。主控单元101即可根据用户输入的表示不同行为状态类别的类别选择指令,例如表示用户在休息、在工作、在健身、在学习、睡觉前、在行走、在散步时等人类行为状态,以及行为状态类别与情感类别的对应关系,调用媒体文件库102中,与该指令所表示行为状态类别相同的各情感类别的媒体文件通过显示单元206显示到用户界面、或经音频解码单元103解码后由音频输出单元104播放。简单的说,就是使得用户在做不同的事情时能够听到不同的音乐。
其中,行为状态类别与情感类别的对应关系是按照人类在不同行为状态下对心理的需求和音乐对心理影响之间的相关性建立的。人类在不同行为状态下对心理的需求、音乐对心理影响可以是预先统计分析的经验值。
以上是对本发明中媒体播放器的详细说明,下面,对本发明媒体播放中的分类方法进行详细说明。
图3为本发明中媒体文件的分类播放过程的流程示意图。如图3所示,该方法包括以下步骤:
步骤301,根据用户输入的指令和预先获取的情感类别与媒体文件的对应关系,将与该指令所表示类别的各媒体文件进行音频解码。
本步骤之前,先对媒体文件进行音频解码得到音频数据,然后对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类,分类过程与如前所述的媒体播放器内部处理过程相同,在此不再赘述。
用户可输入表示不同情感类别的类别选择指令,这样,本步骤中,即可根据用户输入的该指令,查找与其表示的情感类别的各媒体文件,并进行音频解码。
本步骤之前,用户还可以输入表示不同环境类别或不同行为状态类别的类别选择指令,这样,在本步骤中,即可根据预先获取的环境类别与情感类别的对应关系、和/或行为状态类别与情感类别的对应关系,查找对符合环境类别或行为状态类别的各媒体文件进行音频解码,用以实现用户能够在不同环境听不同的音乐、或用户在做不同的事情时能够听到不同的音乐。
步骤302,利用解码后的音频数据播放媒体文件。
在执行本步骤的同时,还可以将当前播放的媒体文件所属情感类别显示输出。
至此,本流程结束。
其中,在上述流程中的步骤301之前,可以通过如下过程来实现媒体文件的分类。
图4为本发明中媒体文件分类过程的流程示意图。如图4所示,
步骤401,将媒体文件库中的媒体文件进行音频解码。
步骤402,从音频解码后的音频数据中提取各种音乐基本元素,例如该媒体文件的音乐播放速度、力度、节奏、旋律、音色等。
本步骤中,以节奏为例,提取音乐基本元素的过程可以为:
402a,以帧为单位接收音频解码后的音频数据,对当前接收到的一帧音频数据(包括1024个采样点的时域信号)使用FFT变换将信号从时域编换到频域,得到频域复信号an+jbn,n为大于等于0且小于等于511的正整数。402b,计算频域复信号的幅度
402c,按照预先划分的多个子带,分别计算每个子带的幅度,作为瞬时能量。
例如,可以按照50~200、200~400、400~800、800~1600、1600~3200、3200Hz以上,共划分6个子带。
实际应用中,瞬时能量可按照如下公式来计算:
每次执行402c之后,均存储当前帧的各子带瞬时能量,并按照先进先出的原则,删除最先存储的一个帧的各子带瞬时能量。
402d,读取已存储的m个帧的各子带的瞬时能量EO[i],分别计算m个帧在每个子带的瞬时能量E[i]的平均值EA[i]和方差。
其中,m为1秒内缓存在历史能量缓冲子单元2054的帧数量,m的取值通常为43。
实际应用中,第i个子带的瞬时能量平均值EA[i]和第i个子带的瞬时能量方差EV[i]可以分别按照如下公式来计算:
402e,根据计算得到的EA[i]和EV[i],判断当前帧每个子带的瞬时能量EI[i]是否为峰值能量,如果是,则将判断为峰值能量的EI[i]确定为提取的音乐基本元素并输出,即实现了音乐基本元素中节奏的提取。
其中,当EI[i]大于C×EA[i]、且EV[i]大于V时,判断EI[i]为峰值能量,C和V是两个由实验确定的常数,通常情况下,C=250,V=150。
至于播放速度、力度、旋律、音色等音乐基本元素提取,则可通过现有方式来实现。
步骤403,将从当前音频数据中提取出的音乐基本元素与预设的心理模型进行匹配,将与当前媒体文件匹配的心理模型作为该音频数据对应的媒体文件所属的媒体文件类型。
本步骤中,预设的心理模型可以为表示不同舒缓度、不同激情度等心理模型。
其中,不同心理模型是由不同取值的各种音乐基本元素构成的,因此,将提取出的音乐基本元素与心理模型中的音乐基本元素进行比较,即可获得匹配的心理模型。
步骤404,存储每个媒体文件与其所属情感类别的对应关系。
至此,本流程结束。
可见,基于如图4所示的流程,在媒体播放时,通过如图3所示的流程能够播放符合用户在当前环境或时间所希望播放的一个或多个类别的媒体文件,满足了用户对媒体播放的多样化需求,从而能够提高媒体播放的实用性。
除此之外,本发明中还可以进一步预先设置环境类别与情感类别的对应关系、和/或行为状态类别与情感类别的对应关系。
这样,在执行如图3所示流程的步骤301之前,如果用户输入的指令表示环境类别,则步骤301中的具体处理过程可以包括:
根据用户输入的表示环境类别和/或行为状态类别的指令、环境类别与情感类别的对应关系、和/或行为状态类别与情感类别的对应关系,确定对应的情感类别;
根据情感类别与媒体文件的对应关系,将与所确定的情感类别对应的各媒体文件进行音频解码。
涉及上述环境类别和/或行为状态类别的分类过程,与如前所述的媒体播放器内部处理过程相同,在此不再赘述。
这样,即可使得用户根据其当前所处环境、和/或其行为状态,选择播放用户所需的媒体文件。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换以及改进等,均应包含在本发明的保护范围之内。
Claims (20)
1.一种实现分类播放的媒体播放器,包括:主控单元、媒体文件库、音频解码单元、音频输出单元,其特征在于,该媒体播放器进一步包括:音乐情感分类单元,其中,
所述音频解码单元,对接收到的媒体文件进行音频解码,并将音频解码后音频数据输出;
所述音乐情感分类单元,对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类,将分类结果提供给主控单元;
所述主控单元,根据用户输入的类别选择指令,调取媒体文件库中与该指令所表示类别相同的媒体文件用以播放。
2.如权利要求1所述的媒体播放器,其特征在于,所述音乐情感分类单元包括:音乐元素分析子单元、心理模型匹配子单元,其中,
所述音乐元素分析单元,接收来自所述音频解码单元的音频数据,从当前接收到的音频数据中提取各种音乐基本元素,将提取出的音乐基本元素作为分析结果,与当前接收到的音频数据对应的媒体文件标识一起输出给所述心理模型匹配子单元;
所述心理模型匹配单元,存储多个预设的心理模型;将当前接收到的分析结果与心理模型进行匹配,得到与媒体文件标识表示的媒体文件匹配的心理模型,将匹配的心理模型作为该媒体文件所属的情感类别,与对应的媒体文件标识一起输出给所述主控单元。
3.如权利要求1所述的媒体播放器,其特征在于,所述音乐情感分类单元中包括简单特征提取子单元和具有智能学习功能的分类器,其中,
所述简单特征提取子单元,接收音频解码后的音频数据,从接收到的音频数据中提取简单特征后,输出给所述分类器;
所述分类器根据预先计算得到的参数,对接收到的简单特征进行分析,得到该简单特征对应的媒体文件所匹配的心理模型,并将匹配的心理模型作为该媒体文件所属的情感类别,与对应媒体文件标识一起输出。
4.如权利要求2或3所述的媒体播放器,其特征在于,所述音乐情感分类单元包括:列表存储子单元,用于存储每个媒体文件所匹配的情感类别。
5.如权利要求2或3所述的媒体播放器,其特征在于,所述与媒体文件匹配的心理模型为:与所述媒体文件的相关度大于预设阈值的心理模型。
6.如权利要求2或3所述的媒体播放器,其特征在于,所述列表存储单元进一步存储所述心理模型与所述媒体文件的相关度;
所述媒体播放器进一步包括显示单元,用于将当前播放的媒体文件与其匹配的心理模型的相关度显示输出。
7.如权利要求2所述的媒体播放器,其特征在于,所述音乐基本元素包括:音乐的速度、力度、节奏、旋律、音色。
8.如权利要求2或3所述的媒体播放器,其特征在于,所述媒体播放器为便携式播放器,所述音乐情感分类单元进一步按照预设的环境类别与情感类别的对应关系对媒体文件进行分类;
其中,所述环境类别与情感类别的对应关系是按照环境对人类心理影响和音乐对心理影响之间的相关性建立的。
9.如权利要求8所述的媒体播放器,其特征在于,该媒体播放器中进一步包括:环境感测单元,用于感测该媒体播放器所处外部环境的环境参数;
所述列表存储单元中进一步存储了环境参数与环境类别的对应关系;
所述主控单元进一步根据所述环境参数与环境类别的对应关系,查找与所述环境感测单元感测到的环境参数所匹配的环境类别。
10.如权利要求9所述的媒体播放器,其特征在于,所述环境感测单元包括下述之一或任意组合:加速度传感器、温度传感器、光传感器、声音传感器、计时器,其中,
所述加速度传感器,感测所述媒体播放器在外力作用下移动时所具有的加速度,并将感测到的加速度取值输出给所述主控单元;
所述温度传感器,感测所述媒体播放器所处外部环境的温度,并将感测到的温度取值输出给所述主控单元;
所述光传感器,感测所述媒体播放器所述外部环境的光线强度,并将感测到的光线强度取值输出给所述主控单元;
所述声音传感器,感测所述媒体播放器所述外部环境的声音的类别和强度,并将感测到的信息输出给所述主控单元;
所述计时器,将当前时间输出给所述主控单元。
11.如权利要求2或3所述的媒体播放器,其特征在于,所述音乐情感分类单元进一步按照预设的行为状态类别与情感类别的对应关系对媒体文件进行分类;
其中,所述行为状态类别与情感类别的对应关系是按照人类在不同行为状态下对心理的需求和音乐对心理影响之间的相关性建立的。
12.一种媒体文件的分类播放方法,其特征在于,包括:
对媒体文件进行音频解码得到音频数据;
对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类;
根据用户输入的类别选择指令,调取媒体文件库中与该指令所表示类别相同的媒体文件用以播放。
13.如权利要求12所述的分类播放方法,其特征在于,所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类包括:
从音频数据中提取各种音乐基本元素,将提取出的音乐基本元素作为分析结果;
将所述分析结果与预设心理模型进行匹配,得到与媒体文件标识表示的媒体文件匹配的心理模型,将匹配的心理模型作为该媒体文件所属的情感类别,与对应的媒体文件标识一起输出。
14.如权利要求12所述的分类播放方法,其特征在于,所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类包括:
从音频数据中提取简单特征;
根据预先计算得到的参数,对接收到的简单特征进行分析,得到该简单特征对应的媒体文件所匹配的心理模型,并将匹配的心理模型作为该媒体文件所属的情感类别,与对应媒体文件标识一起输出。
15.如权利要求13或14所述的分类播放方法,其特征在于,所述将匹配的心理模型作为该媒体文件所属的情感类别,与对应媒体文件标识一起输出之后,该方法进一步包括:存储媒体文件所匹配的情感类别。
16.如权利要求13或14所述的分类播放方法,其特征在于,该方法进一步包括:
设置所述心理模型与所述媒体文件的相关度;
在播放媒体文件时,将当前播的媒体文件与其匹配的心理模型的相关度显示输出。
17.如权利要求13所述的媒体播放器,其特征在于,所述音乐基本元素包括:音乐的速度、力度、节奏、旋律、音色。
18.如权利要求13或14所述的分类播放方法,其特征在于,所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类进一步包括:
按照预设的环境类别与情感类别的对应关系对媒体文件进行分类;
其中,所述环境类别与情感类别的对应关系是按照环境对人类心理影响和音乐对心理影响之间的相关性建立的。
19.如权利要求18所述的分类播放方法,其特征在于,所述按照预设的环境类别与情感类别的对应关系对媒体文件进行分类之前,该方法进一步包括:
感测外部环境的环境参数;
根据所述环境参数与环境类别的对应关系,查找与感测到的环境参数所匹配的环境类别。
20.如权利要求13或14所述的分类播放方法,其特征在于,所述对解码后的音频数据进行情感分析,根据分析结果并按预设的情感类别进行分类进一步包括:
按照预设的行为状态类别与情感类别的对应关系对媒体文件进行分类;
其中,所述行为状态类别与情感类别的对应关系是按照人类在不同行为状态下对心理的需求和音乐对心理影响之间的相关性建立的。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101774349A CN101149950A (zh) | 2007-11-15 | 2007-11-15 | 实现分类播放的媒体播放器及分类播放方法 |
TW096147776A TW200925976A (en) | 2007-11-15 | 2007-12-13 | Media player for playing media files by emotion classes and method for the same |
US12/122,690 US20090132593A1 (en) | 2007-11-15 | 2008-05-17 | Media player for playing media files by emotion classes and method for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101774349A CN101149950A (zh) | 2007-11-15 | 2007-11-15 | 实现分类播放的媒体播放器及分类播放方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101149950A true CN101149950A (zh) | 2008-03-26 |
Family
ID=39250424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007101774349A Pending CN101149950A (zh) | 2007-11-15 | 2007-11-15 | 实现分类播放的媒体播放器及分类播放方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20090132593A1 (zh) |
CN (1) | CN101149950A (zh) |
TW (1) | TW200925976A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599271B (zh) * | 2009-07-07 | 2011-09-14 | 华中科技大学 | 一种数字音乐情感的识别方法 |
CN101587708B (zh) * | 2009-06-26 | 2012-05-23 | 清华大学 | 歌曲情绪压力分析方法及系统 |
CN102543119A (zh) * | 2011-12-31 | 2012-07-04 | 北京百纳威尔科技有限公司 | 基于场景的音乐播放处理方法和音乐播放设备 |
CN102903375A (zh) * | 2011-07-25 | 2013-01-30 | 富泰华工业(深圳)有限公司 | 音乐播放装置及播放方法 |
CN101370216B (zh) * | 2008-10-15 | 2013-05-22 | 北京中星微电子有限公司 | 一种手机音频文件的情绪化处理和播放方法 |
CN103187070A (zh) * | 2011-12-28 | 2013-07-03 | 宇龙计算机通信科技(深圳)有限公司 | 基于移动终端的音频文件处理方法及系统 |
CN103400591A (zh) * | 2013-08-12 | 2013-11-20 | 深圳市金立通信设备有限公司 | 一种播放多媒体的方法及装置 |
CN103794205A (zh) * | 2014-01-21 | 2014-05-14 | 深圳市中兴移动通信有限公司 | 自动合成适配音乐的方法及设备 |
CN104281682A (zh) * | 2014-09-30 | 2015-01-14 | 圆刚科技股份有限公司 | 文件分类系统及方法 |
CN104298722A (zh) * | 2014-09-24 | 2015-01-21 | 张鸿勋 | 多媒体交互系统及其方法 |
CN104683318A (zh) * | 2013-12-03 | 2015-06-03 | 中国科学院声学研究所 | 一种边缘流媒体服务器缓存选择方法与系统 |
CN106453051A (zh) * | 2016-10-10 | 2017-02-22 | 深圳万发创新进出口贸易有限公司 | 多媒体交互系统 |
CN110019921A (zh) * | 2017-11-16 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 音频与属性的关联方法及装置、音频搜索方法及装置 |
CN110309327A (zh) * | 2018-02-28 | 2019-10-08 | 北京搜狗科技发展有限公司 | 音频生成方法、装置以及用于音频的生成装置 |
CN110853675A (zh) * | 2019-10-24 | 2020-02-28 | 广州大学 | 一种音乐联觉绘画的装置及其实现方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100000336A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치 |
US20100100827A1 (en) * | 2008-10-17 | 2010-04-22 | Louis Hawthorne | System and method for managing wisdom solicited from user community |
US20100100826A1 (en) * | 2008-10-17 | 2010-04-22 | Louis Hawthorne | System and method for content customization based on user profile |
US20100107075A1 (en) * | 2008-10-17 | 2010-04-29 | Louis Hawthorne | System and method for content customization based on emotional state of the user |
US20110016102A1 (en) * | 2009-07-20 | 2011-01-20 | Louis Hawthorne | System and method for identifying and providing user-specific psychoactive content |
US20110154197A1 (en) * | 2009-12-18 | 2011-06-23 | Louis Hawthorne | System and method for algorithmic movie generation based on audio/video synchronization |
US9263060B2 (en) | 2012-08-21 | 2016-02-16 | Marian Mason Publishing Company, Llc | Artificial neural network based system for classification of the emotional content of digital music |
TW201411601A (zh) * | 2012-09-13 | 2014-03-16 | Univ Nat Taiwan | 以情緒為基礎的自動配樂方法 |
TWI486904B (zh) | 2013-12-04 | 2015-06-01 | Inst Information Industry | 律動影像化方法、系統以及電腦可讀取記錄媒體 |
CN104869507B (zh) * | 2015-04-21 | 2018-11-13 | 广东欧珀移动通信有限公司 | 一种应用于智能音箱的音乐播放方法及智能音箱 |
CN104851437B (zh) * | 2015-04-28 | 2018-05-01 | 广东欧珀移动通信有限公司 | 一种歌曲播放方法及终端 |
JP6839818B2 (ja) * | 2017-05-17 | 2021-03-10 | パナソニックIpマネジメント株式会社 | コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6623427B2 (en) * | 2001-09-25 | 2003-09-23 | Hewlett-Packard Development Company, L.P. | Biofeedback based personal entertainment system |
US8053659B2 (en) * | 2002-10-03 | 2011-11-08 | Polyphonic Human Media Interface, S.L. | Music intelligence universe server |
US20040199494A1 (en) * | 2003-04-04 | 2004-10-07 | Nikhil Bhatt | Method and apparatus for tagging and locating audio data |
US20040199491A1 (en) * | 2003-04-04 | 2004-10-07 | Nikhil Bhatt | Domain specific search engine |
US7243104B2 (en) * | 2003-05-30 | 2007-07-10 | Aol Llc | Personalizing content using an intermediary bridge |
WO2006002328A2 (en) * | 2004-06-23 | 2006-01-05 | Plain Sight Systems, Inc. | System and method for document analysis, processing and information extraction |
US7921369B2 (en) * | 2004-12-30 | 2011-04-05 | Aol Inc. | Mood-based organization and display of instant messenger buddy lists |
US8112418B2 (en) * | 2007-03-21 | 2012-02-07 | The Regents Of The University Of California | Generating audio annotations for search and retrieval |
US20090063971A1 (en) * | 2007-08-31 | 2009-03-05 | Yahoo! Inc. | Media discovery interface |
-
2007
- 2007-11-15 CN CNA2007101774349A patent/CN101149950A/zh active Pending
- 2007-12-13 TW TW096147776A patent/TW200925976A/zh unknown
-
2008
- 2008-05-17 US US12/122,690 patent/US20090132593A1/en not_active Abandoned
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101370216B (zh) * | 2008-10-15 | 2013-05-22 | 北京中星微电子有限公司 | 一种手机音频文件的情绪化处理和播放方法 |
CN101587708B (zh) * | 2009-06-26 | 2012-05-23 | 清华大学 | 歌曲情绪压力分析方法及系统 |
CN101599271B (zh) * | 2009-07-07 | 2011-09-14 | 华中科技大学 | 一种数字音乐情感的识别方法 |
CN102903375A (zh) * | 2011-07-25 | 2013-01-30 | 富泰华工业(深圳)有限公司 | 音乐播放装置及播放方法 |
CN103187070A (zh) * | 2011-12-28 | 2013-07-03 | 宇龙计算机通信科技(深圳)有限公司 | 基于移动终端的音频文件处理方法及系统 |
CN103187070B (zh) * | 2011-12-28 | 2016-03-30 | 宇龙计算机通信科技(深圳)有限公司 | 基于移动终端的音频文件处理方法及系统 |
CN102543119A (zh) * | 2011-12-31 | 2012-07-04 | 北京百纳威尔科技有限公司 | 基于场景的音乐播放处理方法和音乐播放设备 |
CN103400591A (zh) * | 2013-08-12 | 2013-11-20 | 深圳市金立通信设备有限公司 | 一种播放多媒体的方法及装置 |
CN104683318A (zh) * | 2013-12-03 | 2015-06-03 | 中国科学院声学研究所 | 一种边缘流媒体服务器缓存选择方法与系统 |
CN104683318B (zh) * | 2013-12-03 | 2018-02-16 | 中国科学院声学研究所 | 一种边缘流媒体服务器缓存选择方法与系统 |
CN103794205A (zh) * | 2014-01-21 | 2014-05-14 | 深圳市中兴移动通信有限公司 | 自动合成适配音乐的方法及设备 |
CN104298722A (zh) * | 2014-09-24 | 2015-01-21 | 张鸿勋 | 多媒体交互系统及其方法 |
CN104298722B (zh) * | 2014-09-24 | 2018-01-19 | 张鸿勋 | 多媒体交互系统及其方法 |
CN104281682A (zh) * | 2014-09-30 | 2015-01-14 | 圆刚科技股份有限公司 | 文件分类系统及方法 |
CN106453051A (zh) * | 2016-10-10 | 2017-02-22 | 深圳万发创新进出口贸易有限公司 | 多媒体交互系统 |
CN110019921A (zh) * | 2017-11-16 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 音频与属性的关联方法及装置、音频搜索方法及装置 |
CN110019921B (zh) * | 2017-11-16 | 2023-01-13 | 阿里巴巴集团控股有限公司 | 音频与属性的关联方法及装置、音频搜索方法及装置 |
CN110309327A (zh) * | 2018-02-28 | 2019-10-08 | 北京搜狗科技发展有限公司 | 音频生成方法、装置以及用于音频的生成装置 |
CN110853675A (zh) * | 2019-10-24 | 2020-02-28 | 广州大学 | 一种音乐联觉绘画的装置及其实现方法 |
Also Published As
Publication number | Publication date |
---|---|
TW200925976A (en) | 2009-06-16 |
US20090132593A1 (en) | 2009-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101149950A (zh) | 实现分类播放的媒体播放器及分类播放方法 | |
Foote | An overview of audio information retrieval | |
Whitman et al. | Automatic record reviews | |
CN105074697B (zh) | 用于推断关于实体的元数据的实时众包数据的累积 | |
Lu et al. | Soundsense: scalable sound sensing for people-centric applications on mobile phones | |
US8321414B2 (en) | Hybrid audio-visual categorization system and method | |
CN103177722B (zh) | 一种基于音色相似度的歌曲检索方法 | |
CN109196495A (zh) | 细粒度自然语言理解 | |
EP1533788A1 (en) | Conversation control apparatus, and conversation control method | |
KR100895009B1 (ko) | 음악추천 시스템 및 그 방법 | |
US11276403B2 (en) | Natural language speech processing application selection | |
CN1607575A (zh) | 哼唱编曲系统及其方法 | |
US11881209B2 (en) | Electronic device and control method | |
KR101170208B1 (ko) | 음악추천 시스템 및 방법 | |
Zhu et al. | An integrated music recommendation system | |
US11315552B1 (en) | Responding with unresponsive content | |
US12032611B1 (en) | Responding with unresponsive content | |
CN109582869A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
Turnbull et al. | Modelling music and words using a multi-class naıve bayes approach | |
CN115422947A (zh) | 一种基于深度学习的古诗词配乐方法及系统 | |
CN102841932A (zh) | 一种基于内容的音频语义特征相似度比较方法 | |
Foucard et al. | Multi-scale temporal fusion by boosting for music classification. | |
US11145295B1 (en) | Natural language command routing | |
US20070192097A1 (en) | Method and apparatus for detecting affects in speech | |
US11854040B1 (en) | Responding with unresponsive content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20080326 |