CN103793447B - 音乐与图像间语义相似度的估计方法和估计系统 - Google Patents
音乐与图像间语义相似度的估计方法和估计系统 Download PDFInfo
- Publication number
- CN103793447B CN103793447B CN201310148164.4A CN201310148164A CN103793447B CN 103793447 B CN103793447 B CN 103793447B CN 201310148164 A CN201310148164 A CN 201310148164A CN 103793447 B CN103793447 B CN 103793447B
- Authority
- CN
- China
- Prior art keywords
- music
- image
- semantic
- target
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000010219 correlation analysis Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 9
- 238000005457 optimization Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种音乐与图像间语义相似度的估计方法及系统。该方法包括构建一个具有匹配关系音乐与图像对的数据库;从音乐和图像中分别抽取特征表示;根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型;获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计。上述音乐与图像间语义相似度的估计方法和系统,根据特征表示及匹配关系构建音乐和图像间语义相似度的估计模型,通通过估计模型自动计算目标音乐与目标图像之间的语义相似度,能够较为准确的估算音乐与图像间的关系广泛用于音乐配图、图像配乐、根据音乐自动生成MV以及图像音乐联合检索等音乐图像交互领域。
Description
技术领域
本发明涉及计算机应用技术,特别是涉及一种音乐与图像间语义相似度的估计方法和估计系统。
背景技术
人们对图像和音乐的感知和理解具有很强的相关性,可根据图像将对应的音乐关联或根据音乐将对应的图像关联。
传统的算法中往往只能对音乐领域或图像领域进行有限的语义识别。例如在图像领域中,语义信息由文本表示。语义信息主要分为三类:1.具体的物体,譬如马、汽车等;2.情景、景象,譬如自然景观、动物园等;3.属性,主要指描述性词汇,譬如高兴、悲伤、人造的、自然的等。最早的识别算法旨在识别出图片中具体的物体,计算机通过计算不同的颜色特征、纹理特征等来识别不同的物体。基于这个基础,还可根据不同词语相关联的图像集之间的距离来定义语义距离,包括同义词、概念相似性、整体部分关系以及并发性关系等。近年来,人们提出一系列新的特征和方法来识别图像中不同的情景,譬如提出有关图像的几何特性,使用降低维度之后的原始图像等。人们也在尝试定义对图像的描述性语义的定义,但这一任务是主观而困难的。通常的方法是人们首先定义出一系列描述性的词汇,其次雇佣人力来对大量图片是否满足某个词汇而进行标定,大部分标定人员一致同意的词汇可被视为真相,针对描述性词汇的识别算法和分类算法与前两类对应的算法类似。
在音乐领域中,语义信息多由描述性词汇构成,包括情绪类(悲伤,激动等)、事件类(聚会,工作等)、风格类(爵士,蓝调等)等。识别音乐的语义的算法包括两个要素:1.音乐特征的采用:目前人们通常采用频谱特征,譬如MFCC(Mel-frequency cepstralcoefficient,美尔倒谱系数),底层音乐特征(节奏、主调、音高等)等;2.识别算法,包括GMM(Gaussian Mixture Model,高斯混合模型),HMM(Hidden Markov Model,隐马尔科夫模型)等。
因音乐和图像属于不同的领域,不同领域的特征和语义属性很难公用,且两个非常复杂的空间,它们之间的关系是非线性的,所以两者之间的关系很难被精准的识别出来。
发明内容
基于此,有必要针对目前音乐和图像之间的关系无法精准识别的问题,提供一种音乐与图像间语义相似度的估计方法,能较为准确的识别出音乐与图像间的关系。
此外,还有必要提供一种音乐与图像间语义相似度的估计系统,能较为准确的识别出音乐与图像间的关系。
一种音乐与图像间语义相似度的估计方法,包括以下步骤:
构建一个具有匹配关系音乐与图像对的数据库;
从音乐和图像中分别抽取特征表示;
根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型;
获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计。
一种音乐与图像间语义相似度的估计系统,包括:
构建模块,用于构建一个具有匹配关系音乐与图像对的数据库;
提取模块,用于从音乐和图像中分别抽取特征表示;
模型构建模块,用于根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型;
相似度计算模块,用于获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计。
上述音乐与图像间语义相似度的估计方法和系统,通过从数据库中抽取音乐和图像的特征表示,根据特征表示及匹配关系构建音乐和图像间语义相似度的估计模型,通过估计模型自动计算目标音乐与目标图像之间的语义相似度,能够较为准确的估算音乐与图像间的关系。
附图说明
图1为一个实施例中音乐与图像间语义相似度的估计方法的流程示意图;
图2为一个实施例中预先标定音乐图像对相似度的比较信息的流程示意图;
图3为音乐录像带被提取分割形成音乐段-图像对示意图;
图4A为选取6个人员标定时的标定准确率示意图;
图4B为选取4个人员标定时的标定准确率示意图;
图5为图1中根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型的流程示意图;
图6为获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计的流程示意图;
图7为一个实施例中实施例中音乐与图像间语义相似度的估计系统的结构示意图;
图8为一个实施例中标定模块的内部结构示意图;
图9为模型构建模块的结构示意图;
图10为一个实施例中相似度计算模块的内部结构示意图;
图11A为三种典型相关分析的标定准确率与音乐聚类的数量之间的关系示意图;
图11B为三种典型相关分析的标定准确率与参考对比例之间的关系示意图。
具体实施方式
下面结合具体的实施例及附图对音乐与图像间语义相似度的估计方法和系统的技术方案进行详细的描述,以使其更加清楚。
如图1所示,在一个实施例中,一种音乐与图像间语义相似度的估计方法,包括:
步骤S110,构建一个具有匹配关系音乐与图像对的数据库。
具体的,构建数据库首先需预先标定音乐图像对相似度的比较信息,根据比较信息构建具有匹配关系的音乐与图像对的数据库。其中,预先标定音乐图像对相似度的比较信息是指哪对音乐图像间的相似度比较高。选出相似度最高的音乐与图像,建立匹配关系。故在数据库中存储中良好的匹配关系的音乐与图像对。
步骤S120,从音乐和图像中分别抽取特征表示。
具体的,对数据库中获取具有匹配关系的音乐和图像对后,抽取音乐和图像的特征表示。该音乐的特征表示可为声学特征表示等。从图像中抽取纹理,色彩等底层特征以及场景等高层特征。
步骤S130,根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型。
具体的,通过抽取的音乐和图像对的特征表示及匹配关系进行学习训练,构建音乐和图像间语义相似度的估计模型。
步骤S140,获取目标图像和目标音乐,利用估计模型对目标图像和目标音乐进行语义相似度估计。
具体的,利用建立好的估计模型估算目标图像和目标音乐之间的语义相似度,实现了对任意图像和音乐之间的语义相似度的估算,得到两者之间的关系。如图2所示,在一个实施例中,所述预先标定音乐图像对相似度的比较信息包括步骤:
步骤S210,获取音视频文件,并从所述音视频文件中提取相对应的音乐和不同场景的图像。
本实施例中,音视频文件为音乐录像带。从1500个专业的涵盖不同的类型和曲风的音乐录像带,且这些录像带属于100个音乐人。将音乐录像带的音乐提取出来,并根据频谱信息对音乐进行分段,本实施例中将每个音乐录像带分割成10到30个音乐段,每个音乐段持续5到60秒。然后提取每个音乐段对应的录像带中的不同场景的图像,与其对应的音乐段共同构成音乐段-图像对。最终,针对1500个音乐录像带,获得47888个音乐段-图像对,其中,25531个音乐段-图像对被用于给标定人员进行标定。如图3所示,图中音乐录像带被提取出音乐和视频,音乐被分割成多个音乐段,并提取与音乐段对应的图像,构成音乐段-图像对,图中s表示秒,frame表示帧。
步骤S220,匹配每一帧图像对应的音乐段。
步骤S230,对图像和音乐段的相似度进行标定,得到音乐图像对相似度的比较信息。
具体的,标定时,提供两个音乐段-图像对,一个来自音乐录像带的音乐段-图像对,一个是相同的音乐配上随机选择的图像构成的音乐段-图像对,统计标定人员从两个音乐段-图像对中选出已被合理匹配的音乐段-图像对的数量,然后计算标定正确率,即标定正确的音乐段-图像对的数量除以总的被标定的音乐段-图像对的数量,将其作为比较信息。
本实施例中,选取6个人员作为标定人员对音乐段-图像对的相似度进行标定,其中3个为有音乐背景的人员,3个无音乐背景的人员,统计得到的平均标定正确率达到86.78%,如图4A所示。选取4个没有音乐背景的人员进行再次标定,其中一个音乐段-图像对来自于不熟悉的音乐录像带,另一个音乐段-图像对来自于不熟悉的音乐录像带的歌手性别相同的其他歌手的音乐录像带,统计得到的平均标定正确率也比较高,如图4B所示。
如图5所示,在一个实施例中,上述根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型包括以下步骤:
步骤S310,根据音乐的语义特征对音乐进行聚类得到音乐类。
具体的,对音乐进行聚类包括:从音乐库获取音乐文件及语义标签属性,计算所述语义标签属性的概率,该语义标签属性的概率作为音乐的语义特征,根据该语义标签属性的概率采用归一化分割法对音乐进行聚类。
音乐库可为音乐网站,语义标签属性是采用音乐网站中已有的语义标签,如表1所示。表1中将语义标签分类,将对应的语义标签划分到对应的类别中。
表1
计算语义标签属性的概率采用“Semantic annotation and retrieval of musicand sound effects(音乐和声音效果的语义标注和检索)”(D.Turnbull,L.Barrington,D.Torres and G.Lanckriet.IEEE Transaction on Audio,Speech and LanguageProcessing,2008)中记载的计算概率的方法进行计算,并将该语义标签属性的概率作为音乐的语义特征。采用归一化分割(“Normalized cuts and image segmentation,Shi,J.andMalik,J.,IEEE Transactions on Pattern Analysis and Machine Intelligence,2000”)对音乐进行聚类,因该归一化分割方法采用输入距离矩阵的方式,所以分割聚类得到音乐类的速度较快。归一化分割方法通过分析音乐样本间的距离矩阵,将音乐样本集合分割为多个子类。如此,音乐被分成了多个类别,如民谣类、古典类等。
音乐类是指一类音乐的集合,例如中国风的音乐类包含所有该风格的音乐。
步骤S320,根据音乐类对相应的图像进行划分和聚类得到图像类。
具体的,采用normalized cut(归一切割)算法将图片相应地分割为与音乐类对应的类别。
步骤S330,从每个类中选取参考音乐和相应的图像构成参考对。
具体的,从每一个类中分别选取至少一个参考音乐和相应的图像构成参考对,参考对的数量可为多个。参考对可采用表示,R是参考对的数量,c表示音乐类,I为图像,M为音乐。
步骤S340,获取训练数据,并计算所述训练数据与每个音乐类中参考对之间的语义距离。
具体的,训练数据是指从具有匹配关系的音乐图像对数据库中抽样的一些音乐图像数据。从训练数据中任一选取一图像I和音乐M,首先计算该图像I和音乐M与某一音乐类中参考对的语义距离: 然后得到新的特征表示: 其中,xc(M)是指图像相对于音乐类c的R个参考对的语义距离参数,yc(M)是指音乐相对于音乐类c的R个参考对的语义距离参数。通过上述方式图像和音乐都被转为相同的维度,而且每一个维度都相互对应。
进一步的,计算训练数据与每个音乐类中参考对之间的语义距离的步骤包括:采用相对熵计算所述训练数据中音乐与参考对中音乐之间的语义距离;采用预定义的图像的特征与距离之间的对应关系计算所述训练数据中图像与参考对中图像之间的语义距离。相对熵(relative entropy)又称KL散度,两描述两个概率分布P和Q差别的非对称性的度量,用于表征音乐间的距离。预定义的图像的特征与距离之间的对应关系如表2所示。
表2
步骤S350,根据语义距离及预先标定的音乐图像对相似度的比较信息构建典型相关分析模型。
为了构建典型相关分析模型,首先利用传统的典型相关分析获取音乐和图像的相似性:
式(1)中,A和B分别为投影矩阵A=[a1;a2;...;aJ],B=[b1;b2;...;bJ],通过传统的典型相关分析的最优化函数可以得到最优化的投影矩阵A和B。
将预先标定的音乐图像对相似度的比较信息量化为目标函数:
其中,x,y分别代表音乐和图像的特征,f是一个铰链损失函数,即如果S(xi,yi)≥S(xi',yi'),则f(S(xi,yi)-S(xi',yi'))=0,否则f(S(xi,yi)-S(xi',yi'))=1-S(xi,yi)+S(xi',yi')。因此扩充了传统的典型相关分析模型,将音乐与图像间的相似度函数定义为:
通过设定Σ的格式,可得到不同的新的目标函数,将∑设为对角阵,因为经过之前的典型相关分析,得到的映射后的特征Ax和By的每一维都相对独立,∑=diag(w1,w2,...,wJ)。设 则音乐与图像间的相似度函数转为:
为此,目标函数可写为:
式(4)中的目标函数可以直接用有序支持向量机(ordinal SVM)直接优化,优化可转成:s.t.;ξi≥0;WTzi-WTzi'≥1-ξi,然后通过拉格朗日乘子求解WT、zi。根据求解得到的参数构建典型相关分析模型。该典型相关分析模型可为就近排序典型相关分析模型或多排序典型相关分析模型。
如图6所示,在一个实施例中,获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计的步骤包括:
步骤S410,选取一部分具有匹配关系的音乐和图像对作为参考数据。
步骤S420,分别计算目标音乐和目标图像的特征。
步骤S430,利用音乐特征计算目标音乐与各参考音乐之间的距离作为新特征。
步骤S440,利用图像特征计算目标图像与各参考图像之间的距离作为新特征。
步骤S450,通过对参考距离特征进行相关分析或典型相关分析,得到目标音乐与目标图像间的相似度估计函数。
具体的,获取目标音乐与目标图像,通过该典型相关分析模型计算得到所述目标音乐和目标图像的语义距离,将该目标音乐和目标图像的语义距离作为所述目标音乐与目标图像间语义相似度。
当典型相关分析模型为就近排序典型相关分析模型时,计算目标音乐x和目标图像y间的语义距离时,选择目标音乐离的最近的音乐类的语义距离作为所述目标音乐和目标图像的语义距离:
式(5)中,S(x,y)是目标音乐与目标图像的语义距离,是目标音乐离的最近的音乐类的语义距离。
该最近的音乐类的语义距离即为目标音乐和目标图像间的相似度估计函数。
当典型相关分析模型为就近排序典型相关分析模型时,计算目标音乐x和目标图像y间的语义距离时,通过加权处理得到语义距离,即计算每个音乐类与目标音乐的语义距离,并进行语义距离的加权处理,将加权所得的语义距离作为目标音乐和目标图像的语义距离:
式(6)中,Sc(x,y)表示在音乐类c中音乐x和图像y之间的距离,dc表示在音乐类c中的距离,σ表示标准差。
由式(6)可知,获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计包括:由各类相似度估计函数加权获得目标音乐与图像间的相似度估计函数。
如图7所示,在一个实施例中,一种音乐与图像间语义相似度的估计系统,包括构建模块110、提取模块120、模型构建模块130和相似度计算模块140。其中:
构建模块110用于构建一个具有匹配关系音乐与图像对的数据库。具体的,构建数据库首先需预先标定音乐图像对相似度的比较信息,根据比较信息构建具有匹配关系的音乐与图像对的数据库。其中,预先标定音乐图像对相似度的比较信息是指哪对音乐图像间的相似度比较高。选出相似度最高的音乐与图像,建立匹配关系。故在数据库中存储中良好的匹配关系的音乐与图像对。
提取模块120用于从音乐和图像中分别抽取特征表示。具体的,对数据库中获取具有匹配关系的音乐和图像对后,抽取音乐和图像的特征表示。该音乐的特征表示可为声学特征表示等。从图像中抽取纹理,色彩等底层特征以及场景等高层特征。
模型构建模块130用于根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型。具体的,通过抽取的音乐和图像对的特征表示及匹配关系进行学习训练,构建音乐和图像间语义相似度的估计模型。
相似度计算模块140用于获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计。具体的,利用建立好的估计模型估算目标图像和目标音乐之间的语义相似度,实现了对任意图像和音乐之间的语义相似度的估算,得到两者之间的关系。
在一个实施例中,如图8所示,构建模块110包括标定模块210,用于预先标定音乐图像对相似度的比较信息。具体的,让标定人员对数据中音乐图像对间的语义相似度进行比较和评价,以获取人认可的音乐图像对,得到音乐图像对相似度的比较信息。
标定模块210包括提取单元212、匹配单元214和标定单元216。其中:
提取单元212用于获取音视频文件,并从所述音视频文件中提取相对应的音乐和不同场景的图像。本实施例中,音视频文件为音乐录像带。从1500个专业的涵盖不同的类型和曲风的音乐录像带,且这些录像带属于100个音乐人。将音乐录像带的音乐提取出来,并根据频谱信息对音乐进行分段,本实施例中将每个音乐录像带分割成10到30个音乐段,每个音乐段持续5到60秒。然后提取每个音乐段对应的录像带中的不同场景的图像,与其对应的音乐段共同构成音乐段-图像对。最终,针对1500个音乐录像带,获得47888个音乐段-图像对,其中,25531个音乐段-图像对被用于给标定人员进行标定。如图3所示,图中音乐录像带被提取出音乐和视频,音乐被分割成多个音乐段,并提取与音乐段对应的图像,构成音乐段-图像对。
匹配单元214用于匹配每一帧图像对应的音乐段。
标定单元216用于对图像和音乐段的相似度进行标定,得到音乐图像对相似度的比较信息。
具体的,标定时,提供两个音乐段-图像对,一个来自音乐录像带的音乐段-图像对,一个是相同的音乐配上随机选择的图像构成的音乐段-图像对,统计标定人员从两个音乐段-图像对中选出已被合理匹配的音乐段-图像对的数量,然后计算标定正确率,即标定正确的音乐段-图像对的数量除以总的被标定的音乐段-图像对的数量,将其作为比较信息。
在一个实施例中,如图9所示,模型构建模块130包括聚类模块312、参考对选取模块314、获取模块316和相关分析模型构建模块318。其中:
聚类模块312用于根据音乐的语义特征对音乐进行聚类得到音乐类,以及根据音乐类对相应的图像进行划分和聚类得到图像类。
对音乐进行聚类包括:从音乐库获取音乐文件及语义标签属性,计算所述语义标签属性的概率,该语义标签属性的概率作为音乐的语义特征,根据该语义标签属性的概率采用归一化分割法对音乐进行聚类。
其中,音乐库可为音乐网站,语义标签属性是采用音乐网站中已有的语义标签,如表1所示。表1中将语义标签分类,将对应的语义标签划分到对应的类别中。
计算语义标签属性的概率采用“Semantic annotation and retrieval of musicand sound effects(音乐和声音效果的语义标注和检索)”(D.Turnbull,L.Barrington,D.Torres and G.Lanckriet.IEEE Transaction on Audio,Speech and LanguageProcessing,2008)中记载的计算概率的方法进行计算,并将该语义标签属性的概率作为音乐的语义特征。采用归一化分割(“Normalized cuts and image segmentation,Shi,J.andMalik,J.,IEEE Transactions on Pattern Analysis and Machine Intelligence,2000”)对音乐进行聚类,因该归一化分割方法采用输入距离矩阵的方式,所以分割聚类得到音乐类的速度较快。如此,音乐被分成了多个类别,如民谣类、古典类等。
此外,采用normalized cut(归一切割)算法将图片相应地分割为与音乐类对应的类别。
参考对选取模块314用于从每个类中选取参考音乐和相应的图像构成参考对。
具体的,从每一个音乐类中分别选取至少一个参考音乐和相应的图像构成参考对,参考对的数量可为多个。参考对可采用表示,R是参考对的数量,c表示音乐类,I为图像,M为音乐。
获取模块316用于获取训练数据,并计算所述训练数据与每个音乐类中参考对之间的语义距离。
具体的,训练数据是指从音乐库中抽样的一些音乐图像数据。从训练数据中任一选取一图像I和音乐M,首先计算该图像I和音乐M与某一音乐类中参考对的语义距离:然后得到新的特征表示:其中,xc(M)是指图像相对于音乐类c的R个参考对的语义距离参数,yc(M)是指音乐相对于音乐类c的R个参考对的语义距离参数。通过上述方式图像和音乐都被转为相同的维度,而且每一个维度都相互对应。
获取模块314采用相对熵计算所述训练数据中音乐与参考对中音乐之间的语义距离;采用预定义的图像的特征与距离之间的对应关系计算所述训练数据中图像与参考对中图像之间的语义距离。
预定义的图像的特征与距离之间的对应关系如表2所示。
相关分析模型构建模块318用于根据所述语义距离及预先标定的音乐图像对相似度的比较信息构建典型相关分析模型。
为了构建典型相关分析模型,首先利用传统的典型相关分析获取音乐和图像的相似性:
式(1)中,A和B分别为投影矩阵A=[a1;a2;...;aJ],B=[b1;b2;...;bJ],通过传统的典型相关分析的最优化函数可以得到最优化的投影矩阵A和B。
将预先标定的音乐图像对相似度的比较信息量化为目标函数:
其中,f是一个铰链损失函数,即如果S(xi,yi)≥S(xi',yi'),则f(S(xi,yi)-S(xi',yi'))=0,否则f(S(xi,yi)-S(xi',yi'))=1-S(xi,yi)+S(xi',yi')。因此扩充了传统的典型相关分析模型,将音乐与图像间的相似度函数定义为:
通过设定∑的格式,可得到不同的新的目标函数,将∑设为对角阵,因为经过之前的典型相关分析,得到的映射后的特征Ax和By的每一维都相对独立,∑=diag(w1,w2,...,wJ)。设 则音乐与图像间的相似度函数转为:
为此,目标函数可写为:
式(4)中的目标函数可以直接用有序支持向量机(ordinal SVM)直接优化,优化可转成:s.t.;ξi≥0;WTzi-WTzi'≥1-ξi,然后通过拉格朗日乘子求解WT、zi。根据求解得到的参数构建典型相关分析模型。该典型相关分析模型可为就近排序典型相关分析模型或多排序典型相关分析模型。
相似度计算模块140用于获取目标音乐与目标图像,通过所述典型相关分析模型计算得到所述目标音乐和目标图像的语义距离,将所述目标音乐和目标图像的语义距离作为所述目标音乐与目标图像间语义相似度。
如图10所示,相似度计算模块140包括选取模块412、特征计算模块414、参考距离特征获取模块416和估计模块418。其中:
选取模块412用于选取一部分具有匹配关系的音乐和图像对作为参考数据。
特征计算模块414用于分别计算目标音乐和目标图像的特征。
参考距离特征获取模块416用于利用音乐特征计算目标音乐与各参考音乐之间的距离作为新特征,以及利用图像特征计算目标图像与各参考图像之间的距离作为新特征。
估计模块418用于通过对参考距离特征进行相关分析或典型相关分析,得到目标音乐与目标图像间的相似度估计函数。
当典型相关分析模型为就近排序典型相关分析模型时,计算目标音乐x和目标图像y间的语义距离时,选择目标音乐离的最近的音乐类的语义距离作为所述目标音乐和目标图像的语义距离:
式(5)中,S(x,y)是目标音乐与目标图像的语义距离,是目标音乐离的最近的音乐类的语义距离。
该最近的音乐类的语义距离即为目标音乐和目标图像间的相似度估计函数。
当典型相关分析模型为就近排序典型相关分析模型时,计算目标音乐x和目标图像y间的语义距离时,通过加权处理得到语义距离,即计算每个音乐类与目标音乐的语义距离,并进行语义距离的加权处理,将加权所得的语义距离作为目标音乐和目标图像的语义距离:
式(6)中,Sc(x,y)表示在音乐类c中音乐x和图像y之间的距离,dc表示在音乐类c中的距离,σ表示标准差。
由式(6)可知,相似度计算模块140由各类相似度估计函数加权获得目标音乐与图像间的相似度估计函数。
上述音乐与图像间语义相似度的估计方法和系统,通过从数据库中抽取音乐和图像的特征表示,根据特征表示及匹配关系构建音乐和图像间语义相似度的估计模型,通过估计模型自动计算目标音乐与目标图像之间的语义距离,能够较为准确的估算音乐与图像间的关系。
此外,分别从图像和音乐中抽取语义特征,然后利用机器学习的方法,从一组匹配好的音乐和图像对中,学习两者语义相似度的估计函数的语义距离,将所述目标音乐和目标图像的语义距离作为所述目标音乐与目标图像间语义相似度,采用语义距离衡量语义相似度较为方便。
上述音乐与图像间语义相似度的估计方法和系统,创造性地提出图像与音乐之间的联系特征——预参考样本间距离特征,并据此构建典型音乐与图像相似度估计模型,其能自动计算目标音乐与目标图像之间的语义距离,据此得出目标音乐与目标图像间的相似度,显著有效的提高了音乐与图像之间的相似度检索准确率,为音乐与图像间的交互应用提供一种切实可行的方法与应用系统。所述系统能广泛用于音乐配图、图像配乐、根据音乐自动生成MV以及图像音乐联合检索等音乐图像交互领域。
上述音乐与图像间语义相似度的估计方法和系统自动计算音乐和图像之间的语义相似度,为了验证方法的可靠性,实施了两个实验:第一个实验先用了一部分标定人员比较过认可的音乐段-图像对进行训练,得到新模型的系数,其次用电脑计算了剩余的标定人员比较过的所有音乐段-图像对,对比得到电脑的准确率;第二个实验直接选用了未经过标定人员认可过的音乐段-图像对进行训练。设定的参数包括音乐聚类的个数,以及随机选择的参考对数量相对于该音乐类总的音乐数量的比例。图11A为标定准确率与音乐聚类个数之间的关系示意图;图11B为标定准确率与参考对比例之间的关系示意图。图11A和图11B中,MR-CCA为多排序典型相关分析,CR-CCA为就近排序典型相关分析,C-CCA为典型相关分析。
通过图11A和图11B可以看出通过标定人员已标定的音乐段-图像对进行训练,最终的电脑准确率最高,加权语义距离在实验中准确性超过了就近语义距离的准确性,而引入比较信息相较于普通的典型相关分析会提高电脑准确率。以普通的典型相关分析得到的电脑准确率为基线,新的模型提高了电脑的准确率4到5个百分点。也对不同的参数进行了比较实验。固定参考对的选择比例,音乐类的聚类数量越多,算法的准确率越高;固定音乐聚类的数量,最高的算法准确率发生在比例为1/8左右。比较了引入聚类和不引入聚类对于性能的差别,对比结果如表3所示。通过聚类和参考对选择,算法的耗时大大减少,降低了94.66%。
表3
参考对类型 | 电脑的准确率(一致率) | 耗时(秒) |
局部参考对选择 | 80.35% | 46.3999s |
全局参考对选择 | 79.24% | 869.2618s |
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种音乐与图像间语义相似度的估计方法,包括以下步骤:
构建一个具有匹配关系音乐与图像对的数据库;
从所述数据库中获取具有匹配关系的音乐和图像对,并从获取到的所述音乐和图像中分别抽取特征表示;
根据所述获取到的所述音乐和图像的特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型;
获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计;
所述获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计,包括:
选取一部分具有匹配关系的音乐和图像对作为参考音乐和图像对;
分别计算目标音乐的音乐特征和所述目标图像的图像特征;
利用所述音乐特征和所述图像特征计算参考距离特征,所述参考距离特征包括第一参考距离特征和第二参考距离特征,所述第一参考距离特征为利用所述音乐特征计算所得的所述目标音乐与各所述参考音乐和图像对中的音乐之间的距离,所述第二参考距离特征为利用所述图像特征计算所得的所述目标图像与各所述参考音乐和图像对中的图像之间的距离;
通过所述估计模型对所述参考距离特征进行相关分析或典型相关分析,得到所述目标音乐与所述目标图像间的相似度估计结果。
2.根据权利要求1所述的音乐与图像间语义相似度的估计方法,其特征在于,所述构建一个具有匹配关系音乐与图像对的数据库包括步骤:
预先标定音乐图像对相似度的比较信息,包括步骤:
获取音视频文件,并从所述音视频文件中提取相对应的音乐和不同场景的图像;
匹配每一帧图像对应的音乐段;
对图像和音乐段的相似度进行标定,得到音乐图像对相似度的比较信息。
3.根据权利要求1至2中任一项所述的音乐与图像间语义相似度的估计方法,其特征在于,所述根据所述特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型的步骤包括:
根据音乐的语义特征对音乐进行聚类得到音乐类;
根据音乐类对相应的图像进行划分和聚类得到图像类;
从每个类中选取参考音乐和相应的图像构成参考对;
计算训练数据与每个类中参考对之间的语义距离;
根据所述语义距离及预先标定的音乐图像对相似度的比较信息构建典型相关分析模型;
所述根据音乐的语义特征对音乐进行聚类的步骤包括:
从音乐库获取音乐文件及语义标签属性,计算所述语义标签属性的概率,所述语义标签属性的概率作为音乐的语义特征,根据所述语义标签属性的概率采用归一化分割法对音乐进行聚类。
4.根据权利要求1至2中任一项所述的音乐与图像间语义相似度的估计方法,其特征在于,所述利用所述估计模型对目标图像和目标音乐进行语义相似度估计包括:
由各类相似度估计函数加权获得所述目标音乐与所述目标图像间的相似度估计函数。
5.一种音乐与图像间语义相似度的估计系统,其特征在于,包括:
构建模块,用于构建一个具有匹配关系音乐与图像对的数据库;
提取模块,用于从所述数据库中获取具有匹配关系的音乐和图像对,并从获取到的所述音乐和图像中分别抽取特征表示;
模型构建模块,用于根据所述获取到的所述音乐和图像的特征表示和匹配关系,利用机器学习的方法,建立音乐与图像间语义相似度的估计模型;
相似度计算模块,用于获取目标图像和目标音乐,利用所述估计模型对目标图像和目标音乐进行语义相似度估计;
所述相似度计算模块包括:
选取模块,用于选取一部分具有匹配关系的音乐和图像对作为参考音乐和图像对;
特征计算模块,用于分别计算目标音乐的音乐特征和所述目标图像的图像特征;
参考距离特征获取模块,用于利用所述音乐特征和所述图像特征计算参考距离特征,所述参考距离特征包括第一参考距离特征和第二参考距离特征,所述第一参考距离特征为利用所述音乐特征计算所得的所述目标音乐与各所述参考音乐和图像对中的音乐之间的距离,所述第二参考距离特征为利用所述图像特征计算所得是所述目标图像与各所述参考音乐和图像对中的图像之间的距离;
估计模块,用于通过所述估计模型对所述参考距离特征进行相关分析或典型相关分析,得到所述目标音乐与所述目标图像间的相似度估计函数。
6.根据权利要求5所述的音乐与图像间语义相似度的估计系统,其特征在于,所述构建模块包括:
标定模块,用于预先标定音乐图像对相似度的比较信息,包括:
提取单元,用于获取音视频文件,并从所述音视频文件中提取相对应的音乐和不同场景的图像;
匹配单元,用于匹配每一帧图像对应的音乐段;
标定单元,用于对图像和音乐段的相似度进行标定,得到音乐图像对相似度的比较信息。
7.根据权利要求5至6中任一项所述的音乐与图像间语义相似度的估计系统,其特征在于,所述模型构建模块包括:
聚类模块,用于根据音乐的语义特征对音乐进行聚类得到音乐类,以及根据音乐类对相应的图像进行划分和聚类得到图像类;
参考对选取模块,用于从每个类中选取参考音乐和相应的图像构成参考对;
获取模块,用于计算训练数据与每个类中参考对之间的语义距离;
相关分析模型构建模块,用于根据所述语义距离及预先标定的音乐图像对相似度的比较信息构建典型相关分析模型;
所述聚类模块还用于从音乐库获取音乐文件及语义标签属性,计算所述语义标签属性的概率,所述语义标签属性的概率作为音乐的语义特征,根据所述语义标签属性的概率采用归一化分割法对音乐进行聚类。
8.根据权利要求5至6中任一项所述的音乐与图像间语义相似度的估计系统,其特征在于,所述相似度计算模块还用于由各类相似度估计函数加权获得所述目标音乐与所述目标图像间的相似度估计函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310148164.4A CN103793447B (zh) | 2012-10-26 | 2013-04-25 | 音乐与图像间语义相似度的估计方法和估计系统 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210418495.0 | 2012-10-26 | ||
CN2012104184950 | 2012-10-26 | ||
CN201210418495 | 2012-10-26 | ||
CN201310148164.4A CN103793447B (zh) | 2012-10-26 | 2013-04-25 | 音乐与图像间语义相似度的估计方法和估计系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103793447A CN103793447A (zh) | 2014-05-14 |
CN103793447B true CN103793447B (zh) | 2019-05-14 |
Family
ID=50669122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310148164.4A Active CN103793447B (zh) | 2012-10-26 | 2013-04-25 | 音乐与图像间语义相似度的估计方法和估计系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103793447B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503034B (zh) * | 2016-09-14 | 2019-07-19 | 厦门黑镜科技有限公司 | 一种为动画配乐的方法及装置 |
US10277834B2 (en) | 2017-01-10 | 2019-04-30 | International Business Machines Corporation | Suggestion of visual effects based on detected sound patterns |
CN107493641B (zh) * | 2017-08-23 | 2020-06-12 | 三星电子(中国)研发中心 | 一种利用音乐驱动的灯光控制方法和装置 |
CN108062522B (zh) * | 2017-12-12 | 2020-03-06 | 广州德科投资咨询有限公司 | 一种机器人的演奏模式生成方法及机器人 |
CN108305605A (zh) * | 2018-03-06 | 2018-07-20 | 吟飞科技(江苏)有限公司 | 基于计算机音视频的人机交互数字乐器系统 |
CN108664557A (zh) * | 2018-03-30 | 2018-10-16 | 大连大学 | 基于示例语义的音乐检索装置 |
CN108920648B (zh) * | 2018-07-03 | 2021-06-22 | 四川大学 | 一种基于音乐-图像语义关系的跨模态匹配方法 |
CN110767201B (zh) * | 2018-07-26 | 2023-09-05 | Tcl科技集团股份有限公司 | 一种配乐生成方法、存储介质及终端设备 |
CN109063163B (zh) | 2018-08-14 | 2022-12-02 | 腾讯科技(深圳)有限公司 | 一种音乐推荐的方法、装置、终端设备和介质 |
CN109284412B (zh) * | 2018-09-20 | 2021-12-24 | 腾讯音乐娱乐科技(深圳)有限公司 | 给音频数据配图的方法和装置 |
CN109408648B (zh) * | 2018-10-26 | 2021-01-22 | 京东方科技集团股份有限公司 | 关联确定方法、作品推荐方法 |
CN109992677B (zh) * | 2019-03-14 | 2021-07-20 | 浙江大学 | 基于Valence-Arousal情感空间的图像-音乐匹配系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101021849A (zh) * | 2006-09-14 | 2007-08-22 | 浙江大学 | 基于内容相关性的跨媒体检索方法 |
CN101281520A (zh) * | 2007-04-05 | 2008-10-08 | 中国科学院自动化研究所 | 基于非监督学习和语义匹配特征交互式体育视频检索方法 |
JP5789578B2 (ja) * | 2012-09-20 | 2015-10-07 | 富士フイルム株式会社 | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859562B (zh) * | 2010-07-01 | 2013-03-06 | 无锡骏聿科技有限公司 | 一种现有图像与卡拉ok旋律实时匹配的方法 |
-
2013
- 2013-04-25 CN CN201310148164.4A patent/CN103793447B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101021849A (zh) * | 2006-09-14 | 2007-08-22 | 浙江大学 | 基于内容相关性的跨媒体检索方法 |
CN101281520A (zh) * | 2007-04-05 | 2008-10-08 | 中国科学院自动化研究所 | 基于非监督学习和语义匹配特征交互式体育视频检索方法 |
JP5789578B2 (ja) * | 2012-09-20 | 2015-10-07 | 富士フイルム株式会社 | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
Also Published As
Publication number | Publication date |
---|---|
CN103793447A (zh) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103793447B (zh) | 音乐与图像间语义相似度的估计方法和估计系统 | |
CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
US9077949B2 (en) | Content search device and program that computes correlations among different features | |
US9368110B1 (en) | Method for distinguishing components of an acoustic signal | |
TWI395201B (zh) | 情緒語音辨識方法及系統 | |
CN114465737B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN110110790B (zh) | 采用无监督聚类得分规整的说话人确认方法 | |
JP2021152682A (ja) | 音声処理装置、音声処理方法、およびプログラム | |
CN105701514A (zh) | 一种用于零样本分类的多模态典型相关分析的方法 | |
CN108091326A (zh) | 一种基于线性回归的声纹识别方法及系统 | |
CN112750442B (zh) | 一种具有小波变换的朱鹮种群生态体系监测系统及其方法 | |
CN105488098B (zh) | 一种基于领域差异性的新词提取方法 | |
CN108520752A (zh) | 一种声纹识别方法和装置 | |
Wang et al. | Exploring audio semantic concepts for event-based video retrieval | |
CN111462761A (zh) | 声纹数据生成方法、装置、计算机装置及存储介质 | |
Ma et al. | Text-independent speaker identification using the histogram transform model | |
CN107093422A (zh) | 一种语音识别方法和语音识别系统 | |
US20160210988A1 (en) | Device and method for sound classification in real time | |
CN104750677A (zh) | 语音传译装置、语音传译方法及语音传译程序 | |
CN111613227A (zh) | 声纹数据生成方法、装置、计算机装置及存储介质 | |
Birla | A robust unsupervised pattern discovery and clustering of speech signals | |
Kalinli et al. | Saliency-driven unstructured acoustic scene classification using latent perceptual indexing | |
CN111462762B (zh) | 一种说话人向量正则化方法、装置、电子设备和存储介质 | |
Yu et al. | Histogram transform model using MFCC features for text-independent speaker identification | |
KR101551879B1 (ko) | 비교데이터 프루닝과 가우시안 혼합 모델의 유사도 추정을 이용한 유해 동영상 필터링 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |