CN108664557A - 基于示例语义的音乐检索装置 - Google Patents

基于示例语义的音乐检索装置 Download PDF

Info

Publication number
CN108664557A
CN108664557A CN201810292525.5A CN201810292525A CN108664557A CN 108664557 A CN108664557 A CN 108664557A CN 201810292525 A CN201810292525 A CN 201810292525A CN 108664557 A CN108664557 A CN 108664557A
Authority
CN
China
Prior art keywords
music
semantic
network
acquisition module
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810292525.5A
Other languages
English (en)
Inventor
秦静
汪祖民
季长清
黄爱钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University
Original Assignee
Dalian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University filed Critical Dalian University
Priority to CN201810292525.5A priority Critical patent/CN108664557A/zh
Publication of CN108664557A publication Critical patent/CN108664557A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于示例语义的音乐检索装置，属于语义分析和音乐检索领域，用于解决发展中文音乐的信息检索的问题，要点是包括标注模块、网络参数获取模块、网络输出获取模块、语义向量获取模块、示例音乐语义向量获取模块、距离计算模块、名称集合获取模块、列表获取模块；效果是可以得到与所记得的歌曲名称最为相似的音乐列表。

Description

基于示例语义的音乐检索装置
技术领域
本发明属于语义分析和音乐检索领域，涉及一种基于示例语义的音乐检索装置。
背景技术
音乐信息检索(MIR)是一个跨学科领域，专注于从音频信号中自动提取信息，并能够搜索出音乐相关信息。基于语义描述的音乐检索是一种从音乐语义描述文件和人对音乐的主观感受出发，检索音乐信息的一种方式，通常处理步骤为：在有监督的多类别标记模型基础上，对音乐实现语义标签的自动化标记，进一步将音乐内容映射到语义空间向量。在语义空间中，比较音乐语义向量之间的相似度，从而得出检索结果。
但语义的体会往往因人而异，有很强的主观性和个性化特点。此外，类似的音乐数据库多集中在西方音乐中，对中文歌曲鲜有完成自动化语义标注的音乐数据库。开发一个基于语义的音乐检索交互系统，是在完成自动化语义标签标注基础上，设计用户交互界面，以完成用户语义检索需求，同时广泛收集用户对歌曲新的标注信息，特别是中文歌曲的标注，有助于中文音乐信息检索的进一步发展。因此，提出基于语义的音乐检索方法十分必要。
发明内容
为了解决进一步发展中文音乐的信息检索的问题，本发明提供一种基于示例语义的音乐检索方法，方案如下：一种基于语义的音乐检索装置，包括
1.一种基于语义的音乐检索装置，其特征在于，包括：
标注模块：标注音乐数据集该数据集中每首音乐被表示成一个d维的特征向量xi,xi∈X,X是数据集，X∈D，i是数据集中音乐的序号，j是语义空间中语义标签的序号；q是待检索的示例音乐，yj是在训练好的网络模型中的xi对应的网络输出；
网络参数获取模块：按照卷积神经网络结构，使用已知标记数据集中xi和yj间的关系，按照设计好的卷积神经网络结构训练网络模型，得到网络参数Wk,bk；Wk是权值网络参数，bk是偏置网络参数；
网络输出获取模块：使用训练好的网络模型，将待检索数据集中每首音乐作为输入，得到网络输出所述训练好的网络模型结构，是根据用户所出示的示例歌曲信号，从中获取底层物理特征并映射到卷积神经网络，把从卷积神经网络得到的语义特征向量导入语义检索算法，在标注数据集的加持下得出检索结果，把用户的交互信息导入交互检索及推荐算法，在标注数据集的加持下得出交互结果，将检索结果和交互结果反馈给用户而形成的网络模型结构；
语义向量获取模块：根据网络模型输出，计算待检索数据集中每首音乐的语义向量，得到语义向量集:sementic表示为语义的，p表示语义向量集中语义向量的项数，是网络输出值；
示例音乐语义向量获取模块：将示例音乐作为卷积神经网络输入，得到网络输出值计算示例音乐q的语义向量
距离计算模块：计算和之间余弦距离Rs；
名称集合获取模块：令音乐列表Xlist是Rs值最小的前n个音乐的名称集合；
列表获取模块：输出在语义空间中与示例音乐最相似的音乐列表Xlist。
有益效果：由上述方案，可以得到与所记得的歌曲名称q最为相似的音乐列表。也就是说，即使输入不完整的歌曲名称，本发明提供的方法也可找到与之匹配的歌曲，基于示例语义的音乐检索方法可有效提高查找音乐的效率。
附图说明
图1是基于语义的音乐检索交互模型框架。
图2是计算语义向量集流程执行图。
图3是音乐检索算法流程执行图。
图4是卷积神经网络结构示意图。
具体实施方式
实施例1：音乐充斥在生活的每一个角落，随着科技的飞速发展，人们对查找音乐的要求也在不断地提高。当对某首歌的歌名不太记得却想要找到这首音乐时，本发明提供的方法可以有效的解决此时的音乐需求。为了实现上述目的，本实施例采用的技术方案执行步骤如下：
S1.输入你所记得的歌曲名称，记为q，标注音乐数据集 该数据集中每首音乐被表示成一个d维的特征向量xi,xi∈X,X是数据集，X∈D，i是数据集中音乐的序号，j是语义空间中语义标签的序号；q是待检索的示例音乐，yj是在训练好的网络模型中的xi对应的网络输出；
S2.按照卷积神经网络结构，使用已知标记数据集中xi和yj间的关系，按照设计好的卷积神经网络结构训练网络模型，得到网络参数Wk,bk；Wk是权值网络参数，bk是偏置网络参数；
S3.使用训练好的网络模型，将待检索数据集中每首音乐作为输入，得到网络输出所述训练好的网络模型结构，是根据用户所出示的示例歌曲信号，从中获取底层物理特征并映射到卷积神经网络，把从卷积神经网络得到的语义特征向量导入语义检索算法，在标注数据集的加持下得出检索结果，把用户的交互信息导入交互检索及推荐算法，在标注数据集的加持下得出交互结果，将检索结果和交互结果反馈给用户而形成的网络模型结构；
S4.根据网络模型输出，计算待检索数据集中每首音乐的语义向量，得到语义向量集:sementic表示为语义的，p表示语义向量集中语义向量的项数，是网络输出值；
S5.将示例音乐作为卷积神经网络输入，得到网络输出值计算示例音乐q的语义向量
S6.计算和之间余弦距离Rs；
S7.令音乐列表Xlist是Rs值最小的前n个音乐的名称集合；
S8.输出在语义空间中与示例音乐最相似的音乐列表Xlist。
基于上述方法，得到一种与上述方法一一对应的装置，包括：
标注模块：标注音乐数据集该数据集中每首音乐被表示成一个d维的特征向量xi,xi∈X,X是数据集，X∈D，i是数据集中音乐的序号，j是语义空间中语义标签的序号；q是待检索的示例音乐，yj是在训练好的网络模型中的xi对应的网络输出；
网络参数获取模块：按照卷积神经网络结构，使用已知标记数据集中xi和yj间的关系，按照设计好的卷积神经网络结构训练网络模型，得到网络参数Wk,bk；Wk是权值网络参数，bk是偏置网络参数；
网络输出获取模块：使用训练好的网络模型，将待检索数据集中每首音乐作为输入，得到网络输出所述训练好的网络模型结构，是根据用户所出示的示例歌曲信号，从中获取底层物理特征并映射到卷积神经网络，把从卷积神经网络得到的语义特征向量导入语义检索算法，在标注数据集的加持下得出检索结果，把用户的交互信息导入交互检索及推荐算法，在标注数据集的加持下得出交互结果，将检索结果和交互结果反馈给用户而形成的网络模型结构；
语义向量获取模块：根据网络模型输出，计算待检索数据集中每首音乐的语义向量，得到语义向量集:sementic表示为语义的，p表示语义向量集中语义向量的项数，是网络输出值；
示例音乐语义向量获取模块：将示例音乐作为卷积神经网络输入，得到网络输出值计算示例音乐q的语义向量
距离计算模块：计算和之间余弦距离Rs；
名称集合获取模块：令音乐列表Xlist是Rs值最小的前n个音乐的名称集合；
列表获取模块：输出在语义空间中与示例音乐最相似的音乐列表Xlist。
由上述方案，可以得到与所记得的歌曲名称q最为相似的音乐列表。也就是说，即使输入不完整的歌曲名称，本发明提供的方法也可找到与之匹配的歌曲，基于示例语义的音乐检索方法可有效提高查找音乐的效率。
基于语义描述的音乐检索是从音乐语义描述文件和人对音乐的主观感受出发，检索音乐信息的一种方式。与传统的基于内容音乐检索和基于文本元数据的音乐检索方式不同，基于语义的检索系统是在有监督的多类别标记模型基础上，对音乐实现语义标签的自动化标记，进一步将音乐内容映射到语义空间向量。在语义空间中，比较音乐语义向量之间的相似度，从而得出检索结果，提高了中文音乐的检索速度，满足现代人对音乐检索的要求。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (1)

1.一种基于语义的音乐检索装置，其特征在于，包括：
标注模块：标注音乐数据集该数据集中每首音乐被表示成一个d维的特征向量xi,xi∈X,X是数据集，X∈D，i是数据集中音乐的序号，j是语义空间中语义标签的序号；q是待检索的示例音乐，yj是在训练好的网络模型中的xi对应的网络输出；
网络参数获取模块：按照卷积神经网络结构，使用已知标记数据集中xi和yj间的关系，按照设计好的卷积神经网络结构训练网络模型，得到网络参数Wk,bk；Wk是权值网络参数，bk是偏置网络参数；
网络输出获取模块：使用训练好的网络模型，将待检索数据集中每首音乐作为输入，得到网络输出所述训练好的网络模型结构，是根据用户所出示的示例歌曲信号，从中获取底层物理特征并映射到卷积神经网络，把从卷积神经网络得到的语义特征向量导入语义检索算法，在标注数据集的加持下得出检索结果，把用户的交互信息导入交互检索及推荐算法，在标注数据集的加持下得出交互结果，将检索结果和交互结果反馈给用户而形成的网络模型结构；
语义向量获取模块：根据网络模型输出，计算待检索数据集中每首音乐的语义向量，得到语义向量集:sementic表示为语义的，p表示语义向量集中语义向量的项数，是网络输出值；
示例音乐语义向量获取模块：将示例音乐作为卷积神经网络输入，得到网络输出值计算示例音乐q的语义向量
距离计算模块：计算和之间余弦距离Rs；
名称集合获取模块：令音乐列表Xlist是Rs值最小的前n个音乐的名称集合；
列表获取模块：输出在语义空间中与示例音乐最相似的音乐列表Xlist。
CN201810292525.5A 2018-03-30 2018-03-30 基于示例语义的音乐检索装置 Pending CN108664557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810292525.5A CN108664557A (zh) 2018-03-30 2018-03-30 基于示例语义的音乐检索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810292525.5A CN108664557A (zh) 2018-03-30 2018-03-30 基于示例语义的音乐检索装置

Publications (1)

Publication Number Publication Date
CN108664557A true CN108664557A (zh) 2018-10-16

Family

ID=63782190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810292525.5A Pending CN108664557A (zh) 2018-03-30 2018-03-30 基于示例语义的音乐检索装置

Country Status (1)

Country Link
CN (1) CN108664557A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
US20150081711A1 (en) * 2013-09-19 2015-03-19 Maluuba Inc. Linking ontologies to expand supported language
CN107402965A (zh) * 2017-06-22 2017-11-28 中国农业大学 一种音频检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
US20150081711A1 (en) * 2013-09-19 2015-03-19 Maluuba Inc. Linking ontologies to expand supported language
CN107402965A (zh) * 2017-06-22 2017-11-28 中国农业大学 一种音频检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦静 等: "基于示例语义的音乐检索模型", 《山东大学学报（理学版）》 *

Similar Documents

Publication Publication Date Title
Gao et al. Target-dependent sentiment classification with BERT
US10678816B2 (en) Single-entity-single-relation question answering systems, and methods
CN104657496B (zh) 一种计算信息热度值的方法和设备
Saari et al. Semantic computing of moods based on tags in social media of music
CN110298033A (zh) 关键词语料标注训练提取工具
CN106257455B (zh) 一种基于依存关系模板抽取观点评价对象的Bootstrapping方法
CN105589948A (zh) 一种文献引用网络可视化及文献推荐方法及系统
Manco et al. Contrastive audio-language learning for music
CN105630768A (zh) 一种基于层叠条件随机场的产品名识别方法及装置
KR20120101233A (ko) 감성 정보 생성 방법, 그를 이용한 감성 정보 기반의 콘텐츠 추천 방법 및 시스템
CN109299272B (zh) 一种用于神经网络输入的大信息量文本表示方法
Knees et al. Music retrieval and recommendation: A tutorial overview
CN109408717A (zh) 一种内容推荐方法及系统
Najafipour et al. SoulMate: Short-text author linking through Multi-aspect temporal-textual embedding
Fell et al. Love me, love me, say (and write!) that you love me: Enriching the WASABI song corpus with lyrics annotations
Oh et al. Music mood classification using intro and refrain parts of lyrics
CN108363769A (zh) 基于语义的音乐检索数据集的建立方法
Goienetxea et al. Towards the use of similarity distances to music genre classification: A comparative study
Almeida et al. BIT. UA at BioASQ 8: Lightweight Neural Document Ranking with Zero-shot Snippet Retrieval.
CN108491544A (zh) 基于示例语义的音乐检索方法
Walha et al. A Lexicon approach to multidimensional analysis of tweets opinion
CN108664557A (zh) 基于示例语义的音乐检索装置
CN109902231A (zh) 基于cbow模型的学习资源推荐方法
Choi Bimodal Music Subject Classification via Context-Dependent Language Models
CN113220929A (zh) 一种基于时间驻留与状态驻留混合模型的音乐推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181016