CN116595216A - 音乐检索方法、音乐检索装置、电子设备及存储介质 - Google Patents
音乐检索方法、音乐检索装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116595216A CN116595216A CN202310568357.9A CN202310568357A CN116595216A CN 116595216 A CN116595216 A CN 116595216A CN 202310568357 A CN202310568357 A CN 202310568357A CN 116595216 A CN116595216 A CN 116595216A
- Authority
- CN
- China
- Prior art keywords
- music
- genre
- candidate
- target
- candidate music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001228 spectrum Methods 0.000 claims abstract description 91
- 239000013598 vector Substances 0.000 claims abstract description 65
- 238000012512 characterization method Methods 0.000 claims abstract description 57
- 238000012216 screening Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 15
- 238000004891 communication Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000003058 natural language processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/632—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种音乐检索方法、音乐检索装置、电子设备及存储介质,属于人工智能技术领域。该方法包括:获取目标描述文本和候选音乐,其中,目标描述文本包括目标对象对音乐的描述内容;对目标描述文本进行词语识别,得到流派描述词语;对候选音乐进行频谱变换,得到候选音乐频谱序列;基于候选音乐频谱序列,获取候选音乐对应的候选音乐流派表征向量;基于候选音乐流派表征向量对候选音乐进行流派识别,得到候选音乐的流派标签数据;基于流派描述词语和流派标签数据对候选音乐进行筛选,得到目标音乐;将目标音乐反馈给目标对象。本申请实施例能够提高音乐检索的准确性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种音乐检索方法、音乐检索装置、电子设备及存储介质。
背景技术
在音乐检索过程中,目前的检索方法大多是人工标注的音乐流派标签来和用户输入的描述内容进行匹配,这一方式往往无法完全标注所有的音乐曲目,具备较大的局限性,例如,人工标注通常是单标签标注,并不能体现出音乐的全部流派特征,会导致音乐检索准确性不高的问题,因此,如何提高音乐检索的准确性,成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种音乐检索方法、音乐检索装置、电子设备及存储介质,旨在提高音乐检索的准确性。
为实现上述目的,本申请实施例的第一方面提出了一种音乐检索方法,所述方法包括:
获取目标描述文本和候选音乐,其中,所述目标描述文本包括目标对象对音乐的描述内容;
对所述目标描述文本进行词语识别,得到流派描述词语;
对所述候选音乐进行频谱变换,得到候选音乐频谱序列;
基于所述候选音乐频谱序列,获取所述候选音乐对应的候选音乐流派表征向量;
基于所述候选音乐流派表征向量对所述候选音乐进行流派识别,得到所述候选音乐的流派标签数据;
基于所述流派描述词语和所述流派标签数据对所述候选音乐进行筛选,得到目标音乐;
将所述目标音乐反馈给所述目标对象。
在一些实施例,所述对所述目标描述文本进行词语识别,得到流派描述词语,包括:
对所述目标描述文本进行分词处理,得到多个目标描述词语;
对所述目标描述词语进行实体特征提取,得到实体词语特征;
基于预设词典和所述实体词语特征,从所述目标描述词语中筛选出所述流派描述词语。
在一些实施例,所述基于所述流派描述词语和所述流派标签数据对所述候选音乐进行筛选,得到目标音乐,包括:
对所述流派描述词语和所述流派标签数据进行相关性评分,得到相关性分值;
基于所述相关性分值,从所述流派标签数据中筛选出目标标签,其中,所述目标标签与所述流派描述词语表征相同的音乐流派;
获取所述目标标签的标签总量;
基于所述标签总量对所述候选音乐进行筛选,得到所述目标音乐。
在一些实施例,所述将所述目标音乐反馈给所述目标对象,包括:
基于所述目标音乐的所述标签总量对所述目标音乐进行排序,得到音乐检索列表;
将所述音乐检索列表反馈给所述目标对象。
在一些实施例,所述对所述候选音乐进行频谱变换,得到候选音乐频谱序列,包括:
基于预设函数对所述候选音乐进行频谱变换,得到所述候选音乐的梅尔倒谱特征;
对所述梅尔倒谱特征进行特征分割,得到多个候选频谱片段;
对所述候选频谱片段进行降维,得到目标频谱片段;
对所述目标频谱片段进行拼接,得到所述候选音乐频谱序列。
在一些实施例,所述基于所述候选音乐频谱序列,获取所述候选音乐对应的候选音乐流派表征向量,包括:
基于预设的编码网络对所述候选音乐频谱序列进行特征提取,得到初步音乐流派表征向量,其中,所述编码网络包括至少两个transformer编码器;
对所述初步音乐流派表征向量进行向量微调,得到所述候选音乐流派表征向量。
在一些实施例,所述基于所述候选音乐流派表征向量对所述候选音乐进行流派识别,得到所述候选音乐的流派标签数据,包括:
基于预设的候选流派类别和所述候选音乐流派表征向量对所述候选音乐进行流派评分,得到音乐流派分值;
根据所述音乐流派分值对所述候选流派类别进行筛选,得到所述候选音乐的多个目标流派标签;
根据所述目标流派标签,得到所述流派标签数据。
为实现上述目的,本申请实施例的第二方面提出了一种音乐检索装置,所述装置包括:
获取模块,用于获取目标描述文本和候选音乐,其中,所述目标描述文本包括目标对象对音乐的描述内容;
词语识别模块,用于对所述目标描述文本进行词语识别,得到流派描述词语;
频谱变换模块,用于对所述候选音乐进行频谱变换,得到候选音乐频谱序列;
流派表征提取模块,用于基于所述候选音乐频谱序列,获取所述候选音乐对应的候选音乐流派表征向量;
流派识别模块,用于基于所述候选音乐流派表征向量对所述候选音乐进行流派识别,得到所述候选音乐的流派标签数据;
音乐筛选模块,用于基于所述流派描述词语和所述流派标签数据对所述候选音乐进行筛选,得到目标音乐;
结果反馈模块,用于将所述目标音乐反馈给所述目标对象。
为实现上述目的,本申请实施例的第三方面提出了一种电子设备,所述电子设备包括存储器、处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的,本申请实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请提出的音乐检索方法、音乐检索装置、电子设备及存储介质,其通过获取目标描述文本和候选音乐,其中,目标描述文本包括目标对象对音乐的描述内容;对目标描述文本进行词语识别,得到流派描述词语,能够较为方便地识别出目标描述文本中表述音乐流派的词汇内容,得到流派描述词语,使得能够基于流派描述词语从候选音乐中检索出符合需求的音乐。进一步地,对候选音乐进行频谱变换,得到候选音乐频谱序列,能够较为方便地提取候选音乐中的音频特征信息;进一步地,基于候选音乐频谱序列,获取候选音乐对应的候选音乐流派表征向量,能够实现对候选音乐的流派表征信息的细粒度化,有利于提高音乐检索的准确性。进一步地,基于候选音乐流派表征向量对候选音乐进行流派识别,得到候选音乐的流派标签数据,并基于流派描述词语和流派标签数据对候选音乐进行筛选,得到目标音乐,并将目标音乐反馈给目标对象,能够较为方便地基于流派描述词语从多个候选音乐中筛选出流派类别更符合目标对象的检索需求的目标音乐,能够有效地缩小检索数据量和提高音乐检索精度。
附图说明
图1是本申请实施例提供的音乐检索方法的流程图;
图2是图1中的步骤S102的流程图;
图3是图1中的步骤S103的流程图;
图4是图1中的步骤S104的流程图;
图5是图1中的步骤S105的流程图;
图6是图1中的步骤S106的流程图;
图7是图1中的步骤S107的流程图;
图8是本申请实施例提供的音乐检索装置的结构示意图;
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
首先,对本申请中涉及的若干名词进行解析:
人工智能(artificial intelligence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
自然语言处理(natural language processing,NLP):NLP用计算机来处理、理解以及运用人类语言(如中文、英文等),NLP属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域,它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
信息抽取(Information Extraction,NER):从自然语言文本中抽取指定类型的实体、关系、事件等事实信息,并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的,例如句子、段落、篇章,文本信息正是由一些小的具体的单位构成的,例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取,当然,文本信息抽取技术所抽取的信息可以是各种类型的信息。
梅尔倒频谱系数(Mel-Frequency Cipstal Coefficients,MFCC):是一组用来建立梅尔倒频谱的关键系数。由音乐信号当中的片段,可以得到一组足以代表此音乐信号的倒频谱,而梅尔倒频谱系数即是从这个倒频谱中推得的倒频谱(也就是频谱的频谱)。与一般的倒频谱不同,梅尔倒频谱最大的特色在于梅尔倒频谱上的频带是均匀分布于梅尔刻度上的,也就是说,相较于一般所看到、线性的倒频谱表示方法,这样的频带会和人类非线性的听觉系统(Audio System)更为接近。例如:在音讯压缩的技术中,常常使用梅尔倒频谱来处理。
隐马尔科夫模型(Hidden Markov Model,HMM):隐马尔科夫模型是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。在简单的马尔可夫模型(如马尔可夫链),所述状态是直接可见的观察者,因此状态转移概率是唯一的参数。在隐马尔可夫模型中,状态是不直接可见的,但输出依赖于该状态下,是可见的。每个状态通过可能的输出记号有了可能的概率分布。因此,通过一个HMM产生标记序列提供了有关状态的一些序列的信息。注意,“隐藏”指的是,该模型经其传递的状态序列,而不是模型的参数;即使这些参数是精确已知的,我们仍把该模型称为一个“隐藏”的马尔可夫模型。隐马尔可夫模型以它在时间上的模式识别所知,如语音,手写,手势识别,词类的标记,乐谱,局部放电和生物信息学应用。
Softmax函数:Softmax函数是归一化指数函数。
多头注意力:(multi-head attention)是利用多个查询,来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。硬注意力,即基于注意力分布的所有输入信息的期望。
编码(encoder):就是将输入序列转化成一个固定长度的向量。
解码(Decoder):就是将之前生成的固定向量再转化成输出序列;其中,输入序列可以是文字、语音、图像、视频;输出序列可以是文字、图像。
在音乐检索过程中,目前的检索方法大多是人工标注的音乐流派标签来和用户输入的描述内容进行匹配,这一方式往往无法完全标注所有的音乐曲目,具备较大的局限性,例如,人工标注通常是单标签标注,并不能体现出音乐的全部流派特征,会导致音乐检索准确性不高的问题,因此,如何提高音乐检索的准确性,成为了亟待解决的技术问题。
基于此,本申请实施例提供了一种音乐检索方法、音乐检索装置、电子设备及存储介质,旨在提高音乐检索的准确性。
本申请实施例提供的音乐检索方法、音乐检索装置、电子设备及存储介质,具体通过如下实施例进行说明,首先描述本申请实施例中的音乐检索方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的音乐检索方法,涉及人工智能技术领域。本申请实施例提供的音乐检索方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现音乐检索方法的应用等,但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
图1是本申请实施例提供的音乐检索方法的一个可选的流程图,图1中的方法可以包括但不限于包括步骤S101至步骤S107。
步骤S101,获取目标描述文本和候选音乐,其中,目标描述文本包括目标对象对音乐的描述内容;
步骤S102,对目标描述文本进行词语识别,得到流派描述词语;
步骤S103,对候选音乐进行频谱变换,得到候选音乐频谱序列;
步骤S104,基于候选音乐频谱序列,获取候选音乐对应的候选音乐流派表征向量;
步骤S105,基于候选音乐流派表征向量对候选音乐进行流派识别,得到候选音乐的流派标签数据;
步骤S106,基于流派描述词语和流派标签数据对候选音乐进行筛选,得到目标音乐;
步骤S107,将目标音乐反馈给目标对象。
本申请实施例所示意的步骤S101至步骤S107,通过获取目标描述文本和候选音乐,其中,目标描述文本包括目标对象对音乐的描述内容;对目标描述文本进行词语识别,得到流派描述词语,能够较为方便地识别出目标描述文本中表述音乐流派的词汇内容,得到流派描述词语,使得能够基于流派描述词语从候选音乐中检索出符合需求的音乐。进一步地,对候选音乐进行频谱变换,得到候选音乐频谱序列,能够较为方便地提取候选音乐中的音频特征信息;进一步地,基于候选音乐频谱序列,获取候选音乐对应的候选音乐流派表征向量,能够实现对候选音乐的流派表征信息的细粒度化,有利于提高音乐检索的准确性。进一步地,基于候选音乐流派表征向量对候选音乐进行流派识别,得到候选音乐的流派标签数据,并基于流派描述词语和流派标签数据对候选音乐进行筛选,得到目标音乐,并将目标音乐反馈给目标对象,能够较为方便地基于流派描述词语从多个候选音乐中筛选出流派类别更符合目标对象的检索需求的目标音乐,能够有效地缩小检索数据量和提高音乐检索精度。
在一些实施例的步骤S101中,可以从预设的音乐数据库中提取候选音乐,或者从网络平台等渠道下载候选音乐,候选音乐可以包括不同语种、不同场景、不同风格的音乐。例如,候选音乐包括中文歌曲、英文歌曲或者日文歌曲等等。目标对象可以以键入或者语音输入等多种方式输入想要获取的音乐的描述内容,音乐检索系统能够基于预设的内容识别算法对描述内容进行识别,得到目标描述文本,其中,目标对象可以是网络用户等等相关人物,目标描述文本包括目标对象对音乐的描述内容。例如,目标对象可以以键入的方式输入描述文字:“九十年代的港台歌曲”或者“怀旧歌曲”等音乐描述内容。
请参阅图2,在一些实施例中,步骤S102可以包括但不限于包括步骤S201至步骤S203:
步骤S201,对目标描述文本进行分词处理,得到多个目标描述词语;
步骤S202,对目标描述词语进行实体特征提取,得到实体词语特征;
步骤S203,基于预设词典和实体词语特征,从目标描述词语中筛选出流派描述词语。
在一些实施例的步骤S201中,在对目标描述文本进行分词时,可以采用Jieba分词器等分词工具对目标描述文本进行分词处理,得到多个目标描述词语。以Jieba分词器为例,首先通过对照Jieba分词器内的词典生成目标描述文本对应的有向无环图,再根据预设的选择模式和词典寻找有向无环图上的最短路径,根据最短路径对该目标描述文本进行截取,或者直接对该目标描述文本进行截取,得到目标描述词语。
进一步地,对于不在词典中的描述词语,可以使用HMM(隐马尔科夫模型)进行新词发现。具体地,将字符在评论文本词段中的位置B、M、E、S作为隐藏状态,字符是观测状态,其中,B/M/E/S分别代表出现在词头、词中、词尾以及单字成词。使用词典文件分别存储字符之间的表现概率矩阵、初始概率向量和转移概率矩阵。再利用维特比算法对最大可能的隐藏状态进行求解,从而得到目标描述词语。
在一些实施例的步骤S202中,可以采用命名实体算法等对目标描述词语进行实体特征提取,得到每个目标描述词语对应的实体词语特征。
在一些实施例的步骤S203中,预设词典包括多个参考词语特征和参考描述词语,每个参考词语特征对应一个参考描述词语,将实体词语特征和预设词典中的每一参考词语特征进行相似度计算,得到每一参考词语特征和实体词语特征之间的相似度值,将相似度最高的参考词语特征作为每个实体词语特征的对应特征,并基于参考词语特征和参考描述词语的对应关系,提取到每个实体词语特征对应的参考描述词语,将该参考描述词语作为初步描述词语。最后,根据初步描述词语的词性和词义,筛选出表征音乐流派内容的初步描述词语作为目标描述词语。
通过上述的步骤S201至步骤S203能够较为方便地从目标描述文本中提取出目标对象对音乐的具体描述词语,并识别出具体描述词语中表述音乐流派的词汇内容,得到流派描述词语,使得能够基于流派描述词语从候选音乐中检索出符合需求的音乐,从而提高音乐检索的精度。
请参阅图3,在一些实施例中,步骤S103可以包括但不限于包括步骤S301至步骤S304:
步骤S301,基于预设函数对候选音乐进行频谱变换,得到候选音乐的梅尔倒谱特征;
步骤S302,对梅尔倒谱特征进行特征分割,得到多个候选频谱片段;
步骤S303,对候选频谱片段进行降维,得到目标频谱片段;
步骤S304,对目标频谱片段进行拼接,得到候选音乐频谱序列。
在一些实施例的步骤S301中,可以从常用的语音处理数据库中调用预设函数,例如,该语音处理数据库可以是librosa库,预设函数可以是librosa库中的librosa.feature.melspectrogram()函数,直接利用librosa.feature.melspectrogram()函数来对候选音乐进行频谱特征提取,得到候选音乐的梅尔倒谱特征。
在一些实施例的步骤S302中,可以根据预设的时间参数对梅尔倒谱特征进行在分割,将梅尔倒谱特征裁切为多个时间长度相等的候选频谱片段,每一候选频谱片段的音频时长和时间参数相同,其中,该时间参数的具体数值可以根据实际需求设置,不做限制。例如,时间参数为50ms,则以50ms为单位,将梅尔倒谱特征裁切为多个时间长度相等的候选频谱片段。
在一些实施例的步骤S303中,可以对每一候选频谱片段进行展平处理,将候选频谱片段从二维特征降维成一维特征,得到目标频谱片段,一个目标频谱片段即为该候选音乐的最小音乐单元token。
在一些实施例的步骤S304中,根据目标频谱片段的时间先后顺序,将这一系列的目标频谱片段合并成一个整体,得到候选音乐频谱序列,即候选音乐频谱序列由多个最小音乐单元token组成。
通过上述的步骤S301至步骤S304能够较为方便地提取候选音乐中的音频特征信息,并将候选音乐的音频特征信息处理成适合模型进行提取的音频序列,能够有效地提高神经网络模型对候选音乐的音频特征的学习能力,有利于改善模型对特征提取的准确性。
请参阅图4,在一些实施例中,步骤S104可以包括但不限于包括步骤S401至步骤S402:
步骤S401,基于预设的编码网络对候选音乐频谱序列进行特征提取,得到初步音乐流派表征向量,其中,编码网络包括至少两个transformer编码器;
步骤S402,对初步音乐流派表征向量进行向量微调,得到候选音乐流派表征向量。
在一些实施例的步骤S401中,上述的神经网络模型包括编码网络,编码网络包括至少两个transformer编码器。基于多个transformer编码器能够较好地对输入的候选音乐频谱序列中的目标频谱片段之间的长距离依赖关系进行捕捉,根据目标频谱片段之间的相关性来提取候选音乐频谱序列的整体流派表征信息,得到初步音乐流派表征向量。
由于每一transformer编码器的网络结构基本一致,因此,以第一个transformer编码器的特征提取过程为例,将候选音乐频谱序列输入至编码网络的第一个transformer编码器,先由transformer编码器的编码部分对候选音乐频谱序列进行音频信息提取,得到候选音乐频谱序列对应的第一候选频谱隐向量,该第一候选频谱隐向量包括候选音乐的基本频谱内容信息,其中,该编码部分由编码层、注意力机制层、归一化层和激活层依次连接形成。在得到第一候选频谱隐向量之后,再由transformer编码器的解码部分对第一候选频谱隐向量进行多头注意力计算和激活处理,得到第一音乐流派表征向量,其中,解码部分由多头注意力机制层、归一化层、激活层以及全连接层依次连接形成。再将第一音乐流派表征向量输入至编码网络的第二个transformer编码器,基于第二个transformer编码器重复上述过程,…,依次类推,将最后一个transformer编码器的输出作为初步音乐流派表征向量。
需要说明的是,为了兼顾特征提取的精度和编码网络的训练效率,上述的编码网络中的transformer编码器可以设置为四个,即将四个transformer编码器依次连接,将候选音乐频谱序列输入至第一个transformer编码器进行特征提取,将第一个transformer编码器的输出作为下一个transformer编码器的输入,依次类推,将最后一个transformer编码器的输出作为初步音乐流派表征向量。
在一些实施例的步骤S402中,在对初步音乐流派表征向量进行向量微调时,可以是基于预设的标准尺寸参数对初步音乐流派表征向量的向量尺寸进行调整,使得调整之后的初步音乐流派表征向量的向量尺寸满足实际需求,得到候选音乐流派表征向量。
通过上述步骤S401至步骤S402能够较好地捕捉候选音乐频谱序列中的目标频谱片段之间的长距离依赖关系,并基于这一长距离依赖关系确定目标频谱片段之间的相关性,从而根据目标频谱片段之间的相关性来提取候选音乐频谱序列的整体流派表征信息,能够实现对输入音乐的流派表征信息的细粒度化,有利于提高音乐检索的准确性。
请参阅图5,在一些实施例中,步骤S105可以包括但不限于包括步骤S501至步骤S503:
步骤S501,基于预设的候选流派类别和候选音乐流派表征向量对候选音乐进行流派评分,得到音乐流派分值;
步骤S502,根据音乐流派分值对候选流派类别进行筛选,得到候选音乐的多个目标流派标签;
步骤S503,根据目标流派标签,得到流派标签数据。
在一些实施例的步骤S501中,可以基于预设的流派分类器和候选流派类别对候选音乐流派表征向量进行流派评分,得到音乐流派分值。具体地,流派分类器可以是softmax分类器,基于softmax分类器创建候选音乐流派表征向量在每一候选音乐流派类别上的概率分布,将根据概率分布生成的概率分布向量作为候选音乐在候选音乐流派类别上的音乐流派分值。
在一些实施例的步骤S502中,由于音乐流派分值能够较为直观地反映出候选音乐属于每个候选流派类别的可能性,因此比对音乐流派分值和预设阈值,若保留音乐流派分值大于预设阈值的候选流派类别,将保留下来的候选流派类别作为候选音乐的目标流派标签,因此,能够基于音乐流派分值对候选流派类别进行筛选,得到候选音乐的多个目标流派标签。
在一些实施例的步骤S503中,可以比对每个目标流派标签的音乐流派分值大小,根据音乐流派分值的大小对目标流派标签进行降序排列,得到候选音乐的音乐流派序列,将这一音乐流派序列作为流派标签数据。
例如,候选流派类别包括流行、摇滚、电子、民谣,其中,候选音乐在流行、摇滚、电子、民谣这四个流派类别上的音乐流派分值依次为0.5,0.1,0.13,0.27。预设阈值为0.15。则基于对比情况,将流行、民谣这两个流派类别作为候选音乐的目标流派标签。由于0.5>0.27,则根据音乐流派分值的大小对目标流派标签进行降序排列,得到候选音乐的流派标签数据为[流行,民谣]。
通过上述步骤S501至步骤S503能够清楚地根据候选音乐流派表征向量来判断候选音乐的音乐流派类别,能够实现基于候选音乐流派表征向量来预测该候选音乐在每一个候选音乐流派类别上的概率分布大小,能够较好地提高对候选音乐的流派识别的准确性。
请参阅图6,在一些实施例,步骤S106包括但不限于包括步骤S601至步骤S604:
步骤S601,对流派描述词语和流派标签数据进行相关性评分,得到相关性分值;
步骤S602,基于相关性分值,从流派标签数据中筛选出目标标签,其中,目标标签与流派描述词语表征相同的音乐流派;
步骤S603,获取目标标签的标签总量;
步骤S604,基于标签总量对候选音乐进行筛选,得到目标音乐。
在一些实施例的步骤S601中,在对流派描述词语和流派标签数据进行相关性评分时,可以采用余弦相似度算法、欧式距离等方式来计算流派描述词语与流派标签数据中的每个流派类别之间的相似值,将该相似值流派描述词语与流派标签数据中的每个流派类别的相关性分值。
在一些实施例的步骤S602中,相关性分值的大小能够清楚地反映出流派类别和流派描述词语所表征的音乐流派是否一致,因此,比较相关性分值和预设分数阈值,流派标签数据中相关性分值大于预设分数阈值,则表示流派类别与流派描述词语所表征的音乐流派一致,将流派标签数据中相关性分值大于预设分数阈值的流派类别作为目标标签,即该目标标签与流派描述词语表征相同的音乐流派。因此,可以直接将流派标签数据中存在与流派描述词语表征相同音乐流派的目标标签的候选音乐作为目标音乐。
在一些实施例的步骤S603中,由于当流派描述词语有多个时,即便是候选音乐的流派标签数据中存在与流派描述词语表征相同音乐流派的目标标签,候选音乐也不一定能够满足目标对象的检索需求,因此需要进一步地对候选音乐进行筛选,该筛选依据可以是目标标签的标签总量,当标签总量较多时,则说明候选音乐涉及的音乐流派与目标对象所查询的音乐流派相似度较高,更符合目标对象的需求。因此,基于sum函数等统计学函数对目标标签的标签总量进行统计,得到标签总量。
在一些实施例的步骤S604中,可以基于不同数量的流派描述词语设置不同的标签数量阈值,例如,当存在一个流派描述词语时,标签数量阈值为1,当存在3个流派描述词语时,标签数量阈值为2,当存在5个流派描述词语时,标签数量阈值为3等等。因此,根据流派描述词语的个数,提取不同的标签数量阈值,将标签数量阈值与标签总量进行比对,当标签总量大于标签数量阈值,则说明该候选音乐涉及的音乐流派与目标对象所查询的音乐流派相似度较高,因此,可以将标签总量大于标签数量阈值的候选音乐作为目标音乐。
通过上述步骤S601至步骤S604能够较为方便地基于流派描述词语从多个候选音乐中筛选出流派类别更符合目标对象的检索需求的目标音乐,能够有效地缩小检索数据量和提高音乐检索精度。
请参阅图7,在一些实施例中,步骤S107可以包括但不限于包括步骤S701至步骤S702:
步骤S701,基于目标音乐的标签总量对目标音乐进行排序,得到音乐检索列表;
步骤S702,将音乐检索列表反馈给目标对象。
在一些实施例的步骤S701中,由于标签总量的多少可以反映出目标音乐与目标对象输入的目标描述文本的流派内容的匹配程度,若标签总量的数量越多,则标音乐与目标对象输入的目标描述文本的流派内容的匹配程度越高,因此,可以比较每个目标音乐的标签总量的多少,基于不同目标音乐的标签总量的多少,将这一系列的目标音乐进行降序排列,将标签总数更多的目标音乐排在靠前的位置,将标签总数较少的目标音乐排在靠后的位置,得到音乐检索列表。
在一些实施例的步骤S702中,将音乐检索列表直接反馈给目标用户,或者选取音乐检索列表中位置较为靠前的目标音乐反馈给目标对象。
进一步地,在反馈目标音乐时,可以采用表格、树状图或者区块等多种形式展示给目标对象。例如,根据目标音乐的第一顺位的音乐流派类别,将目标音乐分成多个区块,并将不同的音乐流派区块以不同的颜色着色并展示给目标对象。
通过上述步骤S701和步骤S702能够在提高音乐检索精度的同时,降低通信成本,还能够提高目标音乐的展示多样性。
本申请实施例的音乐检索方法,其通过获取目标描述文本和候选音乐,其中,目标描述文本包括目标对象对音乐的描述内容;对目标描述文本进行词语识别,得到流派描述词语,能够较为方便地识别出目标描述文本中表述音乐流派的词汇内容,得到流派描述词语,使得能够基于流派描述词语从候选音乐中检索出符合需求的音乐。进一步地,对候选音乐进行频谱变换,得到候选音乐频谱序列,能够较为方便地提取候选音乐中的音频特征信息;进一步地,基于候选音乐频谱序列,获取候选音乐对应的候选音乐流派表征向量,能够实现对候选音乐的流派表征信息的细粒度化,有利于提高音乐检索的准确性。进一步地,基于候选音乐流派表征向量对候选音乐进行流派识别,得到候选音乐的流派标签数据,并基于流派描述词语和流派标签数据对候选音乐进行筛选,得到目标音乐,并将目标音乐反馈给目标对象,能够较为方便地基于流派描述词语从多个候选音乐中筛选出流派类别更符合目标对象的检索需求的目标音乐,能够有效地缩小检索数据量和提高音乐检索精度。
请参阅图8,本申请实施例还提供一种音乐检索装置,可以实现上述音乐检索方法,该装置包括:
获取模块801,用于获取目标描述文本和候选音乐,其中,目标描述文本包括目标对象对音乐的描述内容;
词语识别模块802,用于对目标描述文本进行词语识别,得到流派描述词语;
频谱变换模块803,用于对候选音乐进行频谱变换,得到候选音乐频谱序列;
流派表征提取模块804,用于基于候选音乐频谱序列,获取候选音乐对应的候选音乐流派表征向量;
流派识别模块805,用于基于候选音乐流派表征向量对候选音乐进行流派识别,得到候选音乐的流派标签数据;
音乐筛选模块806,用于基于流派描述词语和流派标签数据对候选音乐进行筛选,得到目标音乐;
结果反馈模块807,用于将目标音乐反馈给目标对象。
该音乐检索装置的具体实施方式与上述音乐检索方法的具体实施例基本相同,在此不再赘述。
本申请实施例还提供了一种电子设备,电子设备包括:存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线,程序被处理器执行时实现上述音乐检索方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9,图9示意了另一实施例的电子设备的硬件结构,电子设备包括:
处理器901,可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器902,可以采用只读存储器(ReadOnlyMemory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory,RAM)等形式实现。存储器902可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器902中,并由处理器901来调用执行本申请实施例的音乐检索方法;
输入/输出接口903,用于实现信息输入及输出;
通信接口904,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信;
总线905,在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息;
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述音乐检索方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的音乐检索方法、音乐检索装置、电子设备及计算机可读存储介质,其通过获取目标描述文本和候选音乐,其中,目标描述文本包括目标对象对音乐的描述内容;对目标描述文本进行词语识别,得到流派描述词语,能够较为方便地识别出目标描述文本中表述音乐流派的词汇内容,得到流派描述词语,使得能够基于流派描述词语从候选音乐中检索出符合需求的音乐。进一步地,对候选音乐进行频谱变换,得到候选音乐频谱序列,能够较为方便地提取候选音乐中的音频特征信息;进一步地,基于候选音乐频谱序列,获取候选音乐对应的候选音乐流派表征向量,能够实现对候选音乐的流派表征信息的细粒度化,有利于提高音乐检索的准确性。进一步地,基于候选音乐流派表征向量对候选音乐进行流派识别,得到候选音乐的流派标签数据,并基于流派描述词语和流派标签数据对候选音乐进行筛选,得到目标音乐,并将目标音乐反馈给目标对象,能够较为方便地基于流派描述词语从多个候选音乐中筛选出流派类别更符合目标对象的检索需求的目标音乐,能够有效地缩小检索数据量和提高音乐检索精度。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图1-7中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。
Claims (10)
1.一种音乐检索方法,其特征在于,所述方法包括:
获取目标描述文本和候选音乐,其中,所述目标描述文本包括目标对象对音乐的描述内容;
对所述目标描述文本进行词语识别,得到流派描述词语;
对所述候选音乐进行频谱变换,得到候选音乐频谱序列;
基于所述候选音乐频谱序列,获取所述候选音乐对应的候选音乐流派表征向量;
基于所述候选音乐流派表征向量对所述候选音乐进行流派识别,得到所述候选音乐的流派标签数据;
基于所述流派描述词语和所述流派标签数据对所述候选音乐进行筛选,得到目标音乐;
将所述目标音乐反馈给所述目标对象。
2.根据权利要求1所述的音乐检索方法,其特征在于,所述对所述目标描述文本进行词语识别,得到流派描述词语,包括:
对所述目标描述文本进行分词处理,得到多个目标描述词语;
对所述目标描述词语进行实体特征提取,得到实体词语特征;
基于预设词典和所述实体词语特征,从所述目标描述词语中筛选出所述流派描述词语。
3.根据权利要求1所述的音乐检索方法,其特征在于,所述基于所述流派描述词语和所述流派标签数据对所述候选音乐进行筛选,得到目标音乐,包括:
对所述流派描述词语和所述流派标签数据进行相关性评分,得到相关性分值;
基于所述相关性分值,从所述流派标签数据中筛选出目标标签,其中,所述目标标签与所述流派描述词语表征相同的音乐流派;
获取所述目标标签的标签总量;
基于所述标签总量对所述候选音乐进行筛选,得到所述目标音乐。
4.根据权利要求3所述的音乐检索方法,其特征在于,所述将所述目标音乐反馈给所述目标对象,包括:
基于所述目标音乐的所述标签总量对所述目标音乐进行排序,得到音乐检索列表;
将所述音乐检索列表反馈给所述目标对象。
5.根据权利要求1所述的音乐检索方法,其特征在于,所述对所述候选音乐进行频谱变换,得到候选音乐频谱序列,包括:
基于预设函数对所述候选音乐进行频谱变换,得到所述候选音乐的梅尔倒谱特征;
对所述梅尔倒谱特征进行特征分割,得到多个候选频谱片段;
对所述候选频谱片段进行降维,得到目标频谱片段;
对所述目标频谱片段进行拼接,得到所述候选音乐频谱序列。
6.根据权利要求1所述的音乐检索方法,其特征在于,所述基于所述候选音乐频谱序列,获取所述候选音乐对应的候选音乐流派表征向量,包括:
基于预设的编码网络对所述候选音乐频谱序列进行特征提取,得到初步音乐流派表征向量,其中,所述编码网络包括至少两个transformer编码器;
对所述初步音乐流派表征向量进行向量微调,得到所述候选音乐流派表征向量。
7.根据权利要求1至6任一项所述的音乐检索方法,其特征在于,所述基于所述候选音乐流派表征向量对所述候选音乐进行流派识别,得到所述候选音乐的流派标签数据,包括:
基于预设的候选流派类别和所述候选音乐流派表征向量对所述候选音乐进行流派评分,得到音乐流派分值;
根据所述音乐流派分值对所述候选流派类别进行筛选,得到所述候选音乐的多个目标流派标签;
根据所述目标流派标签,得到所述流派标签数据。
8.一种音乐检索装置,其特征在于,所述装置包括:
获取模块,用于获取目标描述文本和候选音乐,其中,所述目标描述文本包括目标对象对音乐的描述内容;
词语识别模块,用于对所述目标描述文本进行词语识别,得到流派描述词语;
频谱变换模块,用于对所述候选音乐进行频谱变换,得到候选音乐频谱序列;
流派表征提取模块,用于基于所述候选音乐频谱序列,获取所述候选音乐对应的候选音乐流派表征向量;
流派识别模块,用于基于所述候选音乐流派表征向量对所述候选音乐进行流派识别,得到所述候选音乐的流派标签数据;
音乐筛选模块,用于基于所述流派描述词语和所述流派标签数据对所述候选音乐进行筛选,得到目标音乐;
结果反馈模块,用于将所述目标音乐反馈给所述目标对象。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的音乐检索方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的音乐检索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310568357.9A CN116595216A (zh) | 2023-05-19 | 2023-05-19 | 音乐检索方法、音乐检索装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310568357.9A CN116595216A (zh) | 2023-05-19 | 2023-05-19 | 音乐检索方法、音乐检索装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116595216A true CN116595216A (zh) | 2023-08-15 |
Family
ID=87598707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310568357.9A Pending CN116595216A (zh) | 2023-05-19 | 2023-05-19 | 音乐检索方法、音乐检索装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116595216A (zh) |
-
2023
- 2023-05-19 CN CN202310568357.9A patent/CN116595216A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113792818B (zh) | 意图分类方法、装置、电子设备及计算机可读存储介质 | |
CN107315737B (zh) | 一种语义逻辑处理方法及系统 | |
CN108304375B (zh) | 一种信息识别方法及其设备、存储介质、终端 | |
CN104166462A (zh) | 一种文字的输入方法和系统 | |
CN112784696B (zh) | 基于图像识别的唇语识别方法、装置、设备及存储介质 | |
WO2008107305A2 (en) | Search-based word segmentation method and device for language without word boundary tag | |
JP4699954B2 (ja) | マルチメディアデータ管理方法とその装置 | |
CN108038099B (zh) | 基于词聚类的低频关键词识别方法 | |
CN114153971B (zh) | 一种含错中文文本纠错识别分类设备 | |
CN114722069A (zh) | 语言转换方法和装置、电子设备及存储介质 | |
CN116343747A (zh) | 语音合成方法、语音合成装置、电子设备及存储介质 | |
CN115238143A (zh) | 查询语句生成方法及装置、模型训练方法、设备、介质 | |
CN113392265A (zh) | 多媒体处理方法、装置及设备 | |
CN113705315A (zh) | 视频处理方法、装置、设备及存储介质 | |
CN114003682A (zh) | 一种文本分类方法、装置、设备及存储介质 | |
CN115497477A (zh) | 语音交互方法、语音交互装置、电子设备、存储介质 | |
CN116386594A (zh) | 语音合成方法、语音合成装置、电子设备及存储介质 | |
Birla | A robust unsupervised pattern discovery and clustering of speech signals | |
CN116312463A (zh) | 语音合成方法、语音合成装置、电子设备及存储介质 | |
CN114611529B (zh) | 意图识别方法和装置、电子设备及存储介质 | |
CN116595970A (zh) | 语句同义改写方法、装置和电子设备 | |
CN114398903B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN116595216A (zh) | 音乐检索方法、音乐检索装置、电子设备及存储介质 | |
CN116541551A (zh) | 音乐分类方法、音乐分类装置、电子设备及存储介质 | |
CN114359810B (zh) | 视频摘要生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |