CN112905835B - 一种多模态乐曲标题生成方法、装置及存储介质 - Google Patents

一种多模态乐曲标题生成方法、装置及存储介质 Download PDF

Info

Publication number
CN112905835B
CN112905835B CN202110217438.5A CN202110217438A CN112905835B CN 112905835 B CN112905835 B CN 112905835B CN 202110217438 A CN202110217438 A CN 202110217438A CN 112905835 B CN112905835 B CN 112905835B
Authority
CN
China
Prior art keywords
training
music
data
audio
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110217438.5A
Other languages
English (en)
Other versions
CN112905835A (zh
Inventor
尹学渊
马星宇
江天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Potential Artificial Intelligence Technology Co ltd
Original Assignee
Chengdu Potential Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Potential Artificial Intelligence Technology Co ltd filed Critical Chengdu Potential Artificial Intelligence Technology Co ltd
Priority to CN202110217438.5A priority Critical patent/CN112905835B/zh
Publication of CN112905835A publication Critical patent/CN112905835A/zh
Application granted granted Critical
Publication of CN112905835B publication Critical patent/CN112905835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本发明提供一种多模态乐曲标题生成方法、装置及存储介质，包括：获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征；通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵；获取所述乐曲文件的文本数据，并输入自回归语言模型；通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵；通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层。

Description

一种多模态乐曲标题生成方法、装置及存储介质
技术领域
本发明涉及互联网技术领域，具体而言，涉及一种多模态乐曲标题生成方法、装置及存储介质。
背景技术
随着人民日益增长的文化精神需求，各种精神创作呈现出多元化、多样化以及巨量化的趋势，当前音乐创作的数量已经难以满足人民日益增长的精神需求。在音乐创作过程中，乐曲的标题可以为大量音乐创作者提供灵感，从而加速创作过程。人工编写标题时，若数量较大，往往需要多人合作完成，即每个人编写一部分，由于个人的主观性，导致编写出的标题质量参差不齐，同时也不是一个风格；另一方面，每个人的词汇量有限，在编写一定数量标题后，会出现词穷的现象。传统基于规则的标题生成方案，需要语言学专家指导开发人员，构造语法规则，从而生成标题。受限于个人的眼界和学识，得到的规则可能不尽如人意，无法做到多样性。所以需要提供一种方案使生成的乐曲标题更好地概括整个乐曲的同时更加多样化。
发明内容
本发明的目的在于提供一种多模态乐曲标题生成方法、装置及存储介质，用以实现使生成的乐曲标题更好地概括整个乐曲的同时更加多样化的技术效果。
第一方面，本发明实施例提供了一种多模态乐曲标题生成方法，包括获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征；通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵；获取所述乐曲文件的文本数据，并输入自回归语言模型；通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵；通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层。
进一步地，所述方法还包括：构建训练数据集，所述训练数据集包括预训练语料、音乐数据集、乐曲标题数据集和音频与标题对应数据集；通过所述预训练语料对所述自回归语言模型进行预训练，获得第一预训练模型；通过所述音乐数据集对所述乐曲特征提取器进行预训练，获得第二预训练模型；通过所述乐曲标题数据集对所述第一预训练模型进一步进行训练，获得第三预训练模型；通过所述音频与标题对应数据集对所述第二预训练模型和所述第三预训练模型进行微调训练，获得多模态乐曲标题生成模型。
进一步地，所述微调训练包括：将所述第二预训练模型最后一层的参数去掉，其余参数加载到乐曲特征提取器中，将第一预训练模型概率输出层的参数去掉，其余参数加载到所述自回归语言模型中，将所述特征融合模块的所有层参数初始化，以音频与标题对应数据集中的音频数据的梅尔频谱特征作为输入，对应的标题作为输出，训练模型，直到模型收敛。
进一步地，所述方法还包括：对所述训练数据集进行去重处理，删除重复的数据；根据设置的阈值范围筛选所述训练数据集中符合要求的文本数据和音频数据；对所述训练数据集中的文本数据和音频数据进行去噪处理。
进一步地，所述去噪处理包括：对于训练数据集中的文本数据，根据设置的目标语言去除含有非目标语言的数据，同时去除噪声符号；对于训练数据集中的音频数据，则删除静默时间超过50％的数据，同时统一音频数据的格式和采样率，提取所述音频数据的梅尔频谱特征。
进一步地，所述噪声符号包括标点符号、空白字符和控制字符。
进一步地，所述文本数据的阈值范围为1-10个字；所述音频数据的阈值范围为10-60秒；若所述文本数据的字数多余10个字，则删除所述文本数据；若所述音频数据的时间长度低于10秒，则删除所述音频数据；若所述音频数据的时间长度大于60秒，则截掉超过60秒的部分。
进一步地，所述自回归语言模型为Bert-Chinese模型。
第二方面，本发明实施例提供了一种多模态乐曲标题生成装置，包括包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序实现上述的方法。
第三方面，本发明实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时实现上述的方法。
本发明能够实现的有益效果是：本发明提供的乐曲标题生成方法通过设置的特征融合模块对乐曲特征提取器和入自回归语言模型获取到的数据进行融合，然后根据融合的数据和采样算法生成若干个乐曲标题，使得生成的乐曲标题在更好地概括整个乐曲的同时更加多样化。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种多模态乐曲标题生成方法流程示意图；
图2为本发明实施例提供的一种多模态乐曲标题生成模型拓扑结构示意图；
图3为本发明实施例提供的一种模型训练流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参看图1，图1为本发明实施例提供的一种多模态乐曲标题生成方法流程示意图。
经申请人的研究发现，现有的标题生成方法需要语言学专家指导开发人员，构造语法规则，从而生成标题。受限于个人的眼界和学识，得到的规则可能不尽如人意，无法做到多样性，同时增加了更多的人工成本。所以本发明实施例提供了一种多模态乐曲标题生成方法，以便于使生成的乐曲标题更好地概括整个乐曲的同时更加多样化。其具体内容如下所述。
步骤S101，获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征。
在一种实施方式中，乐曲文件通过网络获取，然后根据乐曲文件中的音频数据提取对应的梅尔频谱特征。
步骤S102，通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵。
在一种实施方式中，可以将梅尔频谱当做二维的向量输入到乐曲特征提取器中，得到音频特征向量矩阵。
示例性地，乐曲特征提取器包括若干个连续的卷积块层和输出层。每个卷积块层由卷积神经网络层、池化层和全连接层堆叠而成。
步骤S103，获取所述乐曲文件的文本数据，并输入自回归语言模型。
在一种实施方式中，自回归语言模型可以选用Bert-Chinese模型，用于对中文乐曲文件的文本数据进行处理。
需要说明的是，自回归语言模型也可以根据实际需要选用其他语种的自回归语言模型，并不局限于Bert-Chinese模型。自回归语言模型第一层一般为embedding层，可以将离散的文本字符id，变成连续的向量表示；接着经过一系列block(卷积块)处理，得到文本的语义表示，最后经过softmax层获得对应到词表(vocabulary)上的概率，通过采样算法，得到生成的乐曲标题。
步骤S104，通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵。
在一种实施方式中，特征融合模块进行几何特性对齐时可以采用全连接层，两个数据如果只有一个维度不同，直接采用全连接层，使得其中一个数据几何特性与另一个相同；如果有多个维度不同，则要进行填充操作，然后再通过全连接层进行数据几何特性对齐。可以采用先填充(通过填充“0”将音频特征向量与文本向量对齐)，然后该向量通过全连接层将音频的维度与文本的维度对齐。
映射是将两个不同域的数据，通过线性变换或者非线性变换，使其映射到同一分布空间中；映射过程可以采用的方法是使用一个神经网络将其中一个数据进行几何特性不变的前向传播，从而将音频特征向量映射到文本特征向量所在的分布空间。
融合常见的方法有加法操作、乘法操作，拼接操作，本实施例中采用拼接操作，将映射后的音频特征向量与文本特征向量进行拼接，作为新的融合向量输入至自回归语言模型中预设卷积块层后的卷积块层继续进行后续处理。
步骤S105，通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层。
在一种实施方式中，自回归语言模型包括若干个连续的卷积块层，预设卷积块层可以选用倒数第三个卷积块层。音频特征向量与文本特征向量拼接完成后获得的融合向量矩阵继续输入倒数第二个卷积块层进行后续处理，然后通过输出层的概率输出层和采样算法进行处理后输出若干个乐曲标题供用户选择。
示例性地，这些卷积块层可以为transformer等成熟的卷积块(block)方案，也可以是工程人员根据项目需要，自行叠加全连接层、卷积神经网络层和自注意力机制层。
请参看图2和图3，图2为本发明实施例提供的一种多模态乐曲标题生成模型拓扑结构示意图；图3为本发明实施例提供的一种模型训练流程示意图。
在一种实施方式中，为了使生成的标题更加准确，本发明提供的多模态乐曲标题生成方法还通过构建的数据集对乐曲特征提取器、自回归语言模型等进行训练。其具体内容如下所述。
步骤S201，构建训练数据集，所述训练数据集包括预训练语料、音乐数据集、乐曲标题数据集和音频与标题对应数据集。
示例性地，预训练语料可以选用中文的预训练语料，例如中文维基百科数据集。音乐数据集可以选用开源的音乐数据集，例如million song dataset数据集。乐曲标题数据集需要制作者自行构建。该数据集的格式，为常规的自回归语言模型格式：数据集输入为“开始标志位+标题”，比如“B梦中婚礼”，数据集输出为所有字符右移一位加上结束标志位，“梦中婚礼E”，其中B为开始标志位，E为结束标志位，开始和结束标志位可以为任意的字符。音频与标题对应数据集中的音频可以为任意通用的音乐格式(如wav、mp3)，对于每个音频应当有唯一的标题文本与之对应。
步骤S202，通过所述预训练语料对所述自回归语言模型进行预训练，获得第一预训练模型。
示例性地，可以使用Bert-Chinese模型进行预训练。
步骤S203，通过所述音乐数据集对所述乐曲特征提取器进行预训练，获得第二预训练模型。
示例性地，进行训练时可以在开源的音乐数据集(Million Song Dataset)上进行分类训练。音乐数据集的提取声学特征(梅尔频谱特征)作为输入，类别的one-hot作为模型输出，将音乐数据集按照一定比例进行测试划分，该比例＝训练集/测试集，不能大于0.99，然后对乐曲特征提取器进行训练，直到loss收敛，得到预训练模型。
步骤S204，通过所述乐曲标题数据集对所述第一预训练模型进一步进行训练，获得第三预训练模型。
示例性地，考虑到Bert-Chinese模型训练所用的数据集为中文维基百科，与乐曲标题是不同域的数据，为了提高模型生成文本的质量，所以可以进一步进行预训练：即加载Bert-Chinese模型和第一预训练模型的参数，在乐曲标题数据集上，构造自回归语言模型任务，训练模型。
步骤S205，通过所述音频与标题对应数据集对所述第二预训练模型和所述第三预训练模型进行微调训练，获得多模态乐曲标题生成模型。
示例性地，为了使结果更加准确，还可以以整个网络结构(包括乐曲特征提取器、特征融合模块以及自回归语言模型)作为整体的多模态乐曲标题生成模型，将第二预训练模型最后一层的参数去掉，其余参数加载到乐曲特征提取器中，将第一预训练模型概率输出层的参数去掉，其余参数加载到自回归语言模型中，将特征融合模块的所有层参数初始化，以音频与标题对应数据集中的音频数据的梅尔频谱特征作为输入，对应的标题作为输出，训练模型，直到模型收敛。
在一种实施方式中，为了使训练结果更加准确，上述方法还包括对训练数据集进行去重处理，删除重复的数据；根据设置的阈值范围筛选训练数据集中符合要求的文本数据和音频数据；对训练数据集中的文本数据和音频数据进行去噪处理。
具体地，去噪处理包括：对于训练数据集中的文本数据，根据设置的目标语言去除含有非目标语言的数据，同时去除噪声符号(包括标点符号、空白字符和控制字符等)；对于训练数据集中的音频数据，则删除静默时间超过50％的数据，同时统一音频数据的格式和采样率，提取音频数据的梅尔频谱特征。
文本数据的阈值范围为1-10个字；音频数据的阈值范围为10-60秒；若文本数据的字数多余10个字，则删除该文本数据；若音频数据的时间长度低于10秒，则删除音频数据；若音频数据的时间长度大于60秒，则截掉超过60秒的部分。
在一种实施方式中，本发明实施例还提供了一种多模态乐曲标题生成装置，包括存储器和处理器；存储器用于存储计算机程序；处理器用于执行计算机程序实现的方法。
在一种实施方式中，本发明实施例还提供了一种存储介质，该存储介质存储有计算机程序，计算机程序被处理器运行时实现上述的方法。
综上所述，本发明实施例提供一种多模态乐曲标题生成方法、装置及存储介质，包括：获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征；通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵；获取所述乐曲文件的文本数据，并输入自回归语言模型；通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵；通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层。通过上述方式，得生成的乐曲标题在更好地概括整个乐曲的同时更加多样化。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种多模态乐曲标题生成方法，其特征在于，包括：
获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征；
通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵；
获取所述乐曲文件的文本数据，并输入自回归语言模型；
通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵；
通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层；
所述方法还包括：
构建训练数据集，所述训练数据集包括预训练语料、音乐数据集、乐曲标题数据集和音频与标题对应数据集；
通过所述预训练语料对所述自回归语言模型进行预训练，获得第一预训练模型；
通过所述音乐数据集对所述乐曲特征提取器进行预训练，获得第二预训练模型；
通过所述乐曲标题数据集对所述第一预训练模型进一步进行训练，获得第三预训练模型；
通过所述音频与标题对应数据集对所述第二预训练模型和所述第三预训练模型进行微调训练，获得多模态乐曲标题生成模型。
2.根据权利要求1所述的方法，其特征在于，所述微调训练包括：
将所述第二预训练模型最后一层的参数去掉，其余参数加载到乐曲特征提取器中，将第一预训练模型概率输出层的参数去掉，其余参数加载到所述自回归语言模型中，将所述特征融合模块的所有层参数初始化，以音频与标题对应数据集中的音频数据的梅尔频谱特征作为输入，对应的标题作为输出，训练模型，直到模型收敛。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述训练数据集进行去重处理，删除重复的数据；
根据设置的阈值范围筛选所述训练数据集中符合要求的文本数据和音频数据；
对所述训练数据集中的文本数据和音频数据进行去噪处理。
4.根据权利要求3所述的方法，其特征在于，所述去噪处理包括：
对于训练数据集中的文本数据，根据设置的目标语言去除含有非目标语言的数据，同时去除噪声符号；对于训练数据集中的音频数据，则删除静默时间超过50％的数据，同时统一音频数据的格式和采样率，提取所述音频数据的梅尔频谱特征。
5.根据权利要求4所述的方法，其特征在于，所述噪声符号包括标点符号、空白字符和控制字符。
6.根据权利要求3所述的方法，其特征在于，所述文本数据的阈值范围为1-10个字；所述音频数据的阈值范围为10-60秒；若所述文本数据的字数多余10个字，则删除所述文本数据；若所述音频数据的时间长度低于10秒，则删除所述音频数据；若所述音频数据的时间长度大于60秒，则截掉超过60秒的部分。
7.根据权利要求1所述的方法，其特征在于，所述自回归语言模型为Bert-Chinese模型。
8.一种多模态乐曲标题生成装置，其特征在于，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序实现权利要求1-7任一项所述的方法。
9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时实现权利要求1-7任一项所述的方法。
CN202110217438.5A 2021-02-26 2021-02-26 一种多模态乐曲标题生成方法、装置及存储介质 Active CN112905835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110217438.5A CN112905835B (zh) 2021-02-26 2021-02-26 一种多模态乐曲标题生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110217438.5A CN112905835B (zh) 2021-02-26 2021-02-26 一种多模态乐曲标题生成方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112905835A CN112905835A (zh) 2021-06-04
CN112905835B true CN112905835B (zh) 2022-11-11

Family

ID=76108495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110217438.5A Active CN112905835B (zh) 2021-02-26 2021-02-26 一种多模态乐曲标题生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112905835B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210090535A1 (en) * 2019-09-24 2021-03-25 Secret Chord Laboratories, Inc. Computing orders of modeled expectation across features of media

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486920A (zh) * 2010-12-06 2012-06-06 索尼公司 音频事件检测方法和装置
CN108804609A (zh) * 2018-05-30 2018-11-13 平安科技（深圳）有限公司 歌曲推荐方法和装置
CN109918535A (zh) * 2019-01-18 2019-06-21 华南理工大学 基于标签深度分析的音乐自动标注方法
CN110610193A (zh) * 2019-08-12 2019-12-24 大箴(杭州)科技有限公司 标注数据的处理方法及装置
CN110674339A (zh) * 2019-09-18 2020-01-10 北京工业大学 一种基于多模态融合的中文歌曲情感分类方法
CN110853617A (zh) * 2019-11-19 2020-02-28 腾讯科技（深圳）有限公司 一种模型训练的方法、语种识别的方法、装置及设备
US10706857B1 (en) * 2020-04-20 2020-07-07 Kaizen Secure Voiz, Inc. Raw speech speaker-recognition
CN111414513A (zh) * 2020-03-16 2020-07-14 腾讯音乐娱乐科技（深圳）有限公司 音乐流派的分类方法、装置及存储介质
CN111460213A (zh) * 2020-03-20 2020-07-28 河海大学 一种基于多模态学习的音乐情感分类方法
CN111523575A (zh) * 2020-04-13 2020-08-11 中南大学 基于短视频多模态特征的短视频推荐模型
CN111583900A (zh) * 2020-04-27 2020-08-25 北京字节跳动网络技术有限公司 歌曲合成方法、装置、可读介质及电子设备
CN112199548A (zh) * 2020-09-28 2021-01-08 华南理工大学 一种基于卷积循环神经网络的音乐音频分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7772478B2 (en) * 2006-04-12 2010-08-10 Massachusetts Institute Of Technology Understanding music
CN101754056B (zh) * 2008-12-17 2013-01-02 中国科学院自动化研究所 支持海量数据自动处理的数字内容编目管理系统及方法
US20150095822A1 (en) * 2012-07-02 2015-04-02 eScoreMusic, Inc. Systems and methods for music display, collaboration, annotation, composition, and editing
US11271993B2 (en) * 2013-03-14 2022-03-08 Aperture Investments, Llc Streaming music categorization using rhythm, texture and pitch
CN110947075A (zh) * 2019-11-27 2020-04-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN111858943A (zh) * 2020-07-30 2020-10-30 杭州网易云音乐科技有限公司 音乐情感识别方法及装置、存储介质和电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486920A (zh) * 2010-12-06 2012-06-06 索尼公司 音频事件检测方法和装置
CN108804609A (zh) * 2018-05-30 2018-11-13 平安科技（深圳）有限公司 歌曲推荐方法和装置
CN109918535A (zh) * 2019-01-18 2019-06-21 华南理工大学 基于标签深度分析的音乐自动标注方法
CN110610193A (zh) * 2019-08-12 2019-12-24 大箴(杭州)科技有限公司 标注数据的处理方法及装置
CN110674339A (zh) * 2019-09-18 2020-01-10 北京工业大学 一种基于多模态融合的中文歌曲情感分类方法
CN110853617A (zh) * 2019-11-19 2020-02-28 腾讯科技（深圳）有限公司 一种模型训练的方法、语种识别的方法、装置及设备
CN111414513A (zh) * 2020-03-16 2020-07-14 腾讯音乐娱乐科技（深圳）有限公司 音乐流派的分类方法、装置及存储介质
CN111460213A (zh) * 2020-03-20 2020-07-28 河海大学 一种基于多模态学习的音乐情感分类方法
CN111523575A (zh) * 2020-04-13 2020-08-11 中南大学 基于短视频多模态特征的短视频推荐模型
US10706857B1 (en) * 2020-04-20 2020-07-07 Kaizen Secure Voiz, Inc. Raw speech speaker-recognition
CN111583900A (zh) * 2020-04-27 2020-08-25 北京字节跳动网络技术有限公司 歌曲合成方法、装置、可读介质及电子设备
CN112199548A (zh) * 2020-09-28 2021-01-08 华南理工大学 一种基于卷积循环神经网络的音乐音频分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Musical Genre Classification on the Marsyas Audio Data Using Convolution NN";Md Sabbir Ahmed 等;《2020 23rd International Conference on Computer and Information Technology》;20201221;第1-7页 *
"基于混合判别受限波兹曼机的音乐自动标注算法";王诗俊 等;《华东理工大学学报（自然科学版）》;20170831;第540-545页 *

Also Published As

Publication number Publication date
CN112905835A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN106202010B (zh) 基于深度神经网络构建法律文本语法树的方法和装置
US10997223B1 (en) Subject-specific data set for named entity resolution
US10896222B1 (en) Subject-specific data set for named entity resolution
JP2010048980A (ja) 自動会話システム、並びに会話シナリオ編集装置
JP5620349B2 (ja) 対話装置、対話方法および対話プログラム
JP6529761B2 (ja) 話題提供システム、及び会話制御端末装置
JP2018195330A (ja) 発話文生成装置とその方法とプログラム
KR101677859B1 (ko) 지식 베이스를 이용하는 시스템 응답 생성 방법 및 이를 수행하는 장치
CN112185361B (zh) 一种语音识别模型训练方法、装置、电子设备及存储介质
CN106980620A (zh) 一种对中文字串进行匹配的方法及装置
KR20220043505A (ko) 문서 요약장치 및 방법
CN113239666A (zh) 一种文本相似度计算方法及系统
CN112860896A (zh) 语料泛化方法及用于工业领域的人机对话情感分析方法
CN107657949A (zh) 游戏数据的获取方法及装置
CN112905835B (zh) 一种多模态乐曲标题生成方法、装置及存储介质
Ostrogonac et al. Morphology-based vs unsupervised word clustering for training language models for Serbian
CN111428487B (zh) 模型训练方法、歌词生成方法、装置、电子设备及介质
JP6126965B2 (ja) 発話生成装置、方法、及びプログラム
JP7044245B2 (ja) 対話システム補強装置及びコンピュータプログラム
JP6067616B2 (ja) 発話生成手法学習装置、発話生成手法選択装置、発話生成手法学習方法、発話生成手法選択方法、プログラム
Nio et al. Conversation dialog corpora from television and movie scripts
Boonpa et al. Relationship extraction from Thai children's tales for generating illustration
Dinarelli et al. Concept segmentation and labeling for conversational speech
CN116226677B (zh) 平行语料构建方法及装置、存储介质及电子设备
CN117150002B (zh) 一种基于动态知识引导的摘要生成方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant