CN111198965B - 一种歌曲检索方法、装置、服务器及存储介质 - Google Patents

一种歌曲检索方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111198965B
CN111198965B CN201911424872.XA CN201911424872A CN111198965B CN 111198965 B CN111198965 B CN 111198965B CN 201911424872 A CN201911424872 A CN 201911424872A CN 111198965 B CN111198965 B CN 111198965B
Authority
CN
China
Prior art keywords
song
vector
lyric
word
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911424872.XA
Other languages
English (en)
Other versions
CN111198965A (zh
Inventor
缪畅宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911424872.XA priority Critical patent/CN111198965B/zh
Publication of CN111198965A publication Critical patent/CN111198965A/zh
Application granted granted Critical
Publication of CN111198965B publication Critical patent/CN111198965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种歌曲检索方法、装置、服务器及可读存储介质,该方法包括:获取用户输入的歌曲检索词;获取歌曲检索词的特征向量,所述特征向量用于指示歌曲检索词的音频信息和前后文信息;获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示每个歌词的音频信息和前后文信息;根据歌曲检索词的特征向量和每个歌词的特征向量,从至少一首歌曲包括的歌词中确定歌曲检索词的相似词集合;利用相似词集合从至少一首歌曲中确定出与歌曲检索词匹配的目标歌曲。通过这种实施方式,无需对歌曲添加标签就可以匹配出歌词与检索词相关和/或音频表达出检索词对应的歌曲风格的歌曲,丰富了歌曲检索结果,提高了歌曲检索的准确性。

Description

一种歌曲检索方法、装置、服务器及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种歌曲检索方法、装置、服务器及存储介质。
背景技术
目前,在各种音乐应用程序上进行歌曲检索时,常用的一种做法是给歌曲添加标签,然后通过标签匹配的方式来进行,但这种做法需要预先标注很多数据,操作复杂。另一种做法是将用户输入的搜索词与歌曲的歌词进行匹配,比如用户输入“青春”这一搜索词,则只能匹配上歌词包含“青春”的歌曲,而不能匹配出歌曲风格为表达青春的歌曲(比如有些歌曲歌词里没有青春,但歌曲的风格是表达青春),这种方式检索的歌曲范围较窄不够准确。
发明内容
本发明实施例提供了一种歌曲检索方法、装置、服务器及存储介质,可以无需对歌曲添加标签就可以匹配出歌词与检索词相关和/或音频表达出检索词对应的歌曲风格的歌曲,增加了歌曲检索结果的范围,丰富了歌曲检索结果,提高了歌曲检索的准确性。
第一方面,本发明实施例提供了一种歌曲检索方法,包括:
获取用户输入的歌曲检索词;
获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息;
获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息;
根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合;
利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。
第二方面,本发明实施例提供了一种歌曲检索装置,所述装置包括:
第一获取模块,用于获取用户输入的歌曲检索词;
第二获取模块,用于获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息;第三获取模块,用于获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息;
第一确定模块,用于根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合;
第二确定模块,用于利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。
第三方面,本发明实施例提供了一种服务器,所述服务器包括:处理器和存储器,所述处理器用于执行:
获取用户输入的歌曲检索词;
获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息;
获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息;
根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合;
利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。
第四方面,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有程序指令,该程序指令被执行时,用于实现上述第一方面所述的方法。
本发明实施例可以获取用户输入的歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,并获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息,以及根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合,从而利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。通过这种实施方式,无需对歌曲添加标签就可以匹配出歌词与检索词相关和/或音频表达出检索词对应的歌曲风格的歌曲,增加了歌曲检索结果的范围,丰富了歌曲检索结果,提高了歌曲检索的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种歌曲检索系统的结构示意图;
图2是本发明实施例提供的一种歌曲检索方法的流程示意图;
图3是本发明实施例提供的一种频谱图的示意图;
图4是本发明实施例提供的一种词向量模型的示意图;
图5是本发明实施例提供的一种获取音频向量的示意图;
图6是本发明实施例提供的另一种获取音频向量的示意图;
图7是本发明实施例提供的一种获取相似词的示意图;
图8是本发明实施例提供的一种歌曲检索装置的结构示意图;
图9是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,对于大多数的音乐播放应用,用户在搜索歌曲时主要通过两种方式进行搜索,其中,一种方式是将用户的检索词与歌曲的歌词进行匹配,比如用户搜索“青春”,则可以搜索出歌词包含青春的歌曲,不能搜索出歌曲风格为表达青春的歌曲,这种方式搜索得到的歌曲范围较窄;另一种方式是预先给歌曲添加标签,然后通过标签匹配的方式来搜索歌曲,比如预先给“摇篮曲”添加“睡眠”的标签,则当用户搜索“睡眠”时,则可以搜索出歌词包括睡眠的歌曲以及添加“睡眠”标签的摇篮曲,这种方式需要预先标注很多数据,操作复杂。
因此,本发明实施例提供了一种歌曲检索方法,该方法不需要预先添加任何标签,只需要歌曲本身的音频信息(即歌曲风格)和前后文信息(即歌词),就可以将歌曲的检索词与歌词和音频信息关联上;在某些实施例中,所述音频信息用于指示歌词的歌曲风格为检索词对应的风格,在一个示例中,假设检索词为“恋爱”,则可以确定音频信息用于指示歌曲风格为恋爱。通过本发明实施例可以在用户检索某个检索词时,将检索词与对应的歌词和音频信息关联上,来得到歌词包括检索词以及歌曲风格为检索词的歌曲,增加了歌曲检索范围,提高了歌曲检索的准确性。
本发明实施例中提供的歌曲检索方法可以应用于一种歌曲检索设备,在某些实施例中,歌曲检索装置可以设置在服务器上;在某些实施例中,所述歌曲检索装置还可以在空间上独立于服务器,如所述歌曲检索装置可以设置在智能手机、平板电脑、笔记本电脑、台式电脑、车载智能终端、智能手表等智能终端设备上。在某些实施例中,所述歌曲检索装置可以和服务器建立通信连接。
下面结合附图对本发明实施例提供的歌曲检索系统进行示意性说明。
请参见图1,图1是本发明实施例提供的一种歌曲检索系统的结构示意图。所述歌曲检索系统包括:歌曲检索装置11和服务器12。在某些实施例中,歌曲检索装置11和服务器12可以通过无线通信连接方式建立通信连接;其中,在某些场景下,歌曲检索装置11和服务器12之间也可以通过有线通信连接方式建立通信连接。在某些实施例中,所述歌曲检索装置11可以设置于服务器12上。
在一个实施例中,歌曲检索装置11可以获取用户输入的歌曲检索词和歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,并获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息,以及根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合,从而利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。通过这种实施方式,无需对歌曲添加标签就可以匹配出歌词与检索词相关和/或音频表达出检索词对应的歌曲风格的歌曲,增加了歌曲检索结果的范围,丰富了歌曲检索结果,提高了歌曲检索的准确性。
下面结合附图对本发明实施例提供的歌曲检索方法进行示意性说明。
具体请参见图2,图2是本发明实施例提供的一种歌曲检索方法的流程示意图,本发明实施例的歌曲检索方法可以由歌曲检索装置执行,其中,所述歌曲检索装置的具体解释如前所述。具体地,本发明实施例的所述方法包括如下步骤。
S201:获取用户输入的歌曲检索词。
本发明实施例中,服务器可以获取用户输入的歌曲检索词。
在一个实施例中,服务器可以获取用户通过用户终端的搜索界面输入的歌曲检索词,在某些实施例中,所述用户终端可以与服务器建立通信连接。在某些实施例中,所述歌曲检索词可以包括但不限于歌词、表达歌曲风格的词语等,在一个示例中,所述歌曲检索词可以为歌词如“青春”;在另一个示例中,所述歌曲检索词可以为表达歌曲风格的词如“抒情”。
S202:获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,并获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息。
本发明实施例中,服务器可以获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息。在某些实施例中,所述音频信息用于指示歌曲风格为表达歌曲检索词的风格,在一个示例中,假设10首歌曲有100个歌词,每个歌词的特征向量中的音频信息用于指示每个歌词对应歌曲的歌曲风格(如抒情、青春、乡村、悲伤等音乐风格);在某些实施例中,所述前后文信息用于指示歌曲的歌词,在一个示例中,假设10首歌曲有100个歌词,每个歌词的特征向量中的前后文信息用于指示10首歌曲中的每个歌词。
例如,假设歌曲检索词为“恋爱”,则所述“恋爱”的特征向量用于指示歌曲风格为表达“恋爱”的音频信息以及歌词包括“恋爱”的前后文信息,因此,服务器可以获取歌曲风格为表达“恋爱”的音频信息以及歌词包括“恋爱”的前后文信息。
在一个实施例中,服务器在获取所述歌曲检索词的特征向量时,可以通过预先训练好的词向量模型获取所述歌曲检索词的音频向量,并根据所述训练好的词向量模型训练所述歌曲检索词的音频向量,得到所述歌曲检索词的特征向量。在某些实施例中,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息。在某些实施例中,所述词向量模型可以包括但不限于word2vec模型。
在一个实施例中,在根据样本数据库中的歌曲训练所述词向量模型时,可以获取样本数据库中的至少一首歌曲中的任一歌曲,并获取所述任一歌曲包括的每个歌词的音频向量,并利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量。
在一个实施例中,所述音频向量可以包括时域向量和频域向量两个维度,既可以表达为一个时间序列,也可以表达为一个频率序列。
在一个实施例中,可以先对样本数据库中的至少一首歌曲进行时间维度的采样,比如每隔0.1s(即预设的采集时间间隔)采样一个时域向量,得到离散的时间序列T1~Tn,T1~Tn中的每个值代表音频在该采样点上的大小,然后再按固定时间段(比如3s)进行组合,比如时间段长度为3s,采样时间间隔为0.1s,那每组序列(即时域向量)就包含了3s/0.1s=30个值,比如T1~T30就是一组,假设叫G1,T31~T90就是G2,依次类推。接着对每组序列(即时域向量)做频域转换(包括但不限于FFT、MFCC、DFT等等),将得到频域向量,代表一组时间序列里面包含不同频率的分布。
在一个实施例中,可以对频域向量进行采样,比如10hz对频域向量进行采样,就得到一个离散的频率序列G(即频域向量),假设频率的上下限是0~f,那么每个频率序列的个数是f/10,每个G都可以表示成f/10个频率序列(即频域向量),只不过区别在于不同G的同样频率的值大小不同。对应到音乐上,音乐的某些部分低音很重,那这些G的低频值就很大,有些部分高音很高,那这些G的高频值就很大。所以G既可以表示为时间序列T1~T30,也可以表示为频率序列,统一起来就是一张频谱图。如图3所示,图3是本发明实施例提供的一种频谱图的示意图,其中,横轴是时间,时间段约为1.75s左右,也就是每隔1.75s切一个时间片段,每个时间片段对应的频率是竖轴,频率上下限110hz~3520hz,其中,颜色深浅代表不同频率对应的值的大小。
在一个实施例中,在根据样本数据库中的至少一首歌曲训练所述词向量模型时,可以获取样本数据库中的至少一首歌曲中的任一歌曲,并获取所述任一歌曲包括的每个歌词的音频向量,并利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量。
在一个实施例中,服务器利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量时,可以将所述任一歌曲包括的每个歌词的音频向量作为初始化向量输入词向量模型进行训练,得到所述每个歌词的前后文信息,并根据所述每个歌词的音频向量和所述前后文信息生成所述每个歌词的特征向量。
在一个实施例中,词向量模型具体可以为Word2vec模型,Word2vec模型包括连续词袋模型(Continuous Bag-of-Words Model,CBOW)和跳字模型(Continuous Skip-gramModel,Skip-gram)两种训练模式。其中,CBOW是通过前后文信息来预测当前词的一种方式,如在一句话中扣掉一个词,输入其他词来预测扣掉的这个词;Skip-gram是通过用当前词来预测前后文信息的一种方式,如输入一个词,预设这个词的前面和后面是什么词。
在一个实施例中,本申请可以采用CBOW训练模式,具体可以图4为例对使用CBOW模型的训练过程进行说明,图4是本发明实施例提供的一种词向量模型的示意图,如图4所示,假设一首歌曲中的一句歌词中包括沿途、与、他、车厢、中、私奔、般、恋爱这几个字和词,随机抽取其中的沿途、私奔、恋爱这几个词作为输入,获取抽取的沿途、私奔、恋爱这几个词的音频向量,并将这几个词的音频向量作为初始化向量输入CBOW模型进行训练,通过全连接层和多分类层预测得到这句歌词中的其他词如车厢,通过这种训练方式即可得到每个字或词的前后文信息,在训练过程中各个音频向量即可学习到对应的字或词的前后文信息,进而得到每个歌词的特征向量,该特征向量包含了歌词的音频信息和前后文信息。
在一个实施例中,服务器在针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词的音频向量时,可以针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词对应的音频片段的长度和所述每个歌词在所述至少一首歌曲中出现的次数,并根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量。
在一个实施例中,服务器根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量时,可以根据预设的采集时间间隔和所述音频片段的长度确定所述每个歌词的至少一个时域向量,并对所述每个歌词的至少一个时域向量进行频域转换,得到所述每个歌词的至少一个频域向量,以及利用所述次数和所述每个歌词的至少一个频域向量获取所述每个歌词的平均频域向量,从而将所述每个歌词的平均频域向量作为所述每个歌词的音频向量。
在一种实施方式中,服务器可以将任一歌曲包括的每个歌词所对应的音频片段抽取出来,比如其中一个歌词词的音频片段的长度是0.5s,采集时间间隔是0.1秒,那这个音频片段就包含了0.5/0.1=4个时间序列,这四个序列作为一组,代表了这个歌词对应的时域向量,接着将其进行频域转换,得到频域向量,也就是上面G,所以每个歌词都可以通过这种变换,得到每个歌词对应的G,根据同一个歌词在所有歌曲里出现过的音频片段所对应的频域向量G,计算平均值,并用这个平均值来表示这个歌词的平均频域向量,从而将每个歌词的平均频域向量作为所述每个歌词的音频向量。在某些实施例中,如果一个歌词在所有歌曲里只出现过一次,则该歌词的音频向量即为该音频片段所对应的频域向量G。
以图5为例进行说明,图5是本发明实施例提供的一种获取音频向量的示意图,如图5所示,假设“恋爱”这个词在一首歌曲里出现过两次,或在两首歌曲里出现过两次,总之它在所有歌曲里出现过两次,则可以获取“恋爱”这个词在所有歌曲里的两个时域向量,并将这两个时域向量进行频域转换得到两个频域向量G,取这两个频域向量G的平均值得到平均频域向量,并确定该平均频域向量作为“恋爱”这个词的音频向量。
有以图6为例,图6是本发明实施例提供的另一种获取音频向量的示意图,如图6所示,假设歌词“沿途”在所有歌曲里出现过3次,则可以获取“沿途”这个歌词出现3次对应的3个时域向量,并对3个时域向量进行频域转换得到对应的3个频域向量,从而取这3个频域向量的平均频域向量为“沿途”这个歌词的音频向量。假设歌词“私奔”在所有歌曲里出现过2次,则可以获取“私奔”这个歌词的2个时域向量,并对2个时域向量进行频域转换得到对应的3个频域向量,从而取这2个频域向量的平均频域向量为“私奔”这个歌词的音频向量。假设歌词“恋爱”在所有歌曲里出现过2次,则可以获取“恋爱”这个歌词的2个时域向量,并对2个时域向量进行频域转换得到对应的2个频域向量,从而取这2个频域向量的平均频域向量为“恋爱”这个词的音频向量。
S203:根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合。
本发明实施例中,服务器可以根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合。
在一个实施例中,服务器在根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合时,可以计算所述歌曲检索词的特征向量与所述每个歌词的特征向量之间的第一相似度,并根据所述第一相似度从所述至少一首歌曲包括的每个歌词中确定所述歌曲检索词的相似词集合。在某些实施例中,所述歌曲检索词的特征向量与所述每个歌词的特征向量之间的第一相似度可以通过向量内积、余弦相似度等方法计算得到。
具体可以结合图7进行说明,图7是本发明实施例提供的一种获取相似词的示意图,如图7所示,以“恋爱”这个歌曲检索词为例,可以获取“恋爱”这个歌曲检索词的特征向量,以及样本数据库中每首歌曲的每个歌词的特征向量,并根据余弦相似度方法计算“恋爱”这个歌曲检索词的特征向量与样本数据库中每首歌曲的每个歌词的特征向量之间的第一相似度,从而根据所述第一相似度从所述至少一首歌曲包括的每个歌词中确定所述歌曲检索词的相似词集合,如“恋爱”的相似词集合包括“私奔”。
通过这种实施方式,可以确定出与歌曲检索词在文本上相似的相似词集合和/或在音频上歌曲风格与检索词相似的相似词集合,从而更有效地获取到更多、更全面的相似词集合,有助于提高歌曲检索的准确性。
S204:利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。
本发明实施例中,服务器可以利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。
例如,假设歌曲检索词为“恋爱”,服务器可以获取“恋爱”的特征向量,并获取数据库中10首歌曲包括的100个歌词的特征向量,如果服务器根据所述检索词“恋爱”和数据库中10首歌曲包括的100个歌词的特征向量,从10首歌曲包括的100个歌词中确定出与所述歌曲检索词“恋爱”相关的相似词集合为{“恋爱”、“相爱”、“爱慕”},则服务器可以利用所述相似词集合{“恋爱”、“相爱”、“爱慕”},从10首歌曲中确定出与所述歌曲检索词“恋爱”匹配的目标歌曲。
在一个实施例中,服务器在利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲时,可以获取所述相似词集合包括的相似词对应的平均词向量,并获取所述至少一首歌曲包括的每个歌词的词向量,以及计算所述平均词向量与所述每个歌词的词向量之间的第二相似度,以及根据所述第二相似度计算所述平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度,从而根据所述第三相似度确定出与所述歌曲检索词匹配的目标歌曲。
在一个实施例中,在根据所述第二相似度计算所述平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度时,可以通过对平均词向量与所述每个歌词的词向量之间的第二相似度进行加权和归一化来计算平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度。例如,可以通过计算每个第二相似度的平均相似度来确定所述平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度。
例如,假设服务器获取到相似词集合包括的相似词对应的平均词向量为X,并获取到一首歌曲包括的2个歌词的词向量Y1和Y2,如果计算所述平均词向量X与所述2个歌词的词向量Y1和Y2之间的第二相似度分别为C1和C2,则可以根据所述第二相似度C1和C2计算所述平均词向量X与词向量Y2之间的第三相似度Z,其中,Z为C1和C2的平均值,从而根据所述第三相似度Z确定出与所述歌曲检索词匹配的目标歌曲。
本发明实施例可以获取用户输入的歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,并根据所述歌曲检索词的特征向量从至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合,从而利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。通过这种实施方式,无需对歌曲添加标签就可以匹配出歌词与检索词相关和/或音频表达出检索词对应的歌曲风格的歌曲,增加了歌曲检索结果的范围,丰富了歌曲检索结果,提高了歌曲检索的准确性。
请参见图8,图8是本发明实施例提供的一种歌曲检索装置的结构示意图。具体的,所述装置设置于服务器中,所述装置包括:第一获取模块801、第二获取模块802、第三获取模块803、第一确定模块803和第二确定模块804;
第一获取模块801,用于获取用户输入的歌曲检索词;
第二获取模块802,用于获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息;
第三获取模块803,用于获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息;
第一确定模块804,用于根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合;
第二确定模块805,用于利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。
进一步地,所述第一确定模块804根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合时,具体用于:
计算所述歌曲检索词的特征向量与所述每个歌词的特征向量之间的第一相似度;
根据所述第一相似度从所述至少一首歌曲包括的每个歌词中确定所述歌曲检索词的相似词集合。
进一步地,所述第二确定模块805利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲时,具体用于:
获取所述相似词集合包括的相似词对应的平均词向量;
获取所述至少一首歌曲包括的每个歌词的词向量;
计算所述平均词向量与所述每个歌词的词向量之间的第二相似度;
根据所述第二相似度计算所述平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度;
根据所述第三相似度确定出与所述歌曲检索词匹配的目标歌曲。
进一步地,所述装置还包括训练模块806,
所述训练模块806,具体用于:
针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词的音频向量;
利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量。
进一步地,所述训练模块806利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量时,具体用于:
将所述任一歌曲包括的每个歌词的音频向量作为初始化向量输入词向量模型进行训练,得到所述每个歌词的前后文信息;
根据所述每个歌词的音频向量和所述前后文信息生成所述每个歌词的特征向量。
进一步地,所述训练模块806针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词的音频向量时,具体用于:
针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词对应的音频片段的长度和所述每个歌词在所述至少一首歌曲中出现的次数;
根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量。
进一步地,所述训练模块806根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量时,具体用于:
根据预设的采集时间间隔和所述音频片段的长度确定所述每个歌词的至少一个时域向量;
对所述每个歌词的至少一个时域向量进行频域转换,得到所述每个歌词的至少一个频域向量;
利用所述次数和所述每个歌词的至少一个频域向量获取所述每个歌词的平均频域向量;
将所述每个歌词的平均频域向量作为所述每个歌词的音频向量。
本发明实施例可以获取用户输入的歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,并获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息,以及根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合,从而利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。通过这种实施方式,无需对歌曲添加标签就可以匹配出歌词与检索词相关和/或音频表达出检索词对应的歌曲风格的歌曲,增加了歌曲检索结果的范围,丰富了歌曲检索结果,提高了歌曲检索的准确性。
请参见图9,图9是本发明实施例提供的一种服务器的结构示意图。具体的,所述服务器包括:存储器901、处理器902。
在一种实施例中,所述服务器还包括数据接口903,所述数据接口903,用于传递服务器和其他设备之间的数据信息。
所述存储器901可以包括易失性存储器(volatile memory);存储器901也可以包括非易失性存储器(non-volatile memory);存储器901还可以包括上述种类的存储器的组合。所述处理器902可以是中央处理器(central processing unit,CPU)。所述处理器902还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA)或其任意组合。
所述存储器901用于存储程序,所述处理器902可以调用存储901中存储的程序,用于执行如下步骤:
获取用户输入的歌曲检索词;
获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息;
获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息;
根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合;
利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。
进一步地,所述处理器902根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合时,具体用于:
计算所述歌曲检索词的特征向量与所述每个歌词的特征向量之间的第一相似度;
根据所述第一相似度从所述至少一首歌曲包括的每个歌词中确定所述歌曲检索词的相似词集合。
进一步地,所述处理器902利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲时,具体用于:
获取所述相似词集合包括的相似词对应的平均词向量;
获取所述至少一首歌曲包括的每个歌词的词向量;
计算所述平均词向量与所述每个歌词的词向量之间的第二相似度;
根据所述第二相似度计算所述平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度;
根据所述第三相似度确定出与所述歌曲检索词匹配的目标歌曲。
进一步地,所述处理器902,具体用于:
针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词的音频向量;
利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量。
进一步地,所述处理器902利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量时,具体用于:
将所述任一歌曲包括的每个歌词的音频向量作为初始化向量输入词向量模型进行训练,得到所述每个歌词的前后文信息;
根据所述每个歌词的音频向量和所述前后文信息生成所述每个歌词的特征向量。
进一步地,所述处理器902针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词的音频向量时,具体用于:
针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词对应的音频片段的长度和所述每个歌词在所述至少一首歌曲中出现的次数;
根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量。
进一步地,所述处理器902根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量时,具体用于:
根据预设的采集时间间隔和所述音频片段的长度确定所述每个歌词的至少一个时域向量;
对所述每个歌词的至少一个时域向量进行频域转换,得到所述每个歌词的至少一个频域向量;
利用所述次数和所述每个歌词的至少一个频域向量获取所述每个歌词的平均频域向量;
将所述每个歌词的平均频域向量作为所述每个歌词的音频向量。
本发明实施例可以获取用户输入的歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,并根据所述歌曲检索词的特征向量从至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合,从而利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲。通过这种实施方式,无需对歌曲添加标签就可以匹配出歌词与检索词相关和/或音频表达出检索词对应的歌曲风格的歌曲,增加了歌曲检索结果的范围,丰富了歌曲检索结果,提高了歌曲检索的准确性。
本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明图2所对应实施例中描述的方法,也可实现图8所述本发明所对应实施例的装置,在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元,例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备,例如所述设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种歌曲检索方法,其特征在于,包括:
获取用户输入的歌曲检索词;
获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,所述歌曲检索词的音频信息用于表示所述歌曲检索词的风格、所述歌曲检索词的前后文信息是指在确定所述歌曲检索词的特征向量的过程中,将歌曲检索词的音频向量作为初始化向量输入词向量模型进行训练后得到的信息;歌曲检索词的音频向量是训练好的词向量模型训练所述歌曲检索词后得到的;
获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息,每个歌词的音频信息用于表示每个歌词的风格,所述每个歌词的前后文信息是指在确定所述每个歌词的特征向量的过程中,将对应的每个歌词的音频向量作为初始化向量输入词向量模型进行训练后得到的信息;每个歌词的音频向量则是根据各歌词所在歌曲得到的;
根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合;
利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲;
其中,所述利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲,包括:获取所述相似词集合包括的相似词对应的平均词向量;获取所述至少一首歌曲包括的每个歌词的词向量;计算所述平均词向量与所述每个歌词的词向量之间的第二相似度;根据所述第二相似度计算所述平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度;根据所述第三相似度确定出与所述歌曲检索词匹配的目标歌曲。
2.根据权利要求1所述的方法,其特征在于,所述根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合,包括:
计算所述歌曲检索词的特征向量与所述每个歌词的特征向量之间的第一相似度;
根据所述第一相似度从所述至少一首歌曲包括的每个歌词中确定所述歌曲检索词的相似词集合。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词的音频向量;
利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量。
4.根据权利要求3所述的方法,其特征在于,所述利用词向量模型训练所述任一歌曲包括的每个歌词的音频向量,得到所述每个歌词的特征向量,包括:
将所述任一歌曲包括的每个歌词的音频向量作为初始化向量输入词向量模型进行训练,得到所述每个歌词的前后文信息;
根据所述每个歌词的音频向量和所述前后文信息生成所述每个歌词的特征向量。
5.根据权利要求3所述的方法,其特征在于,所述针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词的音频向量,包括:
针对所述至少一首歌曲中的任一歌曲,获取所述任一歌曲包括的每个歌词对应的音频片段的长度和所述每个歌词在所述至少一首歌曲中出现的次数;
根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量。
6.根据权利要求5所述的方法,其特征在于,所述根据预设的采集时间间隔、所述音频片段的长度和所述次数,确定所述每个歌词的音频向量,包括:
根据预设的采集时间间隔和所述音频片段的长度确定所述每个歌词的至少一个时域向量;
对所述每个歌词的至少一个时域向量进行频域转换,得到所述每个歌词的至少一个频域向量;
利用所述次数和所述每个歌词的至少一个频域向量获取所述每个歌词的平均频域向量;
将所述每个歌词的平均频域向量作为所述每个歌词的音频向量。
7.一种歌曲检索装置,其特征在于,所述装置包括:
第一获取模块,用于获取用户输入的歌曲检索词;
第二获取模块,用于获取所述歌曲检索词的特征向量,所述特征向量用于指示所述歌曲检索词的音频信息和前后文信息,所述歌曲检索词的音频信息用于表示所述歌曲检索词的风格、所述歌曲检索词的前后文信息是指在确定所述歌曲检索词的特征向量的过程中,将歌曲检索词的音频向量作为初始化向量输入词向量模型进行训练后得到的信息;歌曲检索词的音频向量是训练好的词向量模型训练所述歌曲检索词后得到的;
第三获取模块,用于获取至少一首歌曲包括的每个歌词的特征向量,所述特征向量用于指示所述每个歌词的音频信息和前后文信息,每个歌词的音频信息用于表示每个歌词的风格,所述每个歌词的前后文信息是指在确定所述每个歌词的特征向量的过程中,将对应的每个歌词的音频向量作为初始化向量输入词向量模型进行训练后得到的信息;每个歌词的音频向量则是根据各歌词所在歌曲得到的;
第一确定模块,用于根据所述歌曲检索词的特征向量和所述每个歌词的特征向量,从所述至少一首歌曲包括的歌词中确定所述歌曲检索词的相似词集合;
第二确定模块,用于利用所述相似词集合从所述至少一首歌曲中确定出与所述歌曲检索词匹配的目标歌曲;
所述第二确定模块,用于获取所述相似词集合包括的相似词对应的平均词向量;获取所述至少一首歌曲包括的每个歌词的词向量;计算所述平均词向量与所述每个歌词的词向量之间的第二相似度;根据所述第二相似度计算所述平均词向量与所述至少一首歌曲中每首歌曲之间的第三相似度;根据所述第三相似度确定出与所述歌曲检索词匹配的目标歌曲。
8.一种服务器,其特征在于,包括处理器和存储装置,所述处理器和存储装置相互连接,其中,所述存储装置用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有程序指令,该程序指令被执行时,用于实现如权利要求1-6任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN201911424872.XA 2019-12-31 2019-12-31 一种歌曲检索方法、装置、服务器及存储介质 Active CN111198965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911424872.XA CN111198965B (zh) 2019-12-31 2019-12-31 一种歌曲检索方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911424872.XA CN111198965B (zh) 2019-12-31 2019-12-31 一种歌曲检索方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111198965A CN111198965A (zh) 2020-05-26
CN111198965B true CN111198965B (zh) 2024-04-19

Family

ID=70746529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911424872.XA Active CN111198965B (zh) 2019-12-31 2019-12-31 一种歌曲检索方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111198965B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377997A (zh) * 2021-06-30 2021-09-10 腾讯音乐娱乐科技(深圳)有限公司 一种歌曲检索方法、电子设备及计算机可读存储介质
CN117390217B (zh) * 2023-12-13 2024-05-24 杭州网易云音乐科技有限公司 歌曲片段的确定方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885949A (zh) * 2012-12-19 2014-06-25 中国科学院声学研究所 一种基于歌词的歌曲检索系统及其检索方法
CN109902156A (zh) * 2019-01-09 2019-06-18 北京小乘网络科技有限公司 实体检索方法、存储介质和电子设备
CN110110137A (zh) * 2019-03-19 2019-08-09 咪咕音乐有限公司 一种确定音乐特征的方法、装置、电子设备及存储介质
CN110309345A (zh) * 2018-02-07 2019-10-08 上海博泰悦臻网络技术服务有限公司 基于车载收音机的在线歌曲搜索方法与搜索引擎
CN111753551A (zh) * 2020-06-29 2020-10-09 北京字节跳动网络技术有限公司 基于词向量生成模型的信息生成方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173938A (ja) * 2003-12-10 2005-06-30 Pioneer Electronic Corp 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885949A (zh) * 2012-12-19 2014-06-25 中国科学院声学研究所 一种基于歌词的歌曲检索系统及其检索方法
CN110309345A (zh) * 2018-02-07 2019-10-08 上海博泰悦臻网络技术服务有限公司 基于车载收音机的在线歌曲搜索方法与搜索引擎
CN109902156A (zh) * 2019-01-09 2019-06-18 北京小乘网络科技有限公司 实体检索方法、存储介质和电子设备
CN110110137A (zh) * 2019-03-19 2019-08-09 咪咕音乐有限公司 一种确定音乐特征的方法、装置、电子设备及存储介质
CN111753551A (zh) * 2020-06-29 2020-10-09 北京字节跳动网络技术有限公司 基于词向量生成模型的信息生成方法和装置

Also Published As

Publication number Publication date
CN111198965A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN110457432B (zh) 面试评分方法、装置、设备及存储介质
CN106649818B (zh) 应用搜索意图的识别方法、装置、应用搜索方法和服务器
US20180357312A1 (en) Generating a playlist
CN107357875A (zh) 一种语音搜索方法、装置及电子设备
US8719025B2 (en) Contextual voice query dilation to improve spoken web searching
US20230259712A1 (en) Sound effect adding method and apparatus, storage medium, and electronic device
CN111198965B (zh) 一种歌曲检索方法、装置、服务器及存储介质
CN111178056A (zh) 基于深度学习的文案生成方法、装置及电子设备
CN109635125B (zh) 一种词汇图谱搭建方法及电子设备
JP2020016784A (ja) 認識装置、認識方法及び認識プログラム
CN111859008B (zh) 一种推荐音乐的方法及终端
CN115840808A (zh) 科技项目咨询方法、装置、服务器及计算机可读存储介质
CN116127066A (zh) 文本聚类方法、文本聚类装置、电子设备及存储介质
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN114706949A (zh) 信息检索方法、装置、设备及计算机可读介质
CN114842982A (zh) 一种面向医疗信息系统的知识表达方法、装置及系统
CN114242047A (zh) 一种语音处理方法、装置、电子设备及存储介质
CN108280118A (zh) 文本播读方法、装置及客户端、服务器和存储介质
CN111401034B (zh) 文本的语义分析方法、语义分析装置及终端
CN113515687A (zh) 物流信息的获取方法和装置
CN113570404B (zh) 一种目标用户定位的方法、装置及相关设备
CN113641901B (zh) 资讯推荐方法、装置、计算机可读介质及电子设备
CN115544971B (zh) 古气候重建数据处理方法及装置
CN110737750B (zh) 分析文本受众的数据处理方法、装置与电子设备
CN111967518B (zh) 应用标注方法、应用标注装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant