CN109979418A - 音频处理方法、装置、电子设备及存储介质 - Google Patents

音频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109979418A
CN109979418A CN201910168728.8A CN201910168728A CN109979418A CN 109979418 A CN109979418 A CN 109979418A CN 201910168728 A CN201910168728 A CN 201910168728A CN 109979418 A CN109979418 A CN 109979418A
Authority
CN
China
Prior art keywords
audio
audio section
section
similarity
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910168728.8A
Other languages
English (en)
Other versions
CN109979418B (zh
Inventor
孔令城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Music Entertainment Technology Shenzhen Co Ltd
Original Assignee
Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Music Entertainment Technology Shenzhen Co Ltd filed Critical Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority to CN201910168728.8A priority Critical patent/CN109979418B/zh
Publication of CN109979418A publication Critical patent/CN109979418A/zh
Application granted granted Critical
Publication of CN109979418B publication Critical patent/CN109979418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种音频处理的方法、装置、电子设备及存储介质，包括：提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量，根据所述多个音频段的特征向量计算所述多个音频段之间的相似度，根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段，根据所述重复音频段集合确定所述目标音频的副歌；可提高提取副歌的准确性。

Description

音频处理方法、装置、电子设备及存储介质
技术领域
本发明涉及多媒体数据技术领域，尤其涉及一种音频处理方法，一种音频处理装置，一种电子设备，以及一种存储介质。
背景技术
通常，一首歌曲由前奏、主歌、副歌及间奏组成。其中，副歌的旋律和歌词都非常相似，形成了歌曲中通常最容易被人记忆的部分，可为听者提供一种较好的听觉效果；因此，副歌被称为一首歌曲当中最具代表性和最吸引人的部分，并被广泛应用于音乐搜索、彩铃制作或音乐试听等场景中。由于一首歌曲音频数据的复杂性和不同歌曲之间的差异性为副歌提取带来很多的困难。现有技术中通常采用文本分析的方法提取歌曲的副歌，该方法主要依赖于歌曲的歌词之间的关系；实践发现，较多歌曲不具备歌词，导致该方法的准确度较低，不能达到用户预期的效果。因此，如何能够较准确地提取副歌是当前亟待解决的问题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种音频处理方法、装置、电子设备及存储介质，可基于音频的色度特征信息提取副歌，以提高提取副歌的准确度。
一方面，本发明实施例提供一种音频处理方法，该方法包括：
提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段；
根据所述重复音频段集合确定所述目标音频的副歌。
一方面，本发明实施例提供一种音频处理装置，该装置包括：
提取单元，用于提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
计算单元，用于根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
获取单元，用于根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段；
确定单元，用于根据所述重复音频段集合确定所述目标音频的副歌。
一方面，本发明实施例提供一种电子设备，包括：处理器和存储装置；
所述存储装置存储有计算机程序指令，所述处理器调用所述计算机程序指令，用于执行如下步骤：
提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段；
根据所述重复音频段集合确定所述目标音频的副歌。
一方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，该计算机程序指令被执行时，该方法包括：
提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段；
根据所述重复音频段集合确定所述目标音频的副歌。
本发明实施例中，可以根据目标音频的多个音频段的特征向量确定音频段之间的相似度，根据相似度获取重复音频段，并根据重复音频段确定目标音频的副歌；音频段的特征向量用于描述音频段的色度特征信息(即音频的旋律)，即可通过副歌的旋律的重复特性提取目标音频的副歌，可提高获取目标音频的副歌的准确度。且该方法不需要依赖目标音频对应歌曲的歌词及乐器数字接口信息，适应范围广泛，例如，可适用于具备歌词的歌曲的副歌提取，也可适用于不具备歌词的歌曲的副歌提取。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的提供的一种音频处理方法的流程示意图；
图2是本发明的提供的另一种音频处理方法的流程示意图；
图3是本发明的提供的又一种音频处理方法的流程示意图；
图4是本发明的提供的一种音频处理装置的结构示意图；
图5是本发明的提供的又一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高副歌提取的准确度，本发明实施例提供一种音频处理方法，请参见图1，该方法可以应用于电子设备，该电子设备可以为智能手机、智能手表、平板电脑或服务器等设备，该方法可以包括步骤S101～S104。
S101、提取目标音频的色度特征信息，该色度特征信息包括多个音频段的特征向量。
为了提取目标音频的副歌，电子设备可以获取目标音频，例如，可以从本地数据库中获取目标音频，或者，从网络上在线拉取目标音频；其中，该目标音频可以为某歌曲的原唱音频或翻唱音频，原唱音频是指首次发表的歌曲由歌曲作者本人或与歌曲作者合作的人演唱该歌曲所生成的音频，翻唱音频是指已经发表歌曲由他人(即除歌曲作者本人和与歌曲作者合作的人)根据自己的风格重新演唱该歌曲所生成的音频。并提取该目标音频的色度chroma特征信息。其中，该色度特征信息包括多个音频段的特征向量，每个音频段的长度可以相同，也可以不相同，特征向量可以用于描述音频的旋律，更具体的用于描述根据该音频段的音高pitch值生成的二维图像特征；音高是指各种不同高低的声音，即音的高度，音的基本特征的一种。音高的大小是由振动频率决定的，两者具有正相关关系，即振动频率越高则音高越大，反之，振动频率越低则音高越小。
S102、根据多个音频段的特征向量计算该多个音频段之间的相似度。
由于目标音频的副歌的旋律(即色度特征)具有重复性，因此，副歌包括的音频段之间具有较高相似度。为了准确地提取目标音频的副歌，电子设备可以根据多个音频段的特征向量获取多个音频段之间的相似度。例如，可以按照预设距离算法计算多个音频段的特征向量之间的距离，预设距离算法可以包括欧式距离算法、曼哈顿距离算法、切比雪夫距离算法或马氏距离算法等等；根据多个音频段的特征向量之间的距离确定该多个音频段之间的相似度。其中，每两个音频段的特征向量之间的距离越大，表明两个音频段的色度特征之间的差异较大，即两个音频段的相似度较低；每两个音频段的特征向量之间的距离越小，表明两个音频段的色度特征之间的差异较小，即两个音频段的相似度较高。
S103、根据该相似度从该多个音频段中获取重复音频段集合，重复音频段集合包括多个重复音频段。
电子设备可以根据该相似度从该多个音频段中获取重复音频段集合，其中，该重复音频段集合包括多个重复音频段，该重复音频段可以是通过将相似度大于预设相似度阈值且具有相邻关系的每两个音频段进行合并得到。
S104、根据重复音频段集合确定目标音频的副歌。
电子设备可以根据重复音频段集合确定目标音频的副歌，具体的，可以对重复音频段集合中重复音频段进行筛选，并对筛选出重复音频段进行合并，得到目标音频的副歌。可通过目标音频的副歌的旋律的重复特性提取副歌，不需要依赖目标音频对应歌曲的歌词及乐器数字接口(Musical Instrument Digital Interface，MIDI)信息，可提高获取目标音频的副歌的准确度；适应范围广泛，可应用于提取具备歌词的歌曲的副歌，也可应用于提取不具备歌词的歌曲的副歌。
本发明实施例中，可以根据目标音频的多个音频段的特征向量确定音频段之间的相似度，根据相似度获取重复音频段，并根据重复音频段确定目标音频的副歌；音频段的特征向量用于描述音频段的色度特征信息(即音频的旋律)，即可通过副歌的旋律的重复特性提取目标音频的副歌，可提高获取目标音频的副歌的准确度。且该方法不需要依赖目标音频对应歌曲的歌词及乐器数字接口信息，适应范围广泛；例如，可适用于具备歌词的歌曲的副歌提取，也可适用于不具备歌词的歌曲的副歌提取。
基于上述的描述，本发明实施例提供另一种音频处理方法，该音频处理方法可以是由上述电子设备来执行；请参见图2，该音频处理方法包括S201-S206：
S201、对目标音频进行划分得到多个音频段。
为了分析目标音频的各个音频段之间的相似关系，可以将目标音频划分得到多个音频段。在一个实施例中，为了提高短时傅里叶变换的信号的稳定性，可以按照固定长度对目标音频进行划分得到多个音频段。例如，假设该目标音频的长度为3min，即180s，固定长度为60ms，对目标音频进行划分，得到3000个音频段；其中，1ms～60ms为第一音频段，61ms～120ms为第二音频段，121ms～180ms为第三音频段，181ms～240ms为第四音频段等等。
S202、获取多个音频段中每个音频段的时频信息。
电子设备可以对多个音频段中的每个音频段进行基于FFT的短时傅里叶变换，得到每个音频段的时频信息，该时频信息用于描述每个时间点该音频段的频率大小；其中，FFT变换时间间隔可以为80ms。
S203、对多个音频段中每个音频段的时频信息进行滤波处理，得到多个音频段中每个音频段的特征向量。
由于某些音频段中包括冗余信息，为了提高获取副歌的效率，可以对每个音频段的时频信息进行滤波处理，得到多个每个音频段的特征向量。例如，假设音频段的时频信息为ψp(f,t)，特征向量为采用带通滤波器对每个音频段的时频信息进行滤波，得到每个音频段的特征向量。其中，该特征向量用于描述一个时间段的音频段的chroma特征；特征向量包括多个元素，每个元素对应一个的音高空间h(h＝1,2，…12)，即每个元素是指该音频段的某个时间点的音高，元素在某个时间点的音高值为vh(t)。vh(t)可用公式(1)表示。在一个实施例中，若计算每个音频段的每个时间点的音高值，则会给电子设备带来较大处理压力；因此，为了提高处理效率及降低处理压力，电子设备可以按照预设的采样频率对滤波处理后的每个音频段的时频信息进行采样处理，得到每个音频段的特征向量。例如，预设的采样频率可以为44100Hz。
其中，BPFc,h(f)为带通滤波器，用来滤除h音高之外的幅度谱的值，即滤除音高不在音高范围内的音频，通常选取octl＝3和octh＝9来进行滤波。另外，音分、音高及频率之间的关系可以采用公式(2)表示。
Fc,h＝1200h+100(c-1) (2)
其中，上述频率的单位为Hz，c表示音分，音分(cent)用于表示声音高低的量，音分与频率的关系可以采用公式(3)表示。
其中，BPFc,h(f)可以是由汉明窗构成，可以由公式(4)表示。
S204、根据该多个音频段的特征向量计算该多个音频段之间的相似度。
在一个实例中，步骤S204之前还包括：对该多个音频段的每个音频段的征向量进行转调处理，得到每个该音频段的转调向量。
大多数歌曲的副歌部分具有调的升高或者降低的变化，主要体现在Chroma特征上，即Chroma特征存在循环移位。为了降低副歌的升调和降调对提取副歌的干扰，可以对音频段的特征向量进行转调处理，转调前和与转调后的特征向量满足公式(5a)的描述。
其中，表示音频段的转调向量(即转调后的特征向量)，表示音频段的特征向量(即转调前的特征向量)，S可以是一个12*12的转移矩阵，可以用公式(5b)表示。
步骤S204包括：根据该多个音频段中的每个音频段的转调向量和该多个音频段中的其他音频段的特征向量确定该多个音频段之间的相似度。
电子设备课可以每个音频段的转调向量和多个音频段中的其他音频段的特征向量确定该多个音频段之间的相似度。例如，针对第一音频段，可以计算第一音频段的转调向量与第二音频段的特征向量(即未转调处理的特征向量)之间的欧式距离，该欧式距离可以采用公式(6)表示。
其中，max vh(t)表示特征向量中的最大音高值，max vh(t+l)表示特征向量中的最大音高值。并根据欧式距离确定第一音频段与第二音频段之间的相似度。可以采用公式(7)表示。
r1,2(t，l)＝1-dt,l (7)
在一个实施例中，步骤S204包括如下步骤s11和s12。
s11、计算该多个音频段的特征向量之间的欧氏距离。
s12、根据该欧氏距离确定该多个音频段之间的相似度。
在步骤s11和s12中，可以采用欧氏距离算法计算每两个向量之间的欧氏距离，并根据该欧氏距离确定该多个音频段之间的相似度。例如，假设第一音频段的特征向量为第二音频段的特征向量为l是指音频段的长度；计算第一音频段的特征向量与第二音频的特征向量之间的欧式距离，该欧氏距离可以采用公式(8)表示；并根据欧氏距离计算第一音频段与第二音频段之间的相似度，该相似度可以采用公式(9)表示。
其中，max vh(t)表示特征向量中的最大音高值，max vh(t+l)表示特征向量中的最大音高值。
r1,2(t，l)＝1-dt,l (9)
其中，r1,2(t，l)是指第一音频段与第二音频段之间的相似度；第一音频段的特征向量与第二音频段的特征向量之间的欧氏距离越大，第一音频段与第二音频段之间的相似度越低；第一音频段的特征向量与第二音频段的特征向量之间的欧氏距离越小，第一音频段与第二音频段之间的相似度越高。
S205、根据该相似度从该多个音频段中获取重复音频段集合，该重复音频段集合包括多个重复音频段。
在一个实施例中，步骤S205包括如下步骤s21～s24。
s21、统计该多个音频段中的每个音频段与该多个音频段中的其他音频段之间的相似度总和。
s22、对每个该音频片段的相似度总和进行平均化处理，得到每个该音频段的平均相似度。
s23、对每个该音频段的平均相似度进行检测，以确定出平均相似度为局部最大值的音频段。
s24、将确定出的音频段中每两个具有相邻关系且平均相似度大于预设相似度阈值的音频段进行合并得到重复音频段。
在步骤s21～s24中，电子设备可以计算出各个时间段的音频段之间存在重复性的可能性，即可以通过分析音频段在时间轴t上平均相似度来定义存在重复段的可能性，平均值越高，表明音频段为重复段的可能性越大。例如，假设多个音频段包括第一音频段、第二音频段及第三音频段等等；针对第一音频段，计算第一音频段与第二音频段之间的相似度；及第一音频段与第三音频段之间的相似度，将第一音频段与其他各个音频段之间相似度进行累加，得到第一音频段的相似度总和。然后，对第一音频段的相似度总和进行平均化处理，得到第一音频段的平均相似度，可表示为R1,all(t,l)，可用公式(10)表示。
其中，T为目标音频的长度，r1,l(t,nl)表示第一音频段与第n*l个音频段之间的相似度，s+1为目标音频包括的音频段的数量。同理，可以根据上述步骤计算多个音频段中的其他音频段(除第一音频段以外)的平均相似度，如第二音频段的平均相似度，第三音频段的平均相似度。计算得到多个音频段中每个音频段的平均相似度后，可以采用公式(11)对每个音频段的平均相似度进行检测，以确定出平均相似度为局部最大值的音频段；该局部最大值为指公式(11)中的函数取值由正值变为负值的转折点处的取值。
其中，公式(11)中，w∈[-ksize，ksize]为检测区间，ksize的取值大小可以根据需要进行设置，例如，ksize的取值可以为35。由于不是所有平均相似度为局部最大值的音频段都为重复段，电子设备可以将确定出的音频段中每两个具有相邻关系且平均相似度大于预设相似度阈值的音频段进行合并得到重复音频段。预设相似度阈值可以是用户设置的，还可以是电子设备根据不同目标音频进行设置的。例如，电子设备可以采用公式(12)设置该预设相似度阈值，该预设相似度阈值可以根据待提取副歌的音频自适应调整，所以公式(12)适用于所有歌曲。
其中，公式(12)中的μ1是指各个音频段在时间轴上的平均相似度的均值，μ2是指各个音频段在频率轴上的平均相似度的均值；w1是指各个音频段在时间轴上的平均相似度为最大值的位置点，w2是指各个音频段在频率轴上的平均相似度为最大值的位置点。
在一个实施例中，在步骤s23之前，该方法还包括：由于目标音频的副歌主要在时间上具有重复性，因此，各音频段的平均相似度可以是指时间轴方向上的平均相似度。为了滤除非时间轴方向的噪声干扰，可以沿着时间轴方向对音频段的平均相似度进行增强。具体的，针对该多个音频段中的每个音频段，当音频段的平均相似度大于第一值，则将该音频段的平均相似度减去六个方向平均相似度的最小值，得到该音频的增强相似度值；否则，当音频段的平均相似度小于或等于第一值，则将该音频段的平均相似度减去六个方向上的音频段的平均相似度的最小值，得到该音频的增强相似度值，以便可以对每个音频段的增强相似度进行检测，以确定出增强相似度为局部最大值的音频段。该六个方向可以通过以下方式确定：以待增强的音频段为原点建立时频坐标系，将每个音频段映射到该坐标系中，将沿待增强的音频段的频率轴方向(包括正向和负向)，沿待增强的音频段的时间轴方向(包括正向和负向)，及与待增强的音频段的时间轴和频率轴成预设角度(如45度)的方向确定为六个方向(包括正向和负向)。其中，待增强的音频段可以是指多个音频段中的任一音频段，例如，在对第一音频段的平均相似度进行增强时，则待增强的音频段为第一音频段。
S206、根据该重复音频段集合确定该目标音频的副歌。
在一个实施例中，步骤S206包括如下步骤s31～s33。
s31、将该重复音频段集合中的重复音频段进行合并，得到至少一个合并的音频段。
s32、对该至少一个合并的音频段中的每个合并的音频段进行打分，得到每个合并的音频段的分值。
s33将分值最高的合并的音频段作为该目标音频的副歌。
在步骤s31～s33中，为了避免副歌的长度过短，及避免重复音频段之间有混叠的部分，可以将该重复音频段集合中的重复音频段进行合并，得到至少一个合并的音频段；并未每个合并的音频段设置分值，将分值最高的合并音频段作为该目标音频的副歌。即该分值最高的合并音频段的起始位置为副歌的起始位置，该分值最高的合并音频段的结束位置为副歌的结束位置，基于音频段的色度信息可以有效的确定出副歌的起始位置及结束位置，不需要依赖目标音频对应歌曲的歌词及MIDI信息，提高提取副歌的准确性。
在一个实施例中，步骤s31包括如下步骤s41～s43。
s41、从该重复音频段集合中获取具有相邻关系的多个目标重复音频段。
s42、计算该多个目标重复音频段的特征向量之间的欧氏距离的均方差。
s43、当该均方差小于预设均值时，将该多个目标重复音频进行合并，得到合并的音频段。
在步骤s41～s43中，电子设备可以根据重复音频段的特征向量之间的欧氏距离的均方差对重复音频段进行合并。例如，假设该重复音频段集合中包括第一重复音频段、第二重复音频段、第三重复音频段及第四重复音频段；第一重复音频段与第二重复音频段相邻、第二重复音频段与第三重复音频段相邻，第四重复音频段与其他重复音频段不具有相邻关系，相邻关系是指音频段在时间是相邻的；则该目标重复音频段包括第一重复音频段、第二重复音频段、第三重复音频段。针对第一重复音频段，电子设备可以计算第一重复音频段特征向量与第二重复音频段的特征向量之间的欧氏距离，计算第一重复音频段特征向量与第三重复音频段的特征向量之间的欧氏距离，根据上述计算的欧氏距离计算第一重复音频段的特征向量与其他重复音频段的特征向量之间的欧氏距离的均方差；同理可以计算第二重复音频段的特征向量与其他重复音频段的特征向量之间的欧氏距离的均方差，以及计算第三重复音频段的特征向量与其他重复音频段的特征向量之间的欧氏距离的均方差。当该三个均方差均小于预设均值，表明该三个重复音频段的相似度较大，则将第一重复音频段、第二重复音频段、第三重复音频段进行合并，得到合并的音频段。
在一个实施例中，步骤s33包括：根据每个该合并的音频段的长度为对应合并的音频段进行打分，得到每个合并的音频段的分值；或者，根据每个该合并的音频段的特征向量之间的欧氏距离总和为对应合并的音频段进行打分，得到每个合并的音频段的分值。
电子设备可以位合并的音频进行打分。具体的，由于副歌的长度比较固定，一般在[7.7s，44s]之间，因此，电子设备可以根据每个该合并的音频段的长度为对应合并的音频段进行打分，得到每个合并的音频段的分值；例如，当该合并的音频段的长度位于[7.7s，44s]范围内时，为该合并的音频段设置较高的分数；当该合并的音频段的长度没有位于[7.7s，44s]范围内时，为该合并的音频段设置较低的分数。在另外一个实例中，电子设备可以每个该合并的音频段的特征向量之间欧式距离总和为合并的音频段设置分值；其中，欧式距离总和越大，表明该合并的音频段中的旋律之间的相似度较小，为该合并的音频段设置一个低的分值；欧式距离总和越小，表明该合并的音频段中的旋律之间的相似度较大，为该合并的音频段设置一个高的分值。例如，假设包括第一合并的音频段及第二合并的音频段，每个合并的音频段包括多个特征向量；第一合并的音频段的特征向量之间的欧式距离总和为第一距离，第二合并的音频段的特征向量之间的欧式距离总和为第二距离。假设第一距离大于第二距离，则为第一合并的音频段设置第一分值，为第二合并的音频段设置第二分值，第一分值小于第二分值。
本发明实施例中，可以根据目标音频的多个音频段的特征向量确定音频段之间的相似度，根据相似度获取重复音频段，并根据重复音频段确定目标音频的副歌；音频段的特征向量用于描述音频段的色度特征信息(即音频的旋律)，即可通过副歌的旋律的重复特性提取目标音频的副歌，可提高获取目标音频的副歌的准确度。且该方法不需要依赖目标音频对应歌曲的歌词及乐器数字接口信息，适应范围广泛；例如，可适用于具备歌词的歌曲的副歌提取，也可适用于不具备歌词的歌曲的副歌提取。
在一个实施例中，上述音频处理方法可以由音频处理装置来执行，该音频处理装置可以被设置为一个音频处理应用程序，该音频处理应用程序可运行于一个单独的电子设备中，电子设备可以是指智能手机、智能手表、服务器或电脑等。图3以音频处理应用程序运行于智能手机中为例，该电子设备可以执行图1、图2所示的音频处理方法，例如，电子设备可以执行以下步骤：
S301、启动该音频处理应用程序。电子设备将音频处理应用程序的图标显示在终端的显示屏上，用户可以通过滑动或点击等触控方式触控该图标，电子设备检测到用户针对该图标的触控操作，则启动该音频处理应用程序。并显示音频处理应用程序的主界面，该主界面包括多个音频，如包括三个音频，分别为音频1、音频2及音频3；主界面上还包括每个音频的选项，音频的选项包括播放选项及副歌提取选项；播放选项用于触发电子设备播放音频，副歌提取选项用于触发电子设备提取音频的副歌。
S302、提取用户选择的目标音频的色度特征信息。当电子设备检测到用户针对音频1的副歌提取选项的触控操作，可以将音频1作为目标音频，并提取音频段1的色度信息。其中，电子设备可以一次提取一个音频的副歌，也可以实现批量提取多个音频的副歌，批量提取多个音频的副歌的方式可参见一次提取一个音频的副歌的方式，重复之处不再赘述。
S303、根据多个音频段的特征向量计算该多个音频段之间的相似度。
S304、根据该相似度从该多个音频段中获取重复音频段集合。
S305、根据重复音频段集合确定目标音频的副歌。
其中，对步骤S303～S305的描述可以参见图1中对步骤S202～S204的描述。
S306、将副歌设置为铃声。在一个实施例中，在提取到副歌后，可以将副歌设置为智能手机的铃声，如短信铃声、来电铃声或闹钟铃声等。例如，获取到音频1的副歌(标记为副歌1)后，可以将音频1的副歌作为智能手机的短信铃声。在另一个实例中，可以建立副歌与音频的关联关系，以便于可以通过副歌快速地搜索到对应的音频；或者，可以根据副歌制作音频的试听音频段，即将副歌作为音频的试听音频段，以便于提高音频的点击率。
本发明实施例中，可以通过副歌的旋律的重复特性提取目标音频的副歌，提高提取副歌的准确度，且该副歌提取方法适用范围广。提取的副歌可应用于制作铃声或制作歌曲试听音频段。
基于上述描述，本发明实施例提供一种音频处理装置的结构示意图，该音频处理装置可以运行于电子设备，此处电子设备可以包括智能手机、智能手表、机器人或电脑等等。如图4所示，该装置包括提取单元401、计算单元402、获取单元403、确定单元404及制作单元405。
提取单元401，用于提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
计算单元402，用于根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
获取单元403，用于根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段。
确定单元404，用于根据所述重复音频段集合确定所述目标音频的副歌。
可选的，提取单元401，具体用于对所述目标音频进行划分得到多个音频段；获取所述多个音频段中每个音频段的时频信息；对所述多个音频段中每个音频段的时频信息进行滤波处理，得到所述多个音频段中每个音频段的特征向量。
可选的，计算单元402，具体用于计算所述多个音频段的特征向量之间的欧氏距离；根据所述欧氏距离确定所述多个音频段之间的相似度。
可选的，获取单元403，具体用于统计所述多个音频段中的每个音频段与所述多个音频段中的其他音频段之间的相似度总和；对每个所述音频片段的相似度总和进行平均化处理，得到每个所述音频段的平均相似度；对每个所述音频段的平均相似度进行检测，以确定出平均相似度为局部最大值的音频段；将确定出的音频段中每两个具有相邻关系且平均相似度大于预设相似度阈值的音频段进行合并得到重复音频段。
可选的，确定单元404，具体用于将所述重复音频段集合中的重复音频段进行合并，得到至少一个合并的音频段；对所述至少一个合并的音频段中的每个合并的音频段进行打分，得到每个合并的音频段的分值；将分值最高的合并的音频段作为所述目标音频的副歌。
可选的，确定单元404，具体用于从所述重复音频段集合中获取具有相邻关系的多个目标重复音频段；计算所述多个目标重复音频段的特征向量之间的欧氏距离的均方差；当所述均方差小于预设均值时，将所述多个目标重复音频进行合并，得到合并的音频段。
可选的，确定单元404，具体用于根据每个所述合并的音频段的长度为对应合并的音频段进行打分，得到每个合并的音频段的分值；或者，根据每个所述合并的音频段的特征向量之间的欧氏距离总和为对应合并的音频段进行打分，得到每个合并的音频段的分值。
可选的，确定单元404，具体用于对所述多个音频段的每个音频段的征向量进行转调处理，得到每个所述音频段的转调向量；根据所述多个音频段中的每个音频段的转调向量和所述多个音频段中的其他音频段的特征向量确定所述多个音频段之间的相似度。
可选的，制作单元405，用于根据所述目标音频的副歌制作铃声；或者，根据所述目标音频的副歌制作所述目标音频的试听音频片段。
本发明实施例中，可以根据目标音频的多个音频段的特征向量确定音频段之间的相似度，根据相似度获取重复音频段，并根据重复音频段确定目标音频的副歌；音频段的特征向量用于描述音频段的色度特征信息(即音频的旋律)，即可通过副歌的旋律的重复特性提取目标音频的副歌，可提高获取目标音频的副歌的准确度。且该方法不需要依赖目标音频对应歌曲的歌词及乐器数字接口信息，适应范围广泛；例如，可适用于具备歌词的歌曲的副歌提取，也可适用于不具备歌词的歌曲的副歌提取。
请参见图5，是本发明实施例提供的一种电子设备的结构示意图，该电子设备1000包括：处理器1001、用户接口1003、网络接口1004以及存储装置1005，处理器1001、用户接口1003、网络接口1004以及存储装置1005之间通过总线1002连接。
用户接口1003，用于实现人机交互，用户接口可以包括显示屏或键盘等等。网络接口1004，用于与外部设备之间进行通信连接。存储装置1005与处理器1001耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储装置1005可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储装置1005可以存储操作系统(下述简称系统)，例如ANDROID，IOS，或者LINUX等操作系统。存储装置1005还可以存储网络通信程序，该网络通信程序可用于与一个或多个附加设备，一个或多个终端设备，一个或多个网络设备进行通信。存储装置1005还可以存储用户接口程序，该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来，并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。存储装置1005还可以存储一个或多个应用程序，如音频处理应用程序，用于提取音频的副歌。
在一个实施例中，所述存储装置1005还可用于存储一条或一条以上的程序指令；所述处理器1001可以调用所述一条或一条以上的程序指令时能够执音频处理方法以实现提取副歌，具体地，所述处理器1001调用程序指令，执行如下步骤：
提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段；
根据所述重复音频段集合确定所述目标音频的副歌。可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
对所述目标音频进行划分得到多个音频段；
获取所述多个音频段中每个音频段的时频信息；
对所述多个音频段中每个音频段的时频信息进行滤波处理，得到所述多个音频段中每个音频段的特征向量。可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
计算所述多个音频段的特征向量之间的欧氏距离；
根据所述欧氏距离确定所述多个音频段之间的相似度。
可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
统计所述多个音频段中的每个音频段与所述多个音频段中的其他音频段之间的相似度总和；
对每个所述音频片段的相似度总和进行平均化处理，得到每个所述音频段的平均相似度；
对每个所述音频段的平均相似度进行检测，以确定出平均相似度为局部最大值的音频段；
将确定出的音频段中每两个具有相邻关系且平均相似度大于预设相似度阈值的音频段进行合并得到重复音频段。
可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
将所述重复音频段集合中的重复音频段进行合并，得到至少一个合并的音频段；
对所述至少一个合并的音频段中的每个合并的音频段进行打分，得到每个合并的音频段的分值；
将分值最高的合并的音频段作为所述目标音频的副歌。
可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
从所述重复音频段集合中获取具有相邻关系的多个目标重复音频段；
计算所述多个目标重复音频段的特征向量之间的欧氏距离的均方差；
当所述均方差小于预设均值时，将所述多个目标重复音频进行合并，得到合并的音频段。
可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
根据每个所述合并的音频段的长度为对应合并的音频段进行打分，得到每个合并的音频段的分值；或者，
根据每个所述合并的音频段的特征向量之间的欧氏距离总和为对应合并的音频段进行打分，得到每个合并的音频段的分值。
可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
对所述多个音频段的每个音频段的征向量进行转调处理，得到每个所述音频段的转调向量；
根据所述多个音频段中的每个音频段的转调向量和所述多个音频段中的其他音频段的特征向量确定所述多个音频段之间的相似度。
可选的，所述处理器1001可以调用所述程序指令，执行如下步骤：
根据所述目标音频的副歌制作铃声；或者，根据所述目标音频的副歌制作所述目标音频的试听音频片段。
在一个实施例中，所述处理器1001可用于读取和执行计算机指令，实现如本申请图1或图2所述的一种音频处理方法。本发明实施例中提供的电子设备解决问题的原理与图1及图2所述的方法实施例相似，因此该电子设备的实施方式以及有益效果可以参见方法实施例的实施方式以及有益效果，重复之处不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序解决问题的实施方式以及有益效果可以参见上述图1及图2所述的一种音频处理方法的实施方式以及有益效果，重复之处不再赘述。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种音频处理方法，其特征在于，包括：
提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段；
根据所述重复音频段集合确定所述目标音频的副歌。
2.如权利要求1所述的方法，其特征在于，所述提取目标音频的色度特征信息，包括：
对所述目标音频进行划分得到多个音频段；
获取所述多个音频段中每个音频段的时频信息；
对所述多个音频段中每个音频段的时频信息进行滤波处理，得到所述多个音频段中每个音频段的特征向量。
3.如权利要求1所述的方法，其特征在于，所述根据所述多个音频段的特征向量计算所述多个音频之间的相似度，包括：
计算所述多个音频段的特征向量之间的欧氏距离；
根据所述欧氏距离确定所述多个音频段之间的相似度。
4.如权利要求3所述的方法，其特征在于，所述根据所述相似度从所述多个音频段中获取重复音频段集合，包括：
统计所述多个音频段中的每个音频段与所述多个音频段中的其他音频段之间的相似度总和；
对每个所述音频片段的相似度总和进行平均化处理，得到每个所述音频段的平均相似度；
对每个所述音频段的平均相似度进行检测，以确定出平均相似度为局部最大值的音频段；
将确定出的音频段中每两个具有相邻关系且平均相似度大于预设相似度阈值的音频段进行合并得到重复音频段。
5.如权利要求4所述的方法，其特征在于，所述根据所述重复音频段集合确定所述目标音频的副歌，包括：
将所述重复音频段集合中的重复音频段进行合并，得到至少一个合并的音频段；
对所述至少一个合并的音频段中的每个合并的音频段进行打分，得到每个合并的音频段的分值；
将分值最高的合并的音频段作为所述目标音频的副歌。
6.如权利要求5所述的方法，其特征在于，所述将所述重复音频段集合中的重复音频段进行合并，得到至少一个合并的音频段，包括：
从所述重复音频段集合中获取具有相邻关系的多个目标重复音频段；
计算所述多个目标重复音频段的特征向量之间的欧氏距离的均方差；
当所述均方差小于预设均值时，将所述多个目标重复音频进行合并，得到合并的音频段。
7.如权利要求5所述的方法，其特征在于，所述对所述至少一个合并的音频段中的每个合并的音频段进行打分，得到每个合并的音频段的分值，包括：
根据每个所述合并的音频段的长度为对应合并的音频段进行打分，得到每个合并的音频段的分值；或者，
根据每个所述合并的音频段的特征向量之间的欧氏距离总和为对应合并的音频段进行打分，得到每个合并的音频段的分值。
8.如权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
对所述多个音频段的每个音频段的征向量进行转调处理，得到每个所述音频段的转调向量；
所述根据所述相似度从所述多个音频段中选取重复音频段，包括：
根据所述多个音频段中的每个音频段的转调向量和所述多个音频段中的其他音频段的特征向量确定所述多个音频段之间的相似度。
9.如权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标音频的副歌制作铃声；或者，根据所述目标音频的副歌制作所述目标音频的试听音频片段。
10.一种音频处理装置，其特征在于，包括：
提取单元，用于提取目标音频的色度特征信息，所述色度特征信息包括多个音频段的特征向量；
计算单元，用于根据所述多个音频段的特征向量计算所述多个音频段之间的相似度；
获取单元，用于根据所述相似度从所述多个音频段中获取重复音频段集合，所述重复音频段集合包括多个重复音频段；
确定单元，用于根据所述重复音频段集合确定所述目标音频的副歌。
11.一种电子设备，其特征在于，所述电子设备包括：
处理器，适于实现一条或一条以上指令；以及，
计算机可读存储介质，所述计算机可读存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如权利要求1-9任一项所述的音频处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如权利要求1-9任一项所述的音频处理方法。
CN201910168728.8A 2019-03-06 2019-03-06 音频处理方法、装置、电子设备及存储介质 Active CN109979418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910168728.8A CN109979418B (zh) 2019-03-06 2019-03-06 音频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910168728.8A CN109979418B (zh) 2019-03-06 2019-03-06 音频处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109979418A true CN109979418A (zh) 2019-07-05
CN109979418B CN109979418B (zh) 2022-11-29

Family

ID=67078056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910168728.8A Active CN109979418B (zh) 2019-03-06 2019-03-06 音频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109979418B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111370024A (zh) * 2020-02-21 2020-07-03 腾讯科技（深圳）有限公司 一种音频调整方法、设备及计算机可读存储介质
CN111782862A (zh) * 2020-06-24 2020-10-16 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置及存储介质
US20210125593A1 (en) * 2019-10-28 2021-04-29 Spotify Ab Automatic orchestration of a midi file
CN113035234A (zh) * 2021-03-10 2021-06-25 湖南快乐阳光互动娱乐传媒有限公司 音频数据处理方法及相关装置
CN115641856A (zh) * 2022-12-14 2023-01-24 北京远鉴信息技术有限公司 一种语音的重复音频检测方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233965A (ja) * 2002-10-24 2004-08-19 National Institute Of Advanced Industrial & Technology 音楽音響データ中のサビ区間を検出する方法及び装置並びに該方法を実行するためのプログラム
DE102004047068A1 (de) * 2004-09-28 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Gruppieren von zeitlichen Segmenten eines Musikstücks
US20080300702A1 (en) * 2007-05-29 2008-12-04 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
CN102903357A (zh) * 2011-07-29 2013-01-30 华为技术有限公司 一种提取歌曲副歌的方法、装置和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233965A (ja) * 2002-10-24 2004-08-19 National Institute Of Advanced Industrial & Technology 音楽音響データ中のサビ区間を検出する方法及び装置並びに該方法を実行するためのプログラム
DE102004047068A1 (de) * 2004-09-28 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Gruppieren von zeitlichen Segmenten eines Musikstücks
US20080300702A1 (en) * 2007-05-29 2008-12-04 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
CN102903357A (zh) * 2011-07-29 2013-01-30 华为技术有限公司 一种提取歌曲副歌的方法、装置和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210125593A1 (en) * 2019-10-28 2021-04-29 Spotify Ab Automatic orchestration of a midi file
US11651758B2 (en) * 2019-10-28 2023-05-16 Spotify Ab Automatic orchestration of a MIDI file
CN111370024A (zh) * 2020-02-21 2020-07-03 腾讯科技（深圳）有限公司 一种音频调整方法、设备及计算机可读存储介质
CN111782862A (zh) * 2020-06-24 2020-10-16 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置及存储介质
CN111782862B (zh) * 2020-06-24 2024-05-14 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置及存储介质
CN113035234A (zh) * 2021-03-10 2021-06-25 湖南快乐阳光互动娱乐传媒有限公司 音频数据处理方法及相关装置
CN113035234B (zh) * 2021-03-10 2024-02-09 湖南快乐阳光互动娱乐传媒有限公司 音频数据处理方法及相关装置
CN115641856A (zh) * 2022-12-14 2023-01-24 北京远鉴信息技术有限公司 一种语音的重复音频检测方法、装置及存储介质
CN115641856B (zh) * 2022-12-14 2023-03-28 北京远鉴信息技术有限公司 一种语音的重复音频检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN109979418B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN109979418A (zh) 音频处理方法、装置、电子设备及存储介质
US11657798B2 (en) Methods and apparatus to segment audio and determine audio segment similarities
JP6017687B2 (ja) オーディオ信号分析
CN109670074B (zh) 一种节奏点识别方法、装置、电子设备及存储介质
EP2845188B1 (en) Evaluation of downbeats from a musical audio signal
EP2816550B1 (en) Audio signal analysis
US20090307594A1 (en) Adaptive User Interface
CN104143324B (zh) 一种乐音音符识别方法
KR20150016225A (ko) 타겟 운율 또는 리듬이 있는 노래, 랩 또는 다른 가청 표현으로의 스피치 자동 변환
US20160044429A1 (en) Computing device identification using device-specific distortions of a discontinuous audio waveform
US20090205483A1 (en) Music recognition method based on harmonic features and mobile robot motion generation method using the same
CN106469555B (zh) 一种语音识别方法及终端
US20160027421A1 (en) Audio signal analysis
CN110070884A (zh) 音频起始点检测方法和装置
JP2009258366A (ja) 音声制御装置
CN110070885A (zh) 音频起始点检测方法和装置
KR102220964B1 (ko) 오디오 인식을 위한 방법 및 디바이스
CN110085214A (zh) 音频起始点检测方法和装置
CN112420004A (zh) 生成歌曲的方法、装置、电子设备及计算机可读存储介质
CN113066512A (zh) 佛教音乐识别方法、装置、设备及存储介质
CN110136677B (zh) 乐音控制方法及相关产品
WO2023273440A1 (zh) 一种生成多种音效的方法、装置和终端设备
CN113590872A (zh) 跳舞谱面生成的方法、装置以及设备
CN115203342A (zh) 一种音频识别方法、电子设备及可读存储介质
CN116612788A (zh) 音频数据的情感识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant