CN111105769B - 检测音频的中频节奏点的方法、装置、设备和存储介质 - Google Patents

检测音频的中频节奏点的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111105769B
CN111105769B CN201911363707.8A CN201911363707A CN111105769B CN 111105769 B CN111105769 B CN 111105769B CN 201911363707 A CN201911363707 A CN 201911363707A CN 111105769 B CN111105769 B CN 111105769B
Authority
CN
China
Prior art keywords
point
audio
music
frequency
rhythm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911363707.8A
Other languages
English (en)
Other versions
CN111105769A (zh
Inventor
劳振锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201911363707.8A priority Critical patent/CN111105769B/zh
Publication of CN111105769A publication Critical patent/CN111105769A/zh
Application granted granted Critical
Publication of CN111105769B publication Critical patent/CN111105769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection

Abstract

本申请公开了一种检测音频的中频节奏点的方法、装置、设备和存储介质，属于音频处理技术领域。所述方法包括：确定音频的拍型、音乐小节和节奏点；基于所述音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围；对于每个音乐小节，如果在所述音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含所述音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将所述满足中频能量特征条件的节奏点确定为所述音频的中频节奏点。采用本申请提供的方法，可以有效解决相关技术中检测出的中频节奏点的准确率较低的技术问题。

Description

检测音频的中频节奏点的方法、装置、设备和存储介质
技术领域
本申请涉及音频处理技术领域，具体涉及一种检测音频的中频节奏点的方法、装置、设备和存储介质。
背景技术
在使用手机外放播放歌曲时，由于手机外放低频往往不足，所以歌曲的低频节奏点(也可以称为低频鼓点，在低频节奏点存在击打底鼓发出的声音)往往感知不明显，感知明显的往往是中频节奏点(也可以称为中频鼓点，在中频节奏点存在击打军鼓或嗵鼓发出的声音)。
由于中频节奏点感知较为明显，所以往往将歌曲的中频节奏点提取出来，做一些有趣的应用。例如，在手机上播放歌曲的过程中，可以在中频节奏点进行播放背景的切换，以提高歌曲播放时的节奏感。
相关技术中在检测歌曲的节奏点时，通过检测歌曲在各个时间点的能量来确定歌曲的中频节奏点。但是，由于在歌曲中还存在除鼓声之外的其余声音(如人声)，所以检测中频节奏点时很容易受到其余声音的干扰，使得检测出的中频节奏点的准确率较低。
发明内容
本申请实施例提供了一种检测音频的中频节奏点的方法、装置、设备和存储介质，可以解决相关技术中存在的技术问题。所述检测音频的中频节奏点的方法、装置、设备和存储介质的技术方案如下：
第一方面，提供了一种检测音频的中频节奏点的方法，所述方法包括：
确定音频的拍型、音乐小节和节奏点；
基于所述音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围；
对于每个音乐小节，如果在所述音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含所述音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将所述满足中频能量特征条件的节奏点确定为所述音频的中频节奏点；
其中，所述满足低频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足低频能量特征，所述满足中频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足中频能量特征。
在一种可能的实现方式中，确定音频的音乐小节，包括：
基于madmom中的beat算法或downbeat算法，确定所述音频的音乐小节。
在一种可能的实现方式中，确定音频的节奏点，包括：
基于madmom中的onset算法或superflux算法，确定所述音频的所有节奏点。
在一种可能的实现方式中，所述基于所述音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围，包括：
如果所述音频的拍型为42拍或86拍，则在每个音乐小节中确定包含所述音乐小节的中间时间点的第一目标时间范围；
如果所述音频的拍型为44拍，则在每个音乐小节中确定包含所述音乐小节的1/4时间点的第一目标时间范围，以及包含所述音乐小节的3/4时间点的第一目标时间范围；
如果所述音频的拍型为43拍，则在每个音乐小节中确定包含所述音乐小节的1/3时间点的第一目标时间范围，以及包含所述音乐小节的2/3时间点的第一目标时间范围。
在一种可能的实现方式中，所述对于每个音乐小节，如果在所述音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含所述音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将所述满足中频能量特征条件的节奏点确定为所述音频的中频节奏点，包括：
对于每个音乐小节，检测所述音乐小节的第二目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足所述低频能量特征条件；
对于每个满足所述低频能量特征条件的节奏点对应的音乐小节，检测所述音乐小节的第一目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足所述中频能量特征条件，如果满足所述中频能量特征条件，则将满足所述中频能量特征条件的节奏点确定为所述音频的中频节奏点。
第二方面，提供了一种检测音频的中频节奏点的装置，所述装置包括：
第一确定模块，用于确定音频的拍型、音乐小节和节奏点；
第二确定模块，用于基于所述音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围；
检测模块，用于对于每个音乐小节，如果在所述音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含所述音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将所述满足中频能量特征条件的节奏点确定为所述音频的中频节奏点；
其中，所述满足低频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足低频能量特征，所述满足中频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足中频能量特征。
在一种可能的实现方式中，所述第一确定模块，用于：
基于madmom中的beat算法或downbeat算法，确定所述音频的音乐小节。
在一种可能的实现方式中，所述第一确定模块，用于：
基于madmom中的onset算法或superflux算法，确定所述音频的所有节奏点。
在一种可能的实现方式中，所述第二确定模块，用于：
如果所述音频的拍型为42拍或86拍，则在每个音乐小节中确定包含所述音乐小节的中间时间点的第一目标时间范围；
如果所述音频的拍型为44拍，则在每个音乐小节中确定包含所述音乐小节的1/4时间点的第一目标时间范围，以及包含所述音乐小节的3/4时间点的第一目标时间范围；
如果所述音频的拍型为43拍，则在每个音乐小节中确定包含所述音乐小节的1/3时间点的第一目标时间范围，以及包含所述音乐小节的2/3时间点的第一目标时间范围。
在一种可能的实现方式中，所述检测模块，用于：
对于每个音乐小节，检测所述音乐小节的第二目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足所述低频能量特征条件；
对于每个满足所述低频能量特征条件的节奏点对应的音乐小节，检测所述音乐小节的第一目标时间范围内是否包含节奏点，如果包含节奏点，检测所包含的节奏点是否满足所述中频能量特征条件，如果满足所述中频能量特征条件，则将满足所述中频能量特征条件的节奏点确定为所述音频的中频节奏点。
第三方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面所述的检测音频的中频节奏点的方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如第一方面所述的检测音频的中频节奏点的方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的检测音频的中频节奏点的方法，通过根据音频的拍型，可以在每个音乐小节中确定中频节奏点最可能出现的第一目标时间范围。并且，通过在第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点时，才将满足中频能量特征条件的节奏点确定为中频节奏点，充分利用了在每个音乐小节中出现中频节奏点时，在该音乐小节的起始时间点往往会出现低频节奏点的特点。从而，提升了在音频中检测出的中频节奏点的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种检测音频的中频节奏点的方法的流程图；
图2是本申请实施例提供的一种检测音频的中频节奏点的装置的结构示意图；
图3是本申请实施例提供的一种终端的结构示意图；
图4是本申请实施例提供的一种服务器的结构示意图；
图5是本申请实施例提供的一种拍型为42拍和86拍的音频的第一目标时间范围和第二目标时间范围的示意图；
图6是本申请实施例提供的一种拍型为44拍的音频的第一目标时间范围和第二目标时间范围的示意图；
图7是本申请实施例提供的一种拍型为43拍的音频的第一目标时间范围和第二目标时间范围的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种检测音频的中频节奏点的方法，该方法可以由终端实现，也可以由服务器实现。其中，该终端可以是是手机、平板电脑、笔记本等移动终端，也可以是台式计算机等固定终端。该服务器可以为单个服务器，也可以为服务器集群。
本申请实施例提供的方法可以用于检测音频中的中频节奏点，检测出的中频节奏点可以用于做一些有趣的应用。例如，在音频外放时，由于人们对音频的中频节奏点的感知较为明显，所以在歌曲播放过程中，可以使歌曲播放到中频节奏点时进行播放背景的切换，以提高歌曲播放时的节奏感。再例如，在以歌曲音频为背景音乐的视频中，可以在歌曲音频的节奏点，进行视频场景的切换，以增强视频的节奏感。再例如，在许多节奏游戏的制作中，有时也需要用到歌曲音频的中频节奏点数据。
如图1所示，检测音频的中频节奏点的方法的处理流程可以包括如下步骤：
在步骤101中，确定音频的拍型、音乐小节和节奏点。
其中，音频可以是歌曲音频，也可以是纯音乐音频。
音频的拍型可以表征强拍和弱拍的组合规律，具体是指在乐谱中每一小节的音符总长度，常见的有42拍、43拍、44拍和86拍，其中，42拍也可以表示为2/4拍，43拍也可以表示为3/4拍，44拍也可以表示为4/4拍，86拍也可以表示为6/8拍。除此之外，还有3/8，7/8，9/8，12/8，1/4等拍型。
音频在进行时，其强拍、弱拍总是有规律地循环出现，从一个强拍到下一个强拍之间的部分即称一音乐小节。音乐小节具有起始时间点和终止时间点，某一音乐小节的终止时间点可以为下一音乐小节的起始时间点。
音频的节奏点也可以称为音频的鼓点。节奏点的类型可以包括低频节奏点、中频节奏点和高频节奏点，低频节奏点也可以称为低频鼓点，中频节奏点也可以称为中频鼓点，高频节奏点也可以称为高频鼓点。音频在低频节奏点存在底鼓发出的声音，在中频节奏点存在击打军鼓或嗵鼓发出的声音，在高频节奏点存在击打镲发出的声音。
在实施中，音频中可以预先标记有其所属的拍型，所以可以根据音频的拍型标记确定音频的拍型。
在确定音频的节奏点时，可以基于madmom中的onset算法或superflux算法，确定出音频的所有节奏点。
在确定音频的音乐小节时，可以基于madmom中的beat算法或downbeat算法，确定音频的音乐小节。具体的，可以使用madmom的downbeat算法对音频进行处理，则提取出的节拍点即是小节起始时间点，一个小节的起始时间点至下一小节的起始时间点组成一个音乐小节。
也可以基于madmom的beat算法对音频进行处理得到音频的音乐小节，具体过程可以如下所述：
第一步，先组成临时音乐小节。
使用madmom的beat算法，得到音频的所有节拍点，这些节拍点的间隔都是均匀的。对于42拍和44拍的音频，每4个节拍可以组成一个临时音乐小节，对于43拍和86拍的音频，每3个节拍可以组成一个临时音乐小节。从而，可以将所有的节拍点组成n个临时音乐小节。
第二步，找到临时音乐小节实际的起始时间点。
首先，可以将音频时域波形转换为频域，计算音频在每个节拍点在低频范围(例如，可以是30Hz-150Hz对应的频域频点)的频域能量(能量的表征可以是平方或者是幅值)，在每个临时音乐小节记录对应频域能量最大的节拍点。对于每个临时音乐小节，如果音频在该临时音乐小节中的对应频域能量最大的节拍点的能量大于阈值，则可认为这是能量明显小节。
然后，由于音乐小节是间隔一致并且循环出现的，所以统计每个能量明显小节中对应低频范围能量最大的节拍点的出现次数，记录下出现次数最多的节拍点a。由于在音乐小节的起始时间点，往往会在伴奏中加入较强的底鼓，而底鼓的频域范围和低频范围相近，再加上节拍点a是低频范围能量最大的时间点，所以节拍点a是歌曲中底鼓最强的时间点，所以可以推测出节拍点a即为每个临时音乐小节实际的起始时间点。例如，在多个临时音乐小节中记录出现次数最多的节拍点a为每个临时音乐小节中的第三个节拍点，则说明每个临时音乐小节中的第三个节拍点为临时音乐小节实际的起始时间点。
或者，另外一种方法是计算音频在所有能量明显小节的所有节拍点的低频范围能量，选出对应低频范围能量最大的节拍点为临时音乐小节实际的起始时间点。例如，音频在所有能量明显小节中的第三个节拍点的低频范围能量最大，则每个能量明显小节中的第三个节拍点为每个临时音乐小节实际的起始时间点。
最后，以确定出的临时音乐小节实际的起始时间点重新划分音乐小节，即可以确定出音频的音乐小节。临时音乐小节实际的起始时间点，也就是确定出的音频的音乐小节的起始时间点。
需要说明的是，低频范围能量也可以称为低频能量。
在步骤102中，基于音频的拍型，在音乐小节中确定中频节奏点对应的第一目标时间范围。
其中，第一目标时间范围可以理解为中频节奏点最可能出现的时间范围。
在实施中，音频的拍型不同，中频节奏点最可能出现的位置也不同，也即，中频节奏点对应的第一目标时间范围不同。
42拍和86拍的音频的中频节奏点往往出现在音乐小节的中点。44拍的音频的中频节奏点往往出现在音乐小节的1/4处和3/4处。43拍的音频的中频节奏点往往出现在音乐小节的1/3处和2/3处。因此，对于42拍和86拍的音频，在每个音乐小节中确定出一个第一目标时间范围，对于44拍和43拍的音频，在每个音乐小节中确定出两个第一目标时间范围。
根据音频的拍型的不同，确定第一目标时间范围的具体过程可以如下所述：
如图5所示，如果音频的拍型为42拍或86拍，则在每个音乐小节中确定包含音乐小节的中间时间点的第一目标时间范围。也即，此时第一目标时间范围为包含音乐小节的中间时间点的时间范围，该第一目标时间范围的开始时间点距中间时间点的时长为第一时长，该第一目标时间范围的结束时间点距中间时间点的时长为第二时长，第一时长和第二时长可以相同，也可以不同。例如，音乐小节的时间范围为0-10S，则中间时间点为5s，第一目标时间范围可以为4.9s-5.1s。
如图6所示，如果音频的拍型为44拍，则在每个音乐小节中确定包含音乐小节的1/4时间点的第一目标时间范围，以及包含音乐小节的3/4时间点的第一目标时间范围。也即，此时在每个音乐小节中包含两个第一目标时间范围，其中一个第一目标时间范围的开始时间点距1/4时间点的时长为第三时长，结束时间点距1/4时间点的时长为第四时长；另一个第一目标时间范围的开始时间点距3/4时间点的时长为第五时长，结束时间点距3/4时间点的时长为第六时长。第三时长、第四时长、第五时长和第六时长可以相同，也可以不同。例如，音乐小节的时间范围为0-8s，则1/4时间点为2s，3/4时间点为6s，则其中一个第一目标时间范围可以为1.9s-2.1s，另一个第一目标时间范围为5.9s-6.1s。
如图7所示，如果音频的拍型为43拍，则在每个音乐小节中确定包含音乐小节的1/3时间点的第一目标时间范围，以及包含音乐小节的2/3时间点的第一目标时间范围。也即，此时在每个音乐小节中包含两个第一目标时间范围，其中一个第一目标时间范围的开始时间点距1/3时间点的时长为第七时长，结束时间点距1/3时间点的时长为第八时长；另一个第一目标时间范围的开始时间点距2/3时间点的时长为第九时长，结束时间点距2/3时间点的时长为第十时长。第七时长、第八时长、第九时长和第十时长可以相同，也可以不同。例如，音乐小节的时间范围为0-6s，则1/3时间点为2s，2/3时间点为4s，则其中一个第一目标时间范围可以为1.9s-2.1s，另一个第一目标时间范围为3.9s-4.1s。
在步骤103中，对于每个音乐小节，如果在音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将满足中频能量特征条件的节奏点确定为音频的中频节奏点。
其中，低频的频域范围可以为30Hz-50Hz，中频的频域范围可以为300Hz-2000Hz。中频能量也可以称为中频范围能量。
如图5-7所示，第二目标时间范围的开始时间点距音乐小节的起始时间点的时长为第一设定时长，结束时间点距音乐小节的起始时间点的时长为第二设定时长，第一设定时长和第二设定时长可以相同，也可以不同。例如，音乐小节的起始时间点为1s，则第二目标时间范围可以为0.9s-1.1s。第二目标时间范围可以跨越两个音乐小节。
满足低频能量特征条件的节奏点是指音频在节奏点的能量满足低频能量特征，满足中频能量特征条件的节奏点是指音频在节奏点的能量满足中频能量特征。
某一节奏点满足低频能量特征是指音频在该节奏点的低频能量大于第一设定阈值，且在该节奏点的低频能量与前一个时间点的低频能量(或前几个时间点的低频能量的平均值或最大值)的差值大于第一差值阈值。
某一节奏点满足中频能量特征是指音频在该节奏点的中频能量大于第二设定阈值，且在该节奏点的中频能量与前一个时间点的中频能量(或前几个时间点的中频能量的平均值或最大值)的差值大于第二差值阈值。
在实施中，对于某一音乐小节来说，如果在该音乐小节中出现中频节奏点，则在该音乐小节的起始时间点附近很可能会出现低频节奏点，因此，可以利用这一特点来提高检测出的中频节奏点的准确率。也即，只有在音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点时，才将满足中频能量特征条件的节奏点确定为音频的中频节奏点。
在检测时，对于某个音乐小节，可以是先检测在该音乐小节的起始时间点附近的第二目标时间范围内是否存在满足低频能量特征条件的节奏点。然后，在满足低频能量特征条件的节奏点对应的音乐小节中，检测在第一目标时间范围内检测是否存在满足中频能量特征条件的节奏点。
或者，可以是先检测在该音乐小节的第一目标时间范围内是否存在满足中频能量特征条件的节奏点。然后，在存在满足中频能量特征条件的节奏点的音乐小节中的第二目标时间范围内，检测是否存在满足低频能量特征条件的节奏点。
具体的检测过程可以分为以下两种情况：
在一种可能的实现方式中，对于每个音乐小节，检测音乐小节的第二目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足低频能量特征条件。
对于每个满足低频能量特征条件的节奏点对应的音乐小节，检测音乐小节的第一目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足中频能量特征条件，如果满足中频能量特征条件，则将满足中频能量特征条件的节奏点确定为音频的中频节奏点。
其中，如果该节奏点在第二目标时间范围包括的起始时间点之后，则满足低频能量特征条件的节奏点对应的音乐小节是指，该节奏点所在的音乐小节。例如，第二目标时间范围为0.9s-1.1s，起始时间点为1s，满足低频能量特征条件的节奏点为1.05s，则该节奏点对应的音乐小节是指以1s为起始时间点的音乐小节。
如果该节奏点在第二目标时间范围包括的起始时间点之前，则满足低频能量特征条件的节奏点对应的音乐小节是指该节奏点所在的音乐小节的下一音乐小节。例如，第二目标时间范围为0.9s-1.1s，起始时间点为1s，满足低频能量特征条件的节奏点为0.95s，则该节奏点对应的音乐小节是指以1s为终止时间点的音乐小节。
在另一种可能的实现方式中，对于每个音乐小节，检测音乐小节的第一目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足中频能量特征条件。
对于每个满足中频能量特征条件的节奏点所属的音乐小节，检测该音乐小节的第二目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足低频能量特征条件，如果满足低频能量特征条件，则将满足中频能量特征条件的节奏点确定为音频的中频节奏点。
本申请实施例提供的检测音频的中频节奏点的方法，通过根据音频的拍型，可以在每个音乐小节中确定中频节奏点最可能出现的第一目标时间范围。并且，通过在第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点时，才将满足中频能量特征条件的节奏点确定为中频节奏点，充分利用了在每个音乐小节中出现中频节奏点时，在该音乐小节的起始时间点往往会出现低频节奏点的特点。从而，提升了在音频中检测出的中频节奏点的准确率。
基于相同的技术构思，本申请实施例还提供了一种检测音频的中频节奏点的装置，该装置可以为上述实施例中的终端，如图2所示，该装置包括：
第一确定模块201，用于确定音频的拍型、音乐小节和节奏点；
第二确定模块202，用于基于音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围；
检测模块203，用于对于每个音乐小节，如果在音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将满足中频能量特征条件的节奏点确定为音频的中频节奏点；
其中，满足低频能量特征条件的节奏点是指音频在节奏点的能量满足低频能量特征，满足中频能量特征条件的节奏点是指音频在节奏点的能量满足中频能量特征。
在一种可能的实现方式中，第一确定模块201，用于：
基于madmom中的beat算法或downbeat算法，确定音频的音乐小节。
在一种可能的实现方式中，第一确定模块201，用于：
基于madmom中的onset算法或superflux算法，确定音频的所有节奏点。
在一种可能的实现方式中，第二确定模块202，用于：
如果音频的拍型为42拍或86拍，则在每个音乐小节中确定包含音乐小节的中间时间点的第一目标时间范围；
如果音频的拍型为44拍，则在每个音乐小节中确定包含音乐小节的1/4时间点的第一目标时间范围，以及包含音乐小节的3/4时间点的第一目标时间范围；
如果音频的拍型为43拍，则在每个音乐小节中确定包含音乐小节的1/3时间点的第一目标时间范围，以及包含音乐小节的2/3时间点的第一目标时间范围。
在一种可能的实现方式中，检测模块203，用于：
对于每个音乐小节，检测音乐小节的第二目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足低频能量特征条件；
对于每个满足低频能量特征条件的节奏点对应的音乐小节，检测音乐小节的第一目标时间范围内是否包含节奏点，如果包含节奏点，检测所包含的节奏点是否满足中频能量特征条件，如果满足中频能量特征条件，则将满足中频能量特征条件的节奏点确定为音频的中频节奏点。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是：上述实施例提供的检测音频的中频节奏点的装置在进行音频的中频节奏点的检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的检测音频的中频节奏点的装置与检测音频的中频节奏点的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图3是本申请实施例提供的一种终端的结构框图。该终端300可以是便携式移动终端，比如：智能手机、平板电脑、智能摄像机。终端300还可能被称为用户设备、便携式终端等其他名称。
通常，终端300包括有：处理器301和存储器302。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中提供的检测音频的中频节奏点的方法。
在一些实施例中，终端300还可选包括有：外围设备接口303和至少一个外围设备。具体地，外围设备包括：射频电路304、显示屏305、摄像头组件306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。显示屏305还具有采集在触摸显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。显示屏305用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，设置终端300的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在终端300的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在终端300的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地，摄像头组件306包括前置摄像头和后置摄像头。通常，前置摄像头用于实现视频通话或自拍，后置摄像头用于实现照片或视频的拍摄。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能，主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能。在一些实施例中，摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路307用于提供用户和终端300之间的音频接口。音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器301进行处理，或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路307还可以包括耳机插孔。
定位组件308用于定位终端300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源309用于为终端300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端300还包括有一个或多个传感器310。该一个或多个传感器310包括但不限于：加速度传感器311、陀螺仪传感器312、压力传感器313、指纹传感器314、光学传感器315以及接近传感器316。
加速度传感器311可以检测以终端300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器311可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器311采集的重力加速度信号，控制显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器312可以检测终端300的机体方向及转动角度，陀螺仪传感器312可以与加速度传感器311协同采集用户对终端300的3D动作。处理器301根据陀螺仪传感器312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器313可以设置在终端300的侧边框和/或显示屏305的下层。当压力传感器313设置在终端300的侧边框时，可以检测用户对终端300的握持信号，根据该握持信号进行左右手识别或快捷操作。当压力传感器313设置在显示屏305的下层时，可以根据用户对显示屏305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器314用于采集用户的指纹，以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器314可以被设置终端300的正面、背面或侧面。当终端300上设置有物理按键或厂商Logo时，指纹传感器314可以与物理按键或厂商Logo集成在一起。
光学传感器315用于采集环境光强度。在一个实施例中，处理器301可以根据光学传感器315采集的环境光强度，控制显示屏305的显示亮度。具体地，当环境光强度较高时，调高显示屏305的显示亮度；当环境光强度较低时，调低显示屏305的显示亮度。在另一个实施例中，处理器301还可以根据光学传感器315采集的环境光强度，动态调整摄像头组件306的拍摄参数。
接近传感器316，也称距离传感器，通常设置在终端300的正面。接近传感器316用于采集用户与终端300的正面之间的距离。在一个实施例中，当接近传感器316检测到用户与终端300的正面之间的距离逐渐变小时，由处理器301控制显示屏305从亮屏状态切换为息屏状态；当接近传感器316检测到用户与终端300的正面之间的距离逐渐变大时，由处理器301控制显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图3中示出的结构并不构成对终端300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图4是本申请实施例提供的一种服务器的结构示意图，该服务器400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)401和一个或一个以上的存储器402，其中，存储器402中存储有至少一条指令，该至少一条指令由处理器401加载并执行以实现上述检测音频的中频节奏点的方法。
在示例性实施例中，还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例中的检测音频的中频节奏点的方法。例如，所述计算机可读存储介质可以是ROM(Read-Only Memory)、随机存取存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种检测音频的中频节奏点的方法，其特征在于，所述方法包括：
确定音频的拍型、音乐小节和节奏点；
基于所述音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围；
对于每个音乐小节，如果在所述音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含所述音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将所述满足中频能量特征条件的节奏点确定为所述音频的中频节奏点；
其中，所述满足低频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足低频能量特征，所述满足中频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足中频能量特征。
2.根据权利要求1所述的方法，其特征在于，确定音频的音乐小节，包括：
基于madmom中的beat算法或downbeat算法，确定所述音频的音乐小节。
3.根据权利要求1所述的方法，其特征在于，确定音频的节奏点，包括：
基于madmom中的onset算法或superflux算法，确定所述音频的所有节奏点。
4.根据权利要求1所述的方法，其特征在于，所述基于所述音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围，包括：
如果所述音频的拍型为42拍或86拍，则在每个音乐小节中确定包含所述音乐小节的中间时间点的第一目标时间范围；
如果所述音频的拍型为44拍，则在每个音乐小节中确定包含所述音乐小节的1/4时间点的第一目标时间范围，以及包含所述音乐小节的3/4时间点的第一目标时间范围；
如果所述音频的拍型为43拍，则在每个音乐小节中确定包含所述音乐小节的1/3时间点的第一目标时间范围，以及包含所述音乐小节的2/3时间点的第一目标时间范围。
5.根据权利要求1所述的方法，其特征在于，所述对于每个音乐小节，如果在所述音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含所述音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将所述满足中频能量特征条件的节奏点确定为所述音频的中频节奏点，包括：
对于每个音乐小节，检测所述音乐小节的第二目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足所述低频能量特征条件；
对于每个满足所述低频能量特征条件的节奏点对应的音乐小节，检测所述音乐小节的第一目标时间范围内是否包含节奏点，如果包含节奏点，检测所包含的节奏点是否满足所述中频能量特征条件，如果满足所述中频能量特征条件，则将满足所述中频能量特征条件的节奏点确定为所述音频的中频节奏点。
6.一种检测音频的中频节奏点的装置，其特征在于，所述装置包括：
第一确定模块，用于确定音频的拍型、音乐小节和节奏点；
第二确定模块，用于基于所述音频的拍型，在每个音乐小节中确定中频节奏点对应的第一目标时间范围；
检测模块，用于对于每个音乐小节，如果在所述音乐小节的第一目标时间范围内检测出满足中频能量特征条件的节奏点，且在包含所述音乐小节的起始时间点的第二目标时间范围内检测出满足低频能量特征条件的节奏点，则将所述满足中频能量特征条件的节奏点确定为所述音频的中频节奏点；
其中，所述满足低频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足低频能量特征，所述满足中频能量特征条件的节奏点是指所述音频在所述节奏点的能量满足中频能量特征。
7.根据权利要求6所述的装置，其特征在于，所述第二确定模块，用于：
如果所述音频的拍型为42拍或86拍，则在每个音乐小节中确定包含所述音乐小节的中间时间点的第一目标时间范围；
如果所述音频的拍型为44拍，则在每个音乐小节中确定包含所述音乐小节的1/4时间点的第一目标时间范围，以及包含所述音乐小节的3/4时间点的第一目标时间范围；
如果所述音频的拍型为43拍，则在每个音乐小节中确定包含所述音乐小节的1/3时间点的第一目标时间范围，以及包含所述音乐小节的2/3时间点的第一目标时间范围。
8.根据权利要求6所述的装置，其特征在于，所述检测模块，用于：
对于每个音乐小节，检测所述音乐小节的第二目标时间范围内是否包含节奏点，如果包含节奏点，则检测所包含的节奏点是否满足所述低频能量特征条件；
对于每个满足所述低频能量特征条件的节奏点对应的音乐小节，检测所述音乐小节的第一目标时间范围内是否包含节奏点，如果包含节奏点，检测所包含的节奏点是否满足所述中频能量特征条件，如果满足所述中频能量特征条件，则将满足所述中频能量特征条件的节奏点确定为所述音频的中频节奏点。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1-5任一项所述的检测音频的中频节奏点的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1-5任一项所述的检测音频的中频节奏点的方法。
CN201911363707.8A 2019-12-26 2019-12-26 检测音频的中频节奏点的方法、装置、设备和存储介质 Active CN111105769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911363707.8A CN111105769B (zh) 2019-12-26 2019-12-26 检测音频的中频节奏点的方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911363707.8A CN111105769B (zh) 2019-12-26 2019-12-26 检测音频的中频节奏点的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111105769A CN111105769A (zh) 2020-05-05
CN111105769B true CN111105769B (zh) 2023-01-10

Family

ID=70424805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911363707.8A Active CN111105769B (zh) 2019-12-26 2019-12-26 检测音频的中频节奏点的方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111105769B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111048111B (zh) * 2019-12-25 2023-07-04 广州酷狗计算机科技有限公司 检测音频的节奏点的方法、装置、设备及可读存储介质
CN112289344A (zh) * 2020-10-30 2021-01-29 腾讯音乐娱乐科技（深圳）有限公司 鼓点波形确定方法、装置及计算机存储介质
CN112435687A (zh) * 2020-11-25 2021-03-02 腾讯科技（深圳）有限公司 一种音频检测方法、装置、计算机设备和可读存储介质
CN113053339B (zh) * 2021-03-10 2024-04-02 百果园技术(新加坡)有限公司 节奏调整方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161673A (ja) * 1996-11-29 1998-06-19 Yamaha Corp カラオケ装置
CN107103917A (zh) * 2017-03-17 2017-08-29 福建星网视易信息系统有限公司 音乐节奏检测方法及其系统
CN108319657A (zh) * 2018-01-04 2018-07-24 广州市百果园信息技术有限公司 检测强节奏点的方法、存储介质和终端
CN108541098A (zh) * 2018-01-29 2018-09-14 杭州电子科技大学 基于音频差异值提取色调方法的音乐灯光系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3002713B1 (fr) * 2013-02-27 2015-02-27 Inst Mines Telecom Generation d'une signature d'un signal audio musical

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161673A (ja) * 1996-11-29 1998-06-19 Yamaha Corp カラオケ装置
CN107103917A (zh) * 2017-03-17 2017-08-29 福建星网视易信息系统有限公司 音乐节奏检测方法及其系统
CN108319657A (zh) * 2018-01-04 2018-07-24 广州市百果园信息技术有限公司 检测强节奏点的方法、存储介质和终端
CN108541098A (zh) * 2018-01-29 2018-09-14 杭州电子科技大学 基于音频差异值提取色调方法的音乐灯光系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于MCU音乐节奏识别系统的研究";杨鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110315;全文 *

Also Published As

Publication number Publication date
CN111105769A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN111105769B (zh) 检测音频的中频节奏点的方法、装置、设备和存储介质
CN108008930B (zh) 确定k歌分值的方法和装置
CN108538302B (zh) 合成音频的方法和装置
CN111048111B (zh) 检测音频的节奏点的方法、装置、设备及可读存储介质
CN108965922B (zh) 视频封面生成方法、装置和存储介质
CN109448761B (zh) 播放歌曲的方法和装置
CN111128232B (zh) 音乐的小节信息确定方法、装置、存储介质及设备
EP3618055B1 (en) Audio mixing method and terminal, and storage medium
CN110708630B (zh) 控制耳机的方法、装置、设备及存储介质
CN109065068B (zh) 音频处理方法、装置及存储介质
CN111261185A (zh) 播放音频的方法、装置、系统、设备及存储介质
CN109102811B (zh) 音频指纹的生成方法、装置及存储介质
CN108364660B (zh) 重音识别方法、装置及计算机可读存储介质
CN108053832B (zh) 音频信号处理方法、装置、电子设备及存储介质
CN111092991B (zh) 歌词显示方法及装置、计算机存储介质
CN112541959A (zh) 虚拟对象显示方法、装置、设备及介质
CN108509127B (zh) 启动录屏任务的方法、装置及计算机设备
CN112118482A (zh) 音频文件的播放方法、装置、终端及存储介质
CN109036463B (zh) 获取歌曲的难度信息的方法、装置及存储介质
CN109003627B (zh) 确定音频得分的方法、装置、终端及存储介质
CN108196813B (zh) 添加音效的方法和装置
CN111063372B (zh) 确定音高特征的方法、装置、设备及存储介质
CN111369434B (zh) 拼接视频封面生成的方法、装置、设备和存储介质
CN110263695B (zh) 人脸部位的位置获取方法、装置、电子设备及存储介质
CN109545249B (zh) 一种处理音乐文件的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant