CN113270113B - 一种声音信号混杂度的识别方法及系统 - Google Patents

一种声音信号混杂度的识别方法及系统 Download PDF

Info

Publication number
CN113270113B
CN113270113B CN202110538829.7A CN202110538829A CN113270113B CN 113270113 B CN113270113 B CN 113270113B CN 202110538829 A CN202110538829 A CN 202110538829A CN 113270113 B CN113270113 B CN 113270113B
Authority
CN
China
Prior art keywords
data
sound signal
power spectral
density curve
spectral density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110538829.7A
Other languages
English (en)
Other versions
CN113270113A (zh
Inventor
毕路拯
罗龙溪
滕腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110538829.7A priority Critical patent/CN113270113B/zh
Publication of CN113270113A publication Critical patent/CN113270113A/zh
Application granted granted Critical
Publication of CN113270113B publication Critical patent/CN113270113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Abstract

本发明公开一种声音信号混杂度的识别方法及系统,包括,将声音信号切分为等时长的声音数据,对声音数据进行预处理,并选取参考数据;计算每段数据的功率谱密度曲线;截取功率谱密度曲线中的主要功率谱区间;计算每段数据主要功率谱区间与参考数据主要功率谱区间的相关性;计算每段数据以及参考数据的主要功率谱区间的积分;融合主要功率谱区间积分和相关性的计算结果,计算每段数据的混杂度;本发明公开的识别系统,包括信号采集模块,第一信号处理模块,第二信号处理模块,声音信号混杂度生成模块,数据存储模块,显示模块;本发明提供的识别方法及系统,实现了信号的混杂程度的衡量,弥补了声音信号处理技术领域在相关方面的不足。

Description

一种声音信号混杂度的识别方法及系统
技术领域
本发明涉及声音信号处理领域,具体涉及一种声音信号混杂度的识别方法及系统。
背景技术
从声音信号中准确地识别所包含的声音,有利于弥补或代替其它传感系统进行目标识别。然而,如果声音信号中混合了多种声音,那么声音信号处理的方法,如机器学习和深度学习的方法,很难准确地识别出信号中所包含的声音,那么所得的声音识别结果是无效的。
目前还没有衡量声音信号混杂程度的方法,为了判定声音信号处理方法的声音识别结果是否有效,急需一种声音信号混杂度的识别方法及系统,来衡量声音信号的混杂程度。混杂度越高,说明声音信号的声音来源越复杂,混杂度高的声音信号不能通过声音信号处理方法来识别,因为所获得的声音识别结果准确性低;混杂度低的声音信号可以通过声音信号处理方法来获得准确的识别结果。
发明内容
本发明的目的是提供一种声音信号混杂度的识别方法及系统,以解决上述现有技术存在的问题,获得声音信号的混杂程度。
为了实现上述目的,本发明提供了一种声音信号混杂度的识别方法,包括以下步骤:
采集原始声音信号,获得第一数据和第二数据,其中,第一数据包括第二数据;
基于第一数据,获得第一功率谱密度曲线;
基于第二数据,获得第二功率谱密度曲线;
基于第一功率谱密度曲线和第二功率谱密度曲线,构建声音信号混杂度识别模型,声音信号混杂度识别模型用于识别声音信号混杂度,其中,声音信号混杂度用于表示声音信号的混杂程度。
优选地,在获得第一数据的过程中,对原始音信号进行相等时长切分,获得第一数据。
优选地,在对原始声音信号进行相等时长切分的过程后,获得若干段声音信号数据,将每段声音信号数据的第一数值减去该段声音信号数据的第一平均值,获得第一数据。
优选地,选取若干段声音信号数据的单一声音数据,将单一声音数据的第二数值减去单一声音数据的第二平均值,获得第二数据,其中,单一声音数据用于表示每段声音信号数据只包括一种声音信号数据的声音数据。
优选地,基于第一数据,采集第一数据的第一信号功率、第一功率谱密度曲线分辨率,通过第一快速傅里叶变换方程,获得第一功率谱密度曲线。
优选地,基于第二数据,采集第二数据的第二信号功率、第二功率谱密度曲线分辨率,通过第二快速傅里叶变换方程,获得第二功率谱密度曲线。
优选地,基于第一功率谱密度曲线,获取第一功率谱密度曲线的第一主要功率谱区间数量、第一主要功率谱区间序号,构建第一主要功率谱区间集合。
优选地,基于第二功率谱密度曲线,获取第二功率谱密度曲线的第二主要功率谱区间数量、第二主要功率谱区间序号,构建第二功率谱区间集合。
优选地,基于第一主要功率谱区间集合和第二主要功率谱区间集合的Pearson相关性,获得平均相关性分析函数;
基于第一主要功率谱区间集合,获取第一主要功率谱区间集合的第一积分函数;
基于第二主要功率谱区间集合,获取第二主要功率谱区间集合的第二积分函数;
基于平均相关性分析函数、第一积分函数、第二积分函数,构建声音信号混杂度识别模型。
一种声音信号混杂度的识别系统,包括,
信号采集模块,用于采集原始声音信号;
第一信号处理模块,用于根据原始声音信号,获得第一数据和第二数据,其中,第一数据包括第二数据;
第二信号处理模块,用于基于第一数据,获得第一功率谱密度曲线,基于第二数据,获得第二功率谱密度曲线;
声音信号混杂度生成模块,用于基于第一功率谱密度曲线和第二功率谱密度曲线,构建声音信号混杂度识别模型,获得声音信号混杂度;
数据存储模块,分别与信号采集模块、第一信号处理模块、第二信号处理模块、声音信号混杂度生成模块连接;
显示模块,与数据存储模块连接,用于显示第一数据、第二数据、第一功率谱密度曲线、第二功率谱密度曲线、声音信号混杂度。
本发明公开了以下技术效果:
本发明提出一种声音信号混杂度的识别方法及系统,有利于衡量信号的混杂程度,弥补了声音信号处理技术领域在相关方面的不足,属于声音信号处理领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还根据这些附图获得其他的附图。
图1为本发明所述的方法流程示意图;
图2为本发明所述的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-2所示,本发明提供了一种声音信号混杂度的识别方法,包括以下步骤:
采集原始声音信号,获得第一数据和第二数据,其中,第一数据包括第二数据;
基于第一数据,获得第一功率谱密度曲线;
基于第二数据,获得第二功率谱密度曲线;
基于第一功率谱密度曲线和第二功率谱密度曲线,
基于第一功率谱密度曲线和第二功率谱密度曲线,构建声音信号混杂度识别模型,声音信号混杂度识别模型用于识别声音信号混杂度,其中,声音信号混杂度用于表示声音信号的混杂程度。
在获得第一数据的过程中,对原始音信号进行相等时长切分,获得第一数据。
在对原始声音信号进行相等时长切分的过程后,获得若干段声音信号数据,将每段声音信号数据的第一数值减去该段声音信号数据的第一平均值,获得第一数据。
选取若干段声音信号数据的单一声音数据,将单一声音数据的第二数值减去单一声音数据的第二平均值,获得第二数据,其中,单一声音数据用于表示每段声音信号数据只包括一种声音信号数据的声音数据。
基于第一数据,采集第一数据的第一信号功率、第一功率谱密度曲线分辨率,通过第一快速傅里叶变换方程,获得第一功率谱密度曲线。
基于第二数据,采集第二数据的第二信号功率、第二功率谱密度曲线分辨率,通过第二快速傅里叶变换方程,获得第二功率谱密度曲线。
基于第一功率谱密度曲线,获取第一功率谱密度曲线的第一主要功率谱区间数量、第一主要功率谱区间序号,构建第一主要功率谱区间集合。
基于第二功率谱密度曲线,获取第二功率谱密度曲线的第二主要功率谱区间数量、第二主要功率谱区间序号,构建第二功率谱区间集合。
基于第一主要功率谱区间集合和第二主要功率谱区间集合的Pearson相关性,获得平均相关性分析函数;
基于第一主要功率谱区间集合,获取第一主要功率谱区间集合的第一积分函数;
基于第二主要功率谱区间集合,获取第二主要功率谱区间集合的第二积分函数;
基于平均相关性分析函数、第一积分函数、第二积分函数,构建声音信号混杂度识别模型;
基于声音信号混杂度识别模型,通过设定判定阈值,构建声音信号识别判定模型,其中,根据平均相关性、第一积分、第二积分获得原始声音信号的声音混杂度,判定阈值用于表示声音混杂度阈值。
一种声音信号混杂度的识别系统,包括,
信号采集模块,用于采集原始声音信号;
第一信号处理模块,用于根据原始声音信号,获得第一数据和第二数据,其中,第一数据包括第二数据;
第二信号处理模块,用于基于第一数据,获得第一功率谱密度曲线,基于第二数据,获得第二功率谱密度曲线;
声音信号混杂度生成模块,用于基于第一功率谱密度曲线和第二功率谱密度曲线,构建声音信号混杂度识别模型,获得声音信号混杂度;
数据存储模块,分别与信号采集模块、第一信号处理模块、第二信号处理模块、声音信号混杂度生成模块连接;
显示模块,与数据存储模块连接,用于显示第一数据、第二数据、第一功率谱密度曲线、第二功率谱密度曲线、声音信号混杂度、准确性。
实施例1:本发明提供的声音信号混杂度的识别方法,包括以下步骤:
步骤1:将原始声音信号切分为相等时长的数据,(本发明一个实施例中,每段数据时长为2秒),对每段数据进行预处理,每段数据用x表示,预处理的方法为将每段数据的数值减去该段数据的平均值
Figure BDA0003070825020000081
Figure BDA0003070825020000082
并选取包含单一声音的声音数据,并进行预处理,获得参考数据o(本发明一个实施例中,参考数据为5段包含单一声音的预处理后的声音数据的平均值,每段数据时长为2秒)。
步骤2:计算步骤1中所述预处理后的每段数据的功率谱密度曲线Sx
Figure BDA0003070825020000083
其中FFT是快速傅里叶变换方程,ωk是功率,Δωk是所得功率谱密度曲线的分辨率。(本发明一个实施例中,Δωk=1Hz)。
步骤3:根据需要,从步骤2中所述的每段数据的功率谱密度曲线Sx中截取多个主要功率谱区间,每个主要功率谱区间记为
Figure BDA0003070825020000084
其中m为功率谱区间的序号,共有M个主要功率谱区间。同样地,求步骤1中所述参考数据的主要功率谱区间,得到多个参考数据主要功率谱区间,记为
Figure BDA0003070825020000085
步骤4:计算步骤3中每段数据主要功率谱区间
Figure BDA0003070825020000086
和参考数据主要功率谱区间
Figure BDA0003070825020000091
的Pearson相关性,并平均多个主要功率谱区间的相关性,得到平均相关性
Figure BDA0003070825020000092
Figure BDA0003070825020000093
步骤5:计算步骤3中所述每段数据主要功率谱区间的积分Jx和参考数据的主要功率谱区间的积分Jo
Figure BDA0003070825020000094
Figure BDA0003070825020000095
步骤6:通过融合步骤4中所述的每段数据的平均相关性
Figure BDA0003070825020000096
和步骤5中所述主要功率谱区间的积分Jx,以及步骤5中所述参考数据的主要功率谱区间的积分Jo,计算混杂度hx:
Figure BDA0003070825020000097
其中,a,b是混杂度计算的系数。(本发明一个实施例中,根据实验结果,系数a和系数b的数值分别设定为1和4)。
步骤7:设定混杂度阈值th(本发明一个实施例中,混杂度阈值th设定为5),当步骤6中所述某段数据混杂度hx小于或者等于混杂度阈值th时,该段声音数据可以通过声音信号处理的方法(如机器学习或者深度学习的方法)来识别数据中的声音类别,并判定声音信号处理方法获得的该段数据的声音识别结果有效,建议通过其它的方法,如人机交互的方法来识别声音的识别。当步骤6中所述某段数据混杂度hx大于混杂度阈值th时,判定声音信号处理方法获得的该段数据的声音识别结果无效。
本发明通过计算所提出的声音信号的混杂度,衡量信号的混杂程度,通过衡量信号的混杂程度,判定声音信号处理方法的声音识别结果是否有效,弥补了声音信号处理技术领域在相关方面的不足。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种声音信号混杂度的识别方法,其特征在于,包括以下步骤:
采集原始声音信号,获得第一数据和第二数据;
在获得所述第一数据的过程中,对所述原始声音信号进行相等时长切分,在对所述原始声音信号进行相等时长切分的过程后,获得若干段声音信号数据,将每段声音信号数据的第一数值减去该段声音信号数据的第一平均值,获得所述第一数据;
选取若干段所述声音信号数据的单一声音数据,将所述单一声音数据的第二数值减去所述单一声音数据的第二平均值,获得所述第二数据,其中,所述单一声音数据用于表示每段所述声音信号数据只包括一种声音信号数据的声音数据;
基于所述第一数据,获得第一功率谱密度曲线;
基于所述第一功率谱密度曲线,获取所述第一功率谱密度曲线的第一主要功率谱区间数量、第一主要功率谱区间序号,构建第一主要功率谱区间集合;
基于所述第二数据,获得第二功率谱密度曲线;
基于所述第二功率谱密度曲线,获取所述第二功率谱密度曲线的第二主要功率谱区间数量、第二主要功率谱区间序号,构建第二主要功率谱区间集合;
基于所述第一主要功率谱区间集合和所述第二主要功率谱区间集合的Pearson相关性,获得平均相关性分析函数;
基于所述第一主要功率谱区间集合,获取所述第一主要功率谱区间集合的第一积分函数;
基于所述第二主要功率谱区间集合,获取所述第二主要功率谱区间集合的第二积分函数;
基于所述平均相关性分析函数、所述第一积分函数、所述第二积分函数,构建声音信号混杂度识别模型,所述声音信号混杂度识别模型用于识别所述声音信号混杂度,其中,所述声音信号混杂度用于表示声音信号的混杂程度。
2.根据权利要求1所述的一种声音信号混杂度的识别方法,其特征在于,
基于所述第一数据,采集所述第一数据的第一信号功率、第一功率谱密度曲线分辨率,通过第一快速傅里叶变换方程,获得所述第一功率谱密度曲线。
3.根据权利要求1所述的一种声音信号混杂度的识别方法,其特征在于,
基于所述第二数据,采集所述第二数据的第二信号功率、第二功率谱密度曲线分辨率,通过第二快速傅里叶变换方程,获得所述第二功率谱密度曲线。
4.一种声音信号混杂度的识别系统,所述系统用于实施权利要求1-3任意一项所述的声音信号混杂度的识别方法,其特征在于,包括,
信号采集模块,用于采集原始声音信号;
第一信号处理模块,用于根据所述原始声音信号,获得第一数据和第二数据,其中,所述第一数据包括所述第二数据;
第二信号处理模块,用于基于所述第一数据,获得第一功率谱密度曲线,基于所述第二数据,获得第二功率谱密度曲线;
声音信号混杂度生成模块,用于基于所述第一功率谱密度曲线和所述第二功率谱密度曲线,构建声音信号混杂度识别模型,获得声音信号混杂度;
数据存储模块,分别与所述信号采集模块、所述第一信号处理模块、所述第二信号处理模块、所述声音信号混杂度生成模块连接;
显示模块,与所述数据存储模块连接,用于显示所述第一数据、所述第二数据、所述第一功率谱密度曲线、所述第二功率谱密度曲线、所述声音信号混杂度。
CN202110538829.7A 2021-05-18 2021-05-18 一种声音信号混杂度的识别方法及系统 Active CN113270113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110538829.7A CN113270113B (zh) 2021-05-18 2021-05-18 一种声音信号混杂度的识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110538829.7A CN113270113B (zh) 2021-05-18 2021-05-18 一种声音信号混杂度的识别方法及系统

Publications (2)

Publication Number Publication Date
CN113270113A CN113270113A (zh) 2021-08-17
CN113270113B true CN113270113B (zh) 2021-12-03

Family

ID=77231584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110538829.7A Active CN113270113B (zh) 2021-05-18 2021-05-18 一种声音信号混杂度的识别方法及系统

Country Status (1)

Country Link
CN (1) CN113270113B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070255535A1 (en) * 2004-09-16 2007-11-01 France Telecom Method of Processing a Noisy Sound Signal and Device for Implementing Said Method
CN108281155A (zh) * 2017-01-06 2018-07-13 光子瑞利科技(北京)有限公司 基于瑞丽散射的过零检测方法在光纤水听系统中的应用
CN108896975A (zh) * 2018-06-14 2018-11-27 上海交通大学 互相关奇异性功率谱分布计算方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406117B2 (en) * 2002-03-21 2008-07-29 Westell Technologies, Inc. XDSL multi-hybrid modem with power spectral density shaping
CN105050656B (zh) * 2013-02-18 2017-10-31 心脏起搏器股份公司 用于对数据的外部影响的算法适应的医疗装置
US9990939B2 (en) * 2014-05-19 2018-06-05 Nuance Communications, Inc. Methods and apparatus for broadened beamwidth beamforming and postfiltering
US10366710B2 (en) * 2017-06-09 2019-07-30 Nxp B.V. Acoustic meaningful signal detection in wind noise
DE102018108219B3 (de) * 2018-01-29 2019-06-19 Infineon Technologies Ag Spektrale Schätzung von Rauschen in Radarvorrichtungen
CN108735230B (zh) * 2018-05-10 2020-12-04 上海麦克风文化传媒有限公司 基于混合音频的背景音乐识别方法、装置及设备
CN108600917B (zh) * 2018-05-30 2020-11-10 扬州航盛科技有限公司 一种嵌入式多路音频管理系统及管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070255535A1 (en) * 2004-09-16 2007-11-01 France Telecom Method of Processing a Noisy Sound Signal and Device for Implementing Said Method
CN108281155A (zh) * 2017-01-06 2018-07-13 光子瑞利科技(北京)有限公司 基于瑞丽散射的过零检测方法在光纤水听系统中的应用
CN108896975A (zh) * 2018-06-14 2018-11-27 上海交通大学 互相关奇异性功率谱分布计算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于独立分量分析特征提取的故障诊断系统;屈微 等;《北京科技大学学报》;20060731;第28卷(第07期);第700-703页 *
基于认知任务的脑机接口方法研究;毕路拯 等;《计算机工程》;20070131;第33卷(第01期);第190-192页 *

Also Published As

Publication number Publication date
CN113270113A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
WO2017036363A1 (zh) 光纤周界入侵信号的识别方法、装置及周界入侵报警系统
CN104216349B (zh) 利用制造设备的传感器数据的成品率分析系统及方法
CN113838054B (zh) 基于人工智能的机械零件表面损伤检测方法
CN108920429B (zh) 一种水位动态监测的异常数据分析方法
CN106558317A (zh) 声音处理装置和声音处理方法
CN115330799B (zh) 一种仪表自动化故障诊断方法
CN116028870B (zh) 一种数据检测的方法、装置、电子设备及存储介质
CN107507330A (zh) 纸币厚度异常的检测方法、检测装置及终端设备
CN109557583B (zh) 一种地震属性提取方法及系统
CN117665935B (zh) 一种破碎岩体支护施工过程的监测数据处理方法
CN111539456A (zh) 一种目标识别方法及设备
CN113270113B (zh) 一种声音信号混杂度的识别方法及系统
CN111929489B (zh) 故障电弧电流的检测方法及系统
CN107092772B (zh) 一种传感器特征曲线的确定方法及其装置
CN112949735A (zh) 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法
CN115564776B (zh) 基于机器学习的异常细胞样本检测方法和装置
CN114708264B (zh) 一种光斑质量判别方法、装置、设备和存储介质
CN108536777B (zh) 一种数据处理方法、服务器集群及数据处理装置
CN114781466B (zh) 基于旋转机械振动信号谐波基频的故障诊断方法及系统
CN115830012A (zh) 一种接触网线索损伤数据检测分析方法
CN114758470A (zh) 一种基于消防工程的火灾预警方法及系统
CN113624280A (zh) 一种工业生产仪器仪表运行检测数据分析管理方法、设备及存储介质
CN116448062B (zh) 一种桥梁沉降变形检测方法、装置、计算机及存储介质
CN114305442B (zh) 基于滑动窗编码的房颤发生起止点的检测方法
JP3176771B2 (ja) 車両の車種判別方法及びその車種判別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant