CN109874084A - 声音成分提取方法及系统 - Google Patents

声音成分提取方法及系统 Download PDF

Info

Publication number
CN109874084A
CN109874084A CN201910125056.2A CN201910125056A CN109874084A CN 109874084 A CN109874084 A CN 109874084A CN 201910125056 A CN201910125056 A CN 201910125056A CN 109874084 A CN109874084 A CN 109874084A
Authority
CN
China
Prior art keywords
acoustic
signal
constituents
acoustic constituents
field signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910125056.2A
Other languages
English (en)
Inventor
徐银海
刘益帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ansheng Haolang Technology Co Ltd
Original Assignee
Beijing Ansheng Haolang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ansheng Haolang Technology Co Ltd filed Critical Beijing Ansheng Haolang Technology Co Ltd
Priority to CN201910125056.2A priority Critical patent/CN109874084A/zh
Publication of CN109874084A publication Critical patent/CN109874084A/zh
Priority to CN202010102910.6A priority patent/CN111163401B/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/05Detection of connection of loudspeakers or headphones to amplifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

一种声音成分提取方法及系统,通过传感装置获取声场信号,通过信号处理单元对所述声场信号的自功率谱进行奇异值分解,由此获得声场信号的不同声音成分。本发明,可通过对采样信号的分析,提取出需要的声场成分,对后续信号处理步骤中处理的信号数量进行限缩。通过本发明方法,可方便地获得用户敏感的声音成分,在后续信号处理过程中仅对该成分进行处理。由此,可大大减少系统计算量,减少滤波器等硬件数量,节约信号处理成本,并提高运算效率。

Description

声音成分提取方法及系统
技术领域
本发明涉及声学领域,尤其涉及对声场成分的处理。
背景技术
在声学领域,为了提高声学测试分析、噪声控制等工作的效率,或有针对性的对某一成分声音来源进行分析或利用,通常需要单独提取声场中的某一种或几种声音成分。在一些声学文献里,这种独立的声场成分分量也被称为部分场。
现有的声场成分提取技术,通常需要对采集的声场信号进行过滤,而后通过特殊的算法处理,才能够获得需要的声音成分。由于声音成分数据量大,现有的提取算法需要通过大量的矩阵运算,结合大量是声场数据才能有效提取特定的声场成分。其运算效率低下且硬件成本高昂。
发明内容
为了解决现有技术存在的不足,本发明的目的在于提供一种声音成分提取方法及系统。本申请所实现的对独立声场成分进行提取的工作更接近于对部分声场的分解,因而其具有运算量小、硬件要求低、运算延时少的特点。
首先,为实现上述目的,提出一种声音成分提取方法,步骤包括:获取至少一组声场信号的自功率谱Cxx。对所述自功率谱Cxx进行奇异值分解,获得对角矩阵Σ(f)=UH(f)CxxU(f);其中,U(f)为所述声场信号到声音成分提取位置的传递矩阵;其中,所述对角矩阵Σ(f)中对角线上的每一个元素分别为所述声场的一种声源成分。
可选的,上述方法还包括以下步骤:利用所述传递矩阵U(f)计算所述声场信号中所包含的声音成分,以获得需要的声音成分。
可选的,上述方法还包括以下步骤:计算所述声场信号中所包含的声音成分,其计算步骤具体包括:利用特征传递向量计算所述声场信号所对应的声音成分或者,利用特征传递向量计算声音成分在位置M处的声音信号其中,所述声音成分在一种方式下可表示为所述声音信号在一种方式下可表示为其中,特征传递向量为所述传递矩阵U(f)的第i列,对应所述对角矩阵Σ(f)中对角线上第i种声源成分的特征向量,表示对角矩阵Σ(f)中对角线上第i种声源成分从声源至采集点的传递特征。所述声场信号即声源信号,是在距离该声源信号的某一采集点位置M处由声源信号而产生的声音信号,M处是距离声源处的某一采集点的位置。
可选的,上述方法中,声音成分其中,所述特征传递向量为所述传递矩阵U(f)的第i列,是对应所述对角矩阵Σ(f)中需要提取的第i种声源成分的特征向量。
可选的,上述方法中,所述特征传递向量为所述传递矩阵U(f)的第i列,是对应所述对角矩阵Σ(f)中需要提取的第i种声音成分的特征向量,表示所述对角矩阵Σ(f)中对角线上第i种声源到获取所述声场信号的每一个采样点的传递关系。
可选的,上述的声音成分提取方法中,所述声场信号为所述声场的频域信号。所述各组声场信号分别由不同的传感装置在不同的采样位置采样后,进行频域信号转换计算而获得。
可选的,上述的声音成分提取方法中,所述声场信号的自功率谱Cxx由测量获得,或,通过计算获得。这里的自功率谱Cxx描述声场信号在采样点x处所包含的传播出去与未传播到其他采集点的声音成分。
其次,为实现上述目的,还提出一种声音成分提取系统,包括信号处理单元以及至少一个传感装置,所述传感装置设置于至少一个采样位置,用于获取所述声场信号并将所述声场信号输入至所述信号处理单元;所述信号处理单元被设置为执行如上所述的声音成分提取方法。
可选的,上述的声音成分提取系统中,所述传感装置包括传声器、转速传感器、振动传感器、加速度传感器、压力传感器中的任一种或其组合。
可选的,上述的声音成分提取系统中,所述传感装置至少包括K个,K为预先由测试获得的工作场景下所获得的所述对角矩阵Σ(f)中对角线上元素的数量。K可由实验获得:实验中,首先利用尽量多的传感装置进行声场信号的采集,而后按照上述步骤提取所采集的声场信号中的全部声音成分,获得所述对角矩阵Σ(f),所述对角矩阵Σ(f)中对角线元素的个数即为声场信号所包含的声源数量。后期实施本发明时,则按照前期声源数量分析结果进行输入设备布放。
可选的,上述的声音成分提取系统中,还包括第一信号转换单元,所述第一信号转换单元连接所述传感装置,用于将所述传感装置采集的信号转化为数字信号。
可选的,上述的声音成分提取系统中,还包括第二信号转换单元,所述第二信号转换单元用于:对所述传感装置采集的模拟信号转化的数字信号进行频域信号转换计算,得到所述声场的频域信号,并输出至信号处理单元。其中,所述频域信号转换计算包括但不限于傅里叶变换,快速傅里叶变换。
有益效果
本发明所述的声场成分提取方法,无需对采集获得的声音信号进行过滤,本申请可直接由采集的频域上的声场信号进行声音成分提取,可按照信号处理的需要方便地提取一种或多种声音成分供后端处理单元进行分析计算。
本申请可基于两路声音信号,方便快捷地进行成分提取,降低了含有多个输入采集装置的声音成分提取系统的计算量。该方法在声学领域应用较为广泛。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,并与本发明的实施例一起,用于解释本发明,并不构成对本发明的限制。在附图中:
图1为根据本发明的声音成分提取方法的流程图;
图2为根据本发明的声音成分提取系统的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1为根据本发明的声音成分提取方法的流程图。
首先,信号采集与处理过程中不妨假设声场是相对固定不变的,也就是说,测量到的信号与提取到的分量之间的关系是时不变的。这样的运算场景下,可通过不同空间位置处测量的声压信号之间的交叉互谱矩阵,来计算统计相关函数。进而,通过该统计相关函数,可对声场进行统计特性分析,并以此提取到需要的声音成分。
首先通过采集到的声音信号,对声场进行统计特性分析。
这一步具体可选择通过计算各个声信号采集点中,任意两个信号组合的统计相关函数,分解出声场中包含多少统计上不相关的成分(即相互独立的声源的个数)。所述统计相关函数的作用是清楚知道从声源处到声源采集处,某一成分的变化关系。
在一种实现方式下,可首先通过麦克风等传感装置采集到两组声场信号,则两个信号之间的互谱矩阵或互功率谱
为方便DSP等信号处理单元进行运算,可选择适当的运算放大器、数模转换器、频域信号转换单元对传感装置采样得到的模拟信号进行转换:首先将所述传感装置采集的模拟信号转化为数字信号,而后对所述数字信号通过傅里叶变换或快速傅里叶变换进行频域信号转换计算,进而得到所述声场的频域信号,例如,
上述的运算公式中,向量是一列傅里叶变换信号,向量是一行傅里叶变换信号,E{}代表期望值,H代表转置运算。
以此可求出Cxy,Cxy代表两个信号采集点之间的互功率谱密度。
本领域技术人员不难通过测量或计算获得T(f),即的传递矩阵。这样就可以通过公式Cxy=T(f)Cxx方便地求解出所述声场信号的自功率谱Cxx。对其进行SVD分解,即奇异值分解,得到:
该互谱矩阵Cxy是通过测量采集点处的输入信号计算出来的,其物理含义描述了两个信号采集点之间的变化关系或者说是相关性。或者说,该互谱矩阵Cxy描述N个采样点上信号和N个采样点上信号之间的关系,其包含有两个采样点之间的信号的延时以及两个采样点之间共有信号。通过SVD矩阵分解操作,可以将该Cxx公式中间的表达式分解为最右侧U(f)Σ(f)UH(f)的表达式。
由此得到Σ(f)=UH(f)CxxU(f)的对角矩阵。该对角矩阵中的对角线元素即为声场所包含的不同元素,即,所述声场信号所对应的声源成分,并且各元素之间线性无关。其中,Σ(f)的对角线元素包含有声场的所有声源成分,不过Σ(f)的对角线各元素仅包含声源成分的强度。如果需要进一步计算出每种声音成分或声音信号则可以通过进一步的换算获得。
上述过程中,所述声场信号到声音成分提取位置的传递矩阵U(f)的计算过程与所述声场信号至另一声场信号的采样信号传递矩阵T(f)计算过程类似。以传递矩阵U(f)的计算过程为例,计算采样信号传递矩阵T(f)时仅需将计算的输入量替换为相应位置的声场信号即可。
上述全部步骤所获得的目的就是通过上述的公式演变与SVD分解(singularvalue decomposition),分析出有多少种成分,以及多少种不相关的声音成分。基于上述的分离过程所获得的结果,本领域技术人员可通过下述步骤很方便地进行特定成分的提取。
提取需要的声音成分,例如噪声成分:
在分析出原本声场中多个独立的声源成分所组成的集合Σ(f)后,先根据实际应用需求确定需要提取那几种成分。例如,在一种应用场景下,处理器的运算量可以处理两个输入通道则可以提取能量最高的两个成分。在确定要提取的声场成分后,进一步得到根据采集点信号提取出每个独立声场成分信息的数学关系,即,由特征传递向量对所述声场信号进行计算,获得需要的声音成分或声音信号
在一种可行的实现方式下,上述步骤中的声音信号可具体可表示为:
其中,表示由第i个成分在测量点M处产生的信号,为所述传递矩阵U(f)的第i列。是对应所述对角矩阵Σ(f)中第i行或第i列所表示的声场信号中的第i种声音成分的特征向量。
上述的运算过程可基于图2所示的硬件系统实现。该系统包括信号处理单元以及传感装置。
首先,传感装置,或,具体可选择声音采集装置,例如麦克风,采集声音信号。采集后,首先经过模数转换器,进入滤波系统,滤波系统的硬件可由DSP/ARM等硬件板卡或芯片。声音信号进入滤波系统后,进行声场统计特性的分析,直至最后提取出指定的声音成分。
在不同应用场景下,具体可采用不同的传感装置作为系统的输入端。例如,应用于汽车驾驶舱内声音成分提取,可以采用转速传感器、加速度传感器、麦克风等单独或组合方式。此时,可预先通过实验获取所述传感装置采集的不同信号所对应的声场信号。
该装置还可以根据需要加入运算放大器,通过如下的运算流程获得需要的声音成分:
声信号进入运算放大器或相应的滤波系统→声场的统计特性分析→提取需要的声音成分。
在一种实现方式下,该分离装置可包含集成设置的或分离设置的麦克风、运算放大器、模数转换器、DSP等硬件及线路。或者,所述分离装置可包含麦克风、模数转换器、arm芯片等硬件及线路。或者,所述分离装置包含特殊用途传感器(如振动传感器、加速度传感器等,不限于上述两种),模数转换器、芯片等硬件及线路。
一般,系统可通过麦克风(传声器)采集空间中声场信号输入至芯片内进行处理。但是,例如,汽车驾驶舱内,可通过转速传感器(采集发动机转速)、振动传感器采集数据,进行校正。例如,转速数据可对应一个前期试验获得的声场模型,通过该声场模型对运算所需的输入信号进行校正。
本发明技术方案的优点主要体现在:可通过对采样信号的分析,提取出需要的声场成分,对后续信号处理步骤中处理的信号数量进行限缩。本发明,可方便地获得用户敏感的声音成分,在后续信号处理过程中仅对该成分进行处理。由此,可大大减少系统计算量,减少滤波器等硬件数量,节约信号处理成本,并提高运算效率。
本领域普通技术人员可以理解:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种声音成分提取方法,其特征在于,步骤包括:
获取至少一组声场信号的自功率谱Cxx
对所述自功率谱Cxx进行奇异值分解,获得对角矩阵Σ(f)=UH(f)CxxU(f);其中,所述对角矩阵Σ(f)中的各对角线元素分别为所述声场信号的不同声源成分;U(f)为所述声场信号到声音成分提取位置的传递矩阵。
2.如权利要求1所述的声音成分提取方法,其特征在于,还包括如下步骤:利用所述传递矩阵U(f)计算所述声场信号中所包含的声音成分,获得需要的声音成分。
3.如权利要求1所述的声音成分提取方法,其特征在于,计算所述声场信号中所包含的声音成分的步骤包括:
利用特征传递向量计算所述声场信号所对应的声音成分
利用特征传递向量计算位置M处声音信号
其中,特征传递向量为所述传递矩阵U(f)的第i列。
4.如权利要求3所述的声音成分提取方法,其特征在于,所述声音信号为:其中,特征传递向量为所述传递矩阵U(f)的第i列,是对应所述对角矩阵Σ(f)中需要提取的第i种声源成分的特征向量。
5.如权利要求3所述的声音成分提取方法,其特征在于,声音成分 其中,所述特征传递向量为所述传递矩阵U(f)的第i列,是对应所述对角矩阵Σ(f)中需要提取的第i种声源成分的特征向量。
6.如权利要求1所述的声音成分提取方法,其特征在于,所述声场信号为所述声场的频域信号;
所述各组声场信号分别由不同的传感装置在不同的采样位置采样后,进行频域信号转换计算而获得。
7.一种声音成分提取系统,包括信号处理单元以及至少一个传感装置,其特征在于,
所述传感装置设置于至少一个采样位置,用于获取所述声场信号并将所述声场信号输入至所述信号处理单元;
所述信号处理单元被设置为执行如权利要求1至6任一所述的声音成分提取方法。
8.如权利要求7所述的声音成分提取系统,其特征在于,所述传感装置包括传声器、转速传感器、振动传感器、加速度传感器、压力传感器中的任一种或其组合。
9.如权利要求8所述的声音成分提取系统,其特征在于,所述传感装置至少包括K个,K为预先由测试获得的工作场景下所获得的对角矩阵Σ(f)中对角线上元素的数量。
CN201910125056.2A 2019-02-20 2019-02-20 声音成分提取方法及系统 Pending CN109874084A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910125056.2A CN109874084A (zh) 2019-02-20 2019-02-20 声音成分提取方法及系统
CN202010102910.6A CN111163401B (zh) 2019-02-20 2020-02-19 声音成分提取方法、降噪方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910125056.2A CN109874084A (zh) 2019-02-20 2019-02-20 声音成分提取方法及系统

Publications (1)

Publication Number Publication Date
CN109874084A true CN109874084A (zh) 2019-06-11

Family

ID=66918964

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910125056.2A Pending CN109874084A (zh) 2019-02-20 2019-02-20 声音成分提取方法及系统
CN202010102910.6A Active CN111163401B (zh) 2019-02-20 2020-02-19 声音成分提取方法、降噪方法、装置及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010102910.6A Active CN111163401B (zh) 2019-02-20 2020-02-19 声音成分提取方法、降噪方法、装置及系统

Country Status (1)

Country Link
CN (2) CN109874084A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509597A (zh) * 2020-11-19 2021-03-16 珠海格力电器股份有限公司 录音数据识别方法和装置、录音设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1138253C (zh) * 2000-06-29 2004-02-11 上海交通大学 辨识声源特性的方法
US8000914B2 (en) * 2008-03-04 2011-08-16 Washington State University Systems and methods for electromechanical oscillation monitoring
TW201507489A (zh) * 2013-08-09 2015-02-16 Nat Univ Tsing Hua 利用陣列麥克風消除迴聲的方法
EP3633670A1 (en) * 2016-05-11 2020-04-08 Harman Becker Automotive Systems GmbH Method and system for selecting sensor locations on a vehicle for active road noise control
CN108877758A (zh) * 2018-07-04 2018-11-23 北京安声科技有限公司 一种空间场主动降噪方法

Also Published As

Publication number Publication date
CN111163401B (zh) 2021-09-24
CN111163401A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
KR101434200B1 (ko) 혼합 사운드로부터의 음원 판별 방법 및 장치
CN107644650A (zh) 一种基于渐进串行正交化盲源分离算法的改进声源定位方法及其实现系统
CN102857852B (zh) 一种声场定量重现控制系统的扬声器回放阵列控制信号的处理方法
US20020039425A1 (en) Method and apparatus for removing noise from electronic signals
EP1974225B1 (en) Signal analyser
US20110075860A1 (en) Sound source separation and display method, and system thereof
CN103871419B (zh) 一种信息处理方法及电子设备
CA2907595A1 (en) Method and apparatus for compressing and decompressing a higher order ambisonics representation
Julian et al. A comparative study of sound localization algorithms for energy aware sensor network nodes
RU2010112887A (ru) Способ и устройство для генерации бинаурального аудиосигнала
CN116437280A (zh) 评估麦克风阵列一致性的方法、设备、装置和系统
JP2007235646A (ja) 音源分離装置、方法及びプログラム
JP2018156052A (ja) 信号処理システム、信号処理方法及び信号処理プログラム
WO2010048817A1 (zh) 信号相位差测量方法、装置和系统
CN109597021B (zh) 一种波达方向估计方法及装置
JP5000297B2 (ja) 音場の表現を求めるためのシステムおよび方法
CN109874084A (zh) 声音成分提取方法及系统
CN108353228B (zh) 一种信号分离的方法、系统和存储介质
DK1502475T3 (da) Fremgangsmåde og system til repræsentation af et akustisk felt
CN102684831A (zh) 一种数字多通道相关处理系统及用于该系统中的缓存模块的输出方法
Rairigh et al. Analysis of on-chip impedance spectroscopy methodologies for sensor arrays
CN101894564A (zh) 一种采样率差异估计与校正方法
CN108287118B (zh) 一种岩石低频弹性模量及衰减系数测量方法及系统
Smalt et al. Digital sampling of acoustic impulse noise: Implications for exposure measurement and damage risk criteria
CN112242150B (zh) 一种检测立体声的方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190611

WD01 Invention patent application deemed withdrawn after publication