CN108353229B - 车辆中的音频信号处理 - Google Patents

车辆中的音频信号处理 Download PDF

Info

Publication number
CN108353229B
CN108353229B CN201680065656.9A CN201680065656A CN108353229B CN 108353229 B CN108353229 B CN 108353229B CN 201680065656 A CN201680065656 A CN 201680065656A CN 108353229 B CN108353229 B CN 108353229B
Authority
CN
China
Prior art keywords
audio signal
signal
audio
channel
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680065656.9A
Other languages
English (en)
Other versions
CN108353229A (zh
Inventor
D.舍勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN108353229A publication Critical patent/CN108353229A/zh
Application granted granted Critical
Publication of CN108353229B publication Critical patent/CN108353229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03Synergistic effects of band splitting and sub-band processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05Generation or adaptation of centre channel in multi-channel audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及一种用于车辆(10)中的音频信号处理的方法。为了能够在车辆(10)中在同时播放多声道音频源信号的情况下实现针对语音识别的简单的并且可靠的回声补偿,基于多声道音频源信号来生成单声道音频信号。单声道音频信号被限制到预先给定的下限频率与预先给定的上限频率之间的频率范围上,例如被限制到100Hz至8kHz的范围上。受限制的单声道音频信号通过车辆(10)中的多个扬声器(17‑20)来输出。在回声补偿器(25)中,借助于受限制的单声道音频信号来补偿通过多个扬声器(17‑20)输出的受限制的单声道音频信号对在车辆(10)中通过麦克风(13)接收的语音音频信号的影响。

Description

车辆中的音频信号处理
技术领域
本发明涉及一种用于车辆中的音频信号处理的方法以及一种相对应的用于车辆的音频信号处理装置。本发明尤其涉及一种例如用于语音处理的具有回声补偿的音频信号处理。
背景技术
在车辆、诸如载客车或载货车中,使用语音会话系统来辅助驾驶员或乘客。语音会话系统例如用于:在不需要触觉控制操作的情况下控制电子设备。电子设备例如可包括车辆的车辆计算机或多媒体系统。驾驶员或乘客说出的语音通过免提麦克风来接收并且被输送给语音识别。
麦克风在车辆内部空间中的应用、例如用于声控驾驶、通话或者车辆内部空间通信的应用可能潜在由于车辆音响系统的扬声器输出的声音耦合输入而被损害。这可能在语音识别的情况下导致识别错误,在免提通话的情况下导致在远端的回声而且在车辆内部空间通信的情况下导致反馈。视应用而定,后果是通信受干扰、偏差被提高或者甚至有干扰噪声和回声。
如果例如在车辆中语音会话期间同时并且不断地通过车辆音响系统播放音频信号,那么这些音频信号的一部分作为声音反馈从扬声器到达免提麦克风并且因此干扰语音识别。通过车辆音响系统播放的音频信号例如可包括音乐、交通无线电消息、广播节目、导航系统的输出或者语音会话系统的(仿造)语音。对语音识别的干扰可能导致识别错误,所述识别错误可能使会话无效并且可能造成与驾驶任务的偏差被提高。这在驾驶员或者乘客那里可能引起不满或者愤怒。
针对之前提到的问题的简单的解决方案在于:在车辆中进行语音会话或者通话期间将例如收音机的音频播放切换到静音。然而,对音频播放的静音切换常常被车辆使用者感觉是打扰并且不必要。此外,还可能错过例如导航系统的重要的信息。还可能是:车辆使用者在语音会话系统的询问以及同时被切换为静音的音频播放的情况下觉得被催促来尽可能快地对语音会话系统的询问做出反应。
可替换地,在语音会话期间可以暂时降低音频播放音量。对于语音识别器来说,由于音频播放引起的干扰的程度接着虽然较小,但是通常仍大到以致于不能省去对麦克风信号的进一步净化。
上面提到的耦合输入也可以在有限的程度上通过结构声音措施来减小。例如,可以使用具有适当的方向特性的麦克风,使麦克风和扬声器在车辆内部中适当地相对彼此地布置或者适当地利用在车辆中的声音情况。
然而,因为这通常并不足够,所以将信号处理组件用于净化麦克风信号。在此,从车辆音响系统的扬声器耦合输入到麦克风中的信号部分被估计并且从麦克风信号中除去。这样的方法被称作回声补偿或者回声抑制。回声补偿的一种广泛流行的方式是线性回声补偿。
在线性的回声补偿的情况下假定:麦克风、扬声器以及它们的相应的放大器是线性增音器,而且因此在确定的麦克风上耦合输入的扬声器声音部分在麦克风信号中线性地叠加。此外还假定:这些扬声器声音部分作为相应的扬声器源信号与相应的脉冲响应的线性卷积来得到。这些脉冲响应中的每个脉冲响应都涉及确定的麦克风-扬声器对并且表征从扬声器源信号直至麦克风信号的整个电声传输路径。借此,在这种脉冲响应中,尤其描绘了如下参量:
- 接到扬声器前面的放大器的频率和相位特性;
- 扬声器的频率和相位特性;
- 扬声器的空间辐射特性;
- 从扬声器到麦克风的经过车辆内部空间的、包括反射、衍射、散射、吸收等等在内的声音传输路径;
- 麦克风的空间接收特性;以及
- 麦克风的频率和相位特性。
因而,该脉冲响应也被称作LEM(Loudspeaker-Enclosure-Microphone(扬声器外壳麦克风))脉冲响应。该脉冲响应通常由于车辆内部空间几何形状(乘客及其移动、可动部分、装载物等等)的变化以及麦克风和扬声器的(根据温度、空气压强、湿度、使用寿命等等的)电声特性而是时变的。
用于线性回声补偿的算法自适应地估计针对每个可能的麦克风-扬声器对的LEM脉冲响应。接着,基于LEM脉冲响应,计算在每个麦克风信号中的耦合输入的扬声器声音部分并且将其从麦克风信号中减去。适应速度和有效的回声抑制是受限制的而且通常彼此存在竞争。
在现有技术中公知用于回声补偿或者回声抑制的不同的被改善的技术,以便例如简化回声补偿并且因此降低所需的计算能力。为此,EP 1936939 A1例如公开了一种回声补偿,其中麦克风信号被分成子频带信号并且受到欠采样。参考音频信号通过扬声器来输出。参考音频信号同样受到欠采样,而且参考音频信号的经欠采样的子带信号被存储。此外,估计在麦克风子带信号中的回声,并且将所估计的回声从麦克风子带信号中减去,以便得到经改善的麦克风子带信号。
然而,在回声补偿的情况下,所要输出的音频信号的常常存在的多声道性是有问题的。多声道音频信号可以是车辆中的立体声信号或环绕声信号。
对于来自多个扬声器的多个音频源信号的情况,除了算法的计算复杂性被提高之外,还有如下问题:由于不同的音频源信号之间的相互关系,该估计问题在数学上是欠定的(unterbestimmt)。后果是,在突然出现音频源信号时,回声补偿的功效可能剧烈地降低。甚至可能出现:例如当在环绕声声波图中发生变化时,LEM估计发散。这一点例如可能在所谓的幻觉声音源在环绕声全景中出现、消失或者被移动时出现。
存在不同的方案来对付这种情况,然而所述方案或者导致能听得到的失真或者是计算非常密集的(水印(Watermarking)、卡尔曼滤波器解决方案)。
此外,在该上下文中,例如从DE 102008027848 A1公知一种回声抑制器,所述回声抑制器与具有多声道音频单元的声音输出装置共同工作。声音输出装置通过多个扬声器发出输出声音信号,作为多个声道的模拟信号。麦克风检测外部声音并且生成输入声音信号作为模拟信号。外部声音包括输出声音信号作为回声。回声抑制器具有回声消除功能,用于将回声从输入声音信号中除去。为此,回声抑制器从声音输出装置接收输出声音信号。然而,这样的用于补偿多声道声音回声源的解决方案在技术上是非常复杂的并且需要高的计算能力。此外,对于声道数超过两个,不存在明确的解决方案。
另一可能性在于经改善地分离语音信号和一般的干扰信号。一般的干扰信号也可包括多声道音频播放。这例如在DE 102009051508 A1中予以考虑。为了在语音识别时降低干扰信号,替代单个的麦克风,建造麦克风阵列。通过麦克风阵列来接收多声道语音信号,所述多声道语音信号替代简单的语音信号被传导到回声补偿单元。通过麦克风阵列来接收的多声道语音信号在输入到回声补偿单元之前在接在麦克风阵列下游的用于处理麦克风信号的单元中通过对信号的延迟的加和来进行后处理。经此,使被准许的说话方的信号分离并且降低所有其它说话方信号和干扰信号。此外,回声补偿单元分析多声道语音信号的不同的声道的渡越时间并且将信号的所有如下部分除去,所述部分按照其渡越时间不是从被准许的说话方的位置出发。然而,使用麦克风阵列或者多个麦克风提到了成本,需要更多安装空间并且需要功率强的计算资源。
发明内容
因而,本发明的任务是能够在同时播放多声道音频信号的情况下实现在车辆中的可靠的语音输入。在此,应该避免针对例如附加的麦克风或者功率强的信号处理单元的附加的成本或花费。
按照本发明,该任务通过按照本发明的用于车辆中的音频信号处理的方法以及按照本发明的用于车辆的音频信号处理装置来解决。从属权利要求限定了本发明的实施方式。
按照本发明,提供了一种用于车辆中的音频信号处理的方法。在该方法中,基于多声道音频源信号来生成单声道音频信号。多声道音频源信号例如是立体声信号或环绕声信号,所述立体声信号或环绕声信号能在车辆中通过车辆的多个扬声器来输出。单声道音频信号被限制到预先给定的下限频率与预先给定的上限频率之间的频率范围上。单声道音频信号例如可以用带通滤波器来限制到预先给定的下限频率与预先给定的上限频率之间的频率范围上。通过将单声道音频信号限制到该频率范围上,生成受限制的单声道音频信号。
受限制的单声道音频信号通过车辆中的多个扬声器来输出。如果现在通过麦克风来接收车辆的车辆乘客或者驾驶员的语音音频信号,那么该语音音频信号包含通过多个扬声器来输出的受限制的单声道音频信号。所述通过多个扬声器输出的受限制的单声道音频信号对通过麦克风接收的语音音频信号的影响借助于所述受限制的单声道音频信号来补偿。例如,可以执行仅仅考虑单声道音频信号的回声补偿。因而,不需要在考虑多声道音频信号的情况下的复杂的回声补偿。因此,仅仅需要单声道回声补偿,所述单声道回声补偿可以用比较低的计算能力来实现。
因为在单声道音频信号的情况下在多声道声波图中不可能出现变化,所以在考虑只有一个回声信号(单声道音频信号)的情况下的回声补偿是非常可靠的,即使通过多个不同的扬声器来输出该单声道音频信号。因此,可以将进行干扰的单声道音频信号大部分地或者完全地从语音音频信号中除去。
预先给定的下限频率例如可具有在100Hz至300Hz的范围内的值,而预先给定的上限频率例如可具有在4kHz至8kHz的范围内的值。为了识别使用者的语音输入,在车辆中例如被用于语音控制或语音输入的语音识别器分析在很多情况下只在例如100Hz至8kHz的受限制的频率范围内的音频信号。因而,只需要在所述受限制的频率范围内进行回声补偿。因而,优选地,预先给定的下限频率为100Hz而预先给定的上限频率为8kHz。由此,可以在对于语音识别器重要的受限制的频率范围内将未受干扰的语音信号提供给语音识别器。
为了仍然维持多声道音频播放的效果,在该方法的实施方式中,附加地根据多声道音频源信号来生成多个受限制的声道特定的音频信号。声道特定的音频信号例如涉及如下音频信号,所述音频信号由多声道音频信号源特别针对被分配给相应的声道的扬声器来确定。在立体声源信号的情况下,这例如可包括右边的扬声器的音频信号或者左边的扬声器的音频信号。因而,多个受限制的声道特定的音频信号中的一个相应的受限制的声道特定的音频信号被分配给多声道音频源信号的一个相应的音频信号。相应的受限制的声道特定的音频信号被限制到如下频率范围上,所述频率范围只还包括低于预先给定的下限频率的频率和高于预先给定的上限频率的频率。相应的受限制的声道特定的音频信号通过相对应的频率限制由多声道音频源信号的分别被分配的音频信号来形成。换言之,多声道音频信号的音频信号分别被限制或者滤波为使得它们只还包括低于预先给定的下限频率的频率和/或高于预先给定的上限频率的频率。多个受限制的声道特定的音频信号通过车辆中的多个扬声器来输出,使得可以实现多声道音频播放的效果,例如立体声播放或者环绕声播放。概括来说,在车辆中的音频播放被调整为使得:在预先给定的下限频率与预先给定的上限频率之间的频率范围内单声道地(Mono(单声道))播放多声道音频源信号而在其余的频率范围内多声道地播放多声道音频源信号。
单声道音频信号和多个受限制的声道特定的音频信号例如可以按照随后的实施方式从多声道音频源信号中生成。在该实施方式中,多声道音频源信号对于多声道音频源信号的每个音频声道来说都被分成在所有声道上都相同的中间信号部分和相应的两边信号部分。从中间信号部分生成受限制的单声道音频信号,而从相应的两边信号部分生成多个受限制的声道特定的音频信号。中间信号部分例如可以直接被用作单声道音频信号,或者适当缩放地被用作单声道音频信号。同样,两边信号部分可以直接被用作受限制的声道特定的音频信号,或者以适当缩放的形式被用作受限制的声道特定的音频信号。尤其是在立体声信号的情况下,中间信号部分例如可以由右边的音频源信号与左边的音频源信号之和形成。两边信号部分可以共同以由右边的音频源信号与左边的音频源信号之差构成的差分信号来编码和进一步处理。由此,尤其是在处理立体声源信号的情况下,可以以简单的方式和方法来生成和处理中间信号部分和两边信号部分。
在另一实施方式中,通过对多声道音频源信号的音频声道的相应的采样值求平均值来形成中间信号部分。通过将中间信号部分从多声道音频源信号的相应的音频信号中减去来形成相应的两边信号部分。中间信号部分和两边信号部分的所述生成对于具有任意数目个声道的音频源信号来说是可能的。此外,能以简单的方式和方法来实现在例如数字信号处理器中实施。
在该方法的另一实施方式中,通过麦克风来接收的语音音频信号被限制到预先给定的下限频率与预先给定的上限频率之间的频率范围上。回声补偿在使用受限制的单声道音频信号的情况下被应用到这样受限制的语音音频信号上。因此,补偿了通过多个扬声器输出的受限制的单声道音频信号对受限制的语音音频信号的影响。因为语音识别器通常只在预先给定的下限频率与预先给定的上限频率之间的频率范围内工作,所以回声补偿在被限制到该频率范围上的语音音频信号中足够。此外,在该频率范围之外的干扰信号已经在进行回声补偿之前被消除,并且因而对回声补偿和语音识别没有影响,由此不仅回声补偿而且语音识别都可以更可靠地工作。
在一些情况下,播放音频信号对于车辆的一些乘客来说比对于其他乘客来说更重要。例如,导航系统的音频输出对于驾驶员来说比对于其余乘客来说更重要,而在车辆的后座播放的视频的音频输出对于后座的车辆乘客来说比对于驾驶员和副驾驶员来说更重要。因而,按照一个实施方式,可以根据多声道音频源信号来生成多个被分配给相应的扬声器的加权因子。对于每个扬声器来说,受限制的单声道音频信号都以被分配给相应的扬声器的加权因子来加权。由此,车辆中的音频输出的重心可以适当地转移。
只要加权因子基本上是静态的,经加权的输出就对回声补偿的质量没有影响。如果加权被改变,那么回声补偿可以在比较短的时间内、例如在几秒或者几分钟之内适应新的加权。在导航系统的音频输出的上面提到的示例中,在具有例如四个扬声器的车辆中,替代通过这四个扬声器对单声道音频信号的均匀分布的输出,使用如下加权。在驾驶员的范围内的扬声器例如可以输出单声道音频信号的70%,而其余三个扬声器例如可以分别只输出单声道音频信号的10%。
按照本发明,还提供了一种用于车辆的音频信号处理装置。该音频信号处理装置能够基于多声道音频源信号来生成单声道音频信号。为此,该音频信号处理装置例如可具有加和装置。该音频信号处理装置还能够将单声道音频信号限制到预先给定的下限频率与预先给定的上限频率之间的频率范围上。这例如可以用带通滤波器来实现。受限制的单声道音频信号通过车辆中的多个扬声器来输出。还将受限制的单声道音频信号输出到补偿装置,例如输出到回声补偿装置。该补偿装置用于:借助于受限制的单声道音频信号来补偿通过多个扬声器输出的受限制的单声道音频信号对在车辆中通过麦克风接收的语音音频信号的影响。因而,该音频信号处理装置适合于执行之前描述的方法及其实施方式,而且因而也包括之前描述的优点。
附图说明
本发明随后依据随附的附图详细地予以描述。
图1示意性地示出了具有按照本发明的一个实施方式的音频信号处理装置的车辆。
图2示意性地示出了与按照本发明的一个实施方式的音频信号处理装置相结合的音频播放系统和语音识别系统。
图3示意性地示出了按照本发明的一个实施方式的用于车辆中的音频信号处理的方法。
具体实施方式
本发明随后参考图1-3详细地予以描述。在图1中,首先描述了按照本发明的音频信号处理装置15在车辆10中的周围环境。在图2中,与车辆10的其它组件相结合地描述了音频信号处理装置15的细节。图3最后示意性地示出了音频信号处理装置15的工作原理。附图中的相同的附图标记涉及相同或类似的组件。
图1以俯视图示出了车辆10。车辆10包括语音识别系统11。借助于语音识别系统11,可以检测、处理和实施车辆10的乘客的所说出的指令或命令。例如,可以通过相对应的指令来改变车辆10的配置设置或者车辆10的多媒体系统。例如,可以选择音频信号源,诸如CD或收音机。此外,例如可以选择确定的电台或者CD的标题。此外,利用相对应的指令可以建立与所希望的成员的电话连接,或者可以在车辆10的导航系统中设定导航目标。为此,例如通过麦克风13来接收车辆10的驾驶员12的相对应的命令或指令。驾驶员12所说出的命令由麦克风13作为语音音频信号转发给音频信号处理装置15。稍后参考图2详细地描述音频信号处理装置15的工作原理。在音频信号处理装置15中处理语音音频信号之后,将经处理的语音音频信号输送给语音识别系统11。语音识别系统11分析语音音频信号并且识别包含在其中的命令和指令并且实施这些命令和指令。语音识别系统可以与所谓的会话系统耦合,所述会话系统可以通过提问和回答来引导与驾驶员的会话。
车辆10还包括音频信号源14。音频信号源14例如可包括:无线电广播接收器,媒体播放设备、诸如CD播放器或者MP3播放器,或者车辆10的导航系统。音频信号源14输出多声道音频源信号。多声道音频源信号被输送给音频信号处理装置15并且在那里被处理,如随后将参考图2描述的那样。经处理的多声道音频源信号由音频信号处理装置15输出到放大器16上。放大器16对经处理的多声道音频源信号的各个信号进行放大,使得这些信号可以通过扬声器17-20在车辆10的内部空间中播放。
在图1中示出的示例中,车辆10包括四个扬声器17-20。在本发明的其它实施方式中,车辆10可包括任意数目个扬声器,例如两个、三个或超过四个。在图1的所示出的示例中,扬声器17-20被分配给车辆10的座位。这样,扬声器17被分配给驾驶员12的驾驶员座位,扬声器18被分配给副驾驶员座位,扬声器19被分配给右后方的座位而扬声器20被分配给左后方的座位。
在车辆10运行时,驾驶员12可以对语音识别系统11说出指令或命令。这在图1中通过在驾驶员12与麦克风13之间的虚线箭头来示出。在驾驶员12说出命令和指令期间,音频信号源14可以通过扬声器17-20来输出多声道音频源信号。扬声器17-20的输出同样到达麦克风13,如通过图1中的在扬声器17-20与麦克风13之间的相对应的虚线箭头示出的那样。然而,来自扬声器17-20的输出可能干扰语音清晰度,使得语音识别系统11没有识别出驾驶员12的命令和指令或者只是不足地识别出驾驶员12的命令和指令。
图2示出了音频信号处理装置15和语音识别系统11的细节,所述音频信号处理装置15和语音识别系统11有助于降低或补偿来自扬声器17-20的输出对驾驶员12的语音信号的影响。为了简化图示,在图2的示例中的音频信号源14只是双声道的,即具有左边的声道L和右边的声道R的立体声源。然而清楚的是,随后描述的音频信号处理装置15可以以简单的方式和方法来处理多声道音频信号源的任意数目个声道。
在将描述音频信号处理装置15的工作原理之前,首先描述音频信号处理装置15的在图2中示出的组件。音频信号处理装置15的在图2中示出的组件不一定必须确实被构造为有形的构件或组件,而是可以部分地或者整体地以程序技术方式来模拟并且通过适当的控制装置(例如微处理器或者数字信号处理器)来实现。
音频信号处理装置15包括输入端,通过所述输入端来接收音频信号源14的多声道音频源信号。双声道立体声音频源信号例如包括左边的声道L和右边的声道R,所述左边的声道L和右边的声道R被输送给音频信号处理装置15。利用第一信号转换器21,从双声道或者多声道音频源信号生成中间信号部分M并且针对每个声道生成两边信号部分S。特别是对于立体声信号来说,替代两个两边信号部分,可以形成一个共同的两边信号部分,作为左边的声道L与右边的声道R之差。因为与两边信号部分的数目无关地,所有两边信号部分随后都以相同的方式来处理,所以在图2中只示出了两边信号部分S的一个路径。因此,所述一个路径可以在立体声信号的情况下只包括一个两边信号部分或者在多声道情况下包括多个两边信号部分。
中间信号部分M例如可以包括由所有被输送的声道构成的和信号。因而,在立体声信号的情况下,中间信号部分M可包括由左边的声道L和右边的声道R构成的和信号(M=R+L)。相应的两边信号部分S例如可包括多声道音频源信号的相应的声道的相应的音频信号与中间信号部分之间的差分信号。特别是在立体声信号的情况下,两边信号部分S例如也可包括由右边的声道R和左边的声道L构成的差分信号(S=R-L)。
音频信号处理装置15还包括第一带通滤波器23和陷波滤波器或Notch-Filter22。第一带通滤波器23具有预先给定的下限频率和预先给定的上限频率。第一带通滤波器23基本上只使具有在预先给定的下限频率与预先给定的上限频率之间的频率的信号通过。具有低于预先给定的下限频率的频率的信号以及具有高于预先给定的上限频率的频率的信号基本上被抑制或者至少强烈地衰减。在第一带通滤波器23的模拟的设计方案中,衰减例如可以为70dB或者更多,而在第一带通滤波器的数字的设计方案中,高于预先给定的上限频率和低于预先给定的下限频率的信号可以完全被抑制。陷波滤波器22具有如下频率特性,所述频率特性基本上与第一带通滤波器23的频率特性相反。也就是说,陷波滤波器22基本上只使具有低于预先给定的下限频率或者高于预先给定的上限频率的频率的信号通过。预先给定的下限频率例如可以为100Hz而预先给定的上限频率例如可以为8kHz。可替换地,预先给定的下限频率可以在100Hz至300Hz的范围内选择,而预先给定的上限频率可以在4kHz至8kHz中的范围内选择。在预先给定的下限频率与预先给定的上限频率之间的频率范围被选择得越大,语音识别就越可靠地工作。不过,在预先给定的下限频率与预先给定的上限频率之间的频率范围被选择得越大,对多声道音频源信号的播放就被损害得越剧烈。对于生成多个两边信号部分的情况来说,针对所述多个两边信号部分中的每个两边信号部分都应设置相对应的具有的预先给定的下限频率和预先给定的上限频率的陷波滤波器22。
通过利用带通滤波器23对中间信号部分M的滤波,生成经滤波的或者被限制在该频率下的中间信号部分Mb。通过利用陷波滤波器22对两边信号部分S的滤波,生成经滤波的或者被限制在该频率下的两边信号部分Sb。经滤波的中间信号部分Mb和经滤波的两边信号部分Sb被输送给第二信号转换器24,所述第二信号转换器生成针对各个声道的经滤波的音频信号。针对相应的单个声道的经滤波的音频信号,例如可以通过对经滤波的中间信号部分Mb和相对应的经滤波的声道特定的两边信号部分Sb的加和来形成。特别是针对立体声音频源信号的情况,例如适用Rb=Mb+Sb和Lb=Mb-Sb。经滤波的音频信号Lb、Rb由音频信号处理装置15来输出并且按声道被输送给放大器16。
音频信号处理装置15还包括第二带通滤波器26。第二带通滤波器26具有与第一带通滤波器23相同的滤波器特性。第二带通滤波器26在输入侧与麦克风13耦合而在输出侧与语音识别系统11的回声补偿器25耦合。还将经滤波的中间信号部分Mb输送给语音识别系统11的回声补偿器25。基于经滤波的中间信号部分Mb,回声补偿器25在麦克风13的经滤波的语音信号上执行回声补偿。由回声补偿器25处理的语音信号被输送给语音识别系统11的语音识别器27。
音频信号处理装置15还包括加权装置28,所述加权装置与多声道音频源信号和/或音频信号源14耦合。基于多声道音频源信号的信息或者音频信号源14的信息,加权装置28提供加权因子,利用所述加权因子,在将经滤波的音频信号从第二信号转换器24中输出之前对经滤波的音频信号进行加权。
随后,参考图3描述了车辆10中的音频信号处理装置15的工作原理。图3示出了具有方法步骤31-37的方法30,所述方法步骤31-37由音频信号处理装置15结合语音识别系统11地来实施。清楚的是:在图3中示出的处理步骤可以用电子辅助工具来实施,所述电子辅助工具例如包括模拟或数字电路以及处理装置。处理装置例如可包括微处理器或者数字信号处理器。此外,音频信号处理装置15的整个功能性都可以被集成到例如现有的电子设备中,例如被集成到语音识别系统11的数字信号处理器中。
在步骤31中,在音频信号处理装置15上接收音频信号源14的多声道音频源信号、例如立体声信号或环绕声信号。在步骤32和33中,借助于第一信号转换器21以及滤波器22和23,生成被限制在该频率下的单声道音频信号和被限制在该频率下的声道特定的音频信号。之前描述的被限制在该频率下的中间信号部分Mb例如可以是被限制在该频率下的单声道音频信号。之前描述的被限制在该频率下的两边信号部分Sb例如可以是被限制在该频率下的声道特定的音频信号。然而,被限制在该频率下的单声道音频信号和被限制在该频率下的声道特定的音频信号也可以以任意的其它的方式和方法由多声道音频源信号形成,例如在数字信号处理器中由多声道音频源信号形成。
在步骤34中,受限制的单声道音频信号通过所有扬声器17-20来输出,而受限制的声道特定的音频信号通过被分配给相应的声道的扬声器来输出。单声道音频信号被限制到对于语音识别重要的频率范围上,例如被限制到100Hz至8kHz的频率范围上。声道特定的音频信号被限制到在对于语音识别重要的频率范围之外的频率范围上,即例如被限制到低于100Hz和高于8kHz的频率上。通过降低在对于语音识别器27重要的频率范围之内的音频播放的多声道性,对于语音识别来说,单声道的单声道音频信号仅仅作为干扰信号存在。然而,因为对于在对于语音识别重要的范围之外的频率来说得到多声道性,所以对于一个或多个车辆乘客来说,在声音感知中得到空间感觉。
在通过扬声器17-20来输出受限制的单声道音频信号时,可以改变车辆中的音频重心。例如,加权装置28可以基于被输送给该加权装置28的信息来确定多声道音频源信号的音频重心或者确定当前的信号源,而且可以将受限制的单声道音频信号按照该音频重心分配到音频声道上。如果例如导航系统的语音输出是多声道音频信号源,那么受限制的单声道音频信号例如可以针对扬声器17比针对扬声器18-20更强烈地被加权,因为该信息对于驾驶员12来说比对于其余车辆乘客来说更重要。加权装置28可以考虑车辆10的其它信息,例如车辆中的当前的座位占用。
为了进行语音识别,在步骤35中,通过麦克风13来接收语音音频信号。在步骤36中,所接收到的语音音频信号借助于第二带通滤波器26被限制在该频率下。受限制的单声道音频信号和受限制的语音音频信号被输送给回声补偿器25。在步骤37中,回声补偿器25在使用单声道音频信号的情况下在语音音频信号中执行回声补偿。因为不仅语音音频信号而且单声道音频信号都被限制到对于语音识别重要的频率范围(例如100Hz-8kHz)上,所以回声补偿同样可以被限制到所述受限制的频率范围上,由此可出现更少的干扰而且可以更简单地构造回声补偿器25或需要更小的计算能力。此外,单声道回声补偿只需要一个唯一的音频参考信号、即单声道音频信号,而且只须估计一个声音脉冲响应。经此,在回声补偿时节约了例如供语音识别器27支配的系统资源。
这样净化的语音音频信号被输送给语音识别器27并且在那里被处理,以便从所说出的语音中提取相对应的命令和指令。
附图标记列表
10 车辆
11 语音识别系统
12 车辆乘客
13 麦克风
14 音频信号源
15 音频信号处理装置
16 放大器
17-20 扬声器
21 第一信号转换器
22 陷波滤波器
23 第一带通滤波器
24 第二信号转换器
25 回声补偿器
26 第二带通滤波器
27 语音识别器
28 加权装置
30 方法
31-37 步骤。

Claims (8)

1.一种用于车辆中的音频信号处理的方法,所述方法包括:
- 基于多声道音频源信号来生成单声道音频信号;
- 将所述单声道音频信号限制到预先给定的下限频率与预先给定的上限频率之间的频率范围上;
- 通过所述车辆(10)中的多个扬声器(17-20)来输出受限制的单声道音频信号;而且
- 借助于通过所述多个扬声器输出的所述受限制的单声道音频信号,补偿所述受限制的单声道音频信号对在所述车辆(10)中通过麦克风(13)来接收的语音音频信号的影响,
其特征在于,
- 根据所述多声道音频源信号来生成多个被分配给相应的扬声器(17-20)的加权因子;而且
- 通过所述相应的扬声器(17-20)输出如下受限制的单声道音频信号,所述受限制的单声道音频信号利用被分配给相应的扬声器的加权因子来加权。
2.根据权利要求1所述的方法,其特征在于,所述预先给定的下限频率具有在100Hz至300Hz的范围内的值,而所述预先给定的上限频率具有在4kHz至8kHz的范围内的值。
3.根据权利要求1或2所述的方法,其特征还在于:
- 根据所述多声道音频源信号来生成多个受限制的声道特定的音频信号,使得多个受限制的音频信号中的一个相应的受限制的声道特定的音频信号被分配给所述多声道音频源信号的一个相应的音频信号,而且被限制到低于所述预先给定的下限频率和/或高于所述预先给定的上限频率的频率范围上;而且
- 通过所述车辆(10)中的多个扬声器(17-20)来输出所述多个受限制的声道特定的音频信号。
4.根据权利要求3所述的方法,其特征在于,所述多声道音频源信号对于所述多声道音频源信号的每个音频声道来说都被分成在所有声道上都相同的中间信号部分和相应的两边信号部分,而且所述中间信号部分被用于生成所述受限制的单声道音频信号,而相应的两边信号部分被用于生成所述多个受限制的声道特定的音频信号。
5.根据权利要求4所述的方法,其特征在于,中间信号通过对所述多声道音频源信号的音频声道的相应的采样值求平均值来形成,而相应的两边信号部分通过将所述中间信号从所述多声道音频源信号的相应的音频信号中减去来形成。
6.根据权利要求1或2所述的方法,其特征在于,通过所述麦克风(13)接收的语音音频信号被限制到所述预先给定的下限频率与所述预先给定的上限频率之间的频率范围上,而且通过所述多个扬声器(17-20)输出的受限制的单声道音频信号对受限制的语音音频信号的影响被补偿。
7.一种用于车辆的音频信号处理装置,所述音频信号处理装置具有:
- 输入端,所述输入端被设计为接收多声道音频源信号;
- 加和装置,所述加和装置被设计为基于所述多声道音频源信号来生成单声道音频信号;
- 带通滤波器,所述带通滤波器被设计为将所述单声道音频信号限制到预先给定的下限频率与预先给定的上限频率之间的频率范围上;
- 输出端,所述输出端被设计为通过所述车辆(10)中的多个扬声器(17-20)来输出受限制的单声道音频信号,
其中所述带通滤波器还被设计为将所述受限制的单声道音频信号输出到补偿装置(25),以便:借助于通过所述多个扬声器(17-20)输出的所述受限制的单声道音频信号,补偿所述受限制的单声道音频信号对在所述车辆(10)中通过麦克风(13)来接收的语音音频信号的影响,
其特征在于,
所述音频信号处理装置还具有加权装置(28),所述加权装置与所述多声道音频源信号耦合,其中所述加权装置(28)被设计为:
- 根据所述多声道音频源信号来生成多个被分配给相应的扬声器(17-20)的加权因子;而且
- 通过所述相应的扬声器(17-20)输出如下受限制的单声道音频信号,所述受限制的单声道音频信号利用被分配给相应的扬声器的加权因子来加权。
8.根据权利要求7所述的音频信号处理装置,其特征在于,所述音频信号处理装置(15)被设计用于执行根据权利要求1-6之一所述的方法。
CN201680065656.9A 2015-11-10 2016-10-26 车辆中的音频信号处理 Active CN108353229B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015222105.9A DE102015222105A1 (de) 2015-11-10 2015-11-10 Audiosignalverarbeitung in einem Fahrzeug
DE102015222105.9 2015-11-10
PCT/EP2016/075831 WO2017080830A1 (de) 2015-11-10 2016-10-26 Audiosignalverarbeitung in einem fahrzeug

Publications (2)

Publication Number Publication Date
CN108353229A CN108353229A (zh) 2018-07-31
CN108353229B true CN108353229B (zh) 2020-10-23

Family

ID=57218876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065656.9A Active CN108353229B (zh) 2015-11-10 2016-10-26 车辆中的音频信号处理

Country Status (5)

Country Link
US (1) US10339951B2 (zh)
EP (1) EP3375204B1 (zh)
CN (1) CN108353229B (zh)
DE (1) DE102015222105A1 (zh)
WO (1) WO2017080830A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015222105A1 (de) 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audiosignalverarbeitung in einem Fahrzeug
DE102018007433A1 (de) 2018-09-20 2019-02-28 Daimler Ag Audiosignalverarbeitungssystem für ein Fahrzeug
CN110246517B (zh) * 2019-07-08 2021-07-13 广州小鹏汽车科技有限公司 一种电台音乐识别方法、车载系统和车辆
JP7383942B2 (ja) * 2019-09-06 2023-11-21 ヤマハ株式会社 車載音響システムおよび車両
CN111739552A (zh) * 2020-08-28 2020-10-02 南京芯驰半导体科技有限公司 一种麦克风阵列波束成形的方法及系统
CN112309416B (zh) * 2020-10-20 2022-11-29 中国第一汽车股份有限公司 车载语音回音消除方法、系统、车辆和存储介质
CN113096681B (zh) * 2021-04-08 2022-06-28 海信视像科技股份有限公司 显示设备、多声道回声消除电路及多声道回声消除方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351795A (zh) * 1999-05-25 2002-05-29 英国电讯有限公司 回声消除
CN102131136A (zh) * 2010-01-20 2011-07-20 微软公司 自适应环境声抑制和语音跟踪

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828756A (en) 1994-11-22 1998-10-27 Lucent Technologies Inc. Stereophonic acoustic echo cancellation using non-linear transformations
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
US6665645B1 (en) 1999-07-28 2003-12-16 Matsushita Electric Industrial Co., Ltd. Speech recognition apparatus for AV equipment
JP4554044B2 (ja) 1999-07-28 2010-09-29 パナソニック株式会社 Av機器用音声認識装置
US20050213747A1 (en) 2003-10-07 2005-09-29 Vtel Products, Inc. Hybrid monaural and multichannel audio for conferencing
NO328256B1 (no) 2004-12-29 2010-01-18 Tandberg Telecom As Audiosystem
WO2006111370A1 (en) * 2005-04-19 2006-10-26 Epfl (Ecole Polytechnique Federale De Lausanne) A method and device for removing echo in a multi-channel audio signal
JP4896449B2 (ja) * 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
ATE522078T1 (de) 2006-12-18 2011-09-15 Harman Becker Automotive Sys Echokompensation mit geringer komplexität
JP4916394B2 (ja) 2007-07-03 2012-04-11 富士通株式会社 エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
DE102009051508B4 (de) 2009-10-30 2020-12-03 Continental Automotive Gmbh Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und -führung
EP2466864B1 (de) 2010-12-14 2019-02-27 Deutsche Telekom AG Transparente Dekorrelation der Lautsprechersignale bei mehrkanaligen Echokompensatoren
JP5649488B2 (ja) * 2011-03-11 2015-01-07 株式会社東芝 音声判別装置、音声判別方法および音声判別プログラム
GB2510331A (en) * 2012-12-21 2014-08-06 Microsoft Corp Echo suppression in an audio signal
CN104956436B (zh) 2012-12-28 2018-05-29 株式会社索思未来 带有语音识别功能的设备以及语音识别方法
US9589573B2 (en) * 2013-07-12 2017-03-07 Cirrus Logic International Semiconductor Ltd. Wind noise reduction
DE102015222105A1 (de) 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audiosignalverarbeitung in einem Fahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351795A (zh) * 1999-05-25 2002-05-29 英国电讯有限公司 回声消除
CN102131136A (zh) * 2010-01-20 2011-07-20 微软公司 自适应环境声抑制和语音跟踪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Hybrid Mono/Stereo Acoustic Echo Canceler;Jacob Benesty et al;《APPLICATIONS OF SIGNAL PROCESSING TO AUDIO AND ACOUSTICS》;19971019;第1-4章,图2-4 *

Also Published As

Publication number Publication date
EP3375204A1 (de) 2018-09-19
DE102015222105A1 (de) 2017-05-11
US10339951B2 (en) 2019-07-02
WO2017080830A1 (de) 2017-05-18
EP3375204B1 (de) 2019-06-19
CN108353229A (zh) 2018-07-31
US20180358031A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN108353229B (zh) 车辆中的音频信号处理
US10257613B2 (en) Managing telephony and entertainment audio in a vehicle audio platform
Li et al. Two-stage binaural speech enhancement with Wiener filter for high-quality speech communication
JP2023175769A (ja) 個々のサウンド領域を提供するための装置および方法
EP1848243B1 (en) Multi-channel echo compensation system and method
EP1718103B1 (en) Compensation of reverberation and feedback
EP1858295B1 (en) Equalization in acoustic signal processing
EP3441969B1 (en) Synthetic speech for in vehicle communication
EP2859772B1 (en) Wind noise detection for in-car communication systems with multiple acoustic zones
CN111489750B (zh) 声音处理设备和声音处理方法
US20080021706A1 (en) Speech distribution system
WO2013187932A1 (en) Noise dependent signal processing for in-car communication systems with multiple acoustic zones
JP2010163054A (ja) 会話支援装置及び会話支援方法
JP2007180896A (ja) 音声信号処理装置および音声信号処理方法
US12039965B2 (en) Audio processing system and audio processing device
JP5547432B2 (ja) 自動音量制御装置
JP2004309536A (ja) 音声処理装置
JP7566686B2 (ja) 個々のサウンド領域を提供するための装置および方法
US20230396922A1 (en) Communication support system
Freudenberger et al. Noise and feedback suppression for in-car communication systems
JP2007295347A (ja) 音声処理装置
JP2007318281A (ja) オーディオ処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant