CN110326307B - 声学回声抑制装置以及声学回声抑制方法 - Google Patents

声学回声抑制装置以及声学回声抑制方法 Download PDF

Info

Publication number
CN110326307B
CN110326307B CN201880013040.6A CN201880013040A CN110326307B CN 110326307 B CN110326307 B CN 110326307B CN 201880013040 A CN201880013040 A CN 201880013040A CN 110326307 B CN110326307 B CN 110326307B
Authority
CN
China
Prior art keywords
signal
sound
unit
acoustic echo
room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880013040.6A
Other languages
English (en)
Other versions
CN110326307A (zh
Inventor
宫本正成
大桥宏正
田中直也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110326307A publication Critical patent/CN110326307A/zh
Application granted granted Critical
Publication of CN110326307B publication Critical patent/CN110326307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/01Noise reduction using microphones having different directional characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

麦克风(mc1)拾取驾驶员的声音。第一回声抑制单元(20)基于驾驶员的声音信号以及缓冲存储器(50A)中保持的过去的回声抑制后的声音信号(第一参照信号)来输出第一回声抑制后的声音信号。第二回声抑制单元(30)基于驾驶员的声音信号以及缓冲存储器(50B)中保持的过去的回声抑制后的声音信号(第二参照信号)来输出第二回声抑制后的声音信号。输出信号选择部(43)根据系统变动检测部(41)检测有无系统变动的检测结果,来选择第一回声抑制后的声音信号和第二回声抑制后的声音信号中的某一个从扬声器(sp2)输出。

Description

声学回声抑制装置以及声学回声抑制方法
技术领域
本公开涉及一种对车厢内残留的声学回声(acoustic echo)进行抑制的声学回声抑制装置以及声学回声抑制方法。
背景技术
正在探讨在例如小型汽车(minivan)、旅行车(wagon)、厢式车(one-box car)等在前后方向上配置有多个(例如3排以上的)座席的比较大的车辆中,作为对话辅助系统而搭载使用设置于各个座席的麦克风和扬声器来传递声音的构造,来使得乘坐于驾驶席的驾驶员与乘坐于后部座席的乘员(例如驾驶员的友人)能够顺利地进行对话。
在对话辅助系统中,驾驶员所发出的声音被设置于驾驶席的麦克风拾取,并从设置于后部座席的扬声器输出,由此即使车辆在容易发生振动的未铺修的道路、噪音大的街道中行驶时,后方的乘员也易于听到驾驶员的说话声。另外,后方的乘员所发出的声音被设置于后部座席的麦克风拾取,并从设置于驾驶席的扬声器输出,由此驾驶员易于听到后方的乘员的说话声。
在这种对话辅助系统中,存在以下情况:从扬声器输出的播放音作为回声音(echosound)被麦克风拾取,由此扬声器声音的声学方面的质量(换言之,音质)劣化从而变得难以听取,难以进行顺畅的对话。因此,期望改善从扬声器输出的声音的音质。
在此,作为与对车辆的司机与其它乘员的对话进行辅助有关的现有技术,已知以下的声学回声去除装置:作为车厢内的状况,预先设想乘员的配置模式,事先针对各配置模式分别测定声音的传播特性,并使用通过该测定获得且存储于存储器等的各传播特性,来估计从扬声器输出的声音信号中包含的声学回声并去除该声学回声(例如参照专利文献1)。
然而,声音的传播特性根据除了车内的乘员的配置模式以外的其它因素(例如,乘员的身高、体形、乘员放倒座位的情况、乘员开闭车窗或门的情况)而大幅变化。因而,不仅考虑乘员的配置模式、还考虑车内的环境(系统)的变动,在此基础上事先准备车内的所有状况下的声音的传播特性,这在现实中是相当困难的。
另外,在行驶中乘员开闭窗、或者放倒座位、或者大幅地移动脸等、车内的声场中的声音的传播特性大幅改变的情况(换言之,发生了急剧的环境(系统)的变动的情况)下,预先准备的声音的传播特性的可靠性下降,以去除或抑制声学回声的精度的观点而言是不充分的。因此,在使用了与实际的声场中的声音的传播特性相偏离的传播特性的情况下,无法充分地去除或抑制声学回声,从而从扬声器输出的声音产生音质劣化。
本公开是鉴于上述的以往的状况而提出的,目的在于提供一种即使在发生了急剧的系统变动的情况下也追随系统变动地抑制所输出的声音的音质劣化的声学回声抑制装置以及声学回声抑制方法。
现有技术文献
专利文献
专利文献1:日本特开2009-216835号公报
专利文献2:日本特开2007-19595号公报
发明内容
本公开的声学回声抑制装置用于抑制设置有对声音进行拾取的收音部的环境内的声学回声,具备:第一滤波处理部,其基于由所述收音部拾取到的所述环境内的人物的声音信号和第一参照信号,来输出抑制了所述声音信号中包含的回声成分的第一抑制声音信号;第二滤波处理部,其基于由所述收音部拾取到的所述环境内的人物的声音信号和第二参照信号,来输出抑制了所述声音信号中包含的回声成分的第二抑制声音信号;检测部,其检测所述环境有无变动;以及输出选择部,其根据所述环境有无变动的检测结果,来选择所述第一抑制声音信号和所述第二抑制声音信号中的某一个从声音输出部输出。
另外,本公开的声学回声抑制方法用于对设置有收音部的室内的声学回声进行抑制,在该声学回声抑制方法中,输出以第一速度对由所述收音部得到的收音信号中包含的回声成分进行更新得到的第一声音信号,输出针对所述室内的声场环境的急剧变动以比第一更新速度快的第二更新速度对所述收音信号中包含的回声成分进行更新得到的第二声音信号,检测所述室内的声场环境有无变动,根据所述室内的声场环境有无变动的检测结果,来选择所述第一声音信号和所述第二声音信号中的某一个从声音输出部输出。
根据本公开,即使在发生了急剧的系统变动的情况下,也能够追随系统变动,能够抑制所输出的声音的音质劣化。
附图说明
图1是表示搭载有实施方式1中的声学回声抑制装置的面向车内的对话辅助系统的概要的一例的图。
图2是说明车厢内的声学回声的传播路径的一例的图。
图3是详细地表示声学回声抑制装置的功能性结构的一例的框图。
图4是详细地表示声学回声抑制动作过程的一例的流程图。
图5是详细地表示步骤S11中的系统变动检测过程的一例的流程图。
图6是详细地表示步骤S12中的输出信号选择过程的一例的流程图。
图7A是表示初次启动时的自适应滤波器的成长过程的一例的曲线图。
图7B是表示初次启动时的自适应滤波器的成长过程的一例的曲线图。
图7C是表示初次启动时的自适应滤波器的成长过程的一例的曲线图。
图7D是表示初次启动时的自适应滤波器的成长过程的一例的曲线图。
图7E是表示初次启动时的自适应滤波器的成长过程的一例的曲线图。
图8A是表示系统变动时的自适应滤波器的变化过程的一例的曲线图。
图8B是表示系统变动时的自适应滤波器的变化过程的一例的曲线图。
图8C是表示系统变动时的自适应滤波器的变化过程的一例的曲线图。
图8D是表示系统变动时的自适应滤波器的变化过程的一例的曲线图。
图8E是表示系统变动时的自适应滤波器的变化过程的一例的曲线图。
图9是详细地表示实施方式2中的声学回声抑制装置的功能性结构的一例的框图。
图10是详细地表示声学回声抑制动作过程的一例的流程图。
图11是详细地表示步骤S11A中的系统变动检测过程的一例的流程图。
图12是详细地表示步骤S12A中的输出信号选择过程的一例的流程图。
图13是详细地表示实施方式3中的声学回声抑制装置的功能性结构的一例的框图。
图14是详细地表示实施方式3的变形例中的声学回声抑制装置的功能性结构的一例的框图。
图15是详细地表示实施方式4中的声学回声抑制装置的功能性结构的一例的框图。
图16是详细地表示实施方式5中的声学回声抑制装置的功能性结构的一例的框图。
具体实施方式
下面,适当参照附图来详细地说明具体地公开了本公开所涉及的声学回声抑制装置以及声学回声抑制方法的各实施方式。但是,有时省略超过所需的详细的说明。例如,有时省略已经公知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免下面的说明变得不必要的冗长,使本领域技术人员容易理解。此外,附图和下面的说明是为了使本领域技术人员充分地理解本公开而提供的,并不意图由此来限定权利要求书所记载的主题。
各实施方式的声学回声抑制装置例如应用于对在车辆的车厢内进行的乘员之间的对话进行辅助的面向车内的对话辅助系统。但是,以下的各实施方式的声学回声抑制装置并不限定于应用于上述的面向车辆的对话辅助系统,这是不言而喻的。
(实施方式1)
图1是表示搭载有实施方式1中的声学回声抑制装置5的面向车内的对话辅助系统3的概要的一例的图。
面向车内的对话辅助系统3搭载于作为环境的一例的车辆8,具有包含以下部分的结构:设置在车厢8z内的仪表面板附近的声学回声抑制装置5;配置在驾驶席的附近的麦克风mc1及扬声器sp1;以及配置在后部座席的附近的麦克风mc2及扬声器sp2。在以下的说明中,面向车内的对话辅助系统3对驾驶员hm1与乘坐于后部座席的乘员hm2的对话进行辅助,但是在前后方向上具有3排座席的车辆的情况下,进行对话的乘员的组合是任意的,例如是乘坐于副驾驶席的乘员与乘坐于中央座席的乘员的对话等。
图2是说明车厢8z内的声学回声的传播路径的一例的图。
驾驶员hm1说话所发出的声音被麦克风mc1拾取。与该麦克风mc1中的拾取同时地,从配置于后部座席的扬声器sp2输出的播放音经由车厢8z内的传播路径pt1、pt2、pt3、pt4而直接地或者被反射后作为声学回声被麦克风mc1拾取。
在图2中,示出了以下传播路径:例如从扬声器sp2输出的声音直接地到达麦克风mc1的直接波的传播路径pt1;从扬声器sp2输出的声音被驾驶席侧的门反射后到达麦克风mc1的反射波的传播路径pt2;从扬声器sp2输出的声音被车厢8z内的顶棚反射后到达麦克风mc1的反射波的传播路径pt3;以及从扬声器sp2输出的声音被后部座席侧的门反射并且被驾驶席的侧箱(side box)反射后到达麦克风mc1的反射波的传播路径pt4。此外,如图2的点线所示,在驾驶员hm1使身体大幅移动的情况下,传播路径pt4变得不存在或者大幅变动,结果是,车厢8z内的声场的特性发生变化。
其结果,从扬声器sp2输出的播放音中包含声学回声,乘坐于后部座席的乘员hm2所听到的播放音的音质发生劣化。同样地,在乘坐于后部座席的乘员hm2说话所发出的声音被麦克风mc2拾取的同时,从配置于驾驶席的扬声器sp1输出的播放音经由车厢8z内的各个传播路径(未图示)而直接地或者被反射后作为声学回声被麦克风mc2拾取。其结果,从扬声器sp1输出的播放音中包含声学回声,驾驶员hm1所听到的播放音的音质发生劣化。
与此相对地,本实施方式的声学回声抑制装置5用于抑制从扬声器sp1、sp2输出的播放音中包含的声学回声来提高音质。声学回声抑制装置5具有与麦克风同扬声器的组合的数量相当的数量的声学回声降低功能。这多个声学回声降低功能具有相同的结构且进行相同的动作,因此在下面,以从后部座席侧的扬声器sp2输出由驾驶席侧的麦克风mc1拾取的声音的情况为一例来进行说明。此外,在从驾驶席侧的扬声器sp1输出由后部座席侧的麦克风mc2拾取的声音的情况下也是同样的。
图3是详细地表示声学回声抑制装置5的功能性结构的一例的框图。
与麦克风mc1及扬声器sp2连接的声学回声抑制装置5是降低从扬声器sp2输出的声音中包含的声学回声的啸叫消除器(howling canceller),主要由DSP(Digital SignalProcessor:数字信号处理器)10和缓冲存储器50A、50B构成。此外,麦克风mc1和扬声器sp2也可以包含在声学回声抑制装置5中。同样地,麦克风mc2和扬声器sp1也可以包含在声学回声抑制装置5中。
作为收音部的一例的麦克风mc1配置在驾驶席的附近,用于拾取驾驶员hm1说话所发出的声音,可以是指向性麦克风、无指向性麦克风中的任一种。
作为声音输出部的一例的扬声器sp2配置在后部座席的附近,用于输出由麦克风mc1拾取到的声音,可以是指向性扬声器、无指向性扬声器中的任一种。
缓冲存储器50A、50B将分别应该从扬声器sp2输出的过去(严格地说是紧挨着当前时间点的之前的定时)的声学回声抑制后的信号(扬声器信号)作为第一参照信号、第二参照信号来分别保持。
DSP 10用于从由麦克风mc1拾取到的声音抑制声学回声来将声学回声抑制后的信号输出到扬声器sp2,具有第一回声抑制单元20、第二回声抑制单元30、系统变动检测部41以及输出信号选择部43。
作为第一滤波处理部的一例的第一回声抑制单元20具有第一回声抑制部21、第一滤波器更新部25以及延时器29。
第一回声抑制部21具有加法器22和自适应滤波器23,为了消除由麦克风mc1拾取到的声音中包含的声学回声,用加法器22来对由麦克风mc1拾取到的声音加上由自适应滤波器23生成的伪回声信号,由此进行声学回声抑制的处理。第一回声抑制部21将加法器22的输出(换言之,声学回声抑制后的信号(回声抑制信号))输出到系统变动检测部41。
作为滤波器部的一例的自适应滤波器23被输入由延时器29(也就是说,延迟器)延迟了延迟时间的第一参照信号,成长为具有与从扬声器sp2输出的播放音被拾取为止的传播特性等效的特性的滤波器,并使用该滤波器进行信号处理,由此生成伪回声信号。此外,自适应滤波器如上述的专利文献1、2等所记载的那样,是通过控制FIR(Finite ImpulseResponse:有限冲激响应)滤波器的抽头(tap)数、系数来能够使滤波器特性可变的公知的自适应滤波器。
第一参照信号如前述那样被保持在缓冲存储器50A中,是应该从扬声器sp2输出的过去(严格地说,紧挨着当前时间点的之前的定时)的声学回声抑制后的信号(扬声器信号),是从扬声器sp2输出的声音到达麦克风mc1为止所需的时间前的信号。因而,第一参照信号被延时器29延迟后输入到自适应滤波器23的定时与从扬声器sp2输出的播放音作为回声音被麦克风mc1拾取的定时一致。因此,延时器29的延迟时间是将扬声器sp2与麦克风mc1间的距离除以音速所得到的值,例如,在车厢内的驾驶席与后部座席之间为4m左右的情况下,延时器29的延迟时间为约10msec。
第一滤波器更新部25用于控制FIR滤波器的系数以使自适应滤波器23的特性与回声传播特性等效,具有更新量计算部26、非线性处理部27以及范数(norm)计算部28。此外,也可以通过控制FIR滤波器的抽头数来变更滤波器特性。
非线性处理部27对声学回声抑制后的信号(回声抑制信号)进行非线性变换来生成被进行了非线性变换的回声抑制信号后输出到更新量计算部26,决定将滤波器特性向正的方向变更、还是向负的方向变更。
范数计算部28计算扬声器信号的范数。扬声器信号的范数是指过去的规定时间内的扬声器信号的大小的总和,是表示该时间内的信号的大小的程度的值。
更新量计算部26使用由范数计算部28计算出的范数、由非线性处理部27进行非线性变换后的回声抑制信号以及由延时器29延迟了延迟时间的第一参照信号(扬声器信号),来计算滤波器特性的更新量。
作为第二滤波处理部的一例的第二回声抑制单元30与第一回声抑制单元20同样地具有第二回声抑制部31、第二滤波器更新部35以及延时器39。
但是,设定为:与第一回声抑制单元20的自适应滤波器23的滤波器系数的更新速度α相比,第二回声抑制单元30的自适应滤波器33的滤波器系数的更新速度β快。也就是说,第一回声抑制单元20在声场的特性没怎么发生变化的情况下,输出更新速度为α的稳定的声学回声抑制后的信号,该更新速度α比更新速度β小。另一方面,第二回声抑制单元30在声场的特性发生变化的情况下(例如在发生了急剧的系统变动的情况下),输出更新速度为β的高速的声学回声抑制后的信号,使得能够追随该系统变动,该更新速度β比更新速度α大。
第二回声抑制部31具有加法器32和自适应滤波器33,为了消除由麦克风mc1拾取到的声音中包含的声学回声,用加法器32来对由麦克风mc1拾取到的声音加上由自适应滤波器33生成的伪回声信号,由此进行声学回声抑制的处理。第二回声抑制部31将加法器32的输出(换言之,声学回声抑制后的信号(回声抑制信号))输出到系统变动检测部41。
自适应滤波器33被输入由延时器39(也就是说,延迟器)延迟了延迟时间的第二参照信号,成长为具有与从扬声器sp2输出的播放音被拾取为止的传播特性等效的特性的滤波器,并使用该滤波器进行信号处理,由此生成伪回声信号。
第二参照信号如前述那样被保持在缓冲存储器50B中,是应该从扬声器sp2输出的过去(严格地说,紧挨着当前时间点的之前的定时)的声学回声抑制后的信号(扬声器信号),是从扬声器sp2输出的声音到达麦克风mc1为止所需的时间前的信号。因而,第二参照信号被延时器39延迟后输入到自适应滤波器33的定时与从扬声器sp2输出的播放音作为回声音被麦克风mc1拾取的定时一致。因此,延时器39的延迟时间是将扬声器sp2与麦克风mc1间的距离除以音速所得到的值,与延时器29的延迟时间相同。
第二滤波器更新部35用于控制FIR滤波器的抽头数、系数,以使自适应滤波器33的特性与回声传播特性等效,具有更新量计算部36、非线性处理部37以及范数计算部38。此外,也可以通过控制FIR滤波器的抽头数来变更滤波器特性。
非线性处理部37对声学回声抑制后的信号进行非线性变换来生成被进行了非线性变换的回声抑制信号后输出到更新量计算部36,决定将滤波器特性向正的方向变更、还是向负的方向变更。
范数计算部38计算扬声器信号的范数。扬声器信号的范数是指过去的规定时间内的扬声器信号的大小的总和,是表示该时间内的信号的大小的程度的值。
更新量计算部36使用由范数计算部38计算出的范数、由非线性处理部37进行非线性变换后的回声抑制信号以及由延时器39延迟了延迟时间的第二参照信号(扬声器信号),来计算滤波器特性的更新量。
系统变动检测部41被输入从第一回声抑制单元20输出的声学回声抑制后的信号(第一抑制声音信号)以及从第二回声抑制单元30输出的声学回声抑制后的信号(第二抑制声音信号)。系统变动检测部41基于这些信号来检测声场中的声音的传播特性是否发生了变动、也就是说有无系统变动。
在由系统变动检测部41判断为没有系统变动的情况下,来自以慢的更新速度α更新滤波器特性的第一回声抑制单元20的输出信号的大小(例如声压)比来自以快的更新速度β更新滤波器特性的第二回声抑制单元30的输出信号的大小(例如声压)小。
另一方面,在由系统变动检测部41判断为有系统变动的情况下,来自以慢的更新速度α更新滤波器特性的第一回声抑制单元20的输出信号的大小(例如声压)比来自以快的更新速度β更新滤波器特性的第二回声抑制单元30的输出信号的大小(例如声压)大。
因而,系统变动检测部41在判断为来自第二回声抑制单元30的输出信号的大小比来自第一回声抑制单元20的输出信号的大小小的情况下,判定为有系统变动。另一方面,系统变动检测部41在判断为从第一回声抑制单元20输出的信号的大小比从第二回声抑制单元30输出的信号的大小小的情况下,判定为没有系统变动。
作为输出选择部的一例的输出信号选择部43在由系统变动检测部41判断为没有系统变动的情况下,将从第一回声抑制单元20输出的声学回声抑制后的信号输出到扬声器sp2。另一方面,输出信号选择部43在由系统变动检测部41判断为有系统变动的情况下,将从第二回声抑制单元30输出的声学回声抑制后的信号输出到扬声器sp2。
示出上述的本实施方式的声学回声抑制装置5的动作。
图4是详细地表示声学回声抑制动作过程的一例的流程图。
图4所示的各处理例如是当通过车辆8内搭载的点火开关接通而向声学回声抑制装置5供给电源时由DSP 10重复执行的。
在图4中,DSP 10获取由麦克风mc1拾取到的声音(S1)。
DSP 10判断当前时间点是否是与各个自适应滤波器23、33的滤波器系数的更新速度α、β相当的定时。在是更新定时的情况下,DSP 10指示具有到了更新定时的相应的自适应滤波器的、第一回声抑制单元20和第二回声抑制单元30中的至少一方执行滤波器系数的更新处理(S2)。换言之,DSP 10指示第一回声抑制单元20、第二回声抑制单元30在时间上并行地分别执行滤波器系数的更新处理(S2)。
在当前时间点为更新速度α的定时的情况下,DSP 10在步骤S3以后的处理中执行第一回声抑制单元20的自适应滤波器23的滤波器系数的更新处理。
在当前时间点为更新速度β的定时的情况下,DSP 10在步骤S7以后的处理中执行第二回声抑制单元30的自适应滤波器33的滤波器系数的更新处理。
在本实施方式中,处于更新速度α<更新速度β的关系,因此与执行步骤S3~S6的处理的频度相比,执行步骤S7~S10的处理的频度高。
在更新速度α的定时,第一回声抑制部21获取缓冲存储器50A中保持的、作为过去的声学回声抑制后的信号(扬声器信号)的第一参照信号(内部保持信号)(S3)。
第一回声抑制部21使用由延时器29延迟了规定时间的第一参照信号来利用自适应滤波器23生成伪回声信号,在加法器22中将该伪回声信号与由麦克风mc1拾取到的声音信号相加。由此,第一回声抑制部21从由麦克风mc1拾取到的声音信号中去除(减去)与伪回声信号相应的量,由此生成声学回声抑制后的信号(S4)。第一滤波器更新部25使用声学回声抑制后的信号和被延迟的第一参照信号来计算滤波器特性的更新量,并更新自适应滤波器23的特性(S5)。第一回声抑制单元20将在步骤S4中生成的声学回声抑制后的信号保持在缓冲存储器50A中,以将该信号用作在下一次(也就是说,基于更新速度α的接下来的更新定时)的滤波器系数的更新处理时的第一参照信号(S6)。
另一方面,在更新速度β的定时,第二回声抑制部31获取缓冲存储器50B中保持的、作为过去的声学回声抑制后的信号(扬声器信号)的第二参照信号(内部保持信号)(S7)。
第二回声抑制部31使用由延时器39延迟了规定时间的第二参照信号来利用自适应滤波器33生成伪回声信号,在加法器32中将该伪回声信号与由麦克风mc1拾取到的声音信号相加。由此,第二回声抑制部31从由麦克风mc1拾取到的声音信号中去除(减去)与伪回声信号相应的量,由此生成声学回声抑制后的信号(S8)。第二滤波器更新部35使用声学回声抑制后的信号和被延迟的第二参照信号来计算滤波器特性的更新量,并更新自适应滤波器33的特性(S9)。第二回声抑制单元30将在步骤S8中生成的声学回声抑制后的信号保持在缓冲存储器50B中,以将该信号用作下一次(也就是说,基于更新速度β的接下来的更新定时)的滤波器系数的更新处理时的第二参照信号(S10)。
系统变动检测部41检测车厢8z内的环境(声场)是否发生了变化、也就是说有无系统变动(S11)。关于该系统变动检测处理的详细内容,在后面叙述。
输出信号选择部43根据系统变动检测部41的检测结果(也就是说,有无系统变动),来选择输出到扬声器sp2的声音信号(S12)。关于该输出信号选择处理的详细内容,在后面叙述。此后,DSP 10结束图4所示的处理。
图5是详细地表示步骤S11中的系统变动检测过程的一例的流程图。
在图5中,系统变动检测部41获取从第一回声抑制单元20输出的信号(也就是说,更新速度为α的声学回声抑制后的信号)以及从第二回声抑制单元30输出的信号(也就是说,更新速度为β的声学回声抑制后的信号)(S21)。
系统变动检测部41将更新速度为α的声学回声抑制后的信号的大小(声压)与更新速度为β的声学回声抑制后的信号的大小(声压)进行比较(S22)。在比较的结果为更新速度为α的声压比更新速度为β的声压小的情况下(S23),系统变动检测部41判定为没有系统变动(S24)。
另一方面,在比较的结果为更新速度为β的声压比更新速度为α的声压小的情况下(S23),系统变动检测部41判定为有系统变动(S25)。在步骤S24、S25的处理后,系统变动检测部41结束图5所示的处理,DSP 10的处理进入到原来的处理(也就是说,步骤S12)。
图6是详细地表示步骤S12中的输出信号选择过程的一例的流程图。
在图6中,输出信号选择部43基于来自系统变动检测部41的输出来判别有无系统变动(S31)。在没有系统变动的情况下(S31:“否”),输出信号选择部43将更新速度为α的声学回声抑制后的信号输出到扬声器sp2(S32)。
另一方面,在有系统变动的情况下(S31:“是”),输出信号选择部43将更新速度为β的声学回声抑制后的信号输出到扬声器sp2(S33)。通过步骤S32、S33的处理,当向扬声器sp2输入声学回声抑制后的信号时,从扬声器sp2输出音质高的声音。在步骤S32、S33的处理后,输出信号选择部43结束图6所示的处理,DSP 10的处理结束。
图7A、图7B、图7C、图7D、图7E分别是表示初次启动时的自适应滤波器23的成长过程的一例的曲线图。
各曲线图的纵轴表示声压,横轴表示频率。在初次启动时的初始状态下,如图7A所示,针对由麦克风mc1拾取的回声音gh1,在自适应滤波器23中不生成伪回声信号gh2。
之后,随着时间的经过,如图7B、图7C、图7D所示,自适应滤波器23成长(换言之,进行了自适应滤波器23的滤波器系数的学习),由自适应滤波器23生成的伪回声信号gh2接近由麦克风mc1拾取的回声音gh1。在稳定状态下,如图7E所示,由自适应滤波器23生成的伪回声信号gh2与由麦克风mc1拾取的回声音gh1大致一致。
此外,在图7A~图7E中示出了自适应滤波器23的成长过程的一例,但自适应滤波器33的成长过程也与自适应滤波器23相同,虽然成长速度比自适应滤波器23快。
图8A、图8B、图8C、图8D、图8E分别是表示系统变动时的自适应滤波器23的变化过程的一例的曲线图。
在车厢8z内的状况(例如车窗的开闭等)发生变化从而声场急剧变动的情况下,也就是说在急剧的系统变动时,由自适应滤波器23生成的伪回声信号gh2与由麦克风mc1拾取的回声音gh1大幅偏离。在图8A中,伪回声信号gh2的声压超过回声音gh1的声压的频带很多。
之后,随着时间的经过,如图8B、图8C、图8D所示,自适应滤波器23成长(换言之,进行了自适应滤波器23的滤波器系数的学习),由自适应滤波器23生成的伪回声信号gh2逐渐接近由麦克风mc1拾取的回声音gh1。在从发生了系统变动起经过片刻后的稳定状态下,如图8E所示,由自适应滤波器23生成的伪回声信号gh2与由麦克风mc1拾取的回声音gh1大致一致。
此外,在图8A~图8E中示出了自适应滤波器23的变化过程的一例,但自适应滤波器33的变化过程也与自适应滤波器23相同,虽然变化速度比自适应滤波器23快。
通过以上,在实施方式1的声学回声抑制装置5中,麦克风mc1拾取车厢8z内(环境内)的驾驶员hm1(人物)的声音。第一回声抑制单元20基于由麦克风mc1拾取的驾驶员hm1的声音信号以及缓冲存储器50A中保持的过去的第一回声抑制后的声音信号(第一参照信号),来输出抑制了声音信号中包含的回声成分的第一回声抑制后的声音信号(第一抑制声音信号)。第二回声抑制单元30基于由麦克风mc1拾取的驾驶员hm1的声音信号以及缓冲存储器50B中保持的过去的第二回声抑制后的声音信号(第二参照信号),来输出抑制了声音信号中包含的回声成分的第二回声抑制后的声音信号(第二抑制声音信号)。系统变动检测部41检测有无系统变动(也就是说,环境的变动)。输出信号选择部43根据有无系统变动的检测结果,来选择第一回声抑制后的声音信号和第二回声抑制后的声音信号中的某一个从扬声器sp2输出。
由此,声学回声抑制装置5即使在环境内(例如车厢8z内)发生了声场的传播特性发生变化那样的急剧的系统变动的情况下,也能够追随该系统变动地抑制从扬声器(例如扬声器sp2)输出的声音的音质劣化。另外,通过具备第一回声抑制单元20和第二回声抑制单元30这2个回声抑制单元,即使一方的回声抑制单元的动作变得不良,也能够使用另一方的回声抑制单元,能够持续进行声学回声抑制动作。另外,在基于声学回声抑制后的信号的音质未被充分改善的情况下,也能够个别地变更2个回声抑制单元的更新频度来实现音质的提高。
另外,第一回声抑制单元20所具有的自适应滤波器23的滤波器系数的更新速度α比第二回声抑制单元30所具有的自适应滤波器33的滤波器系数的更新速度β慢。由此,声学回声抑制装置5在没有上述的声场的传播特性发生变化那样的系统变动的情况下输出从更新速度α慢的第一回声抑制单元20输出的声学回声抑制后的声音信号,由此能够使声音的质量稳定化。另一方面,声学回声抑制装置5在有上述的声场的传播特性发生变化那样的系统变动的情况下输出从更新速度β快的第二回声抑制单元30输出的声学回声抑制后的声音信号,由此能够迅速地追随系统变动从而能够抑制系统变动后的声场中的声音的音质劣化。
另外,系统变动检测部41基于第一回声抑制后的声音信号和第二回声抑制后的声音信号来检测有无系统变动。这样,声学回声抑制装置5为了检测有无系统变动而使用通过利用不同的自适应滤波器生成的伪回声信号来抑制了声学回声后的声音信号,由此例如不仅能够检测瞬间性的系统变动,还能够检测经过规定时间而逐渐发生的连续的系统变动。另外,声学回声抑制装置5不用另外准备用于检测有无系统变动的设备,因此能够简单地检测系统变动,实现了部件数量的削减和成本的降低。
另外,在第一回声抑制后的声音信号的声压(第一抑制声音信号中包含的声音的大小)比第二回声抑制后的声音信号的声压(第二抑制声音信号中包含的声音的大小)大的情况下,系统变动检测部41检测为有系统变动。这样,声学回声抑制装置5能够通过将从第一回声抑制单元20输出的声学回声抑制后的声音信号的声压与从第二回声抑制单元30输出的声学回声抑制后的声音信号的声压进行比较,来简单地检测有无系统变动。
另外,在声学回声抑制装置5中,过去的第一回声抑制后的声音信号(第一参照信号)被保持在缓冲存储器50A中。过去的第二回声抑制后的声音信号(第二参照信号)被保持在缓冲存储器50B中。这样,自适应滤波器23、33能够通过使用分别保持在缓冲存储器50A、50B中的作为过去(前一个)的声学回声抑制后的声音信号的第一参照信号和第二参照信号,来容易地生成用于抑制由麦克风mc1拾取到的声音信号中包含的声学回声信号的伪回声信号。
另外,在系统变动检测部41中检测为有系统变动的情况下,输出信号选择部43选择第一回声抑制后的声音信号来输出,在系统变动检测部41中检测为没有系统变动的情况下,输出信号选择部43选择第二回声抑制后的声音信号来输出。由此,声学回声抑制装置5能够满足没有系统变动的情况下的声音的音质稳定化以及有系统变动的情况下的声音的音质劣化的抑制这两方。
(实施方式2)
在上述的实施方式1中,示出了使用2个自适应滤波器的情况,但是在实施方式2中,示出使用3个自适应滤波器的情况。另外,在实施方式2的声学回声抑制装置中,对于与实施方式1相同的结构要素使用相同的标记,由此省略其说明。
图9是详细地表示实施方式2中的声学回声抑制装置5A的功能性结构的一例的框图。
声学回声抑制装置5A除了具有实施方式1中示出的第一回声抑制单元20和第二回声抑制单元30以外,还具有第三回声抑制单元80。
作为第三滤波处理部的一例的第三回声抑制单元80与第一回声抑制单元20和第二回声抑制单元30同样,具有第三回声抑制部81、第三滤波器更新部85以及延时器89。
但是,设定为:与第一回声抑制单元20的自适应滤波器23的滤波器系数的更新速度α、第二回声抑制单元30的自适应滤波器33的滤波器系数的更新速度β相比,第三回声抑制单元80的自适应滤波器83的滤波器系数的更新速度γ最快。也就是说,第一回声抑制单元20在声场的特性没怎么发生变化的情况下,输出比更新速度γ、β小的更新速度α的稳定的声学回声抑制后的信号。另外,第二回声抑制单元30在声场的特性发生变化的情况下(例如在发生了急剧的系统变动的情况下),输出比更新速度α大的更新速度β的高速的声学回声抑制后的信号,使得能够追随该系统变动。并且,第三回声抑制单元80在声场的特性大幅变化的情况下(例如发生了急剧的系统变动的情况下),输出比更新速度α、β大的更新速度γ的高速的声学回声抑制后的信号,使得能够最快地追随该系统变动。
第三回声抑制部81具有加法器82和自适应滤波器83,为了消除由麦克风mc1拾取到的声音中包含的声学回声,用加法器82来对由麦克风mc1拾取到的声音加上由自适应滤波器83生成的伪回声信号,由此进行声学回声抑制的处理。第三回声抑制部81将加法器82的输出(换言之,声学回声抑制后的信号(回声抑制信号))输出到系统变动检测部41。
自适应滤波器83被输入由延时器89(也就是说,延迟器)延迟了延迟时间的第三参照信号,成长为具有与从扬声器sp2输出的播放音被拾取为止的传播特性等效的特性的滤波器,并使用该滤波器进行信号处理,由此生成伪回声信号。
第三参照信号如前述那样被保持在缓冲存储器50C中,是应该从扬声器sp2输出的过去(严格地说,紧挨着当前时间点的之前的定时)的声学回声抑制后的信号(扬声器信号),是从扬声器sp2输出的声音到达麦克风mc1为止所需的时间前的信号。因而,第三参照信号被延时器89延迟后输入到自适应滤波器83的定时与从扬声器sp2输出的播放音作为回声音被麦克风mc1拾取的定时一致。因此,延时器89的延迟时间是将扬声器sp2与麦克风mc1间的距离除以音速所得到的值,与延时器29、39的延迟时间相同。
第三滤波器更新部85用于控制FIR滤波器的抽头数、系数以使自适应滤波器83的特性与回声传播特性等效,具有更新量计算部86、非线性处理部87以及范数计算部88。此外,也可以通过控制FIR滤波器的抽头数来变更滤波器特性。
非线性处理部87对声学回声抑制后的信号进行非线性变换来生成被进行了非线性变换的回声抑制信号后输出到更新量计算部86,决定将滤波器特性向正的方向变更、还是向负的方向变更。
范数计算部88计算扬声器信号的范数。扬声器信号的范数是指过去的规定时间内的扬声器信号的大小的总和,是表示该时间内的信号的大小的程度的值。
更新量计算部86使用由范数计算部88计算出的范数、由非线性处理部87进行非线性变换后的回声抑制信号以及由延时器89延迟了延迟时间的第三参照信号(扬声器信号),来计算滤波器特性的更新量。
系统变动检测部41A被输入从第一回声抑制单元20输出的声学回声抑制后的信号(第一抑制声音信号)、从第二回声抑制单元30输出的声学回声抑制后的信号(第二抑制声音信号)、以及从第三回声抑制单元80输出的声学回声抑制后的信号(第三抑制声音信号)。系统变动检测部41A基于这些信号来检测声场中的声音的传播特性是否发生了变动、也就是说有无系统变动。
在由系统变动检测部41A判断为没有系统变动的情况下,来自以慢的更新速度α更新滤波器特性的第一回声抑制单元20的输出信号的大小(例如声压)比来自以快的更新速度β更新滤波器特性的第二回声抑制单元30的输出信号的大小(例如声压)、来自以最快的更新速度γ更新滤波器特性的第三回声抑制单元80的输出信号的大小(例如声压)小。
另一方面,在由系统变动检测部41A判断为有系统变动的情况下,来自以慢的更新速度α更新滤波器特性的第一回声抑制单元20的输出信号的大小(例如声压)比来自以快的更新速度β更新滤波器特性的第二回声抑制单元30的输出信号的大小(例如声压)、来自以最快的更新速度γ更新滤波器特性的第三回声抑制单元80的输出信号的大小(例如声压)大。
因而,在来自第二回声抑制单元30的输出信号的大小和来自第三回声抑制单元80的输出信号的大小比来自第一回声抑制单元20的输出信号的大小小的情况下,系统变动检测部41A判定为有系统变动。并且,系统变动检测部41A在判定为有系统变动的情况下,将来自第二回声抑制单元30的输出信号的大小与第三回声抑制单元80的输出信号的大小进行比较,在比较的结果为来自第二回声抑制单元30的输出信号的大小小的情况下,检测出与第二回声抑制单元30对应的系统变动(例如,大的系统变动)。另一方面,系统变动检测部41A在比较的结果为来自第三回声抑制单元80的输出信号的大小小的情况下,检测出与第三回声抑制单元80对应的系统变动(例如,极大的系统变动)。
在没有系统变动的情况下,输出信号选择部43A将从第一回声抑制单元20输出的声学回声抑制后的信号输出到扬声器sp2。另一方面,在有系统变动的情况下,输出信号选择部43A根据系统变动的程度来将从第二回声抑制单元30输出的声学回声抑制后的信号或从第三回声抑制单元80输出的声学回声抑制后的信号输出到扬声器sp2。
示出上述的本实施方式的声学回声抑制装置5A的动作。
图10是详细地表示声学回声抑制动作过程的一例的流程图。
关于与实施方式1的图4相同的步骤处理,标注相同的步骤编号,由此省略其说明。
在图10中,DSP 10在步骤S1中获取到由麦克风mc1拾取到的声音之后,判断当前时间点是否是与各个自适应滤波器23、33、83的滤波器系数的更新速度α、β、γ相当的定时。在是更新定时的情况下,DSP 10指示具有到了更新定时的相应的自适应滤波器的第一回声抑制单元20、第二回声抑制单元30以及第三回声抑制单元80中的至少1个执行滤波器系数的更新处理(S2A)。换言之,DSP 10指示第一回声抑制单元20、第二回声抑制单元30、第三回声抑制单元80在时间上并行地分别执行滤波器系数的更新处理(S2A)。
如前所述,在当前时间点为更新速度α的定时的情况下,DSP 10在步骤S3以后的处理中执行第一回声抑制单元20的自适应滤波器23的滤波器系数的更新处理。
在当前时间点为更新速度β的定时的情况下,DSP 10在步骤S7以后的处理中执行第二回声抑制单元30的自适应滤波器33的滤波器系数的更新处理。
在当前时间点为更新速度γ的定时的情况下,DSP 10在步骤S7A以后的处理中执行第三回声抑制单元80的自适应滤波器83的滤波器系数的更新处理。
在本实施方式中,为更新速度α<更新速度β<更新速度γ的关系,因此更新频度按步骤S3~S6的处理、步骤S7~S10的处理、步骤S7A~S10A的处理的顺序变高。更新速度α和更新速度β的定时的更新动作如在实施方式1中前述的那样。
在更新速度γ的定时,第三回声抑制部81获取缓冲存储器50C中保持的、作为过去的声学回声抑制后的信号(扬声器信号)的第三参照信号(内部保持信号)(S7A)。
第三回声抑制部81使用由延时器89延迟了规定时间的第三参照信号来利用自适应滤波器83生成伪回声信号,在加法器82中将该伪回声信号与由麦克风mc1拾取到的声音信号相加。由此,第三回声抑制部81从由麦克风mc1拾取到的声音信号中去除(减去)与伪回声信号相应的量,由此生成声学回声抑制后的信号(S8A)。第三滤波器更新部85使用声学回声抑制后的信号和被延迟的第三参照信号来计算滤波器特性的更新量,并更新自适应滤波器83的特性(S9A)。第三回声抑制单元80将在步骤S8A中生成的声学回声抑制后的信号保持在缓冲存储器50C中,以将该信号用作下一次(也就是说,基于更新速度γ的接下来的更新定时)的滤波器系数的更新处理时的第三参照信号(S10A)。
系统变动检测部41A判别车厢8z内的环境(声场)是否发生了变化、也就是说有无系统变动,并且,在有系统变动的情况下,判别其程度(S11A)。关于该系统变动检测处理的详细内容,在后面叙述。输出信号选择部43根据有无系统变动,并且根据系统变动的程度,来选择输出到扬声器sp2的声音信号(S12A)。关于该输出信号选择处理的详细内容,在后面叙述。此后,DSP 10结束图10所示的处理。
图11是详细地表示步骤S11A中的系统变动检测过程的一例的流程图。
对与实施方式1相同的步骤处理标注相同的步骤编号。
在图11中,系统变动检测部41A获取从第一回声抑制单元20输出的信号(也就是说,更新速度为α的声学回声抑制后的信号)、从第二回声抑制单元30输出的信号(也就是说,更新速度为β的声学回声抑制后的信号)、以及从第三回声抑制单元80输出的信号(也就是说,更新速度为γ的声学回声抑制后的信号)(S21A)。
系统变动检测部41A将更新速度为α的声学回声抑制后的信号的大小(声压)、更新速度为β的声学回声抑制后的信号的大小(声压)、以及更新速度为γ的声学回声抑制后的信号的大小(声压)进行比较(S22A)。在比较的结果为更新速度为α的声压比更新速度为β的声压及更新速度为γ的声压小的情况下(S23A:“否”),系统变动检测部41A判定为没有系统变动(S24)。
另一方面,在更新速度为β的声压及更新速度为γ的声压比更新速度为α的声压小的情况下(S23A:“是”),系统变动检测部41A进一步判别更新速度为β的声压是否比更新速度为γ的声压大(S25A)。在更新速度为β的声压比更新速度为γ的声压小的情况下(S25A:“否”),系统变动检测部41A与实施方式1同样地判定为有系统变动(S25B)。另一方面,在更新速度为β的声压比更新速度为γ的声压大的情况下(S25A:“是”),系统变动检测部41A检测出有极大的系统变动(S25C)。在步骤S24、S25B、S25C的处理后,系统变动检测部41A结束图11的处理,DSP 10的处理进入到原来的处理(也就是说,步骤S12A)。
图12是详细地表示步骤S12A中的输出信号选择过程的一例的流程图。
对与实施方式1相同的步骤处理标注相同的步骤编号。
在图12中,输出信号选择部43A基于来自系统变动检测部41A的输出来判别有无系统变动(S31)。在没有系统变动的情况下(S31:“否”),输出信号选择部43A将更新速度为α的声学回声抑制后的信号输出到扬声器sp2(S32)。
另一方面,在有系统变动的情况下(S31:“是”),输出信号选择部43A判别是否是大的系统变动(S33A)。在不是大的系统变动的情况下(S33A:“否”),输出信号选择部43A与实施方式1同样地,将更新速度为β的声学回声抑制后的信号输出到扬声器sp2(S33B)。另一方面,在是大的系统变动的情况下(S33A:“是”),输出信号选择部43A将更新速度γ的声学回声抑制后的信号输出到扬声器sp2(S33C)。当在步骤S32、S33B、S33C的处理中向扬声器sp2输入声学回声抑制后的信号时,从扬声器sp2输出音质高的声音。在步骤S32、S33B、S33C的处理后,输出信号选择部43A结束图12所示的处理,DSP 10的处理结束。
通过以上,在实施方式2的声学回声抑制装置5A中,第三回声抑制单元80基于由麦克风mc1拾取的驾驶员hm1的声音信号以及缓冲存储器50C中保持的过去的回声抑制后的声音信号(第三参照信号),来输出抑制了声音信号中包含的回声成分的第三回声抑制后的声音信号(第三抑制声音信号)。系统变动检测部41A检测有无系统变动。输出信号选择部43A根据有无系统变动的检测结果,来选择第一回声抑制信号、第二抑制声音信号以及第三抑制声音信号中的某一个从扬声器sp2输出。
由此,在声学回声抑制装置5中,在环境内(例如车厢8z内)发生了声场的传播特性发生变化那样的系统变动的情况下,若是比较小的系统变动则能够输出从更新速度β快的第二回声抑制单元30输出的声学回声抑制后的声音信号,另一方面,若是比较大的系统变动则能够输出从更新速度γ最快的第三回声抑制单元80输出的声学回声抑制后的声音信号。因而,声学回声抑制装置5能够考虑声音的质量的稳定化和质量劣化的抑制,来输出与系统变动的大小相适应的声音。
(实施方式3)
在实施方式1、2中,示出了使用由麦克风mc1拾取到的声音来检测系统变动的情况,但是在实施方式3中,示出使用由摄像机拍摄到的影像来检测系统变动的情况。另外,实施方式3的声学回声抑制装置具有与实施方式1大致相同的结构。对于与实施方式1相同的结构要素使用相同的标记,由此省略其说明。
图13是详细地表示实施方式3中的声学回声抑制装置5B的功能性结构的一例的框图。
声学回声抑制装置5B与实施方式1同样,具有第一回声抑制单元20和第二回声抑制单元30。声学回声抑制装置5B在得到了没有系统变动的检测结果的情况下,将来自以更新速度α更新自适应滤波器23的滤波器特性的第一回声抑制单元20的输出信号输出到扬声器sp2。另一方面,声学回声抑制装置5B在得到了有系统变动的检测结果的情况下,将来自以更新速度β更新自适应滤波器33的滤波器特性的第二回声抑制单元30的输出信号输出到扬声器sp2。
声学回声抑制装置5B与实施方式1不同的是,具有:摄像机CA1,其配置在车厢8z内,对传播声学回声的环境内(也就是说,声场)进行拍摄;以及系统变动检测部41B,其对由摄像机CA1拍摄到的图像进行分析来检测声场中的声音的传播特性的变化(也就是说,系统变动)。
摄像机CA1既可以是例如设置在车厢8z内的顶棚、能够拍摄全方位图像的全方位摄像机,也可以是设置在驾驶席前方的挡风玻璃的上部、能够从前侧拍摄车厢8z内的空间的行车记录仪内置的摄像机。或者,摄像机CA1也可以是设置在车厢8z内的后玻璃的上部、能够从后侧拍摄车厢8z内的空间的摄像机。
系统变动检测部41B与摄像机CA1、第一回声抑制单元20以及输出信号选择部43B连接。系统变动检测部41B在对由摄像机CA1拍摄的影像进行分析的结果例如是影像中拍摄到车窗被开闭、座位被放倒、乘员使脸大幅移动、停止中门被打开等状况的变化的情况下,判定为有系统变动。
系统变动检测部41B在判定为有系统变动的情况下,例如切断从第一回声抑制单元20输出的信号,将有系统变动的检测信号通知给输出信号选择部43B。输出信号选择部43B在有系统变动的情况下,将从第二回声抑制单元30输出的信号输出到扬声器sp2。此外,在判定为有系统变动的情况下由系统变动检测部41B切断从第一回声抑制单元20输出的信号,但是也可以不切断而是使其通过,也可以由输出信号选择部43B切断从第一回声抑制单元20输出的信号。
另一方面,系统变动检测部41B在对由摄像机CA1拍摄的影像进行分析的结果是未检测到系统变动的情况下,使从第一回声抑制单元20输出的信号原样通过,将无系统变动的检测信号通知给输出信号选择部43B。输出信号选择部43B在接收到无系统变动的通知的情况下,将从第一回声抑制单元20输出的信号输出到扬声器sp2。
在实施方式3的声学回声抑制装置5B中,系统变动检测部41B基于由对车厢8z内进行拍摄的摄像机CA1拍摄到的影像来检测有无系统变动。由此,能够可靠地检测瞬间性的系统变动。
(实施方式3的变形例)
图14是详细地表示实施方式3的变形例中的声学回声抑制装置5C的功能性结构的一例的框图。
在本变形例的声学回声抑制装置5C中,设置于外部的系统变动检测部41C与摄像机CA1及输出信号选择部43B连接。
系统变动检测部41C在对由摄像机CA1拍摄的影像进行分析的结果是对有无系统变动进行判别后得到有系统变动的检测结果的情况下,将有系统变动的意思通知给输出信号选择部43C。
输出信号选择部43C在从系统变动检测部41C接收到有系统变动的意思的通知的情况下,切断从第一回声抑制单元20输出的信号,并将从第二回声抑制单元30输出的信号输出到扬声器sp2。另一方面,输出信号选择部43C在从系统变动检测部41C接收到无系统变动的通知的情况下,切断从第二回声抑制单元30输出的信号,并将从第一回声抑制单元20输出的信号输出到扬声器sp2。
在本变形例的声学回声抑制装置5C中,能够使系统变动检测部41C从声学回声抑制装置5C中分离出来而由摄像机CA1侧所具有,从而能够使声学回声抑制装置的结构简单化。例如,摄像机CA1也可以内置有系统变动检测部41C。此外,在实施方式3、本变形例中均可以与实施方式2同样地,使用第一、第二及第三回声抑制单元来输出声学回声抑制后的信号。
(实施方式4)
在实施方式4中,示出使用3个以上的麦克风来检测系统变动的情况。另外,第四实施方式的声学回声抑制装置具有与实施方式1大致相同的结构。对于与所述实施方式1相同的结构要素使用相同的标记,由此省略其说明。
图15是详细地表示实施方式4中的声学回声抑制装置5D的功能性结构的一例的框图。
声学回声抑制装置5D与实施方式1同样,具有第一回声抑制单元20和第二回声抑制单元30。声学回声抑制装置5D在得到没有系统变动的检测结果的情况下,将来自以更新速度α更新自适应滤波器23的滤波器特性的第一回声抑制单元20的输出信号输出到扬声器sp2。另一方面,声学回声抑制装置5D在得到有系统变动的检测结果的情况下,将来自以更新速度β更新自适应滤波器33的滤波器特性的第二回声抑制单元30的输出信号输出到扬声器sp2。
在实施方式4的声学回声抑制装置5D中,与实施方式1不同的是,系统变动检测部41D除了与第一回声抑制单元20连接以外,还与配置在车厢8z内的3个麦克风mc1、mc2、mc3连接。
各个麦克风mc1、mc2、mc3既可以是指向性麦克风,也可以是无指向性麦克风。
系统变动检测部41D基于由3个麦克风mc1、mc2、mc3拾取的声音的声压的大小来检测有无系统变动。3个麦克风mc1、mc2、mc3既可以配置在直线上,也可以配置为形成三角形。通过使用由3个麦克风mc1、mc2、mc3拾取到的声音,能够三维地捕捉声音的发生源(声源)。也就是说,系统变动检测部41D例如在车窗附近为声源的情况下估计为车窗被开闭,在门附近为声源的情况下估计为门被开闭,分别作为环境发生了变动来检测出有系统变动。此外,如果麦克风的数量为3个以上,则能够确定车厢8z内的声源位置。另外,虽然使用在驾驶员hm1与乘员hm2的对话中使用的麦克风来作为麦克风mc1、mc2,但是也可以与对话中使用的麦克风相分别地另外准备系统变动检测专用的麦克风。
另外,系统变动检测部41D也可以预先登记有由3个麦克风mc1、mc2、mc3拾取的、伴随着车窗的开闭或座位的倾倒等而发生的声音的声压模式,并将由3个麦克风mc1、mc2、mc3拾取的声音的声压与预先登记的声压模式进行比较。可以是,在比较的结果为由3个麦克风mc1、mc2、mc3拾取的声音的声压与预先登记的声压模式一致的情况下,系统变动检测部41D检测到有系统变动。另一方面,在伴随车辆行驶的振动音、伴随等待信号的噪音等在车辆8的外部发生的声音的声压与预先登记的声压模式不一致的情况下,系统变动检测部41D判定为没有系统变动。
通过以上,在实施方式4的声学回声抑制装置5D中,系统变动检测部41D基于来自用于检测车厢8z内的声音的3个麦克风mc1、mc2、mc3(声音探测部)的声音信号,来检测有无系统变动。由此,能够使用3个麦克风来确定车厢8z内的声源位置,并考虑声源位置来检测有无系统变动。另外,通过使用声音,能够检测经过规定时间地逐渐发生的系统变动。
此外,在实施方式4中,也可以与实施方式2同样地,使用第一、第二及第三回声抑制单元来输出声学回声抑制后的信号。
(实施方式5)
在实施方式5中,示出使用车辆中搭载的传感器来检测系统变动的情况。另外,实施方式5的声学回声抑制装置5E具有与实施方式1的声学回声抑制装置5大致相同的结构。对于与实施方式1相同的结构要素使用相同的标记,由此省略其说明。
图16是详细地表示实施方式5中的声学回声抑制装置5E的功能性结构的一例的框图。声学回声抑制装置5E与实施方式1同样,具有第一回声抑制单元20和第二回声抑制单元30。声学回声抑制装置5E在得到了没有系统变动的检测结果的情况下,将来自以更新速度α更新自适应滤波器23的滤波器特性的第一回声抑制单元20的输出信号输出到扬声器sp2。另一方面,声学回声抑制装置5E在得到了有系统变动的检测结果的情况下,将来自以更新速度β更新自适应滤波器33的滤波器特性的第二回声抑制单元30的输出信号输出到扬声器sp2。
在实施方式5的声学回声抑制装置5E中,与实施方式1不同的是,系统变动检测部41E除了与第一回声抑制单元20连接以外,还与配置在车厢8z内的至少1个传感器Sr连接。传感器Sr既可以是1个,也可以是多个。在传感器Sr为多个传感器的组合的情况下,系统变动检测部41E也可以基于各传感器的检测信号来检测有无系统变动。
作为传感器Sr,例如能够列举出用于检测车厢8z内的温度的温度传感器。音速依存于温度,因此当温度发生变化时,声场的特性大幅变化。因而,检测车厢8z内的温度来判断系统变动是有效的。另外,作为传感器Sr,能够列举出在系了安全带的情况下接通的安全带SW。在安全带SW变化为接通/断开的情况下,设想到乘员入座或站起的状况。
另外,作为传感器Sr,能够列举出用于探测车窗的开闭的开闭传感器。在车窗被打开的状态下,从扬声器sp2输出的播放音不被反射,因此不会到达麦克风mc1从而不成为回声音。另一方面,在车窗被关闭的状态下,从扬声器sp2输出的播放音可能会被车窗反射后到达麦克风mc1从而成为回声音。上述传感器不过是传感器Sr的一例,除此以外也可以是用于探测座席的前后方向的位置的座椅位置传感器、在乘员入座的情况下接通的入座传感器等任意的传感器。
系统变动检测部41E在传感器Sr启动的情况下设为环境发生了变动从而检测到有系统变动。
通过以上,在实施方式5的声学回声抑制装置5E中,系统变动检测部41E基于用于检测车厢8z内的状态的传感器的信号来检测有无系统变动。由此,能够使用适于检测系统变动的传感器来准确地检测有无系统变动。例如,在车厢内的温度发生了变化的情况下,能够使用温度传感器来检测有无因对声场的特性造成大的影响的温度变化导致的系统变动。
此外,在实施方式5中,也可以与实施方式2同样地,使用第一、第二及第三回声抑制单元来输出声学回声抑制后的信号。
以上,参照附图来说明了各种实施方式,但是本公开并不限定于所述例子,这是不言而喻的。只要是本领域技术人员就明白在权利要求书所记载的范畴内能够想到各种变更例或修正例,并且了解这些变更例或修正例当然属于本公开的技术范围。另外,也可以在不脱离发明的主旨的范围内将上述实施方式中的各结构要素任意组合。
例如,在上述实施方式中,示出了将声学回声抑制装置应用于估计并抑制由麦克风拾取到的声音中所包含的来自扬声器的播放音(回声音)的啸叫消除器的情况,但是也能够应用于估计并抑制由麦克风拾取到的声音中包含的因串音等而发生的回声音的回声消除器。
另外,在上述实施方式中,示出了对两人之间的对话进行辅助的情况,但是本公开同样能够对在3人以上之间进行的对话进行辅助。在该情况下,通过在3人以上的各乘员入座的座席附近分别配置麦克风和扬声器、且设置与两人之间的组合数相当的数量的声学回声抑制装置,各个声学回声抑制装置执行对应的两人之间的声学回声抑制功能。
另外,在上述实施方式中,示出了使用2个或3个自适应滤波器的情况,但是也可以使用4个以上的自适应滤波器来构成声学回声抑制装置,从而能够进一步应对各种各样的系统变动。
产业上的可利用性
本公开作为即使在发生了急剧的系统变动的情况下也追随系统变动地抑制所输出的声音的音质劣化的声学回声抑制装置以及声学回声抑制方法是有用的。
附图标记说明
5、5A、5B、5C、5D、5E:声学回声抑制装置;8z:车厢;20:第一回声抑制单元;23、33、83:自适应滤波器;25:第一滤波器更新部;30:第二回声抑制单元;35:第二滤波器更新部;41、41A、41B、41C、41D、41E:系统变动检测部;43、43A、43B、43C:输出信号选择部;50A、50B、50C:缓冲存储器;80:第三回声抑制单元;85:第三滤波器更新部;CA1:摄像机;mc1、mc2、mc3:麦克风;Sr:传感器;sp1、sp2:扬声器。

Claims (20)

1.一种声学回声抑制装置,对设置有收音部的室内的声学回声进行抑制,该声学回声抑制装置具备:
第一滤波处理部,其与所述收音部连接,输出以与第一速度相对应的频度更新的、对由所述收音部得到的收音信号中包含的回声成分进行抑制得到的第一声音信号;
第二滤波处理部,其与所述收音部连接,输出针对所述室内的声场环境的变动以与第二速度相对应的频度更新的、对所述收音信号中包含的回声成分进行抑制得到的第二声音信号,所述第二速度是比所述第一速度快的速度;
检测部,其检测所述室内的声场环境有无变动;以及
输出选择部,其根据所述室内的声场环境有无变动的检测结果,来选择所述第一声音信号和所述第二声音信号中的某一个从声音输出部输出。
2.根据权利要求1所述的声学回声抑制装置,其特征在于,
所述第二滤波处理部所具有的滤波器部的系数的更新速度比所述第一滤波处理部所具有的滤波器部的系数的更新速度快。
3.根据权利要求1所述的声学回声抑制装置,其特征在于,
所述检测部基于所述第一声音信号和所述第二声音信号来检测所述室内的声场环境有无变动。
4.根据权利要求1所述的声学回声抑制装置,其特征在于,
在所述第一声音信号小于所述第二声音信号的情况下,所述检测部判定为所述室内的声场环境没有变动,在所述第二声音信号小于所述第一声音信号的情况下,所述检测部判定为所述室内的声场环境有变动。
5.根据权利要求1所述的声学回声抑制装置,其特征在于,还具备:
第一参照信号存储器,其保持由所述第一滤波处理部输出的第一声音信号来作为第一参照信号;以及
第二参照信号存储器,其保持由所述第二滤波处理部输出的第二声音信号来作为第二参照信号,
所述第一滤波处理部基于所述收音信号以及所述第一参照信号存储器所保持的第一参照信号来生成并输出所述第一声音信号,
所述第二滤波处理部基于所述收音信号以及所述第二参照信号存储器所保持的第二参照信号来生成并输出所述第二声音信号。
6.根据权利要求1所述的声学回声抑制装置,其特征在于,
所述输出选择部在检测为所述室内的声场环境没有变动的情况下选择并输出所述第一声音信号,在检测为所述室内的声场环境有变动的情况下选择并输出所述第二声音信号。
7.根据权利要求1所述的声学回声抑制装置,其特征在于,
还具备第三滤波处理部,该第三滤波处理部输出针对所述室内的声场环境的变动以与第三速度相对应的频度更新的、对所述收音信号中包含的回声成分进行抑制得到的第三声音信号,所述第三速度是比所述第一速度和所述第二速度更快的速度,
所述输出选择部选择所述第一声音信号、所述第二声音信号以及所述第三声音信号中的某一个从所述声音输出部输出。
8.根据权利要求7所述的声学回声抑制装置,其特征在于,
所述第三滤波处理部所具有的滤波器部的系数的更新速度比所述第一滤波处理部所具有的滤波器部的系数的更新速度及所述第二滤波处理部所具有的滤波器部的系数的更新速度快。
9.根据权利要求7所述的声学回声抑制装置,其特征在于,
所述检测部基于所述第一声音信号、所述第二声音信号以及所述第三声音信号来检测所述室内的声场环境有无变动。
10.根据权利要求7所述的声学回声抑制装置,其特征在于,
在所述第一声音信号小于所述第二声音信号的情况下,所述检测部判定为所述室内的声场环境没有变动,在所述第二声音信号小于所述第一声音信号的情况下,所述检测部判定为所述室内的声场环境有变动,并且在所述第三声音信号小于所述第二声音信号的情况下,所述检测部判定为所述室内的声场环境有大幅变动。
11.根据权利要求7所述的声学回声抑制装置,其特征在于,还具备:
第一参照信号存储器,其保持由所述第一滤波处理部输出的第一声音信号来作为第一参照信号;
第二参照信号存储器,其保持由所述第二滤波处理部输出的第二声音信号来作为第二参照信号;以及
第三参照信号存储器,其保持由所述第三滤波处理部输出的第三声音信号来作为第三参照信号,
所述第一滤波处理部基于所述收音信号以及所述第一参照信号存储器所保持的第一参照信号来生成并输出所述第一声音信号,
所述第二滤波处理部基于所述收音信号以及所述第二参照信号存储器所保持的第二参照信号来生成并输出所述第二声音信号,
所述第三滤波处理部基于所述收音信号以及所述第三参照信号存储器所保持的第三参照信号来生成并输出所述第三声音信号。
12.根据权利要求7所述的声学回声抑制装置,其特征在于,
所述输出选择部在检测为所述室内的声场环境没有变动的情况下选择并输出所述第一声音信号,在检测为所述室内的声场环境有变动的情况下选择所述第二声音信号,并且在检测为所述室内的声场环境有大幅变动的情况下选择并输出所述第三声音信号。
13.根据权利要求1所述的声学回声抑制装置,其特征在于,
所述检测部基于由用于对所述室内进行拍摄的摄像机拍摄到的影像,来检测所述室内的声场环境有无变动。
14.根据权利要求1所述的声学回声抑制装置,其特征在于,
所述检测部基于用于检测所述室内的状态的传感器的输出信号,来检测所述室内的声场环境有无变动。
15.根据权利要求1所述的声学回声抑制装置,其特征在于,
所述检测部基于来自用于检测所述室内的声音的3个以上的声音探测部的声音信号,来检测所述室内的声场环境有无变动。
16.一种声学回声抑制方法,用于对设置有收音部的室内的声学回声进行抑制,在该声学回声抑制方法中,
输出以与第一速度相对应的频度更新的、对由所述收音部得到的收音信号中包含的回声成分进行抑制得到的第一声音信号,
输出针对所述室内的声场环境的变动以与第二速度相对应的频度更新的、对所述收音信号中包含的回声成分进行抑制得到的第二声音信号,所述第二速度是比所述第一速度快的速度,
检测所述室内的声场环境有无变动,
根据所述室内的声场环境有无变动的检测结果,来选择所述第一声音信号和所述第二声音信号中的某一个从声音输出部输出。
17.根据权利要求16所述的声学回声抑制方法,其特征在于,
输出针对所述室内的声场环境的变动以与第三速度相对应的频度更新的、对所述收音信号中包含的回声成分进行抑制得到的第三声音信号,所述第三速度是比所述第一速度和所述第二速度更快的速度,
选择所述第一声音信号、所述第二声音信号以及所述第三声音信号中的某一个从所述声音输出部输出。
18.根据权利要求16所述的声学回声抑制方法,其特征在于,
基于由用于对所述室内进行拍摄的摄像机拍摄到的影像,来检测所述室内的声场环境有无变动。
19.根据权利要求16所述的声学回声抑制方法,其特征在于,
基于用于检测所述室内的状态的传感器的输出信号,来检测所述室内的声场环境有无变动。
20.根据权利要求16所述的声学回声抑制方法,其特征在于,
基于来自用于检测所述室内的声音的3个以上的声音探测部的声音信号,来检测所述室内的声场环境有无变动。
CN201880013040.6A 2017-03-16 2018-01-29 声学回声抑制装置以及声学回声抑制方法 Active CN110326307B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-051911 2017-03-16
JP2017051911 2017-03-16
PCT/JP2018/002737 WO2018168227A1 (ja) 2017-03-16 2018-01-29 音響エコー抑圧装置及び音響エコー抑圧方法

Publications (2)

Publication Number Publication Date
CN110326307A CN110326307A (zh) 2019-10-11
CN110326307B true CN110326307B (zh) 2021-06-01

Family

ID=63523549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013040.6A Active CN110326307B (zh) 2017-03-16 2018-01-29 声学回声抑制装置以及声学回声抑制方法

Country Status (4)

Country Link
US (1) US10798247B2 (zh)
JP (1) JP6650607B2 (zh)
CN (1) CN110326307B (zh)
WO (1) WO2018168227A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7186375B2 (ja) * 2018-03-29 2022-12-09 パナソニックIpマネジメント株式会社 音声処理装置、音声処理方法および音声処理システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999828A (en) * 1997-03-19 1999-12-07 Qualcomm Incorporated Multi-user wireless telephone having dual echo cancellers
US7171003B1 (en) * 2000-10-19 2007-01-30 Lear Corporation Robust and reliable acoustic echo and noise cancellation system for cabin communication
JP2006262098A (ja) * 2005-03-17 2006-09-28 Yamaha Corp ハウリングキャンセラ
JP4549243B2 (ja) 2005-07-05 2010-09-22 アルパイン株式会社 車載オーディオ処理装置
JP4701962B2 (ja) * 2005-09-27 2011-06-15 ヤマハ株式会社 回帰音除去装置
CN101321201B (zh) * 2007-06-06 2011-03-16 联芯科技有限公司 回声消除装置、通信终端及确定回声时延的方法
JP2009216835A (ja) 2008-03-07 2009-09-24 Fujitsu Ten Ltd 音響エコー除去装置、車載装置および音響エコー除去方法
JP5177012B2 (ja) * 2009-02-25 2013-04-03 富士通株式会社 雑音抑制装置、雑音抑制方法及びコンピュータプログラム
CN101917527B (zh) * 2010-09-02 2013-07-03 杭州华三通信技术有限公司 回声消除的方法和装置
JP2012134923A (ja) * 2010-12-24 2012-07-12 Sony Corp 音声処理装置および方法、並びにプログラム
US9131041B2 (en) * 2012-10-19 2015-09-08 Blackberry Limited Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes
JP5958833B2 (ja) 2013-06-24 2016-08-02 パナソニックIpマネジメント株式会社 指向性制御システム
CN104519212B (zh) * 2013-09-27 2017-06-20 华为技术有限公司 一种消除回声的方法及装置

Also Published As

Publication number Publication date
US10798247B2 (en) 2020-10-06
CN110326307A (zh) 2019-10-11
JP6650607B2 (ja) 2020-02-19
US20200007690A1 (en) 2020-01-02
WO2018168227A1 (ja) 2018-09-20
JPWO2018168227A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
CN108235187B (zh) 啸声抑制设备和啸声抑制方法
US8165310B2 (en) Dereverberation and feedback compensation system
JP2012025270A (ja) 車両用の音量制御装置および音量制御装置用のプログラム
US9002027B2 (en) Space-time noise reduction system for use in a vehicle and method of forming same
EP1879180A1 (en) Reduction of background noise in hands-free systems
US20020141601A1 (en) DVE system with normalized selection
JP6635394B1 (ja) 音声処理装置および音声処理方法
US11676617B2 (en) Acoustic noise suppressing apparatus and acoustic noise suppressing method
JP2007180896A (ja) 音声信号処理装置および音声信号処理方法
JP2012195801A (ja) 会話支援装置
EP2490218B1 (en) Method for interference suppression
CN110326307B (zh) 声学回声抑制装置以及声学回声抑制方法
US20220415337A1 (en) Acoustic crosstalk suppression device and acoustic crosstalk suppression method
JP2008070878A (ja) 音声信号前処理装置、音声信号処理装置、音声信号前処理方法、及び音声信号前処理用のプログラム
US20220189450A1 (en) Audio processing system and audio processing device
JP2020134566A (ja) 音声処理システム、音声処理装置及び音声処理方法
JP2008070877A (ja) 音声信号前処理装置、音声信号処理装置、音声信号前処理方法、及び音声信号前処理用のプログラム
US20230026003A1 (en) Sound crosstalk suppression device and sound crosstalk suppression method
JP6388256B2 (ja) 車両用通話システム
JP2009015209A (ja) 音声明瞭度改善システム及び音声明瞭度改善方法
JP2012199801A (ja) 会話支援装置及び方法
JP2004309536A (ja) 音声処理装置
JP2022026270A (ja) 音声処理システム、音声処理装置、及び音声処理方法
CN116194988A (zh) 用于汽车免提通信的自适应降噪系统
Freudenberger et al. Noise and feedback suppression for in-car communication systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant