JP2015523609A - デュアルマイクに基づく音声残響低減方法及びその装置 - Google Patents

デュアルマイクに基づく音声残響低減方法及びその装置 Download PDF

Info

Publication number
JP2015523609A
JP2015523609A JP2015524601A JP2015524601A JP2015523609A JP 2015523609 A JP2015523609 A JP 2015523609A JP 2015524601 A JP2015524601 A JP 2015524601A JP 2015524601 A JP2015524601 A JP 2015524601A JP 2015523609 A JP2015523609 A JP 2015523609A
Authority
JP
Japan
Prior art keywords
input signal
microphone input
main microphone
reverberation
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015524601A
Other languages
English (en)
Other versions
JP5785674B2 (ja
Inventor
ルー，シャシャ
リー，ボー
ファン，ジョーチェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Publication of JP2015523609A publication Critical patent/JP2015523609A/ja
Application granted granted Critical
Publication of JP5785674B2 publication Critical patent/JP5785674B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】デュアルマイクに基づく音声残響低減において、直接音の到来方向を正確に推定する必要がなく、マイクロフォンが高い一致性を持つことが要求されない。【解決手段】メインマイク入力信号ｘ２（ｔ）及び補助マイク入力信号ｘ１（ｔ）によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出し、ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取って、ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出して、ｘ１（ｔ）とｈｒ（ｔ）に畳み込みを行い、ｘ２（ｔ）の後期残響推定信号を得て、ｘ２（ｔ）の周波数スペクトル、β及びの周波数スペクトルによって利得函数を算出し、ｘ２（ｔ）の周波数スペクトルに利得函数を乗算して、ｘ２（ｔ）から残響除去後の周波数スペクトルを得て、周波数／時間変換を行ってｘ２（ｔ）から後期残響後の時間ドメイン信号を得る。こうして、メインマイク入力信号から後期残響を除去する。【選択図】図３

Description

本発明は、音声強調技術分野に関し、特に、デュアルマイクに基づく音声残響低減方法及びその装置に関する。
音響信号が室内での伝播過程中、壁、地面等のハードインターフェイスの音響に対する反射のため、マイクロフォンに到達した音響は、音源から直接に伝わってきた直接音に加えて、一回又は複数回の反射を経て伝わってきた音響信号も含まれており、これらの非直接音が残響信号を構成している。一回又は少ない回数の反射を経た音響信号が早期反射信号と称され、早期反射信号が早期残響信号を構成しており、早期残響信号が音声に対して強調作用を果たすことがある。複数回の反射を経た音響信号が後期反射信号と称され、後期反射信号が後期残響信号を構成しており、後期残響が強いと音声の明瞭度を低減することになる。
一部のハンズフリー音声通信において、通話者がマイクロフォンから遠く離れており、音声の明瞭度が部屋の残響によって低下してしまい、通話品質が低下することになる。そのため、残響を低減し音声の明瞭度を高める技術が必要とされる。マイクロフォン受信信号は、直接音信号と残響信号とを含み、また、前述から分かるように、残響は、早期残響と後期残響に更に分かれている。そのうち、音声の明瞭度を低減するのは、主に後期残響であり、早期残響は、通常、音声に対して強調作用を果たす。従って、明瞭度を高める肝心な点は、後期残響信号を低減することである。
種々の残響低減技術において、デュアルマイクに基づくスペクトル減算の残響除去方法が広く注目されている。従来の、デュアルマイクに基づくスペクトル減算の残響除去方法において、適応ビーム形成（ＧＳＣ）構造は二つの通路の信号が得られ、第一通路の信号が遅延／加算ビームフォーマの出力であり、第二通路の信号がブロッキング行列の出力である。二つの通路の信号のエネルギーエンベロープは、適応フィルタによって第一通路信号の残響を推定してから、スペクトル減算法によって残響を除去する。この方法には、以下の欠点がある。
１）早期残響が除去されて、処理後の音響が薄くなる。
２）残響の強さに対して判断せず、異なる残響の場合においても同じスペクトル減算処理を用いることで、残響が弱く、音声の明瞭度がそもそも高い場合に音声品質を損傷する可能性がある。
３）直接音の到来方向を正確に推定して、直接音を分離する必要があるので、マイクロフォンに高い一致性が要求され、音響設計に対しても厳しい制限がある。
本発明は、上記問題に鑑みて、上記問題が解消されるか又は少なくとも部分的に解消されるデュアルマイクに基づく音声残響低減方法及びその装置を提供する。
本発明の一つの局面によると、メインマイク入力信号及び補助マイク入力信号を受信し、フレームごとにメインマイク入力信号及び補助マイク入力信号によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する処理と、
前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、該伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出する処理と、
前記補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得る処理と、
前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得る処理と、
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力する処理とを行う、
デュアルマイクに基づく音声残響低減方法が提供される。
本発明のもう一つの局面によると、メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、残響スペクトル推定ユニットとスペクトル減算ユニットとを含み、
前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、該伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力し、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行ってメインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、デュアルマイクに基づく音声残響低減装置が提供される。
上記から分かるように、本発明は、メインマイク入力信号及び補助マイク入力信号によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出し、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取って、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出し、そして、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、即ち、スペクトル減算法によってメインマイク入力信号の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトルを差し引くため、メインマイクの入力信号からその後期残響を効果的に除去するとともに早期残響を保留することができ、処理後の音響が薄くなることがなく、音声の品質が向上する。同時に、後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度がそもそも高い場合に音声を損傷しないことが保証され、音声品質が保護される。そして、このような手段において、直接音の到来方向を正確に推定する必要がないため、マイクロフォンが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。
本発明の実施例に挙げられた励磁信号からマイクロフォン入力信号までの伝達関数のグラフである。 本発明の実施例に挙げられた補助マイクからメインマイクまでの伝達関数のグラフである。 本発明の一つの実施例におけるデュアルマイクに基づく音声残響低減方法の流れの模式図である。 本発明のその他の実施例におけるデュアルマイクに基づく音声残響低減方法の全体的な流れの模式図である。 本発明の実施例における音源からメインマイクまでの距離が０．５ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。 本発明の実施例における音源からメインマイクまでの距離が１ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。 本発明の実施例における音源からメインマイクまでの距離が２ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。 本発明の実施例における音源からメインマイクまでの距離が４ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。 本発明の実施例におけるメインマイクと補助マイクとの間の間隔が６ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。 本発明の実施例におけるメインマイクと補助マイクとの間の間隔が１８ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。 本発明の実施例におけるメインマイク入力信号の時間ドメインの図である。 本発明の実施例におけるメインマイクに対して残響除去後の時間ドメインの図である。 本発明の実施例におけるメインマイク入力信号の音声スペクトログラムである。 本発明の実施例におけるメインマイクに対して残響除去後の音声スペクトログラムである。 本発明の実施例におけるデュアルマイクに基づく音声残響低減装置の全体構成図である。 本発明の一つの好ましい実施例におけるデュアルマイクに基づく音声残響低減装置の詳細な構成及びその入出力模式図である。
まず、初めに、本出願書類の記載において、出願書類の簡潔のために、「マイクロフォン」を「マイク」と略称することとする。
従来技術に対する分析により、より良く残響を低減するために、後期残響を除去すると同時に直接音と早期残響とを保護する必要があるので、正確で安定な後期残響推定及び残響強さ判断が必要とされる。
本発明は、デュアルマイク（メインマイク及び補助マイク）に基づく残響除去の手段を提出しており、残響とデュアルマイク空間の伝達関数との間の近似関係を十分に利用しており、デュアルマイク空間の伝達関数によって後期残響を推定するとともに残響の強さを判断し、スペクトル減算モジュールに合わせて、種々の残響環境においても明瞭度が満たされると同時に、最適に近い音声品質が得られる。また、本発明における手段は、直接音を分離する必要もなく、到来方向の推定を行う必要もないため、マイクの一致性が要求されることなく、音響設計に対する要求が緩和される。
本発明の基本的な原理は、下記の通りになる。デュアルマイクの間の伝達関数の尾部によって後期残響を推定するため、スペクトル減算において直接音と早期残響を良好に保留することができる。そして、後期残響を推定するプロセスに、更に、デュアルマイクの間の伝達関数の頭部と尾部とのエネルギー差によって部屋の残響度合いを推定し、スペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、音声品質を保護する。
本発明の技術手段を明らかにするために、以下、本発明の技術原理について分析説明を行う。
早期残響信号は、音声に対して強調作用を果たすことができるが、後期残響は、音声の明瞭度を低減することになる。図１は、本発明の実施例に挙げられた励磁信号からマイク入力信号までの伝達関数のグラフである。図１を参照して、励磁信号からマイク入力信号までの伝達関数において、ピークが最大の箇所は、直接音に対応しており、通常、最大ピークから離れた或る点を、早期反射と後期反射との境界点として、最大ピークから境界点までの部分が早期残響に対応し、境界点以降の部分が後期残響に対応する。図１において、該境界点が５０ｍｓである。
励磁信号をｓ（ｔ）、マイク入力信号をｘ（ｔ）、励磁信号からマイク入力信号までの伝達関数をｔｆ（ｔ）、直接音と早期残響に対応する部分の伝達関数をｔｆｄ（ｔ）、後期残響に対応する部分の伝達関数をｔｆｒ（ｔ）とそれぞれ記すと、マイク入力信号は、励磁信号と伝達関数との畳み込みｘ（ｔ）＝ｓ（ｔ）＊ｔｆ（ｔ）と表すことができ、マイク入力信号の直接音と早期残響成分は、ｘｄ（ｔ）＝ｓ（ｔ）＊ｔｆｄ（ｔ）と表すことができ、マイク入力信号の後期残響成分は、ｘｒ（ｔ）＝ｓ（ｔ）＊ｔｆｒ（ｔ）と表すことができる。従って、マイク入力信号はｘ（ｔ）＝ｓ（ｔ）＊ｔｆ（ｔ）＝ｓ（ｔ）＊（ｔｆｄ（ｔ）＋ｔｆｒ（ｔ））＝ｘｄ（ｔ）＋ｘｒ（ｔ）と表すこともできる。
音声の明瞭度はＣ５０で表してもよい。その数式は、下記の通りになる。

（１）
ｗ（ｔ）は、励磁信号からマイク入力信号までの伝達関数である。０〜５０ｍｓが直接音と早期残響部分に対応し、５０ｍｓ以降が後期残響部分に対応する。残響が強いほど、Ｃ５０の値が小さくなる。残響除去前後のＣ５０の向上が残響除去効果を反映し得るため、Ｃ５０は、残響除去の客観的評価指標としてもよい。
本発明において、デュアルマイク（メインマイク及び補助マイク）に基づく残響推定原理は、下記の通りになる。図２に示すように、メインマイクの入力信号をｘ２（ｔ）、補助マイクの入力信号をｘ１（ｔ）、補助マイクからメインマイクまでの伝達関数をｈ（ｔ）とそれぞれ記す。図２は、本発明の実施例に挙げられた補助マイクからメインマイクまでの伝達関数ｈ（ｔ）のグラフである。
メインマイクの入力信号ｘ２（ｔ）が、補助マイクの入力信号ｘ１（ｔ）と伝達関数ｈ（ｔ）との畳み込みに等しい。

（２）
ｈ（ｔ）は、頭部と尾部との二つの部分に分けることができる。

（３）
そのうち、ｈｄ（ｔ）がｈ（ｔ）の頭部を表し、ｈｒ（ｔ）がｈ（ｔ）の尾部を表す。
ｈ（ｔ）のテーリング部分ｈｒ（ｔ）は、信号の、空間における複数回の反射を反映しているため、ｈ（ｔ）のテーリング部分ｈｒ（ｔ）と補助マイク入力信号ｘ１（ｔ）との畳み込み信号

は、メインマイクの後期残響成分に近く、メインマイク後期残響成分の推定信号とされる。ｈ（ｔ）において一つの点を選び取ってｈｄ（ｔ）とｈｒ（ｔ）の境界点として、ｈ（ｔ）の境界点の前の値を０にセットして、ｈｒ（ｔ）が得られる。境界点からｈ（ｔ）の最大ピークまでの距離範囲を３０ｍｓ〜８０ｍｓ（経験値）に設置することができる。経験により、境界点からｈ（ｔ）までの最大ピークが５０ｍｓ以上である場合、メインマイクの後期残響推定信号

には、直接音と早期反射成分がまったく残留せず、音声への損傷を低減し得るため、本発明の実施例において、境界点として５０ｍｓを取ることを例として説明を行う。
本発明の目的、技術手段及び利点を更に明らかにするために、以下、図面を参照しながら、本発明の実施形態について更に詳しい説明を行う。
図３は、本発明の一つの実施例におけるデュアルマイクに基づく音声残響低減方法の流れの模式図である。図３に示すように、該方法は、主に、残響スペクトル推定部分とスペクトル減算部分とを含み、具体的には、フレームごとに下記の処理を行う。
ステップ１．１ メインマイク入力信号ｘ２（ｔ）及び補助マイク入力信号ｘ１（ｔ）を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する。
ステップ１．２ 伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得する。
ステップ１．３ そして、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出する。
ステップ１．４ 補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号

を得る。
ステップ１．５ メインマイク入力信号の後期残響推定信号

に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトル

を得る。
ステップ２．１ メインマイク入力信号ｘ２（ｔ）に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルＸ２を得る。
ステップ２．２ メインマイク入力信号の周波数スペクトルＸ２、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトル

によって、利得函数Ｇを算出する。
ステップ２．３ メインマイク入力信号の周波数スペクトルＸ２に利得函数Ｇを乗算して、メインマイク入力信号の残響除去後の周波数スペクトルＤを得る。
ステップ２．４ メインマイク入力信号の残響除去後の周波数スペクトルＤに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）を得る。
ステップ２．５ メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響低減後の連続信号ｘｄ（ｔ）を出力する。
図３に示す方法において、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行うことによりメインマイク入力信号の後期残響推定信号を得てから、スペクトル減算法によってメインマイク入力信号の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトルを差し引くため、メインマイクの入力信号からその後期残響を効果的に除去するとともに早期残響を保留することができ、音声の品質が向上する。また、図３に示す方法では、後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度がそもそも高い場合に音声品質を損傷しないことが保証され、音声品質が保護される。そして、このような方法において、直接音の到来方向を正確に推定する必要がないため、マイクが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。
本発明の一つの実施例において、図３に示す方法に加えて、メインマイク入力信号の後期残響推定信号とメインマイク入力信号の真実の後期残響成分とを比べ、後期残響推定信号の低周波数域部分での推定不足という問題を更に考慮して、異なるマイク間隔に応じて、ローパスフィルタを設けて、後期残響推定信号に対して対応する周波数補償を行う。具体的には、図４に示す実施例を参照する。
図４は、本発明のその他の実施例におけるデュアルマイクに基づく音声残響低減方法の全体的な流れの模式図である。図４に示すように、システム全体の入力が補助マイク入力信号ｘ１（ｔ）及びメインマイク入力信号ｘ２（ｔ）であり、出力が残響低減後の信号ｘｄ（ｔ）である。大きくいうと、残響スペクトル推定プロセスとスペクトル減算プロセスという二つの部分を含む。図４は、図３に示す方法の流れと比べると、後期残響推定信号に対して周波数補償を行うステップが追加される（図４において、後期残響推定信号に対して周波数補償を行うステップがステップ１．４５であり、時間ドメイン／周波数ドメイン変換ステップは図３と同じくステップ１．５と記す）。以下、図４を参照しながら該方法を詳しく説明する。
１．残響スペクトル推定
入力：補助マイクの入力信号ｘ１（ｔ）、メインマイクの入力信号ｘ２（ｔ）。
出力：利得函数の調節因子β（スペクトル減算プロセスにおいての一つの入力とする）、メインマイク入力信号の後期残響スペクトル

（スペクトル減算プロセスにおいての一つの入力とする）。
残響スペクトル推定は、ステップ１．１、ステップ１．２、ステップ１．３、ステップ１．４、ステップ１．４５、ステップ１．５との六つのステップを含む。
２．スペクトル減算
入力：メインマイク入力信号ｘ２（ｔ）、利得函数の調節因子β（残響スペクトル推定プロセスにおいての出力）、メインマイク入力信号の後期残響スペクトル

（残響スペクトル推定プロセスにおいての出力）。
出力：メインマイク入力信号の残響低減後の信号ｘｄ（ｔ）（システム全体の出力でもある）。
スペクトル減算プロセスは、ステップ２．１、ステップ２．２、ステップ２．３、ステップ２．４、ステップ２．５との五つのステップを含む。
以下、残響スペクトル推定プロセス及びスペクトル減算プロセスにおける各ステップ及びそれらの間の関係を詳しく説明する。
１．残響スペクトル推定プロセス
ステップ１．１ 補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する。
ステップ１．１の入力：補助マイクの入力信号ｘ１（ｔ）及びメインマイクの入力信号ｘ２（ｔ）。
ステップ１．１の出力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．２の入力とする）。
本発明の一つの実施例において、補助マイク入力信号ｘ１（ｔ）とメインマイク入力信号ｘ２（ｔ）とのクロスパワースペクトルＰｘ２ｘ１及び補助マイク入力信号ｘ１（ｔ）のパワースペクトルＰｘ１ｘ１を用いて伝達関数Ｈを算出する。

（４）
周波数ドメインの伝達関数Ｈに対して逆フーリエ変換を行って、時間ドメインの伝達関数ｈ（ｔ）を得る。
本発明のその他の実施例において、ｈ（ｔ）の計算は、例えば適応フィルタリングの方法等の異なる方法を用いてもよく、ここでは詳述しない。
ステップ１．２ 伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を求める。
ステップ１．２の入力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．１の出力）。
ステップ１．２の出力：補助マイクからメインマイクまでの伝達関数のテーリング部分ｈｒ（ｔ）（ステップ１．４の入力とする）。
本発明の実施例において、伝達関数ｈ（ｔ）の時間軸において、早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）における該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得る。本発明の一つの好ましい実施例において、伝達関数ｈ（ｔ）において一つの点を選び取って、この点のｈ（ｔ）までの最大ピークの距離を５０ｍｓにして、ｈ（ｔ）における該点の前の値を０にセットして、テーリング部分ｈｒ（ｔ）と記す。
ステップ１．３ 補助マイクからメインマイクまでの伝達関数ｈ（ｔ）により残響の強さを判断し、利得函数の調節因子βを求める。
ステップ１．３の入力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．１の出力）。
ステップ１．３の出力：利得函数の調節因子β（スペクトル減算プロセスにおいての一つの入力とする）。
残響が弱い場合の残響除去による音声に対する損傷を減少するため、このステップ１．３において、残響の強さを判断することで利得函数の調節因子βを算出する。本発明の実施例において、補助マイクからメインマイクまでの伝達関数の頭部のエネルギーとテーリング部分のエネルギーとの比に対して、対数を取ってρと記す。

（５）
そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数であり、Ｔがｈ（ｔ）の時間軸においての指定された境界点である。該境界点Ｔは、必ずしも早期残響と後期残響との境界点ではないが、該境界点Ｔの前は、必ず直接音を含み、更に、早期残響の一部又は全部を含んでもよい。
図５Ａは、本発明の実施例における音源からメインマイクまでの距離が０．５ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝０．５ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝１２．３ｄＢ、ρ＝９．４ｄＢである。
図５Ｂは、本発明の実施例における音源からメインマイクまでの距離が１ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝１ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝８．１ｄＢ、ρ＝６．０ｄＢである。
図５Ｃは、本発明の実施例における音源からメインマイクまでの距離が２ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝２ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝５．４ｄＢ、ρ＝３．７ｄＢである。
図５Ｄは、本発明の実施例における音源からメインマイクまでの距離が４ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝４ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝４．５ｄＢ、ρ＝２．２ｄＢである。
音源がマイクから遠ざかるほど、残響が強くなる。図５Ａ〜図５Ｄから分かるように、残響が強くなるにつれて、補助マイクからメインマイクまでの伝達関数の頭部のエネルギーが低くなり、テーリング部分のエネルギーが高くなり、二者の比について取る対数ρが残響の強さを反映することができる。残響が強くなるにつれて、ρの値がだんだん小さくなる。従って、ρの値によって残響の強さを判断するとともに、これによって利得函数の調節因子βを求める。
前記調節因子βを算出するには複数の方式があり、式（６）は、本発明の実施例におけるβを算出する経験式である。

（６）
ρ１及びρ２が設定値を取り、経験値であり、本発明の実施例において、ρ１が９ｄＢ、ρ２が２ｄＢを取る（マイク間隔が６ｃｍである）。
ステップ１．４ 補助マイクの入力信号ｘ１（ｔ）と、補助マイクからメインマイクまでの伝達関数のテーリング部分ｈｒ（ｔ）とに畳み込みを行って、メインマイク入力信号の後期残響推定信号

を得る。
ステップ１．４の入力：補助マイクの入力信号ｘ１（ｔ）、補助マイクからメインマイクまでの伝達関数のテーリング部分ｈｒ（ｔ）（ステップ１．２の出力）。
ステップ１．４の出力：メインマイク入力信号の後期残響推定信号

（ステップ１．４５の入力とする）。
具体的には、下記の式のようになる。

（７）
ステップ１．４５ メインマイク入力信号の後期残響推定信号

に対して周波数補償を行い、補償後の信号

を得る。
ステップ１．４５の入力：メインマイク入力信号の後期残響推定信号

（ステップ１．４の出力）。
ステップ１．４５の出力：周波数補償が行われたメインマイク入力信号の後期残響推定信号

（ステップ１．５の入力とする）。
メインマイク入力信号の後期残響推定信号

とメインマイク入力信号の真実の後期残響成分とを比べると、後期残響推定信号

は、低周波数域部分において推定不足である。そのため、本発明において、メインマイク入力信号の後期残響推定信号

に対して周波数補償を行う。メインマイクと補助マイクとの間の間隔は、後期残響推定信号

に影響を及ぼすため、本発明の実施例において、異なるマイク間隔に応じてローパスフィルタを設けて、後期残響推定信号に対して対応する周波数補償を行い、補償後の後期残響推定信号

を得る。
図６Ａは、本発明の実施例におけるメインマイクと補助マイクとの間の間隔が６ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。図６Ｂは、本発明の実施例におけるメインマイクと補助マイクとの間の間隔が１８ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。ここから分かるように、本発明の実施例において、メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号

の低周波数域部分に対して周波数補償を行う度合いが小さくなる。
ステップ１．５ 周波数補償が行われたメインマイク入力信号の後期残響推定信号

を時間ドメインから周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル

を得る。
ステップ１．５の入力：周波数補償が行われたメインマイク入力信号の後期残響推定信号

（ステップ１．４５の出力）。
ステップ１．５の出力：メインマイク入力信号の後期残響スペクトル

（スペクトル減算プロセスにおいての一つの入力とする）。
周波数補償が行われたメインマイクの後期残響推定信号

を周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル

が得られる。

（８）
２．スペクトル減算プロセス
ステップ２．１ メインマイクの入力信号ｘ２（ｔ）を時間ドメインから周波数ドメインに変換して、Ｘ２と記す。
ステップ２．１の入力：メインマイクの入力信号ｘ２（ｔ）。
ステップ２．１の出力：メインマイク入力信号の周波数スペクトルＸ２（ステップ２．２の入力とされる）。
具体的には、下記の式のようになる。

（９）
ステップ２．２ メインマイク入力信号の周波数スペクトルＸ２及び推定されたメインマイクの後期残響スペクトル

から利得函数Ｇを算出するとともに、調節因子βによって利得函数を調節する。
ステップ２．２の入力：メインマイク入力信号の周波数スペクトルＸ２（ステップ２．１の出力）、メインマイクの後期残響スペクトル

（残響スペクトル推定プロセスにおいてのステップ１．５の出力）、利得函数の調節因子β（残響スペクトル推定プロセスにおいてのステップ１．３の出力）。
ステップ２．２の出力：利得函数Ｇ（ステップ２．３の一つの入力とする）。
本発明の一つの実施例において、パワースペクトル減算法を用いて、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出する。

（１０）
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである。
式（１０）から分かるように、利得函数の調節因子βによって利得函数Ｇ（ｌ，ｋ）の大きさを調節することができる。こうして、残響が弱い時にスペクトル減算を少なくするか又はしないようにすることができ、残響が弱く、音声の明瞭度が高い場合に音声を損傷しないことが保証され、音声品質が保護される。
ステップ２．３ メインマイク入力信号の振幅スペクトル｜Ｘ２｜に利得函数Ｇを乗算して、メインマイク入力信号の位相と組合わせて、メインマイク入力信号の残響除去後の周波数スペクトルＤを得る。
ステップ２．３の入力：メインマイク入力信号の周波数スペクトルＸ２（ステップ２．１の出力）、利得函数Ｇ（ステップ２．２の出力）。
ステップ２．３の出力：メインマイク入力信号の残響除去後の周波数スペクトルＤ（ステップ２．４の入力とする）。
具体的には、下記の式によって、メインマイク入力信号の残響除去後の周波数スペクトルＤ（ｌ，ｋ）を算出する。

（１１）
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、｜Ｘ２（ｌ，ｋ）｜がメインマイク入力信号の振幅スペクトル、Ｇ（ｌ，ｋ）が利得函数、ｐｈａｓｅ（ｌ，ｋ）がメインマイク入力信号の位相である。
ステップ２．４ メインマイク入力信号の残響除去後の周波数スペクトルＤを時間ドメインに変換して、ｄ（ｔ）と記す。
ステップ２．４の入力：メインマイク入力信号の残響除去後の周波数スペクトルＤ（ステップ２．３の出力）。
ステップ２．４の出力：メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）（ステップ２．５の入力とする）。

（１２）
ステップ２．５ メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算して、メインマイク入力信号の残響低減後の連続信号ｘｄ（ｔ）を得る。
ステップ２．５の入力：メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）（ステップ２．４の出力）。
ステップ２．５の出力：メインマイク入力信号の残響低減後の連続信号ｘｄ（ｔ）（システム全体の出力）。
図７Ａは、本発明の実施例におけるメインマイク入力信号の時間ドメインの図である。図７Ｂは、本発明の実施例におけるメインマイクに対して残響除去後の時間ドメインの図である。図７Ｃは、本発明の実施例におけるメインマイク入力信号の音声スペクトログラムである。図７Ｄは、本発明の実施例におけるメインマイクに対して残響除去後の音声スペクトログラムである。
図７Ａ〜７Ｄを参照して、本実施例において、メインマイク及び補助マイクは音源と正対面しており、音源からデュアルマイクまでの垂直距離が２ｍで、メインマイクと補助マイクとの間隔が１８ｃｍである時、メインマイク入力信号から残響除去する前のＣ５０が６．８ｄＢであり、図４に示す方法を用いて残響除去した後のＣ５０が１０．５ｄＢであり、ここから分かるように、本発明の方法を採用した後、Ｃ５０が３．７ｄＢ向上した。
図８は、本発明の実施例におけるデュアルマイクに基づく音声残響低減装置の全体構成図である。該装置は、メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、図８に示すように、残響スペクトル推定ユニット７００とスペクトル減算ユニット８００とを含む。
前記残響スペクトル推定ユニット７００は、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出してスペクトル減算ユニット８００に出力し、そして、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニット８００に出力するために用いられる。
前記スペクトル減算ユニット８００は、メインマイク入力信号、残響スペクトル推定ユニット７００から出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得て、メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響低減後の連続信号を出力するために用いられる。
本発明の一つの実施例において、残響スペクトル推定ユニット７００は、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから、まずメインマイク入力信号の後期残響推定信号に対して周波数補償を行い、そして、周波数補償された信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニット８００に出力する。
図９は、本発明の一つの好ましい実施例におけるデュアルマイクに基づく音声残響低減装置の詳細な構成及びその入出力模式図である。図９を参照して、該デュアルマイクに基づく音声残響低減装置は、残響スペクトル推定ユニット９１とスペクトル減算ユニット９２とを含む。そのうち、残響スペクトル推定ユニット９１は、伝達関数算出ユニット９１１、伝達関数テーリング算出ユニット９１２、残響強さ判断ユニット９１３、後期残響推定ユニット９１４、周波数補償ユニット９１５及び第一の時間／周波数変換ユニット９１６を含む。スペクトル減算ユニット９２は、第二の時間／周波数変換ユニット９２１、利得函数算出ユニット９２２、残響除去ユニット９２３、周波数／時間変換ユニット９２４及び重畳加算ユニット９２５を含む。
前記伝達関数算出ユニット９１１は、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出するとともに、伝達関数ｈ（ｔ）を伝達関数テーリング算出ユニット９１２及び残響強さ判断ユニット９１３に出力するために用いられる。
前記伝達関数テーリング算出ユニット９１２は、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を求めて後期残響推定ユニット９１４に出力するために用いられる。伝達関数テーリング算出ユニット９１２は、具体的に、伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得る。
前記残響強さ判断ユニット９１３は、伝達関数ｈ（ｔ）によって残響の強さを判断するとともに、利得函数の調節因子βを算出して利得函数算出ユニット９２２に出力するために用いられる。具体的に、残響強さ判断ユニット９１３は、前記の式（５）によって残響の強さを表すパラメータρを算出する。即ち、


そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸においての指定された境界点である。
そして、残響強さ判断ユニット９１３は、前記の式（６）によって利得函数の調節因子βを算出する。即ち、


そのうち、ρ１とρ２が設定値を取る。例えば、ρ１が９ｄＢ、ρ２が２ｄＢを取る（マイクの間隔が６ｃｍである）。
後期残響推定ユニット９１４は、補助マイク入力信号を受信し、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから周波数補償ユニット９１５に出力するために用いられる。
周波数補償ユニット９１５は、メインマイク入力信号の後期残響推定信号に対して周波数補償を行い、周波数補償が行われた信号を第一の時間／周波数変換ユニット９１６に出力するために用いられる。メインマイクと補助マイクとの間の距離が大きいほど、周波数補償ユニット９１５がメインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなる。
第一の時間／周波数変換ユニット９１６は、周波数補償が行われたメインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てから利得函数算出ユニット９２２に出力するために用いられる。
第二の時間／周波数変換ユニット９２１は、メインマイク入力信号を受信し、時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得てから利得函数算出ユニット９２２及び残響除去ユニット９２３に出力するために用いられる。
利得函数算出ユニット９２２は、第二の時間／周波数変換ユニット９２１から出力されたメインマイク入力信号の周波数スペクトル、残響強さ判断ユニット９１３から出力された利得函数の調節因子β及び第一の時間／周波数変換ユニット９１６から出力されたメインマイク入力信号の後期残響スペクトルによって、利得函数を算出してから残響除去ユニット９２３に出力するために用いられる。利得函数算出ユニット９２２は、前記の式（１０）によって利得函数Ｇ（ｌ，ｋ）を算出し得る。即ち、


そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである。
残響除去ユニット９２３は、メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得てから、周波数／時間変換ユニット９２４に出力する。本実施例において、残響除去ユニット９２３は、前記の式（１１）によって、メインマイク入力信号の残響除去後の周波数スペクトルＤ（ｌ，ｋ）を算出する。即ち、


そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、｜Ｘ２（ｌ，ｋ）｜がメインマイク入力信号の振幅、Ｇ（ｌ，ｋ）が利得函数、ｐｈａｓｅ（ｌ，ｋ）がメインマイク入力信号の位相である。
周波数／時間変換ユニット９２４は、メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得てから重畳加算ユニット９２５に出力するために用いられる。
重畳加算ユニット９２５は、周波数／時間変換ユニット９２４から出力された時間ドメイン信号に対してフレームごとに重畳加算して、メインマイク入力信号の残響除去後の連続信号を得るために用いられる。
以上をまとめて、本発明の実施例のようなデュアルマイクに基づく音声残響低減装置は、メインマイク及び補助マイクに受信された信号に対して、フレームごとに処理を行う。該装置における残響スペクトル推定ユニット７００は、メインマイクの入力信号ｘ２（ｔ）及び補助マイク入力信号ｘ１（ｔ）を受信し、ｘ２（ｔ）及びｘ１（ｔ）によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出して該装置におけるスペクトル減算ユニット８００に出力する。このとき、ｘ１（ｔ）を用いてｈｒ（ｔ）に畳み込みを行って、ｘ２（ｔ）の後期残響推定信号

を得て、

に対して時間ドメインから周波数ドメインへの変換を行って、ｘ２（ｔ）の後期残響スペクトル

を得てから該装置におけるスペクトル減算ユニット８００に出力するために用いられる。該装置におけるスペクトル減算ユニット８００は、ｘ２（ｔ）に対して時間ドメインから周波数ドメインへの変換を行って、ｘ２（ｔ）の周波数スペクトルを得て、ｘ２（ｔ）の周波数スペクトル、前記β及び

によって利得函数を算出し、ｘ２（ｔ）の周波数スペクトルに利得函数を乗算して、ｘ２（ｔ）の残響除去後の周波数スペクトルを得て、周波数ドメインから時間ドメインへの変換を行って、ｘ２（ｔ）の残響除去後の時間ドメイン信号を得るために用いられる。
本発明のような装置において、補助マイク入力信号ｘ１（ｔ）とｈｒ（ｔ）に畳み込みを行うことによりメインマイク入力信号ｘ２（ｔ）の後期残響推定信号

を得てから、スペクトル減算法によって、メインマイク入力信号ｘ２（ｔ）の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトル

を差し引くため、メインマイクの入力信号ｘ２（ｔ）からその後期残響を効果的に除去するとともに早期残響を保留することができ、音声の品質が向上する。同時に、本発明の後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度が高い場合に音声を損傷しないことが保証され、音声品質が保護される。そして、このような装置において、直接音の到来方向を正確に推定する必要がないため、マイクが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。
ここから分かるように、本発明の技術手段は、残響を除去すると同時に音声を有効に保護し、部屋の残響の強さの度合いを自動的に推定し、種々の環境においても適切な処理を選択して、最適に近い音声品質に達する。そして、マイクの一致性及び音響設計に対して厳しい制限がなく、応用がより柔軟で便利である。
上述したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたあらゆる変更、均等置換、改良等は、いずれも本発明の保護範囲内に含まれるものとする。

Claims (10)

  1. メインマイク入力信号及び補助マイク入力信号を受信し、フレームごとにメインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する処理と、
    前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、該伝達関数ｈ（ｔ）によって残響の強さを判断して利得函数の調節因子βを算出する処理と、
    前記補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得る処理と、
    前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得る処理と、
    前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
    前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
    前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
    前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力する処理とを、
    行うことを含むことを特徴とするデュアルマイクに基づく音声残響低減方法。
  2. 前記メインマイク入力信号の後期残響推定信号を得た後、時間ドメインから周波数ドメインへの変換を行う前に、
    前記メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなるように、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行うことと、
    この周波数補償が行われた信号に対して時間ドメインから周波数ドメインへの変換を行って、前記メインマイク入力信号の後期残響スペクトルを得ることとを、
    更に含むことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
  3. 前記伝達関数ｈ（ｔ）によって残響の強さを判断することは、下記の式によって残響の強さを表すパラメータρを算出し、


    そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸において指定された境界点であり、
    前記利得函数の調節因子βを算出することは、下記の式によってβを算出し、


    そのうち、ρ１とρ２が設定値である、
    ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
  4. 前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出することは、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出し、


    そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

    がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである、
    ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
  5. 前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得することは、
    伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得ることを含む、
    ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
  6. メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、残響スペクトル推定ユニットとスペクトル減算ユニットとを含み、そのうち、
    前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、該伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力して、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
    前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
    ことを特徴とするデュアルマイクに基づく音声残響低減装置。
  7. 前記残響スペクトル推定ユニットは、伝達関数算出ユニット、伝達関数テーリング算出ユニット、残響強さ判断ユニット、後期残響推定ユニット及び第一の時間／周波数変換ユニットを含み、更に周波数補償ユニットを含み、
    前記スペクトル減算ユニットは、第二の時間／周波数変換ユニット、利得函数算出ユニット、残響除去ユニット、周波数／時間変換ユニット及び重畳加算ユニットを含み、そのうち、
    伝達関数算出ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、伝達関数ｈ（ｔ）を伝達関数テーリング算出ユニット及び残響強さ判断ユニットに出力するために用いられ、
    伝達関数テーリング算出ユニットは、前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を求めて後期残響推定ユニットに出力するために用いられ、
    残響強さ判断ユニットは、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出して利得函数算出ユニットに出力するために用いられ、
    後期残響推定ユニットは、前記補助マイク入力信号を受信し、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから周波数補償ユニットに出力するために用いられ、
    周波数補償ユニットは、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行って、第一の時間／周波数変換ユニットに出力するために用いられ、そのうち、メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなり、
    第一の時間／周波数変換ユニットは、前記周波数補償されたメインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てから利得函数算出ユニットに出力するために用いられ、
    第二の時間／周波数変換ユニットは、前記メインマイク入力信号を受信し、時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て利得函数算出ユニットに出力するために用いられ、
    利得函数算出ユニットは、前記第二の時間／周波数変換ユニットから出力されたメインマイク入力信号の周波数スペクトル、残響強さ判断ユニットから出力された利得函数の調節因子β及び第一の時間/周波数変換ユニットから出力されたメインマイク入力信号の後期残響スペクトルによって、利得函数を算出して、残響除去ユニットに出力するために用いられ、
    残響除去ユニットは、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、周波数／時間変換ユニットに出力し、
    周波数／時間変換ユニットは、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、重畳加算ユニットに出力するために用いられ、
    重畳加算ユニットは、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
    ことを特徴とする請求項６に記載のデュアルマイクに基づく音声残響低減装置。
  8. 前記残響強さ判断ユニットは、下記の式によって残響の強さを表すパラメータρを算出するために用いられ、


    そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸においての指定された境界点であり、
    そして、下記の式によって利得函数の調節因子βを算出するために用いられ、


    そのうち、ρ１とρ２が設定値である、
    ことを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。
  9. 前記利得函数算出ユニットは、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出するために用いられ、


    そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

    がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである、
    ことを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。
  10. 前記伝達関数テーリング算出ユニットは、前記伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得るために用いられることを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。
JP2015524601A 2012-12-12 2013-12-12 デュアルマイクに基づく音声残響低減方法及びその装置 Active JP5785674B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201210536578.X 2012-12-12
CN201210536578.XA CN103067821B (zh) 2012-12-12 2012-12-12 一种基于双麦克的语音混响消减方法和装置
PCT/CN2013/001557 WO2014089914A1 (zh) 2012-12-12 2013-12-12 一种基于双麦克的语音混响消减方法和装置

Publications (2)

Publication Number Publication Date
JP2015523609A true JP2015523609A (ja) 2015-08-13
JP5785674B2 JP5785674B2 (ja) 2015-09-30

Family

ID=48110252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015524601A Active JP5785674B2 (ja) 2012-12-12 2013-12-12 デュアルマイクに基づく音声残響低減方法及びその装置

Country Status (7)

Country Link
US (1) US9414157B2 (ja)
EP (1) EP2858379B1 (ja)
JP (1) JP5785674B2 (ja)
KR (1) KR101502297B1 (ja)
CN (1) CN103067821B (ja)
DK (1) DK2858379T3 (ja)
WO (1) WO2014089914A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067821B (zh) * 2012-12-12 2015-03-11 歌尔声学股份有限公司 一种基于双麦克的语音混响消减方法和装置
CN104156553B (zh) * 2014-05-09 2018-08-17 哈尔滨工业大学深圳研究生院 无需信源数估计的相干信号波达方向估计方法及系统
CN105848052B (zh) * 2015-01-16 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种麦克切换方法及终端
GB2549103B (en) * 2016-04-04 2021-05-05 Toshiba Res Europe Limited A speech processing system and speech processing method
CN110660404B (zh) * 2019-09-19 2021-12-07 北京声加科技有限公司 基于零陷滤波预处理的语音通信和交互应用系统、方法
EP3809726A1 (en) * 2019-10-17 2021-04-21 Bang & Olufsen A/S Echo based room estimation
CN111179958A (zh) * 2020-01-08 2020-05-19 厦门亿联网络技术股份有限公司 一种语音晚期混响抑制方法及系统
CN112053698A (zh) * 2020-07-31 2020-12-08 出门问问信息科技有限公司 语音转换方法及装置
CN113542980B (zh) * 2021-07-21 2023-03-31 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321860A (ja) * 1996-03-25 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 残響除去方法及び装置
JP2014230280A (ja) * 2013-05-22 2014-12-08 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 定位が向上された補聴器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69738288T2 (de) * 1996-05-31 2008-09-25 Koninklijke Philips Electronics N.V. Einrichtung zur unterdrückung einer störenden komponente eines eingangssignals
US6549586B2 (en) * 1999-04-12 2003-04-15 Telefonaktiebolaget L M Ericsson System and method for dual microphone signal noise reduction using spectral subtraction
EP1879181B1 (en) * 2006-07-11 2014-05-21 Nuance Communications, Inc. Method for compensation audio signal components in a vehicle communication system and system therefor
JP5166117B2 (ja) * 2008-05-20 2013-03-21 株式会社船井電機新応用技術研究所 音声入力装置及びその製造方法、並びに、情報処理システム
EP2211564B1 (en) * 2009-01-23 2014-09-10 Harman Becker Automotive Systems GmbH Passenger compartment communication system
US8233352B2 (en) * 2009-08-17 2012-07-31 Broadcom Corporation Audio source localization system and method
US8897455B2 (en) * 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
CN101976565A (zh) * 2010-07-09 2011-02-16 瑞声声学科技(深圳)有限公司 基于双麦克风语音增强装置及方法
JP2012048133A (ja) 2010-08-30 2012-03-08 Nippon Telegr & Teleph Corp <Ntt> 残響除去方法とその装置とプログラム
JP5594133B2 (ja) * 2010-12-28 2014-09-24 ソニー株式会社 音声信号処理装置、音声信号処理方法及びプログラム
CN102347028A (zh) * 2011-07-14 2012-02-08 瑞声声学科技(深圳)有限公司 双麦克风语音增强装置及方法
CN203243506U (zh) * 2012-12-12 2013-10-16 歌尔声学股份有限公司 一种基于双麦克的语音混响消减装置
CN103067821B (zh) * 2012-12-12 2015-03-11 歌尔声学股份有限公司 一种基于双麦克的语音混响消减方法和装置
CN103087821B (zh) 2013-01-15 2016-09-07 武汉工业学院 一种保留谷维素的米糠油精炼方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321860A (ja) * 1996-03-25 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 残響除去方法及び装置
JP2014230280A (ja) * 2013-05-22 2014-12-08 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 定位が向上された補聴器

Also Published As

Publication number Publication date
CN103067821A (zh) 2013-04-24
WO2014089914A1 (zh) 2014-06-19
EP2858379A1 (en) 2015-04-08
CN103067821B (zh) 2015-03-11
EP2858379A4 (en) 2015-11-11
US20150189431A1 (en) 2015-07-02
JP5785674B2 (ja) 2015-09-30
KR20150008925A (ko) 2015-01-23
EP2858379B1 (en) 2018-10-31
DK2858379T3 (en) 2019-01-21
US9414157B2 (en) 2016-08-09
KR101502297B1 (ko) 2015-03-12

Similar Documents

Publication Publication Date Title
JP5785674B2 (ja) デュアルマイクに基づく音声残響低減方法及びその装置
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
KR101610656B1 (ko) 널 프로세싱 노이즈 감산을 이용한 노이즈 억제 시스템 및 방법
US11245976B2 (en) Earphone signal processing method and system, and earphone
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
US8654990B2 (en) Multiple microphone based directional sound filter
US9210504B2 (en) Processing audio signals
US8824693B2 (en) Processing audio signals
KR101597752B1 (ko) 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치
US8958572B1 (en) Adaptive noise cancellation for multi-microphone systems
JP5479655B2 (ja) 残留エコーを抑制するための方法及び装置
US8462962B2 (en) Sound processor, sound processing method and recording medium storing sound processing program
US9532149B2 (en) Method of signal processing in a hearing aid system and a hearing aid system
US8174935B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
WO2003017718A1 (en) Post-processing scheme for adaptive directional microphone system with noise/interference suppression
TWI465121B (zh) 利用全方向麥克風改善通話的系統及方法
US9729967B2 (en) Feedback canceling system and method
JP2020504966A (ja) 遠距離音の捕捉
US20190035382A1 (en) Adaptive post filtering
US20230319469A1 (en) Suppressing Spatial Noise in Multi-Microphone Devices
JP6854967B1 (ja) 雑音抑圧装置、雑音抑圧方法、及び雑音抑圧プログラム
JP4209348B2 (ja) エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体
TW202331701A (zh) 雙麥克風陣列回音消除方法、雙麥克風陣列回音消除裝置、電子設備、及非揮發性電腦可讀儲存媒體
JP2021150959A (ja) 聴覚装置および聴覚装置に関連する方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150130

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150724

R150 Certificate of patent or registration of utility model

Ref document number: 5785674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250