JP2005091732A - ブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法 - Google Patents

ブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法 Download PDF

Info

Publication number
JP2005091732A
JP2005091732A JP2003324733A JP2003324733A JP2005091732A JP 2005091732 A JP2005091732 A JP 2005091732A JP 2003324733 A JP2003324733 A JP 2003324733A JP 2003324733 A JP2003324733 A JP 2003324733A JP 2005091732 A JP2005091732 A JP 2005091732A
Authority
JP
Japan
Prior art keywords
spectrum
shape
target speech
amplitude distribution
spectra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003324733A
Other languages
English (en)
Other versions
JP4496379B2 (ja
Inventor
Hiroshi Gotanda
博 五反田
Keiichi Kaneda
圭市 金田
Takeshi Furuya
武志 古屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WAVE COME KK
Kinki University
Kitakyushu Foundation for Advancement of Industry Science and Technology
Original Assignee
WAVE COME KK
Kinki University
Kitakyushu Foundation for Advancement of Industry Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WAVE COME KK, Kinki University, Kitakyushu Foundation for Advancement of Industry Science and Technology filed Critical WAVE COME KK
Priority to JP2003324733A priority Critical patent/JP4496379B2/ja
Priority to US10/572,427 priority patent/US7562013B2/en
Priority to PCT/JP2004/012898 priority patent/WO2005029467A1/en
Publication of JP2005091732A publication Critical patent/JP2005091732A/ja
Application granted granted Critical
Publication of JP4496379B2 publication Critical patent/JP4496379B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】 ブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法を提供する。
【解決手段】 音源11、12から発信された信号をマイク13、14で受信して混合信号を形成する第1工程と、各混合信号を周波数領域にフーリエ変換し、独立成分解析法により2つの分離信号U1 、U2 に分解し各音源11、12から各マイク13、14までの各伝達経路特性に基づいてスペクトルv11、v12、v21、v22で構成される分割スペクトルを形成する第2工程と、各スペクトルv11、v12、v21、v22に対して、伝達特性を含む各スペクトルv11、v12、v21、v22の振幅分布の形状に基づいた判定基準を適用して目的音声に対応する推定スペクトルZ* を抽出し、推定スペクトルZ* から目的音声の復元スペクトル群を生成して目的音声を復元する第3工程とを有する。
【選択図】 図2

Description

本発明は、独立成分解析法から得られる分割スペクトルの振幅分布の形状に基づいて成分置換の不定性を解消しながら目的音声の推定スペクトルを抽出し目的音声を復元する方法に関する。
従来、音声の雑音除去問題に対して、独立成分分析法(以下、ICAという)に基づく音源分離を適用した方法が数多く提案されている(例えば、非特許文献1、2参照)。ここで、ICAには時間領域ICAと周波数領域ICAがある。周波数領域ICAは、時間領域ICAに比べて収束の点で有利と考えられるが、得られた分離信号には各周波数ビン毎にICA特有のスケーリングや成分置換の不定性の問題があり、これらの問題をすべて周波数において解決しなければならなかった。
この問題を解決するために、例えば分割スペクトルという概念を導入して、スケーリングの不定性を解決すると共に、各周波数で分割スペクトル系列の包絡を求めて、その類似度に基づく成分置換の解消法、すなわち包絡法が提案されている(例えば、非特許文献3参照)。
チチョキ、アマリ(A.Cichocki、S.Amari)著、"アダプティブ ブラインド シグナル アンド イメイジ プロセッシング(Adaptive blindsignal and image processing)"、第1版、米国、ジョン ウィリー(John Wiley)、2002年 ヒバリネン、オヤ(A.Hyvarinen、and E.Oja)、"インディペンデント コンポーネント アナリシス:アルゴリズム アンド アプリケーションズ(Independent component analysis:algorithms and applications)"、ニューラル ネットワークス(Neural Networks)、米国、ペルガモン プレス(Pergamon Press)、2000年6月、13巻、4−5号、p.411−430 ムラタ、イケダ、ツィーヘ(N.Murata、S.Ikeda and A.Ziehe)、"アン アプローチ スー ブラインド ソース セパライション ベイスド オン テンポラル ストラクチャー オブ スピーチ シグナルズ(An Approach to blind source separation based on temporal structure of speech signals)"、ニューロコンピューティング(Neurocomputing)、米国、エルゼビア(Elsevier)、2001年10月、41巻、1−4号、p.1−24
しかしながら、分割スペクトルの包絡という概念を導入した包絡法は汎用的ではあるが、近接していない周波数ビンにおける包絡の類似性を仮定しているため、音の収音環境によっては十分な効果が得られない。また、分離信号と音声音源及び雑音源の対応関係が明らかになっていない。このため、最終的に成分置換の是正された各分割スペクトルに対して、どちらを目的音声に対応させてどちらを雑音に対応させるかについての指針は得られない。このため、目的音声の推定スペクトル及び雑音の推定スペクトルを各分割スペクトルから抽出するには、別途の判断基準を設ける必要があった。
本発明はかかる事情に鑑みてなされたもので、独立成分解析法から得られる分割スペクトルの成分置換の不定性を解消しながら目的音声の推定スペクトルを抽出し目的音声を復元することが可能なブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法を提供することを目的とする。
ここで、ブラインド信号分離とは、複数の音源が混じり合った混合信号から元々の信号源を分離・復元する技術である。
前記目的に沿う本発明に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法は、異なる2つの音源からそれぞれ発信される目的音声及び雑音を、異なる位置に設けた第1及び第2のマイクでそれぞれ受信して混合信号を形成する第1工程と、
前記各混合信号を時間領域から周波数領域にフーリエ変換し、独立成分解析法により2つの分離信号U1 、U2 に分解して、前記各音源から前記第1及び第2のマイクまでの各伝達経路特性に基づいて、前記分離信号U1 から生成され前記第1のマイクで受信された複数のスペクトルv11及び前記第2のマイクで受信された複数のスペクトルv12と、前記分離信号U2 から生成され前記第1のマイクで受信された複数のスペクトルv21及び前記第2のマイクで受信された複数のスペクトルv22とで構成される分割スペクトルを形成する第2工程と、
前記各スペクトルv11、v12、v21、v22に対して、前記第1及び第2のマイクと前記各音源との間の伝達特性を含む前記各スペクトルv11、v12、v21、v22の振幅分布の形状に基づいた判定基準を適用して、前記目的音声に対応する複数の推定スペクトルZ* 及び前記雑音に対応する複数の推定スペクトルZをそれぞれ抽出し、該各推定スペクトルZ* から前記目的音声の復元スペクトル群を生成して、該復元スペクトル群を周波数領域から時間領域にフーリエ逆変換して前記目的音声を復元する第3工程とを有する。
目的音声音源から発信される目的音声と、雑音源から発信される雑音を、目的音声音源及び雑音源に対してそれぞれ異なる位置に第1及び第2のマイクを設置して、各マイクで目的音声と雑音を受信する。このとき、各マイクでは、目的音声と雑音が重なり合って観測されるため、目的音声と雑音が混合した混合信号が形成される。
目的音声と雑音は、一般に統計的に独立であると考えられる。このため、混合信号を、独立した成分に分解する統計的手法、例えば、独立成分解析法を採用して、2つの独立した成分に分離すると、得られた一方の成分が目的音声に、他方の成分が雑音に対応する。
なお、混合信号は、目的音声と雑音が反射や到達時間の遅れを伴った状態で畳み込まれて形成されるので、混合信号を時間領域から周波数領域にフーリエ変換すれば、瞬時混合のときの問題と同様に扱える。従って、周波数領域ICAにより目的音声信号と雑音信号に相当する分離信号U1 、U2 に分離する。
次いで、目的音声音源及び雑音源から第1及び第2のマイクまでの各伝達経路特性、例えば、目的音声及び雑音がどのような伝達経路を経てそれぞれ分離信号U1 、U2 として出力されるかを考慮して、各分離信号U1 、U2 に対して、分離信号U1 から第1のマイクで受信された複数のスペクトルv11と第2のマイクで受信された複数のスペクトルv12を生成する。同様に、分離信号U2 から第1のマイクで受信された複数のスペクトルv21と第2のマイクで受信された複数のスペクトルv22を生成する。そして、各スペクトルv11、v12、v21、v22から分割スペクトルを構成する。
ここで、時間領域では、音声と雑音の統計的性質の違いとして、音声信号の振幅分布の形状はスーパーガウシアン分布(分布の尖度が相対的に高く、かつ分布のすそ野が相対的に長い)に類似した形状を示し、雑音信号の振幅分布の形状は分布の尖度が相対的に低く、分布のすそ野が相対的に短い形状を示すことが知られている。
このことは、周波数領域でも成立すると考えられ、各周波数において音声に対応する分割スペクトル系列と雑音に対応する分割スペクトル系列についてその振幅分布の形状を求めると、音声に対応する分割スペクトル系列の形状はスーパーガウシアン分布に類似した形状を示し、雑音に対応する分割スペクトル系列の振幅分布の形状は分布の尖度が相対的に低く、分布のすそ野が相対的に短い形状を示すことが予想される。
ここで、各スペクトルv11、v12、v21、v22では、各スペクトルv11、v12が異なる2つの音源の中の一方の音源に対応し、各スペクトルv21、v22が異なる2つの音源の中の他方の音源に対応する。
従って、スペクトルv11とスペクトルv22(あるいはスペクトルv12とスペクトルv21)の振幅分布の形状を求め、形状がスーパーガウシアン分布に類似している方のスペクトルを目的音声に対応する推定スペクトルZ* とし、分布の尖度が相対的に低く、分布のすそ野が相対的に短い形状を示す方のスペクトルを雑音に対応する推定スペクトルZとして抽出することができる。
その結果、抽出した各推定スペクトルZ* から目的音声の復元スペクトル群を生成し、周波数領域から時間領域にフーリエ逆変換することにより目的音声を復元することができる。
本発明に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記形状を前記各スペクトルv11、v12、v21、v22の振幅分布のエントロピーHで評価することができる。
ここで、各スペクトルv11、v12、v21、v22の振幅分布は各振幅値が出現する際の確率密度関数に対応しており、振幅分布の形状は各振幅値の不確定性に対応していると考えることができる。そこで、振幅分布の形状を定量的に評価する方法として、例えば、エントロピーHを使用することができる。この場合、スーパーガウシアン分布に類似している形状のエントロピーHは、分布の尖度が相対的に低く、分布のすそ野が相対的に短い形状のエントロピーHより小さくなる。従って、音声に対応するスペクトルのエントロピーHは小さくなり、雑音に対応するスペクトルのエントロピーHは大きくなる。
なお、形状の定量的な評価方法として尖度(kurtsis)を使用することもできるが、異常値に対する評価の安定性が劣るという問題があり好ましくない。
本発明に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記エントロピーHは前記各スペクトルv11、v12、v21、v22を複素数で表示した際の実部の振幅分布に対して求めることができる。
複素数で表示された各スペクトルv11、v12、v21、v22の実部と虚部の振幅分布は、いずれも類似の形状を有しているため、実部あるいは虚部のどちらかの振幅分布に対してエントロピーHを求めればよい。ここで、各スペクトルv11、v12、v21、v22の中で音声や雑音の実体部分(信号の大きさ)に対応しているのは実部であるので、実部振幅分布に対してエントロピーHを求めることが好ましい。
本発明に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記エントロピーHは前記各スペクトルv11、v12、v21、v22を複素数で表示した際の絶対値の変動波形に対して求めることが好ましい。
絶対値の変動波形を対象にすることで、波形の変動領域を0以上の領域に限定することができ、エントロピーHを算出する際の計算量を大幅に減少させることができる。
本発明に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記判定基準は、前記スペクトルv11のエントロピーH11と前記スペクトルv22のエントロピーH22との差ΔH=H11−H22を演算して、
(1)前記ΔHが負の場合、前記推定スペクトルZ* として前記スペクトルv11を抽出し、
(2)前記ΔHが正の場合、前記推定スペクトルZ* として前記スペクトルv21を抽出するように設定することができる。
スペクトルv11、v12、v21、v22のエントロピーHを求めた場合、エントロピーH11とH12、及びエントロピーH21とH22はそれぞれ同じ音源に対するエントロピーを表しており、エントロピーH11とH12、エントロピーH21とH22はそれぞれ本質的に等価と考えることができる。
従って、スペクトルv11のエントロピーH11を一方の音源に対するエントロピー、スペクトルv22のH22を他方の音源に対するエントロピーとして採用することができる。そして、スペクトルv11のエントロピーH11とスペクトルv22のエントロピーH22をそれぞれ算出した際、音声に対応するスペクトルのエントロピーHは小さく、雑音に対応するスペクトルのエントロピーHは大きくなる。このことから、ΔHが負の場合はH11<H22なので、推定スペクトルZ* としてスペクトルv11を抽出する。また、ΔHが正の場合はH11>H22なので、推定スペクトルZ* としてスペクトルv21を抽出する。
請求項1〜5記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法においては、各音源に対して一義的に決定される各スペクトルの振幅分布の形状に基づいて、目的音声に対応する推定スペクトルZ* と雑音に対応する推定スペクトルZを決定するので、音声区間や収音環境に影響を受けずに成分置換の不定性を解消しながら目的音声の推定スペクトルを抽出し目的音声を復元することが可能になる。
その結果、雑音環境下での音声認識として、例えば、OA分野での音声指令、音声入力、流通業界での倉庫管理やカーナビゲーターへの音声指令等、従来のタッチセンサ、指、及びキーボードを用いた入力操作の代替が可能になる。
特に、請求項2記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法においては、スペクトルに異常値が含まれていても各スペクトルの振幅分布の形状を確実に評価することができるので、目的音声に対応する推定スペクトルZ* と雑音に対応する推定スペクトルZをそれぞれ抽出することが可能になる。
請求項3記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法においては、音声や雑音の実体部分に対してエントロピーHを求めるようにしているので、目的音声の復元に使用するスペクトルを直接抽出することが可能になる。
請求項4記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法においては、エントロピーHを算出する際の計算量を大幅に減少させることができ、エントロピーHを素早く求めることが可能になる。
請求項5記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法においては、スペクトルv11のエントロピーH11を一方の音源に対するエントロピー、スペクトルv22のH22を他方の音源に対するエントロピーとして採用することができるので、目的音声に対応する推定スペクトルZ* を少ない計算量で精度良く抽出することが可能になる。その結果、実環境下で音声復元の応答速度が速く、しかも、認識能力の極めて高い音声認識エンジンを供給することが可能になる。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1は本発明の一実施の形態に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法を適用した目的音声の復元装置の構成図、図2は同復元方法における目的音声及び雑音から復元スペクトルが形成されるまでの信号の流れを示す説明図、図3(A)は音声に対応する分割スペクトルの実部、(B)は雑音に対応する分割スペクトルの実部、(C)は音声に対応する分割スペクトルの実部の振幅分布、(D)は雑音に対応する分割スペクトルの実部の振幅分布の説明図である。
図1に示すように、本発明の一実施の形態に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法を適用した目的音声の復元装置10は、異なる2つの音源11、12(一方が目的音声音源で他方が雑音源であるが、特定されていない)からそれぞれ発信される信号を受信する異なる位置に設けた第1のマイク13及び第2のマイク14と、各マイク13、14で受信されて得られた混合信号をそれぞれ増幅する第1及び第2の増幅器15、16と、各増幅器15、16から入力される混合信号から目的音声及び雑音を分離して復元信号として出力する復元装置本体17と、出力された復元信号を増幅する復元信号増幅器18と、増幅された復元信号を出力するスピーカ19を有している。以下、これらについて詳細に説明する。
第1及び第2のマイク13、14としては、例えば、可聴音域(10〜20000Hz)の信号を集音するのに十分な周波数特性を有するマイクを使用することができる。なお、第1のマイク13と音源11、12の位置関係、及び第2のマイク14と音源11、12の位置関係に制約は存在しない。
第1及び第2の増幅器15、16としては、可聴音域の信号を歪みなく増幅可能な周波数帯域の特性を備えた増幅器を使用できる。
復元装置本体17は、各増幅器15、16から入力される混合信号をデジタル化するためのA/D変換器20、21を有している。
また、復元装置本体17は、デジタル化された各混合信号を時間領域から周波数領域にフーリエ変換し、独立成分解析法の一例であるFastICA法により2つの分離信号U1 、U2 に分解する分離信号作成演算回路と、音源11及び音源12から第1及び第2のマイク13、14までの各伝達経路特性に基づいて、分離信号U1 から第1のマイク13で受信された複数のスペクトルv11と第2のマイク14で受信された複数のスペクトルv12を生成し、分離信号U2 から第1のマイク13で受信された複数のスペクトルv21と第2のマイク14で受信された複数のスペクトルv22を生成して分割スペクトルを形成する分割スペクトル生成演算回路を備えた分割スペクトル生成器22を有している。
更に、復元装置本体17は、分割スペクトル生成器22で生成させた各スペクトルv11、v12、v21、v22に対して、第1及び第2のマイク13、14と各音源11、12との間の伝達特性を含む各スペクトルv11、v12、v21、v22の振幅分布の形状に基づいた判定基準を適用して、目的音声に対応する複数の推定スペクトルZ* 及び雑音に対応する複数の推定スペクトルZをそれぞれ抽出し、各推定スペクトルZ* から目的音声の復元スペクトル群を生成して出力する復元スペクトル抽出回路23と、出力された復元スペクトル群を周波数領域から時間領域にフーリエ逆変換して復元信号を生成させる復元信号生成回路24を有している。
そして、分離信号作成演算回路及び分割スペクトル生成演算回路を備えた分割スペクトル生成器22と、復元スペクトル抽出回路23と、復元信号生成回路24は、各回路の機能を発現する各プログラムを、例えば、パーソナルコンピュータに搭載させることにより構成することができる。また、各プログラムをマイクロコンピュータに搭載させ、これらのマイクロコンピュータが連携動作可能なように回路を形成することにより構成することもできる。
特に、パーソナルコンピュータに各プログラムを搭載させた場合は、このパーソナルコンピュータにA/D変換器20、21を取付けることにより、復元装置本体17を一括して構成することができる。
また、復元信号増幅器18は、復元信号をアナログ変換して可聴音域を歪みなく増幅することが可能な特性を備えた増幅器を使用することができ、スピーカ19も可聴音域の信号を歪みなく出力可能な特性を備えたスピーカを使用できる。
次に、本発明の一実施の形態に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法は、図1に示すように、異なる2つの音源11、12からそれぞれ発信される信号s1 (t)及び信号s2 (t)を、異なる位置に設けた第1及び第2のマイク13、14でそれぞれ受信して混合信号x1 (t)、x2 (t)を形成する第1工程を有している。
また、本発明の一実施の形態に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法は、各混合信号x1 (t)、x2 (t)を時間領域から周波数領域にフーリエ変換し、独立成分解析法により2つの分離信号U1 、U2 に分解して、各音源11、12から前記第1及び第2のマイク13、14までの各伝達経路特性に基づいて、分離信号U1 から生成される第1のマイク13で受信された複数のスペクトルv11及び第2のマイク14で受信された複数のスペクトルv12と、分離信号U2 から生成される第1のマイク13で受信された複数のスペクトルv21及び第2のマイク14で受信された複数のスペクトルv22とで構成される分割スペクトルを形成する第2工程を有している。
更に、本発明の一実施の形態に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法は、各スペクトルv11、v12、v21、v22に対して、第1及び第2のマイク13、14と各音源11、12との間の伝達特性を含む各スペクトルv11、v12、v21、v22の振幅分布の形状に基づいた判定基準を適用して、目的音声に対応する複数の推定スペクトルZ* 及び雑音に対応する複数の推定スペクトルZをそれぞれ抽出し、各推定スペクトルZ* から目的音声の復元スペクトル群を生成して、復元スペクトル群を周波数領域から時間領域にフーリエ逆変換して前記目的音声を復元する第3工程とを有する。なお、tは時間を示す。以下、これらの各工程について詳細に説明する。
(第1工程)
音源11から発信される信号s1 (t)と、音源12から発信される雑音信号s2 (t)は、一般に統計的に独立と考えることができる。そして、信号s1 (t)と信号s2 (t)を、異なる位置に設置した第1及び第2のマイク13、14で受信して得られる各混合信号x1 (t)、x2 (t)は、式(1)のように表記できる。
ここで、s(t)=[s1 (t),s2 (t)]T 、x(t)=[x1 (t),x2 (t)]T 、*は畳み込み記号、G(t)は各音源11、12から各マイク13、14までのそれぞれの伝達関数である。
Figure 2005091732
(第2工程)
(1)式のように、各音源11、12からの信号が畳み込まれて観測される場合、各混合信号x1 (t)、x2 (t)から、信号s1 (t)と信号s2 (t)を、時間領域で分離することは困難となる。そのため、混合信号x1 (t)、x2 (t)を式(2)のように短時間間隔(フレーム)、例えば数10msec程度の時間間隔で分割し、各フレーム毎に時間領域から周波数領域にフーリエ変換して扱う。また、得られた各周波数におけるスペクトルをフレーム順に並べることにより、スペクトルを時系列として扱うことができる。
Figure 2005091732
ここに、ω(=0,2π/Μ,・・・,2π(Μ−1)/Μ)は規格化周波数、Μはフレーム内のサンプル数、w(t)は窓関数、τはフレーム周期、Κはフレーム数を表す。
このとき混合信号スペクトルx(ω,k)と、信号s1 (t)及び信号s2 (t)の各スペクトルは、周波数領域で式(3)のように関係づけられる。ここに、s(ω,k)はs(t)を窓掛けして離散フーリエ変換したもので、G(ω)はG(t)を離散してフーリエ変換して得られる複素定数行列である。
ここで、信号スペクトルs1 (ω,k)及び信号スペクトルs2 (ω,k)は本来独立であるので、FastICA法を用いて、混合信号スペクトルx(ω,k)から、互いに独立となる分離信号スペクトルU1 (ω,k)、U2 (ω,k)を求めると、これらのスペクトルが信号スペクトルs1 (ω,k)及び信号スペクトルs2 (ω,k)に相当することになる。
すなわち、混合信号スペクトルx(ω,k)と分離信号スペクトルU1 (ω,k)、U2 (ω,k)の間に、式(4)の関係が成立するような分離行列H(ω)を求めることにより、混合信号スペクトルx(ω,k)から、互いに独立となる分離信号スペクトルU1 (ω,k)、U2 (ω,k)を決定することができる。ここで、u(ω,k)=[U1 (ω,k),U2 (ω,k)]T である。
Figure 2005091732
Figure 2005091732
なお、周波数領域では、個々の周波数ωで、式(5)のように振幅の曖昧さや成分置換の問題が生じる。そのため、復元するのに意味ある分離信号を得るには、これらの問題を解決する必要がある。
ここにQ(ω)は白色化行列、Pは各行と列の全ての要素が値1である1つの要素を除いて0である成分置換を表す行列、D(ω)=diag[d1 (ω),d2 (ω)]は振幅の曖昧さを表す対角行列である。
Figure 2005091732
次に、周波数領域で、各信号スペクトルsi (ω,k)(i=1,2)を、その実部と虚部は平均がゼロで等しい分散をもち、実部と虚部は無相関という仮定の下で次のように定式化する。すなわち、周波数ωにおいて、分離荷重hn (ω)(n=1,2)を式(6)、式(7)に示す独立成分解析法の一例であるFastICA法のアルゴリズムに従って更新する。
ここに、f(・・・)は式(6)中の非線型関数で、f′(・・・)はf(・・・)の微分、 ̄は共役、Κはフレームのサンプル数である。
Figure 2005091732
Figure 2005091732
このアルゴリズムは、式(8)に示す収束条件CCがほぼ1(例えば、CCが0.9999以上)を満たすまで、繰り返される。さらに、h2 (ω)については、式(9)のように、h1 (ω)と直交化させて再び(7)式により規格化する。
Figure 2005091732
Figure 2005091732
上述のFastICA法のアルゴリズムを各周波数ωについて適用し、得られる分離荷重hn (ω)(n=1,2)を式(4)のH(ω)に対して、式(10)として代入すれば、各周波数での分離信号スペクトルu(ω,k)=[U1 (ω,k),U2 (ω,k)]Tが求まる。
Figure 2005091732
図2に示すように、分離信号スペクトルU1 (ω,k)、U2 (ω,k)が出力される2つのノードを1、2と表記する。
このとき、分割スペクトルv1 (ω,k)=[v11(ω,k),v12(ω,k)]T 、v2 (ω,k)=[v21(ω,k),v22(ω,k)]T は、分離信号スペクトルUn (ω,k)から、式(11)、(12)に示すように、各ノードn(=1,2)で対になって生成されるスペクトルとして定義する。
Figure 2005091732
Figure 2005091732
ここで、成分置換は生じていないが、振幅の曖昧さが存在する場合、分離信号スペクトルUn (ω,k)は、式(13)として出力される。そして、この分離信号Un (ω,k)に対する分割スペクトルは、信号スペクトルs1 (ω,k)及信号スペクトルs2 (ω,k)と伝達関数との積として、式(14)、式(15)のように生成される。
なお、g11(ω)は音源11から第1のマイク13までの伝達関数、g21(ω)は音源11から第2のマイク14までの伝達関数、g12(ω)は音源12から第1のマイク13までの伝達関数、g22(ω)は音源12から第2のマイク14までの伝達関数を示す。
Figure 2005091732
Figure 2005091732
Figure 2005091732
また、成分置換と振幅の曖昧さの両方がある場合、分離信号スペクトルUn (ω,k)は、式(16)となって、ノード1、2での分割スペクトルは、式(17)、式(18)のように生成される。
なお、ノード1で生成するスペクトルv11(ω,k)は、音源12から発信された信号スペクトルs2 (ω,k)を第1のマイク13で観測したときのスペクトル、ノード1で生成するスペクトルv12(ω,k)は、音源12から発信された信号スペクトルs2 (ω,k)を第2のマイク14で観測したときのスペクトルを示す。また、ノード2で生成するスペクトルv21(ω,k)は、音源11から発信された信号スペクトルs1 (ω,k)を第1のマイク13で観測したときのスペクトル、ノード2で生成するスペクトルv22(ω,k)は、音源11から発信された信号スペクトルs1 (ω,k)を第2のマイク14で観測したときのスペクトルを示す。
Figure 2005091732
Figure 2005091732
Figure 2005091732
(第3工程)
図2に示す4つのスペクトルv11(ω,k)、v12(ω,k)、v21(ω,k)、v22(ω,k)は、成分置換の有無に依存して対応する音源と伝達経路は異なるが、それぞれどれか1つの音源とどれか1つの伝達経路の排他的な組み合わせで一意に決まることが判る。更に、分離信号スペクトルUn (ω,k)には、式(13)、(16)のように振幅の曖昧さが残るが、分割スペクトルには、式(14)、(15)及び式(17)、(18)に示すように、もはや振幅の曖昧さの問題は生じていない。
ここで、時間領域では、音声と雑音の統計的性質の違いとして、音声信号の振幅分布の形状はスーパーガウシアン分布に類似した形状を示し、雑音信号の振幅分布の形状は分布の尖度が相対的に低く、分布のすそ野が相対的に短い形状を示すことが知られている。
そこで、図3(A)に示す音声に対応する分割スペクトルの実部、(B)に示す雑音に対応する分割スペクトルの実部に対してそれぞれ振幅分布の形状を求めた。その結果を図3(C)及び(D)に示す。図3(C)、(D)から判るように、周波数領域においても、音声がスーパーガウシアン分布に類似した形状を示し、雑音は分布の尖度が相対的に低く、分布のすそ野が相対的に短い形状を示すことが確認できた。
従って、各周波数においてスペクトルv11及びスペクトルv22の各実部の振幅分布を調べ、スーパーガウシアン分布に類似した形状を示すスペクトルを目的音声に対応する推定スペクトルZ* とし、分布の尖度が相対的に低く、分布のすそ野が相対的に短い形状を示すスペクトルを雑音に対応する推定スペクトルZとして当てはめることができる。
各スペクトルv11、v22の振幅分布の形状は不確定性の観点からエントロピーHで評価することができるので、振幅分布の形状を評価する尺度として式(19)で求められるエントロピーHを採用する。
Figure 2005091732
ここに、pij(ω,ln )は、各スペクトルv11、v22の実部の値の分布範囲をN等分したとき区画ln に入る頻度q(ω,ln )(n=1,2,・・・,N)を、式(20)のように規格化して得られる確率である。
Figure 2005091732
そして、スペクトルv11のエントロピーH11とスペクトルv22のエントロピーH22から両者の差ΔH=H11−H22を演算して、ΔHが負の場合、成分置換はないと判断して目的音声に対応する推定スペクトルZ* としてスペクトルv11を割り当て、雑音に対応する推定スペクトルZとしてスペクトルv22を割り当てる。例えば、[Z* ,Z]=[v11,v22]の変換を行って第1チャネルから目的音声が出力されるようにする。
逆に、ΔHが正の場合、成分置換が起きていると判断して目的音声に対応する推定スペクトルZ* としてスペクトルv21を割り当て、雑音に対応する推定スペクトルZとしてスペクトルv12を割り当てる。すなわち、[Z* ,Z]=[v21,v12]と成分置換を是正する変換を行って、第1チャネルから目的音声が出力されるようにする。
従って、第1チャネルから出力される各推定スペクトルZ* から目的音声の復元スペクトル群{y(ω,k)|k=0,1,・・・,K−1}を生成して、フレーム毎に逆離散フーリエ変換(フーリエ逆変換)して時間領域に戻して、それをすべてのフレームにわたって式(21)のように総和を取れば、目的音声音源の復元信号y(t)が得られる。
Figure 2005091732
(実施例1)
縦747cm、横628cm、高さ269cmで、残響時間が約400msecのオフィス及び約800msecの会議室において、2つのマイクを10cm隔てて設置し、2つのマイクを結ぶ直線と垂直な方向を0°として、一方のマイクから10°外向きの方向に150cm離したスピーカから騒音が流れる下で、他方のマイクから10°外向きに30cm離れたところで、話者に発話してもらった。
マイクで集音されたデータは、サンプリング周波数8000Hz、分解能16Bitで離散化し、フーリエ変換は、フレーム長を32msec、フレーム周期を8msec、窓関数をハミング窓として行った。
また、分離については、マイク(周波数特性が200〜5000Hzの単一指向性コンデンサマイク(OLIMPUS−ME12))の周波数特性を考慮して、200〜3500Gzの範囲でFastICAアルゴリズム(ビンガム、ヒバリネン(E.Binghamand A.Hyvarinen)、”ア ファスト フィクスト−ポイント アルゴリズム フォア インディペンデント コンポーネント アナリシス オブ コンプレックス ヴァルード シグナルズ(A fast fixed−point algorithm for independent component analysis of complex valued signals)”インターナショナル ジャーナル オブ ニューラル システムズ(Int.J of Neural Systems)、2000年2月、10巻、1号、p.1−8)を適用した。その際の初期荷重は−1〜1の乱数、繰り返し回数を最大100回、収束判定条件CC>0.999999として推定した。そして、エントロピーHは分布範囲の区画数をN=200として求めた。
雑音源として、スピーカから高速走行時のロードノイズとやや非定常的な2種類の騒音(NTT騒音データベース(NTTアドバンストテクノロジー株式会社、アンビエント ノイズ データベース フォア テレホノメトリ 1996(Ambient NoiseDatabase for Telephonometry 1996)、1996年9月1日)中の2種類の非定常雑音(クラシカル(classical)、ステーション(station))を流す中で、男女各1名の話者に3種類の音声パターン(約3秒)を発話してもらって、混合信号を収録した。また、雑音については、2つのマイクの中央部での測定で70dBと80dBの2つのレベルを試みた。
先ず、FastICAアルゴリズムで求めた分離信号U1 、U2 から得られるスペクトルv11、スペクトルv22について、各周波数で成分置換の有無が判定できる程良好に分離されているか否かを目視により調べた。
その結果、分離が悪く判定不能と判断した周波数は、主に低周波域で散見され、雑音が70dBのとき、無響室で0.9%、オフィスで1.89%、会議室で3.38%で、雑音が80dBのとき、無響室で2.3%、オフィスで9.5%、会議室で12.3%と増えた。
従って、これらの分離の悪い周波数は除外して、従来法の一例である包絡法及び位置情報法(ゴタンダ、ノブ、コヤ、カネダ、イシバシ、ハラタニ(H.Gotannda,K.Nobu,T.Koya,K.Kaneda,T.Ishibashi,N.Haratani)、”パーミュテイション コレクション アンド スピーチ イクストラクション ベイスド オン スプリット スペクトラム スルー ファストアイシーエイ(Permutation Correction And Speech Extraction Based On Split Spectram Through FastICA)”、プロシーディング オブ インターナショナル シンポジウム オン インディペンデント コンポーネント アナリシス アンド ブラインド シグナル セパレイション(Proc.International Symposium on Independent Component Analisis and Blind Signal Separation)、2003年4月1日、p379−384)と、本発明の方法による成分置換の是正能力をそれぞれ評価し比較した。
具体的には、各方法を適用した後、最終的に得られる目的音声に対応する推定スペクトルを、評価対象の周波数ω毎に目視により成分置換が是正されているか否かを調べ、成分置換が是正されている周波数の個数をF+ 、是正されていない周波数の個数をF- として、成分置換解消率をF+ /(F+ +F- )と定義して、是正能力を評価した。その結果を表1に示す。
Figure 2005091732
表1から、雑音レベルが70dBの場合、残響時間が約800msecと長い会議室での位置情報法による解決率が57.7%と極めて低いのを除いて、3つの方法とも9割以上の是正能力があることが判る。
特に、本発明の方法では、残響に影響されることなく安定して99%以上の高い是正能力を示している。また、位置情報法の場合、残響時間が長くなるにつれて是正能力が低下することが読み取れる。この方法は、話者がマイクと10cm程度と近接している場合、話者音声がマイクに強く入るので、残響時間が400msec程度の部屋でも有効に機能するが、実施例1のように、話者とマイクとの距離を30cmと離した場合、残響やマイク配置が伝達関数gi j (ω)の値に大きく影響するようになって、是正能力が劣化すると考えられる。
更に、成分置換解消率が9割以上の結果について、波形的な違いを目視により調べると各方法で若干の差が認められ、聴感上では本発明の方法による復元音声が最も明瞭であった。
雑音レベルが80dBの場合、本発明の方法は他の方法に比べて、いずれの部屋でも99%以上の高い成分置換解消率を示しており、雑音レベルや残響の影響に対して頑強であることが確認できた。また、包絡法と本発明による結果を比較したところ、波形的にも聴感的にも本発明の方法が優れていることが確認された。
(実施例2)
窓を閉めて、エアコンを運転し、またロック音楽を前方の2つと側部の2つのスピーカから流しながら高速走行(90〜100km/h)している車内で、助手席話者からの発話をその正面上部の35cm離れた話者用マイクと、これから窓側もしくは中央寄りに15cm離れた雑音用マイクで集音した。なお、雑音レベルは73dBであった。また、発話者や発話内容、マイク、分離アルゴリズム、サンプリング周波数等は実施例1と同様に設定した。
先ず、FastICAアルゴリズムで求めた分離信号U1 、U2 から得られるスペクトルv11、スペクトルv22について、各周波数で成分置換の有無が判定できる程良好に分離されているか否かを目視により調べた。その結果、分離が悪く判定不能と判断された周波数は20%に上がった。
これは、音楽が4方向のスピーカから流れてくることに加えて、エンジンやエアコンの音等のマイク数を上回る音源が混合されたことにより、分離性能が劣化したためと考えられる。従って、これらの分離の悪かった周波数は除外して、包絡法、位置情報法、及び本発明の方法による成分置換の是正能力を実施例1と同様の成分置換解消率で評価した。その結果を表2に示す。
Figure 2005091732
表2から、包絡法による場合、成分置換は9割弱程度が是正されており、雑音用マイクの固定位置により数パーセントの違いが出ることが判った。一方、本発明の方法では、雑音用マイクの固定位置によらず、成分置換解消率は99%以上となっており、有効に機能していることが分かる。なお、位置情報による方法では、成分置換解消率が8割程度と、包絡法及び本発明の方法を下回る結果となった。
以上、本発明の実施の形態を説明したが、本発明は、この実施の形態に限定されるものではなく、発明の要旨を変更しない範囲での変更は可能であり、前記したそれぞれの実施の形態や変形例の一部又は全部を組み合わせて本発明のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法を構成する場合も本発明の権利範囲に含まれる。
例えば、第1チャネル(ノード1)から目的音声が出力されるようにしたが、ΔHが負の場合は[Z,Z* ]=[v22,v11]の変換を行ない、ΔHが正の場合は[Z,Z* ]=[v12,v21]の変換を行って、第2チャネル(ノード2)から目的音声が出力されるようにしてもよい。
また、エントロピーH11の代りにエントロピーH12、エントロピーH22の代りにエントロピーH21を使用してもよい。
更に、複素数で表示された各スペクトルv11、v12、v21、v22の実部振幅分布に対してエントロピーHを求めたが、虚部振幅分布に対してエントロピーHを求めてもよい。また、複素数で表示された各スペクトルv11、v12、v21、v22の絶対値に関する変動波形に対してエントロピーHを求めるようにしてもよい。
本発明の一実施の形態に係るブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法を適用した目的音声の復元装置の構成図である。 同復元方法における目的音声及び雑音から復元スペクトルが形成されるまでの信号の流れを示す説明図である。 (A)は音声に対応する分割スペクトルの実部、(B)は雑音に対応する分割スペクトルの実部、(C)は音声に対応する分割スペクトルの実部の振幅分布、(D)は雑音に対応する分割スペクトルの実部の振幅分布の説明図である。
符号の説明
10:目的音声の復元装置、11、12:音源、13:第1のマイク、14:第2のマイク、15:第1の増幅器、16:第2の増幅器、17:復元装置本体、18:復元信号増幅器、19:スピーカ、20、21:A/D変換器、22:分割スペクトル生成器、23:復元スペクトル抽出回路、24:復元信号生成回路

Claims (5)

  1. 異なる2つの音源からそれぞれ発信される目的音声及び雑音を、異なる位置に設けた第1及び第2のマイクでそれぞれ受信して混合信号を形成する第1工程と、
    前記各混合信号を時間領域から周波数領域にフーリエ変換し、独立成分解析法により2つの分離信号U1 、U2 に分解して、前記各音源から前記第1及び第2のマイクまでの各伝達経路特性に基づいて、前記分離信号U1 から生成され前記第1のマイクで受信された複数のスペクトルv11及び前記第2のマイクで受信された複数のスペクトルv12と、前記分離信号U2 から生成され前記第1のマイクで受信された複数のスペクトルv21及び前記第2のマイクで受信された複数のスペクトルv22とで構成される分割スペクトルを形成する第2工程と、
    前記各スペクトルv11、v12、v21、v22に対して、前記第1及び第2のマイクと前記各音源との間の伝達特性を含む前記各スペクトルv11、v12、v21、v22の振幅分布の形状に基づいた判定基準を適用して、前記目的音声に対応する複数の推定スペクトルZ* 及び前記雑音に対応する複数の推定スペクトルZをそれぞれ抽出し、該各推定スペクトルZ* から前記目的音声の復元スペクトル群を生成して、該復元スペクトル群を周波数領域から時間領域にフーリエ逆変換して前記目的音声を復元する第3工程とを有することを特徴とするブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法。
  2. 請求項1記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記形状を前記各スペクトルv11、v12、v21、v22の振幅分布のエントロピーHで評価することを特徴とするブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法。
  3. 請求項2記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記エントロピーHは前記各スペクトルv11、v12、v21、v22を複素数で表示した際の実部の振幅分布に対して求めることを特徴とするブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法。
  4. 請求項2記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記エントロピーHは前記各スペクトルv11、v12、v21、v22を複素数で表示した際の絶対値の変動波形に対して求めることを特徴とするブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法。
  5. 請求項2及び3のいずれか1項に記載のブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法において、前記判定基準は、前記スペクトルv11のエントロピーH11と前記スペクトルv22のエントロピーH22との差ΔH=H11−H22を演算して、
    (1)前記ΔHが負の場合、前記推定スペクトルZ* として前記スペクトルv11を抽出し、
    (2)前記ΔHが正の場合、前記推定スペクトルZ* として前記スペクトルv21を抽出するように設定されていることを特徴とするブラインド信号分離で求めた分割スペクトルの振幅分布の形状に基づく目的音声の復元方法。
JP2003324733A 2003-09-17 2003-09-17 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法 Expired - Fee Related JP4496379B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003324733A JP4496379B2 (ja) 2003-09-17 2003-09-17 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US10/572,427 US7562013B2 (en) 2003-09-17 2004-08-31 Method for recovering target speech based on amplitude distributions of separated signals
PCT/JP2004/012898 WO2005029467A1 (en) 2003-09-17 2004-08-31 A method for recovering target speech based on amplitude distributions of separated signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003324733A JP4496379B2 (ja) 2003-09-17 2003-09-17 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法

Publications (2)

Publication Number Publication Date
JP2005091732A true JP2005091732A (ja) 2005-04-07
JP4496379B2 JP4496379B2 (ja) 2010-07-07

Family

ID=34372753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003324733A Expired - Fee Related JP4496379B2 (ja) 2003-09-17 2003-09-17 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法

Country Status (3)

Country Link
US (1) US7562013B2 (ja)
JP (1) JP4496379B2 (ja)
WO (1) WO2005029467A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193035A (ja) * 2006-01-18 2007-08-02 Sony Corp 音声信号分離装置及び方法
JP2008039694A (ja) * 2006-08-09 2008-02-21 Toshiba Corp 信号数推定システム及び信号数推定方法
JP2009217063A (ja) * 2008-03-11 2009-09-24 Toyota Motor Corp 信号分離装置及び信号分離方法
JP2011081293A (ja) * 2009-10-09 2011-04-21 Toyota Motor Corp 信号分離装置、信号分離方法
KR101197407B1 (ko) 2005-01-26 2012-11-05 소니 주식회사 음성 신호 분리 장치 및 방법
US9159335B2 (en) 2008-10-10 2015-10-13 Samsung Electronics Co., Ltd. Apparatus and method for noise estimation, and noise reduction apparatus employing the same
JP2019200259A (ja) * 2018-05-15 2019-11-21 角元 純一 音声と非音声の度合いの検出方法
JP2020060612A (ja) * 2018-10-05 2020-04-16 富士通株式会社 音声信号処理プログラム、音声信号処理方法及び音声信号処理装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3827317B2 (ja) * 2004-06-03 2006-09-27 任天堂株式会社 コマンド処理装置
US7729909B2 (en) * 2005-03-04 2010-06-01 Panasonic Corporation Block-diagonal covariance joint subspace tying and model compensation for noise robust automatic speech recognition
ATE492875T1 (de) * 2005-06-24 2011-01-15 Univ Monash Sprachanalysesystem
CN101322183B (zh) * 2006-02-16 2011-09-28 日本电信电话株式会社 信号失真消除装置、方法
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
JP4867516B2 (ja) * 2006-08-01 2012-02-01 ヤマハ株式会社 音声会議システム
KR100891666B1 (ko) 2006-09-29 2009-04-02 엘지전자 주식회사 믹스 신호의 처리 방법 및 장치
WO2008044901A1 (en) 2006-10-12 2008-04-17 Lg Electronics Inc., Apparatus for processing a mix signal and method thereof
KR101100221B1 (ko) 2006-11-15 2011-12-28 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 그 장치
KR101100222B1 (ko) 2006-12-07 2011-12-28 엘지전자 주식회사 오디오 처리 방법 및 장치
WO2008069584A2 (en) 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
JP4950733B2 (ja) * 2007-03-30 2012-06-13 株式会社メガチップス 信号処理装置
US8249867B2 (en) * 2007-12-11 2012-08-21 Electronics And Telecommunications Research Institute Microphone array based speech recognition system and target speech extracting method of the system
WO2009151578A2 (en) * 2008-06-09 2009-12-17 The Board Of Trustees Of The University Of Illinois Method and apparatus for blind signal recovery in noisy, reverberant environments
US8073634B2 (en) * 2008-09-22 2011-12-06 University Of Ottawa Method to extract target signals of a known type from raw data containing an unknown number of target signals, interference, and noise
KR101233271B1 (ko) * 2008-12-12 2013-02-14 신호준 신호 분리 방법, 상기 신호 분리 방법을 이용한 통신 시스템 및 음성인식시스템
JP5207479B2 (ja) * 2009-05-19 2013-06-12 国立大学法人 奈良先端科学技術大学院大学 雑音抑圧装置およびプログラム
JP5375400B2 (ja) * 2009-07-22 2013-12-25 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
CN102447993A (zh) * 2010-09-30 2012-05-09 Nxp股份有限公司 声音场景操纵
FR2976111B1 (fr) * 2011-06-01 2013-07-05 Parrot Equipement audio comprenant des moyens de debruitage d'un signal de parole par filtrage a delai fractionnaire, notamment pour un systeme de telephonie "mains libres"
CN102543098B (zh) * 2012-02-01 2013-04-10 大连理工大学 一种分频段切换cmn非线性函数的频域语音盲分离方法
US10497381B2 (en) 2012-05-04 2019-12-03 Xmos Inc. Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
EP2845191B1 (en) 2012-05-04 2019-03-13 Xmos Inc. Systems and methods for source signal separation
EP3042377B1 (en) 2013-03-15 2023-01-11 Xmos Inc. Method and system for generating advanced feature discrimination vectors for use in speech recognition
CN113077808B (zh) * 2021-03-22 2024-04-26 北京搜狗科技发展有限公司 一种语音处理方法、装置和用于语音处理的装置
CN113576527A (zh) * 2021-08-27 2021-11-02 复旦大学 一种利用声控进行超声输入判断的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023776A (ja) 2000-07-13 2002-01-25 Univ Kinki ブラインドセパレーションにおける話者音声と非音声雑音の識別方法及び話者音声チャンネルの特定方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101197407B1 (ko) 2005-01-26 2012-11-05 소니 주식회사 음성 신호 분리 장치 및 방법
JP2007193035A (ja) * 2006-01-18 2007-08-02 Sony Corp 音声信号分離装置及び方法
US7797153B2 (en) 2006-01-18 2010-09-14 Sony Corporation Speech signal separation apparatus and method
JP4556875B2 (ja) * 2006-01-18 2010-10-06 ソニー株式会社 音声信号分離装置及び方法
JP2008039694A (ja) * 2006-08-09 2008-02-21 Toshiba Corp 信号数推定システム及び信号数推定方法
JP2009217063A (ja) * 2008-03-11 2009-09-24 Toyota Motor Corp 信号分離装置及び信号分離方法
US9159335B2 (en) 2008-10-10 2015-10-13 Samsung Electronics Co., Ltd. Apparatus and method for noise estimation, and noise reduction apparatus employing the same
JP2011081293A (ja) * 2009-10-09 2011-04-21 Toyota Motor Corp 信号分離装置、信号分離方法
JP2019200259A (ja) * 2018-05-15 2019-11-21 角元 純一 音声と非音声の度合いの検出方法
JP2020060612A (ja) * 2018-10-05 2020-04-16 富士通株式会社 音声信号処理プログラム、音声信号処理方法及び音声信号処理装置

Also Published As

Publication number Publication date
JP4496379B2 (ja) 2010-07-07
WO2005029467A1 (en) 2005-03-31
US20070100615A1 (en) 2007-05-03
US7562013B2 (en) 2009-07-14

Similar Documents

Publication Publication Date Title
JP4496379B2 (ja) 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US6266633B1 (en) Noise suppression and channel equalization preprocessor for speech and speaker recognizers: method and apparatus
EP1914727B1 (en) Noise suppression methods and apparatuses
JP3950930B2 (ja) 音源の位置情報を利用した分割スペクトルに基づく目的音声の復元方法
EP1891624B1 (en) Multi-sensory speech enhancement using a speech-state model
JP6622159B2 (ja) 信号処理システム、信号処理方法およびプログラム
JP6371516B2 (ja) 音響信号処理装置および方法
US7533017B2 (en) Method for recovering target speech based on speech segment detection under a stationary noise
Liu et al. VoiceFixer: Toward general speech restoration with neural vocoder
JP6482173B2 (ja) 音響信号処理装置およびその方法
KR102191736B1 (ko) 인공신경망을 이용한 음성향상방법 및 장치
JP4462617B2 (ja) 音源分離装置,音源分離プログラム及び音源分離方法
JP4496378B2 (ja) 定常雑音下における音声区間検出に基づく目的音声の復元方法
Lv et al. A permutation algorithm based on dynamic time warping in speech frequency-domain blind source separation
Do et al. Speech Separation in the Frequency Domain with Autoencoder.
CN112185405B (zh) 一种基于差分运算和联合字典学习的骨导语音增强方法
US6373953B1 (en) Apparatus and method for De-esser using adaptive filtering algorithms
Al-Ali et al. Enhanced forensic speaker verification using multi-run ICA in the presence of environmental noise and reverberation conditions
Kalamani et al. Modified least mean square adaptive filter for speech enhancement
CN111968627B (zh) 一种基于联合字典学习和稀疏表示的骨导语音增强方法
JP6524463B2 (ja) 自動ミキシング装置およびプログラム
JP5113096B2 (ja) 音源分離方法、装置およびプログラム
JP6519801B2 (ja) 信号解析装置、方法、及びプログラム
KR101732399B1 (ko) 스테레오 채널을 이용한 음향 검출 방법
Ishibashi et al. Blind source separation for human speeches based on orthogonalization of joint distribution of observed mixture signals

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060301

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees