JP2005234479A - 音源分離装置 - Google Patents
音源分離装置 Download PDFInfo
- Publication number
- JP2005234479A JP2005234479A JP2004046680A JP2004046680A JP2005234479A JP 2005234479 A JP2005234479 A JP 2005234479A JP 2004046680 A JP2004046680 A JP 2004046680A JP 2004046680 A JP2004046680 A JP 2004046680A JP 2005234479 A JP2005234479 A JP 2005234479A
- Authority
- JP
- Japan
- Prior art keywords
- inverse matrix
- sound source
- voice
- source separation
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 最初に逆行列が演算されるまでの間に、各マイクを介して混合信号が入力されたとしても、話者音声に対応する信号を分離する処理を適切に実行する。
【解決手段】 音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算する逆行列演算手段と、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段と、を備える音源分離装置であって、特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段と、現在の状況を検出する検出手段と、前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段と、を備え、前記音源分離手段は、前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する。
【選択図】図1
【解決手段】 音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算する逆行列演算手段と、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段と、を備える音源分離装置であって、特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段と、現在の状況を検出する検出手段と、前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段と、を備え、前記音源分離手段は、前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する。
【選択図】図1
Description
本発明は、音源からマイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算し、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する技術に関する。
従来、2つのマイクを介して入力される混合信号(話者音声と雑音の混合信号)から、話者音声に対応する信号を分離して取り出すための技術が提案されている(例えば非特許文献1参照)。
この従来技術においては、各音源Sから各マイクまでの空間伝達関数行列Gの逆行列G−1が演算され、この逆行列G−1を用いて、各マイクを介して入力される混合信号(話者音声と雑音の混合信号)から、話者音声に対応する信号が分離される。図6を参照しながら、この従来技術の動作について簡単に説明する。図6は、話者音声に対応する信号を分離するシステム起動直後の動作を示す。図6中、左から右方向(T0、T1、T2、T3、T4・・・の順)に時間が経過していることを示す。
この従来技術においては、各音源Sから各マイクまでの空間伝達関数行列Gの逆行列G−1が演算され、この逆行列G−1を用いて、各マイクを介して入力される混合信号(話者音声と雑音の混合信号)から、話者音声に対応する信号が分離される。図6を参照しながら、この従来技術の動作について簡単に説明する。図6は、話者音声に対応する信号を分離するシステム起動直後の動作を示す。図6中、左から右方向(T0、T1、T2、T3、T4・・・の順)に時間が経過していることを示す。
本システム起動直後のT0(区間、タイムスロットともいう。以下同様。)においては、逆行列G−1(0)を演算するために必要なデータを収集する処理が実行される。T1においては、T0で収集されたデータに基づいて、逆行列G−1(0)を演算する処理が実行される。T2においては、T1で演算された逆行列G−1(0)を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する処理が実行される。
なお、図6に示すように、T1においては、逆行列G−1(1)を演算するために必要なデータを収集する処理も実行される。T2においては、T1で収集されたデータに基づいて、逆行列G−1(1)を演算する処理も実行される。T3においては、T2で演算された逆行列G−1(1)を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する処理も実行される。以後の区間(T2、T3、T4・・・)においても同様である。
このように、従来技術においては、システム起動後、最初に逆行列(ここではG−1(0))が演算されるのはT2においてであるから、T2に至るまでのT0及びT1においては、逆行列G−1(0)を演算することができない。従って、システム起動後、T2に至るまでのT0及びT1においては、仮に各マイクを介して混合信号が入力されたとしても、話者音声に対応する信号を分離する処理を適切に実行できないという問題がある。
http://www.wave-com.co.jp/noisekit/system.html 特開2003−271166号公報
http://www.wave-com.co.jp/noisekit/system.html
本発明の課題は、最初に逆行列が演算されるまでの間に、各マイクを介して混合信号が入力されたとしても、話者音声に対応する信号を分離する処理を適切に実行するための技術を提供することにある。
本発明は、上記課題を解決するためになされたものであり、音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算する逆行列演算手段と、その演算さ
れた逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段と、を備える音源分離装置であって、特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段と、現在の状況を検出する検出手段と、前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段と、を備え、前記音源分離手段は、前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する。
れた逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段と、を備える音源分離装置であって、特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段と、現在の状況を検出する検出手段と、前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段と、を備え、前記音源分離手段は、前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する。
本発明によれば、最初に逆行列が演算されるまでの間に、各マイクを介して混合信号が入力されたとしても、前記取得手段によって取得された逆行列を用いることができるので、話者音声に対応する信号を分離する処理を適切に実行できることになる。
上記音源分離装置においては、例えば、前記特定の状況で用いられるべき逆行列は、前記特定の状況で過去に演算された逆行列である。
これは、特定の状況で用いられるべき逆行列の例示である。従って、特定の状況で用いられるべき逆行列はユーザーなどが予め演算して求めた逆行列、その他逆行列であってもよい。
これは、特定の状況で用いられるべき逆行列の例示である。従って、特定の状況で用いられるべき逆行列はユーザーなどが予め演算して求めた逆行列、その他逆行列であってもよい。
また、上記音源分離装置においては、例えば、音声関連処理手段と、音声関連処理手段動作スイッチと、をさらに備え、前記逆行列演算手段は、前記音声関連処理手段動作スイッチのオン・オフにかかわらず、音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算し、前記音声関連処理手段動作スイッチがオンされる前は、前記音源分離手段と音声関連処理手段は動作せず、前記音声関連処理手段動作スイッチがオンされた後(例えば直後)は、前記音源分離手段は、前記音声関連処理手段動作スイッチがオンされる前に前記逆行列演算手段によって演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離し、前記音声関連処理手段は、前記音源分離手段からの出力である分離後の話者音声に対応する信号を利用して所定処理を行う。
このようにすれば、音声関連処理手段動作スイッチがオンされた後(例えば最初に逆行列が演算されるまでの間)は、各マイクを介して混合信号が入力されたとしても、音声関連処理手段動作スイッチがオンされる前に前記逆行列演算手段によって演算された逆行列を用いることができるので、話者音声に対応する信号を分離する処理を適切に実行できることになる。
また、上記音源分離装置においては、例えば、前記検出手段によって検出された現在の状況が変化したか否かを判定する判定手段と、前記判定手段によって変化したと判定された場合、前記逆行列演算手段による演算処理の優先度を高く設定する手段と、をさらに備える。
このようにすれば、現在の状況が変化した場合、逆行列演算手段による演算処理の優先度が高くなり、演算頻度が上がることから、収束を早めることが可能となり、話者音声に対応する信号を分離する処理をより適切に実行できることになる。
また、上記音源分離装置においては、例えば、各マイクからの入力が可聴周波数帯域の周波数成分を含むか否かを判定する判定手段をさらに備え、前記判定手段によって含まないと判定された場合、前記逆行列演算手段は、逆行列の演算を中止し、前記音源分離手段は、前記中止時に用いるために保持されていた逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する。
このようにすれば、各マイク10からの入力が可聴周波数帯域の周波数成分を含まない場合(例えば無音状態の場合)には、逆行列G−1演算部20による演算を中止し、その中止直前に演算されていた逆行列G−1を用いるので、逆行列G−1演算値発散の発生を少なくすることが可能となり、話者音声に対応する信号を分離する処理をより適切に実行できることになる。
また、上記音源分離装置においては、例えば、前記中止時に用いるために、前記中止直前に演算された逆行列を保持する手段をさらに備える。
これは、中止時に用いるために保持されていた逆行列の例示である。従って、ユーザーなどが予め演算して求めた逆行列、その他逆行列を保持する手段であってもよい。
これは、中止時に用いるために保持されていた逆行列の例示である。従って、ユーザーなどが予め演算して求めた逆行列、その他逆行列を保持する手段であってもよい。
本発明は方法の発明として次のように特定することができる。
音源からマイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算し、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離方法であって、前記逆行列が最初に演算されるまでの間、同じ又は類似の状況で過去に演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離方法。
音源からマイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算し、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離方法であって、前記逆行列が最初に演算されるまでの間、同じ又は類似の状況で過去に演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離方法。
本発明はプログラムの発明として次のように特定することもできる。
コンピュータを、音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算する逆行列演算手段、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段、特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段、現在の状況を検出する検出手段、前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段、前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する手段、として機能させるためのプログラム。
コンピュータを、音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算する逆行列演算手段、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段、特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段、現在の状況を検出する検出手段、前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段、前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する手段、として機能させるためのプログラム。
また、本発明は上記プログラムを記録したコンピュータ読み取り可能な記録媒体としても特定できる。
本発明によれば、最初に逆行列が演算されるまでの間に、各マイクを介して混合信号が入力されたとしても、話者音声に対応する信号を分離する処理を適切に実行することが可能となる。
以下、この発明の一実施形態について図面を参照しながら説明する。
(話者音声分離装置の概要)
図1に示すように、話者音声分離装置(又は話者音声分離システム)は、逆行列G−1を用いて、各マイク10を介して入力される混合信号(話者音声と雑音の混合信号)から、話者音声に対応する信号を分離するための装置である。本装置は音声関連処理部Aに接続されており、本装置からの出力である分離後の話者音声に対応する信号が音声関連処理部Aへ入力される。音声関連処理部Aは、その入力信号に対して既存の音声認識処理を実行し、その認識結果に応じて各種処理を実行する。本装置及び音声関連処理部A(音源分離部30)は音声関連処理部動作スイッチBに接続されており、この音声関連処理部動作スイッチBのオンにより、これらに電源が供給されるようになっている。なお、以下の実施形態においては、話者音声分離装置及び音声関連処理部Aが車両に搭載されている例について説明する。
(話者音声分離装置の概略システム構成)
図1に示すように、話者音声分離装置は、少なくとも2つのマイク(マイクロフォン)10、逆行列G−1演算部20、音源分離部30、検出部40、逆行列G−1データベース50、逆行列取得部60、及び登録部70などを備えている。
(話者音声分離装置の概要)
図1に示すように、話者音声分離装置(又は話者音声分離システム)は、逆行列G−1を用いて、各マイク10を介して入力される混合信号(話者音声と雑音の混合信号)から、話者音声に対応する信号を分離するための装置である。本装置は音声関連処理部Aに接続されており、本装置からの出力である分離後の話者音声に対応する信号が音声関連処理部Aへ入力される。音声関連処理部Aは、その入力信号に対して既存の音声認識処理を実行し、その認識結果に応じて各種処理を実行する。本装置及び音声関連処理部A(音源分離部30)は音声関連処理部動作スイッチBに接続されており、この音声関連処理部動作スイッチBのオンにより、これらに電源が供給されるようになっている。なお、以下の実施形態においては、話者音声分離装置及び音声関連処理部Aが車両に搭載されている例について説明する。
(話者音声分離装置の概略システム構成)
図1に示すように、話者音声分離装置は、少なくとも2つのマイク(マイクロフォン)10、逆行列G−1演算部20、音源分離部30、検出部40、逆行列G−1データベース50、逆行列取得部60、及び登録部70などを備えている。
各マイク10は逆行列G−1演算部20及び音源分離部30に接続されており、各音源(話者音声と雑音)からの信号(混合信号)が各マイク10を介して逆行列G−1演算部20及び音源分離部30へ入力される。
逆行列G−1演算部20は、各音源Sから各マイク10までの空間伝達関数行列Gの逆行列G−1を、所定の演算方法に従って演算(推定)するためのものであり、例えば、図示しないCPUが雑音除去プログラムなどの所定プログラムを実行することにより実現される。所定の演算方法としては、例えば、公知の独立成分分析法、その他、各種の統計的手法がある。
音源分離部30は、各マイク10を介して入力される混合信号から話者音声に対応する信号を、逆行列G−1を用いて分離(音源分離)するためのものであり、例えば、図示しないCPUが雑音除去プログラムなどの所定プログラムを実行することにより実現される。逆行列G−1は、例えば、演算部20による演算の結果得られる。または、後述の逆行列G−1データベース50から取得される(読み出される)。音源分離部30は音声関連処理部Aに接続されており、音源分離部30からの出力である分離後の話者音声に対応する信号が音声関連処理部Aへ入力される。
音声関連処理部Aは、音源分離部30からの入力信号に対して既存の音声認識処理を実行するためのものであり、例えば、音声認識部やハンズフリー部である。音声関連処理部Aは、いわゆるカーナビゲーションシステムなどの車載システムに組み込まれていることもあるし、これとは別の独立したシステムとして構成されることもある。
検出部40(本発明の現在の状況を検出する検出手段に相当)は、車両に関する状態を検出するためのものである。車両に関する状態としては、道路状態や車両状態などがある。道路状態としては、一般道路、高速道路、悪路(例えば未舗装道路)などの種別、上り坂入り口であるか否かなどがある。車両状態としては、エンジンの稼働状態、エアコンの稼働状態、ラジオやテレビなどのオーディオ機器の稼働状態などがある。
検出部40は、例えば、道路状態として車両現在位置(例えば車両に搭載されているGPS受信機から得る)に対応する道路の種別を検出する場合には、車両現在位置に対応する道路データを、道路種別を示す識別子が対応付けられた各道路データを含む地図データベースから検索し、その検索された道路データの識別子を参照することで判別する。
また、検出部40は、例えば、道路状態として車両現在位置が上り坂入り口であるか否かを検出する場合には、車両現在位置に対応する道路データを、上り坂入り口であることを示す識別子が対応付けられた各道路データを含む地図データベースから検索し、その検索された道路データに対応付けられている識別子の位置と車両現在位置とを比較することで判別する。
また、検出部40は、例えば、車両状態としてエアコンの稼働状態を検出する場合には、エアコン制御部(ECUなど)からエアコンに対する制御内容を示すデータを得て、このデータに基づいてエアコンの稼働状態(稼働音など)を検出する。車両状態としてエンジンの稼働状態、オーディオ機器などの稼働状態を検出する場合も同様である。
逆行列G−1データベース50には、走行道路に関する情報や車両状態に関する情報(
又はこれらの組合せ)と逆行列G−1(例えば過去に演算された逆行列G−1)との対応関係が格納されている。
又はこれらの組合せ)と逆行列G−1(例えば過去に演算された逆行列G−1)との対応関係が格納されている。
取得部60は、検出部40からその検出結果である車両に関する情報を得て、逆行列G−1データベース50から、その車両に関する状態に対応する逆行列G−1を取得(読み出す)ためのものであり、例えば、図示しないCPUが所定プログラムを実行することにより実現される。
登録部70は、検出部40からその検出結果である車両に関する情報と、その情報が検出された時点の演算結果である逆行列G−1とを得て、両者を対応付けて逆行列G−1データベース50へ格納するためのものであり、例えば、図示しないCPUが所定プログラムを実行することにより実現される。これにより、逆行列G−1データベース50には、車両に関する情報(走行道路に関する情報や車両状態に関する情報(又はこれらの組合せ))と過去に演算された逆行列G−1との対応関係が格納される。
(話者音声分離装置の動作)
次に、以上のように構成された装置の動作について図面を参照しながら説明する。
(第1実施形態)
図2は第1実施形態の動作を説明するためのフローチャートである。
(話者音声分離装置の動作)
次に、以上のように構成された装置の動作について図面を参照しながら説明する。
(第1実施形態)
図2は第1実施形態の動作を説明するためのフローチャートである。
ユーザーが音声関連処理部動作スイッチBをオフにすると、音源分離部30と音声関連処理部Aは電源が供給されず動作しない。このような状態の下では、逆行列G−1演算部20により逆行列G−1を演算する必要はないともいえる。
しかしながら、本実施形態では、音源分離部30と音声関連処理部Aが動作しない状態の下であっても、図1に示す枠線内の要素(マイク10、逆行列G−120、検出部40、逆行列G−1 DB50、及び取得部60)には常に(音声関連処理部動作スイッチBのオン・オフにかかわらず)電源が供給されており、図6に示すように、各区間(T1、T2・・・)で逆行列G−1演算部20により逆行列G−1を(G−1(0)、G−1(0)・・・)演算しこれをメモリ等に保持する(S10)。
そして、ユーザーによる音声関連処理起動後(例えば、ユーザーが音声関連処理部動作スイッチBをオンにすると)(S11)、音声分離部30は、電源が供給されて動作を開始する。すなわち、音声分離部30は、最初に逆行列G−1(0)が演算されるT2まで待つことなく、S10で予め演算されて保持されている逆行列G−1を用いて話者音声を分離する(S12)。なお、音声関連処理部Aも、電源が供給されて動作を開始する。すなわち、音声関連処理部Aは、音源分離部30からの入力信号に対して既存の音声認識処理を実行する。
従って、ユーザーによる音声関連処理起動後最初に逆行列G−1(0)が演算されるまでの間に、各マイク10を介して混合信号が入力されたとしても、音声関連処理部動作スイッチBがオンされる前に逆行列G−1演算部20によって演算された逆行列を用いることができるので、話者音声に対応する信号を分離する処理を適切に実行できることになる。
(第2実施形態)
図3は第2実施形態の動作を説明するためのフローチャートである。
(第2実施形態)
図3は第2実施形態の動作を説明するためのフローチャートである。
ユーザーによる音声関連処理の起動(例えば、ユーザーが音声関連処理部動作スイッチBをオン)により(S20)、取得部40は、ナビECU(音声関連処理部Aがいわゆるナビゲーション装置に含まれる場合)などから走行道路に関する情報、他のECUから車両状態に関する情報を所定のタイミング(例えば定期的又は設定タイミングごと)で取得
する(S21)。また、取得部40は、その取得した情報(走行道路に関する情報、車両状態に関する情報)に対応する逆行列G−1を、逆行列G−1データベース50から取得する(S22)。ここでは、逆行列G−1データベース50には、走行道路に関する情報や車両状態に関する情報(又はこれらの組合せ)と過去に演算された逆行列G−1との対応関係が格納されているものとする。従って、取得部40は該当する過去に演算された逆行列G−1を取得する。この逆行列G−1は過去に同じ状況で演算したものである。
する(S21)。また、取得部40は、その取得した情報(走行道路に関する情報、車両状態に関する情報)に対応する逆行列G−1を、逆行列G−1データベース50から取得する(S22)。ここでは、逆行列G−1データベース50には、走行道路に関する情報や車両状態に関する情報(又はこれらの組合せ)と過去に演算された逆行列G−1との対応関係が格納されているものとする。従って、取得部40は該当する過去に演算された逆行列G−1を取得する。この逆行列G−1は過去に同じ状況で演算したものである。
そして、音声分離部30は、最初に逆行列G−1(0)が演算されるT2まで待つことなく、先ほどS22で取得した過去に演算された逆行列G−1を初期値として用いて話者音声を分離する(S23)。なお、音声関連処理部Aも、S20以降電源が供給されて動作を開始する。すなわち、音声関連処理部Aは、音源分離部30からの入力信号に対して既存の音声認識処理を実行する。
従って、最初に逆行列G−1(0)が演算されるまでの間に、各マイク10を介して混合信号が入力されたとしても、逆行列G−1データベース50から読み出した逆行列を用いることができるので、話者音声に対応する信号を分離する処理を適切に実行できることになる。
(第3実施形態)
図4は第3実施形態の動作を説明するためのフローチャートである。
(第3実施形態)
図4は第3実施形態の動作を説明するためのフローチャートである。
ユーザーによる音声関連処理の起動(例えば、ユーザーが音声関連処理部動作スイッチBをオン)により(S30)、取得部60は、ナビECUなどから走行道路に関する情報、他のECUから車両状態に関する情報を所定のタイミング(例えば定期的又は設定タイミングごと)で取得する(S31)。そして、取得部60は、その取得した情報に基づいて走行道路が変わったか(あるいは車両状態が変わったか)を判定し、変更有り(例えばより走行音が大きい道路に変わった)と判定した場合には、他の処理よりも、逆行列G−1演算部20による演算処理の優先度を高くして、演算頻度を上げる(S32)。例えば、逆行列G−1演算部20をタスクとして構成している場合には、そのCPU割当時間を増やすことで優先度を高くする。例えば、図6において、4秒に1回演算していたのを1秒に1回演算するようにする。
音声分離部30は、演算頻度が上がった逆行列G−1演算部20により演算された逆行列G−1を用いて話者音声を分離する(S33)。なお、音声関連処理部Aも、S30以降電源が供給されて動作を開始する。すなわち、音声関連処理部Aは、音源分離部30からの入力信号に対して既存の音声認識処理を実行する。
このように、走行道路が変わったか(あるいは車両状態が変わったか)場合には、逆行列G−1演算部20による演算処理の優先度を高くして、演算頻度を上げるように構成してあることから、走行条件等変動時の収束を早めることが可能となり、話者音声に対応する信号を分離する処理をより適切に実行できることになる。
(第4実施形態)
図5は第4実施形態の動作を説明するためのフローチャートである。
(第4実施形態)
図5は第4実施形態の動作を説明するためのフローチャートである。
ユーザーによる音声関連処理の起動(例えば、ユーザーが音声関連処理部動作スイッチBをオン)により(S40)、取得部60は、ナビECUなどから走行道路に関する情報、他のECUから車両状態に関する情報を所定のタイミング(例えば定期的又は設定タイミングごと)で取得する(S41)。そして、取得部60は、その取得した情報に基づいて、各マイク10からの入力が可聴周波数帯域の周波数成分を含むか否かを判定し、含まないと判定した場合(例えばエンジン停止時、車両停止時、エアコンオフ時)には、逆行列G−1演算部20による逆行列G−1の演算を中止し、その中止直前に演算されていた
逆行列G−1を用いて話者音声を分離する(S41、S42)。なお、音声関連処理部Aも、S40以降電源が供給されて動作を開始する。すなわち、音声関連処理部Aは、音源分離部30からの入力信号に対して既存の音声認識処理を実行する。
逆行列G−1を用いて話者音声を分離する(S41、S42)。なお、音声関連処理部Aも、S40以降電源が供給されて動作を開始する。すなわち、音声関連処理部Aは、音源分離部30からの入力信号に対して既存の音声認識処理を実行する。
このように、各マイク10からの入力が可聴周波数帯域の周波数成分を含まない場合には、逆行列G−1演算部20による演算を中止し、その中止直前に演算されていた逆行列G−1を用いて話者音声を分離するように構成してあることから、逆行列G−1演算値発散の発生を少なくすることが可能となり、話者音声に対応する信号を分離する処理をより適切に実行できることになる。
上記実施形態はあらゆる点で単なる例示にすぎない。このため、本発明は上記実施形態に限定して解釈されるものではない。すなわち、本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。
本発明によれば、最初に逆行列が演算されるまでの間に、各マイクを介して混合信号が入力されたとしても、話者音声に対応する信号を分離する処理を適切に実行することが可能となる。
10 マイク
20 逆行列G−1演算部
30 音源分離部
40 検出部
50 逆行列G−1データベース
60 逆行列取得部
70 登録部
A 音声関連処理部(音声認識部/ハンズフリー部)
B 音声関連処理部動作スイッチ
20 逆行列G−1演算部
30 音源分離部
40 検出部
50 逆行列G−1データベース
60 逆行列取得部
70 登録部
A 音声関連処理部(音声認識部/ハンズフリー部)
B 音声関連処理部動作スイッチ
Claims (9)
- 音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算する逆行列演算手段と、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段と、を備える音源分離装置であって、
特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段と、
現在の状況を検出する検出手段と、
前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段と、
を備え、
前記音源分離手段は、前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離装置。 - 前記特定の状況で用いられるべき逆行列は、前記特定の状況で過去に演算された逆行列である、
請求項1に記載の音源分離装置。 - 音声関連処理手段と、
音声関連処理手段動作スイッチと、
をさらに備え、
前記逆行列演算手段は、前記音声関連処理手段動作スイッチのオン・オフにかかわらず、音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算し、
前記音声関連処理手段動作スイッチがオンされる前は、前記音源分離手段と音声関連処理手段は動作せず、
前記音声関連処理手段動作スイッチがオンされた後は、前記音源分離手段は、前記音声関連処理手段動作スイッチがオンされる前に前記逆行列演算手段によって演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離し、前記音声関連処理手段は、前記音源分離手段からの出力である分離後の話者音声に対応する信号を利用して所定処理を行う、
請求項1又は2に記載の音源分離装置。 - 前記検出手段によって検出された現在の状況が変化したか否かを判定する判定手段と、
前記判定手段によって変化したと判定された場合、前記逆行列演算手段による演算処理の優先度を高く設定する手段と、
をさらに備える請求項1から3のいずれかに記載の音源分離装置。 - 各マイクからの入力が可聴周波数帯域の周波数成分を含むか否かを判定する判定手段をさらに備え、
前記判定手段によって含まないと判定された場合、
前記逆行列演算手段は、逆行列の演算を中止し、
前記音源分離手段は、前記中止時に用いるために保持されていた逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する、
請求項1から4のいずれかに記載の音源分離装置。 - 前記中止時に用いるために、前記中止直前に演算された逆行列を保持する手段をさらに備える請求項5に記載の音源分離装置。
- 音源からマイクまでの空間伝達関数行列の逆行列を所定演算方法に
従って演算し、その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離方法であって、
前記逆行列が最初に演算されるまでの間、同じ又は類似の状況で過去に演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離方法。 - コンピュータを、
音源から各マイクまでの空間伝達関数行列の逆行列を所定演算方法に従って演算する逆行列演算手段、
その演算された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する音源分離手段、
特定の状況とその特定の状況で用いられるべき逆行列との対応関係を格納する記憶手段、
現在の状況を検出する検出手段、
前記検出手段によって検出された現在の状況に対応する逆行列を、前記記憶手段から取得する取得手段、
前記逆行列が最初に演算されるまでの間、前記取得手段によって取得された逆行列を用いて、各マイクを介して入力される混合信号から、話者音声に対応する信号を分離する手段、
として機能させるためのプログラム。 - 請求項1から6のいずれかに記載の音源分離装置を搭載した車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004046680A JP2005234479A (ja) | 2004-02-23 | 2004-02-23 | 音源分離装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004046680A JP2005234479A (ja) | 2004-02-23 | 2004-02-23 | 音源分離装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005234479A true JP2005234479A (ja) | 2005-09-02 |
Family
ID=35017459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004046680A Pending JP2005234479A (ja) | 2004-02-23 | 2004-02-23 | 音源分離装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005234479A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11546689B2 (en) | 2020-10-02 | 2023-01-03 | Ford Global Technologies, Llc | Systems and methods for audio processing |
-
2004
- 2004-02-23 JP JP2004046680A patent/JP2005234479A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11546689B2 (en) | 2020-10-02 | 2023-01-03 | Ford Global Technologies, Llc | Systems and methods for audio processing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7091807B2 (ja) | 情報提供システムおよび情報提供方法 | |
JP2008299221A (ja) | 発話検知装置 | |
US20200160861A1 (en) | Apparatus and method for processing voice commands of multiple talkers | |
US20180096699A1 (en) | Information-providing device | |
JP2006259164A (ja) | 音声認識システム、音声認識方法、及びコンピュータプログラム | |
CN107273086A (zh) | 基于导航的音频处理方法和装置 | |
JP2010217318A (ja) | 同乗者検索装置および同乗者検索プログラム | |
CN109920265B (zh) | 停车场评估设备、停车场信息供应方法及其数据结构 | |
JP2009113659A (ja) | 車両用ノイズキャンセル装置 | |
JP2008153743A (ja) | 車内会話補助装置 | |
JP2008309966A (ja) | 音声入力処理装置および音声入力処理方法 | |
JP2000322098A (ja) | 音声認識装置 | |
JP2008046299A (ja) | 音声認識装置 | |
JP2005234479A (ja) | 音源分離装置 | |
JP2000163098A (ja) | 音声認識装置 | |
JP2003345391A (ja) | 端末、音声認識サーバ、音声認識システムおよびコンピュータプログラム | |
JP6332072B2 (ja) | 対話装置 | |
JP6717537B2 (ja) | 操作制限制御装置及び操作制限制御方法 | |
CN113450788A (zh) | 声音输出的控制方法和声音输出控制装置 | |
JP5452768B2 (ja) | 車載情報制御装置及びナビゲーション装置 | |
WO2019176356A1 (ja) | 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム | |
JP2008157885A (ja) | 情報案内装置、ナビゲーション装置、情報案内方法、ナビゲーション方法、情報案内プログラム、ナビゲーションプログラム、および記録媒体 | |
US20230215228A1 (en) | Information recording device, information recording method, and program for recording information | |
JP2019121314A (ja) | 判定装置、情報記録装置、判定方法、及び判定用プログラム | |
JP2009181025A (ja) | 車載用音声認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100302 |