JP2009231928A - 音声改善装置および音声改善方法 - Google Patents

Abstract

【課題】ハンズフリーシステムの電話機による会話中に、特性、音量が時間軸上で激しく変化するノイズがあった場合でも、当該ノイズを充分に低減し、快適な会話を維持することができる「音声改善装置および音声改善方法」を提供する。
【解決手段】特定雑音源による雑音信号を低減させるパラメータをパラメータ記憶部１００に予め記憶し、車載カメラ５０によって特定雑音源の存在を確認した場合に、パラメータ記憶部１００に記憶されているパラメータを適用することによって、特定雑音源による雑音信号を低減させるようにしている。つまり、雑音信号を低減させる場合に、予め記憶しているパラメータを適用し、適応制御によるノイズの低減時に生ずるような追従遅れが生じないようにしている。
【選択図】 図１

Description

本発明は、音声改善装置および音声改善方法に関し、特に、音声入力部に入力される音声信号に含まれる雑音信号を低減させる音声改善装置および音声改善方法に適するものである。

一般に、自動車電話などに適用されるハンズフリーシステムでは、近端者（送話する方）の話者音声を遠端者（受話する方）に聞きやすくするため、マイクに近端者の話者音声とともに入力されるロードノイズ、オーディオから流れる楽曲など周囲のノイズを低減させる技術（ノイズリダクション機能）が提案されている（例えば、特許文献１参照）。なお、特許文献１に記載の自動車電話機は、話者音声以外の車室内外の雑音を低減する。
特開平１１−４１３４１号公報

ところが、一般に、ノイズリダクション機能は、マイクに入力された信号（ノイズを含む）をもとに適応制御によりフィルタ係数を決定してノイズを低減するものであって、ノイズに刻々追従しつつノイズを低減するものであるから、追従時の刻々の遅れによって充分にノイズを低減することができない場合ある。例えば、特性（周波数）、音量（振幅）が時間軸上で激しく変化するノイズに対しては、追従時の刻々の遅れによって充分にノイズを低減することができない。従って、ハンズフリーシステムの電話機による会話中に、特性、音量が時間軸上で激しく変化するノイズ（例えば、対向車とすれ違った場合のノイズ）があった場合、当該ノイズを充分に低減することができず、快適な会話が阻害されるという問題がある。

本発明は、このような問題を解決するために成されたものである。すなわち、ハンズフリーシステムの電話機による会話中に、特性、音量が時間軸上で激しく変化するノイズによって快適な会話が阻害されるという問題を解決することを目的とする。

上記した課題を解決するために、本発明では、特定雑音源による雑音信号を低減させるパラメータを予め記憶し、車載カメラによって特定雑音源の存在を確認した場合に、パラメータ記憶部に記憶されているパラメータを適用することによって、特定雑音源による雑音信号を低減させるようにしている。

上記のように構成した本発明によれば、予め用意した雑音信号を低減させるパラメータを適用して雑音信号を低減させるので、雑音信号に追従しつつ雑音信号を低減する場合に生じてしまう遅れが生じない。従って、ハンズフリーシステムの電話機による会話中に、特性、音量が時間軸上で激しく変化するノイズがあった場合でも、当該ノイズを充分に低減し、快適な会話を維持することができるようになる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の第１の実施形態である音声改善装置１０の構成例を示す図である。図２は、雑音源特徴情報記憶部１００に記憶される情報の一例を示す図である。図３は、パラメータ記憶部１１０に記憶される情報の一例を示す図である。

図１において、音声改善装置１０は車両に搭載される。音声改善装置１０は、図１に示すように、雑音源特徴情報記憶部１００、パラメータ記憶部１１０、特定画素領域認識部１２０、雑音信号低減部１５０および音声信号増幅部１６０を備えて構成される。また、音声改善装置１０は、車載カメラ５０から撮像画像を取得し、マイク６０（音声入力部）から音声信号（雑音信号を含む）を取得する。また、音声改善装置１０は、雑音信号を低減した音声信号を音声信号送信部７０に供給する。

雑音源特徴情報記憶部１００は、特定の雑音源である特定雑音源の外形の特徴情報を記憶する。特定雑音源は、当該雑音の影響によってそれまでの雑音の特性（周波数）、音量（振幅）が時間軸上で激しく変化するような雑音を生ずる物（当該物若しくは車両が移動している場合に当該車両に雑音を与える物）である。具体的には、特定雑音源は、移動する物であってその移動時に車両に対し上述のような雑音を与える物、または、移動しない物であって近くを通過する車両に対し上述のような雑音を与える物（停車中の車両に対し上述のような雑音を与えるか否かは要件でない）などが該当し、一例としては、他車両、トンネル、防音壁などである。雑音源特徴情報記憶部１００は、具体的には、図２に示すように、特定雑音源を識別する特定雑音源ＩＤに対応付けて特徴情報を記憶する。図２に示す例において、雑音源特徴情報記憶部１００は、例えば、特定雑音源である普通車を識別する特定雑音源ＩＤ「Ｔ００１」に対応付けて普通車の前面部に係る特徴情報を記憶している。

パラメータ記憶部１１０は、マイク６０に音声信号とともに入力される特定雑音源による雑音信号を低減させるパラメータ（ノイズリダクションの設定）を記憶する。具体的には、パラメータ記憶部１１０は、図３（ａ）に示すように、特定雑音源ＩＤに対応付けてパラメータを記憶する。図３（ａ）に示す例において、パラメータ記憶部１１０は、例えば、特定雑音源である普通車を識別する特定雑音源ＩＤ「Ｔ００１」に対応付けて普通車による雑音信号を低減させるパラメータａを記憶している。なお、図３（ｂ）については後述する。

特定画素領域認識部１２０は、撮像画像を車載カメラ５０から取得する。特定画素領域認識部１２０は、雑音源特徴情報記憶部１００に記憶されている特徴情報を参照し、車載カメラ５０から取得した撮像画像に含まれる特定雑音源の画素領域（以下、「特定画素領域」という）を認識する。換言すれば、特定画素領域認識部１２０は、車載カメラ５０の向けられた方向（例えば、車両前方）に特定雑音源の存在を確認する。特定画素領域認識部１２０は、特定画素領域を認識した場合、つまり、特定雑音源の存在を確認した場合、当該特定雑音源を識別する特定雑音源ＩＤを雑音源特徴情報記憶部１００から取得し、取得した特定雑音源ＩＤを雑音信号低減部１５０に供給する。

雑音信号低減部１５０は、音声信号とともに特定雑音源による雑音信号をマイク６０から取得する。また、雑音信号低減部１５０は、特定雑音源ＩＤを特定画素領域認識部１２０から取得する。雑音信号低減部１５０は、特定雑音源ＩＤを特定画素領域認識部１２０から取得した場合、つまり、画素領域認識部１２０により特定雑音源の存在が確認された場合に、当該特定雑音源ＩＤに対応付けてパラメータ記憶部１１０に記憶されているパラメータを、然るべき時間、適用することによって、音声信号とともにマイク６０から取得した特定雑音源による雑音信号を低減させる。雑音信号低減部１５０がパラメータ記憶部１１０から取得したパラメータを適用する然るべき時間（後述する雑音信号低減部２５２がパラメータ記憶部２１０から取得したパラメータを適用する然るべき時間についても同様）は、予め定めた固定時間、または、車両と特定雑音源との位置関係などを考慮した可変時間のどちらであってもよいが、可変時間とすることが好ましい。固定時間とする場合は処理を簡素化することができるものの、可変時間とする場合の方がパラメータの適用時間を正確に制御することができるからである。

雑音信号低減部１５０は、特定雑音源による雑音信号を低減させた信号（以下、「雑音低減信号」という）を音声信号増幅部１６０に供給する。なお、雑音信号低減部１５０（後述する雑音信号低減部２５２も同様）は、特定雑音源ＩＤを特定画素領域認識部１２０から取得しなかった場合は、従来通り、音声信号とともにマイク６０から取得した雑音信号を適応制御により低減させる。

音声信号増幅部１６０は、雑音低減信号を雑音信号低減部１５０から取得する。音声信号増幅部１６０は、雑音低減信号を雑音信号低減部１５０から取得した場合、雑音低減信号内の話者音声帯域の音声信号を増幅させる。話者音声帯域の一例は、有線電気通信設備令に音声周波として規定する２００Ｈｚ〜３５００Ｈｚである。音声信号増幅部１６０は、雑音低減信号内の話者音声帯域の音声信号を増幅させた信号（以下、「雑音低減音声増幅信号」という）を音声信号送信部７０に供給する。なお、音声信号増幅部１６０は、雑音信号低減部１５０が適応制御により雑音信号を低減させた信号についても、雑音低減信号内の話者音声帯域の音声信号を増幅させる。

以下、音声改善装置１０の動作について説明する。図４は、図１に示す音声改善装置１０の動作例を示すフローチャートである。図４に示すフローチャートは、特定画素領域認識部１２０が撮像画像を車載カメラ５０から取得することにより開始する。

図４において、特定画素領域認識部１２０は、車載カメラ５０の向けられた方向（例えば、車両前方）に特定雑音源が存在するか否かを判断する（ステップＳ１００）。特定画素領域認識部１２０は、雑音源特徴情報記憶部１００に記憶されている特徴情報を参照し、車載カメラ５０から取得した撮像画像に特定画素領域が存在する場合、車載カメラ５０の向けられた方向に特定雑音源が存在すると判断する。

車載カメラ５０の向けられた方向に特定雑音源が存在すると特定画素領域認識部１２０にて判断した場合（ステップＳ１００：Ｙｅｓ）、特定画素領域認識部１２０は、当該特定雑音源を識別する特定雑音源ＩＤを雑音源特徴情報記憶部１００から取得し、取得した特定雑音源ＩＤを雑音信号低減部１５０に供給する。

特定雑音源ＩＤを特定画素領域認識部１２０から取得した雑音信号低減部１５０は、特定画素領域認識部１２０から取得した特定雑音源ＩＤに対応付けてパラメータ記憶部１１０に記憶されているパラメータを取得する（ステップＳ１３０）。雑音信号低減部１５０は、パラメータ記憶部１１０から取得したパラメータを適用することによって、音声信号とともにマイク６０から取得した特定雑音源による雑音信号を低減させる（ステップＳ１５０）。雑音信号低減部１５０は、雑音低減信号を音声信号増幅部１６０に供給する。

雑音低減信号を雑音信号低減部１５０から取得した音声信号増幅部１６０は、雑音信号低減部１５０から取得した雑音低減信号内の話者音声帯域の音声信号を増幅させる（ステップＳ１６０）。音声信号増幅部１６０は、雑音低減音声増幅信号を音声信号送信部７０に供給する（ステップＳ１７０）。

雑音信号低減部１５０は、然るべき時間（例えば、車両と特定雑音源との位置関係などを考慮した可変時間）を経過したか否か判断する（ステップＳ１８０）。然るべき時間を経過していないと雑音信号低減部１５０にて判断した場合（ステップＳ１８０：Ｎｏ）、ステップＳ１５０に戻る。一方、然るべき時間を経過したと雑音信号低減部１５０にて判断した場合（ステップＳ１８０：Ｙｅｓ）、本フローチャートは終了する。

一方、車載カメラ５０の向けられた方向に特定雑音源が存在しないと特定画素領域認識部１２０にて判断した場合（ステップＳ１００：Ｎｏ）、従来通り、雑音信号低減部１５０は、音声信号とともにマイク６０から取得した雑音信号を適応制御により低減させる（ステップＳ１５４）。雑音信号低減部１５０は、適応制御により雑音信号を低減させた信号を音声信号増幅部１６０に供給する。

適応制御により雑音信号を低減させた信号を雑音信号低減部１５０から取得した音声信号増幅部１６０は、当該信号内の話者音声帯域の音声信号を増幅させる（ステップＳ１６４）。音声信号増幅部１６０は、増幅させた信号を音声信号送信部７０に供給する（ステップＳ１７４）。そして、本フローチャートは終了する。

図４のフローチャートを補足する。図５は、図４のフローチャートを補足説明するための図である。なお、図５（ａ）〜図５（ｃ）の扇形部分Ｒは、特定画素領域認識部１２０が特定雑音源を認識できる範囲を示す。音声改善装置１０を搭載した自車Ａが、図５（ａ）に示すように道路を走行している場合、音声改善装置１０の特定画素領域認識部１２０は、前方に特定雑音源が存在しないと判断する（ステップＳ１００：Ｎｏ）。この場合、雑音信号低減部１５０は、従来通り、音声信号とともにマイク６０から取得した雑音信号を適応制御により低減させる（ステップＳ１５４）。雑音信号低減部１５０は、従来の適応制御により雑音信号を低減させた信号を音声信号増幅部１６０に供給する。音声信号増幅部１６０は、従来の適応制御により雑音信号を低減させた信号内の話者音声帯域の音声信号を増幅させる（ステップＳ１６４）。音声信号増幅部１６０は、増幅させた信号を音声信号送信部７０に供給する（ステップＳ１７４）。

その後、自車Ａが、図５（ｂ）の位置に至ったときに、音声改善装置１０の特定画素領域認識部１２０は、前方に特定雑音源（普通車）である対抗車Ｂが存在すると判断する（ステップＳ１００：Ｙｅｓ）。なお、対向車Ｂとのすれ違いによって図５（ｄ）の実線１０１のような周波数特性の雑音が生じるものとする。

特定画素領域認識部１２０は、普通車を識別する特定雑音源ＩＤ「Ｔ００１」を雑音源特徴情報記憶部１００から取得して雑音信号低減部１５０に供給する。雑音信号低減部１５０は、特定雑音源ＩＤ「Ｔ００１」により識別される普通車による雑音信号を低減させるパラメータａ（図５（ｄ）の点線１０２のような周波数特性で信号を低減させるための適応制御用パラメータ）をパラメータ記憶部１１０から取得し（ステップＳ１３０）、当該パラメータａを適用することによって、音声信号とともにマイク６０から取得した対向車Ｂによる雑音信号を低減させる（ステップＳ１５０）。

音声信号増幅部１６０は、雑音低減信号内の話者音声帯域の音声信号を増幅（例えば、図５（ｄ）の破線１０３のような増幅レベルによる増幅）させる（ステップＳ１６０）。音声信号増幅部１６０は、雑音低減音声増幅信号を音声信号送信部１７０に供給する（ステップＳ１７０）。

雑音信号低減部１５０は、然るべき時間、具体的には、自車Ａと対向車Ｂとの位置関係が図５（ｃ）に示す位置関係（特定画素領域認識部１２０が対向車Ｂを認識できなくなる位置関係）となる迄の時間を経過したか否か判断する（ステップＳ１８０）。つまり、雑音信号低減部１５０は、自車Ａと対向車Ｂとの位置関係が図５（ｃ）に示す位置関係となったか否かを判断する。なお、特定画素領域認識部１２０は、ステップＳ１３０、Ｓ１５０、Ｓ１６０、Ｓ１７０が実行されている間、車載カメラ５０から撮像画像を取得し、対向車Ｂが存在するか否かを判断する。そして、雑音信号低減部１５０は、対向車Ｂが存在しないと特定画素領域認識部１２０にて判断した場合に、自車Ａと対向車Ｂとの位置関係が図５（ｃ）に示す位置関係となったと判断する。

然るべき時間を経過していないと雑音信号低減部１５０にて判断した場合、つまり、自車Ａと対向車Ｂとの位置関係が図５（ｃ）に示す位置関係となっていないと雑音信号低減部１５０にて判断した場合（ステップＳ１８０：Ｎｏ）、ステップＳ１５０からステップＳ１７０が実行される。一方、然るべき時間を経過したと雑音信号低減部１５０にて判断した場合、つまり、自車Ａと対向車Ｂとの位置関係が図５（ｃ）に示す位置関係となったと雑音信号低減部１５０にて判断した場合（ステップＳ１８０：Ｙｅｓ）、本フローチャートは終了する。

つまり、音声改善装置１０は、特定雑音源を認識する前は、従来の適応制御により雑音信号を低減する一方、特定雑音源の認識した場合、然るべき時間（可変時間とする方が好ましい）、パラメータ記憶部１１０に記憶されているパラメータを適用して雑音信号を低減する。

以上、音声改善装置１０によれば、特定雑音源を認識したときに、予め用意した雑音信号を低減させるパラメータを適用して雑音信号を低減させるので、雑音信号に応じてパラメータを計算しつつ適応制御により雑音信号を低減する場合に生じてしまう追従遅れが生じない。従って、ハンズフリーシステムの電話機による会話中に、特性、音量が時間軸上で激しく変化するノイズがあった場合でも、当該ノイズを充分に低減し、快適な会話を維持することができるようになる。

続いて、本発明の他の実施形態を図面に基づいて説明する。図６は、本発明の第２の実施形態である音声改善装置２０の構成例を示す図である。

図６において、音声改善装置２０は車両に搭載される。音声改善装置２０は、図６に示すように、雑音源特徴情報記憶部２００、パラメータ記憶部２１０、特定画素領域認識部２２２、距離取得部２３０、タイミング予測部２４０、雑音信号低減部２５２および音声信号増幅部２６０を備えて構成される。また、音声改善装置２０は、車載カメラ５０から撮像画像を取得し、車両に搭載される測距レーダ８０（以下、「車載測距レーダ」という）から車両から特定雑音源までの距離を示す距離情報（以下、「雑音源距離情報」という）を取得し、マイク６０から音声信号（雑音信号を含む）を取得する。また、音声改善装置２０は、雑音信号を低減した音声信号を音声信号送信部７０に供給する。

なお、図６において、雑音源特徴情報記憶部２００、パラメータ記憶部２１０および音声信号増幅部２６０は、図1に示した音声改善装置１０の雑音源特徴情報記憶部１００、パラメータ記憶部１１０および音声信号増幅部１６０と同様なので説明を省略する。

特定画素領域認識部２２２は、特定画素領域認識部１２０と同様、撮像画像を車載カメラ５０から取得する。特定画素領域認識部２２２は、雑音源特徴情報記憶部２００に記憶されている特徴情報を参照し、特定画素領域を認識する。特定画素領域認識部２２２は、特定画素領域を認識した場合、当該特定雑音源を識別する特定雑音源ＩＤを雑音源特徴情報記憶部２００から取得し、取得した特定雑音源ＩＤを雑音信号低減部２５２に供給する。また、特定画素領域認識部２２２は、特定画素領域を認識した場合、特定雑音源を認識したことを示す情報（以下、「特定雑音源認識情報」という）を車載測距レーダ８０に供給する。

距離取得部２３０は、雑音源距離情報を車載測距レーダ８０から取得する。距離取得部２３０は、車載測距レーダ８０から取得した雑音源距離情報をタイミング予測部２４０に供給する。なお、車載測距レーダ８０は、特定画素領域認識部２２２から特定雑音源認識情報を取得したときに、特定雑音源までの距離を測定する。

タイミング予測部２４０は、距離取得部２３０から雑音源距離情報を取得する。タイミング予測部２４０は、距離取得部２３０によって刻々取得する雑音源距離情報を参照し、車両から特定雑音源までの距離の変化に基づいて、車両と特定雑音源とが最も接近するタイミング（以下、「最接近タイミング」という）を予測する。より詳細には、まず、タイミング予測部２４０は、特定雑音源までの距離の時間変化から車両と特定雑音源との相対速度を算出する。そして、タイミング予測部２４０は、算出した相対速度と特定雑音源までの距離とに基づいて、車両と特定雑音源との最接近タイミングを予測する。タイミング予測部２４０は、予測した最接近タイミングを示す情報（例えば、Ｘ秒後。Ｘは小数であってもよい）を雑音信号低減部２５２に供給する。

雑音信号低減部２５２は、雑音信号低減部１５０と同様、音声信号とともに特定雑音源による雑音信号をマイク６０から取得し、特定雑音源ＩＤを特定画素領域認識部２２２から取得する。また、雑音信号低減部２５２は、最接近タイミングを示す情報をタイミング予測部２４０から取得する。

雑音信号低減部２５２は、最接近タイミングを示す情報をタイミング予測部２４０から取得した場合に、パラメータ記憶部２１０に記憶されているパラメータを適用するタイミング（以下、「適用タイミング」という）を決定する。具体的には、雑音信号低減部２５２は、最接近タイミングより前のタイミングを適用タイミングとして決定する。適用タイミングとして決定する最接近タイミングより前のタイミングは、最接近タイミングを示す情報がＸ秒後である場合、例えば、最接近タイミングのＹ（Ｙ＜Ｘ。Ｙは小数であってもよい）秒前である。

雑音信号低減部２５２は、適用タイミングから然るべき時間、特定画素領域認識部２２２から取得した特定雑音源ＩＤに対応付けてパラメータ記憶部２１０に記憶されているパラメータを適用することによって、音声信号とともにマイク６０から取得した特定雑音源による雑音信号を低減させる。そして、雑音信号低減部２５２は、雑音低減信号を音声信号増幅部２６０に供給する。なお、然るべき時間は、雑音信号低減部１５０の場合と同様、予め定めた固定時間としてもよいが、可変時間とすることが好ましい。

以下、音声改善装置２０の動作について説明する。図７は、図６に示す音声改善装置２０の動作例を示すフローチャートである。図７に示すフローチャートは、特定画素領域認識部２２２が撮像画像を車載カメラ５０から取得することにより開始する。なお、図７に示すフローチャートのステップＳ２３０、Ｓ２５０、Ｓ２６０、ステップＳ２７０およびステップＳ２８０は、図４に示すフローチャートのステップＳ１３０、Ｓ１５０、Ｓ１６０、ステップＳ１７０およびステップＳ１８０と同様の処理である。また、図７に示すフローチャートのステップＳ２５２、Ｓ２５４は、図４に示すフローチャートのステップＳ１５４と同様の処理である。また、図７に示すフローチャートのステップＳ２６２、Ｓ２６４は、図４に示すフローチャートのステップＳ１６４と同様の処理である。また、図７に示すフローチャートのステップＳ２７２、Ｓ２７４は、図４に示すフローチャートのステップＳ１７４と同様の処理である。

図７において、特定画素領域認識部２２２は、車載カメラ５０の向けられた方向に特定雑音源が存在するか否かを判断する（ステップＳ２００）。車載カメラ５０の向けられた方向に特定雑音源が存在すると特定画素領域認識部２２２にて判断した場合（ステップＳ２００：Ｙｅｓ）、特定画素領域認識部２２２は、当該特定雑音源を識別する特定雑音源ＩＤを雑音源特徴情報記憶部２００から取得し、取得した特定雑音源ＩＤを雑音信号低減部２５２に供給する。また、特定画素領域認識部２２２は、特定画素領域を認識した場合、特定雑音源認識情報を車載測距レーダ８０に供給する。

特定雑音源認識情報を特定画素領域認識部２２２から取得した車載測距レーダ８０は、特定雑音源までの距離を測定する。車載測距レーダ８０は、特定雑音源までの距離を測定した場合、雑音源距離情報を距離取得部２３０に供給する。距離取得部２３０は、雑音源距離情報を車載測距レーダ８０から取得する（ステップＳ２１０）。距離取得部２３０は、車載測距レーダ８０から取得した雑音源距離情報をタイミング予測部２４０に供給する。

距離取得部２３０から雑音源距離情報を取得したタイミング予測部２４０は、特定雑音源までの距離の変化に基づいて、車両と特定雑音源との最接近タイミングを予測する（ステップＳ２２０）。タイミング予測部２４０は、予測した最接近タイミングを示す情報を雑音信号低減部２５２に供給する。

最接近タイミングを示す情報をタイミング予測部２４０から取得した雑音信号低減部２５２は、特定画素領域認識部２２２から取得した特定雑音源ＩＤに対応付けてパラメータ記憶部２１０に記憶されているパラメータを取得する（ステップＳ２３０）。続いて、雑音信号低減部２５２は、パラメータの適用タイミングとなったか否かを判断する（ステップＳ２４０）。未だパラメータの適用タイミングとなっていないと雑音信号低減部２５２にて判断した場合（ステップＳ２４０：Ｎｏ）、ステップＳ２５２、Ｓ２６２およびステップＳ２７２の処理を実行した後に、雑音信号低減部２５２は、再度、パラメータの適用タイミングとなったか否かを判断する（ステップＳ２４０）。

一方、パラメータの適用タイミングとなったと雑音信号低減部２５２にて判断した場合（ステップＳ２４０：Ｙｅｓ）、ステップＳ２５０、Ｓ２６０、Ｓ２７０、Ｓ２８０の処理を実行した後に、本フローチャートは終了する。

また、車載カメラ５０の向けられた方向に特定雑音源が存在しないと特定画素領域認識部２２２にて判断した場合（ステップＳ２００：Ｎｏ）、ステップＳ２５４、Ｓ２６４、Ｓ２７４の処理を実行した後に、本フローチャートは終了する。

つまり、音声改善装置２０は、特定雑音源の認識前においては、従来の適応制御により雑音信号を低減する一方、特定雑音源の認識後においては、最接近タイミングからＹ秒前の適用タイミングから然るべき時間（可変時間とする方が好ましい）、パラメータ記憶部２１０に記憶されているパラメータを適用して雑音信号を低減する。

以上、音声改善装置２０によれば、音声改善装置１０と同様、ハンズフリーシステムの電話機による会話中に、特性、音量が時間軸上で激しく変化するノイズがあった場合でも、当該ノイズを充分に低減し、快適な会話を維持することができるようになる。また、パラメータを適用するタイミングを最接近タイミングに応じて調整することができるようになる。従って、より時間的に厳密にノイズを低減し、より快適な会話を維持することができるようになる。

なお、上記第２の実施形態では、音声改善装置１０と同様、図３（ａ）に示すように、特定雑音源別のパラメータをパラメータ記憶部２１０に記憶するものとして説明を省略したが、音声改善装置２０は、特定雑音源別かつ車両に対する特定雑音源の相対速度別のパラメータをパラメータ記憶部２１０に記憶してもよい。具体的には、パラメータ記憶部２１０は、図３（ｂ）に示すように、特定雑音源ＩＤおよび相対速度に対応付けてパラメータを記憶する。図３（ｂ）に示す例において、パラメータ記憶部２１０は、例えば、特定雑音源である普通車を識別する特定雑音源ＩＤ「Ｔ００１」および相対速度「速度１（〜４０ｋｍ／ｈ）」に対応付けて、相対速度「速度１」の普通車による雑音信号を低減させるパラメータａ１を記憶している。

パラメータ記憶部２１０が特定雑音源別かつ相対速度別のパラメータを記憶する場合、タイミング予測部２４０は、最接近タイミングを示す情報とともに相対速度を雑音信号低減部２５２に供給する。この場合、雑音信号低減部２５２は、最接近タイミングより前の時点から、特定画素領域認識部２２２から取得した特定雑音源ＩＤ、および、タイミング予測部２４０から取得した相対速度に対応付けてパラメータ記憶部２１０に記憶されているパラメータを適用することによって、音声信号とともにマイク６０から取得した特定雑音源による雑音信号を低減させる。これにより、特定雑音源の種類に加えて相対速度を加味したノイズの特性、音量に即したパラメータを適用することができるので、より厳密にノイズを低減し、より快適な会話を維持することができるようになる。

また、上記第１の実施形態の音声改善装置１０に、距離取得部２３０、および、車両と特定雑音源との相対速度を算出する相対速度算出（非図示）を設けることによって、図３（ｂ）に示すパラメータを適用してもよい。

また、距離取得部２３０は雑音源距離情報を車載測距レーダ８０から取得したが、距離取得部２３０は雑音源距離情報を車載測距レーダ８０以外から取得してもよい。一例として、距離取得部２３０は、オートフォーカス機能を具備する車載カメラ５０から雑音源距離情報を取得してもよい（測距は、アクティブ方式、位相検出方式、コントラスト検出方式などの既知の技術を用いる）。他の一例として、特定雑音源がトンネルなどの移動しない物である場合には、距離取得部２３０は、カーナビゲーションシステムに利用される地図情報に記憶された特定雑音源の位置情報とＧＰＳによって取得する車両の現在位置とから雑音源距離情報を取得してもよい。

また、距離取得部２３０は外部から雑音源距離情報を取得することに代えて、自ら雑音源距離情報を取得（生成）してもよい。具体的には、距離取得部２３０は、車載カメラ５０によって撮像された撮像画像に基づいて雑音源距離情報を取得（生成）する。

より詳細には、まず、特定画素領域認識部２２２は、特定画素領域を認識した場合に、特定画素領域の位置および大きさ、並びに、特定雑音源ＩＤを距離取得部２３０に供給する。距離取得部２３０は、特定画素領域の位置および大きさ並びに特定雑音源ＩＤを特定画素領域認識部２２２から取得した場合、特定画素領域の位置および大きさ並びに特定雑音源ＩＤに対応付けて特定雑音源までの距離を記憶する距離情報記憶部（非図示）を参照して、特定雑音源までの距離を取得し、雑音源距離情報を取得（生成）する。つまり、距離取得部２３０は、撮像された特定雑音源の種類（特定雑音源ＩＤ）、特定雑音源の撮像された方向（特定画素領域の位置）、および、特定雑音源の撮像された大きさ（特定画素領域の大きさ）に基づいて雑音源距離情報を取得（生成）する。

また、車載測距レーダ８０は常時動作し、特定画素領域認識部２２２が距離取得部２３０またはタイミング予測部２４０に特定雑音源認識情報を出力し、距離取得部２３０は、特定画素領域認識部２２２が特定雑音源認識情報を出力した場合に、車載測距レーダ８０に雑音源距離情報を要求することにより取得するようにしてもよい。

また、タイミング予測部２４０は、車両から特定雑音源までの距離の変化に代えて、速度センサから出力される車速に基づいて車両と特定雑音源との相対速度を算出してもよい。例えば、タイミング予測部２４０は、特定雑音源がトンネルなどの移動しない物である場合には、自車速度に基づいて車両と特定雑音源との相対速度を算出し、特定雑音源が対向車など移動する物である場合には、自車速度および対向車の速度（車々間通信により当該対向車から取得）に基づいて車両と特定雑音源との相対速度を算出する。

また、タイミング予測部２４０は、車両から特定雑音源までの距離の変化に代えて、車載カメラ５０によって撮像された上記撮像画像に基づいて最接近タイミングを予測（取得）してもよい。なお、この場合、音声改善装置２０に距離取得部２３０は不要である。

具体的には、まず、特定画素領域認識部２２２は、特定画素領域を認識した場合に、特定画素領域の位置および大きさ、並びに、特定雑音源ＩＤをタイミング予測部２４０に供給する。タイミング予測部２４０は、前回、特定画素領域認識部２２２から取得した特定画素領域の位置および大きさと、今回、特定画素領域認識部２２２から取得した特定画素領域の位置および大きさとを比較して、自車と特定画素領域認識部２２２から取得した特定雑音源ＩＤにより示される特定雑音源との最接近タイミングを予測（取得）する。

より詳細には、タイミング予測部２４０は、まず、特定画素領域の位置および大きさ、並びに、特定雑音源ＩＤを特定画素領域認識部２２２から取得した場合、特定雑音源ＩＤ、並びに、特定画素領域の位置および大きさの組み合わせを移動前情報として一時記憶する。同様に、タイミング予測部２４０は、再度、特定画素領域の位置および大きさ、並びに、特定雑音源ＩＤを特定画素領域認識部２２２から取得した場合に、特定雑音源ＩＤ、並びに、特定画素領域の位置および大きさの組み合わせを移動後情報として一時記憶する。そして、タイミング予測部２４０は、特定雑音源ＩＤ別に、移動前情報および移動後情報に対応付けて最接近タイミングを記憶する最接近タイミング記憶部（非図示））を参照し、一時記憶している特定雑音源ＩＤについて、一時記憶している移動前情報および移動後情報に対応付けて最接近タイミング記憶部に記憶されている最接近タイミングを予測（取得）する。なお、タイミング予測部２４０は、同様に、車両と特定雑音源との相対速度を算出してもよい。

その他、上記第１、２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態である音声改善装置の構成例を示す図である。 雑音源特徴情報記憶部に記憶される情報の一例を示す図である。 パラメータ記憶部に記憶される情報の一例を示す図である。 図１に示す音声改善装置の動作例を示すフローチャートである。 図４のフローチャートを補足説明するための図である。 本発明の第２の実施形態である音声改善装置の構成例を示す図である。 図６に示す音声改善装置の動作例を示すフローチャートである。

符号の説明

１０ 音声改善装置
２０ 音声改善装置
５０ 車載カメラ
６０ マイク
７０ 音声信号送信部
１００ 雑音源特徴情報記憶部
１１０ パラメータ記憶部
１２０ 特定画素領域認識部
１５０ 雑音信号低減部
１６０ 音声信号増幅部
２００ 雑音源特徴情報記憶部
２１０ パラメータ記憶部
２２２ 特定画素領域認識部
２３０ 距離取得部
２４０ タイミング予測部
２５２ 雑音信号低減部
２６０ 音声信号増幅部

Claims (8)

1. 車両に搭載される音声改善装置であって、
   特定の雑音源である特定雑音源の外形の特徴情報を記憶する雑音源特徴情報記憶部と、
   音声入力部に音声信号とともに入力される上記特定雑音源による雑音信号を低減させるパラメータを記憶するパラメータ記憶部と、
   上記音声入力部に入力される上記特定雑音源による雑音信号を低減させる雑音信号低減部と、
   車載カメラによって撮像された撮像画像と上記雑音源特徴情報記憶部に記憶されている上記特徴情報とから上記撮像画像に含まれる上記特定雑音源の画素領域である特定画素領域を認識する特定画素領域認識部とを備え、
   上記雑音信号低減部は、上記特定画素領域認識部により上記特定雑音源の存在が確認された場合に、上記パラメータ記憶部に記憶されている上記パラメータを適用することによって、上記音声入力部に入力された上記特定雑音源による上記雑音信号を低減させることを特徴とする音声改善装置。
2. 上記車両と上記特定雑音源とが最も接近する最接近タイミングを予測するタイミング予測部を更に備え、
   上記雑音信号低減部は、上記タイミング予測部により予測された上記最接近タイミングより前から、上記パラメータ記憶部に記憶されている上記パラメータを適用することによって、上記音声入力部に入力された上記特定雑音源による上記雑音信号を低減させることを特徴とする請求項１に記載の音声改善装置。
3. 上記車両から上記特定雑音源までの距離を取得する距離取得部を更に備え、
   上記タイミング予測部は、上記距離取得部によって取得される上記距離の変化に基づいて、上記最接近タイミングを予測することを特徴とする請求項２に記載の音声改善装置。
4. 上記タイミング予測部は、上記車載カメラによって撮像された上記撮像画像において上記特定画素領域認識部により認識された上記特定画素領域の位置および大きさに基づいて、上記最接近タイミングを予測することを特徴とする請求項２に記載の音声改善装置。
5. 上記距離取得部は、上記車載カメラによって撮像された上記撮像画像において上記特定画素領域認識部により認識された上記特定画素領域の位置および大きさに基づいて、上記距離を取得することを特徴とする請求項３に記載の音声改善装置。
6. 上記音声入力部に入力された話者音声帯域の上記音声信号を増幅させる音声信号増幅部を更に備え、
   上記音声信号増幅部は、上記雑音信号低減部が上記特定雑音源による上記雑音信号を低減させた場合に、話者音声帯域の上記音声信号を増幅させることを特徴とする請求項１から請求項５の何れか１項に記載の音声改善装置。
7. 上記パラメータ記憶部は、上記車両に対する上記特定雑音源の相対速度別に、上記特定雑音源による雑音信号を低減させるパラメータを記憶し、
   上記タイミング予測部は、上記最接近タイミングとともに上記相対速度を予測し、
   上記雑音信号低減部は、上記タイミング予測部により予測された上記最接近タイミングより前から、上記パラメータ記憶部に記憶されている上記パラメータであって上記タイミング予測部により予測された上記相対速度に対応した上記パラメータを適用することによって、上記音声入力部に入力された上記特定雑音源による上記雑音信号を低減させることを特徴とする請求項２から請求項６の何れか１項に記載の音声改善装置。
8. 車両内における入力音声の改善方法であって、
   車載カメラによって撮像された撮像画像と予め記憶した特定の雑音源である特定雑音源の外形の特徴情報とから上記撮像画像に含まれる上記特定雑音源の画素領域である特定画素領域を認識する特定画素領域認識ステップと、
   上記特定画素領域認識ステップにより上記特定雑音源の存在が確認された場合に、予め記憶したパラメータを適用することによって、音声入力部に入力される上記特定雑音源による雑音信号を低減させる雑音信号低減ステップとを備えることを特徴とする音声改善方法。

Images