JP2020016838A - ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラム - Google Patents

Abstract

【課題】車両走行中のノイズを精度よく低減させるノイズ低減装置を提供する。【解決手段】本発明の一態様に係るノイズ低減装置は、車両周辺の画像を撮像する撮像部２１から画像を取得する画像データ取得部１１と、取得した画像を解析する画像データ解析部１２と、車両内部の音を集音する集音部２２から音を取得する音データ取得部１３と、取得した音を解析する音データ解析部１４と、解析した音と、解析した画像と、を関連付けてデータベースに記憶させる記憶部２３と、データベースの検索を行う検索部と、を備える記憶制御部１５と、解析した画像同士の類似性を判断する類似性判断部１６と、取得した音に対しノイズを低減する処理を行うノイズ低減部１７と、を備え、類似性判断部１６は、解析した画像とデータベースの画像との類似性を判断し、ノイズ低減部１７は、類似性と、画像に関連付けられた音と、に基づいて、取得した音に対するノイズ低減を行う。【選択図】図１

Description

本発明は、車両走行中に発生するロードノイズを低減させるノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムに関する。

車両走行中に発生するロードノイズは、車内の音声の認識を困難にする場合がある。例えば、ロードノイズは、車内のハンズフリー通話における音声の品質を低下させる。また、ロードノイズは、車内におけるカーナビゲーション等の情報機器を操作するスマートスピーカーの音声認識率を低下させる。

特開２００２−３１４６３７号公報 特開２００４−２４０１３１号公報 特開２００６−０３９２６７号公報 特開２００９−１８６８４０号公報

特許文献１には、車両走行中に発生するノイズを低減する雑音低減装置が開示されている。特許文献１の雑音低減装置は、要因情報検出部を備え、位置情報ごとに雑音データを記憶することで、次回走行時のノイズキャンセル処理を行っている。特許文献１では、車両周囲の状況を画像で取り込むことが開示されているが、取り込まれる画像は、交差点、カーブ、橋などの位置情報を得るためのセンサとしての役割をするものであり、走行履歴のない位置では、ノイズを低減することができない。

本発明は、上記問題に鑑み、車両走行中のノイズを精度よく低減させることができるノイズ低減装置を提供することを目的とする。

そこで、本発明は、車両内部の音を集音する集音部から音を取得する音取得部と、前記取得した音を解析する音解析部と、車両周辺の画像を撮像する撮像部から画像を取得する画像取得部と、前記取得した画像を解析する画像解析部と、前記解析した音と、前記解析した画像と、を関連付けてデータベースに記憶させる記憶部と、前記データベースの検索を行う検索部と、を備える記憶制御部と、前記解析した画像同士の類似性を判断する類似性判断部と、前記取得した音に対しノイズを低減する処理を行うノイズ低減部と、を備え、前記類似性判断部は、前記撮像部から取得し、前記解析した画像と、前記データベースに記憶された画像と、の類似性を判断し、前記ノイズ低減部は、前記類似性と、前記データベースに記憶された前記画像に関連付けられた音と、に基づいて、前記取得した音に対するノイズ低減を行うノイズ低減装置を提供する。

また、本発明は、車両内部の音を集音する集音部から音を取得するステップと、前記取得した音を解析するステップと、車両周辺の画像を撮像する撮像部から画像を取得するステップと、前記取得した画像を解析するステップと、前記解析した音と、前記解析した画像と、を関連付けてデータベースに記憶させるステップと、前記データベースの検索を行うステップと、前記解析した画像同士の類似性を判断するステップと、前記取得した音に対しノイズを低減する処理を行うステップと、を備え、前記類似性を判断するステップにおいて、前記撮像部から取得し、前記解析した画像と、前記データベースに記憶された画像と、の類似性を判断し、ノイズを低減する処理を行うステップにおいて、前記類似性と、前記データベースに記憶された前記画像に関連付けられた音と、に基づいて、前記取得した音に対するノイズ低減を行うノイズ低減方法を提供する。

さらに、本発明は、車両内部の音を集音する集音部から音を取得させ、前記取得した音を解析させ、車両周辺の画像を撮像する撮像部から画像を取得させ、前記取得した画像を解析させ、前記解析した音と、前記解析した画像と、を関連付けてデータベースに記憶させ、前記データベースの検索を行わせ、前記解析した画像同士の類似性を判断させ、前記取得した音に対しノイズを低減する処理を行わせることをコンピュータに実行させるノイズ低減プログラムであって、前記類似性を判断させる際に、前記撮像部から取得し、前記解析した画像と、前記データベースに記憶された画像と、の類似性を判断させ、ノイズを低減する処理を行わせる際に、前記類似性と、前記データベースに記憶された前記画像に関連付けられた音と、に基づいて、前記取得した音に対するノイズ低減を行わせることをコンピュータに実行させるノイズ低減プログラムを提供する。

本発明により、車両走行中のノイズを精度よく低減させることができるノイズ低減装置を提供することができる。

実施形態１に係るノイズ低減装置を例示した構成図である。 実施形態１に係る撮像部が撮像した画像を例示した図である。 実施形態１に係る撮像部が撮像した画像を例示した図である。 実施形態１に係る集音部が集音した音を例示したグラフであり、横軸は、時間を示し、縦軸は、音圧レベルを示す。 実施形態１に係る集音部が集音した音を例示したグラフであり、横軸は、時間を示し、縦軸は、音圧レベルを示す。 実施形態１に係るノイズ低減装置を用いたノイズ低減方法の記憶フローを例示したフローチャート図である。 実施形態１に係る音データ解析部がノイズと判断した音を例示したグラフであり、横軸は、時間を示し、縦軸は、音圧レベルを示す。 実施形態１に係るノイズ低減装置を用いたノイズ低減方法の実行フローを例示したフローチャート図である。 実施形態１に係る低減装置１によりノイズが低減された音を例示したグラフであり、横軸は、時間を示し、縦軸は、音圧レベルを示す。 実施形態２に係るノイズ低減装置を例示した構成図である。 実施形態２に係るノイズ低減装置を用いたノイズ低減方法の記憶フローを例示したフローチャート図である。 実施形態２に係るノイズ低減装置を用いたノイズ低減方法の実行フローを例示したフローチャート図である。 実施形態３に係るノイズ低減装置を例示した構成図である。 実施形態３に係るノイズ低減装置を用いたノイズ低減方法の記憶フローを例示したフローチャート図である。 実施形態３に係るノイズ低減装置を用いたノイズ低減方法の実行フローを例示したフローチャート図である。

（実施形態１）
実施形態１に係るノイズ低減装置を説明する。まず、ノイズ低減装置の構成を説明する。その後、ノイズ低減装置の動作として、ノイズ低減装置を用いたノイズ低減方法を説明する。

＜ノイズ低減装置の構成＞
図１は、実施形態１に係るノイズ低減装置を例示した構成図である。ノイズ低減装置１は、例えば、ハンズフリー通話機器に用いられることを想定するが、これに限らない。ノイズ低減装置１は、音声認識エンジン、すなわち、車内のカーナビゲーション、オーディオ装置及び空調装置等、または、これらの機器を操作するスマートスピーカーに用いられてもよい。図１に示すように、ノイズ低減装置１は、画像データ取得部１１、画像データ解析部１２、音データ取得部１３、音データ解析部１４、記憶制御部１５、類似性判断部１６、ノイズ低減部１７を備えている。ノイズ低減部１７は、フィルタ選択部１７ａ及びフィルタ処理部１７ｂを含んでいる。画像データ取得部１１、画像データ解析部１２、音データ取得部１３、及び、音データ解析部１４を、単に、画像取得部、画像解析部、音取得部、及び、音解析部ともいう。

ノイズ低減装置１には、撮像部２１が接続されている。撮像部２１は、例えば、車両前方を撮像するように設置された車載カメラもしくはドライブレコーダである。しかしながら、撮像部２１は、車両周辺の画像を撮像できれば、これらに限定されず、撮像部２１の設置位置や方向も限定されない。撮像部２１は、信号線または無線等の情報伝達手段によって、ノイズ低減装置１の画像データ取得部１１に接続されている。信号線または無線等の情報伝達手段を信号線等という。

図２及び図３は、実施形態１に係る撮像部２１が撮像した画像を例示した図である。図２及び図３に示すように、撮像部２１は、車両周辺の画像を撮像する。図２に示すように、撮像部２１は、例えば、高速道路走行中に、ジョイント３１、段差３２及び車線境界線３３を含む路面３４の画像を撮像する。また、図３に示すように、撮像部２１は、ワイパー３５及び雨粒３６を含むウィンドシールド３７の画像を撮像してもよい。撮像部２１は、撮像した画像を画像データ取得部１１に出力する。信号線等を介して出力された画像を、画像データともいい、単に、画像ともいう。

画像データ取得部１１は、車両周辺の画像を撮像する撮像部２１から画像データを取得する。画像データ取得部１１は、信号線等を介して画像データ解析部１２に接続されている。画像データ取得部１１は、取得した画像データを画像データ解析部１２に出力する。

画像データ解析部１２は、画像データ取得部１１から画像データを取得する。画像データ解析部１２は、取得した画像データを解析する。例えば、画像データ解析部１２は、取得した画像データから動きベクトル抽出または画像認識等の処理を行って画像データの特徴部を抽出する。具体的には、画像データ解析部１２は、取得した画像データから高速道路のジョイント３１、段差３２、車線境界線３３、路面３４、ワイパー３５、雨粒３６及びウィンドシールド３７等のノイズ発生源となりうる特徴部を特定する。例えば、画像データにおける高周波成分の抽出および解析等により、境界線を含む特徴部を特定する。特徴部の輝度や色度、画像上の大きさ等の情報を合わせて解析してもよい。画像データ解析部１２は、信号線等を介して記憶制御部１５及び類似性判断部１６に接続されている。画像データ解析部１２は、解析した画像データを、記憶制御部１５及び類似性判断部１６に出力する。

ノイズ低減装置１には、集音部２２が接続されている。集音部２２は、例えば、車内に設置したマイクである。集音部２２として、車両の各タイヤ方向に指向性を持たせたマイクを使用してもよい。これにより、車載電子機器やオーディオ装置の出力音と、ロードノイズとの分離度合いを高めることができる。集音部２２は、信号線等によりノイズ低減装置１の音データ取得部１３に接続されている。また集音部２２として、エンジン方向に指向性を持たせたマイクを使用し、エンジンノイズを集音してもよい。

図４及び図５は、実施形態１に係る集音部２２が集音した音を例示したグラフであり、横軸は、時間を示し、縦軸は、音圧レベルを示す。図４及び図５に示すように、集音部２２は、車両内部の音を集音する。集音部２２が集音した音は、音声の音４１の他、ノイズと思われる音４２及び音４３を含んでいる。音４２は、例えば、ジョイント３１によるパルス的なロードノイズであり、音４３は、路面３４による定常的なロードノイズである。集音部２２は、集音した音を音データ取得部１３に出力する。信号線等を介して出力された音を、音データともいい、単に音ともいう。

音データ取得部１３は、車両内部の音を集音する集音部２２から音データを取得する。音データ取得部１３は、信号線等を介して音データ解析部１４に接続されている。また、音データ取得部１３は、信号線等を介して、ノイズ低減部１７のフィルタ処理部１７ｂに接続されている。音データ取得部１３は、取得した音データを音データ解析部１４及びフィルタ処理部１７ｂに出力する。

音データ解析部１４は、音データ取得部１３から音データを取得する。音データ解析部１４は、取得した音データを解析する。例えば、音データ解析部１４は、取得した音データから周波数特性及び音量を解析して音の特徴部を抽出する。具体的には、音データ解析部１４は、取得した車内音から、特定の周波数帯域における振幅及び時間軸方向の波形特性に基づいて、音４２及び音４３等のようなノイズを抽出する。一例として、音データ解析部１４は、その音の立ち上がり特性及び振幅の大きさが、所定の値を超えた場合に突発性のパルス的なノイズと判定する。ジョイント３１による突発性のノイズは、周期的に発生する場合も多いため、周期性を考慮して判定してもよい。また、その音の周波数特性および振幅の大きさが一定のものである場合に定常的なロードノイズと判定する。ロードノイズの判定は、比較的に低周波を中心とする音であることを周波数特性の解析により判定してもよい。音の立ち上がり特性は、時間に対する振幅の関係を含んでいる。音データ解析部１４は、信号線等を介して記憶制御部１５に接続されている。音データ解析部１４は、解析した音データを記憶制御部１５に出力する。

記憶制御部１５は、記憶部２３及び検索部２６を備えている。記憶制御部１５は、記憶部２３及び検索部２６と信号線等により接続している。記憶部２３は、解析した画像データ及び解析した音データのデータベースを含んでいる。記憶部２３は、解析した音データと、解析した画像データとを関連付けてデータベースに記憶させる。具体的には、記憶部２３は、所定のタイミングで取得した音の特徴部と、所定のタイミングで取得した画像の特徴部と、の関連付けを行って、データベースに記憶させる。例えば音の特徴としてパルス的なノイズがあり、画像の特徴部として段差を画像認識した場合、段差とパルス的ノイズを関連付けてデータベースに記憶させる。音のパルス的ノイズの周波数特性や振幅の大きさなどの特徴と、画像の段差の高周波成分量または段差の画像上の大きさ、輝度や色度などの特徴を関連付けてデータベースに記憶させてもよい。検索部２６は、解析した音データ及び解析した画像データに関連させたデータベースの検索を行う。記憶制御部１５は、信号線等を介して類似性判断部１６に接続されている。記憶制御部１５は、データベースから検索した画像データを類似性判断部１６に出力する。

類似性判断部１６は、解析した画像データ同士の類似性を判断する。具体的には、類似性判断部１６は、画像データ解析部１２から出力された解析した画像データと、データベースに記憶された画像データとの類似性を判断する。このときに、それぞれの画像データから抽出した特徴部同士を用いて類似性を判断することが好ましい。例えば、類似性判断部１６は、車両前方を撮像したリアルタイムのカメラ画像における特徴部と、データベースに記録管理されている画像における特徴部との類似性を判断する。

記憶部２３に記憶される音データ及び画像データは、抽出された特徴部により分類分けして記憶されてもよい。これにより、類似性判断部１６における類似性判断の精度を向上させることができる。また、分類分けされた音データ及び画像データを類似性判断部１６に学習させて、類似性判断の精度を向上させてもよい。類似性判断部１６は、信号線等を介してノイズ低減部１７のフィルタ選択部１７ａに接続されている。類似性判断部１６は、類似性を有すると判断した場合には、ノイズ低減部１７のフィルタ選択部１７ａにその判断結果を出力する。

ノイズ低減部１７は、取得した音データに対しノイズを低減する処理を行う。例えば、ノイズ低減部１７は、取得した音データを適応フィルタによってノイズを低減する処理を行う。ノイズ低減部１７は、複数の適応フィルタから適切な適応フィルタを選択するフィルタ選択部１７ａ及び選択した適応フィルタを用いてノイズを低減するフィルタ処理部１７ｂを含んでいる。フィルタ選択部１７ａは、信号線等により、フィルタ処理部１７ｂに接続されている。ノイズ低減部１７は、類似性判断部１６における類似性判断によって、取得した画像データがデータベースに記憶された画像データのひとつまたは複数と類似性を有すると判断された場合に、データベースに記憶された当該の画像データに関連付けられた音データと類似のノイズが発生すると予測し、予測されたノイズを低減するために適切である適応フィルタを選択する。適応フィルタは、予め複数種類を用意して選択できるようにしてもよく、発生が予測されるノイズに対して適応的にパラメータを設定する形態であってもよい。

このように、ノイズ低減部１７は、類似性と、データベースに記憶された画像データに関連付けられた音データと、に基づいて、取得した音に対するノイズ低減を行う。例えば、ノイズ低減部１７は、データベースに記憶された画像に関連付けられた音に基づいた適応フィルタを選択し、取得した音に対するノイズ低減処理を行う。これにより、ノイズを効果的に低減することができる。ノイズ低減部１７は、ノイズを低減させた音を出力する。ノイズ低減部１７は、ハンズフリー通話機器の入力部に搭載されてもよいし、スマートスピーカー等の音声認識エンジンの入力部に搭載されてもよい。

＜ノイズ低減方法＞
次に、実施形態１に係るノイズ低減装置１の動作として、ノイズ低減方法を説明する。ノイズ低減方法を、記憶フロー及び実行フローに分けて説明する。記憶フローは、ノイズを含んだ音データを画像データに関連付けて記憶するフローであり、実行フローは、ノイズを含んだ音データのノイズ低減処理を行うフローである。実際のノイズ低減装置１の動作では、記憶フローと実行フローとは、並行して実施される。まず、記憶フローを説明する。

図６は、実施形態１に係るノイズ低減装置１を用いたノイズ低減方法の記憶フローを例示したフローチャート図である。図６のステップＳ１１に示すように、まず、画像データ及び音データを取得する。画像データ取得部１１は、車両周辺の画像を撮像する撮像部２１から画像データを取得する。また、音データ取得部１３は、車両内部の音を集音する集音部２２から音データを取得する。画像データ取得部１１及び音データ取得部１３は、リアルタイムで画像データ及び音データを取得し、画像データ解析部１２及び音データ解析部１４に出力する。

次に、ステップＳ１２に示すように、取得した画像データ及び音データを解析し、特徴部を抽出する。画像データ解析部１２は、取得した画像データを解析する。画像データ解析部１２は、具体的には、取得した画像データから動きベクトル抽出または画像認識等の処理を行って画像データの特徴部を抽出する。例えば、図２において、ジョイント３１の動きベクトルまたは画像認識により、特徴部としてジョイント３１を抽出する。

なお、ユーザがタッチパネル等に表示された画像において、特徴部を直接指定する形態であってもよい。例えば、図２を表示するタッチパネルにおいて、ジョイント３１をユーザが直接特徴部として指定してもよい。これにより、ジョイント３１を特徴部としてデータベースに保存することができる。また、特定の音データをジョイント３１に関連付けすることができる。

音データ解析部１４は、取得した音データを解析する。音データ解析部１４は、具体的には、取得した音データから、周波数特性及び音量を解析して音の特徴部を抽出する。例えば、図４において、周波数特性及び音量の解析により、特徴部として、音声の音４１と、ノイズと思われる音４２とを抽出する。

次に、ステップＳ１３に示すように、音データはノイズを含むか判断する。音データ解析部１４は、音データの特徴部に基づいて、音データがノイズを含むか判断する。例えば、音の立ち上がり特性及び振幅の大きさが所定の値を超えた場合に、ノイズを含むと判断する。例えば、図４において、音４２の立ち上がり特性及び振幅の大きさが所定の値を超えた場合には、音４２をパルス的なロードノイズと判断する。同様に、図５において、音４３の立ち上がり特性及び振幅の大きさが所定の値を超えた場合には、音４３を定常的なロードノイズと判断する。

ステップＳ１３において、音データがノイズを含むと判断された場合には、ステップＳ１４に示すように、画像データと音データの関連付けを行う。具体的には、記憶制御部１５は、所定のタイミングで取得した音データの特徴部と、所定のタイミングで取得した画像データの特徴部と、の関連付けを行う。音データの特徴部はノイズを含み、画像データの特徴部はノイズ発生源を含んでいる。関連付けは、例えば、タグ付けにより行う。タグ付けは、例えば、画像データにおける道路上の特定部分、特徴部の形状、「ジョイント」等の名称との紐付けなどにより行う。音データにおける周波数特性や、音の立ち上がりの特徴、音量、時間等との紐付けなどにより行ってもよい。このようにして、記憶制御部１５は、画像データの特徴部を検索するためのタグ付けを行う。

図７は、実施形態１に係る音データ解析部１４がノイズと判断した音を例示したグラフであり、横軸は、時間を示し、縦軸は、音圧レベルを示す。図７に示すように、ノイズと判断された音４２と、図２における所定のタイミングで取得されたノイズ発生源であるジョイント３１と、の関連付けを行う。所定のタイミングは、取得した画像から抽出した特徴部と車両との距離、及び、車両の速度から算出してもよい。画像データにおいて、ノイズ発生源の特徴部の位置から予測して、ノイズ低減処理の開始タイミングを制御してもよい。所定のタイミングの算出については後述する。

次に、ステップＳ１５に示すように、解析した音データと、解析した画像データと、を関連付けて記憶部２３に記憶させる。具体的には、記憶制御部１５は、所定のタイミングで取得した音データの特徴部と、所定のタイミングで取得した画像データの特徴部と、の関連付けを行って、データベースに記憶させる。例えば、図７に示すように、ノイズと判断された音４２と、図２における所定のタイミングで取得されたノイズ発生源であるジョイント３１と、の関連付けを行ってデータベースに記憶させる。そして、処理を終了する。また、ステップＳ１３において、ノイズを含まないと判断された場合にも、処理を終了する。

次に、実行フローを説明する。図８は、実施形態１に係るノイズ低減装置１を用いたノイズ低減方法の実行フローを例示したフローチャート図である。

図８のステップＳ２１に示すように、まず、画像データ及び音データを取得する。画像データ取得部１１は、車両周辺の画像を撮像する撮像部２１から画像データを取得する。また、音データ取得部１３は、車両内部の音を集音する集音部２２から音データを取得する。ステップＳ２１における画像データ取得部１１及び音データ取得部１３の動作は、ステップＳ１１の動作と同様である。

次に、ステップＳ２２に示すように、画像データ及び音データを解析し、特徴部を抽出する。画像データ解析部１２は、取得した画像データを解析し、特徴部を抽出する。音データ解析部１４は、取得した音データを解析し、特徴部を抽出する。ステップＳ２２における画像データ解析部１２及び音データ解析部１４の動作は、ステップＳ１２の動作と同様である。抽出された特徴部に基づいて、検索部２６は、データベースの検索を行う。検索部２６は、データベースに記憶された音データ及び画像データを検索する。

次に、ステップＳ２３に示すように、解析した画像データの特徴部が、記憶部２３に記憶された画像データの特徴部と類似するか判断する。具体的には、類似性判断部１６は、解析した画像データとデータベースに記憶された画像データとの類似性を判断する。例えば、図２において解析されたジョイント３１と、データベースに記憶されたジョイント３１との類似性を判断する。類似性は、動きベクトルまたは画像認識における所定の成分が、所定の閾値以内にあるか等により判断される。

ステップＳ２３において、解析した画像データとデータベースに記憶された画像データとが類似すると判断された場合には、ステップＳ２４に示すように、関連付けられた適応フィルタを選択する。すなわち、ノイズ低減部１７は、類似性判断部１６によって、撮像部２１から取得し、解析した画像データとデータベースに記憶された画像データとが類似すると判断された場合には、データベースに記憶された当該の画像データに関連付けられたノイズを含む音データに基づいて、ノイズを低減するために適切である適応フィルタを選択する。フィルタ選択部１７ａは、あらかじめ、図７に示すノイズと判断された音４２を低減させるのに最適な適応フィルタを対応させておく。これにより、適応フィルタは、対応するノイズを低減させる。

そして、ステップＳ２５に示すように、ノイズ低減処理のフィルタリングを実行する。具体的には、フィルタ処理部１７ｂは、選択された適応フィルタを用いて、ノイズ低減を行う。このとき、選択された適応フィルタによるノイズ低減処理の特性と、実際に発生したノイズの特性との適応度合を判定する図示しない適応判定部と、発生したノイズの特性と、ノイズ低減特性との適応度合に基づいて、フィルタ選択部１７ａにて当該の音データに適した特性を有する適応フィルタを選択する形態があってもよい。適応判定部は、ユーザによる手動でのフィルタ切替が発生した場合に適応度合が低いと判定してもよい。

図９は、実施形態１に係るノイズ低減装置１によりノイズが低減された音を例示したグラフであり、横軸は、時間を示し、縦軸は、音圧レベルを示す。図９に示すように、ノイズ低減部１７は、リアルタイムで取得された音データを適応フィルタでノイズ低減処理を行うことにより、ノイズを含む音４２が除去された音声を出力する。

このようにして、ノイズ低減部１７は、類似性と、データベースに記憶された画像データに関連付けられた音データに基づいて、取得した音に対するノイズ低減を行う。具体的には、適応フィルタを選択し、ノイズ低減を行う。そして、処理を終了する。また、ステップＳ２３において、解析した画像データとデータベースに記憶された画像データとが類似しないと判断された場合にも、処理を終了する。

なお、ノイズ低減部１７が行うノイズ低減処理は、適応フィルタを用いてノイズを除去するフィルタリングに限らない。例えば、ノイズ低減部１７は、ノイズを含む音４２を打ち消すような信号を重畳させることによって、ノイズ低減処理を行ってもよい。

次に、本実施形態の効果を説明する。
本実施形態のノイズ低減装置１は、音データの解析だけを用いてノイズ低減処理を行うのではなく、画像データの解析を用いている。すなわち、解析された画像データの特徴部に関連付けられた音データを用いて、適応フィルタを選択している。よって、ノイズ発生源に対応した適応フィルタを用いることができるので、精度よくノイズを低減させることができる。

一例として、高速道路を車両走行中に発生するパルス的なロードノイズを、車載カメラからのジョイント３１等の画像データと関連づけて取得し、履歴として管理する。そして、撮像した画像データの特徴部と、履歴にある画像データの特徴部との類似性が高い場合に、画像データに関連付けられたパルス的なロードノイズの発生を予測することができる。よって、予測したロードノイズ特性に合わせて適応フィルタを最適化することができ、精度よくノイズを低減させることができる。また、パルス的なロードノイズに限らず、定常的なロードノイズについても、ノイズ発生源となる画像データの特徴と関連付けて記憶することによって、定常的なロードノイズの発生を予測し、適切な適応フィルタを選択してノイズ低減を行うことができる。

これに対して、例えば、音声データのみでノイズ除去する場合には、マイクから集音されるロードノイズをサンプリングし、周波数成分、音量等を解析することにより、現在の走行時のロードノイズに適したフィルタを選択する。または、ロードノイズを打ち消すような信号を重畳させる。マイクから集音される音には、音声、ロードノイズ、車内オーディオ機器等から発生する音が含まれている。ロードノイズの成分を除去する最適なフィルタまたは信号を逐次選択することにより、ロードノイズを除去する必要がある。

しかしながら、音声データのみでノイズ除去する場合には、ロードノイズと人の発話音声とが重なり、ロードノイズと発話音声との区別が難しい場合がある。特に、パルス的なロードノイズの場合には、発話音声における発音したワードとワードとの区切りに、パルス的なロードノイズが重なると、連続発話とみなされ、正しくワードを認識することができない場合がある。よって、音声データのみでは、精度よくノイズを低減させることができない。

一方、本実施形態のノイズ低減装置１では、ノイズ発生源となる特徴部が含まれた画像が撮像された場合に、その特徴部に関連付けられた音データを用いてノイズ低減処理を行うので、発音したワードの区切りを認識することができ、精度よくノイズを低減することができる。

特許文献１の雑音低減装置は、要因情報検出部を備え、位置情報ごとに雑音データを記憶する。これにより、次回走行時のノイズキャンセル処理を行っている。特許文献１の雑音低減装置では、位置検出のためのセンサとして、交差点、カーブ、橋などの画像を使用しているが、画像については、位置検出部が備える単なるセンサの一つであり、画像をどのように処理するかは具体的には示されていない。特許文献１の雑音低減装置が画像を使用する目的は、単なる位置検出であり、画像により認識する対象は、交差点、カーブ、橋などの位置情報である。

一方、本実施形態のノイズ低減装置１では、取得した画像から動きベクトル抽出または画像認識の少なくともいずれかの処理を行って、ジョイント３１等の特徴部を抽出する。よって、本実施形態のノイズ低減装置１が画像を使用する目的は、ノイズ発生源の特定であり、画像により認識する対象は、ノイズ発生源である。このように、本実施形態のノイズ低減装置１は、特許文献１の雑音低減装置と、画像を使用する目的及び認識する対象物が異なっている。特許文献１の雑音低減装置では、位置情報と雑音データとを関連付けるものであるため、ＧＰＳ及び地図情報を備える必要がある。また、各地点に雑音データを保持するため、膨大な記憶容量を必要とする。また、走行履歴の無い位置には雑音データが存在せず、したがって、雑音低減効果を得ることができない。

本実施形態のノイズ低減装置１では、ノイズ発生源となる画像の特徴部と、ノイズと、を関連付けて記憶している。そして、画像の特徴部と類似するときに、ノイズを低減する処理を行っている。よって、特許文献１と異なり、ＧＰＳ及び地図情報を備える必要はなく、各地点に雑音データを保持する必要もない。よって、膨大な記憶容量を必要としない。また、走行履歴の無い位置でも、画像の特徴部よりノイズの発生を予測することができ、精度よくノイズを低減することができる。

本実施形態のノイズ低減装置１を、車両用ハンズフリー通話機器に用いることにより、ロードノイズを低減させた高品質な音声通話を提供することができる。また、ノイズ低減装置１を、音声認識エンジン、すなわち、車内のカーナビゲーション、オーディオ装置及び空調装置等、または、これらの機器を操作するスマートスピーカーに用いることにより、音声認識率を向上させることができる。

本実施形態のノイズ低減装置１は、通常走行中には、比較的低い音域（ブーン、ゴーッ）のロードノイズに最適化したノイズフィルタを用いる。そして、ジョイント３１を走行する瞬間には、ノイズ低減装置１は、比較的高いパルス状のノイズ（パコッ、コポッ）に適したノイズフィルタを用いることができる。これにより、走行状況に応じたノイズ低減処理を行うことができる。

また、本実施形態のノイズ低減装置１は、ロードノイズだけでなく、ワイパー３５の動作音及び雨音によるノイズを低減することができる。すなわち、図３に示すように、ワイパー３５の動作や雨粒３６、及び、ワイパー３５の動作速度や雨粒３６の大きさも含めて、画像データから抽出した特徴部として関連付けることができる。これにより、ワイパーの動作速度及び雨量に応じたノイズに対応させて適応フィルタを選択することができる。

（実施形態２）
次に、実施形態２に係るノイズ低減装置を説明する。実施形態２のノイズ低減装置は、実施形態１のノイズ低減装置１と比べて、車両情報取得部をさらに備えている点が異なっている。

＜ノイズ低減装置の構成＞
図１０は、実施形態２に係るノイズ低減装置２を例示した構成図である。ノイズ低減装置２は、車両情報取得部１８をさらに備えている。車両情報取得部１８は、ＣＡＮ（Ｃａｒ Ａｉｒ Ｎｅｔｗｏｒｋ）・センサ等２４に信号線等を介して接続されている。車両情報取得部１８は、ＣＡＮ・センサ等２４から車両の走行情報を取得する。ＣＡＮ・センサ等２４は、車両の速度計、所定の回路の電流・電圧計を含んでおり、車両の走行情報として、例えば、走行中の車両速度、ワイパー３５及び空調の動作状態を取得する。車両情報取得部１８は、信号線等を介して、記憶制御部１５に接続されている。車両情報取得部１８は、取得した車両の走行情報を記憶制御部１５に出力する。

記憶制御部１５における記憶部２３は、画像データ解析部１２において解析した画像データと、音データ解析部１４において解析した音データと、車両情報取得部１８において取得した車両の走行情報と、を関連付けしてデータベースに記憶させる。また、記憶制御部１５における検索部２６は、解析した画像データと、解析した音データと、車両の走行情報と、を関連付けたデータベースの検索を行う。記憶制御部１５は、車両の走行情報として、車両速度ごとに解析した画像データ及び解析した音データを関連付けてもよい。画像から抽出した特徴部の類似性が高いと判断された場合でも、車両速度が異なると発生するパルス状ノイズの特徴が異なる場合がある。これらを車両速度ごとに関連づけることで、より適切な適応フィルタを選択してノイズ低減を行うことが出来る。また、ワイパーや空調機器等の動作状態を車両の走行情報として取得し、これらの動作状態に応じて適応フィルタの選択を行うこともできる。

類似性判断部１６は、解析した画像データ同士の類似性に加えて、取得した車両の走行情報同士の類似性を判断する。具体的には、類似性判断部１６は、取得した車両の走行情報とデータベースに記憶された車両の走行情報との類似性を判断する。類似性判断部１６は、類似性を有すると判断した場合には、ノイズ低減部１７にその判断結果を出力する。

なお、画像データ解析部１２は、画像の特徴部と、車両との間の距離を判定する距離判定部１２ａをさらに備えてもよい。ここで、画像の特徴部は、画像データ取得部１１により取得した画像データから抽出したものである。画像の特徴部と、車両との間の距離を、特徴部までの距離ともいう。

また、ノイズ低減部１７は、車両の走行情報、及び、特徴部までの距離から、車両が画像の特徴部を通過するまでの所要時間を算出する所要時間算出部１７ｃをさらに備えてもよい。これにより、ノイズ低減部１７は、算出した所要時間に応じて、適応フィルタによるノイズ低減を行うタイミングを制御することができる。

例えば、距離判定部１２ａは、特定のノイズ発生源を示す特徴部までの距離が１０［ｍ］であることを画像データから判定する。そして、所要時間算出部１７ｃは、特徴部までの距離及び車両速度に基づいて、車両が画像の特徴部を通過するまでの所要時間を算出する。これにより、ノイズ低減部１７は、ノイズ発生のタイミングを予測し、ノイズ低減処理を開始するタイミングを制御する。このようにして、所定のタイミングを設定する。

また、ノイズ低減部１７は、フィルタ選択において、走行中の車両速度に応じた選択を行ってもよいし、フィルタ処理において、走行中の車両速度に応じた調整を行ってもよい。これ以外のノイズ低減装置２の構成は、実施形態１のノイズ低減装置の構成と同様である。

＜ノイズ低減方法＞
次に、実施形態２に係るノイズ低減装置２を用いたノイズ低減方法を説明する。図１１は、実施形態２に係るノイズ低減装置２を用いたノイズ低減方法の記憶フローを例示したフローチャート図である。

図１１のステップＳ３１に示すように、まず、画像データ及び音データに加え、車両の走行情報も取得する。車両情報取得部１８は、ＣＡＮ・センサ等２４から車両の走行情報を取得する。画像データ取得部１１及び音データ取得部１３は、画像データ及び音データを取得する。ステップＳ３１における画像データ取得部１１及び音データ取得部１３の動作は、実施形態１と同様である。

次に、ステップＳ３２に示すように、画像データ解析部１２及び音データ解析部１４は、画像データ及び音データを解析し、特徴部を抽出する。ステップＳ３２における画像データ解析部１２及び音データ解析部１４の動作は、実施形態１と同様である。

次に、ステップＳ３３に示すように、音データ解析部１４は、音データの特徴部に基づいて、音データがノイズを含むか判断する。ステップＳ３３における音データ解析部１４の動作は、実施形態１と同様である。

ステップＳ３３において、音データがノイズを含むと判断した場合には、ステップＳ３４に示すように、画像データ、音データ及び車両の走行情報の関連付けを行う。具体的には、記憶制御部１５は、解析した画像データと、解析した音データと、車両の走行情報と、を関連付けする。関連付けの手法は、実施形態１と同様である。

次に、ステップＳ３５に示すように、画像データ、音データ及び車両の走行情報を関連付けて記憶部２３のデータベースに記憶させる。具体的には、記憶制御部１５の記憶部２３は、解析した画像データと、解析した音データと、車両の走行情報と、を関連付けてデータベースに記憶させる。そして、処理を終了する。また、ステップＳ３３において、音データがノイズを含まないと判断された場合にも、処理を終了する。

図１２は、実施形態２に係るノイズ低減装置２を用いたノイズ低減方法の実行フローを例示したフローチャート図である。

図１２のステップＳ４１に示すように、まず、画像データ及び音データに加えて、車両の走行情報を取得する。車両情報取得部１８は、ＣＡＮ・センサ等２４から車両の走行情報を取得する。画像データ取得部１１及び音データ取得部１３は、画像データ及び音データを取得する。ステップＳ４１における画像データ取得部１１及び音データ取得部１３の動作は、実施形態１と同様である。

次に、ステップＳ４２に示すように、画像データ解析部１２及び音データ解析部１４は、画像データ及び音データを解析し、特徴部を抽出する。ステップＳ４２における画像データ解析部１２及び音データ解析部１４の動作は、実施形態１と同様である。抽出された特徴部に基づいて、検索部２６は、データベースの検索を行う。検索部２６は、データベースに記憶された音データ、画像データ及び車両の走行情報を検索する。

次に、ステップＳ４３に示すように、画像データの特徴部が記憶部２３に記憶された特徴部と類似するか判断する。具体的には、類似性判断部１６は、解析した画像データとデータベースに記憶された画像データとの類似性を判断する。また、類似性判断部１６は、取得した車両の走行情報と、データベースに記憶された車両の走行情報との類似性を判断する。具体的には、類似性判断部１６は、取得した車両速度、ワイパーの動作状態等と、データベースに記憶された車両速度、ワイパーの動作状態等との類似性を判断する。

ステップＳ４３において、解析した画像データとデータベースに記憶された画像データとが類似すると判断された場合には、ステップＳ４４に示すように、関連付けられた適応フィルタを選択する。また、ステップＳ４３において、取得した車両の走行情報とデータベースに記憶された車両の走行情報とが類似すると判断された場合には、ステップＳ４４に示すように、関連付けられた適応フィルタを選択する。すなわち、ノイズ低減部１７は、類似性判断によって、類似すると判断された場合には、データベースに記憶された画像データまたは車両の走行情報に関連付けられた音データに基づいて適応フィルタを選択する。

そして、ステップＳ４５に示すように、ノイズ低減処理のフィルタリングを実行する。ノイズ低減処理を行う際には、距離判定部１２ａが判定した特徴部までの距離、及び、所要時間算出部１７ｃが算出した車両が特徴部を通過するまでの所要時間に基づいてタイミング制御する。

このようにして、ノイズ低減部１７は、類似性と、データベースに記憶された画像または車両の走行情報に関連付けられた音と、に基づいて、適応フィルタを選択し、ノイズ低減を行う。そして、処理を終了する。また、ステップＳ４３において、解析した画像データとデータベースに記憶された画像データとが類似しないと判断された場合、及び、取得された車両の走行情報とデータベースに記憶された車両の走行情報とが類似しないと判断された場合にも、処理を終了する。

実施形態２のノイズ低減装置２においては、車両の走行情報を取得する車両情報取得部１８を備えている。また、ノイズ低減装置２は、距離判定部１２ａ及び所要時間算出部１７ｃを備えている。よって、特徴部までの距離、及び、特徴部を通過するまでの所要時間に基づいてノイズ低減処理のタイミングを制御する。これにより、タイミングに関して、精度よくロードノイズを低減させることができる。

また、データベースに記憶された車両の走行情報に関連付けられた音に基づいて、適応フィルタを選択し、ノイズ低減を行っている。これにより、ワイパー３５、オーディオ機器、空調機器等の動作状態を車両の走行情報として関連付けることができ、これらの動作音によるノイズを低減することができる。これ以外の構成、動作及び効果は、実施形態１の記載に含まれている。

（実施形態３）
次に、実施形態３に係るノイズ低減装置３を説明する。実施形態３のノイズ低減装置は、実施形態１のノイズ低減装置１と比べて、現在位置取得部１９をさらに備えている点が異なっている。

＜ノイズ低減装置の構成＞
図１３は、実施形態３に係るノイズ低減装置を例示した構成図である。ノイズ低減装置３は、現在位置取得部１９をさらに備えている。現在位置取得部１９は、カーナビゲーション２５等の情報機器端末に信号線等を介して接続されている。現在位置取得部１９は、例えば、カーナビゲーション２５の地図情報から車両の現在の位置情報を取得する。現在位置取得部１９は、記憶制御部１５に信号線等を介して接続されている。現在位置取得部１９は、取得した車両の現在の位置情報を記憶制御部１５に出力する。

記憶制御部１５における記憶部２３は、解析した画像データと、解析した音データと、取得した位置情報と、を関連付けしてデータベースに記憶させる。また、記憶制御部１５における検索部２６は、解析した画像データと、解析した音データと、現在の位置情報と、を関連付けてデータベースの検索を行う。

類似性判断部１６は、解析した画像データ同士の類似性に加えて、取得した車両の位置情報同士の類似性を判断する。類似性判断部１６は、取得した車両の現在の現在位置情報とデータベースに記憶された車両の位置情報との類似性を判断する。類似性判断部１６は、類似性を有すると判断した場合には、ノイズ低減部１７にその判断結果を出力する。

＜ノイズ低減方法＞
図１４は、実施形態３に係るノイズ低減装置３を用いたノイズ低減方法の記憶フローを例示したフローチャート図である。

図１４のステップＳ５１に示すように、まず、画像データ及び音データに加えて、車両の現在の位置情報を取得する。現在位置取得部１９は、カーナビゲーション２５等から車両の現在の位置情報を取得する。画像データ取得部１１及び音データ取得部１３は、画像データ及び音データを取得する。ステップＳ５１における画像データ取得部１１及び音データ取得部１３の動作は、実施形態１及び２と同様である。

次に、ステップＳ５２に示すように、画像データ解析部１２及び音データ解析部１４は、画像データ及び音データを解析し、特徴部を抽出する。ステップＳ３２における画像データ解析部１２及び音データ解析部１４の動作は、実施形態１及び２と同様である。

次に、ステップＳ５３に示すように、音データ解析部１４は、音データの特徴部に基づいて、音データがノイズを含むか判断する。ステップＳ５３における音データ解析部１４の動作は、実施形態１及び２と同様である。

ステップＳ５３において、音データがノイズを含むと判断した場合には、ステップＳ５４に示すように、画像データ、音データ及び車両の現在の位置情報の関連付けを行う。具体的には、記憶制御部１５は、解析した画像データと、解析した音データと、現在の位置情報と、を関連付けする。関連付けの手法は、実施形態１及び２と同様である。

次に、ステップＳ５５に示すように、画像データ、音データ及び車両の現在の位置情報を関連付けて記憶部２３のデータベースに記憶させる。具体的には、記憶制御部１５における記憶部２３は、解析した画像データと、解析した音データと、車両の現在の位置情報とを関連付けてデータベースに記憶させる。そして、処理を終了する。また、ステップＳ５３において、ノイズを含まないと判断された場合にも、処理を終了する。

図１５は、実施形態３に係るノイズ低減装置３を用いたノイズ低減方法の実行フローを例示したフローチャート図である。

図１５のステップＳ６１に示すように、まず、画像データ及び音データに加えて、車両の現在の位置情報を取得する。現在位置取得部１９は、カーナビゲーション２５等の情報機器端末から車両の現在の位置情報を取得する。画像データ取得部１１及び音データ取得部１３は、画像データ及び音データを取得する。ステップＳ６１における画像データ取得部１１及び音データ取得部１３の動作は、実施形態１及び２と同様である。

次に、ステップＳ６２に示すように、画像データ解析部１２及び音データ解析部１４は、画像データ及び音データを解析し、特徴部を抽出する。ステップＳ６２における画像データ解析部１２及び音データ解析部１４の動作は、実施形態１及び２と同様である。抽出された特徴部に基づいて、検索部２６は、データベースの検索を行う。検索部２６は、データベースに記憶された音データ、画像データ及び車両の位置情報を検索する。

次に、ステップＳ６３に示すように、画像データの特徴部が記憶部に記憶された画像データと類似するか判断する。具体的には、類似性判断部１６は、解析した画像データとデータベースに記憶された画像データとの類似性を判断する。また、類似性判断部１６は、取得した車両の現在の位置情報と、記憶部２３に記憶された位置情報との類似性を判断する。

ステップＳ６３において、解析した画像データとデータベースに記憶された画像データとが類似すると判断された場合には、ステップＳ６４に示すように、関連付けられた適応フィルタを選択する。また、ステップＳ６３において、取得した車両の現在の位置情報とデータベースに記憶された車両の位置情報とが類似すると判断された場合には、ステップＳ６４に示すように、関連付けられた適応フィルタを選択する。すなわち、ノイズ低減部１７は、類似性判断によって、類似すると判断された場合には、データベースに記憶された画像データまたは車両の位置情報に関連付けられた音データに基づいて、適応フィルタを選択する。

そして、ステップＳ６５に示すように、ノイズ低減処理のフィルタリングを実行する。このようにして、ノイズ低減部１７は、類似性判断によって、及び、データベースに記憶された画像データまたは車両の位置情報に関連付けられた音データに基づいて、適応フィルタを選択し、ノイズ低減を行う。そして、処理を終了する。また、ステップＳ６３において、解析した画像データとデータベースに記憶された画像データとが類似しないと判断された場合、及び、取得された車両の位置情報とデータベースに記憶された車両の位置情報とが類似しないと判断された場合にも処理を終了する。

実施形態３のノイズ低減装置３においては、データベースに記憶された車両の位置情報に関連付けられた音に基づいて、適応フィルタを選択し、ノイズ低減を行っている。これにより、地図情報により特定されたノイズ発生源に基づいて、ノイズを低減することができる。これ以外の構成、動作及び効果は、実施形態１及び２の記載に含まれている。

以上、実施形態を説明したが、実施形態１〜３の構成を相互に組み合わせた構成も本明細書で説明した技術的思想の範囲に含まれる。

また、以下のノイズ低減プログラム、すなわち、車両内部の音を集音する集音部から音を取得させ、前記取得した音を解析させ、車両周辺の画像を撮像する撮像部から画像を取得させ、前記取得した画像を解析させ、前記解析した音と、前記解析した画像と、を関連付けてデータベースに記憶させ、前記データベースの検索を行わせ、前記解析した画像同士の類似性を判断させ、前記取得した音に対しノイズを低減する処理を行わせることをコンピュータに実行させるノイズ低減プログラムであって、前記類似性を判断させる際に、前記撮像部から取得し、前記解析した画像と、前記データベースに記憶された画像と、の類似性を判断させ、ノイズを低減する処理を行わせる際に、前記類似性と、前記データベースに記憶された前記画像に関連付けられた音と、に基づいて、前記取得した音に対するノイズ低減を行わせることをコンピュータに実行させるノイズ低減プログラムも本明細書で説明した技術的思想の範囲に含まれる。

１ ノイズ低減装置
１１ 画像データ取得部
１２ 画像データ解析部
１２ａ 距離判定部
１３ 音データ取得部
１４ 音データ解析部
１５ 記憶制御部
１６ 類似性判断部
１７ ノイズ低減部
１７ａ フィルタ選択部
１７ｂ フィルタ処理部
１７ｃ 所要時間算出部
１８ 車両情報取得部
１９ 現在位置取得部
２１ 撮像部
２２ 集音部
２３ 記憶部
２４ ＣＡＮ・センサ等
２５ カーナビゲーション
２６ 検索部
３１ ジョイント
３２ 段差
３３ 車線境界線
３４ 路面
３５ ワイパー
３６ 雨粒
３７ ウィンドシールド
４１ 音
４２ 音
４３ 音

Claims (9)

1. 車両内部の音を集音する集音部から音を取得する音取得部と、
   前記取得した音を解析する音解析部と、
   車両周辺の画像を撮像する撮像部から画像を取得する画像取得部と、
   前記取得した画像を解析する画像解析部と、
   前記解析した音と、前記解析した画像と、を関連付けてデータベースに記憶させる記憶部と、前記データベースの検索を行う検索部と、を備える記憶制御部と、
   前記解析した画像同士の類似性を判断する類似性判断部と、
   前記取得した音に対しノイズを低減する処理を行うノイズ低減部と、
   を備え、
   前記類似性判断部は、前記撮像部から取得し、前記解析した画像と、前記データベースに記憶された画像と、の類似性を判断し、
   前記ノイズ低減部は、前記類似性と、前記データベースに記憶された前記画像に関連付けられた音と、に基づいて、前記取得した音に対するノイズ低減を行う、
   ノイズ低減装置。
2. 前記音解析部は、前記取得した音から周波数特性及び音量を解析して前記音の特徴部を抽出し、
   前記画像解析部は、前記取得した画像から動きベクトル抽出または画像認識の少なくともいずれかの処理を行って前記画像の特徴部を抽出し、
   前記記憶制御部は、所定のタイミングで取得した前記音の特徴部と、所定のタイミングで取得した前記画像の特徴部と、の関連付けを行って前記データベースに記憶させる、
   請求項１に記載のノイズ低減装置。
3. 車両の走行情報を取得する車両情報取得部をさらに備え、
   前記記憶制御部は、前記解析した音と、前記解析した画像と、前記走行情報と、を関連付けしてデータベースに記憶させる記憶部と、前記データベースの検索を行う前記データベースの検索を行う検索部と、を備える、
   請求項１または２に記載のノイズ低減装置。
4. 車両の現在の位置情報を取得する現在位置取得部をさらに備え、
   前記記憶制御部は、前記解析した音と、前記解析した画像と、前記位置情報と、を関連付けしてデータベースに記憶させる記憶部と、前記データベースの検索を行う検索部と、を備える、
   請求項１または２に記載のノイズ低減装置。
5. 前記画像解析部は、前記取得した画像から抽出した特徴部と前記車両との距離を判定する距離判定部をさらに備え、
   前記ノイズ低減部は、前記走行情報と前記距離とから、前記車両が前記特徴部を通過するまでの所要時間を算出する所要時間算出部をさらに備え、
   前記ノイズ低減部は、前記所要時間に応じて、ノイズ低減を行うタイミングを制御する、
   請求項３に記載のノイズ低減装置。
6. 前記ノイズ低減部は、前記データベースに記憶された前記画像に関連付けられた音に基づいた適応フィルタを選択し、前記取得した音に対するノイズ低減処理を行う、請求項１から５のいずれか一項に記載のノイズ低減装置。
7. 前記ノイズ低減部は、前記選択した適応フィルタと、前記取得した音との適応度合を判定する適応判定部をさらに備え、
   前記判定した適応度合に基づいて、前記データベースに記憶された前記画像に関連付けられた音に対応する適応フィルタを選択する適応学習部を、さらに備える、請求項６に記載のノイズ低減装置。
8. 車両内部の音を集音する集音部から音を取得するステップと、
   前記取得した音を解析するステップと、
   車両周辺の画像を撮像する撮像部から画像を取得するステップと、
   前記取得した画像を解析するステップと、
   前記解析した音と、前記解析した画像と、を関連付けてデータベースに記憶させるステップと、
   前記データベースの検索を行うステップと、
   前記解析した画像同士の類似性を判断するステップと、
   前記取得した音に対しノイズを低減する処理を行うステップと、
   を備え、
   前記類似性を判断するステップにおいて、前記撮像部から取得し、前記解析した画像と、前記データベースに記憶された画像と、の類似性を判断し、
   ノイズを低減する処理を行うステップにおいて、前記類似性と、前記データベースに記憶された前記画像に関連付けられた音と、に基づいて、前記取得した音に対するノイズ低減を行う、
   ノイズ低減方法。
9. 車両内部の音を集音する集音部から音を取得させ、
   前記取得した音を解析させ、
   車両周辺の画像を撮像する撮像部から画像を取得させ、
   前記取得した画像を解析させ、
   前記解析した音と、前記解析した画像と、を関連付けてデータベースに記憶させ、
   前記データベースの検索を行わせ、
   前記解析した画像同士の類似性を判断させ、
   前記取得した音に対しノイズを低減する処理を行わせることをコンピュータに実行させるノイズ低減プログラムであって、
   前記類似性を判断させる際に、前記撮像部から取得し、前記解析した画像と、前記データベースに記憶された画像と、の類似性を判断させ、
   ノイズを低減する処理を行わせる際に、前記類似性と、前記データベースに記憶された前記画像に関連付けられた音と、に基づいて、前記取得した音に対するノイズ低減を行わせることをコンピュータに実行させるノイズ低減プログラム。