以下、図面を参照して本発明の実施形態について説明する。
(第1実施形態)
図1は、第1実施形態のプライバシー保護システム10の構成図である。図2は、プライバシー保護システム10が搭載される車両1の模式図である。
第1実施形態のプライバシー保護システム10は、ハンズフリー通話装置20を備える車両1(本発明の移動体に相当する)に搭載される。プライバシー保護システム10は、ハンズフリー通話中に通話相手の受話音が再生された再生音が車両1の外部に漏れていると判定した場合、車両1の外部の人に再生音の内容を聞き取り難くする聴取困難化処理を行う機能を有する。プライバシー保護システム10は、専用の装置として構成されてもよいし、車両1に搭載される車載装置(例えば、ECU(Electronic Control Unit))の一部として構成されてもよいし、或いは車載装置の機能の一部を利用して構成されてもよい。
ハンズフリー通話装置20は、車両1の走行中に乗員(特に、運転操作中の運転者)が電話機(例えば、携帯電話機、スマートフォン)を持たずに通話を可能とする装置である。ハンズフリー通話装置20は、車両1内に設けられたマイクロフォン(図示略)により乗員が発した音声を集音し、集音した音声を通話相手に伝達する。また、ハンズフリー通話装置20は、車両1内に設けられた車内用スピーカー30により通話相手からの音声を再生する。ハンズフリー通話装置20は、例えば、携帯電話機等との間で、Bluetooth(登録商標)を利用した近距離無線通信を行い、音声信号を送受信する。なお、ハンズフリー通話装置20は、車両1に予め搭載される自動車電話機を利用してハンズフリー通話を行う構成であってもよい。
プライバシー保護システム10は、制御ユニット40によって制御される。制御ユニット40は、CPU(Central Processing Unit)50、メモリ60、各種インターフェース回路(図示略)等により構成された電子回路ユニットである。CPU50は、メモリ60に保存されたプライバシー保護システム10の制御用プログラム61を読み込んで実行することにより、音漏れ判定部51(レベル判定部51aを含む)、マスキング制御部52、ボリューム制御部53、アラーム制御部54として機能する。第1実施形態では、CPU50が本発明の処理部に相当する。
制御ユニット40には、ハンズフリー通話装置20が接続される。ハンズフリー通話装置20は、ハンズフリー通話中に、携帯電話機等から通話相手の通話音を取得し、この通話音を再生するための再生音信号を制御ユニット40に送信する。制御ユニット40は、再生音信号を受信した場合、再生音信号と音量情報をアンプ31に送信する。音量情報は、デフォルトの音量、乗員による音量操作部(図示略)に対する音量調整操作に応じて設定された音量、又は後述する制御ユニット40のボリューム制御により設定された音量の情報である。デフォルトの音量は、車両1の走行中に車室内に伝わるロードノイズ等がある場合でも乗員に十分に聞こえる程度の音量が予め設定される。
プライバシー保護システム10には、車速センサ21(本発明の速度取得部に相当する)、ナビゲーション装置22(本発明の現在位置取得部に相当する)が接続される。
車速センサ21は、車両1の車速を検出し、車速信号を制御ユニット40に送信する。
ナビゲーション装置22は、車両1の現在位置や進行方向等を検出する機能を有する。ナビゲーション装置22は、車両1の現在位置を示す現在位置信号を制御ユニット40に送信する。ナビゲーション装置22は、地図の各種情報を格納した地図データベース22aを備える。ナビゲーション装置22は、地図データベース22aから車両1の現在位置周辺の地図情報(例えば、市街地(繁華街等も含む)、郊外、山間部)を取得し、地図情報信号を制御ユニット40に送信する。
制御ユニット40には、ノイズキャンセラ23を介して、マイクロフォン24(本発明の集音部に相当する)が接続される。マイクロフォン24は、車両1の外部の音を集音し、集音した音を電気信号に変換して集音信号としてノイズキャンセラ23に送信する。マイクロフォン24は、例えば、ハンズフリー通話装置20による通話中に、車内用スピーカー30から出力される再生音が車室外に漏れた音を含む車両1の外部の音を集音する。マイクロフォン24は、車両1の走行中の風切り音等の影響を抑えるために、例えば、図2に示すように左側のドアミラー1aの後部或いは左側のドアミラー1a近傍の後方に取り付けられる。図2における符号1bは、車両1のステアリングを示す。マイクロフォン24を車両1の左側に配置させるのは、車両が左側通行の場合には車道の左側に歩道が配置され、車両1の左側に人が存在する可能性が高いので、車両1の周辺の人に聞かれる可能性の高い側で集音するためである。また、マイクロフォン24は、車内用スピーカー30の近傍に配置されると好ましい。ノイズキャンセラ23は、マイクロフォン24から集音信号を受信すると、集音信号から周辺のノイズ(例えば、人の音声の周波数帯域以外の周波数帯域のノイズ)を除去し、ノイズを除去した後の集音信号を制御ユニット40に送信する。ノイズキャンセラ23は、ON/OFF可能であり、OFF時にはマイクロフォン24からの集音信号をそのまま制御ユニット40に送信する。
制御ユニット40には、アンプ31を介して、車内用スピーカー30が接続される。アンプ31は、制御ユニット40から再生音信号と音量情報を受信すると、再生音信号に対応するアナログ音声信号を音量情報に従って増幅して、車内用スピーカー30に送信する。車内用スピーカー30は、このアナログ音声信号を受信すると、アナログ音声信号を音声(再生音)に変換して出力する。車内用スピーカー30は、車両1の車室内に少なくとも1つ設けられ、例えば、図2に示すように、車両1の車室内の左右の側部(例えば、ドア)に1つずつ設けられる。本実施形態では、車両1の車室内が本発明の乗員の周囲の所定の空間に相当する。
制御ユニット40には、アンプ33を介して、車外用スピーカー32(本発明の音出力部に相当する)が接続される。アンプ33は、後述する制御ユニット40からのマスキング音信号を受信すると、マスキング音信号に対応するアナログ音声信号を制御ユニット40で調整された音量に従って増幅して、車外用スピーカー32に送信する。車外用スピーカー32は、このアナログ音声信号を受信すると、アナログ音声信号を音声(マスキング音)に変換して出力する。車外用スピーカー32は、車両1に少なくとも1つ設けられ、例えば、図2に示すように、車両1の左側の側部(例えば、ドア)に1つ設けられる。車外用スピーカー32を車両1の左側に配置させるのは、車両が左側通行の場合には車両1の左側に人が存在する可能性が高いので、車外用スピーカー32から出力されるマスキング音によって車両1の周辺の人にハンズフリー通話の再生音の内容を聞き取り難くするためのである。また、車外用スピーカー32は、例えば、図2に示すように、車両1における車内用スピーカー30よりも後方に設けられる。また、車外用スピーカー32は、例えば、車両1の下部に設けられる。車外用スピーカー32は、車両1の外部に向けて音が出力されるように、配置される。
制御ユニット40には、ディスプレイ34が接続される。ディスプレイ34は、例えばナビゲーション装置22等と共用されるタッチパネルの液晶ディスプレイである。ディスプレイ34は、後述する制御ユニット40からのアラーム表示信号を受信すると、アラーム表示信号に基づいてアラーム情報を表示する。
制御ユニット40は、上述した車速信号、現在位置信号、地図情報信号、再生音信号、及び集音信号を受信する。制御ユニット40は、所定時間分の集音信号を集音データ62としてメモリ60に保存する。所定時間は、予め設定される。
音漏れ判定部51は、レベル判定部51aを有している。レベル判定部51aは、集音データ62(集音信号の時系列データ)を用いて再生音が車両1の外部に漏れているか否かを判定する。
マスキング制御部52は、音漏れ判定部51により再生音が車両1の外部に漏れている可能性があると判定された場合、聴取困難化処理として、外部に漏れた再生音をマスキングするマスキング音を車外用スピーカー32から出力する制御を行う。また、音漏れ判定部51は、車速信号、現在位置信号及び地図情報信号に基づいて、聴取困難化処理の要否を決定している。
ボリューム制御部53は、音漏れ判定部51のレベル判定部51aにより再生音が車両1の外部に漏れていると判定された場合、聴取困難化処理として、再生音の音量を低減する制御を行う。
アラーム制御部54は、音漏れ判定部51により再生音が車両1の外部に漏れていると判定された場合、ディスプレイ34に音漏れに関するアラーム情報を表示させる制御を行う。
図3を参照して、プライバシー保護システム10の一連の動作について説明する。図3は、プライバシー保護システム10の動作を示すフローチャートである。この一連の動作は、車両1の乗員がハンズフリー通話装置20を用いてハンズフリー通話を実施しているときに、繰り返し実施される。
制御ユニット40は、ナビゲーション装置22から現在位置信号及び地図情報信号を受信し、車両1の現在位置及び現在位置周辺の地図情報を取得する(ステップS1)。制御ユニット40において、音漏れ判定部51は、車両1の現在位置が市街地内(本発明の所定の場所内に相当)か否かを判定する(ステップS2)。市街地は、郊外や山間部等に比べて人口密度が高く、これらの場所に比べて車両1から漏れたハンズフリー通話の再生音が聞かれるおそれが高い場所である。特に、交差点等で車両1が停止した場合、車両1から漏れた再生音が聞かれるおそれが高い。
現在位置が市街地内と判定した場合(ステップS2:YES)、制御ユニット40は、車速センサ21から車速信号を受信し、車両1の車速を取得する(ステップS3)。制御ユニット40において、音漏れ判定部51は、車速が所定速度未満か否かを判定する(ステップS4)。所定速度は、車両1が低速で走行していることを判定するための閾値である。所定速度は、例えば、徐行・渋滞中の車速程度、あるいは人の歩行程度の速度である。所定速度は、予め設定され、メモリ60等に保存される。車両1が停止或いは低速で走行中の場合、ハンズフリー通話の再生音が車両1の外部に漏れた場合、車両1の近傍の人に再生音の内容を聞かれるおそれがある。車両1が高速中の場合、ロードノイズやエンジン音が大きく、かつ、車両1も短時間で通過するので、車両1の近傍の人に再生音の内容を聞かれるおそれが殆どない。
現在位置が市街地内と判定した場合(ステップS2:YES)かつ車速が所定速度未満と判定した場合(ステップS4:YES)、音漏れ判定部51はハンズフリー通話の再生音が車両1の外部に漏れている場合に近傍の人に通話を聞かれる可能性が高いため、聴取困難化処理が必要であると判定し、アラーム制御部54はアラーム情報を示すアラーム表示信号をディスプレイ34に送信する(ステップS5)。ディスプレイ34は、アラーム表示信号を受信すると、アラーム情報を表示する。このアラーム情報は、例えば、ハンズフリー通話の再生音が車両1の外部に聞かれている可能性があることを示す情報、及び車両1の窓が開いている場合には窓を閉めることを促す情報である。このアラーム情報に応じて、車両1の乗員が窓を閉めると、再生音の外部への漏れが抑制される。
なお、車両1の窓が開いている場合、制御ユニット40により窓を自動的に閉める制御を行ってもよい。
マスキング制御部52は、マスキング音を出力するためのマスキング音信号を生成し、このマスキング音信号をアンプ33に送信する(ステップS6)。アンプ33では、所定の音量になるようにマスキング音信号を増幅してアナログ音声信号に変換し、このアナログ音声信号を車外用スピーカー32に送信する。車外用スピーカー32は、このアナログ音声信号を受信すると、マスキング音を所定の音量で出力する。所定の音量は、例えば、予め設定された音量である。車両1の外部に向けてマスキング音を出力することにより、車両1の外部に漏れている可能性のあるハンズフリー通話の再生音の内容を周辺の人に聞き取られ難くする。
マスキング音は、車両1の車室内でのハンズフリー通話の再生音の音量を確保しつつ、外部に漏れた再生音を周辺の人に聞き取られ難くするための音である。マスキング音は、例えば、エンジン音やロードノイズ等の車両1のノイズ音源或いはホワイトノイズに類似した音である。マスキング音は、例えば、乗員によって設定された音楽、或いは「ただいま電話中です。」等の音声メッセージでもよい。マスキング音は、再生音の内容が聞き取られ難くするために、人の音声帯域の音のレベルを強めた音とすると好ましい。この帯域を強めたマスキング音とすることにより、マスキング音の音量を抑えることができる。マスキング音の音量は、レベル判定部51aで用いる所定レベルの以下の音量とする。
図4は、車両1の外部に漏れ出た音の周波数スペクトルの一例を示す。図5は、車両1の外部に漏れ出た音にマスキング音が重なった周波数スペクトルの一例を示す。図6は、車両1の外部に漏れ出た音にマスキング音が重なった周波数スペクトルの他の例を示す。図4、5、6では、横軸が時間であり、縦軸が周波数である。
図5に示す周波数スペクトルFS1は、図4に示す周波数スペクトルFS0の音にマスキング音が重なった場合の周波数スペクトルである。この図4に示す周波数スペクトルFS0と図5に示す周波数スペクトルFS1とを比較すると、図5における矢印T1、T2、T3、T4で示す時間帯にマスキング音が入っており、図4に示す元の音の周波数スペクトル成分の一部が失われ、図4に示す周波数スペクトルFS0の音の内容が聞き取られ難くなる。
また、図6に示す周波数スペクトルFS2は、図4に示す周波数スペクトルFS0の音にエンジン音等の車両の走行ノイズに類似したマスキング音が重なった場合の周波数スペクトルである。この図4に示す周波数スペクトルFS0と図6に示す周波数スペクトルFS2とを比較すると、図6における矢印F1で示す低周波数帯にマスキング音が入っており、図4に示す周波数スペクトルFS0の音の内容が全体的に聞き取られ難くなる。
図3に戻って、制御ユニット40は、ノイズキャンセラ23からの集音信号を取得し、集音信号を集音データ62としてメモリ60に保存する(ステップS7)。音漏れ判定部51のレベル判定部51aは、集音信号のレベルが所定レベル以上か否かを判定する(ステップS8)。所定レベルは、車両1の外部に漏れ出した音が大きいか否かを判定するための閾値である。所定レベルは、車両1の周辺の人に迷惑をかける程度の音のレベルである。所定レベルは、予め設定され、例えば、メモリ60に保存される。
図7は、マイクロフォン24により集音された集音信号Cのレベルの時間変化の一例を示す。図7では、横軸が時間であり、縦軸が音信号のレベルである。図7には、所定レベルSHを示す。図7に示す例の場合、集音信号Cは、符号T5、T6で示す時間帯に所定レベルSHを超える。この時間帯T5、T6では、車両1から外部に大きな音が漏れている。
図3に戻って、集音信号のレベルが所定レベル以上と判定した場合(ステップS8:YES)、音漏れ判定部51は音が車両1の外部に漏れていると判定し、ボリューム制御部53は再生音信号の音量を下げる指令をアンプ31に出力する(ステップS9)。音量を自動的に下げる場合、予め設定された下限の音量まで、段階的に所定量ずつ音量を下げる。この指令に応じて、アンプ31は、音量が前回よりも1段階下がるように再生音信号を増幅したアナログ音声信号を生成し、このアナログ音声信号を車内用スピーカー30に送信する。車内用スピーカー30は、前回よりも1段階音量を下げた再生音を出力する。これにより、ハンズフリー通話の再生音の音量が徐々に小さくなり、車両1の外部に漏れる音も小さくなる。この際、制御ユニット40は、音量制御中フラグをONにする(ステップS10)。
特に、制御ユニット40による制御により再生音の音量を下限の音量まで下げた場合、アラーム制御部54は、アラーム情報を示すアラーム表示信号をディスプレイ34に送信する(ステップS11)。ディスプレイ34は、アラーム表示信号を受信すると、アラーム情報を表示する。このアラーム情報は、例えば、ハンズフリー通話の再生音が車両1の外部に漏れていることを示す情報、及び乗員に対して音量操作部により再生音の音量を下げることを促す情報である。これにより、乗員によって、ハンズフリー通話の再生音の音量が更に下げられる場合がある。
集音信号のレベルが所定レベル未満と判定した場合(ステップS8:NO)、ボリューム制御部53は、再生音信号の音量を上げる指令をアンプ31に出力する(ステップS12)。音量を自動的に上げる場合、デフォルトの音量まで、段階的に所定量ずつ音量を上げる。この指令に応じて、アンプ31は、音量を前回よりも1段階上げるように再生音信号を増幅したアナログ音声信号を生成し、このアナログ音声信号を車内用スピーカー30に送信する。車内用スピーカー30は、前回よりも1段階音量を上げた再生音を出力する。これにより、車両1の外部に大きな音が漏れていない場合、ハンズフリー通話の再生音がデフォルトの音量まで徐々に戻る。この際、制御ユニット40は、音量制御中フラグをOFFにする(ステップS13)。
上述したステップS2で車両1の現在位置が市街地内でないと判定した場合(ステップS2:NO)又はステップS4で車両1の車速が所定速度以上と判定した場合(ステップS4:NO)、制御ユニット40は、音声制御中フラグがONか否かを判定する(ステップS14)。音声制御中フラグがONと判定した場合、制御ユニット40は、上述したステップS12及びステップS13の処理を実行する。つまり、車両1が郊外や山間部等を走行中の場合或いは車両1が高速で走行中の場合、ハンズフリー通話の再生音の音量をデフォルトの音量まで戻す。
第1実施形態のプライバシー保護システム10によれば、車両1の外部の音を集音し、集音した音が所定レベル以上の場合には再生音を車両1の外部において聞き取り難くするので、車両1の乗員に対して出力される再生音が外部に漏れ出る場合にプライバシーの保護を図ることができる。特に、車両1がアイドリングストップ機能を有する車両の場合、車両1が停止したときにエンジン(図示略)が停止されるので、車両1の外部に漏れ出た再生音が聞き取られ易くなるので、プライバシー保護システム10が車両1に搭載されることでプライバシーの保護性を高めることができる。
プライバシー保護システム10によれば、聴取困難化処理として車外用スピーカー32により再生音をマスキングするマスキング音を出力することにより、車両1の外部に漏れ出た再生音の内容を車両1の外部の人に聞き取られ難くできる。このように、プライバシー保護システム10によれば、マスキング音によって車両1の外部の人に聞き取られ難くすることで、車両1内でのハンズフリー通話の再生音の音量を極力下げずに、再生音の音量を十分に確保できる。
プライバシー保護システム10によれば、聴取困難化処理としてハンズフリー通話の再生音の音量を低減することにより、車両1の外部に漏れる音の音量を下げ、車両1の外部に漏れ出た再生音の内容を車両1の外部の人に聞き取られ難くできると共に、大きな音量による車両1の外部の人に対する迷惑度を低減できる。
プライバシー保護システム10によれば、マイクロフォン24により集音した集音信号のレベルが所定レベル以上か否かを判定することにより、車両1の外部に大きな音が漏れているか否かを精度良く判定できる。
プライバシー保護システム10によれば、車両1の車速を取得し、車速が所定速度未満か否かを判定することにより、車速が低速の場合には車速が高速の場合よりも車両1の外部に再生音が漏れる可能性が高いと判定でき、聴取困難化処理の要否を判断できる。プライバシー保護システム10によれば、車両1の現在位置を取得し、現在位置が市街地内か否かを判定することにより、現在位置が市街地内の場合には市街地外の場合よりも車両1の外部に漏れた再生音が外部の人に聞き取られる可能性が高いと判定でき、聴取困難化処理の要否を判断できる。特に、プライバシー保護システム10によれば、車両1が低速かつ車両1の現在位置が市街地内の場合、聴取困難化処理としてマスキング音を出力することにより、再生音が外部に漏れ出た場合でも車両1の外部の人に再生音の内容を聞き取り難くできる。また、プライバシー保護システム10によれば、車両1が高速の場合又は車両1の現在位置が市街地外の場合、ハンズフリー通話の再生音の会話の内容を車両1の外部の人に聞かれる可能性が低いので、マスキング音を出力せずかつ再生音の音量も下げずに、プライバシー性を確保できる。
プライバシー保護システム10によれば、マイクロフォン24をドアミラー1a又はドアミラー1aの近傍に設けることにより、風切り音の影響を抑えることができ、音漏れ判定の判定精度を向上させることができる。
(第2実施形態)
図8は、第2実施形態のプライバシー保護システム70の構成図である。図8に示す構成では、図1に示す構成要素と同一構成要素には同一符号を付して、説明を省略する。
第2実施形態のプライバシー保護システム70は、ハンズフリー通話装置20及びオーディオ装置25を備える車両2(本発明の移動体に相当する)に搭載される。プライバシー保護システム70は、第1実施形態のプライバシー保護システム10と比較すると、オーディオ装置25により音楽等の再生中にハンズフリー通話が可能であり、この音楽等の再生中でもハンズフリー通話中に通話相手の受話音が再生された再生音が車両2の外部に漏れ出ていると判定する機能を有する点が異なる。
オーディオ装置25は、乗員の操作に従って音楽等を再生する装置である。オーディオ装置25は、車内用スピーカー30により音楽等を再生する。車内用スピーカー30は、例えば、このオーディオ装置25による音楽だけを再生する場合と、ハンズフリー通話装置20の再生音とオーディオ装置25による音楽とを同時に再生する場合とがある。
プライバシー保護システム70は、制御ユニット80によって制御される。制御ユニット80は、CPU90、メモリ100、各種インターフェース回路(図示略)等により構成された電子回路ユニットである。CPU90は、メモリ100に保存されたプライバシー保護システム70の制御用プログラム101を読み込んで実行することにより、音漏れ判定部91(レベル判定部91a、比較部91bを含む)、マスキング制御部92、ボリューム制御部93、アラーム制御部94として機能する。第2実施形態では、CPU90が本発明の処理部に相当する。
制御ユニット80には、ハンズフリー通話装置20、及びオーディオ装置25が接続される。ハンズフリー通話装置20は、ハンズフリー通話中に、携帯電話機等から通話相手の再生音信号を取得し、再生音信号を制御ユニット80に送信する。オーディオ装置25は、音楽等の再生中、ハードディスクやCD(Compact Disk)等から音楽信号を取得し、音楽信号を制御ユニット80に送信する。制御ユニット80は、通話音信号のみを受信した場合、再生音信号と音量情報をアンプ31に送信する。制御ユニット80は、音楽信号のみを受信した場合、音楽信号と乗員によって調整された音量情報をアンプ31に送信する。制御ユニット80は、再生音信号と音楽信号を受信した場合、再生音信号と音楽信号に基づき共用音信号を生成し、共用音信号と音量情報をアンプ31に送信する。この共用音信号の音量情報は、音楽信号の音量が再生音信号の音量よりも下げられている。
制御ユニット80は、車速信号、現在位置信号、地図情報信号、再生音信号、音楽信号及び集音信号を受信する。制御ユニット80は、所定時間分の集音信号を集音データ102としてメモリ100に保存する。制御ユニット80は、所定時間分の再生音信号を再生音データ103としてメモリ100に保存する。所定時間は、予め設定される。
音漏れ判定部91は、ハンズフリー通話装置20によるハンズフリー通話中の場合、車速信号、現在位置信号及び地図情報信号に基づいて、車内用スピーカー30から出力される音が車両2の外部に漏れている可能性があるか否かを判定する。音漏れ判定部91は、レベル判定部91aを有している。レベル判定部91aは、オーディオ装置25による音楽等の再生中の場合、集音データ102(集音信号の時系列データ)に基づいて、車内用スピーカー30から出力される音楽等の音が車両2の外部に漏れているか否かを判定する。また、レベル判定部91aは、ハンズフリー通話装置20によるハンズフリー通話中の場合、集音データ102を用いて音が外部に漏れているか否かを判定する。
音漏れ判定部91は、比較部91bを有している。比較部91bは、ハンズフリー通話装置20によるハンズフリー通話中の場合、レベル判定部91aにより音が外部に漏れていると判定した場合、再生音データ103(ハンズフリー通話の再生音信号の時系列データ)と集音データ102(集音信号の時系列データ)とを比較し、この比較結果に基づいてハンズフリー通話の再生音が車両2の外部に漏れているか否かを判定する。比較部91bにおける比較方法としては、例えば、周波数成分を比較する方法と、音声認識結果を比較する方法とがある。
マスキング制御部92は、音漏れ判定部91で音が車両2の外部に漏れている可能性があると判定された場合、聴取困難化処理として、マスキング音を車外用スピーカー32から出力する制御を行う。
ボリューム制御部93は、音漏れ判定部91の比較部91bにより車両2の外部に再生音が漏れていると判定された場合、聴取困難化処理として、再生音の音量を低減する制御を行う。
アラーム制御部94は、音漏れ判定部51で音が車両2の外部に漏れていると判定された場合、ディスプレイ34に音漏れに関するアラーム情報を表示させる制御を行う。
図9〜図11を参照して、プライバシー保護システム70の一連の動作について説明する。図9は、プライバシー保護システム70の一連の動作の前半部分を示すフローチャートである。図10は、プライバシー保護システム70の一連の動作の後半部分を示すフローチャートであり、比較部91bでの比較方法が周波数成分を比較する方法の場合である。図11は、プライバシー保護システム70の一連の動作の後半部分を示すフローチャートであり、比較部91bでの比較方法が音声認識結果を比較する方法の場合である。この一連の動作は、繰り返し実施される。なお、図9〜図11を用いた動作説明は、第1実施形態の図3と同じ処理に対しては同じステップ番号を付して、説明を省略する。
制御ユニット80は、ハンズフリー通話装置20から再生音信号を受信しているか否かにより、ハンズフリー通話中か否かを判定する(ステップS20)。ハンズフリー通話中と判定した場合(ステップS20:YES)、ステップS1の処理に移行する。この場合、車内用スピーカー30から出力される音は、ハンズフリー通話装置20によるハンズフリー通話の再生音のみの場合、或いはハンズフリー通話装置20によるハンズフリー通話の再生音及びオーディオ装置25による音楽等の音の場合がある。
ハンズフリー通話中でないと判定した場合(ステップS20:NO)、制御ユニット80は、ノイズキャンセラ23から集音信号を取得し、集音信号を集音データ102としてメモリ100に保存する(ステップS21)。音漏れ判定部91のレベル判定部91aは、集音信号のレベルが所定レベル以上か否かを判定する(ステップS22)。この場合、車内用スピーカー30から出力される音は、オーディオ装置25による音楽等の音のみの場合である。所定レベルは、例えば、第1実施形態の図3のステップS8のレベル判定に用いた所定レベルと同じレベルである。
集音信号のレベルが所定レベル以上と判定した場合(ステップS21:YES)、音漏れ判定部51は音楽等の音漏れが大きいと判定し、アラーム制御部54はアラーム情報を示すアラーム表示信号をディスプレイ34に送信する(ステップS23)。ディスプレイ34は、アラーム表示信号を受信すると、アラーム情報を表示する。このアラーム情報は、例えば、音楽等の音が車両2の外部に漏れていることを示す情報、及び乗員に対して車両2の窓が開いている場合には窓を閉めたり、音量操作部により再生音の音量を下げるたりすることを促す情報である。この場合、音楽等の音が車両2の外部に漏れているので、プライバシー的な要素が少ないが、車両2の外部の人に迷惑をかけるおそれがあるので、乗員に対して窓閉めや音量低減を促す。
ステップS23でアラーム情報を表示後又はステップS22で集音信号のレベルが所定レベル未満と判定した場合(ステップS21:NO)、ステップS14に移行する。
図10のフローチャートを参照して、比較部91bでの比較方法が周波数成分を比較する方法の場合の動作について説明する。
制御ユニット80は、ノイズキャンセラ23から集音信号を取得し、集音信号を集音データ102としてメモリ100に保存する(ステップS30)。また、制御ユニット80は、ハンズフリー通話装置20から再生音信号を取得し、再生音信号を再生音データ103としてメモリ100に保存する(ステップS31)。集音信号は、車両2の外部の音を集音して得られた信号であるので、車両2の外部のノイズの成分を含む。車両2が高速で走行している場合には集音信号は車両2の走行ノイズや周囲のノイズが大きいが、車両2が低速又は停止している場合には集音信号はノイズの影響が高速の場合よりも小さい。一方、再生音信号は、車両2内のハンズフリー通話装置20からの信号であるので、ノイズの影響はない。
音漏れ判定部91のレベル判定部91aは、集音信号のレベルが所定レベル以上か否かを判定する(ステップS32)。所定レベルは、例えば、第1実施形態の図3のステップS8のレベル判定に用いた所定レベルと同じレベルである。集音信号のレベルが所定レベル未満と判定した場合(ステップS32:NO)、音漏れ判定部91は音が車両2の外部に漏れていないと判定し、ステップS12の処理に移行する。
集音信号のレベルが所定レベル以上と判定した場合(ステップS32:YES)、音漏れ判定部91は音が車両2の外部に漏れていると判定し、音漏れ判定部91の比較部91bは集音データ102の集音信号の時系列データに対してFFT(Fast Fourier Transform)処理し、所定時間分の集音信号を周波数成分に分解する(ステップS33)。また。比較部91bは、再生音データ103の再生音信号の時系列データに対してFFT処理し、所定時間分の再生音信号を周波数成分に分解する(ステップS34)。
比較部91bは、各周波数毎に集音信号の周波数成分(例えば、スペクトル強度)と再生音信号の周波数成分の差分をそれぞれ算出し、各周波数の差分値を積算する(ステップS35)。ステップS35の積算は、取得した集音信号と再生音信号の全ての周波数領域において所定の周波数(例えば、100Hz)毎に行ってよいし、或いは、処理負荷を軽減するために、集音信号と再生音信号の全ての周波数領域のうちの一部の周波数帯(例えば、電話音声帯域の300〜3400Hz)において所定の周波数毎に行ってよい。
図12には、再生音信号と集音信号の周波数スペクトルの一例を示す。図12では、横軸が時間であり、縦軸が周波数である。図12(A)は、車両2の内部の再生音信号の周波数スペクトルFS3の一例であり、ノイズの影響がない。図12(B)は、車両2の外部の集音信号の周波数スペクトルFS4であり、ノイズの影響がある。
図13は、図12に示す再生音信号と集音信号との周波数成分の比較例を示す。図13では、横軸が周波数であり、縦軸がスペクトル強度である。図13では、符号F1で示すグラフが再生音信号の周波数成分であり、符号F2で示すグラフが集音信号の周波数成分である。ステップS35では、例えば、この2つのグラフF1、F2間の各周波数毎の差分の積算値が求められる。
図14は、再生音信号のレベルと集音信号のレベルの時間変化の一例である。図14では、横軸が時間であり、縦軸が音信号のレベルである。図14(A)には車両2の外部の集音信号C1を示し、図14(B)には車両2の内部の再生音信号P1を示す。この再生音信号P1の音量は、中間レベルである。
図15は、図14に示す再生音信号P1と集音信号C1との周波数成分の比較例を示す。図15では、横軸が周波数であり、縦軸がスペクトル強度である。図15では、符号F3で示すグラフが再生音信号P1の周波数成分であり、符号F4で示すグラフが集音信号C1の周波数成分である。ステップS35では、例えば、この2つのグラフF3、F4間の各周波数毎の差分の積算値が求められる。
図16は、再生音信号のレベルと集音信号のレベルの時間変化の他の例である。図16では、横軸が時間であり、縦軸が音信号のレベルである。図16(A)には車両2の外部の集音信号C2を示し、図16(B)には車両2の内部の再生音信号P2を示す。この再生音信号P2の音量は、図14に示す再生音信号P1の音量より大きいレベルである。また、図16(A)に示す集音信号C2のレベルと図14(A)に示す集音信号C1のレベルとを比較すると、図16(A)に示す集音信号C2のほうが大きい。このように、再生音の音量が大きいと、車両2の外部に漏れる音の音量も大きくなる。
図17は、図15に示す再生音信号P2と集音信号C2との周波数成分の比較例を示す。図17では、横軸が周波数であり、縦軸がスペクトル強度である。図17では、符号F5で示すグラフが再生音信号P2の周波数成分であり、符号F6で示すグラフが集音信号C2の周波数成分である。ステップS35では、例えば、この2つのグラフF5、F6間の各周波数毎の差分の積算値が求められる。
図15に示す2つのグラフF3、F4間と図17に示す2つのグラフF5、F6間とを比較すると図17に示す2つのグラフF5、F6間の差分のほうが小さく、各周波数毎の差分は図17に示す再生音の音量が大きい場合のほうが小さくなっている。つまり、車両2の内部の再生音の音量が大きいと車両2の外部に漏れる音の音量が大きくなり、この外部に漏れる音の音量が大きいほど、再生音信号の周波数成分と集音信号の周波数成分との差分が小さくなり、一致度合が高くなる。したがって、再生音が車両2の外部に漏れているほど、ステップS35で算出される各周波数毎の差分の積算値が小さくなる。
図10のフローチャートにおいてステップS35で差分の積算値を算出すると、比較部91bは、その積算値が所定値以下か否かを判定する(ステップS36)。所定値は、車両2の外部に再生音が漏れているか否か(特に、集音信号と再生音信号とが似通っているか否か)を判定する閾値である。この所定値は、予め設定され、例えば、メモリ100に保存される。この所定値は、乗員が変えられるようにしてもよい。
積算値が所定値以下と判定した場合(ステップS36:YES)、比較部91bは、車両2の外部に再生音が漏れていると判定し、ステップS9の処理に移行する。一方、積算値が所定値よりも大きいと判定した場合(ステップS36:NO)、比較部91bは、車両2の外部に再生音が漏れていないと判定し、ステップS12の処理に移行する。
次に、図11のフローチャートを参照して、比較部91bでの比較方法が音声認識結果を比較する方法の場合の動作について説明する。なお、図11を用いた動作説明では、図10と同じ処理に対しては同じステップ番号を付して、説明を省略する。
ステップS32の判定において集音信号のレベルが所定レベル以上と判定すると(ステップS32:YES)、比較部91bは、集音データ102の集音信号の時系列データに対して音声認識処理を行い、集音信号に含まれる言葉を取得し、この言葉をテキスト化する(ステップS40)。また、比較部91bは、再生音データ103の再生音信号の時系列データに対して音声認識処理を行い、再生音信号に含まれる言葉を取得し、この言葉をテキスト化する(ステップS41)。
図18は、再生音信号と集音信号との音声認識結果の比較例を示す。図18では、横軸が時間であり、縦軸が周波数である。図18(A)は、車両2の内部の再生音信号の周波数スペクトルFS5の一例である。図18(B)は、車両2の外部の集音信号の周波数スペクトルFS6の一例である。図18(A)に示す再生音信号の周波数スペクトルFS5からは音声認識処理により、時間T10で言葉の「あ」が認識され、時間T11で言葉の「い」が認識され、時間T12で言葉の「う」が認識され、時間T13で言葉の「え」が認識され、時間T14で言葉の「お」が認識された。一方、図18(B)に示す集音信号の周波数スペクトルFS6からは音声認識処理により、時間T10で「あ」が認識され、時間T11で言葉が認識されず、時間T12で言葉が認識されず、時間T13で言葉の「え」が認識され、時間T14で言葉の「お」が認識された。この図18に示す例の場合、再生音信号と集音信号との言葉の一致度は、60%である。例えば、言葉の一致度が60%程度なら、ハンドフリー通話の会話の内容が分からないレベルと判断される。
図11に戻って、比較部91bは、集音信号から取得した音声認識結果(テキストデータ)と集音信号から取得した音声認識結果(テキストデータ)との一致度合を算出する(ステップS42)。比較部91bは、その一致度合が所定度合以上か否かを判定する(ステップS43)。所定度合は、車両2の外部に再生音が漏れているか否か(特に、ハンズフリー通話の再生音の会話内容が聞き取り可能か否か)を判定する閾値である。この所定度合は、予め設定され、例えば、メモリ100に保存される。この所定度合は、乗員が変えられるようにしてもよい。
一致度合が所定度合以上と判定した場合(ステップS43:YES)、比較部91bは、車両2の外部に再生音が漏れていると判定し、ステップS9の処理に移行する。一方、一致度合が所定度合未満と判定した場合(ステップS43:NO)、比較部91bは、車両2の外部に再生音が漏れていないと判定し、ステップS12の処理に移行する。
比較部91bは、上述した図10のフローチャートで示す処理と図11のフローチャートで示す処理のいずれか一方の比較方法の処理により、ハンズフリー通話の再生音が車両2の外部に漏れているかを判定する。なお、比較部91bは、上述した図10のフローチャートで示す処理と図11のフローチャートで示す処理の両方の比較方法の各処理を行い、2つの比較方法で得られた結果を総合的に判断して、ハンズフリー通話の再生音が車両2の外部に漏れているかを判定する構成としてもよい。
第2実施形態のプライバシー保護システム70は、第1実施形態のプライバシー保護システム10と同様の効果を有すると共に、以下の効果も有する。プライバシー保護システム70によれば、比較部91bを設け、集音信号のレベルが所定レベル以上の場合、再生音信号と集音信号とを比較することにより、再生音信号と集音信号との相関性に基づきハンズフリー通話の再生音が車両2の外部に漏れているか否か精度良く判定でき、再生音が外部に漏れていると判定した場合には聴取困難化処理を実行できる。特に、プライバシー保護システム70によれば、ハンズフリー通話の再生音による会話内容が車両2の外部に人に聞き取られる可能性があるか否かを精度良く判定できる。また、プライバシー保護システム70によれば、ハンズフリー通話中の再生音信号を用いて比較しているので、ハンズフリー通話中にオーディオ装置25から音楽等の音も出力されている場合でも、ハンズフリー通話の再生音が車両2の外部に漏れているか否か精度良く判定できる。
プライバシー保護システム70によれば、再生音信号及び集音信号をそれぞれ周波数変換し、再生音信号の周波数成分と集音信号の周波数成分とを比較することにより、再生音信号と集音信号との相関性を判定でき、ハンズフリー通話の再生音が車両2の外部に漏れているか否かの判定精度を向上できる。
プライバシー保護システム70によれば、再生音信号及び集音信号をそれぞれ音声認識し、再生音信号の音声認識結果と集音信号の音声認識結果とを比較することにより、再生音信号と集音信号との言葉らしさを判定でき、ハンズフリー通話の再生音が車両2の外部に漏れているか否かの判定精度を向上できる。
プライバシー保護システム70によれば、車速や現在位置の条件に基づきマスキング処理を行うことで、比較部91bで再生音が車両2の外部に漏れていない(再生音の会話内容が車両2の外部の人に聞き取られる可能性が低い)と判定した場合には再生音の音量を下げないことにより、車両2内のハンズフリー通話の音量を極力下げずに、プライバシー性を確保することができる。
プライバシー保護システム70によれば、車内用スピーカー30からオーディオ装置25の音楽等の音だけが出力されている場合、プライバシー性よりも大きな音量が問題となるので、音量が大きい場合にはアラーム表示によって音量を下げること等を乗員に促すことにより、車両2の外部の人への迷惑度を抑制できる。
なお、上記実施形態は本発明を適用した一具体例を示すものであり、本発明はこれに限定されるものではない。
例えば、上記実施形態では移動体として自動車に適用したが、他の移動体にも適用できる。例えば、自動二輪車に適用可能であり、自動二輪車の場合、自動二輪車の運転者が被るヘルメット内にスピーカーが設けられ、このスピーカーからハンズフリー通話の再生音が出力される。本発明のプライバシー保護システムは、ハンズフリー通話中にヘルメットのスピーカーによって再生された再生音が外部に漏れ出ていると判定した場合、自動二輪車の周辺に存在する人に再生音が聞き取られ難くする機能を有する。
また、例えば、飛行機に適用可能であり、飛行機のファーストクラス等において各搭乗者にプライベート空間がそれぞれ確保され、搭乗者が座るシートにスピーカーが設けられ、このスピーカーからハンズフリー通話の再生音が出力される。本発明のプライバシー保護システムは、ハンズフリー通話中にシートのスピーカーによって再生された再生音がプライベート空間の外部(他の搭乗者のプライベート空間内)に漏れ出ていると判定した場合、周辺の他のプライベート空間内の他の搭乗者に再生音が聞き取られ難くする機能を有する。
また、上記実施形態では聴取困難化処理としてマスキング音の出力処理と再生音の音量の低減処理を行う構成としたが、聴取困難化処理としてマスキング音の出力処理と再生音の音量の低減処理のうちのいずれか一方の処理を行う構成としてもよい。
上記実施形態ではハンズフリー通話の再生音が車両1、2の外部に漏れている情報や手動操作で音量を下げることを促す等のアラーム情報をディスプレイ34に表示させる構成としたが、他の方法でアラーム情報を報知してもよく、例えば、車内用スピーカー30による音声出力によってアラーム情報を報知してもよい。
また、上記実施形態では集音信号を用いた判定に加えて、車両1、2の車速や現在位置を用いた判定を行い、ハンズフリー通話の再生音が車両1、2の外部に漏れている可能性があるか否かを判定したが、このような車速や現在位置を用いた判定を行うことなく、集音信号を用いた判定によって再生音が車両1、2の外部に漏れているか否かを判定してもよい。
また、上記第1実施形態では車両1において集音信号のレベル判定のみで再生音の音量を下げるか否かを判断したが、第1実施形態の車両1においても第2実施形態のように集音信号のレベル判定に加えて、集音信号と再生音信号との比較(周波数成分の比較、音声認識結果の比較)も行い、再生音の音量を下げるか否かを判断する構成としてもよい。
また、図1、8は、本願発明を理解容易にするために、プライバシー保護システム10、70の機能構成を主な処理内容に応じて分類して示した概略図であり、プライバシー保護システム10、70の構成は、処理内容に応じて、さらに多くの要請要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
また、図1、8のプライバシー保護システム10、70の制御ユニット40、80において、CPU50、90で実行される制御用プログラム61、101は、例えば、通信ネットワークを介して外部サーバー等からダウンロードされ、それからRAM等のメモリ60、100上にロードされてCPU50、90により実行されるようにしてもよい。また、通信ネットワークを介して、外部サーバーからRAM等のメモリ60、100に直接ロードされ、CPU50、90により実行されるようにしてもよい。或いは、プライバシー保護システム10、70に接続された記憶媒体から、RAM等のメモリ60、100上にロードされるようにしてもよい。
また、図3、9、10、11のフローチャートの処理単位は、プライバシー保護システム10、70による処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。プライバシー保護システム10、70の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理結果が得られるものであれば、図3、9、10、11のフローチャートの処理順序も、図示した例に限られるものではない。