JP2005167975A - 音場制御装置、音場制御システム、車載機器および車載システム - Google Patents

音場制御装置、音場制御システム、車載機器および車載システム Download PDF

Info

Publication number
JP2005167975A
JP2005167975A JP2004252284A JP2004252284A JP2005167975A JP 2005167975 A JP2005167975 A JP 2005167975A JP 2004252284 A JP2004252284 A JP 2004252284A JP 2004252284 A JP2004252284 A JP 2004252284A JP 2005167975 A JP2005167975 A JP 2005167975A
Authority
JP
Japan
Prior art keywords
sound
output
sound field
vehicle
field control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004252284A
Other languages
English (en)
Other versions
JP4285371B2 (ja
Inventor
Kazunao Yamada
山田  和直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004252284A priority Critical patent/JP4285371B2/ja
Publication of JP2005167975A publication Critical patent/JP2005167975A/ja
Application granted granted Critical
Publication of JP4285371B2 publication Critical patent/JP4285371B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】 ユーザにとって最も必要な音を適切に聞取らせる。
【解決手段】 音場制御装置2は、例えば音楽データが再生されて音楽が出力されている途中でナビゲーションECU4から音声ガイダンスデータの再生要求が発生すると、オーディオECU3から入力されたコマンドの優先度や即時度と、ナビゲーションECU4から入力されたコマンドの優先度や即時度とを比較し、音声ガイダンスデータの再生要求の優先度や即時度が音楽データの再生要求の優先度や即時度よりも高ければ、音声ガイダンスの出力を音楽の出力よりも優先するようにスケジュールを決定し、音声ガイダンスが音楽よりも優先されて聞取られるように音場特性や出力音量を調整して音場を制御する。
【選択図】 図1

Description

本発明は、車室内の音場を制御する音場制御装置、音場制御装置と車載機器または車載システムとを備えた音場制御システム、車両に搭載可能に構成された車載機器および車載システムに関する。
車室内の音を管理するシステムとして、例えば特許文献1に示すものがある。
特開平7−159190号公報
車室内においては、例えばオーディオ機器から出力される音楽、ナビゲーション装置から出力される経路案内などのための音声ガイダンスおよび衝突防止装置から出力される警告音などの各種の音が共存する。ところが、従来のものでは、これら音楽、音声ガイダンスおよび警告音などが相互に連携されて出力されるのではなく、各々が独立して出力される構成であるので、例えば音楽が極めて大きな音量で出力されている途中で音声ガイダンスや警告音が出力されたとしても、その出力された音声ガイダンスや警告音が音楽に埋もれてしまい、音声ガイダンスや警告音がユーザに適切に聞取られなくなるなどの問題がある。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、例えばオーディオ機器から出力される音楽、ナビゲーション装置から出力される音声ガイダンスおよび衝突防止装置から出力される警告音などの複数の音が共存する場合に、ユーザにとって最も必要な音を適切に聞取らせることができる音場制御装置、音場制御システム、車載機器および車載システムを提供することにある。
請求項1に記載した音場制御装置によれば、状態管理手段は、車両に搭載されている車載機器または車載システムからコマンドが入力されると、その入力されたコマンドから車載機器または車載システムの音出力に係る優先度や即時度を抽出して車載機器または車載システムの状態を管理すると共に、その抽出された優先度や即時度に基づいて車載機器または車載システムの音出力に係るスケジュールを決定する。そして、音場制御手段は、状態管理手段により決定されたスケジュールに基づいて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御する。
これにより、例えばオーディオ機器から出力される音楽とナビゲーション装置から出力される音声ガイダンスとが共存する場合であれば、オーディオ機器にて音楽データが再生されて音楽が出力されている途中でナビゲーション装置から音声ガイダンスデータの再生要求が発生すると、オーディオ機器から入力されたコマンドの優先度や即時度と、ナビゲーション装置から入力されたコマンドの優先度や即時度とを比較し、音声ガイダンスデータの再生要求の優先度や即時度が音楽データの再生要求の優先度や即時度よりも高ければ、音声ガイダンスの出力を音楽の出力よりも優先するようにスケジュールを決定し、音声ガイダンスが音楽よりも優先されて聞取られるように音場特性や出力音量を調整して音場を制御するようになり、ユーザにとって最も必要な音、つまり、この場合であれば、音声ガイダンスを適切に聞取らせることができる。
また、例えばオーディオ機器から出力される音楽と衝突防止装置から出力される警告音とが共存する場合であれば、オーディオ機器にて音楽データが再生されて音楽が出力されている途中で衝突防止装置から警告音データの再生要求が発生すると、オーディオ機器から入力されたコマンドの優先度や即時度と、衝突防止装置から入力されたコマンドの優先度や即時度とを比較し、警告音データの再生要求の優先度や即時度が音楽データの再生要求の優先度や即時度よりも高ければ、警告音の出力を音楽の出力よりも優先するようにスケジュールを決定し、警告音が音楽よりも優先されて聞取られるように音場特性や出力音量を調整して音場を制御するようになり、ユーザにとって最も必要な音、つまり、この場合であれば、警告音を適切に聞取らせることができる。
請求項2に記載した発明によれば、音場制御手段は、原音または音データに指向性を持たせて音場を制御する。これにより、例えば「500メートル先の交差点を右折です」というような音声ガイダンスを出力する場合であれば、ユーザの右側から音声ガイダンスが聞こえるように指向性を持たせることにより、音声ガイダンスが聞こえる方向により進行方向をユーザに知らせることができる。また、例えば警告音を出力する場合であれば、車両が障害物に対して接触する危険性のある方向から警告音が聞こえるように指向性を持たせることにより、警告音が聞こえる方向により車両が障害物に対して接触する危険性のある方向をユーザに知らせることができる。
請求項3に記載した音場制御装置によれば、音場制御手段は、ロードノイズ認識手段による認識結果を含めて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御する。これにより、ロードノイズが発生している状態であっても、ロードノイズを考慮して音場を制御することにより、ロードノイズによる影響を抑えながら、ユーザにとって最も必要な音を適切に聞取らせることができる。
請求項4に記載した音場制御装置によれば、音場制御手段は、車両が駐停車状態にあるか否かを認識する駐停車状態認識手段による認識結果を含めて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御する。これにより、車両が駐停車状態にあるか否か(例えば駐停車しているか走行しているかなど)を考慮して音場を制御することにより、車両が駐停車状態にあるか否かに関係なく、ユーザにとって最も必要な音を適切に聞取らせることができる。
請求項5に記載した音場制御装置によれば、音場制御手段は、音場制御装置により音場が制御された出力音を出力する音出力機器の種別を認識する音出力機器認識手段による認識結果を含めて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御する。これにより、音出力機器の種別(例えば据置型のスピーカであるかヘッドホン型のスピーカであるかなど)を考慮して音場を制御することにより、音出力機器の種別に関係なく、ユーザにとって最も必要な音を適切に聞取らせることができる。
請求項6に記載した音場制御システムによれば、車載機器または車載システムは、自身の音出力に係る優先度や即時度が格納されているコマンドを音場制御装置へ出力し、音場制御装置は、車載機器または車載システムから出力された原音または音データ出力音の音場特性や出力音量を調整して音場を制御する。これにより、上記した請求項1に記載したものと同様の作用効果を得ることができ、すなわち、ユーザにとって最も必要な音を適切に聞取らせることができる。
請求項7に記載した音場制御システムによれば、音出力機器は、運転席の前部に配置可能な少なくとも2つのスピーカからなり、音場制御装置は、運転に必要な情報を提供する原音または音データを出力可能な車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御し、音出力機器は、運転に必要な情報を提供する原音または音データを出力可能な車載機器または車載システムから出力された原音または音データの音場制御装置により音場が制御された出力音を出力する。これにより、例えば音声ガイダンスや警告音などの運転に必要な情報を提供する原音または音データの音場を制御することができ、その音場が制御された原音または音データの出力音を運転席の前部に配置可能な少なくとも2つのスピーカから出力することができ、運転に必要な情報を提供する出力音を適切に聞取らせることができる。また、この場合、少なくとも2つのスピーカを運転席の前部に配置することにより、ユーザ(運転手)にとって有効な音像定位を実現することをもできる。
請求項8に記載した音場制御システムによれば、他の音出力機器は、運転席の前部以外の部位に配置可能な少なくとも1つのスピーカからなり、他の音出力機器は、運転に必要のない情報を提供する原音または音データを出力可能な車載機器または車載システムから出力された原音または音データの音場制御装置により音場が制御されなかった出力音を出力する。これにより、例えば音楽などの運転に必要のない情報を提供する原音または音データの音場を制御することを未然に回避することができ、不必要に音場を制御することを未然に回避することができる。
(第1の実施形態)
以下、本発明の第1の実施形態について、図1ないし図7を参照して説明する。図1は、音場制御システムの全体構成を概略的に示している。音場制御システム1において、音場制御装置2は、オーディオECU3、ナビゲーションECU4、エアコンECU5、走行制御ECU6、運転支援ECU7、発話判定ECU8および通信ECU9が車載LAN(図示せず)を通じて接続されて構成されている。これら車載ECU3〜9は、本発明でいう車載機器に相当し、原音または音データを音場制御装置2へ出力すると共に、自身の音出力に係る優先度や即時度が格納されているコマンド(メッセージ)をも音場制御装置2へ出力する。また、通信ECU9は、携帯電話機10を接続可能に構成されている。
音場制御装置2は、状態管理部11(本発明でいう状態管理手段)、ロードノイズ認識部12(本発明でいうロードノイズ認識手段)、駐停車状態認識部13(本発明でいう駐停車状態認識手段)、音出力機器認識部14(本発明でいう音出力機器認識手段)および音場制御部15(本発明でいう音場制御手段)を備えて構成されている。
状態管理部11は、車載ECU3〜9から原音、音データおよびコマンドが入力されるようになっており、車載ECU3〜9からコマンドが入力されると、その入力されたコマンドから優先度や即時度を抽出して車載ECU3〜9の状態を管理すると共に、その抽出された優先度や即時度に基づいて車載ECU3〜9の音出力に係るスケジュールを決定する。
ロードノイズ認識部12は、ロードノイズ認識用マイク16により集音されたロードノイズを認識し、その認識結果を音場制御部15へ出力する。駐停車状態認識部13は、例えば車速センサ(図示せず)から入力される車速信号などに基づいて車両が駐停車状態にあるか否か(例えば駐停車しているか走行しているかなど)を認識し、その認識結果を音場制御部15へ出力する。音出力機器認識部14は、音出力機器17の種別(例えば据置型のスピーカであるかヘッドホン型のスピーカであるかなど)を認識し、その認識結果を音場制御部15へ出力する。
音場制御部15は、出力音バランス判定部18、音データ付加部19、音場特性付加部20および出力音量調整部21を備えて構成されている。出力音バランス判定部18は、状態管理部11により決定された音出力に係るスケジュール、ロードノイズ認識部12から入力された認識結果、駐停車状態認識部13から入力された認識結果および音出力機器認識部14から入力された認識結果に基づいて出力音の総合的なバランスを判定し、音場特性や出力音量を調整する。
音データ付加部19は、出力音バランス判定部18との間で原音または音データを授受し、原音に対して音データを付加する。音場特性付加部20は、出力音バランス判定部18との間で原音および音場特性データを授受し、原音に対して音場特性データを付加する。出力音量調整部21は、出力音バランス判定部18との間で原音または音データを授受し、原音または音データの出力音量を調整する。
図2は、上記した音場制御装置2がチップ化された状態で、つまり、音場制御装置2に相当する機能ブロックの略全体が音場制御チップとしてオーディオ機器に一体的に組込まれた(内蔵された)状態を概略的に示している。具体的に説明すると、オーディオ機器31は、CDに記録されている音楽データを再生するCD用デコーダ32、MDに記録されている音楽データを再生するMD用デコーダ33、DVDに記録されている音楽データを再生するDVD用デコーダ34、デコーダ32〜34により再生された音楽データの経路を切替える切替スイッチ35、オーディオ機器31の動作全般を制御するオーディオプロセッサ36、音場制御チップ37、デジタルデータをアナログデータに変換するD/A変換器38、アナログデータを増幅するアンプ39および出力音を出力するスピーカ40を備えて構成されている。
音場制御チップ37は、上記した音場制御装置2における状態管理部11、ロードノイズ認識部12および音場制御部15の各々の機能ブロックに対応する状態管理モジュール41、ロードノイズ認識モジュール42および音場制御モジュール43を備えて構成されており、音場制御モジュール43は、上記した音場制御部15における出力音バランス判定部18、音データ付加部19、音場特性付加部20および出力音量調整部21の各々の機能ブロックに対応する出力音バランス判定モジュール44、音データ付加モジュール45、音場特性付加モジュール46および出力音量調整モジュール47を備えて構成されている。
オーディオプロセッサ36は、原音およびコマンドを音場制御チップ37へ出力する。ナビゲーション装置インタフェース部48は、ナビゲーション装置49と音場制御チップ37との間のインタフェース機能を有しており、ナビゲーション装置49から音データおよびコマンドが入力されると、その入力された音データおよびコマンドを音場制御チップ37へ出力する。センサ制御ECUインタフェース部50は、センサ制御ECU51と音場制御チップ37との間のインタフェース機能を有しており、センサ制御ECU51から音データおよびコマンドが入力されると、その入力された音データおよびコマンドを音場制御チップ37へ出力する。この場合、センサ制御ECU51には、車両の右前方、右後方、左前方および左後方に配設されている右前方コーナーセンサ52、右後方コーナーセンサ53、左前方コーナーセンサ54および左後方コーナーセンサ55が接続されている。
図3は、上記したオーディオ機器31、ナビゲーション装置49、センサ制御ECU51および各コーナーセンサ52〜55が車両に搭載されている態様を概略的に示している。この場合、ナビゲーション装置49は、通信ケーブル56を通じてオーディオ機器31に接続された状態でオーディオ機器31と共に車室内のユーザが操作可能となるような位置に配設されている。また、センサ制御ECU51は、通信ケーブル57を通じてオーディオ機器31に接続された状態で車室外に配設されている。さらに、各コーナーセンサ52〜55は、通信ケーブル58〜61を通じてセンサ制御ECU51に接続されている。
次に、上記した構成の作用について、図4ないし図7を参照して説明する。ここでは、図2に示した構成において、
(1)音楽が出力されている途中で音声ガイダンスデータの再生要求が発生した場合
(2)音楽が出力されている途中で警告音データの再生要求が発生した場合
を例にして説明する。
(1)音楽が出力されている途中で音声ガイダンスデータの再生要求が発生した場合
最初に、「音楽が出力されている途中で音声ガイダンスデータの再生要求が発生した場合」について、図4および図5を参照して説明する。
まず、音場制御チップ37は、オーディオプロセッサ36にて音楽データの再生要求が発生し(ステップS1)、オーディオプロセッサ36から原音およびコマンドが状態管理モジュール41に入力されると、音楽データを再生中である旨を状態管理として認識し(ステップS2)、スピーカ40から音楽を出力させる。
ここで、音場制御チップ37は、ナビゲーション装置49にて音声ガイダンスデータの再生要求が発生し(ステップS3)、ナビゲーション装置49からナビゲーション装置インタフェース部48を通じて音データおよびコマンドが状態管理モジュール41に入力されると、その入力されたコマンドから優先度や即時度を抽出し、これよりも先にオーディオプロセッサ36から入力されたコマンドから抽出された優先度や即時度と、ナビゲーション装置49から入力されたコマンドから抽出された優先度や即時度とを比較し、いずれのコマンドから抽出された優先度や即時度が高いかを判定する(ステップS4)。
そして、音場制御チップ37は、ナビゲーション装置49から入力されたコマンドから抽出された優先度や即時度が「Aランク」であると共に、オーディオプロセッサ36から入力されたコマンドから抽出された優先度や即時度が「Bランク」であり、つまり、ナビゲーション装置49から入力されたコマンドから抽出された優先度や即時度がオーディオプロセッサ36から入力されたコマンドから抽出された優先度や即時度よりも高ければ、音声ガイダンスが音楽よりも優先されるようにスケジュールを決定し、音場制御モジュール43にて音場を制御する(ステップS5)。
具体的に説明すると、音場制御チップ37は、音声ガイダンスが音楽に埋もれないように、音声ガイダンスの音量が音楽の音量よりも相対的に大きくなるように音楽の音量を低下させたり、音声ガイダンスや音楽に互いに異なる指向性を持たせたり(サークルサラウンド(商標)の技術を適用したり)、音楽データの再生を一時的に停止させたりする。また、この場合、音場制御チップ37は、音声ガイダンスの内容に応じて音声ガイダンスに指向性を持たせても良く、音声ガイダンスが例えば右折を促すようなものであれば、ユーザの右側から音声ガイダンスが聞こえるようにしても良い。さらに、この場合、音場制御チップ37は、ロードノイズ認識モジュール42から入力されている認識結果を解析し、ロードノイズの程度を識別することにより、音声ガイダンスがロードノイズに埋もれないように音場を制御しても良い。
そして、音場制御チップ37は、音楽データを再生中であると共に音声ガイダンスデータを再生中である旨を状態管理として認識し(ステップS6)、スピーカ40から音楽や音声ガイダンスを出力させる。
以上に説明した一連の処理により、図5に示すように、音楽が出力されている途中で車両Aが例えば右折すべき交差点から「500m」の地点を通過すると、音楽の音量が低下された後に「500m先の交差点を右折です」という音声ガイダンスが出力され、つまり、音声ガイダンスが音楽に埋もれることなく出力されることになり、音声ガイダンスを適切に聞取らせることが可能となる。
(2)音楽が出力されている途中で警告音データの再生要求が発生した場合
次に、「音楽が出力されている途中で警告音データの再生要求が発生した場合」について、図6および図7を参照して説明する。
この場合、音場制御チップ37は、センサ制御ECU51にて警告音データの再生要求が発生し(ステップS13)、センサ制御ECU51からセンサ制御ECUインタフェース部50を通じて音データおよびコマンドが状態管理モジュール41に入力されると、その入力されたコマンドから優先度や即時度を抽出し、これよりも先にオーディオプロセッサ36から入力されたコマンドから抽出された優先度や即時度と、センサ制御ECU51から入力されたコマンドから抽出された優先度や即時度とを比較し、いずれのコマンドから抽出された優先度や即時度が高いかを判定する(ステップS14)。
そして、音場制御チップ37は、センサ制御ECU51から入力されたコマンドから抽出された優先度や即時度がオーディオプロセッサ36から入力されたコマンドから抽出された優先度や即時度よりも高ければ、警告音が音楽よりも優先されるようにスケジュールを決定し、音場制御モジュール43にて音場を制御する(ステップS15)。
具体的に説明すると、音場制御チップ37は、警告音が音楽に埋もれないように、警告音の音量が音楽の音量よりも相対的に大きくなるように音楽の音量を低下させたり、警告音や音楽に互いに異なる指向性を持たせたり(サークルサラウンド(商標)の技術を適用したり)、音楽データの再生を一時的に停止させたりする。また、この場合も、音場制御チップ37は、警告音の内容に応じて警告音に指向性を持たせても良く、例えば左後方コーナーセンサ55からの警告音であれば、ユーザの左後方から警告音が聞こえるようにしても良い。
そして、音場制御チップ37は、音楽データを再生中であると共に警告音データを再生中である旨を状態管理として認識し(ステップS16)、スピーカ40から音楽および警告音を出力させる。
以上に説明した一連の処理により、図7に示すように、音楽が出力されている途中で車両Aが例えば障害物Bに対して左後方で接触する危険性があると、音楽の音量が低下された後に「ピピピ」という警告音が出力され、つまり、警告音が音楽に埋もれることなく出力されることになり、警告音を適切に聞取らせることが可能となる。
ところで、上記した構成において、図1に示した駐停車状態認識部13の機能ブロックに相当する駐停車状態認識モジュールを備えている構成であれば、駐停車状態認識モジュールの認識結果に基づいて車両が駐停車状態であるか否かを識別することにより、音声ガイダンスや警告音が駐停車状態であるか否かに応じて適切に聞取られるように音場を制御しても良い。また、図1に示した音出力機器認識部14の機能ブロックに相当する音出力機器認識モジュールを備えている構成であれば、音出力機器認識モジュールの認識結果に基づいて音出力機器の種別を識別することにより、音声ガイダンスや警告音が音出力機器の種別に応じて適切に聞取られるように音場を制御しても良い。
また、音楽と音声ガイダンスとの双方が出力されている途中で警告音データの再生要求が発生した場合に、警告音データのコマンドから抽出された優先度や即時度が最も高ければ、警告音が音楽や音声ガイダンスよりも優先されるように音場を制御しても良く、また、音楽と警告音との双方が出力されている途中で音声ガイダンスデータの再生要求が発生した場合に、音声ガイダンスデータのコマンドから抽出された優先度や即時度が最も高ければ、音声ガイダンスが音楽や警告音よりも優先されるように音場を制御しても良い。また、コマンドに格納される優先度や即時度は、ユーザにより音声ガイダンスの内容や警告の内容に応じて任意に設定されるものであっても良いし、ナビゲーション装置49やセンサ制御ECU51を製造するメーカにより一元的に設定されるものであっても良い。
以上に説明したように第1の実施形態によれば、音場制御チップ37において、例えば音楽データが再生されて音楽が出力されている途中でナビゲーション装置49から音声ガイダンスデータの再生要求が発生したり、センサ制御ECU51から警告音データの再生要求が発生したりすると、オーディオプロセッサ36から入力されたコマンドの優先度や即時度と、ナビゲーション装置49から入力されたコマンドやセンサ制御ECU51から入力されたコマンドの優先度や即時度とを比較し、音声ガイダンスデータや警告音データの再生要求の優先度や即時度が音楽データの再生要求の優先度や即時度よりも高ければ、音声ガイダンスや警告音データの出力を音楽の出力よりも優先するようにスケジュールを決定し、音声ガイダンスや警告音が音楽よりも優先されて聞取られるように音場特性や出力音量を調整して音場を制御するように構成したので、ユーザにとって最も必要な音である音声ガイダンスや警告音を適切に聞取らせることができる。
また、音場制御チップ37において、出力音に指向性を持たせて音場を制御するように構成すれば、例えば音声ガイダンスが聞こえる方向により進行方向をユーザに知らせることができたり、警告音が聞こえる方向により車両が障害物に対して接触する危険性のある方向をユーザに知らせたりすることができる。
また、音場制御チップ37において、ロードノイズ認識モジュール42による認識結果を含めて音場を制御するように構成したので、ロードノイズが発生している状態であっても、ロードノイズを考慮して音場を制御することにより、ロードノイズによる影響を抑えながら、ユーザにとって最も必要な音を適切に聞取らせることができる。
また、音場制御チップ37において、車両が駐停車状態にあるか否かを認識する駐停車状態認識モジュールによる認識結果や音出力機器17の種別を認識する音出力機器認識モジュールによる認識結果を含めて音場を制御するように構成すれば、車両が駐停車状態にあるか否かや音出力機器17の種別を考慮して音場を制御することにより、車両が駐停車状態にあるかに関係なく、また、音出力機器の種別に関係なく、ユーザにとって最も必要な音を適切に聞取らせることができる。
(第2の実施形態)
次に、本発明の第2の実施形態について、図8ないし図11を参照して説明する。この第2の実施形態は、音場制御装置に車載ECUが接続されている態様ではなく、音場制御装置に車載システムが接続されている態様である点が上記した第1の実施形態に記載したものとは異なる。すなわち、第2の実施形態では、音場制御システム101において、音場制御装置102は、車両監視システム103、安全運転支援システム104、車外音監視システム105、車両周辺監視システム106、通信システム107、ナビゲーションシステム108およびオーディオシステム109が車載LANを通じて接続されて構成されている。
これら車載システム103〜109は、原音または音データを音場制御装置102へ出力すると共に、自身の音出力に係る優先度や即時度が格納されているコマンド(メッセージ)をも音場制御装置102へ出力する。また、この場合、これら車載システム103〜109のうちオーディオシステム109を除く車載システム103〜108は、運転に必要な情報を提供する(運転に関係する)原音または音データを出力する車載システムであり、オーディオシステム109は、運転に必要のない情報を提供する(運転に関係しない)原音または音データを出力する車載システムである。
音場制御装置102は、上記した第1の実施形態で説明した状態管理部11と略同等の機能を有する状態管理部110、上記した第1の実施形態で説明した音場制御部15と略同等の機能を有する音場制御部111、第1の音出力ラインから出力される出力音を増幅する第1のアンプ112および第2の音出力ラインから出力される出力音を増幅する第2のアンプ113を備えて構成されている。
第1のスピーカ114および第2のスピーカ115は、車室内にあって運手席の前部に並んで配置されている。第3のスピーカ116は、車室内にあって運手席の右側部に配置されており、第4のスピーカ117は、車室内にあって助手席の左側部に配置されている。また、第5のスピーカ118は、車室内にあって右側後部座席の右側部に配置されており、第6のスピーカ119は、車室内にあって左側後部座席の左側部に配置されている。この場合、第1のスピーカ114および第2のスピーカ115は、例えばユーザの両耳に到達する出力音の時間差によりユーザ(運転手)にとって有効な音像定位を実現する。
車載システム103〜109のうちオーディオシステム109を除く車載システム103〜108は、音場制御装置102を介して第1のスピーカ114および第2のスピーカ115に接続されている。したがって、車載システム103〜108から出力された運転に必要な情報を提供する原音または音データは、音場制御装置102により音場制御されて第1のスピーカ114および第2のスピーカ115から出力音として出力される。
一方、オーディオシステム109は、音場制御装置102を介することなく第3のアンプ120を介して第3のスピーカ116〜第6のスピーカ119に接続されている。したがって、オーディオシステム109から出力された運転に必要のない情報を提供する原音または音データは、音場制御装置102により音場制御されることなく第3のスピーカ116〜第6のスピーカ119から出力音として出力される。つまり、第1のスピーカ114および第2のスピーカ115は、本発明でいう運転に必要な情報を提供する出力音を出力する音出力機器に相当し、第3のスピーカ116〜第6のスピーカ119は、本発明でいう運転に必要のない情報を提供する出力音を出力する他の音出力機器に相当する。尚、この場合、音場制御装置102は、第3のアンプ120の利得のみを調整可能となっており、つまり、第3のスピーカ116〜第6のスピーカ119から出力される出力音の音量のみを調整可能となっている。
車両監視システム103は、車両に異常事態が発生したか否かを監視し、車両に異常事態が発生した旨を検出すると、その旨をユーザに知らせるための必要な原音または音データを音場制御装置102へ出力する。安全運転支援システム104は、例えば自車両の前方を走行する先行車両との間の車両距離などを検出して車両が安全運転を可能であるか否かを監視し、車両が安全運転を可能でない旨を検出すると、その旨をユーザに知らせるための必要な原音または音データを音場制御装置102へ出力する。
車外音監視システム105は、本実施形態では以下のいずれかにより構成されている。すなわち、車外音監視システム105は、一の構成例としては、図9(a)に示すように、情報処理部105a、マイクロホン105b〜105dおよび警報音サンプリングテーブル105eを備えて構成されている。この場合、マイクロホン105b〜105dは、例えば各々が三角形の頂点に位置するように車両に搭載されて車外の音を収集する。情報処理部105aは、マイクロホン105b〜105dにより収集された車外の音のデータと警報音サンプリングテーブル105eとの相関を判定し、相関係数が閾値以上である旨を検出すると、そのマイクロホン105b〜105dにより収集された音に関する警報音の原音または音データを音場制御装置102へ出力する。尚、この場合、車外音監視システム105は、警報音の原音または音データを音場制御装置102へ出力する構成に限らず、例えば「救急車が接近中です」などの警報メッセージの原音または音データを音場制御装置102へ出力する構成であっても良い。
また、車外音監視システム105は、他の構成例としては、図9(b)に示すように、情報処理部105f、通信部105gおよび車両サンプリングテーブル105hを備えて構成されても良い。この場合、通信部105gは、緊急車両や踏切などから送信された無線信号を受信する。情報処理部105fは、緊急車両や踏切などから通信部105gへ送信された無線信号を解析し、車両サンプリングテーブルとの相関を判定し、その判定結果により緊急車両や踏切などの存在を表す原音または音データを音場制御装置102へ出力する。
車両周辺監視システム106は、車両周辺を監視し、車両周辺に異常事態が発生した旨を検出すると、その旨をユーザに知らせるための必要な原音または音データを音場制御装置102へ出力する。通信システム107は、車外から通知信号を受信し、その受信された通知信号の原音または音データを音場制御装置102へ出力する。
ナビゲーションシステム108は、本実施形態では以下のように構成されている。すなわち、ナビゲーションシステム108は、図10に示すように、情報処理部108a、地図データベース108b、検索用データベース108c、案内情報データベース108d、表示装置108e、GPS受信機108f、車速センサ108g、ジャイロスコープ108hおよび地磁気センサ108iを備えて構成されている。
オーディオシステム109は、ラジオ、カセットテープレコーダ、CD、MD、DVDおよびテレビなどの音声再生装置と、ボリュームおよびイコライザなどの音声の振幅や波形を調整する装置とから構成され、ユーザの操作により音楽などの原音または音データを第3のアンプ120を介して第3のスピーカ116〜第6のスピーカ119へ出力する。
次に、上記した構成の作用について、図11を参照して説明する。ここで、図11は、
車載システム103〜109のうちオーディオシステム109を除く車載システム103〜108がコマンドを音場制御装置102へ出力した場合に、音場制御装置102が行う処理をフローチャートとして示している。
音場制御装置102は、車載システム103〜108のいずれかからコマンドが入力されると(ステップS101にて「YES」)、その時点でいずれかの車載システムの原音または音データを再生中であるか否かを判定する(ステップS102)。そして、音場制御装置102は、その時点でいずれかの車載システムの原音または音データを再生中である旨を検出すると(ステップS102にて「YES」)、その原音または音データを再生中である車載システムが運転に必要な情報を提供する原音または音データを出力する車載システムであるか運転に必要のない情報を提供する原音または音データを出力する車載システムであるかを判定する(ステップS103)。
ここで、音場制御装置102は、その原音または音データを再生中である車載システムが運転に必要な情報を提供する原音または音データを出力する車載システムである旨を検出すると(ステップS103にて「YES」)、コマンドを出力した車載システムと、その時点で原音または音データを再生中である車載システムとの優先度や即時度を比較する(ステップS104)。
そして、音場制御装置102は、コマンドを出力した車載システムの優先度や即時度が原音または音データを再生中である車載システムの優先度や即時度よりも高い旨を検出すると(ステップS105にて「YES」)、コマンドを出力した車載システムからの出力音が優先されるようにスケジュールを決定し、コマンドを出力した車載システムから出力された原音または音データの出力音を優先して出力する(ステップS106)。
これに対して、音場制御装置102は、コマンドを出力した車載システムの優先度や即時度が原音または音データを再生中である車載システムの優先度や即時度よりも低い旨を検出すると(ステップS105にて「NO」)、原音または音データを再生中である車載システムからの出力音が優先されるようにスケジュールを決定し、原音または音データを再生中である車載システムから出力された原音または音データの出力音を優先して出力する(ステップS107)。
また、音場制御装置102は、原音または音データを再生中である車載システムが運転に必要のない情報を提供する原音または音データを出力する車載システムである旨を検出すると(ステップS103にて「NO」)、コマンドを出力した車載システムから出力された原音または音データの出力音を出力すると共に、原音または音データを再生中である車載システムから出力された原音または音データの出力音を調整する(例えば音量を低下させる)(ステップS108)。また、音場制御装置102は、いずれの車載システムの原音または音データを再生中でない旨を検出すると(ステップS102にて「NO」)、コマンドを出力した車載システムから出力された原音または音データの出力音を出力する(ステップS109)。
以上に説明したように第2の実施形態によれば、音場制御システム101において、いずれかの車載システムの原音または音データが再生されている途中で他のいずれかの車載システムの原音または音データの再生要求が発生すると、原音または音データの再生要求が発生した車載システムから入力されたコマンドの優先度や即時度と、再生中の車載システムから入力されたコマンドの優先度や即時度とを比較して音場を制御するように構成したので、この場合も、上記した第1の実施形態に記載したものと同様の作用効果を得ることができ、すなわち、ユーザにとって最も必要な音である音声ガイダンスや警告音を適切に聞取らせることができる。
(第3の実施形態)
次に、本発明の第3の実施形態について、図12を参照して説明する。この第3の実施形態は、音場制御装置が車載システムと別体に配置されている態様ではなく、音場制御装置が車載システムの一部として組込まれている態様である点が上記した第2の実施形態に記載したものとは異なる。すなわち、第3の実施形態では、音場制御システム201において、音場制御装置202は、ナビゲーションシステム203の一部の機能として組込まれており、車両監視システム103、安全運転支援システム104、車外音監視システム105、車両周辺監視システム106、通信システム107およびオーディオシステム109が車載LANを通じて接続されて構成されている。この場合、音場制御装置202は、上記した第2の実施形態で説明した音場制御装置102が行う処理と同様の処理を行う。
以上に説明したように第3の実施形態によれば、音場制御システム201において、いずれかの車載システムの原音または音データが再生されている途中で他のいずれかの車載システムの原音または音データの再生要求が発生すると、原音または音データの再生要求が発生したシステムから入力されたコマンドの優先度や即時度と、再生中の車載システムから入力されたコマンドの優先度や即時度とを比較して音場を制御するように構成したので、この場合も、上記した第1の実施形態や第2の実施形態に記載したものと同様の作用効果を得ることができ、ユーザにとって最も必要な音である音声ガイダンスや警告音を適切に聞取らせることができる。
(その他の実施形態)
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
第1の実施形態において、車載ECUは他の種類のものであっても良い。また、音場制御装置に相当する機能ブロックが音場制御チップとしてオーディオ機器に一体に組込まれる構成に限らず、音場制御装置に相当する機能ブロックが音場制御チップとしてナビゲーション装置や他の機器に一体に組込まれる構成であっても良い。
第2の実施形態および第3の実施形態において、車載システムは他の種類のものであっても良い。また、スピーカの個数や配置態様は他の個数や配置態様であっても良く、車外音監視システムやナビゲーションシステムなどの車載システムの構成は他の構成であっても良い。
本発明の第1の実施形態を示す機能ブロック図 音場制御チップがオーディオ機器に一体に搭載されている態様を示す機能ブロック図 オーディオ機器、ナビゲーション装置およびセンサ制御ECUが車両に搭載されている態様を概略的に示す図 シーケンス図 音場が制御される態様を概略的に示す図 図4相当図 図5相当図 本発明の第2の実施形態を示す機能ブロック図 車外音監視システムの機能ブロック図 ナビゲーションシステムの機能ブロック図 フローチャート 本発明の第3の実施形態を示す機能ブロック図
符号の説明
図面中、1は音場制御システム、2は音場制御装置、3〜9は車載ECU(車載機器)、11は状態管理部(状態管理手段)、12はロードノイズ認識部(ロードノイズ認識手段)、13は駐停車状態認識部(駐停車状態認識手段)、14は音出力機器認識部(音出力機器認識手段)、15は音場制御部(音場制御手段)、17は音出力機器、41は状態管理モジュール(状態管理手段)、42はロードノイズ認識モジュール(ロードノイズ認識手段)、43は音場制御モジュール(音場制御手段)、101は音場制御システム、102は音場制御装置、103〜109は車載システム、110は状態管理部(状態管理手段)、111は音場制御部(音場制御手段)、114,115はスピーカ(音出力機器)、116〜119はスピーカ(他の音出力機器)、201は音場制御システム、202は音場制御装置である。

Claims (10)

  1. 車載機器または車載システムからコマンドを入力し、その入力されたコマンドから当該車載機器または当該車載システムの音出力に係る優先度や即時度を抽出して当該車載機器または当該車載システムの状態を管理すると共に、その抽出された優先度や即時度に基づいて当該車載機器または当該車載システムの音出力に係るスケジュールを決定する状態管理手段と、
    前記状態管理手段により決定されたスケジュールに基づいて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御する音場制御手段とを備えたことを特徴とする音場制御装置。
  2. 請求項1に記載した音場制御装置において、
    前記音場制御手段は、原音または音データに指向性を持たせて音場を制御することを特徴とする音場制御装置。
  3. 請求項1または2に記載した音場制御装置において、
    ロードノイズを認識するロードノイズ認識手段を備え、
    前記音場制御手段は、前記ロードノイズ認識手段による認識結果を含めて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御することを特徴とする音場制御装置。
  4. 請求項1ないし3のいずれかに記載した音場制御装置において、
    車両が駐停車状態にあるか否かを認識する駐停車状態認識手段を備え、
    前記音場制御手段は、前記駐停車状態認識手段による認識結果を含めて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御することを特徴とする音場制御装置。
  5. 請求項1ないし4のいずれかに記載した音場制御装置において、
    音場制御装置により音場が制御された出力音を出力する音出力機器の種別を認識する音出力機器認識手段を備え、
    前記音場制御手段は、前記音出力機器認識手段による認識結果を含めて車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御することを特徴とする音場制御装置。
  6. 請求項1ないし5のいずれかに記載した音場制御装置と、
    車両に搭載可能に構成され、自身の音出力に係る優先度や即時度が格納されているコマンドを音場制御装置へ出力する車載機器または車載システムとを備えたことを特徴とする音場制御システム。
  7. 請求項6に記載した音場制御システムにおいて、
    運転席の前部に配置可能な少なくとも2つのスピーカからなる音出力機器を備え、
    音場制御装置は、運転に必要な情報を提供する原音または音データを出力可能な車載機器または車載システムから出力された原音または音データの音場特性や出力音量を調整して音場を制御し、
    音出力機器は、運転に必要な情報を提供する原音または音データを出力可能な車載機器または車載システムから出力された原音または音データの音場制御装置により音場が制御された出力音を出力することを特徴とする音場制御システム。
  8. 請求項6または7に記載した音場制御システムにおいて、
    運転席の前部以外の部位に配置可能な少なくとも1つのスピーカからなる他の音出力機器を備え、
    他の音出力機器は、運転に必要のない情報を提供する原音または音データを出力可能な車載機器または車載システムから出力された原音または音データの音場制御装置により音場が制御されなかった出力音を出力することを特徴とする音場制御システム。
  9. 車両に搭載可能に構成されると共に請求項1ないし5のいずれかに記載した音場制御装置と共に使用され、自身の音出力に係る優先度や即時度が格納されているコマンドを音場制御装置へ出力するように構成されたことを特徴とする車載機器。
  10. 車両に搭載可能に構成されると共に請求項1ないし5のいずれかに記載した音場制御装置と共に使用され、自身の音出力に係る優先度や即時度が格納されているコマンドを音場制御装置へ出力するように構成されたことを特徴とする車載システム。

JP2004252284A 2003-11-14 2004-08-31 音場制御システム Expired - Fee Related JP4285371B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004252284A JP4285371B2 (ja) 2003-11-14 2004-08-31 音場制御システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003385109 2003-11-14
JP2004252284A JP4285371B2 (ja) 2003-11-14 2004-08-31 音場制御システム

Publications (2)

Publication Number Publication Date
JP2005167975A true JP2005167975A (ja) 2005-06-23
JP4285371B2 JP4285371B2 (ja) 2009-06-24

Family

ID=34741782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004252284A Expired - Fee Related JP4285371B2 (ja) 2003-11-14 2004-08-31 音場制御システム

Country Status (1)

Country Link
JP (1) JP4285371B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006117A (ja) * 2005-06-23 2007-01-11 Pioneer Electronic Corp 報知制御装置、そのシステム、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、移動支援装置
JP2010272911A (ja) * 2009-05-19 2010-12-02 Nissan Motor Co Ltd 音情報提供装置及び音情報提供方法
CN102665163A (zh) * 2012-04-09 2012-09-12 深圳市领华卫通数码科技有限公司 一种汽车音响系统的声音通道控制方法
JP2013131824A (ja) * 2011-12-20 2013-07-04 Nikon Corp 電子機器
JP2014014090A (ja) * 2013-08-02 2014-01-23 Yupiteru Corp 車両用警報装置及びプログラム
KR20170027804A (ko) * 2014-06-27 2017-03-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 지향성 오디오 통지
JP2017153083A (ja) * 2016-02-25 2017-08-31 ビステオン グローバル テクノロジーズ インコーポレイテッド 自動車でオーディオ信号を再生する装置及び方法
US9894456B2 (en) 2014-01-02 2018-02-13 Harman International Industries, Incorporated Context-based audio tuning
CN109691136A (zh) * 2016-09-08 2019-04-26 株式会社索思未来 音频信号处理装置
JPWO2018101341A1 (ja) * 2016-11-29 2019-10-24 パイオニア株式会社 情報処理装置、外部音再生方法、プログラム及びデータ構造
JP2020197695A (ja) * 2019-05-31 2020-12-10 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 電子デバイスの音声制御方法、電子デバイスの音声制御装置、コンピュータ機器及び記憶媒体
JP2021089741A (ja) * 2021-01-12 2021-06-10 株式会社ユピテル 電子機器
JP2021096797A (ja) * 2019-12-19 2021-06-24 トヨタ自動車株式会社 車両運転支援装置
CN113986182A (zh) * 2021-09-09 2022-01-28 浙江越扬电子有限公司 基于车载网络的车载音频控制系统
WO2023090057A1 (ja) * 2021-11-17 2023-05-25 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023092265A (ja) * 2021-12-21 2023-07-03 株式会社デンソー 音出力装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006117A (ja) * 2005-06-23 2007-01-11 Pioneer Electronic Corp 報知制御装置、そのシステム、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、移動支援装置
JP2010272911A (ja) * 2009-05-19 2010-12-02 Nissan Motor Co Ltd 音情報提供装置及び音情報提供方法
JP2013131824A (ja) * 2011-12-20 2013-07-04 Nikon Corp 電子機器
CN102665163A (zh) * 2012-04-09 2012-09-12 深圳市领华卫通数码科技有限公司 一种汽车音响系统的声音通道控制方法
JP2014014090A (ja) * 2013-08-02 2014-01-23 Yupiteru Corp 車両用警報装置及びプログラム
US9894456B2 (en) 2014-01-02 2018-02-13 Harman International Industries, Incorporated Context-based audio tuning
KR102369879B1 (ko) * 2014-06-27 2022-03-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 지향성 오디오 통지
KR20170027804A (ko) * 2014-06-27 2017-03-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 지향성 오디오 통지
JP2017153083A (ja) * 2016-02-25 2017-08-31 ビステオン グローバル テクノロジーズ インコーポレイテッド 自動車でオーディオ信号を再生する装置及び方法
CN109691136A (zh) * 2016-09-08 2019-04-26 株式会社索思未来 音频信号处理装置
US10602272B2 (en) 2016-09-08 2020-03-24 Socionext Inc. Audio signal processor
CN109691136B (zh) * 2016-09-08 2020-09-08 株式会社索思未来 音频信号处理装置
JPWO2018101341A1 (ja) * 2016-11-29 2019-10-24 パイオニア株式会社 情報処理装置、外部音再生方法、プログラム及びデータ構造
JP2020197695A (ja) * 2019-05-31 2020-12-10 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 電子デバイスの音声制御方法、電子デバイスの音声制御装置、コンピュータ機器及び記憶媒体
JP2021096797A (ja) * 2019-12-19 2021-06-24 トヨタ自動車株式会社 車両運転支援装置
JP2021089741A (ja) * 2021-01-12 2021-06-10 株式会社ユピテル 電子機器
CN113986182A (zh) * 2021-09-09 2022-01-28 浙江越扬电子有限公司 基于车载网络的车载音频控制系统
WO2023090057A1 (ja) * 2021-11-17 2023-05-25 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
JP4285371B2 (ja) 2009-06-24

Similar Documents

Publication Publication Date Title
JP4285371B2 (ja) 音場制御システム
US8275307B2 (en) Vehicle audio integrator
US6188315B1 (en) Situational feature suppression system
CN101755294B (zh) 给观察者提供关于使用中的应急车辆信息的方法和装置
EP1536664A3 (en) Car audio equipment
US20140365073A1 (en) System and method of communicating with vehicle passengers
JP5014662B2 (ja) 車載用音声認識装置及び音声認識方法
JP4513610B2 (ja) 車載装置及び車載装置の制御方法
JP2019075748A (ja) 車載装置、車載音響システムおよび音声出力方法
JPH05305847A (ja) 車両用音量制御システム
JP2010261886A (ja) 音声誘導装置
CN113273223A (zh) 基于混合车载扬声器和耳机的声学增强现实系统
JP5954520B2 (ja) 車両接近通報装置
JP2010089617A (ja) 車載オーディオ装置
US11974103B2 (en) In-car headphone acoustical augmented reality system
JP2007110481A (ja) 音声制御装置、補正装置
JP2006295443A (ja) 音声出力制御装置および音声出力制御プログラム
JP2018087871A (ja) 音声出力装置
JP2002127854A (ja) 車載警報装置
JP2008081031A (ja) 報知機能付き車載装置
JP2005047479A (ja) 車載用5チャンネルオーディオ装置
US20230199389A1 (en) Sound output device
JP4370934B2 (ja) 車載音響装置
JP2005241271A (ja) 音声ガイド付カーナビゲーションシステム
JP2008100598A (ja) 車両の音響システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090316

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140403

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees