JP2006282116A - 自動車用ユーザーもてなしシステム - Google Patents

自動車用ユーザーもてなしシステム Download PDF

Info

Publication number
JP2006282116A
JP2006282116A JP2005108031A JP2005108031A JP2006282116A JP 2006282116 A JP2006282116 A JP 2006282116A JP 2005108031 A JP2005108031 A JP 2005108031A JP 2005108031 A JP2005108031 A JP 2005108031A JP 2006282116 A JP2006282116 A JP 2006282116A
Authority
JP
Japan
Prior art keywords
user
hospitality
scene
car
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005108031A
Other languages
English (en)
Other versions
JP4535274B2 (ja
Inventor
Shogo Kameyama
昌吾 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005108031A priority Critical patent/JP4535274B2/ja
Priority to DE102006015332A priority patent/DE102006015332A1/de
Priority to US11/396,699 priority patent/US8140344B2/en
Publication of JP2006282116A publication Critical patent/JP2006282116A/ja
Application granted granted Critical
Publication of JP4535274B2 publication Critical patent/JP4535274B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】 ユーザーの状態を検出し、その検出結果から、当該のユーザーが最も望む(あるいは望むと思われる)形態で車載装置の動作を自律的に制御することができる自動車用ユーザーもてなしシステムを提供する。
【解決手段】 ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作を、予め定められた複数のシーンに区切り、区切られた複数のシーン毎に前記ユーザーによる前記自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。
【選択図】 図1

Description

この発明は、ユーザーの自動車への接近、乗車、運転、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませる(あるいはサービスする)ための自動車用ユーザーもてなしシステムに関する。
特開2003−312391号公報
特許文献1には、携帯電話を用いた車載機器の自動調整装置が開示されている。この装置は、自動車の搭乗者が所持する携帯電話と、自動車側に搭載された無線装置との間で通信し、エアコン、カーステレオ、ヘッドライトの光軸、電動シートあるいは電動ミラーといった車載装置を、携帯電話所持者毎に予め登録された条件にて動作調整する、というものである。また、特許文献1には、携帯電話に搭載されたGPS(Global Positioning System)により車内の搭乗者の数や位置を把握し、オーディオ機器の音量バランスや周波数特性を調整する技術も開示されている。
しかし、上記の装置は、あくまで搭乗者(ユーザー)が自動車に乗り込んだ後で車載装置の調整を行なうものであり、ユーザーが乗り込む前に車載装置の調整を行なう思想を開示するものではない。このことは、該文献において、携帯電話機に対する車載側の通信装置が、近距離無線通信装置(ブルートゥース:規格に定められている通信可能距離は精々10mであり)、図1においてブルートゥース端末が車内の携帯電話機とのみ通信するように描かれていることからも明らかである。また、ユーザーの状態とは無関係に、車載装置の調整内容を画一的に定めているため、何度か利用するうちにユーザーに手の内を読まれ、次第に喜びも失せてしまう欠点がある。
本発明の課題は、ユーザーの状態を検出し、その検出結果から、当該のユーザーが最も望む(あるいは望むと思われる)形態で車載装置の動作を自律的に制御することができ、ひいては、ユーザーを主人あるいは客人として自動車側が積極的にもてなそうという心にも満ちた自動車用ユーザーもてなしシステムを提供することにある。
課題を解決するための手段及び作用・効果
上記の課題を解決するために、本発明の自動車用ユーザーもてなしシステムは、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作を、予め定められた複数のシーンに区切り、区切られた複数のシーン毎にユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
シーン毎に予め定められたユーザーの位置又は動作をシーン推定情報として取得するシーン推定情報取得手段と、取得されたシーン推定情報に基づいて個々のシーンを特定するシーン特定手段と、特定されたシーンに応じて、使用するもてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定めるもてなし内容決定手段とを有するもてなし意思決定部と、
もてなし意思決定部による決定内容に従うもてなし動作を行なうように、対応するもてなし動作部の動作制御を行なうもてなし実行制御部と、を備えたことを特徴とする自動車用ユーザーもてなしシステム。
本発明においては、ユーザーの状態として、ユーザーと自動車との相対的な関係によって定まるシーンを把握する。具体的には、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作を、予め定められた複数のシーンに区切り、区切られた複数のシーン毎にユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。ユーザーの自動車利用に係る様々なシーン(場面)毎に、自動車側にて行なうもてなし動作が変化するので、個々のシーンに応じてユーザーが最も欲するもてなし動作を供することが可能となり、適確かつきめ細かいサービスが可能となる。また、ユーザーへの互いに異なるもてなし内容を、一連のシーンによって関連付けることにより系統化できる。その結果、ユーザーは、あたかも一流のホテル等に宿泊している場合のごとく、いつ如何なる場面でも自動車側から客人としての一貫したサービスを受けることが可能となり、「非人間的」主体であるはずの自動車が「人間的」なホストとして機能するというバーチャルな効果も加わって、今までにない斬新な自動車利用の楽しみを提供することが可能となる。
シーンの決定は、「ユーザーによる自動車利用」の枠内で定めるものであり、近づいて、乗り込み、運転/滞在し、目的地に着けばドアを開けて降車する、という基本的な流れは変化しない。従って、この流れに沿ってスムーズにシーンを切り分けることが、ユーザーに対し自然で違和感のないもてなしを提供する観点において肝要である。この場合、次のような構成を採用するとよい。すなわち、現在のシーンを特定する現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段を設ける。シーン特定手段は、該現在シーン特定情報の記憶内容に基づいて現在シーンを把握するとともに、該現在シーンの把握を前提として、予め定められたシーン推定情報取得手段により、その後続シーンに特有のユーザー位置又は動作が検出された場合に、当該後続シーンに移行したと判断し、該後続シーンの特定情報を現在シーン特定情報として現在シーン特定情報記憶手段に記憶させる。現在がどのシーンにあるかを把握できれば、上記のような自動車使用時のユーザーの行動の流れから、次にどのようなシーンが到来するかは予測でき、その後続シーンに特有のユーザー位置又は動作を検出することで、シーン間の移行を適確に把握できる。また、ドアの開閉が乗車時と降車時との双方に生ずる事例を考慮すればわかりやすいように、複数のシーンにおいて、後続シーン特定情報(前記事例では「ドアの開閉」)の内容が同一となる場合がある。しかし、現在のシーンが何であるかを把握することで、そのような場合でも後続シーンの誤把握を防止でき、もてなし動作の切り替えを適確に行なうことができる。
本発明の自動車用もてなしシステムにおいては、シーン毎に、ユーザーに対して施すもてなしのテーマを複数定めることも可能であり、それらテーマ毎に、使用するもてなし動作部と、該もてなし動作部によるなもてなし動作の内容とが固有に定めらることが可能である。この場合、もてなし意思決定部は、それら複数のテーマの一部又は全てについて、個々のテーマにて使用するもてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定め、もてなし実行制御部は、テーマ毎に対応するもてなし動作部の動作制御を行なうものとすることができる。同じシーンであっても、ユーザーが「もてなし」として何をして欲しいか、という、いわば「もてなしの指向」は必ずしも一義的ではなく、また、ユーザーの性格や精神状態あるいは体調などによって、「もてなしに望む内容」も相違することがある。こうした「もてなしの指向」や「もてなしに望む内容」は、各々個別に「もてなしのテーマ」として把握することができ、それらテーマ毎にもてなしの内容を定めておくことで、より多面的なもてなしサービスを提供することが可能となる。
本発明の自動車用もてなしシステムには、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得するユーザー生体特性情報取得手段を設けることができる。そして、もてなし内容決定手段は、各シーンにおいて用意される複数のもてなし動作の個々の実行内容を、取得されたユーザー性格情報又は精神/体調情報の内容に応じて変化させるものとすることができる。この構成によると、もてなし動作部の動作内容が、ユーザー生体特性情報の内容に応じて変化し、ひいては、自動車利用に際してのユーザーへサービス効果を、ユーザー毎の固有の性格、精神状態あるいは体調に応じて、適確かつきめ細かく発揮することができる。
シーン毎に予め複数のもてなし動作が用意される場合、それら複数のもてなし動作には、ユーザが当該もてなしを指向する度合いに応じて採用の優先順位が予め定めておくことができる。もてなし内容決定手段は、各シーンにおいて、用意された複数のもてなし動作のうち優先順位の高いものから順次選択するものとすることができる。同じシーンでのもてなしであっても、ユーザーを取り巻く状況や、ユーザーの指向によって施すべきもてなしの程度には差を生ずることも多い。そこで、シーン毎に複数のもてなし動作を用意しておき、予め定められた優先順位に従って選択しつつ実施することで、上記のような場合にも柔軟に対応することができる。
また、前記した「もてなしの指向」や「もてなしに望む内容」に応じたもてなしのジャンルをシーン毎に複数用意し、それら複数ジャンルにそれぞれ固有のもてなし動作を、対応するもてなし動作部に対し、同じシーン内にて並列に実行させることができる。このようにすると、ユーザーに対し、設定するジャンルに応じた様々な角度からのもてなしを同時に施すことができ、同じシーンでの多面的かつ奥行きの深いもてなしにより、ユーザーに対する満足度を高めることができる。例えば、上記各シーンにおいては、もてなしのジャンルを、ユーザーの精神状態もしくは体調状態の向上又は悪化抑制に関係した、互いに異なる複数のもてなし目的に対応して定めることができ、それら複数のもてなしのジャンルから2以上のものを選択し、選択された各ジャンルのもてなし動作を並列に実行することが可能である。例えば、同一のシーンにおいて異なる目的を達成するジャンルの実例として、「ユーザー気持ちを盛り上げる」ジャンルと、「不安を解消する」ジャンルとを例示できるが、いずれのジャンルに属するもてなし動作も、前者は「気分高揚」という精神状態の向上に寄与し、後者は「不安増加阻止」という精神状態の悪化抑制に寄与するものである。これらのジャンルのもてなし動作を、並列に実行することで、気分高揚と不安解消という二面的なもてなし効果を同時に達成でき、結果として、ユーザは、その精神状態をより立体的に改善することが可能となる。
また、普段から派手好きなユーザーと、地味でおとなしいタイプのユーザーとでは、もてなしに望む内容が異なるのは当然であるし、同じユーザーでも機嫌のよいときと悪いときとでは、それぞれの状況に適合した方向性の違うもてなしを提供することが有効であるといえる。このように、もてなしの指向決定に関与する条件が、互いに相反するユーザーの性格や状態に起因している場合は、次のように構成することで適確に対応することができる。すなわち、もてなしのジャンルの一部をなす複数のものが、ユーザーの互いに相反するもてなし指向に対応して定められた相反指向型ジャンルとされ、それら相反指向型ジャンルのいずれか1つに属するもてなし動作を選択的に実行する。ユーザーの気分や性格によって、複数あるもてなし動作から適正なものを選定する上で有効な手法であるといえる。この場合、前述のユーザー生体特性情報取得手段が取得するユーザー性格情報又は精神/体調情報の内容に応じて、相反指向型ジャンルのいずれを選択するかを決定するようにすれば、ユーザー性格や精神/体調に応じて、それぞれに適合するもてなし動作を容易に選定することができる。
次に、シーン特定手段は、ユーザーが自動車へ接近する接近シーンと、ユーザーが該自動車内にて運転又は滞在する運転/滞在シーンとを特定するものとすることができる。もてなし内容決定手段は、これら各シーンに、使用するもてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定めるものとして構成できる。自動車の運転時もしくは滞在時は、自動車利用に係るシーンとしては長時間を占め、該運転/滞在シーンでのもてなしに重点を置くことは、ユーザーが快適に自動車を使用できるかどうかの重要な鍵を握っている。他方、接近シーンは、上記運転/滞在シーンに先立つシーンとしては、これに次ぐ時間的比重を占めるものであり、これをもてなしの機会として有効に活用することで、運転/滞在シーンに臨むユーザーの精神状態を改善し、ひいては運転/滞在シーンでのもてなし効果を一層高めることにも寄与する。
シーン推定情報取得手段は、上記接近シーンを特定するために、自動車と、当該自動車外に位置するユーザーとの相対距離に基づいて、ユーザーの自動車への接近を検出する接近検出手段を有するものとして構成できる。また、運転/滞在シーンを特定するために、自動車の座席に着座したユーザーを検出する着座検出手段を有するものとして構成できる。いずれも、接近シーンないし運転/滞在シーンを適確に特定できる利点がある。
次に、もてなし制御部はもてなし動作部の動作内容は、前述の接近検出手段が検出するユーザーと自動車との距離に応じて変化させるものとして構成することができる。これによると、もてなし動作部の動作内容が、ユーザーと自動車との距離に応じて変化するように制御されるので、もてなし動作部によるユーザーへサービス効果を上記距離に応じて適正かつきめ細かく発揮することができ、ひいては、ユーザーを主人あるいは客人として自動車側が積極的にもてなす雰囲気も高めることができる。
この場合、もてなし制御部は、ユーザーが自動車に近づくほど、該ユーザーの気持ちを高揚させるように、もてなし動作部の動作内容を変化させるものとすることができる。これにより、ユーザーが自動車に近づくほどもてなしの動作が盛り上がるので、自動車へ乗り込む際の気分高揚に著しく貢献することができる。具体的には、次のような態様を例示できる。
・もてなし用に出力する音楽を距離が近づくほどアップテンポにする。また、心拍の倍数にテンポを設定したり、距離が近づくほどボリュームを上げる、あるいは、気分がより盛り上がる曲に変える、といった態様も可能である。
・もてなし用の照明を明るくしたり、色調を赤系に変える。また、照明の点滅(ないし変化)周期を音楽と同期させることも可能である。
もてなし制御部は、既に動作中のもてなし動作部の停止、及び未動作のもてなし動作部の動作開始の少なくともいずれか(当然、両者の組み合わせである、複数のもてなし動作部間での動作切り替えを含む)に基づいて、ユーザーと自動車との距離に応じてもてなし動作部の動作内容を段階的に変化させるものとして構成することができる。この構成によると、ユーザーと自動車との距離に適当な閾値を定め、閾値を超えて自動車に接近するかどうかの簡単な判定で、個々のもてなし動作部を単位として動作/非動作の切り替え制御を行なえばよく、上記の本発明の効果を比較的軽量な制御処理にて達成することが可能となる。
接近シーンにおいては、自動車に搭載された自動車外空間を照らし出す照明装置(ヘッドランプ、テールランプ、ハザードランプなど:室内灯も窓ガラスを介した漏洩により車外空間を照らすことができる)をもてなし動作部として定めることができる。そして、該照明装置をユーザーの出迎えのために点灯させることを、もてなし動作の内容として定めることができる。これによると、自動車に搭載された照明類を、ユーザーの出迎え演出のためのイルミネーションとして使用でき、気分高揚等に寄与する。また、夜間や暗所の場合、駐車した自動車の位置を把握しやすくできる利点も生ずる。
上記の場合、もてなし制御部は、ユーザー側端末装置と自動車との距離が縮小するにつれて総照明光量が減少するように、照明装置を点灯制御することができる。自動車までの距離が長い段階では、総照明光量を高めることで、自動車までの間に障害物等の異常がないかをより把握しやすくすることができ、自動車までの距離が縮小すれば、必要な視野だけを照らすことができるよう、光量を少なくすれば無駄を排除することができ、また照明光源に接近したときの眩しさも軽減できる。
なお、もてなし動作部は、必ずしも自動車に搭載された設備に限られるものではなく、駐車中の自動車の周辺設備(例えば、指定された駐車場の付帯設備など)であってもよいし、自動車の利用に際してユーザーが必ず携行する携行品をもてなし動作部としてもよい。例えば後者の場合の一例として、下記のような構成を例示できる。すなわち、駐車中の自動車又は該自動車の周辺設備に設けられ、外部の端末装置と通信するホスト側通信手段と、自動車のユーザーが携帯するとともに、ホスト側通信手段と無線通信網を介して通信する端末側通信手段を有したユーザー側端末装置とを設けるとともに、上記の接近シーンにおいてもてなし動作部を、ユーザー側端末装置に設けられた音声出力部とすることができる。この場合、ホスト側通信手段がもてなし制御部であり、接近シーンにおいて、音声出力部が動作するよう、ユーザー側端末装置に対し無線指令するものとすることができる。この態様では、ユーザーが自動車に接近すると、ホスト側通信手段によってユーザー側端末装置に対し無線指令が送られ、ユーザーが携帯したユーザー側端末装置からもてなし用の音声(音楽、効果音、出迎えの言葉など)を出力させる。これにより、自動車に近づくユーザーの音声によるもてなしを、そのユーザーが携行するユーザー側端末装置により効果的に実行することができるようになる。音声による自動車側に搭載されたカーオーディオシステムを音声出力部として使用することもできるが、窓が閉じられていればもてなし音声がユーザーまで十分に届かないし、窓を開いて自動車外に音を漏出させると近所迷惑にもなる。しかし、上記のようにユーザー側端末装置をもてなし音の出力部として利用すれば、ユーザーの手元で音声出力できるのでもてなし効果が断然高められ、また、もてなし音が遠方まで及んで迷惑になるようなこともない。
この場合、音楽や出迎えの言葉を音声出力部から出力すれば、ユーザーの精神状態の向上ないし改善に寄与するが、これとは違うテーマ(あるいはジャンル)のもてなし動作として、出発前の注意確認事項を促すメッセージを音声出力する方法もある。これにより、同じ接近シーンであっても、ユーザーが注意確認を怠った場合の、不測の事態を防止する、という別の目的を達成することができる。例えば、注意確認事項を促すメッセージは、例えば忘れ物や戸締りなどの確認を促すメッセージとすることができるが、これに限られるものではない。
また、運転/滞在シーンにおいては、自動車に搭載されたエアコンをもてなし動作部として定めることができる。特に、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得するユーザー生体特性情報取得手段を設ける構成の場合、もてなし内容決定手段は、取得されたユーザー性格情報又は精神/体調情報の内容に応じて、エアコンの設定温度を変化させるものとして構成できる。これにより、ユーザーの気持ちを汲んだ、より人間的で優しいエアコン調整制御が実現する。同様に、運転/滞在シーンにおいて、自動車に搭載されたカーオーディオシステムをもてなし動作部として定めることができる。この場合、もてなし内容決定手段は、取得されたユーザー性格情報又は精神/体調情報の内容に応じて、カーオーディオシステムから出力する音楽ソースの選曲内容を変化させるものとすることができる。これにより、気分や性格に応じて、ユーザーが欲する音楽ソースが自動的に選ばれ、演奏出力されるので、運転ないし車内滞在中のユーザーをタイムリーに喜ばせることができる。
次に、より細分化されたシーン設定として、シーン特定手段は、ユーザーが自動車へ接近する接近シーンと、ユーザーが該自動車へ乗り込む乗り込みシーンと、ユーザーが該自動車内にて運転又は滞在する運転/滞在シーンと、ユーザーが自動車から降車する降車シーンとを、時系列的にこの順序で特定するものとすることができる。もてなし内容決定手段は、これら各シーンに対し、使用するもてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定めるものとすることができる。この態様では、前述の構成に、新たに、乗り込みシーンと降車シーンとが追加される。これらの各シーンは、時間的に短いが、ドアの開閉や荷物の積み下ろし動作、あるいはドアの開閉に際した障害物や往来危険などに関する配慮など、体力的あるいは心理的に負担の大きい動作が関与する特徴があり、これを補佐する形で、これらのシーンにも独自のもてなし動作を設定すれば、メインとなる運転/滞在シーンの前後におけるユーザーのフォローアップをより確実に行なうことができ、また、自動車からユーザーが受けるもてなし内容に、より一貫性及び連続性がもたらされるので、ユーザーの感ずる満足感は一層大きくなる。具体例として、例えば、乗り込みシーン及び降車シーンにおいてもてなし動作部は、自動車に設けられたドアの自動開閉装置又は開閉アシスト機構とすることができ、該自動開閉装置又は開閉アシスト機構を、ユーザーの乗り込み補助のために動作させることがもてなし動作の内容として定めることができる。また、開閉アシスト機構を設ける場合は、特にドアを開く際に車外の障害物を検知し、当該障害物とドアとの干渉を回避するための、ドアの開操作を抑制するドア開抑制手段を設けておくことができる。
なお、ユーザーが降車した後にも、ユーザーが自動車から離間する離間シーンなど、さらに別のシーンを付け加えることも可能であり、対応したもてなし動作を行なうことができる。
ユーザー生体特性情報取得手段は、ユーザー生体特性情報として、ユーザーの性格を特定するユーザー性格特定情報を取得するものとして構成できる。この場合、ユーザー性格特定情報が個々に特定するユーザーの性格種別と対応付けた形で、もてなし動作部の動作内容を規定するもてなし動作情報を記憶したもてなし動作情報記憶部を設けることができる。そして、もてなし制御部は、取得されたユーザー性格特定情報が特定する性格種別に対応したもてなし動作情報をもてなし動作情報記憶部から読み出し、これに基づいてもてなし動作部の動作制御を司るものとして構成できる。
上記の構成によると、ユーザーの性格を分類し、その種別に応じて、例えば当該性格種別のユーザーに適合するもてなし動作の内容を個別に定める。他方、自動車側では、ユーザー生体特性情報取得手段が取得したユーザー性格特定情報により、現在自動車を使用しているユーザーの性格を特定し、これに対応するもてなし動作を選んで実行する。これにより、ユーザーの性格にマッチした内容のもてなし動作を実施することができ、性格の異なるユーザーであっても、それぞれ固有のもてなし内容にて適確に満足させることができる。
もてなし動作部は、例えば自動車内に設置されたカーオーディオシステムとすることができる。この場合、もてなし動作情報記憶部は、カーオーディオシステムにて再生させるべき複数の音楽ソースデータを記憶するとともに、個々の音楽ソースデータがユーザー性格種別と一義的に対応付けられた形で分類されてなる音楽ソースデータベースとすることができる。そして、もてなし制御部は、取得されたユーザー性格特定情報が特定する性格種別に対応した音楽ソースデータを音楽ソースデータベースから読み出し、カーオーディオシステムにてこれを再生させるものとして構成する。音楽ソースデータベースにて、再生すべき音楽ソースを、予め定められたユーザー性格種別と対応付けて分類しておき、取得・決定されたユーザー性格種別に対応する音楽ソースをカーオーディオシステムにて再生することで、その性格のユーザーが好む音楽を適確に提供でき、運転中あるいは車内滞在中のユーザーを楽しませることができる。また、膨大なデータベースから自分にあった音楽を選曲する手間のかなりの部分を省くことができ、ユーザーを煩わせることがない。
上記カーオーディオシステムには、当然、ユーザーが操作する選曲部も設けておくことができ、該選曲部にて選曲された音楽ソースデータを再生に供することができる。ここで、上記のごとく音楽ソースデータがユーザー性格種別と対応付けて分類されていれば、これを利用する形でユーザーがどのような音楽を志向するかに応じ、そのユーザーの性格種別を特定することが可能となる。具体的には、ユーザーによる選曲実績を、個々の音楽ソースデータに対応付けられた性格種別とともに記憶する選曲実績記憶部を設けておき、ユーザー生体特性情報取得手段は、記憶された選曲実績における性格種別の情報に基づいてユーザー性格特定情報を取得するものとする。選曲された音楽ソースのうち、どの性格種別に属するものが最も多いかに基づいて、そのユーザーの性格を適確に特定することができる。
次に、もてなし動作部は、自動車の室内又は該自動車の外観を照らし出す照明装置とすることができる。もてなし制御部は、ユーザー生体特性情報の内容に応じて、照明装置による照明光の色調及び照明形態の少なくともいずれかを変化させるものとして構成できる。ユーザーの性格、精神状態あるいは体調に応じて、照明の動作形態を変化させることにより、ユーザーの心を視覚的に和ませることができ、また、精神状態や体調に応じてより気分を高揚させたり、あるいは逆に、高ぶりすぎたり疲れたりしたユーザーをいやす、といったことも可能となる。
例えば、もてなし制御部は、ユーザーが自動車へ乗り込むために接近する際に、取得されたユーザー生体特性情報に応じて異なる内容にて照明装置を動作させるものとすることができる。この態様によると、自動車は、ユーザーの性格、精神状態あるいは体調に応じて、接近してくるユーザーのいわば「出迎え」の形態を適切に変化させ、ひいては、これから運転に望むユーザーの気分を盛り上げたり、あるいは逆に落ち着かせたりすることができるようになる。
次に、本発明の自動車用もてなしシステムには、ユーザーの体の状態を検出する体状態検出部を設けることができる。また、ユーザー生体特性情報取得手段は、該体状態検出部の検出情報に基づいて、ユーザーの精神状態及び体調を反映した精神/体調情報を取得するものとすることができ、もてなし制御部は、もてなし動作部の動作内容を、取得された精神/体調情報の内容に応じて変化させるものとすることができる。精神状態が高揚していたり、逆に落ち込んでいたりすると、それはユーザーの体に何らかの生体反応となって表れる。また、体調不良や疲れなどがある場合も同様である。そこで、体状態検出部によりその生体反応を捉え、その検出情報からユーザーの精神状態や体調を推定し、これに適合した形態でもてなし動作を行なうことで、ユーザーの気分をよい方向に盛り上げたり、あるいは転換させることができ、ひいては自動車の利用をより快適なものとすることができ、ユーザーが運転者の場合は、安全運転にも寄与することができる。
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図1は、本発明の一実施形態を示す自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の概念ブロック図である。該システム100は、種々のもてなし動作部502〜517,534,541,1001Bが接続された第一のコンピュータからなるもてなし実行制御部3と、種々のセンサ・カメラ群518〜528が接続された第二のコンピュータからなるもてなし意思決定部2とからなる自動車側搭載部100Aを、その要部として構成されている。第一のコンピュータと第二のコンピュータは、いずれもCPU,ROM,RAMを備え、ROMに格納された制御ソフトウェアを、RAMをワークメモリとして実行することにより、後述の種々の機能を実現する。
上記システム100においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、、もてなし動作部502〜517,534,541,1001Bが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン502、ブザー503が接続されている。また、照明装置(ランプ類)としては、ヘッドランプ504(ビームをハイとローとで切り替え可)、フォグランプ505、ハザードランプ506、テールランプ507、コーナリングランプ508、バックアップランプ509、ストップランプ510、室内照明511及び床下ランプ512が接続されている。また、他のもてなし動作部として、エアコン514、カーオーディオシステム(カーステレオ)515、電動シート516及びサイドミラーやバックミラーなどの角度調整用の駆動部517、カーナビゲーションシステム534、ドア開閉用のアシスト機構(以下、ドアアシスト機構という)541及び車内騒音低減用のノイズキャンセラ1001Bが接続されている。
図16は、室内照明511の構成例を示すもので、各々固有の照明色からなる複数の照明部(本実施形態では、赤色系照明511r、アンバー系照明511u、黄色系照明511y、白色系照明511w及び青色系照明511bからなる)を有する。これらの照明は、もてなし意思決定部2からもてなし実行制御部3を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。図19は、ユーザーの性格種別に応じて定められた点灯制御データの構成例を示すもので、もてなし意思決定部2のROMに記憶され、制御ソフトウェアにより随時読み出されて使用される。例えば、活動的な性格(SKC1(図18参照))に対しては、赤色系照明511rを選んでこれをフラッシュ点灯(最初のみ、その後連続点灯)させ、おとなしい性格(SKC2)に対しては、アンバー系照明511uを選んでフェードイン点灯させる、などであるが、これはほんの一例である。
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤色系(R)、緑色系(G)、青色系(B)の3原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。図39は、その回路構成の一例を示すもので、赤色系(R)、緑色系(G)、青色系(B)の各発光ダイオード401が電源(Vs)に接続され、各々トランジスタ402でスイッチング駆動される。このスイッチングは、コンパレータ403に入力される三角波(のこぎり波でもよい)の周期と、指令信号の電圧レベルとによって定まるデューティ比によりPWM制御される。各色の発光ダイオード401への指令信号の入力波形は、各々独立に変更可能であり、3つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオード401の発光強度は、上記のようにPWM制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとPWM制御とを組み合わせた方式も可能である。
図17は、カーオーディオシステム515の構成例を示すもので、もてなし意思決定部2からもてなし実行制御部3を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部515aを有する。インターフェース部515aには、デジタルオーディオ制御部515e、多数の音楽ソースデータを格納した音楽ソースデータベース515b,515c(前者はMPEG3データベース、後者はMIDIデータベース)が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部515aを経てオーディオ制御部に送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部515fでアナログ変換された後、プリアンプ515g及びパワーアンプ515hを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカ515jから出力される。
図40は、ドアアシスト機構541の概要を示すものである。自動車1100には、乗降用のスイング式ドア(以下、単に「ドア」ともいう)1101が、乗降口1102の一縁にドア旋回軸1103を介して取り付けられている。ドア1101は、手動操作により乗降口1102を閉塞する閉塞位置から任意の角度位置へ開放可能とされている。そして、この手動によるドア開操作が、モータ(アクチュエータ)1010によりパワーアシストされる。本実施形態では、ドア101とともに回動するドア旋回軸103に対し、モータ10の回転出力を、減速ギア機構RGを介してトルクアップしつつ、旋回軸103にドア開閉アシストの回転駆動力として直接伝達するようにしている。
図41は、ドアアシスト機構541の回路図の一例である。ドアアシスト機構541は、ドアの開操作時に、該ドアと干渉する車外の障害物を検出する障害物検出手段を有し、また、アクチュエータ制御手段は、障害物が検出されていない場合には、ドア開操作時において、アクチュエータによりドア開方向の正アシスト力が生ずる通常アシストモードとなり、障害物検出手段が障害物を検出した場合には、ドア開操作時において、ドアが乗降口を塞ぐ閉位置から障害物に衝突する衝突位置に至るドア旋回区間の少なくとも途中位置まではドアの開操作を可能としつつ、障害物とドアとの衝突は抑制される衝突抑制モードとなるように、アクチュエータによるドアアシストを制御するものとして構成される。
アクチュエータは正逆両方向に回転可能なモータ1010であり、本実施形態ではDCモータにより構成されている(もちろん、インダクションモータ、ブラシレスモータ、ステッピングモータなど、他の種類のモータを用いてもよい)。アクチュエータ制御手段は、正アシストモードではモータを正方向に回転させ、逆アシストモードではモータ1010を逆方向に回転させるものであり、本実施形態では、プッシュプルトランジスタ回路を用いた双方向リニア制御型のモータドライバ1007がアクチュエータ制御手段を構成している。
モータドライバ1007は、具体的には、正電源(電圧Vcc)に接続された正方向駆動用トランジスタ1073と、負電源(電圧−Vcc)に接続された逆方向駆動用トランジスタ1074とをその要部として構成され、両トランジスタ1073,1074の各ベース端子には、駆動指示電圧Vが抵抗1071により電圧調整されて入力される。抵抗1072は増幅用のフィードバック抵抗であり、両トランジスタ1073,1074のコレクタ/エミッタ間電流の一部を電圧変換して各トランジスタのベースに戻す。これにより、Vが正の時は正方向駆動用トランジスタ1073が、Vが負の時は逆方向駆動用トランジスタ1074が、それぞれVに比例した電流をモータ10に流す。従って、Vが正の時にモータ1010が正方向に回転する正アシストモードとなり、Vが負の時にモータ1010が逆方向に回転する逆アシストモードとなる。また、アシスト力は、Vに応じたモータ電流によって定まることとなる。なお、駆動用トランジスタ1073,1074には、それぞれ過電流保護用のトランジスタ1073t,1074tが設けられている。また、符号1073R,1074Rは過電流の検出抵抗であり、符号1073D,1074Dはフライバックダイオードである。
ドアアシスト機構541には、ドア1101の操作力を検出する操作力検出手段1002が設けられ、図43に状態(A)及び状態(B)として示すように、アクチュエータ制御手段により、正アシストモードにおいて、操作力検出手段2が検出するドア操作力が小さくなるほど、正アシスト力が大きくなるようにアクチュエータ10の動作を制御する。つまり、力の弱い人がドア101を開こうとする場合は、モータ10による正アシスト力が強く作用して楽にドア101を開くことができる。他方、力の強い人が強くドアを開こうとする場合は、正アシスト力は比較的弱く働くことになる。例えば、外部からの操作力によるドア開トルクと正アシスト力によるドア開トルクとの合計がほぼ一定になるように制御すれば、誰が操作してもドア101をほぼ一定の標準トルクで開くことができる。
図41の回路においては、上記の機能を次のようにして実現している。操作力検出手段1002は、図40に示すようにドア旋回軸1103に設けられたトルクセンサ1002であり、ドア開の操作力が強く作用するほどドア旋回軸1103に生ずるねじれトルクが大きく現れ、トルクセンサ1002の出力電圧が増加する。なお、トルクセンサ1002の出力電圧はドア開操作時に正となり、ドア閉操作時には負となるので、電圧の符号によりトルクの向きも検出可能である。本実施形態では、トルクセンサ1002の出力電圧を非反転増幅器1003により増幅し、電圧フォロワ1004を経てトルク検出電圧Vstとして出力している。
上記のトルク検出電圧Vstは差動増幅回路1005に入力される。差動増幅回路1005は、トルク検出電圧Vstを参照電圧Vref1と比較して、その差分ΔV(=Vref1−Vst)を一定のゲインにて増幅し、モータ1010に対する駆動指示電圧Vとして出力する。ドア1101の開操作を開始すると、トルク検出電圧Vstは最初小さいからΔVは大きくなり、モータ1010の出力電流も大きくなって、大きな正アシスト力が働く。この正アシスト力によるトルクは、外部操作力によるトルクとともにドア旋回軸1103に重畳するから、トルク検出電圧Vstは正アシスト力による寄与分だけ増加する。すると、ΔVは小さくなってΔVは減少する。つまり、正アシスト力によるトルクがドア旋回軸1103へ戻されることで、外部操作力と正アシスト力との合計トルクがトルク検出電圧Vstに反映され、これがVref1に近づくように、モータ1010によるドアアシスト駆動がフィードバック制御されることになるのである。その結果、力の弱い人の場合は、外部操作力による寄与が少なくなる分だけアシストモータ電流(つまり、アシストトルクAT)は大きく維持され、逆に力の強い人の場合は、アシストモータ電流は小さく維持されることとなる。
なお、ドア1101は、周知のごとく、車外側操作ノブ1104E及び車内側操作ノブ1104のいずれによっても開閉操作が可能であり、ロックボタン1104を倒すと、図2に示す周知のドアロック機構1320により、ノブ1104E,1104によるドア開閉操作が不能となる。このドアロック機構1320がロック状態になったときはドアロック信号DRSが出力され、これがモータ1010の停止制御に用いられるようになっている。本実施形態では、ドアロック信号DRSを受けたスイッチ21が、参照電圧Vref1を差動増幅回路5から切り離すとともに、差動増幅回路5の反転入力端子と非反転入力端子とを短絡させ、差動入力ΔVひいてはモータ1010への駆動指示電圧Vを強制的にゼロにして、モータ1010を駆動停止するようにしている。
また、図41の回路では、トルク検出電圧Vstの符号が負になった場合にアシスト制御信号SK1を出力するコンパレータ1020を設けている。スイッチ1021の制御端子には、ゲート1021aを介してドアロック信号DRSとアシスト禁止信号SK1との論理和が入力され、アシスト制御信号SK1が検出された場合にもアシストシステムSYS1のモータ1010が停止制御されるようになっている。
また、ドア1101の開操作時に、該ドア1101と干渉する車外の障害物を検出する障害物検出手段が設けられている。障害物検出手段は、ドア1101の側面に対向して存在する障害物を検出するものを採用できる。このようにすると、ドア1101が開いていく方向に存在する障害物を適確に検出することができる。このような障害物検出手段として、例えば周知の近接スイッチ、反射式光学センサ(赤外線式を含む)あるいは超音波センサなどの障害物センサ1050を採用できる。
障害物センサ1050の検知出力はコンパレータ1051にて閾値と比較され、障害物の検知の有無を表す信号を二値的に出力する。ドア1101を内側から開けてゆき、障害物センサ1050にこれが検知されると、その障害物検知したときのドア1101の角度位置が限界角度位置となって、障害物ありを意味する検知信号SI’が出力され、これを受けたドアアシスト制御手段側で、それ以降のドア開操作が妨げられる制御が行われる。本実施形態では、ドア1101が限界角度位置に到達したとき、該ドアの以降の旋回を阻止する障害物用ドア旋回ロック機構1300が、ドアアシスト制御手段の一部をなすものとして設けられている。
図42は、そのロック機構1300のロック部の構成例を示すものである。ロック部の要部は、ドア1101の旋回軸1103に設けられたドア側係合部(本実施形態では雄スプライン)1312と、車体側に固定され、該ドア側係合部1312に対し旋回軸1103の旋回角度に応じた任意の角度位相にて着脱可能に係合し、係合状態の角度位相にて旋回軸1103の旋回をロックする車体側係合部(本実施形態では雌スプライン)1313とを有する。車体側係合部1313は、旋回軸1103の軸線方向においてドア側係合部1312に対し接近・離間可能に設けられ、接近時に車体側係合部1313とロック係合状態となり、離間時にロック解除となる。本実施形態においては、この接近・離間機構を周知のソレノイド機構(シリンダ機構等でもよい)にて構成している。車体側係合部1313は、ばね受け部1314を有した駆動軸1314の先端に取り付けられ、この駆動軸1031が、ケース1300C内に収容されたソレノイド1301により軸線方向に進退駆動されるソレノイド1301を付勢すると、駆動軸1031が飛び出し、車体側係合部1313がドア側係合部1312に係合する。他方、ソレノイドを付勢解除すると、ばね受け部1314と係合するバイアスばね1310が弾性復帰して、駆動軸1031が引っ込んで車体側係合部1313とドア側係合部1312とが係合解除される。
図41に示すように、障害物の検知信号SI’が出力されると、駆動スイッチ(トランジスタ:符号1302は保護用のフライバックダイオード)1303がオンとなり、ソレノイド1301が付勢されて、図42の車体側係合部1313とドア側係合部1312とが係合する。この時点でドア1101は、車外の不定位置にある障害物のそばまで近づいており、車体側係合部1313とドア側係合部1312とは、障害物検知されたときの角度位相でスプライン係合し、その角度でロックされることとなる。つまり、障害物検出手段が障害物を検出したときのドア角度位置に応じて(つまり、障害物の位置に応じて)、限界角度位置が可変に定まる。これにより、自動車に対する障害物の相対距離に関係なく、開操作によりドアが近づいてくれば、障害物に当たらないようにドア開操作が妨げられる。このとき、モータ1010による正アシスト力が生じていてもドア1101の開操作は妨げられるから、衝突抑制モードとなるように、アクチュエータによるドアアシストが制御されていることが明らかである。
なお、外部ドア操作信号EDSが、車外側からドアが操作された状態を示しているときは、障害物センサ1050の検出出力によらず、ドアアシスト抑制の制御機構(ここでは、障害物用ドア旋回ロック機構1300)の動作が制限されるようになっている。具体的には、コンパレータ1051により二値化された障害物センサ1050の検知信号SI’と、同じく二値の外部ドア操作信号EDS(ドアが外部から操作されたときは、検知信号SIと逆符号となる)との、ゲート1051aによる論理積出力SIを、前述のアナログスイッチ1053の駆動信号として用いることにより、この機能を実現している。
なお、ユーザーが接近した場合に、ユーザー側のドア開閉操作があくまで前提となるアシスト機構に代え、乗降に際してユーザー側の開閉操作が不要なドア自動開閉機構を採用してもよい。また、上記スイング式ドアを採用する態様に代え、周知の電動自動開閉機構ないしアシスト機構を備えた電動スライド式ドアを採用することも可能である。
図44は、ノイズキャンセラ2001Bの一構成例を示す機能ブロック図である。該ノイズキャンセラ2001Bの要部は、騒音抑制手段をなす能動的騒音制御機構本体2010と、必要音強調部(手段)2050とを含む。能動的騒音制御機構2010は、車内に侵入する騒音を検出する車内騒音検出マイク(ノイズ検知マイク)2011と、車内騒音検出マイク2011が検出する騒音波形と逆位相の騒音制御用波形を合成する騒音制御用波形合成部(制御音発生部)2015とを有する。騒音制御用波形は騒音制御用スピーカ2018から出力される。また、騒音制御用音波が重畳後の車内音に含まれる消し残し騒音成分を検出するエラー検出マイク2012と、消し残し騒音のレベルが縮小する方向にフィルタ係数が調整される適応フィルタ2014も設けられている。
車両自身に音源を有する車内騒音としては、エンジン音、路面音、風切り音などがあり、車内騒音検出マイク2011は、複数個のものが、個別の車内騒音の検知に適した位置に分散配置されている。車内騒音検出マイク2011は、搭乗者Jから見てそれぞれ違う位置にあり、マイク2011が拾う位置での騒音波形と、搭乗者Jが実際に聞く騒音波形との間には少なからぬ位相差がある。そこで、この位相差を合せこむために、車内騒音検出マイク2011の検知波形は適宜、位相調整部2013を介して制御音発生部2015に与えられる。
次に、必要音強調部2050は、強調音検知マイク2051及び必要音抽出フィルタ2053を含んで構成され、その必要音の抽出波形が制御音発生部2015に与えられる。ここでも、車内騒音検出マイク2011と同様の事情により、位相調整部2052が適宜設けられる。強調音検知マイク2051は、車外の必要音を取り込むための車外用マイク2051(E)と、車内の必要音を取り込むための車内用マイク2051(I)とからなる。いずれも周知の指向性マイクにて構成でき、車外用は、音検知の指向性の強い角度域が車外方向を向き、指向性の弱い角度域が車内方向を向くように取り付けられている。本実施形態では、マイク2051の全体が車外に出るように取り付けられているが、指向性の弱い角度域が車内側に位置し、指向性の強い角度域のみが車外に出るように、車内と車外とにまたがって取り付けることも可能である。他方、車内用マイク2051(I)は、各座席に対応して、搭乗者の会話音を選択的に検知できるよう、音検知の指向性の強い角度域が搭乗者の正面側を向き、指向性の弱い角度域が反対方向を向くように取り付けられる。これら強調音検知マイク2051は、いずれも、その入力波形(検出波形)のうち必要音成分を優先的に通過させる必要音抽出フィルタ2053に接続されている。なお、図1のカーオーディオシステム515のオーディオ入力が車内必要音音源2019として利用されるようになっている。このオーディオ機器のスピーカ出力音(スピーカは騒音制御用スピーカ2018と兼用してもよいし、別途設けてもよい)は、騒音制御用波形が重畳されても相殺されないように制御される。
図45は、図44の機能ブロック図に対応したハードウェアブロック図の一例を示すものである。第一DSP(Digital Signal Processor)2100は騒音制御用波形合成部(制御音発生部)2015及び適応フィルタ2014(さらには位相調整部2013)を構成するものであり、車内騒音検出マイク2011がマイクアンプ2101及びA/D変換器2102を介して、また、騒音制御用スピーカ2018がD/A変換器2103及びアンプ2104を介してそれぞれ接続されている。他方、第二DSP2200は、抑制すべき騒音成分の抽出部を構成するものであり、車内騒音検出マイク2011がマイクアンプ2101及びA/D変換器2102を介して、また、オーディオ入力など抑制対象外の音声信号源、すなわち必要音音源2019がA/D変換器2102を介してそれぞれ接続されている。
必要音強調部2050は、必要音抽出フィルタ2053として機能する第三DSP2300を有し、必要音検知マイク(強調音検知マイク)2051がマイクアンプ2101及びA/D変換器2102を介して接続されている。そして、第三DSP2300はデジタル適応フィルタとして機能する。以下、フィルタ係数の設定処理について説明する。
緊急車両(救急車、消防車、パトカーなど)のサイレン音、踏み切り警報器音、後続車のクラクション音、ホイッスル音、人間の叫び声(子供の泣き声や女性の叫び声など)を、注意ないし危険認識すべき必要車外音(強調音)として定め、それらのサンプル音をディスク等に記録して、読み取り再生可能な参照強調音データとしてライブラリー化しておく。また、会話音については、複数人の個別のモデル音声を、同様に参照強調音データとしてライブラリー化しておく。なお、自動車への搭乗候補者が固定的に定められている場合には、モデル音声を、そのモデル音声自身の発声による参照強調音データとして用意しておけば、その搭乗候補者が乗車した場合の会話音の強調精度を高めることができる。
そして、フィルタ係数に適当な初期値を与え、強調音検知マイク2051による強調音検出レベルを初期値に設定する。次いで、各参照強調音を読み出して出力し、強調音検知マイク2051により検出する。そして、適応フィルタの通過波形を読み取り、参照強調音として通過できた波形のレベルを測定する。この検知レベルが目標値に達るまで上記の処理を繰り返す。このようにして、車外音及び車内音(会話音)の双方について、参照強調音を次々と取り替えて、通過波形の検知レベルが最適化されるよう、フィルタ係数を学習処理させる。上記のようにフィルタ係数が調整された必要音抽出フィルタ2053により、強調音検知マイク2051からの入力波形から必要音を抽出し、その抽出強調音波形を第二DSP2200に転送する。第二DSP2200は、車内騒音検出マイク2011の検知波形から、必要音音源(ここではオーディオ出力)2019からの入力波形と、第三DSP2300からの抽出強調音波形を差分演算する。
第一DSP2100に組み込まれるデジタル適応フィルタのフィルタ係数は、システムの使用に先立って初期化が行われる。まず、抑制対象となる種々の騒音を定め、それらのサンプル音をディスク等に録音して、再生可能な参照騒音としてライブラリー化しておく。そして、フィルタ係数に適当な初期値を与え、エラー検出マイク2012による消し残し騒音レベルを初期値に設定する。次いで、参照騒音を順次読み出して出力し、車内騒音検出マイク2011により検出する。適応フィルタを通過した車内騒音検出マイク2011の検出波形を読み取り、これを高速フーリエ変換することにより、騒音検出波形を、各々波長の異なる正弦波素波に分解する。そして、各正弦波素波の位相を反転させた反転素波を生成し、これを再度合成することにより、騒音検出波形と逆位相の騒音制御用波形が得られる。これを騒音制御用スピーカ2018から出力する。
適応フィルタの係数が適性に定められていれば、車内騒音検出マイク2011の波形からは騒音成分だけが効率良く抽出されているはずなので、これに基づいて逆相合成された騒音制御用波形により車内騒音を過不足なく相殺することができる。しかし、フィルタ係数の設定が適性でなければ相殺されない波形成分が消し残し騒音成分となって生ずる。これは、エラー検出マイク2012により検出される。消し残し騒音成分のレベルは目標値と比較され、目標値以下になっていなければフィルタ係数を更新し、これが目標値以下になるまで同様の処理を繰り返す。このようにして、参照騒音を次々と取り替えて、消し残し騒音成分が最小化されるよう、フィルタ係数を学習処理させる。そして、実使用時には、消し残し騒音成分を定常的にモニタリングし、常時これが最小化されるようにフィルタ係数をリアルタイム更新しつつ、上記と同様の処理を行なうことで、必要な音波成分を残しつつ、車内の騒音レベルのみを効果的に低減することができる。
次に、ユーザー側端末装置1は、本実施形態では図14に示すような携帯電話として構成されている(以下、「携帯電話1」ともいう)。携帯電話1は、液晶ディスプレイ等で構成されたモニター308、キーボードからなる入力部305、送話器304及び受話器303等を備えている。また、その側面には脈拍センサ(心拍センサ)342も設けられている。
図15は、携帯電話1の電気的構成の一例を示すブロック図である。回路の要部は、入出力部1311と、これに接続されたCPU312、ROM314、RAM313等からなる制御部310を含む。入出力部1311には、入力部305、オンフック/オフフック切換スイッチ306が接続される。また、受話器303はアンプ315とD/A変換器316を介して、送話器304はアンプ317とA/D変換器318を介して、それぞれ入出力部1311に接続されている。さらに、入出力部1311には、携帯電話1の位置情報を取得するための周知のGPS554が接続されている。
本実施形態では、ユーザー側端末装置1と自動車との距離及び方位関係を把握するために、自動車側のGPS533(図1)に加えてユーザー側端末装置1にもGPS554を設けることで、ユーザー側端末装置1が自立的にその位置情報を取得できるようにしておき、その端末位置情報を、無線通信網を介して自動車側に送信する方式を採用している。これにより、自動車側では、自身に接続されたGPS533による正確な自動車位置と、ユーザー側端末装置1から受信したGPS554による正確な端末位置との双方を取得でき、ユーザー側端末装置1と自動車との距離及び方位関係を極めて正確に把握することができる。また、ユーザー側端末装置1と自動車との距離変化や接近方向変化も事実上リアルタイムに把握できる。
図15に戻り、携帯電話1の入出力部1311には通信装置323が接続されている。通信装置323は、制御部310と接続するための接続インターフェース331と、これに接続された変調器332、送信器333、周波数シンセサイザ334、受信器335、復調器336及び共用器337等により構成されている。制御部310からのデータ信号は変調器332により変調され、さらに送信器333により共用器337を介してアンテナ339から送信される。一方、受信電波はアンテナ339及び共用器337を介して受信器335により受信され、復調器336で復調された後、制御部310のI/Оポート1311に入力される。なお、通話を行なう場合は、例えば送話器304から入力された音声信号がアンプ317で増幅され、さらにA/D変換器318によりデジタル変換されて制御部310に入力される。該信号は、必要に応じて制御部310にて加工された後、D/A変換器316及びアンプ315を介して受話器303から出力される。
一方、接続インターフェース331には、制御用電波を発信する制御用電波発信器338がつながれている。制御用電波は共用器337を介してアンテナ339から発信される。そして、携帯電話1が別の通信ゾーン102に移動した場合、網側の無線回線制御局が制御用電波Pの受信状況に基づいて、周知のハンドオーバ処理を行なう。
次に、携帯電話1には、着信音出力や音楽演奏のために、次のような機能が設けられている。すなわち、無線受信によりダウンロードした着信音データや音楽データ(MPEG3データあるいはMIDIデータ:着信音としても使用される)が、音データ用フラッシュROM316に格納される。MIDIデータの場合、MIDIコードに従い音色、音高、音長及びテンポ等が記述された楽音データが楽音合成部307に送られる。楽音合成部307では、その楽音データをバッファリングしつつ、音源として機能する波形ROM358から、指定された音色の波形データを読み出し、MIDIコードの規定する音高となるように周波数変換して、規定されたテンポに従い順次これをデジタル波形データとして出力する。出力されたデジタル波形データは、アナログ変換回路309及びアンプ350を経てスピーカ311から出力される。なお、MPEG3等の圧縮波形データからなる音データの場合は、デコード処理を経てアナログ変換回路309及びアンプ350を経てスピーカ311から出力される。なお、本実施形態では、楽音合成部307による音声出力のタイミング情報がシーケンサ352に入力され、PMWユニット353を経てバイブレータユニット354及びLEDユニット315を音楽と同期駆動し、携帯電話1での音出力によるもてなし効果を、振動及びLED発光と組み合わせてさらに高める工夫がなされている。
次に、もてなし意思決定部2には、次のようなセンサ・カメラ群が接続されている。これらの一部はシーン推定情報取得手段として機能し、また、ユーザー生体特性情報取得手段として機能するものである。
・車外用カメラ518:自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。ユーザーを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・赤外線センサ519:自動車に乗車したユーザーの顔部分からの放射赤外線に基づき、サーモグラフィーを撮影する。体状態検出部である体温測定部として機能する。
・着座センサ520:ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。このほか、シートに着座したユーザーを撮影するカメラにより着座センサを構成することもできる。この方法であると、シートに荷物など、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、例えば人が着座した場合にだけもてなし動作を行なう、といった選択制御も可能となる。また、カメラを用いれば、着座したユーザーの動作を検出することも可能であり、検出情報をより多様化することができる。なお、シート上でのユーザーの動作を検出するには、シートに装着した感圧センサを用いる方法もある。
・顔カメラ521:着座したユーザーの顔の表情を撮影する。もてなし制御に使用するユーザー生体特性情報の取得源(体状態検出部)としての機能以外に、バイオメトリックスによるユーザーの本人認証用にも使用される。また、目のアイリスの向きを拡大検出することで、顔や視線の方向を特定することもできる(例えば、やたらに時計の方向を見る場合は、「時間を気にして焦っている」と判定するなど)。
・マイクロフォン522:ユーザーの声を検出する。これも、体状態検出部として機能させうる。
・感圧センサ523:自動車のハンドルやシフトレバーの、ユーザーによる把握位置に取り付けられ、ユーザーの握り力や、握ったり放したりの繰り返し頻度などを検出する(体状態検出部)。
・脈拍センサ524:脈拍を反映した血液流を反射検知する反射式光センサ等で構成され、自動車のハンドルのユーザー把握位置に取り付けられる(体状態検出部)。
・体温センサ525:自動車のハンドルのユーザー把握位置に取り付けられた温度センサからなる(体状態検出部)。
・網膜カメラ526:ユーザーの網膜パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・アイリスカメラ527:ユーザーのアイリス(虹彩)の画像を撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。アイリスの画像を用いる場合、その模様や色の個人性を利用して照合・認証を行なう。特にアイリス模様は後天的形成要素であり、遺伝的影響度も低いので一卵性双生児でも顕著な相違があり、確実に識別できる利点がある。アイリス模様を用いた認証方式は、認識・照合を迅速に行なうことができ、他人誤認率も低い特徴がある。
・静脈カメラ528:ユーザーの静脈パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・ドアカーテシスイッチ537:ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
また、もてなし意思決定部2には、エンジン始動を検知するためのイグニッションスイッチ538の出力も分岐入力されている。また、車内の明るさレベルを検出する照度センサ539、車内の音響レベルを測定する音圧センサ540も、もてなし意思決定部2に同様に接続されている。
また、もてなし意思決定部2には、タッチパネル(カーナビゲーションシステム534のモニターに重ねられたタッチパネルで兼用してもよい:この場合は、入力情報はもてなし実行制御部3からもてなし意思決定部2に転送される)等で構成された入力部529と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置535とが接続されている。
他方、もてなし実行制御部3には、車両位置情報を取得するためのGPS533(カーナビゲーションシステム534においても使用する)、ブレーキセンサ530、車速センサ531及び加速度センサ532も接続されている。
もてなし意思決定部2は、センサ・カメラ群518〜528の1又は2以上のものの検出情報から、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部3に指令する。もてなし実行制御部3は、これを受けて、対応するもてなし動作部502〜517,534,541,1001Bにもてなし動作を実行させる。すなわち、もてなし意思決定部2ともてなし実行制御部3とが互いに協働して、取得されたユーザー生体特性情報の内容に応じてもてなし動作部502〜517,534,541,1001Bの動作内容を変化させる機能を実現する。もてなし実行制御部3には、自動車側通信手段(ホスト側通信手段)をなす無線通信装置4が接続されている。該無線通信装置4は、自動車のユーザーが携帯するユーザー側端末装置(携帯電話)1と、無線通信網1170(図15)を介して通信する。
一方、カーオーディオシステム515には、ユーザーが手動で操作する操作部515dが設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部515dからのボリューム/トーンコントロール信号は、プリアンプ515gへ入力される。この選曲データは、インターフェース部515aから、図1のもてなし実行制御部3を経てもてなし意思決定部2へ転送され、これに接続された記憶装置535に選曲実績データとして蓄積される。その蓄積内容に基づいて、後述のユーザ−性格判定処理が行われる(つまり、カーオーディオシステム515の操作部515dは、ユーザー生体特性情報取得手段の機能を構成しているといえる)。
図18は、上記音楽ソースデータのデータベース構造の一例を示すもので、曲ID、曲名及びジャンルコードと対応付ける形で音楽ソースデータ(MPEG3又はMIDI)が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格種別コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中点」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格種別コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。
図1のもてなし意思決定部2のROMには、図2に示すように、シーン別のもてなし内容を記憶するもてなし意思決定テーブル360が記憶されている。シーンは、本実施形態では、接近シーンSCN1、乗り込みシーンSCN2、準備シーンSCN3、運転/滞在シーンSCN4、降車シーンSCN5及び離脱シーンSCN6が、時系列的にこの順序で設定されている。また、各シーンには、次の5つのもてなしジャンル(ST)が設定され、それぞれ1又は2以上のもてなしテーマ(OBJ)が設定されている。
接近シーンの特定は、後述するごとく、ユーザー側のGPS554と、自動車側のGPS553とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することで行なう。乗り込みシーンと降車シーンとは、ドアカーテシスイッチ537のドア開検知出力に基づいて特定する。ただし、単にドア開の情報だけでは乗り込みシーンか降車シーンかを特定できないから、もてなし意思決定部2のRAM内に、現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段として、図5に示すごとくシーンフラグ350を設けることで対応するようにしている。シーンフラグ350は各シーンに対応した個別シーンフラグを有し、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来(フラグ値1)」に設定してゆく。シーンフラグ350にて、値が「1」になっているフラグの最新のもの(「1」フラグ列の末尾のもの)を特定することで、現在どのシーンまで進んできているかを特定できる。
また、準備シーンとシーン運転/滞在シーンとは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ538がONになるまでの間、あるいは、イグニッションスイッチ538がONにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンへの移行は、降車シーンのあと、ドアカーテシスイッチ537がドア閉を検知することで識別される。
各テーマにおけるもてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御され、図6に示すように、これらの動作制御アプリケーションはテーマ別アプリケーションライブラリ351の形でもてなし実行制御部3のROM内に記憶されている。もてなし意思決定部2側で決定されたテーマがもてなし実行制御部3に通知され、そこで対応するテーマの動作制御アプリケーションが読み出され、実行される。動作制御アプリケーションの実行に際しては、各もてなしテーマのもとで統括されている複数のもてなし動作に対し、ユーザーが当該もてなしを指向する度合いに応じて採用の優先順位が予め定められており、各もてなしテーマ(あるいはシーン)において、用意された前記複数のもてなし動作のうち、その優先順位の高いものから選択される。具体的には、図7〜図13に例示(後に詳述)するように、複数のもてなし動作部(もてなし機能)の動作優先順位(数字が大きいほど優先順位が高いものとして表示している)を、動作目的別に定めた機能選択テーブル371,372がもてなしテーマ毎に用意され、もてなし実行制御部3のROM内に記憶されている。
以下、自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の動作について説明する。図46〜図48は、システム100における、もてなし意思決定からもてなし動作実行に至る一連の処理の全体アルゴリズムを概念的に示すものである(これら3つの図は、対応する丸数字を接続子として、一つながりの図として読まれるべきものである)。もてなし主処理は、「目的推定(δ1)」、「個性適合(δ2)」、「状態適合(δ3)」、「演出対応(δ4)」、「機能選択(δ5)」及び「駆動(δ6)」の各ステップからなる。
まず、「目的推定(δ1)」では、ユーザー位置検出(β1)及びユーザー動作検出(β2)により、現在のシーンを推定する。ユーザー位置検出(β1)は、具体的には、ユーザーと自動車との相対的位置関係(α1)を把握・特定することにより行なう。また、本実施形態では、ユーザーの接近方向(α2)も合せて考慮する。他方、ユーザー動作検出(β2)は、基本的には、ドアの開閉操作やシートへの着座など、シーン決定用に固定的に定められた動作を検出するセンサ類(シーン推定情報取得手段)の出力を用いて行なう(α6)。また、着座継続時間により準備シーンから運転/滞在シーンへの移行検知を行なう場合のように、特定動作の継続時間(α7)も考慮される。
図3は、シーン決定の処理の流れを示すフローチャートである。この処理は、自動車の使用中に一定の周期で繰り返し実行されるものである。まず、S1で、図5のシーンフラグ350をリードする。S2,S5,S8,S12,S16及びS19は、現在どのシーンまで進んでいるかを、上記シーンフラグ350の状態から判別する処理である。シーンフラグ350は、時系列的に先に位置するシーンのフラグから順にセットされるようになっており、先行するシーンを差し置いて後続のシーンのフラグが単発的にセットされるようなことはない。
S2〜S4は接近シーンの特定処理であり、まずS2で接近シーンに対するフラグSCN1が「1」でない(つまり、接近シーンが未到来である)ことを確認して、S3で、自動車側のGPS533(図1)と、ユーザー側(携帯電話1:図5)のGPS554とがそれぞれ特定する位置情報から、ユーザーが自動車に対し一定距離以下(例えば50m以下)に近づいたか否かを判別する。そして、近づいていれば接近シーンに移行したと判断して、S4SCN1を「1」にセットする。
S5〜S7は乗車シーンの特定処理であり、S5で乗車シーンに対するフラグSCN2が「1」でないことを確認して、S6でドアカーテシスイッチ537からの入力情報からドアが開になったかどうかを判断する。そして、ドアが開になっていれば乗車シーンに移行したと判断して、S7でSCN2を「1」にセットする。現在のシーンがSCN=1、つまり、接近シーンであることを確認しているので、この状況での「ドア開」は乗車時のものであることを容易に判別できる。
S8〜S11は準備シーンの特定処理である。S8で準備シーンに対するフラグSCN3が「1」でないことを確認して、S9で着座センサ520からの入力情報から、ユーザーが着座したかどうかを判別する。そして、ユーザーの着座が検知されれば準備シーンに移行したと判断して、S10でSCN3を「1」にセットする。この段階では着座が完了したことを検知するのみであり、ユーザーが運転ないし車内滞在へ本格的に移行する準備段階にあることを特定するに留まる。S11では、運転/滞在シーンへの移行判定に使用する着座タイマーを起動する。
S12〜S15は運転/滞在シーンの特定処理である。S12で運転/滞在シーンに対するフラグSCN4が「1」でないことを確認して、S13でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを始動したかどうかを判別する。エンジン始動されていれば、直ちに運転/滞在シーンへ移行したと判断し、S15へジャンプしてSCN4を「1」にセットする。一方、エンジン始動されていなくとも、着座タイマーが一定時間(t1)経過していれば、ユーザーが(例えば運転以外の目的で)車内に滞在するために乗車したと判断し、S15へ進んでSCN4を「1」にセットする(t1が経過していなければ、準備シーン継続のためS15をスキップする。
S16〜S18は降車シーンの特定処理である。S16で降車シーンに対するフラグSCN5が「1」でないことを確認して、S17でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを停止したかどうかを判別する。エンジン停止されていれば、S18に進み、ドアカーテシスイッチ538の入力情報から、ユーザーがドアを開いたかどうかを判別する。ドアが開いていれば降車シーンへ移行したと判断し、S19でSCN5を「1」にセットする。
S20〜S23は離間シーンの特定処理である。S20で離間シーンに対するフラグSCN6が「1」でないことを確認して、S21でイグニッションスイッチ538及び着座センサ520からの入力情報とから、ユーザーが座席から離脱しつつドアを閉じたかどうかを判断する。YesであればS22に進み、SCN6を「1」にセットする。さらに、S23では降車タイマーを起動する。なお、20においてSCN6が1だった場合(つまり、離間シーンが既に到来している場合)にはS24以下へ移行する。降車シーンでのもてなし処理に必要な時間t2を降車タイマーにより計測し、S24でt2が既に経過していれば、S25で次回のもてなし処理のためにシーンフラグをリセットし、また、S26で着座タイマーと降車タイマーをリセットする。
図46に戻り、γ1でシーンが決定されれば、そのシーンでのもてなし内容を決定する。この決定は、図2のもてなし意思決定テーブル360を参照して行われる。前述のごとく、各シーンに対し、複数のもてなしジャンルが設定されており、各ジャンルには、これをさらに細分化したもてなしテーマが設定されている。前述のごとく、ジャンル及びもてなしテーマは、ユーザーのもてなしに求める願望や指向の観点から種々設定されている。これは、より具体的にいえば、各シーンにてユーザーは、自動車の利用に際し、「安全」「容易」「快適」の要望が満たされることを欲しており、その要望が何らかの要因によって乱される場合、その要因を外乱として特定する。そして、それらの外乱に対して何らかの対応処理、つまりもてなし動作を行なうことで、上記個々の要望が充足されるように計らうことが、最終的なシステムの目的であるといえ、上記の外乱の種別に応じてもてなしのジャンル及びもてなしテーマが定められているのである。このうち、ジャンルについては、各シーンについて共通に見出すことのできる「外乱」に基づいて定められており、具体的には、
(ST1)ユーザーを期待させ盛り上げる;
(ST2)ユーザーをリラックスさせ安らぎを与える;
(ST3)ユーザーの不安や緊張を解消する;
(ST4)ユーザーの体力的負担を軽減する;
(ST5)ユーザーの体調に応じて、適性に補佐する;
の5ジャンルが設定されている。
なお、図2において、期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2に属するもてなしテーマについては、ユーザーの性格や精神状態に応じて、どちらかが択一的に選択される(つまり、これらのジャンルは、互いに排他的に選択される)。それ以外のジャンルのもてなしテーマは、いずれも各シーンにおいて同時に選択され、それらテーマに属するもてなし動作が、該当するシーンにおいて並列に実施される。
他方、各ジャンルに属するもてなしのテーマは、シーンによって異なるものが設定されている。各シーンのジャンル別のテーマは、図2中に記載した通りである。また、複数のシーンにまたがって設定されるテーマも存在する。例えば、不安・緊張解消ジャンルST3のテーマ「車内を快適にしてほしい」OBJ322は、乗り込み、準備及び運転滞在の3つのシーンにまたがっている。また、「目的地の様子が知りたい」OBJ331は、準備及び運転滞在の2つのシーンにまたがっている。
もてなし意思決定テーブル360は、図4に示す流れに従い使用する(これは、図46〜48のδ1〜δ6に示すもてなし主処理から、要部を抽出したものに相当する)。S101でシーンフラグをリードし、S102で現在のシーンが何であるかを特定する。S103では、特定されたシーンに対応するもてなしテーマをリードし、そのテーマに属するもてなし機能(もてなし動作部)を、図7〜図13に例示した機能選択テーブル371,372を参照して選択する。そして、S105で、抽出したもてなし機能を具体的な動作させるためのもてなしアプリケーションを、図6のテーマ別アプリケーションライブラリ351から選択し、起動する。
図46に戻り、シーン特定時の補正的項目として、ユーザーの身なり検知(α3:例えば、接近時において、車外カメラ518(図1)によるユーザーの姿の撮影画像から把握できる)、所有物検知(α4:手荷物など)、仕草検知(α5:シーン推定に直接関与する動作の予兆として検出する)等を合せて実行することも可能である。これらの検知は、シーン毎のもてなしテーマ決定に有効に寄与することとなる。
次に、δ2に進んで、もてなし内容をユーザーの個性に適合させる処理となる。これは、具体的には、後述するユーザーの性格判定処理と、判定された性格に応じて、個々のもてなし処理に適正な重み付けをすること、つまり、個々のユーザーの性格に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。個性の特定には性格判断処理β4あるいはε2が必要である。処理ε2は、アンケート処理など、ユーザー自身の入力により性格分類を取得するものであり、処理β4は、ユーザーの動作、行為や思考パターン、あるいは表情などから、より分析的に性格分類を決定するものである。後者については、後述の実施形態に音楽選曲の統計から性格分類を決定する具体例を示しているが、α10のごとく、ユーザーの動作から性格判定に直結した癖を抽出したり、あるいは、α11のように、人相から性格判定を行なうようなことも可能である。
図47に進み、δ3では、もてなし内容をユーザーの精神/体調状態に適合させる処理となる。この点についても、詳細な具体例は後述するが、体状態検出部の検出情報に基づいて、ユーザーの精神状態及び体調を反映した精神/体調情報を取得し、その取得内容に応じてユーザーの精神状態ないし体調をモニタリングする。体状態検出部は、赤外線センサ519(顔色:α20)、顔カメラ521(表情:α12、姿勢:α14、視線:α15、瞳孔径:α16)、脈拍センサ524(心拍:α17)などが採用可能であるが、この他にも、運転操作実績を検出するセンサ類(502w、530、531,532,532a;誤操作率:α13)、血圧センサ(α18)、呼気センサ(アルコール:α21、例えば呼気にアルコールが検出された場合は、エンジン始動を禁止する処理を行なうなど)、着座センサ520(感圧センサによりシートにかかる体重分布を測定し、運転中の小刻みな体重移動を検出して、運転中の落ち着きが損なわれた判定を行ったり、偏った体重のかかり方を検出して、運転者の疲労の程度を判定したりすることができる)。
ここでも、処理の要旨は、上記の体状態検出部からの出力を精神状態や体調状態を示す数値パラメータに置き換え(β5)、その数値パラメータからユーザーの精神状態や体調状態を特定して(γ3,γ4)、個々のもてなし処理に適正な重み付けをすること、つまり、ユーザーの精神状態や体調状態に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。同じシーン及びテーマのもてなしであっても、前述のごとく、ユーザーの性格が異なれば、その性格に適合したもてなし動作を行なうのがよいのであり、また、同じユーザーであっても精神状態や体調に応じてもてなしの種別や程度を調整することが当然望ましい。
この場合、照明光の場合を例にとれば、性格によってユーザーの指向する照明色が相違し(例えば、活発なタイプは赤系を、おとなしいタイプは緑や青系を指向)、体調の良し悪しによって照明強度に対する要望(例えば、体調が悪いときは照明による刺激を抑制するため光量を落とす)が相違することが多い。前者では照明光の周波数あるいは波長(赤系→緑系→青系の順に波長が短くなる)を調整するもてなし制御となり、後者は照明光の振幅を調整するもてなし制御となる。また、精神状態は、その両方に関係する因子であり、幾分陽気な精神状態において、さらに気分を盛り上げるために赤系の照明光を採用することもありえるし(周波数調整)、照明光の色を変えず、明るさを増したりすることもありえる(振幅調整)。また、過度に興奮した状態では、気持ちを沈めるために青系の照明光を採用したり(周波数調整)、照明光の色を変えず明るさを減らす(振幅調整)、といった処理が考えられる。音楽の場合は、種々の周波数成分が含まれているのでより複雑であるが、覚醒効果を高めるために、数100〜10kHz程度の高音域の音波を強調したり、逆に気持ちを沈めるために、リラックス時の脳波(α波)の周波数(7〜13Hz:シューマンレゾナンス)に、音波のゆらぎの中心周波数を合せこんだ、いわゆるα波系音楽を採用したりするなど、周波数/振幅により制御パターンを同様に把握することができる。
車内の明るさや音波レベルに関しては、性格、精神状態及び体調を勘案して、各シーンのもてなしテーマ毎に、適性レベルを数値設定することができる。図7、図8、図9及び図10は、各テーマの機能選択テーブル371に、求められる照明レベルや音波レベルの制御適性値設定テーブル371aを随伴させた例を示している。そして、図48のδ4に進み、もてなし演出対応処理となる。例えば、図1の照度センサ539(視覚刺激:α23)、音圧センサ(聴覚刺激:α24)などの出力から、現在ユーザーがどの程度の刺激を感じているかに関しての情報(外乱刺激)を得(環境推定:β6)、その外乱刺激を、上記の個性(性格)、精神状態及び体調から得られる上記の適性値と比較可能な数値に変換して、外乱の数値的な推定を行なう(γ6)。なお、特定すべき外乱刺激としては、触覚刺激(α25:例えば、ハンドルに取り付けられた感圧センサ523など)、及び嗅覚刺激(α26:嗅覚センサによる)なども併用することができる。また、外乱推定に関しては、ユーザーを取り囲む空間からの間接的刺激、具体的には、高さ(α27)、距離(α28)、奥行き(α29)及び自身ないし同乗者の体格(α30)等を考慮することも可能である。
次いで、δ5では機能選択処理となる。ここでは、外乱刺激と適性値との差が縮小されるよう、機能選択テーブル371,372に示された優先順位の高いもてなし機能(もてなし動作部)から順に採用し、δ6で個々のもてなし動作部の駆動処理となる。このとき、実際に選択されたもてなし機能の内容や程度がユーザーの気に召したかどうかに係る情報を、例えば前述の体状態検出部の出力から推定するか、あるいはユーザー自身による入力情報(好き・嫌いの意思表示に係る直接的な入力であってもよいし、嫌いな音楽や照明を回避する操作入力等から推定する形でもよい)から取得し、これをフィードバックすることで、もてなし動作制御に一種の学習効果を付与することも可能である(ε5、ε6及びγ7)。
なお、これとは別系統の機能選択判定要素として、もてなし動作部の機能状態を判定し(α31)、自動車の劣化情報として整備し(β8)、その機能状態が正常/異常のどちらに寄与するかを判定して(γ8)、正常に寄与する機能は積極採用し、異常に寄与する機能を忌避する処理を行なう、といったことも可能である。
また、もてなし動作のコンセプトは、自動車の種別によっても、その自動車のイメージに合致した内容に定めることが、もてなし効果を高める上で肝要である。高級車に関しては、全般に落ち着いた、かつ高級感を強調できるスマートなもてなし演出が有効であるし、逆にスポーツ仕様車やレジャー仕様車では、明るくにぎやかな演出が相応しいといえる。
以下、個々のシーンでのもてなしの代表例について説明する。
図28は、接近シーンSCN1での、もてなし動作の処理の流れを示すものである。テーマは、図2の「車に乗ることに対する気持ち高揚」であり、ユーザーの性格分類に応じて、期待/盛り上げジャンルST1に属するもの(OBJ111;例えば性格分類が「活動的SKC1」(図18)の場合)、及びリラックス/安らぎジャンルST2に属するもの(OBJ211;例えば性格分類が「おとなしいSKC2」(図18)の場合)のどちらかが選択される。
図28のS21では、ユーザー(つまり、端末装置1)の自動車に対する接近方向を特定する。自動車側では、GPS533による位置情報と、駐車に至る自動車の進行方向変化の履歴から、自動車の位置とともに自動車の向きを特定することができる。従って、携帯電話1から送られてくるユーザーの位置情報(GPS554による)を参照することによって、自動車に対しユーザーが、例えば前方側、後方側及び側方のいずれから接近してきているか、及び自動車に対しユーザーがどの程度の距離まで接近しているかを認識である。
S22に進み、その接近方向が前方からであればS23に進み、前方用ランプ群を選択する。図23に示すように、前方用ランプ群として、本実施形態では、ヘッドランプ504、フォグランプ505、コーナリングランプ508を使用する。また、接近方向が後方からであればS24からS25に進み、後方用ランプ群を選択する。図24に示すように、後方用ランプ群として、本実施形態では、テールランプ507、バックアップランプ509、ストップランプ510を使用する。それ以外の場合は側方からの接近と判断してS26に進み、側方用ランプ群を選択する。図25に示すように、側方用ランプ群として、本実施形態では、ハザードランプ506、テールランプ507、床下ランプ512を使用する。
S27では、自動車とユーザーとの距離を上記の方法により特定する。自動車とユーザーとの距離が特定できたら、その距離が第一上限値(例えば20m以上に設定される)を超えていればS29に進み、遠距離用照明モードとなる。また、第二上限値(例えば5m以上20m未満に設定される)を超えていればS31に進み、中距離用照明モードとなる。それ以外の場合(つまり、第二上限値以下の場合)はS32に進み、近距離用照明モードとなる。ユーザーが自動車から遠いほど(つまり、近距離用照明モード→中距離用照明モード→遠距離用照明モードの順に)、各ランプ(照明)による総光量が大きくなるように(ビーム角度が関与する場合、照明正面に立ったときにユーザーが視認する光量とする:例えば、ランプを上向きとすることでハイビーム化する場合は、ロービーム時と光源の強度が変わらなくとも、視認される光量は大きくなる)、個々のランプの発光動作が制御される。これにより、自動車へのアプローチをライトアップしてユーザーを安全に自動車まで誘導する効果が高められる。
図23は、ユーザーUの接近方向が前方側の場合の動作例を示すものである。遠距離用照明モードではヘッドランプ504をハイビームで点灯し、中距離用照明モードではロービームとして光量を落とす。つまり、光源強度(駆動電圧等で調整できる)及びビーム角度の少なくともいずれかを調整することで、同じランプの視認光量を変化させる方式を採用している。他方、近距離用照明モードでは、光量のより小さいフォグランプ505あるいはコーナリングランプ508に切り替える。ユーザーUが正面から接近してくる場合にはフォグランプ505を点灯させ、ユーザーUが車両側方に向けて移動した場合は、コーナリングランプ508の対応する側のものを点灯させる。
図24は、ユーザーUの接近方向が後方側の場合の動作例を示すものである。遠距離用照明モードではバックアップランプ509、テールランプ507及びストップランプ510の全てを点灯し、中距離用照明モードではテールランプ507及びストップランプ510のみの点灯として光量を落とす。つまり、複数個のランプのうち、点灯させる個数を変化させて総光量を変化させる方式を採用している。近距離用照明モードでは、バックアップランプ509、テールランプ507及びストップランプ510のいずれかのみの点灯に切り替える。後方中央からユーザーUが接近してくる場合はテールランプ507のみ(あるいはストップランプ510のみ)を点灯させ、ユーザーUが車両側方に向けて移動した場合は、バックアップランプ509の対応する側のものを点灯させる。
図25は、ユーザーUの接近方向が側方側の場合の動作例を示すものである。遠距離用照明モードではハザードランプ506、複数の床下ランプ512の全てを点灯し、中距離用照明モードでは、その状態からハザードランプ506のみ消灯して光量を落とす。近距離用照明モードでは、複数の床下ランプ512のうち、ユーザーUに近いもののみの点灯に切り替える。車側中央からユーザーUが接近してくる場合は中央の床下ランプ512のみを点灯させ、ユーザーUが車長方向に移動した場合は、対応する側の床下ランプ512の点灯に切り替える。なお、ユーザーUの接近に伴い、床下ランプ512の照明角度を変えて、ユーザーUを自動車に向けて導くように照明領域を変化させてもよい。いずれの場合も、近距離用照明モードでは室内照明511も点灯させ、自動車に乗り込もうとするユーザーをより丁重にもてなすようにしている。
また、これから向う目的地をイメージした照明点灯パターンにてイルミネーションを行なう方法もある。例えば、目的地が海であれば、青色系の照明光の照度を漸増させた後漸減させる、波を連想させるイルミネーションパターンで点灯を行なうと効果的である。
なお、ユーザー端末1からの無線指令により制御可能なもてなし動作部として、例えば図26に示すような建物側照明1161を有する周辺設備が、自動車の駐車位置周辺に存在する場合は、その建物側照明1161により自動車をライトアップする動作をもてなし動作に追加してもよい。図27に示すように、遠距離用照明モードでは、夜間の駐車場にて自分の車を照らし出すことで駐車位置がよりわかりやすくなるし、ライトアップにより乗り込み前のユーザーの気持ちを高める効果も生ずる。他方、中距離用ないし近距離用照明モードでは、自動車周辺のエリアが広く照らし出されるので、乗り込みの誘導ないし補助の効果が高められ、自動車に乗り込むまでのユーザーの経路(足元)上に異物等が存在していても容易に発見することができる。
性格分類は、例えば以下のような方法により決定されるものである。
自動車のユーザーは、図36に示すようなユーザー登録部600(例えば、もてなし意思決定部2のROM(書換えが可能となるように、フラッシュROMで構成しておくことが望ましい)に予め登録しておくことができる。このユーザー登録部600には、各ユーザー名(あるいは、ユーザーID)と、その性格種別(図18参照)とが互いに対応付けられた形で登録されている。この性格種別は、後述のごとく、ユーザーによる自動車使用継続中に、特定の操作部における操作履歴情報として取得・蓄積し、その蓄積された操作履歴情報に基づいて推定されるものである。しかし、自動車の使用開始直後など、操作履歴情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、次のように、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。
図37では、図1のモニター536(カーナビゲーションシステム534のモニターで代用してもよい)に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部529からこれを入力する。ここでは、入力部はモニター536に重ねられたタッチパネルであり、表示形成された選択ボタン529Bに触れて選択入力を行なう。他方、図38では、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方式としている。モニター536にはアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える(ここでは、選択ボタン529Bで選択肢を構成し、この上に重ねられたタッチパネル529の該当位置に触れて選択入力を行なう)。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、1つのものが一義的に決定されるようになっている。
なお、ユーザー名を含めたユーザー登録入力も、上記の入力部529からなされ、決定された性格種別とともにユーザー登録部600に記憶される。また、これらの一連の入力は、携帯電話1から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部529か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。
自動車の使用に先立っては、ユーザーの認証が必要である。特にユーザーが複数登録されている場合は、ユーザーによって性格種別が異なるものに設定され、もてなしの内容も異なるものとなるからである。最も簡単な認証方式は、携帯電話1からユーザーIDと暗証番号を自動車側に送信し、これを受けたもてなし意思決定部2が、登録されているユーザーIDと暗証番号との照合を行なう方法である。また、携帯電話1に設けたカメラにより顔写真の照合を行ったり、音声認証、指紋を用いた認証など、バイオメトリックス認証方式を採用することもできる。他方、自動車へのユーザーの接近時は、ユーザーIDと暗証番号とを用いた簡略な認証に留め、開錠後、自動車に乗り込んでから、前述の顔カメラ521、マイクロフォン522、網膜カメラ526、アイリスカメラ527あるいは静脈カメラ52などによるバイオメトリックス認証を行なうようにしてもよい。
上記のようにユーザーが認証・特定されたら、そのユーザーに対応する性格種別(ユーザー生体特性情報)がもてなし意思決定部2において取得され、対応するもてなし動作部の選定及び動作パターンが選択される。前述のごとく、例えば特定された性格種別が「活動的SKC1」であれば、期待/盛り上げジャンルST1に属するテーマOBJ111が選択され、特定された性格種別が「おとなしいSKC2」であれば、リラックス/安らぎジャンルST2に属するテーマOBJ211が選択される。この処理の流れは、他のシーンでも全く同じである
図7は、期待/盛り上げ系のテーマOBJ111に対応した機能選択テーブル371を示すものであり、車外照明、車内照明、窓遮蔽(パワーウィンドウ)、カーオーディオの機能優先順位が高くなっている。いずれも派手な盛り上げを行なうため、制御適性値設定テーブル371aにおける車外照明によるイルミネーション用の外的照明レベルの設定値、車内照明の設定値、カーオーディオシステム515及び携帯電話1からの音声出力レベル(ここでは、音楽出力に関する楽音レベル)はいずれも高く設定されている。図1の照度センサ539の照度検出レベル、及び音圧センサ540の音圧検出レベルが上記の設定値に近づくように、図1の照明504〜512及びカーオーディオシステム515の駆動出力レベルがもてなし実行制御部3により制御される。また、携帯電話1の音声出力レベルも無線指令により対応する値に設定される。
他方、図8は、リラックス/安らぎ系のテーマOBJ211に対応した機能選択テーブル371を示すものであり、機能優先順位の設定は期待/盛り上げ系と同じであるが、制御適性値設定テーブル371aにおける外的照明レベルの設定値、車内照明の設定値及び楽音レベルは、期待/盛り上げ系のテーマOBJ111よりも低く設定され、照明色や選曲も含めて、より温和な演出が行われる。
具体的な処理は以下のごとくである。すなわち、ユーザーが自動車へ乗り込むために接近する際には、取得された性格種別(ユーザー生体特性情報)に応じて異なる内容にて照明装置(図23〜図25:符号504,505,507,509,510,511,512:これらは、いずれも自動車の外観を照らし出す照明装置として機能する(室内灯511も、窓から漏れ出す光が自動車の外観を間接的に照らし出す))を動作させるものとすることができる。期待/盛り上げ系テーマOBJ111が選択された場合は、もてなしに関与する照明装置の発光量を増やす、あるいは点滅回数を増やす、ヘッドランプ504をハイビームにする、赤系のテールランプ507の点灯光量を増やすなど、ユーザーの自動車への接近を派手に盛り上げる演出をする。他方、リラックス/安らぎ系のテーマOBJ21が選択された場合は、もてなしに関与する照明装置の発光量をやや落とし、また、派手な照明の点滅は避け、フェードイン的にじわじわと光量を上げたり、あるいは、足元を照らすサイドランプ512→室内灯511→ヘッドランプ504(の順序で点灯を行って、自動車をゆっくりと浮かび上がらせるなど、ソフトな演出を行なうようにする。なお、赤系のテールランプ507を採用しなければ、「活動的」の性格種別に対する照明形態と比較して、全体の照明色調の上でも変化が得られる。なお、ヘッドランプやテールランプも含め、照明装置を白熱電球やハロゲンランプ等に代えて、発光ダイオードで構成することも可能である。
次に、ユーザーが自動車に接近する際には、上記のような照明装置以外に、携帯電話1(ユーザー側端末装置)に設けられたスピーカ(音声出力部)311をもてなし動作部として使用することもできる。この場合、自動車側の通信装置4は、携帯電話1すなわちユーザーの接近を検出し、そのユーザーに対応する性格種別(つまり、取得されたユーザー生体特性情報)に応じて異なる出力内容にてスピーカ311からもてなし用音声を出力させる。本実施形態において、もてなし用音声データは音楽ソースデータとするが、効果音や人間の声(いわゆる着声あるいは着ボイスと称されるもの)のデータであってもよい。このもてなし用音声データは、図1に示すように、自動車側の記憶装置535に記憶しておき、必要なものを携帯電話1に通信装置4を介して配信するようにしてもよいし、携帯電話1側の音データ用フラッシュROM316に記憶させても、いずれでもよい。ここでは、後者の場合を例に取り説明する。
まず、ユーザーが認証・特定されたら、そのユーザーに対応する性格種別を特定し、携帯電話1から、音データ用フラッシュROM316に記憶されている、もてなし用音声データのID一覧を無線により取得する。次に、その中から、特定された性格種別に対応する音楽ソースデータを選択する。ここでは、ユーザーが接近するほど盛り上げる処理を行なうために、曲モードコードの異なる複数の音楽ソースデータを選択している(ここでは、MIDIデータを用いた場合を例に取る)。
ここでも、前述の照明よるもてなし処理と同様、距離に応じて異なる演出を行なう(処理の流れは図28と同じ)。ユーザーの精神状態高揚度に対応して、曲モードコードについてもこれに対応付けた序列が設定され、距離が近づくほど、高揚する精神をより増長するように選曲を行なう。具体的には、自動車との距離が近づくほど、精神状態高揚度が上位となり、ユーザー接近時の曲モードコードは、「ヒーリング・α波系」又は「温和・癒し系」(遠距離用)→「爽快系」(中距離用)→「盛り上げ系」(近距離用)の順で序列が定められる。しかし、好みによっては、最初盛り上げておいて、車に接近するほど気持ちを落ち着かせるように、上記の逆の序列とすることももちろん可能である。
まず、図31に示すように、遠距離もてなしモードでは、「ヒーリング・α波系」又は「温和・癒し系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S201)。携帯電話1では、そのIDに対応する音楽ソースデータを選んで、演奏を開始する(S202)。次に、図32に示す中距離もてなしモードでは、「爽快系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S210)。そして、携帯電話1で、そのIDに対応する音楽ソースデータを選んで、演奏を開始するとともに、前述のごとく、バイブレータユニット354及びLEDユニット315を音楽と同期駆動し、音出力によるもてなしをより盛り上げる(S211)。また、自動車側の照明装置を、音楽に連動させて明滅させるようにしてもよい(S212)。
いよいよユーザーが自動車に乗り込む寸前にまで近づくと、図33の近距離もてなしモードとなり、最高潮の盛り上げ演出が行われる。すなわち、S220〜S222では、中距離もてなしモードとほぼ同様の処理であるが、音楽ソースデータは「盛り上げ系」のものを選ぶ。他方、自動車側でも同じIDの音楽ソースデータを選択し、カーオーディオシステム515での演奏を開始する。この場合、パワーウィンドウを作動させて窓を開き、携帯電話1の演奏と同期出力すれば、盛り上げ効果をさらに高めることができる(S223)。このとき、自動車側では、MIDIデータの主旋律部分の音程コードを、携帯電話1側の主旋律部分に対し、協和音程を形成する度数だけ低く(又は高く)なるように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力とをハモらせることができるし、MIDIデータの主旋律部分の出力タイミングを、携帯電話1側の主旋律部分に対し、一定拍数遅らせる(又は進ませる)ように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力との間で輪唱効果を達成することもできる。
そして、S224では、携帯電話1の心拍センサ342でユーザーの心拍数を読み取り、MIDIデータのテンポコードを、該心拍数に比例してテンポが速くなるように変更する。これにより、出力される音楽が、ユーザーの心拍に合せてアップテンポ化し、盛り上げ効果がより高められる。なお、リラックス/安らぎ系のテーマOBJ21では、近距離用の上記最後の派手な盛り上げ処理を行なわないようにすることも可能である。
なお、図2に示すように、接近シーンSCN1において、不安/緊張解消ジャンルST3では「車の位置を知りたい(OBJ311)」及び「忘れ物・戸締り確認(OBJ312)」、体力的負担軽減ジャンルST4では、「荷物をスムーズに積み込みたい(OBJ311)」の各テーマが定められている。またこれらテーマのもてなし処理は、気持ち高揚用のテーマOBJ111ないしOBJ211のもてなし処理と並列に実行される。図11は、テーマ「車の位置を知りたい(OBJ311)」に対応した機能選択テーブル372の内容を示すもので、自動車側GPS533、携帯電話1、携帯電話側GPS554、ホーン502及び車外照明(あるいは車内照明)がもてなし動作部として選択されている。具体的な動作は、例えば、自動車側GPS533の位置情報を携帯電話1側に知らせ、携帯電話側GPS554の位置情報とともにモニタ308(図14)上にマップ表示して、ユーザーと自動車との相対位置を把握できるようにする。また、ユーザーが自動車に所定距離以下に接近したら、ホーン502の吹鳴や及び車外照明(あるいは車内照明)の点灯により、自動車の位置をユーザーに直接知らせるようにする。
他方、「忘れ物・戸締り確認(OBJ312)」では、出発前の注意確認事項を促すメッセージ(音声データはもてなし実行制御部3のROMに記憶しておくことができ、カーオーディオシステムの音声出力ハードウェアを流用して出力処理が可能である)を音声出力させる。注意確認事項を促すメッセージの実例としては次のようなものがある
・「免許証と財布は大丈夫ですか?」
・(カーナビで設定された行き先が空港ならば)「パスポートは持ちましたか?」
・「玄関の鍵をかけましたか?」
・「裏の窓は開いてませんか?」
・「室内のエアコンは切りましたか?」
・「ガスの元栓は締めましたか?」
次に、乗り込みシーンSCN2でのもてなし処理は、基本的に上記接近シーンSCN1での処理の延長として実施可能である(図2、OBJ121,OBJ222)。すなわち、ユーザーが自動車に乗り込み、着座センサ520がユーザーを検出すれば、もてなし実行制御部3は携帯電話1に演奏停止の指令を無線送信する。携帯電話1でのもてなし動作はこれで終了する。一方、不安/緊張解消ジャンルST3のもてなしのテーマについては、「車内を快適にして欲しい」(OBJ311:例えば事前のエアコン作動などにより車内を適温に保つなど)のほか、「自動車に乗り込む際の安全確保、トラブル回避」(OBJ322)がある。これは、図1の床下ランプ512による足元照明のほか、図41のドアアシスト機構541による障害物とドアとの衝突抑制モード機能によって達成できる。また、体力的負担軽減ジャンルST4のもてなしテーマ「楽に乗り込みたい」(OBJ421)に関しては、ドアアシスト機構541の基本動作により、ドアの開閉操作の負担軽減を図ることができる。ドアアシスト機構541の動作の詳細は説明済なので、ここでは繰り返さない。
また、テーマ「楽に荷物を積みたい」(OBJ422)では、例えば車外用カメラ518にて、ユーザーが大きな手荷物を抱えている場合に、ユーザーのドア開操作をアシストするのではなく、一定位置まで自動でドアを開き、ドアの操作そのものを不用にして、手荷物の積み込みを助ける。また、トランクルームの位置を知らせたり、そのカバーの開動作を自動で行って、積み込みを補助する動作も有効である。
次に、準備シーンSCN3及び運転/滞在シーンSCN4では、期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2の各テーマ(OBJ131,OBJ141及びOBJ231、OBJ241)において、接近シーンSCN1及び乗り込みシーンSCN2から実行されている車内照明511の作動、及び車内のカーオーディオシステム515の演奏を、シーンに適合した照明色/パターンや選曲(あるいは音量)への変更を除き、引き続き継続する処理が中心となる。準備シーンSCN3では気分を落ち着かせるために、光量を落とした照明と、図18の爽快系ST3あるいは温和・いやし系SFの選曲とする一方、運転開始時は、運転者を覚醒させてメリハリを付けるために照明光量を上げ、盛り上げ・活力アップ系AGの選曲に切り替えるなどの動作を例示できる。
図9は、期待/盛り上げジャンルST1のテーマOBJ131,OBJ141に係る機能選択テーブル371の設定例を示しており、車外照明(夜間のみ5、昼間は0(非動作))、車内照明、パワーウィンドウの閉動作、ノイズキャンセラ、カーオーディオシステム、及びDVDプレーヤーなどの映像出力装置などがもてなし動作部として選択されている。車内の騒音レベル低減に関しては、パワーウィンドウの閉動作のよる窓の締め切りのほか、図44及び図45に示したノイズキャンセラ1001Bの作動もこれに大きく寄与している。既に説明したごとく、このノイズキャンセラ1001Bは、適応フィルタの設定により、カーオーディオシステム515や、車内の会話、あるいは注意ないし危険認識すべき必要車外音(強調音)など、指定された必要音を残す形でそれ以外の騒音成分だけを打ち消すようにしてあるから、より静寂な環境で音楽を聞くことができ、また、必要車外音を聞き漏らしたりすることもない。
また、制御適性値設定テーブル371aにおいては、車内照明レベルと楽音レベルとを比較的高く設定してある。もともと騒々しい環境を好む若者等をターゲットにする場合、風切り音などの車内騒音も、車の雰囲気作りに貢献する場合があるし、適応フィルタによる必要車外音のピックアップに関しては多かれ少なかれ限界もあることから、車内の楽音レベルを高めに設定するのに合せ、騒音レベル(数値が高いほど静寂であることを示す)の低減程度は幾分抑制されている。なお、楽音レベルの設定値への制御は、図1の音圧センサ540の検出レベルが目標値に近づくよう、カーオーディオシステム515の出力ボリュームを調整することで実施できる。他方、騒音レベルの設定値への制御は、図44のエラー検出マイク2012が検出する消し残し騒音成分の目標値レベルをゼロではなく、残したい騒音レベルを示す有限値に設定することで実施できる。
図10は、リラックス/安らぎジャンルST2の各テーマOBJ231,OBJ241に係る機能選択テーブル371の設定例を示している。もてなし動作部の選択内容は期待/盛り上げジャンルST1と同じであるが、照明レベルと楽音レベルは期待/盛り上げジャンルST1よりも低く設定され、逆に騒音レベル低減程度は高められている。
なお、接近シーンSCN1及び乗り込みシーンSCN2での音楽演奏がMIDIのよるものであった場合、本格的に音楽を楽しむにはMIDIではいささか味気ないので、MPEG3曲データベース515c(図17)を用いた演奏に切り替える。この場合、もてなし意思決定部2(図1)は、ユーザーの性格種別に対応した音楽ソースデータを選ぶようにする。
ただし、もてなし意思決定部2が自動選択した曲が気に入らなければ、ユーザーは操作部515dからの入力により、いつでも好きな曲に演奏を切り替えることができる。ユーザーが自身で選曲した場合は、図20に示すように、そのユーザーの特定情報(ユーザー名あるいはユーザーID)と、選曲された音楽ソースデータのIDと、前述のもてなし参照データRD(性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード)とが互いに対応付けられた形で、選曲実績記憶部403(図1の記憶装置535内に形成されている)に記憶される。本実施形態では、選曲の日時、ユーザーの性別及び年齢も合せて記憶されている。
選曲実績記憶部403には、図21に示すように、ユーザー別に、その選曲実績の統計情報404が作成される。この統計情報404では、選曲データが、性格種別コード別(SKC)にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報404に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報404から上記のごとく導かれた性格種別と置き換えるようにすればよい。
ところで、ユーザーの性格の分類は実際にはもっと複雑なものであり、音楽の好みも、一律に同じ性格種別に押し込めてしまえるほど単純ではない。また、そのユーザーが置かれている生活環境(充実しているか、ストレスがたまっているか、など)によっても短期的には変動しやすいことがある。この場合は、音楽の嗜好も変動し、その統計から導かれる性格種別も変化することがあってもおかしくない。この場合、図21に示すように、無制限に遡って選曲実績の統計を取るのではなく、直近の一定期間(例えば1ヶ月〜6ヶ月)に限定して選曲実績の統計情報404を作成すれば、性格種別の短期的な変動を統計結果に反映することができ、音楽によるもてなし内容をユーザーの状態に合せて臨機応変に変更できる。
また、同じユーザーであっても、いつも同じ性格種別の音楽を選ぶとは限らず、他の性格種別の音楽にもまたがって選曲されることもありえる。この場合、選曲頻度が最も高い性格種別のみから選曲していたのでは、ユーザーの気分転換を図る上では、必ずしも望ましくない状況も生じえる。そこで、各性格種別に割り振る選曲確率期待値を、統計情報404が示す選曲頻度に応じて割り振り、その期待値に応じて重み付けされた形で、各性格種別からランダムに選曲する方式を採用することもできる。このようにすると、ユーザーが多かれ少なかれ興味を示す(つまり選曲された)音楽ソースについては、複数の性格種別にまたがる形で選曲頻度の高いものから優先的に選曲され、時折は自分の性格種別以外の音楽によるもてなしを受けることも可能となり、よい気分転換になる。具体的には、一定個数の乱数値からなる乱数表を記憶しておき、各性格種別に割り振る乱数値の個数を、上記選曲頻度に比例して配分する。次いで、周知の乱数発生アルゴリズムにより乱数を発生させ、得られた乱数値が、どの性格種別に割り振られた乱数値であるかを照合することで、選択すべき性格種別を特定することが可能となる。
なお、統計情報404では、音楽のジャンル別(JC)、年齢別(AC)及び性別(SC)による選曲頻度もカウントされており、性格種別の場合の上記方式と同様にして、選曲頻度の高いジャンル、年齢層あるいは性別に属する音楽ソースデータを、優先的に選曲するように構成できる。このようにすると、ユーザーの嗜好によりマッチしたもてなし選曲を行なうことが可能となる。なお、一つの音楽ソースデータに、複数の性格種別を割り振ることも可能である。
図30は、その処理の一例を示すフローチャートである。図21のように性格種別毎の選曲頻度統計が得られた場合、図30の下に示すように、乱数表上の乱数値を各性格種別に対し、個々の選曲頻度に比例して配分する。次いで、フローチャートのS108にて、任意の乱数値を1個発生させ、乱数表上にて、その取得された乱数値に対応する性格種別コードを選ぶ。次いで、S109では、図19の点灯制御データ群から、その性格コードに対応したものを選択する。そして、S110では、取得した性格種別コードに対応する音楽ソースデータのうち、図21にて最も選曲頻度の高いジャンル、年齢層及び性別に該当する音楽ソースデータを全て抽出する(もちろん、ここでも性格種別の決定時と同様、各ジャンル、年齢層及び性別毎の頻度に応じた乱数比例配分により、選曲に係るジャンル、年齢層及び性別を選択するようにしてもよい)。抽出された音楽ソースデータが複数ある場合は、S111のように、その中の1つの音楽ソースデータIDを乱数により1つ選択するようにしてもよいし、音楽ソースデータの一覧表をモニター536(図1)示して、操作部515d(図17)によりユーザーにマニュアル選択させるようにしてもよい。こうして、選択された点灯制御データに従い、ユーザーにより運転中(もしくはユーザーが滞在中)の自動車内の照明装置の点灯制御が実施され、また、選択された音楽ソースデータによる音楽演奏がカーオーディオシステムにてなされる。
以下、準備シーンSCN3及び運転/滞在シーンSCN4に割り振られている他のもてなしテーマについて説明する。テーマ「目的地/道中の様子が知りたい」は、上記両シーンにまたがって設定されているテーマであり、例えば準備シーンSCN3側(OBJ331)では、図12の機能選択テーブル372に示すように、自動車側GPS553とカーナビ534とがもてなし動作部として選択され、目的地の設定に伴い、現地や道中の様子を、無線通信ネットワークを介して取得し、カーナビ534のモニタ上に表示するもてなし動作が行われる。
運転/滞在シーンにおいては、ユーザーの性格種別を、音楽ソースの選曲実績以外の情報を用いる形でも推定することができる。例えば、ユーザー毎の運転実績データを蓄積し、その運転実績データの解析結果に基づいてユーザーの性格種別を特定することができる。以下、その具体例について説明する。図22に示すように、ユーザーが運転中にストレスを感じたときに行ないやすい操作をストレス反映操作として予め定めておき、そのストレス反映操作を対応する検出部で検出し、その検出結果をストレス反映操作統計記憶部405(図1:記憶部535内)に記憶・蓄積する。そして、その蓄積結果に基づいて、ユーザーの性格種別を推定する。以下に説明する実施形態は、自動車の運転上好ましくない性格要素による影響を、如何に抑制するかに主眼をおいたものである。
ストレス反映操作は、本実施形態では、ホーン操作(いらいらしてやたらにクラクションを鳴らす)、ブレーキ回数(車間等を詰めすぎて、やたらにブレーキを踏む)、車線変更回数(前の車を追い越そうと、頻繁に車線を変える:ウィンカーの操作+ウィンカーが操作された後のハンドル操作角度で検出できる(ハンドル操作角度が一定以下であれば、車線変更とみなす))が選定され、ホーンスイッチ502S、ブレーキセンサ530、ウィンカースイッチ502W、角速度センサ532がストレス反映操作検出部として機能する。各操作が発生する毎に、ストレス反映操作統計記憶部405内の対応するカウンターがカウントアップし、その回数が記録される。これらの操作は、「危険運転」への指向を反映したものであるともいえる。
また、走行中の車速が車速センサ531により検出され、加速度が加速度センサ532Sにより検出され、平均速度VN及び平均加速度ANが算出されてストレス反映操作統計記憶部405内に記憶される。平均加速度ANは、増加方向の一定レベル以上の加速度が検出されている期間に限って平均値が取られ、加速度変動の少ない低速走行時期間は、平均値算出に組み入れられない。このようにすることで、該平均加速度ANの値は、追い越し等に伴いやたらにアクセルを踏み込んだり、あるいは急発進したりすることを好むか否かを反映した値となる。また、車速センサ531の出力積分値から走行距離が算出され、ストレス反映操作統計記憶部405内に記憶される。
さらに、上記ストレス反映操作統計は、一般道区間と高速道区間とで別々に作成される(その識別は、カーナビゲーションシステム534からの走行情報を参照することにより可能である)。つまり、高速道路走行時では、スムーズに流れている場合、普通の運転をするユーザーであれば、ホーンを吹鳴したり、ブレーキを踏んだり、車線変更したりする回数は少ないはずなので、これらのストレス反映操作の検出回数は、一般道区間よりも高い重み付けで加算されるべきだからである。また、平均速度や平均加速度は、一般道区間より必然的に高くなるので、上記のように一般道区間と高速道区間とで区別して統計を取ることで、この影響も緩和することができる。
以下に、上記ストレス反映操作統計を用いた性格判定のアルゴリズムの一例を示すが、これに限られるものではない。まず、ホーン回数Nh、ブレーキ回数NB、車線変更回数NLCについては、一般道区間(添え字「O」で示している)と高速道区間(添え字「E」で示している)での各値に、それぞれ重み係数αとβ(ただし、α<β:どちらかの係数を1に固定して、他方の係数を相対値表示してもよい)を乗じて加算し、それを走行距離Lで割った値を、換算回数(添え字「Q」で示している)として算出する。他方、平均速度と平均加速度も、同様に一般道区間での値と高速道区間での値を、重み係数を乗じて加算し、換算平均速度及び換算平均加速度として算出する。これらを全て加算した値を、性格推定パラメータΣChとして求め、該ΣChの値に応じて性格推定を行なう。
本実施形態では、ΣChの値の範囲を、予め定められた互いに異なる境界値A,A2,A3,A4で複数の区間に区切り、そのそれぞれに性格種別を割り振っている。そして、算出されたΣChの値が属する区間に対応付けて、縮小係数δ1、δ2、δ3(いずれも0より大きく1より小)を定めている。これを用いた具体的な性格分析処理の流れの一例を図29に示す。前述のごとく、S101でユーザーを認証し、S202で図20の選曲実績データ403を取得する。そして、S103で、図21の選曲実績の統計情報404を作成する。次に、S104では、図22のストレス反映操作統計記憶部405内に蓄積されている情報(走行実績データ)を読み出し、S105で上記の方法によりΣChの値を算出して、対応する性格種別を特定し、縮小係数δを取得する。S106では、選曲実績の統計情報404で、最も頻度が高い性格種別を特定し、これに縮小係数δを乗じて見かけの頻度を低減する。これにより、例えば「活動的」なユーザーにおいてΣChが高くなるような結果が得られた場合、その「活動的」性格の故にΣChが高くなるような危険運転への指向が高められていることを意味するから、これをあおるような音楽の選曲頻度を、縮小係数δを乗ずることで抑制することができ、安全運転に導くことができる。また、「おとなしい」ユーザーにおいてΣChが低くなるような結果が得られた場合、「おとなしい」に対応する音楽の選曲頻度が縮小係数δを乗ずることで抑制され、活発な音楽の選曲頻度が相対的に増大するから、ユーザーに適度な刺激が与えられ、運転にメリハリを付けることで、安全性を高めることが可能となる。
次に、ユーザーを適確にもてなすには、性格とは別に、精神状態や体調についても考慮する必要がある。すなわち、精神状態が高揚していたり、逆に落ち込んでいたりすると、それはユーザーの体に何らかの生体反応となって表れる。また、体調不良や疲れなどがある場合も同様である。本実施形態では、図1の赤外線センサ519、顔カメラ521、マイクロフォン522、感圧センサ523、脈拍センサ524及び体温センサ525を、ユーザーの生体状態を検出する体状態検出部として用いる。体状態検出部は、様々な角度からユーザーの生体反応を捉えるので、もてなし意思決定部2は、その検出情報からユーザーの精神状態や体調を推定し、これに適合した形態でもてなし動作を行なうようにする。
体状態検出部は、ユーザーの顔の表情(顔カメラ521)、体動作(顔カメラ521、感圧センサ523)、体温(赤外線センサ519、体温センサ525)及び心拍数(脈拍センサ524)の少なくともいずれか(つまり、これらの一部は、要求される精度に応じて省略することも可能である)を検出するものとして構成されている。顔の表情の情報は、顔カメラ521により撮影した顔の静止画像から得られ、図34に示すように、その全体(又は部分:例えば目や口)の画像を、種々の心理状態あるいは体調状態におけるマスター画像と比較することで、ユーザーが怒っているのか、平静であるのか、機嫌がよい(例えば楽しくウキウキしている)のか、機嫌が悪い(例えば落胆ないし悲嘆している)のか、あるいは不安ないし緊張にさらされているのか、などを判定することができる。また、ユーザーに固有のマスター画像を使用するのではなく、顔の輪郭、目(あるいはアイリス)、口及び鼻の位置や形状を、全てのユーザーに共通の顔面特徴量として抽出し、その特徴量を、種々の心理状態あるいは体調状態において予め測定・記憶されている標準特徴量と比較して、同様の判定を行なうことができる。なお、上記の顔面特徴量から顔の類型を性格別に分類し、照合することで、ユーザーの性格種別の特定に使用することもできる。
体の動作は、顔カメラ521により撮影したユーザーの動画像(例えば、小刻みに動いたりする、顔をしかめたりするなど)、感圧センサ523の検知状態(例えば頻繁にハンドルから手を離したりする)などの情報に基づき、例えば運転中のユーザーがいらいらしているのか、そうでないのかを判断することができる。
体温は、ハンドルに取り付けた体温センサ525や、赤外線センサ519で取得した顔のサーモグラフィーなどの体温検出部により検出・特定できる。気持ちが高揚しているとき、緊張しているとき、興奮あるいは怒っているとき、などは体温が高く表れ、逆に、落ち着いているときは、体温は低めに表れる。また、緊張や興奮は、脈拍センサ524が検出する心拍数が高くなることで検出できる。
なお、精神状態とは別に、病気のときや疲れている場合など、体調状態によっても体温は高く表れる。高体温が精神状態及び体調状態のいずれによるものかを判別するには、顔の表情(顔カメラ521)や、体の動き(顔カメラ521、感圧センサ523)など、体温以外の体状態情報と組み合わせることが有効である。また、体調不良の場合は定常的に体温が高いのに対し、緊張や興奮あるいは感情的になった場合の体温上昇は一時的なものなので、時間に応じた体温変化傾向を分析することで判別できる場合もある。なお、ユーザーの平熱を予め登録しておき、その平熱からの温度シフト(特に高温側)を体温検出部により測定することで、より微妙な体温変化ひいてはそれによる細かい感情の動き等も検出することが可能となる。
体状態検出部の検出情報に基づいたもてなし制御に関しては、非常の多くの具体例を考えることができる。例えば、図2のテーマ「適正な運転環境設定」OBJ441では、図13の機能選択テーブル373に示すように、カーナビ534(映像出力用)、カーオーディオシステム515、エアコン514、車内照明511、ハンドル調整ユニット及びシート調整ユニットがもてなし動作部として選択され、上記のように、運転者(ユーザー)の精神状態や体調に応じて楽の選曲を変えたり、エアコンの設定温度や、車内の照明色あるいは照明強度を調整したりする。また、ハンドル調整ユニット及びシート調整ユニットは、モータ動作によりハンドルの位置やシートの前後位置あるいは背もたれの角度等を自動で調整するもので、例えば緊張感が薄らいできていると判定された場合は、背もたれを起こしてシートを前に出したり、ハンドル位置を高めたりして運転に集中できるようにする。また、疲れていると判定された場合は、不快感を示すユーザーの動きが静まる向きに、背もたれの角度を微調整したりすることが有効である。
また、上記以外にも、次のような態様がある(括弧内は、好適な体状態情報を示す)。
・気分が高ぶりすぎていると判断されたとき、あるいは、怒りやストレスを感じていると判断されたとき(顔の表情、体の動き、体温):静かで心地よい音楽を演奏し、気持ちを落ち着かせるようにする。
・後続車から追い越し、割り込み、パッシング、ホーン吹鳴などを受けたときの運転者の不快な精神状態(顔の表情、体の動き)に陥ったとき:「何よ、失礼ね。でも気にしないで。おとなのあなたが大好きよ。」などと、運転者を落ち着かせるメッセージを音声出力する。
・緊張や精神高揚(顔の表情、体温)により、速度が超過したり(車速検知)、あるいは超過しそうになったとき:「ゆっくり行きましょ。安全運転のあなたが‥す・て・き。」などと、速度抑制を促すメッセージを音声出力する。
・疲労や病気症状(発熱など)が認められる場合:速度抑制などの安全運転や、停車・休憩を促す。踏み切りや赤信号に接近したときに注意情報を音声出力する。最悪の場合、運転の見合わせなどを音声出力やモニター表示により通知する。
・気持ちが落ち込んでいる(顔の表情、体温)と判断されたとき:景気のよい音楽を演奏したり、照明を赤系など、刺激的なものに変え、気分を盛り上げる。
この場合、精神/体調情報は、ユーザーの精神状態又は体調を、予め定められた複数の体調/精神レベルのいずれかに特定するものとして定めることができる。また、もてなし動作情報記憶部は、もてなし動作部の動作内容を規定するもてなし動作情報を、複数の体調/精神レベルと対応付けて記憶するものとできる。これにより、もてなし制御部は、取得された体調/精神レベルに対応したもてなし動作情報をもてなし動作情報記憶部から読み出し、これに基づいてもてなし動作部の動作制御を司る。元来アナログ的に複雑かつ連続的に変化するユーザーの体調/精神状態に、段階的なレベル設定を行なうことで、もてなし制御のアルゴリズムを大幅に簡略化することができる。以下、運転中に演奏するもてなし用音楽の選曲を例にとって説明する。
前述の性格種別コードは、特定されたユーザーの性格に対し、適合する性格種別コードを有した音楽ソースを提供する、というように、ユーザーの性格と、選曲される音楽ソースの性格種別コードとが一致する形で利用される。他方、曲モードコードについては、その音楽ソースに付与された曲モードが、特定されたユーザーの精神状態や体調に必ずしも一致適合するように利用されるのではなく、例えば高ぶりすぎた精神状態に対しては、温和・癒し系やヒーリング・α波系の音楽ソースを選択して気持ちを鎮めるなど、ある精神状態を目標値として、ユーザーの精神状態をこれに近づけるように使用される。ユーザーの精神状態高揚度をパラメータ化できる場合、曲モードコードについてもこれに対応付けた序列を設定しておき、該精神状態高揚度パラメータに応じた曲モードコードを選択するように、選曲制御することができる。具体的には、精神状態高揚度パラメータの値が上位となるほどユーザーの精神状態が高揚していると定めたとき、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」の順で序列を定め、精神状態高揚度パラメータの値が上位となるほど、当該序列の下位に位置する曲モードコードを選択すれば、気持ちが高ぶりすぎている場合はこれを静めるように選曲され、逆に落ち込んでいるときは気分が高揚するように選曲されるよう、曲モードコードを選ぶようにするのである。前者の場合は、気分激昂等に伴うスピードの出し過ぎなどを抑制する効果が得られ、後者の場合は、ユーザーの覚醒を促して運転中の注意力を高める効果が得られるので、いずれも安全運転に寄与する。他方、体調レベルが悪化している場合は、上記の精神状態とは無関係に、ユーザーに疲れを催させるような過激な選曲はなるべく行なわないようにすることが望ましいといえる。
以下、具体的処理の一例について説明する。
図34に示すごとく、ユーザーの精神状態は、怒り、不安・緊張、安定の3レベルに区分され、顔カメラの画像、及び心拍数、体温及びハンドル把持力の各検知レベルに、これらの精神状態レベルが一義的に対応付けられている。精神状態レベルは、それぞれの検出内容が示す精神状態レベルのうち、最も多数を占めるものを採用するか、あるいは、検知レベルを数値段階(1,2,3)で表し、その平均値を四捨五入して決定する。個々の精神状態レベルに対して、図18の曲モードコードが一義的に対応付けられている。本実施形態では、「怒り」には「温和・癒し系」(SF)、「不安・緊張」には「爽快系」(ST)、安定には「盛り上げ・活力アップ系」(AG)が対応付けられている(第一設定)。
なお、カーナビゲーションシステム534を用いて、一定距離以上遠方の目的地に向かうときは、帰りは運転者の疲れの要素が加わるから、行きよりもより運転を落ち着かせるよう、対応させる曲モードコードのレベルを下げるように設定することができる(第二設定)。図34では、帰りについては、「怒り」には「ヒーリング・α波系」(HL)、「不安・緊張」には「温和・癒し系」(SF)、安定には「爽快系」(ST)が対応付けられている。
図35は、処理のフローチャートを示すもので、S501で行きか帰りかを判別し、S502、S503で、曲モードコードを対応するレベル設定とする。S504で、体状態検出部の検出状態を読み取り、S505,S506で精神状態を判定する。「安定状態」の場合はS507の処理、「緊張・不安」の場合はS508の処理、「怒り」の場合はS509の処理となる。各々の精神状態に対応する選曲で音楽演奏を行なう(性格種別は前述の方法で別に判定し、その性格種別に対応する音楽ソース群の中で、精神状態に対応する選曲を行なう)。なお、音楽演奏とともに、室内照明やエアコンの調整も、各精神状態に対応した形態で制御を行なう。例えば、「安定状態」の「行き」の場合は、盛り上げ系音楽(AG)の演奏に加え、赤系照明を使用し、室内温度も多少高めに設定する。「帰り」は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。
「行き」で「緊張・不安」の場合は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。「帰り」は、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、室内温度はさらに若干下げた設定とする。そして、「行き」で「怒り」の場合は、早急にクールダウンさせる必要があるので、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、エアコンを利かせて室内温度をさらに下げる。「帰り」は、音楽をヒーリング系(HL)とし、青色系の照明に切り替えるが、疲れをいやすために、温度が極端に下がらぬよう、「行き」で「怒り」の場合よりも温度は高めに設定する。
図2に戻り、降車シーンSCN5及び離脱シーンSCN6では、次のようなもてなし動作が可能である。例えば、テーマ「目的地到着の実感を高めて欲しい」(OBJ151、OBJ161、OBJ251、OBJ261)では、目的地に相応しい音楽や照明によりユーザーの到着をねぎらい、また、「さあ、○○ランドにつきました。思いっきり遊んで楽しみましょう」などのメッセージを出力することができる。また、テーマ「忘れ物・降車時確認」(OBJ351)では、車内への忘れ物や、乳幼児の車内への置き去り防止を促すためのメッセージを出力できる(この動作は、携帯電話1を利用して離脱シーンSCN6でも継続できる)。「降車時の安全確保・トラブル回避」(OBJ351)及び楽に降りたい(OBJ451,OBJ551)では、乗車時と同様、ドアアシスト機構541によるドアの開閉操作補助や、障害物とドアとの衝突抑制モード機能を作動させることができる。なお、離脱シーンにおいても、車外用カメラ518の作動により、自動車周辺の交通状態を監視し、ユーザーに対向車や後続車が迫ってきている場合には、携帯電話1を利用して注意を促すメッセージを出力することなどが可能である。
本発明の自動車用ユーザーもてなしシステムの、電気的構成の一例を示すブロック図。 もてなし意思決定テーブルの一例を示す模式図。 シーン決定処理の流れを示すフローチャート。 もてなし主処理の流れを示すフローチャート。 シーンフラグの内容を示す模式図。 テーマ別アプリケーションライブラリの概念を示す図。 機能選択テーブルの第一例を示す図。 機能選択テーブルの第二例を示す図。 機能選択テーブルの第三例を示す図。 機能選択テーブルの第四例を示す図。 機能選択テーブルの第五例を示す図。 機能選択テーブルの第六例を示す図。 機能選択テーブルの第七例を示す図。 携帯電話として構成したユーザー側端末装置の一例を示す外観斜視図。 ユーザー側端末装置の電気的構成の一例を示すブロック図。 車内照明の電気的構成の一例を示すブロック図。 カーオーディオシステムの電気的構成の一例を示すブロック図。 音楽ソースデータベースの内容を示す概念図。 照明装置の点灯制御データの構成例を示す概念図。 選曲実績記憶部の内容を示す概念図。 選曲実績の統計情報の内容を示す概念図。 ストレス反映操作統計記憶部の内容を示す概念図。 ユーザーが自動車に接近する際のもてなし動作の第一例を示す模式図。 同じく第二例を示す模式図。 同じく第三例を示す模式図。 同じく第四例を示す模式図。 同じく第五例を示す模式図。 ユーザーが自動車に接近する際のもてなし動作の処理の流れを示すフローチャート。 性格分析処理の流れを示すフローチャート。 もてなしソース決定処理の一例を示すフローチャート。 音楽による遠距離もてなしモードでの処理の流れを示すフローチャート。 同じく中距離もてなしモードでの処理の流れを示すフローチャート。 同じく近距離もてなしモードでの処理の流れを示すフローチャート。 体状態検出部からの検出情報を用いた精神状態/体調の推定と、曲モードコードの決定例を示す模式図。 走行中もてなし処理の一例を示すフローチャート。 ユーザー登録情報の内容を示す概念図。 性格種別決定の入力方式の第一例を示す模式図。 性格種別決定の入力方式の第二例を示す模式図。 発光ダイオードを用いた照明装置の一例を示す回路図。 ドアアシスト機構の機械的構成部分の説明図。 ドアアシスト機構の回路図。 障害物用ドア旋回ロック機構の構成例を示す模式図。 図41のドアアシスト機構の、通常時の作用説明図。 ノイズキャンセラの構成例を示す概念ブロック図。 同じくハードウェア構成の一例を示すブロック図。 自動車用ユーザーもてなしシステムにおける、もてなし処理の全体流れを示すフローチャート。 図46に続くフローチャート。 図47に続くフローチャート。
符号の説明
1 携帯電話(ユーザー側端末装置)
2 もてなし意思決定部(シーン特定手段)
3 もてなし実行制御部
4 通信装置(ホスト側通信手段)
100 自動車用ユーザーもてなしシステム
311 スピーカ(音声出力部)
323 無端末側通信装置
350 シーンフラグ(現在シーン特定情報記憶手段)
502〜517,534,541,1001B もてなし動作部
515 カーオーディオシステム
515b、515c 音楽ソースデータベース(もてなし動作情報記憶部)
515d 操作部(選曲部:ユーザー生体特性情報取得手段)
520 着座センサ(シーン推定情報取得手段)
535 記憶装置(もてなし動作情報記憶部、選曲実績記憶部)
537 ドアカーテシスイッチ(シーン推定情報取得手段)
538 イグニッションスイッチ(シーン推定情報取得手段)
504〜512 照明装置
511 室内照明(照明装置)
532 GPS(接近検出手段)
554 GPS(接近検出手段)
521 顔カメラ(体状態検出部)
523 感圧センサ(体状態検出部)
519 赤外線センサ(体状態検出部)
525 体温センサ(体状態検出部)
524 脈拍センサ(体状態検出部)
1170 無線通信網

Claims (14)

  1. ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作を、予め定められた複数のシーンに区切り、区切られた複数のシーン毎に前記ユーザーによる前記自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
    前記シーン毎に予め定められたユーザーの位置又は動作をシーン推定情報として取得するシーン推定情報取得手段と、取得された前記シーン推定情報に基づいて個々の前記シーンを特定するシーン特定手段と、特定されたシーンに応じて、使用するもてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定めるもてなし内容決定手段とを有するもてなし意思決定部と、
    前記もてなし意思決定部による決定内容に従うもてなし動作を行なうように、対応するもてなし動作部の動作制御を行なうもてなし実行制御部と、
    を備えたことを特徴とする自動車用ユーザーもてなしシステム。
  2. 現在のシーンを特定する現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段が設けられ、前記シーン特定手段は、該現在シーン特定情報の記憶内容に基づいて現在シーンを把握するとともに、該現在シーンの把握を前提として、予め定められたシーン推定情報取得手段により、その後続シーンに特有のユーザー位置又は動作が検出された場合に、当該後続シーンに移行したと判断し、該後続シーンの特定情報を前記現在シーン特定情報として前記現在シーン特定情報記憶手段に記憶させる請求項1記載の自動車用ユーザーもてなしシステム。
  3. 前記シーン毎に、ユーザに対して施すもてなしのテーマが複数定められ、それらテーマ毎に、使用する前記もてなし動作部と、該もてなし動作部によるなもてなし動作の内容とが固有に定められてなり、
    前記もてなし意思決定部は、それら複数のテーマの一部又は全てについて、個々のテーマにて使用するもてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定め、前記もてなし実行制御部は、前記テーマ毎に対応するもてなし動作部の動作制御を行なうものである請求項1又は請求項2に記載の自動車用ユーザーもてなしシステム。
  4. 前記ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得するユーザー生体特性情報取得手段を有し、
    前記もてなし内容決定手段は、各シーンにおいて用意される前記複数のもてなし動作の個々の実行内容を、取得された前記ユーザー性格情報又は前記精神/体調情報の内容に応じて変化させる請求項1ないし請求項3のいずれか1項に記載の自動車用ユーザーもてなしシステム。
  5. 前記シーン毎に予め複数のもてなし動作が用意されるとともに、それら複数のもてなし動作には採用の優先順位が予め定められてなり、
    前記もてなし内容決定手段は、各シーンにおいて、用意された前記複数のもてなし動作のうち、前記優先順位の高いものから順次選択するものである請求項1ないし請求項4のいずれか1項に記載の自動車用ユーザーもてなしシステム。
  6. 前記シーン特定手段は、前記ユーザーが自動車へ接近する接近シーンと、前記ユーザーが該自動車内にて運転又は滞在する運転/滞在シーンとを特定するものであり、前記もてなし内容決定手段は、これら各シーンに、使用する前記もてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定めるものである請求項1ないし請求項5のいずれか1項に記載の自動車用ユーザーもてなしシステム。
  7. 前記シーン推定情報取得手段は、前記接近シーンを特定するために、前記自動車と、当該自動車外に位置する前記ユーザーとの相対距離に基づいて、前記ユーザーの前記自動車への接近を検出する接近検出手段を有し、また、前記運転/滞在シーンを特定するために、前記自動車の座席に着座した前記ユーザーを検出する着座検出手段を有するものである請求項6に記載の自動車用ユーザーもてなしシステム。
  8. 前記接近シーンにおいては、前記自動車に搭載された自動車外空間を照らし出す照明装置が前記もてなし動作部として定められ、該照明装置を前記ユーザーの出迎えのために点灯させることがもてなし動作の内容として定められている請求項6又は請求項7に記載の自動車用ユーザーもてなしシステム。
  9. 駐車中の自動車又は該自動車の周辺設備に設けられ、外部の端末装置と通信するホスト側通信手段と、
    前記自動車のユーザーが携帯するとともに、前記ホスト側通信手段と前記無線通信網を介して通信する端末側通信手段を有したユーザー側端末装置とを備え、
    前記接近シーンにおいて前記もてなし動作部は、前記ユーザー側端末装置に設けられた音声出力部であり、
    前記ホスト側通信手段が前記もてなし制御部であり、前記接近シーンにおいて、前記音声出力部が動作するよう、前記ユーザー側端末装置に対し無線指令する請求項6ないし請求項8のいずれか1項に記載の自動車用ユーザーもてなしシステム。
  10. 前記音声出力部から前記ユーザーに対し、出発前の注意確認事項を促すメッセージを音声出力する請求項9記載の自動車用ユーザーもてなしシステム。
  11. 前記ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得するユーザー生体特性情報取得手段を有し、
    前記運転/滞在シーンにおいて、前記自動車に搭載されたエアコンが前記もてなし動作部として定められ、
    前記もてなし内容決定手段は、取得された前記ユーザー性格情報又は前記精神/体調情報の内容に応じて、前記エアコンの設定温度を変化させる請求項10記載の自動車用ユーザーもてなしシステム。
  12. 前記ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得するユーザー生体特性情報取得手段を有し、
    前記運転/滞在シーンにおいて、前記自動車に搭載されたカーオーディオシステムが前記もてなし動作部として定められ、
    前記もてなし内容決定手段は、取得された前記ユーザー性格情報又は前記精神/体調情報の内容に応じて、前記カーオーディオシステムから出力する音楽ソースの選曲内容を変化させる請求項10又は請求項11に記載の自動車用ユーザーもてなしシステム。
  13. 前記シーン特定手段は、前記ユーザーが自動車へ接近する接近シーンと、前記ユーザーが該自動車へ乗り込む乗り込みシーンと、前記ユーザーが該自動車内にて運転又は滞在する運転/滞在シーンと、前記ユーザーが前記自動車から降車する降車シーンとを、時系列的にこの順序で特定するものであり、前記もてなし内容決定手段は、これら各シーンに対し、使用する前記もてなし動作部と、該もてなし動作部によるなもてなし動作の内容とを定めるものである請求項6ないし請求項12のいずれか1項に記載の自動車用ユーザーもてなしシステム。
  14. 前記乗り込みシーン及び前記降車シーンにおいて前記もてなし動作部は、前記自動車に設けられたドアの自動開閉装置又は開閉アシスト機構であり、
    該自動開閉装置又は開閉アシスト機構を、前記ユーザーの乗り込み補助のために動作させることがもてなし動作の内容として定められている請求項13に記載の自動車用ユーザーもてなしシステム。
JP2005108031A 2005-04-04 2005-04-04 自動車用ユーザーもてなしシステム Expired - Fee Related JP4535274B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005108031A JP4535274B2 (ja) 2005-04-04 2005-04-04 自動車用ユーザーもてなしシステム
DE102006015332A DE102006015332A1 (de) 2005-04-04 2006-04-03 Gastservice-System für Fahrzeugnutzer
US11/396,699 US8140344B2 (en) 2005-04-04 2006-04-04 Vehicular user hospitality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005108031A JP4535274B2 (ja) 2005-04-04 2005-04-04 自動車用ユーザーもてなしシステム

Publications (2)

Publication Number Publication Date
JP2006282116A true JP2006282116A (ja) 2006-10-19
JP4535274B2 JP4535274B2 (ja) 2010-09-01

Family

ID=37404444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005108031A Expired - Fee Related JP4535274B2 (ja) 2005-04-04 2005-04-04 自動車用ユーザーもてなしシステム

Country Status (1)

Country Link
JP (1) JP4535274B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008019844A (ja) * 2006-07-14 2008-01-31 Denso It Laboratory Inc 車両用サービス合成装置及びコンピュータプログラム並びに車両用サービス提供システム
JP2008108315A (ja) * 2006-10-24 2008-05-08 Pioneer Electronic Corp 情報再生装置及び情報再生方法等
JP2008296903A (ja) * 2007-06-04 2008-12-11 Min Hwa Lee 生理信号を用いた車両用電子デバイスの制御
JP2009126335A (ja) * 2007-11-22 2009-06-11 Denso Corp 自動車用ユーザーもてなしシステム
JP2013072759A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 音楽再生装置及び音楽再生方法
JP2013222299A (ja) * 2012-04-16 2013-10-28 Toyota Central R&D Labs Inc 操作支援装置、操作システム、操作支援方法、及びプログラム
JP2014013448A (ja) * 2012-07-03 2014-01-23 Daiwa House Industry Co Ltd 不快度推定システム及び不快度推定方法
WO2016028007A1 (en) * 2014-08-18 2016-02-25 Lg Electronics Inc. Wearable device and method of controlling the same
WO2018023623A1 (zh) * 2016-08-04 2018-02-08 汤隆初 汽车降温技术的数据采集方法以及温度调节系统
JP2020152163A (ja) * 2019-03-18 2020-09-24 本田技研工業株式会社 照明制御装置、及び、照明制御方法
WO2021053861A1 (ja) * 2019-09-20 2021-03-25 アルプスアルパイン株式会社 操作者特定システム
CN115223327A (zh) * 2021-07-14 2022-10-21 广州汽车集团股份有限公司 一种车内活体保护方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03262754A (ja) * 1990-03-14 1991-11-22 Mitsubishi Motors Corp 運転装備位置の記憶再生装置
JP2002342892A (ja) * 2001-05-21 2002-11-29 Mazda Motor Corp 車両の制御装置、車両の制御方法、当該方法を実行するコンピュータプログラム、並びに当該コンピュータプログラムを格納した記憶媒体
JP2003011639A (ja) * 2001-06-28 2003-01-15 Fujikura Ltd 空調制御装置
JP2003240320A (ja) * 2002-02-18 2003-08-27 Toshiba Corp 空気調節システムおよび安眠装置
JP2003312391A (ja) * 2002-04-17 2003-11-06 Fujitsu Ten Ltd 車載機器の自動調整装置
JP2004254750A (ja) * 2003-02-24 2004-09-16 Nissan Motor Co Ltd カーオーディオシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03262754A (ja) * 1990-03-14 1991-11-22 Mitsubishi Motors Corp 運転装備位置の記憶再生装置
JP2002342892A (ja) * 2001-05-21 2002-11-29 Mazda Motor Corp 車両の制御装置、車両の制御方法、当該方法を実行するコンピュータプログラム、並びに当該コンピュータプログラムを格納した記憶媒体
JP2003011639A (ja) * 2001-06-28 2003-01-15 Fujikura Ltd 空調制御装置
JP2003240320A (ja) * 2002-02-18 2003-08-27 Toshiba Corp 空気調節システムおよび安眠装置
JP2003312391A (ja) * 2002-04-17 2003-11-06 Fujitsu Ten Ltd 車載機器の自動調整装置
JP2004254750A (ja) * 2003-02-24 2004-09-16 Nissan Motor Co Ltd カーオーディオシステム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008019844A (ja) * 2006-07-14 2008-01-31 Denso It Laboratory Inc 車両用サービス合成装置及びコンピュータプログラム並びに車両用サービス提供システム
JP4554569B2 (ja) * 2006-07-14 2010-09-29 株式会社デンソーアイティーラボラトリ 車両用サービス合成装置及びコンピュータプログラム並びに車両用サービス提供システム
JP2008108315A (ja) * 2006-10-24 2008-05-08 Pioneer Electronic Corp 情報再生装置及び情報再生方法等
JP2008296903A (ja) * 2007-06-04 2008-12-11 Min Hwa Lee 生理信号を用いた車両用電子デバイスの制御
JP2009126335A (ja) * 2007-11-22 2009-06-11 Denso Corp 自動車用ユーザーもてなしシステム
JP2013072759A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 音楽再生装置及び音楽再生方法
JP2013222299A (ja) * 2012-04-16 2013-10-28 Toyota Central R&D Labs Inc 操作支援装置、操作システム、操作支援方法、及びプログラム
JP2014013448A (ja) * 2012-07-03 2014-01-23 Daiwa House Industry Co Ltd 不快度推定システム及び不快度推定方法
WO2016028007A1 (en) * 2014-08-18 2016-02-25 Lg Electronics Inc. Wearable device and method of controlling the same
US9508259B2 (en) 2014-08-18 2016-11-29 Lg Electronics Inc. Wearable device and method of controlling the same
WO2018023623A1 (zh) * 2016-08-04 2018-02-08 汤隆初 汽车降温技术的数据采集方法以及温度调节系统
JP2020152163A (ja) * 2019-03-18 2020-09-24 本田技研工業株式会社 照明制御装置、及び、照明制御方法
CN111703363A (zh) * 2019-03-18 2020-09-25 本田技研工业株式会社 照明控制装置及照明控制方法
JP7082586B2 (ja) 2019-03-18 2022-06-08 本田技研工業株式会社 照明制御装置、及び、照明制御方法
WO2021053861A1 (ja) * 2019-09-20 2021-03-25 アルプスアルパイン株式会社 操作者特定システム
CN115223327A (zh) * 2021-07-14 2022-10-21 广州汽车集团股份有限公司 一种车内活体保护方法及系统

Also Published As

Publication number Publication date
JP4535274B2 (ja) 2010-09-01

Similar Documents

Publication Publication Date Title
JP4535272B2 (ja) 自動車用ユーザーもてなしシステム
JP4525925B2 (ja) 自動車用ユーザーもてなしシステム
JP4535274B2 (ja) 自動車用ユーザーもてなしシステム
JP4509042B2 (ja) 自動車用もてなし情報提供システム
JP4332813B2 (ja) 自動車用ユーザーもてなしシステム
JP4572889B2 (ja) 自動車用ユーザーもてなしシステム
JP4525926B2 (ja) 自動車用ユーザーもてなしシステム
JP4441887B2 (ja) 自動車用ユーザーもてなしシステム
JP5152570B2 (ja) 自動車用ユーザーもてなしシステム
US8140344B2 (en) Vehicular user hospitality system
JP4621983B2 (ja) 自動車用ユーザーもてなしシステム
JP2009282704A (ja) 自動車用情報提供システム
JP2008017227A (ja) 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP4535273B2 (ja) 自動車用ユーザーもてなしシステム
JP6083441B2 (ja) 車両用乗員感情対応制御装置
JP2009040368A (ja) 自動車用情報提供装置
JP6115577B2 (ja) 車両用乗員感情対応制御装置
JP6213489B2 (ja) 車両用乗員感情対応制御装置
JP2016137200A (ja) 車両用乗員感情対応制御装置
JP4968532B2 (ja) 自動車用ユーザーもてなしシステム
JP2016137202A (ja) 車両用乗員感情対応制御装置
JP2016137201A (ja) 車両用乗員感情対応制御装置
WO2022270234A1 (ja) 移動体用装置及び移動体用制御方法
JP2022019298A (ja) 車両ユーザ支援システム、車両ユーザ支援装置及び車両ユーザ支援サーバ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4535274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140625

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees