本発明においては、ユーザーの状態として、ユーザーと自動車との相対的な関係によって定まるシーンを把握する。具体的には、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作を、予め定められた複数のシーンに区切り、区切られた複数のシーン毎にユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。ユーザーの自動車利用に係る様々なシーン(場面)毎に、自動車側にて行なうもてなし動作が変化するので、個々のシーンに応じてユーザーが最も欲するもてなし動作を供することが可能となり、適確かつきめ細かいサービスが可能となる。また、ユーザーへの互いに異なるもてなし内容を、一連のシーンによって関連付けることにより系統化できる。その結果、ユーザーは、あたかも一流のホテル等に宿泊している場合のごとく、いつ如何なる場面でも自動車側から客人としての一貫したサービスを受けることが可能となり、「非人間的」主体であるはずの自動車が「人間的」なホストとして機能するというバーチャルな効果も加わって、今までにない斬新な自動車利用の楽しみを提供することが可能となる。
さらに、本発明においては自動車側にカーナビゲーション装置が搭載されることを前提に、自動車外(例えばユーザーの自宅)に、このカーナビゲーション装置に設定すべき目的地の情報を含むスケジュールを、ユーザー特定情報とともに登録・管理する外部スケジューラを設け、目的地をユーザー特定情報とともに該外部スケジューラからカーナビゲーション装置側に無線送信するようにした。そして、自動車側では、受信したユーザー特定情報と、特定されたシーンとに応じて、使用するもてなし動作部と、該もてなし動作部によるもてなし動作の内容とをユーザーに特有のものに定めるようにした。これにより、自動車を利用するに際してのカーナビゲーション装置への目的地設定を、乗車前に事前設定することが可能となるばかりでなく、自動車側ではスケジューラと連動した目的地情報をユーザー情報とともに受信することで、特定目的地への走行イベントを、ユーザー毎にカスタマイズされたシーン別のもてなし動作によりフォローアップすることができ、ユーザーを一層満足させることができる。
シーンの決定は、「ユーザーによる自動車利用」の枠内で定めるものであり、近づいて、乗り込み、運転/滞在し、目的地に着けばドアを開けて降車する、という基本的な流れは変化しない。従って、この流れに沿ってスムーズにシーンを切り分けることが、ユーザーに対し自然で違和感のないもてなしを提供する観点において肝要である。この場合、次のような構成を採用するとよい。すなわち、現在のシーンを特定する現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段を設ける。シーン特定手段は、該現在シーン特定情報の記憶内容に基づいて現在シーンを把握するとともに、該現在シーンの把握を前提として、予め定められたシーン推定情報取得手段により、その後続シーンに特有のユーザー位置又は動作が検出された場合に、当該後続シーンに移行したと判断し、該後続シーンの特定情報を現在シーン特定情報として現在シーン特定情報記憶手段に記憶させる。現在がどのシーンにあるかを把握できれば、上記のような自動車使用時のユーザーの行動の流れから、次にどのようなシーンが到来するかは予測でき、その後続シーンに特有のユーザー位置又は動作を検出することで、シーン間の移行を適確に把握できる。また、ドアの開閉が乗車時と降車時との双方に生ずる事例を考慮すればわかりやすいように、複数のシーンにおいて、後続シーン特定情報(前記事例では「ドアの開閉」)の内容が同一となる場合がある。しかし、現在のシーンが何であるかを把握することで、そのような場合でも後続シーンの誤把握を防止でき、もてなし動作の切り替えを適確に行なうことができる。
本発明の自動車用もてなしシステムにおいては、シーン毎に、ユーザーに対して施すもてなしのテーマを複数定めることも可能であり、それらテーマ毎に、使用するもてなし動作部と、該もてなし動作部によるもてなし動作の内容とを固有に定めることが可能である。この場合、もてなし意思決定部は、それら複数のテーマの一部又は全てについて、個々のテーマにて使用するもてなし動作部と、該もてなし動作部によるもてなし動作の内容とを定め、もてなし実行制御部は、テーマ毎に対応するもてなし動作部の動作制御を行なうものとすることができる。同じシーンであっても、ユーザーが「もてなし」として何をして欲しいか、という、いわば「もてなしの指向」は必ずしも一義的ではなく、また、ユーザーの性格や精神状態あるいは体調などによって、「もてなしに望む内容」も相違することがある。こうした「もてなしの指向」や「もてなしに望む内容」は、各々個別に「もてなしのテーマ」として把握することができ、それらテーマ毎にもてなしの内容を定めておくことで、より多面的なもてなしサービスを提供することが可能となる。
本発明の自動車用もてなしシステムには、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体特性情報を取得するユーザー生体特性情報取得手段を設けることができる。そして、もてなし内容決定手段は、各シーンにおいて用意される複数のもてなし動作の個々の実行内容を、取得されたユーザー性格情報又は精神/体調情報の内容に応じて変化させるものとすることができる。この構成によると、もてなし動作部の動作内容が、ユーザー生体特性情報の内容に応じて変化し、ひいては、自動車利用に際してのユーザーへサービス効果を、ユーザー毎の固有の性格、精神状態あるいは体調に応じて、適確かつきめ細かく発揮することができる。
シーン毎に予め複数のもてなし動作が用意される場合、それら複数のもてなし動作には、ユーザが当該もてなしを指向する度合いに応じて採用の優先順位を予め定めておくことができる。もてなし内容決定手段は、各シーンにおいて、用意された複数のもてなし動作のうち優先順位の高いものから順次選択するものとすることができる。同じシーンでのもてなしであっても、ユーザーを取り巻く状況や、ユーザーの指向によって施すべきもてなしの程度には差を生ずることも多い。そこで、シーン毎に複数のもてなし動作を用意しておき、予め定められた優先順位に従って選択しつつ実施することで、上記のような場合にも柔軟に対応することができる。
また、前記した「もてなしの指向」や「もてなしに望む内容」に応じたもてなしのジャンルをシーン毎に複数用意し、それら複数ジャンルにそれぞれ固有のもてなし動作を、対応するもてなし動作部に対し、同じシーン内にて並列に実行させることができる。このようにすると、ユーザーに対し、設定するジャンルに応じた様々な角度からのもてなしを同時に施すことができ、同じシーンでの多面的かつ奥行きの深いもてなしにより、ユーザーに対する満足度を高めることができる。例えば、上記各シーンにおいては、もてなしのジャンルを、ユーザーの精神状態もしくは体調状態の向上又は悪化抑制に関係した、互いに異なる複数のもてなし目的に対応して定めることができ、それら複数のもてなしのジャンルから2以上のものを選択し、選択された各ジャンルのもてなし動作を並列に実行することが可能である。例えば、同一のシーンにおいて異なる目的を達成するジャンルの実例として、「ユーザー気持ちを盛り上げる」ジャンルと、「不安を解消する」ジャンルとを例示できるが、いずれのジャンルに属するもてなし動作も、前者は「気分高揚」という精神状態の向上に寄与し、後者は「不安増加阻止」という精神状態の悪化抑制に寄与するものである。これらのジャンルのもてなし動作を、並列に実行することで、気分高揚と不安解消という二面的なもてなし効果を同時に達成でき、結果として、ユーザは、その精神状態をより立体的に改善することが可能となる。
また、普段から派手好きなユーザーと、地味でおとなしいタイプのユーザーとでは、もてなしに望む内容が異なるのは当然であるし、同じユーザーでも機嫌のよいときと悪いときとでは、それぞれの状況に適合した方向性の違うもてなしを提供することが有効であるといえる。このように、もてなしの指向決定に関与する条件が、互いに相反するユーザーの性格や状態に起因している場合は、次のように構成することで適確に対応することができる。すなわち、もてなしのジャンルの一部をなす複数のものが、ユーザーの互いに相反するもてなし指向に対応して定められた相反指向型ジャンルとされ、それら相反指向型ジャンルのいずれか1つに属するもてなし動作を選択的に実行する。ユーザーの気分や性格によって、複数あるもてなし動作から適正なものを選定する上で有効な手法であるといえる。この場合、前述のユーザー生体特性情報取得手段が取得するユーザー性格情報又は精神/体調情報の内容に応じて、相反指向型ジャンルのいずれを選択するかを決定するようにすれば、ユーザー性格や精神/体調に応じて、それぞれに適合するもてなし動作を容易に選定することができる。
シーン特定手段は、ユーザーが自動車へ接近する接近シーンと、ユーザーが該自動車内にて運転又は滞在する運転/滞在シーンとを特定するものであり、もてなし内容決定手段は、これら各シーンに、使用するもてなし動作部と、該もてなし動作部によるもてなし動作の内容とを、ユーザーに特有のものに定めるものとすることができる。自動車の運転時もしくは滞在時は、自動車利用に係るシーンとしては長時間を占め、該運転/滞在シーンでのもてなしに重点を置くことは、ユーザーが快適に自動車を使用できるかどうかの重要な鍵を握っている。他方、接近シーンは、上記運転/滞在シーンに先立つシーンとしては、これに次ぐ時間的比重を占めるものであり、これをもてなしの機会として有効に活用することで、運転/滞在シーンに臨むユーザーの精神状態を改善し、ひいては運転/滞在シーンでのもてなし効果を一層高めることにも寄与する。そして、外部スケジューラから受信するユーザー特定情報により、もてなすべき相手が誰なのかを自動車側で適正に把握できるので、上記各シーンでのもてなし内容に係る一層の適正化を図ることができる。特に、接近シーンでは、接近途上でユーザーを特定する必要がなくなるので、スムーズできめ細かいもてなし動作が可能となる。
シーン推定情報取得手段は、上記接近シーンを特定するために、自動車と、当該自動車外に位置するユーザーとの相対距離に基づいて、ユーザーの自動車への接近を検出する接近検出手段を有するものとして構成できる。また、運転/滞在シーンを特定するために、自動車の座席に着座したユーザーを検出する着座検出手段を有するものとして構成できる。いずれも、接近シーンないし運転/滞在シーンを適確に特定できる利点がある。
次に、もてなし制御部のもてなし動作部の動作内容は、前述の接近検出手段が検出するユーザーと自動車との距離に応じて変化させるものとして構成することができる。これによると、もてなし動作部の動作内容が、ユーザーと自動車との距離に応じて変化するように制御されるので、もてなし動作部によるユーザーへのサービス効果を上記距離に応じて適正かつきめ細かく発揮することができ、ひいては、ユーザーを主人あるいは客人として自動車側が積極的にもてなす雰囲気も高めることができる。
この場合、もてなし制御部は、ユーザーが自動車に近づくほど、該ユーザーの気持ちを高揚させるように、もてなし動作部の動作内容を変化させるものとすることができる。これにより、ユーザーが自動車に近づくほどもてなしの動作が盛り上がるので、自動車へ乗り込む際の気分高揚に著しく貢献することができる。具体的には、次のような態様を例示できる。
・もてなし用に出力する音楽を距離が近づくほどアップテンポにする。また、心拍の倍数にテンポを設定したり、距離が近づくほどボリュームを上げる、あるいは、気分がより盛り上がる曲に変える、といった態様も可能である。
・もてなし用の照明を明るくしたり、色調を赤系に変える。また、照明の点滅(ないし変化)周期を音楽と同期させることも可能である。
もてなし制御部は、既に動作中のもてなし動作部の停止、及び未動作のもてなし動作部の動作開始の少なくともいずれか(当然、両者の組み合わせである、複数のもてなし動作部間での動作切り替えを含む)に基づいて、ユーザーと自動車との距離に応じてもてなし動作部の動作内容を段階的に変化させるものとして構成することができる。この構成によると、ユーザーと自動車との距離に適当な閾値を定め、閾値を超えて自動車に接近するかどうかの簡単な判定で、個々のもてなし動作部を単位として動作/非動作の切り替え制御を行なえばよく、上記の本発明の効果を比較的軽量な制御処理にて達成することが可能となる。
接近シーンにおいては、自動車に搭載された自動車外空間を照らし出す照明装置(ヘッドランプ、テールランプ、ハザードランプなど:室内灯も窓ガラスを介した漏洩により車外空間を照らすことができる)をもてなし動作部として定めることができる。そして、該照明装置をユーザーの出迎えのために点灯させることを、もてなし動作の内容として定めることができる。これによると、自動車に搭載された照明類を、ユーザーの出迎え演出のためのイルミネーションとして使用でき、気分高揚等に寄与する。また、夜間や暗所の場合、駐車した自動車の位置を把握しやすくできる利点も生ずる。
上記の場合、もてなし制御部は、ユーザー側端末装置と自動車との距離が縮小するにつれて総照明光量が減少するように、照明装置を点灯制御することができる。自動車までの距離が長い段階では、総照明光量を高めることで、自動車までの間に障害物等の異常がないかをより把握しやすくすることができ、自動車までの距離が縮小すれば、必要な視野だけを照らすことができるよう、光量を少なくすれば無駄を排除することができ、また照明光源に接近したときの眩しさも軽減できる。
なお、もてなし動作部は、必ずしも自動車に搭載された設備に限られるものではなく、駐車中の自動車の周辺設備(例えば、指定された駐車場の付帯設備など)であってもよいし、自動車の利用に際してユーザーが必ず携行する携行品をもてなし動作部としてもよい。例えば後者の場合の一例として、下記のような構成を例示できる。すなわち、駐車中の自動車又は該自動車の周辺設備に設けられ、外部の端末装置と通信するホスト側通信手段と、自動車のユーザーが携帯するとともに、ホスト側通信手段と無線通信網を介して通信する端末側通信手段を有したユーザー側端末装置とを設けるとともに、上記の接近シーンにおいてもてなし動作部を、ユーザー側端末装置に設けられた音声出力部とすることができる。この場合、ホスト側通信手段がもてなし制御部であり、接近シーンにおいて、音声出力部が動作するよう、ユーザー側端末装置に対し無線指令するものとすることができる。この態様では、ユーザーが自動車に接近すると、ホスト側通信手段によってユーザー側端末装置に対し無線指令が送られ、ユーザーが携帯したユーザー側端末装置からもてなし用の音声(音楽、効果音、出迎えの言葉など)を出力させる。これにより、自動車に近づくユーザーの音声によるもてなしを、そのユーザーが携行するユーザー側端末装置により効果的に実行することができるようになる。音声による自動車側に搭載されたカーオーディオシステムを音声出力部として使用することもできるが、窓が閉じられていればもてなし音声がユーザーまで十分に届かないし、窓を開いて自動車外に音を漏出させると近所迷惑にもなる。しかし、上記のようにユーザー側端末装置をもてなし音の出力部として利用すれば、ユーザーの手元で音声出力できるのでもてなし効果が断然高められ、また、もてなし音が遠方まで及んで迷惑になるようなこともない。
この場合、音楽や出迎えの言葉を音声出力部から出力すれば、ユーザーの精神状態の向上ないし改善に寄与するが、これとは違うテーマ(あるいはジャンル)のもてなし動作として、出発前の注意確認事項を促すメッセージを音声出力する方法もある。これにより、同じ接近シーンであっても、ユーザーが注意確認を怠った場合の、不測の事態を防止する、という別の目的を達成することができる。例えば、注意確認事項を促すメッセージは、例えば忘れ物や戸締りなどの確認を促すメッセージとすることができるが、これに限られるものではない。
次に、自動車側無線通信手段は、外部スケジューラから目的地に対応するスケジュールの情報の少なくとも一部も合わせて受信するものとすることができる。また、もてなし内容決定手段は、受信したスケジュール情報と、ユーザー特定情報と、特定されたシーンとに応じて、使用するもてなし動作部と、該もてなし動作部によるもてなし動作の内容とを定めるものとできる。特定目的地へ向うスケジュール情報を合わせて受信することで、走行イベントの発生タイミングやイベント内容に応じて、各シーンでのもてなし動作の内容や作動タイミングのさらなる適正化を図ることが可能となる。例えば、もてなし内容決定手段は、スケジュール情報に含まれる記念日(例えば誕生日や結婚記念日など)の情報に基づいて、使用するもてなし動作部と、該もてなし動作部によるもてなし動作の内容とを該記念日特有のものに定めるものとすることができる。これにより、もてなし動作を特定記念日と結びついた内容にカスタマイズすることができ、当該記念日に係る走行イベントを大いに盛り上げることが可能となる。
また、本発明の自動車用ユーザーもてなしシステムにおいては、外部スケジューラに設けられ、スケジュール情報として目的地への希望到着時刻を入力するための希望到着時刻入力手段と、検索された経路の距離に基づいて目的地までの所要時間を算出する所要時間算出手段と、入力された希望到着時刻と算出された所要時間に基づいて目的地へ向かうための推奨出発時刻を算出する推奨出発時刻算出手段とを設けることができる。前述のスケジュール管理手段は、算出された推奨出発時刻までの残時間が予め定められた値以下となった場合に、ユーザーに該出発時刻が接近又は到来したことを報知するスケジュール報知手段を有するものとして構成することができる。自動車を利用して外出する場合、目的地に何時ごろつけばよいということは比較的明確に認識できても、訪問頻度の少ない(あるいははじめての)目的地の場合は、所要時間が正確にわからないため、出発時間の適正化に失敗することも多い。しかし、上記構成では、希望到着時刻を外部スケジューラ側から入力すれば、カーナビゲーション装置で検索された経路から所要時間を推定でき、希望到着時刻から推奨出発時刻を逆算出することができる。従って、この推奨出発時刻の接近を外部スケジューラにてユーザーに報知することで、ユーザーに適正出発時刻を明確に把握させることができ、出発前の準備を整える余裕を持たせたり、出発の遅れを防止することができる。
他方、スケジュール管理手段は、推奨出発時刻までの残時間が予め定められた値以下となった場合に、スケジューラ側無線通信手段から自動車側に、ユーザーの自動車への乗り込みに先立つ準備もてなし動作の開始を指令するものとして構成することができる。上記のごとく推奨出発時刻を把握することで、自動車側では準備動作を時間的な余裕を持って開始することができ、万全の状態でユーザーを迎え入れることが可能となる。自動車側における準備もてなし動作としては、自動車に搭載されたエアコンの動作を開始させる例を挙げることができる。エアコンのコンプレッサーが自動車の走行駆動源(エンジンないしモーター)により駆動される場合は、該走行駆動源も動作させる必要があることはもちろんである。夏や冬においては、ユーザーが乗り込む前にエアコン動作させることで室温を適正に整えることができ、また、冬季においてはエアコンの吹き出しをデフォッガモードとすることでフロントグラスやリアウィンドウの曇りや凍結を、出発時刻までに解消しておくことができる。
次に、本発明の自動車用ユーザーもてなしシステムにおいては、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし情報を、個々のユーザーと該もてなし情報との適合関係とともに記憶するもてなし情報記憶部を設けることができる。もてなし内容決定手段は、ユーザー特定情報が特定するユーザーに適合するもてなし情報を、もてなし情報記憶部上にて検索するもてなし情報検索手段を有し、もてなし動作部は、運転/滞在シーンにて、検索されたもてなし情報を出力するもてなし情報出力手段を備えるものとして構成できる。上記の構成によると、ユーザーと記憶されたもてなし情報との適合関係に基づいて、ユーザーに適合するもてなし情報を検索して出力するようにした。これにより、ユーザー毎に適正な情報をその都度タイムリーにきめ細かく提供することが可能となる。
上記ユーザーともてなし情報との適合関係は、ユーザーが自発的に設定することも可能であるが、簡便な方法としては、ユーザーと該もてなし情報との適合関係を、ユーザーによる各もてなし情報の過去の選択実績情報として記憶しておく態様を例示することができる。もてなし内容決定手段は、選択実績情報におけるユーザーの選択頻度に基づいて、ユーザーに適合するもてなし情報を検索するものとできる。つまり、特定ユーザーが嗜好するもてなし情報は、当然そのユーザーによる選択の頻度が高くなるから、その実績情報(統計情報を含む)における選択頻度に基づいてもてなし情報の検索を行なえば、そのユーザーにとっての適合性の高いもてなし情報を適切に検索することができる。これに、後述のごとく、そのユーザーの性格や精神/体調状態を反映したユーザー生態情報による絞り込みを加えれば、検索のさらなる適正化を図ることができるようになる。また、もてなし情報記憶部にてもてなし情報を複数の項目に分類した形で記憶しておき、もてなし内容決定手段を、選択実績情報においてユーザーの選択頻度の高い分類項目にもてなし情報を、ユーザーに適合するもてなし情報として検索するものとすれば、ユーザーに適合するもてなし情報をより系統的に検索することが可能となる。
もてなし情報出力手段は、例えばカーナビゲーション装置とすることができる。この場合、もてなし情報記憶部は、該カーナビゲーション装置にて目的地設定に使用する目的地データベースとして構成することができ、もてなし情報検索手段は、目的地に至る経路の途上又は近傍に存在する推奨途中経由地のうちユーザーに適合するものを目的地データベース上にて検索するものとすることができる。もてなし情報出力手段は、該検索された推奨途中経由地をカーナビゲーション装置の表示画面上に出力するものとできる。目的地に向けて出発開始後であっても、途中、休憩や食事などのために立ち寄りたい経由地(副目的地)が生ずることがある。この推奨途中経由地としてユーザーに適合するものが目的地データベース上で検索されるようにすることで、ユーザーの望む経由地の候補を適切に提示することが可能となり、走行イベントを一層充実したものとすることができる。特に、食事のスポットは、多くの走行イベントに欠かせない考慮要素であり、この場合、もてなし情報検索手段を、ユーザーが嗜好する飲食店を推奨途中経由地として検索するものとして構成すれば効果的である。
一方、もてなし情報出力手段はカーオーディオシステムとすることができ、もてなし情報記憶部は、カーオーディオシステムにて再生させるべき音楽ソースデータを記憶する音楽ソースデータベースであり、もてなし情報検索手段は、ユーザーに適合した音楽ソースデータを音楽ソースデータベース上にて検索するものとできる。これにより、ユーザーが欲する音楽ソースが自動的に選ばれ、演奏出力されるので、運転ないし車内滞在中のユーザーをタイムリーに喜ばせることができる。
次に、より細分化されたシーン設定として、シーン特定手段は、ユーザーが自動車へ接近する接近シーンと、ユーザーが該自動車へ乗り込む乗り込みシーンと、ユーザーが該自動車内にて運転又は滞在する運転/滞在シーンと、ユーザーが自動車から降車する降車シーンとを、時系列的にこの順序で特定するものとすることができる。もてなし内容決定手段は、これら各シーンに対し、使用するもてなし動作部と、該もてなし動作部によるもてなし動作の内容とを定めるものとすることができる。この態様では、前述の構成に、新たに、乗り込みシーンと降車シーンとが追加される。これらの各シーンは、時間的に短いが、ドアの開閉や荷物の積み下ろし動作、あるいはドアの開閉に際した障害物や往来危険などに関する配慮など、体力的あるいは心理的に負担の大きい動作が関与する特徴があり、これを補佐する形で、これらのシーンにも独自のもてなし動作を設定すれば、メインとなる運転/滞在シーンの前後におけるユーザーのフォローアップをより確実に行なうことができ、また、自動車からユーザーが受けるもてなし内容に、より一貫性及び連続性がもたらされるので、ユーザーの感ずる満足感は一層大きくなる。具体例として、例えば、乗り込みシーン及び降車シーンにおいてもてなし動作部は、自動車に設けられたドアの自動開閉装置又は開閉アシスト機構とすることができ、該自動開閉装置又は開閉アシスト機構を、ユーザーの乗り込み補助のために動作させることがもてなし動作の内容として定めることができる。また、開閉アシスト機構を設ける場合は、特にドアを開く際に車外の障害物を検知し、当該障害物とドアとの干渉を回避するための、ドアの開操作を抑制するドア開抑制手段を設けておくことができる。このような機能は、年配者や女性、あるいは子供などがユーザーとして特定される場合に優先的に実行されるようにするとより効果的である。また、ユーザー種別の観点に限らず、例えば目的地に応じてもてなし動作内容を決定することもありえる。例えば、設定された目的地が空港や駅などの交通関連施設である場合や、旅館・ホテルなどの宿泊施設である場合は、予め荷物等が多いことが予想されるので、上記の機能を優先的に実行することが同様に効果的である。
なお、ユーザーが降車した後にも、ユーザーが自動車から離間する離間シーンなど、さらに別のシーンを付け加えることも可能であり、対応したもてなし動作を行なうことができる。
次に、カーナビゲーション装置の各ユーザーによる目的地の過去の選択実績情報を、選択された年月日とともに記憶する目的地選択実績記憶部を設けることができる。また、外部スケジューラには、スケジュール入力に使用する日付選択部を設けることができる。そして、目的地選択実績記憶部において、日付選択部にて選択された日付と同時期の、ユーザーによる過去年における目的地選択実績を検索する同時期目的地選択実績検索手段と、外部スケジューラに設けられ、検索された目的地選択実績を表示する目的地選択実績表示手段と、を付加することができる。この構成によると、どこかに出かける日程が決まった場合に、外部スケジューラにおいてその日付を選択すると、過去の同時期にどこへ出かけたかが目的地選択実績の表示により容易に把握でき、目的地や経由地などの選定に大いに役立つ。
この場合、外部スケジューラには、日付選択部にて選択可能な特定の日付に、ユーザーに特有の記念日を該ユーザーと対応付けた形で設定する記念日設定手段を設けることができる。同時期目的地選択実績検索手段は、選択された日付が記念日であった場合は、ユーザーによる過去年の当該記念日の目的地選択実績を検索するものとできる。これにより、誕生日や結婚記念日など、そのユーザーにかかわりのある記念日において過去にどのようなところに出かけているかを容易に把握することができる。
次に、外部スケジューラは、表示装置と、該表示装置に重ね配置されたタッチパネルとからなる本体を備えたものとして構成できる。この場合、スケジュール入力手段は、表示装置に各月の日付を一覧表示する日付一覧表示手段と、表示装置の各日付の表示領域に対するタッチパネルの対応領域に、当該日付をタッチ選択するための日付選択部をなすソフトボタンを設定する日付選択ソフトボタン設定手段と、選択された日付に対応する目的地の設定入力ウィンドウを表示装置に表示する設定入力ウィンドウ表示手段と、該設定入力ウィンドウ上のタッチパネルの所定領域に、目的地選択入力のためのソフトボタン群を設定する目的地選択ソフトボタン設定手段とを備えるものとして構成できる。このようにすると、外部スケジューラの外観を、日付を一端表示するカレンダー形式とすることができ、日付の把握が容易となる上、その日付一端表示画面にタッチパネルを重ね配置することで、スケジュール設定したい日付を簡単に選択できる。また、日付選択後に目的地選択入力のための設定入力ウィンドウが表示されるので、目的地の設定を引き続きタッチパネルを用いて容易に行なうことができる。つまり、ユーザーの住居内等に配置されたカレンダーから、外にある自動車のカーナビゲーション装置の設定を容易に行なうことができる。なお、この表示装置を、前述の目的地選択実績表示手段として使用することで、目的地選択実績を参照した目的地の選択・設定を効果的に行なうことができる。
また、前述のスケジュール管理手段が管理するスケジュール到来までの残時間が予め定められた値未満となった場合に、該スケジュールの接近を表示装置に報知表示させるスケジュール接近報知表示手段を設けることができる。このようにすると、ユーザーの住居内等に配置されたカレンダーが、スケジュールの管理・報知の役割も担ってくれるので、ユーザーは設定した目的地へ出かける用事等を失念したり、遅れたりする心配がなくなる。
また、上記の表示装置の画面上にて日付一覧表示手段による日付の表示領域と分離区画する形で補助表示領域を設定することができる。この補助表示領域を設けることで、カレンダーの主要部をなす日付一端表示画面を表示したまま、補助表示領域に別の情報を表示でき、外部スケジューラの機能拡張を図ることができる。具体的には、スケジューラ側無線通信手段を補助表示領域に表示する画像情報を受信する画像情報受信手段として使用し、該受信した画像情報を補助表示領域に表示する画像表示手段を設けることができる。画像情報を随時受信して、これを補助表示領域に日付一覧とともに表示することで、カレンダーの装飾機能や情報表示媒体としての機能が大幅に高められる。画像情報は、写真や絵画、イラストなどの一般装飾用の画像としてもよいし、さらにはこれを広告画像情報とすることでカレンダーに兼用された外部スケジューラに広告機能を付加することができ、宣伝効果を高めることができる。しかも、紙のカレンダーと異なり、広告内容を定期的に更新することも可能なので、汎用性に富む。
他方、補助表示領域は、画面切り替え等により、目的地の設定画面や、目的地の検索結果の表示画面など、カーナビゲーション装置に関連した情報の出力ないし入力画面としても使用可能である。また、スケジュール管理機能に関連した情報出力画面としても使用できる。例えば、前述のスケジュール接近報知表示手段を、該補助表示領域に報知表示を行なうものとして構成できる。
次に、ユーザー生体特性情報取得手段は、ユーザー生体特性情報として、ユーザーの性格を特定するユーザー性格特定情報を取得するものとして構成できる。この場合、ユーザー性格特定情報が個々に特定するユーザーの性格種別と対応付けた形で、もてなし動作部の動作内容を規定するもてなし動作情報を記憶したもてなし動作情報記憶部を設けることができる。そして、もてなし制御部は、取得されたユーザー性格特定情報が特定する性格種別に対応したもてなし動作情報をもてなし動作情報記憶部から読み出し、これに基づいてもてなし動作部の動作制御を司るものとして構成できる。
上記の構成によると、ユーザーの性格を分類し、その種別に応じて、例えば当該性格種別のユーザーに適合するもてなし動作の内容を個別に定める。他方、自動車側では、ユーザー生体特性情報取得手段が取得したユーザー性格特定情報により、現在自動車を使用しているユーザーの性格を特定し、これに対応するもてなし動作を選んで実行する。これにより、ユーザーの性格にマッチした内容のもてなし動作を実施することができ、性格の異なるユーザーであっても、それぞれ固有のもてなし内容にて適確に満足させることができる。
もてなし動作部は、例えば自動車内に設置されたカーオーディオシステムとすることができる。この場合、もてなし動作情報記憶部は、カーオーディオシステムにて再生させるべき複数の音楽ソースデータを記憶するとともに、個々の音楽ソースデータがユーザー性格種別と一義的に対応付けられた形で分類されてなる音楽ソースデータベースとすることができる。そして、もてなし制御部は、取得されたユーザー性格特定情報が特定する性格種別に対応した音楽ソースデータを音楽ソースデータベースから読み出し、カーオーディオシステムにてこれを再生させるものとして構成する。音楽ソースデータベースにて、再生すべき音楽ソースを、予め定められたユーザー性格種別と対応付けて分類しておき、取得・決定されたユーザー性格種別に対応する音楽ソースをカーオーディオシステムにて再生することで、その性格のユーザーが好む音楽を適確に提供でき、運転中あるいは車内滞在中のユーザーを楽しませることができる。また、膨大なデータベースから自分にあった音楽を選曲する手間のかなりの部分を省くことができ、ユーザーを煩わせることがない。
上記カーオーディオシステムには、当然、ユーザーが操作する選曲部も設けておくことができ、該選曲部にて選曲された音楽ソースデータを再生に供することができる。ここで、上記のごとく音楽ソースデータがユーザー性格種別と対応付けて分類されていれば、これを利用する形でユーザーがどのような音楽を志向するかに応じ、そのユーザーの性格種別を特定することが可能となる。具体的には、ユーザーによる選曲実績を、個々の音楽ソースデータに対応付けられた性格種別とともに記憶する選曲実績記憶部を設けておき、ユーザー生体特性情報取得手段は、記憶された選曲実績における性格種別の情報に基づいてユーザー性格特定情報を取得するものとする。選曲された音楽ソースのうち、どの性格種別に属するものが最も多いかに基づいて、そのユーザーの性格を適確に特定することもできる。いずれの場合も、ユーザーに適合した選曲をさらに適正化することができるようになる。
次に、もてなし動作部は、自動車の室内又は該自動車の外観を照らし出す照明装置とすることができる。もてなし制御部は、ユーザー生体特性情報の内容に応じて、照明装置による照明光の色調及び照明形態の少なくともいずれかを変化させるものとして構成できる。ユーザーの性格、精神状態あるいは体調に応じて、照明の動作形態を変化させることにより、ユーザーの心を視覚的に和ませることができ、また、精神状態や体調に応じてより気分を高揚させたり、あるいは逆に、高ぶりすぎたり疲れたりしたユーザーをいやす、といったことも可能となる。例えば、もてなし制御部は、ユーザーが自動車へ乗り込むために接近する際に、取得されたユーザー生体特性情報に応じて異なる内容にて照明装置を動作させるものとすることができる。この態様によると、自動車は、ユーザーの性格、精神状態あるいは体調に応じて、接近してくるユーザーのいわば「出迎え」の形態を適切に変化させ、ひいては、これから運転に望むユーザーの気分を盛り上げたり、あるいは逆に落ち着かせたりすることができるようになる。いずれの場合も、ユーザーに適合したもてなし動作のさらなる適正化を図ることができるようになる。
また、ユーザーの体の状態を検出する体状態検出部を設けることもできる。また、ユーザー生体特性情報取得手段は、該体状態検出部の検出情報に基づいて、ユーザーの精神状態及び体調を反映した精神/体調情報を取得するものとすることができ、もてなし制御部は、もてなし動作部の動作内容を、取得された精神/体調情報の内容に応じて変化させるものとすることができる。精神状態が高揚していたり、逆に落ち込んでいたりすると、それはユーザーの体に何らかの生体反応となって表れる。また、体調不良や疲れなどがある場合も同様である。そこで、体状態検出部によりその生体反応を捉え、その検出情報からユーザーの精神状態や体調を推定し、これに適合した形態でもてなし動作を行なうことで、ユーザーの気分をよい方向に盛り上げたり、あるいは転換させることができ、ひいては自動車の利用をより快適なものとすることができ、ユーザーが運転者の場合は、安全運転にも寄与することができる。
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図1は、本発明の自動車用もてなし情報提供システムの機能が組み込まれた自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の概念ブロック図である。該システム100は、種々のもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが接続された第一のコンピュータからなるもてなし実行制御部3と、種々のセンサ・カメラ群518〜528が接続された第二のコンピュータからなるもてなし意思決定部2とからなる自動車側搭載部100を、その要部とする形で構成されている。第一のコンピュータと第二のコンピュータは、いずれもCPU,ROM,RAMを備え、ROMに格納された制御ソフトウェアを、RAMをワークメモリとして実行することにより、後述の種々の機能を実現する。
上記システム100においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、もてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン502、ブザー503が接続されている。また、照明装置(ランプ類)としては、ヘッドランプ504(ビームをハイとローとで切り替え可)、フォグランプ505、ハザードランプ506、テールランプ507、コーナリングランプ508、バックアップランプ509、ストップランプ510、室内照明511及び床下ランプ512が接続されている。また、他のもてなし動作部として、エアコン514、カーオーディオシステム(カーステレオ)515、電動シート516及びサイドミラーやバックミラーなどの角度調整用の駆動部517、カーナビゲーション装置534、ドア開閉用のアシスト機構(以下、ドアアシスト機構という)541、車内に芳香剤を放出する芳香発生部548、重度体調不良(重度の眠気を催した状態を含む)に対する気付け・覚醒用のアンモニア発生部549(図50に示すように、運転用のハンドル340の中心部に、運転者の顔付近を目指す形でアンモニアを噴出するように取り付けられている)、運転者に注意喚起したり眠気から覚醒させるためのシートバイブレータ550(図58に示すように、シート底部あるいは背もたれ部に埋設される)、ハンドルバイブレータ551(図50に示すように、ハンドル340の軸に取り付けられている)、車内騒音低減用のノイズキャンセラ1001Bが接続されている。
図80はカーナビゲーション装置534の構成例を示すブロック図である。カーナビゲーション装置534は、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、位置検出器101、地図データ入力器106、操作スイッチ群107、リモートコントロール(以下リモコンと称する)センサ111、音声案内などを行なうスピーカー115、フラッシュメモリ等で構成された不揮発性メモリ109、LCD等からなるモニター110、これらの接続された主制御部をなす情報系ECU51、リモコン端末112及び主記憶装置をなすハードディスク装置121等を備えている。不揮発性メモリ109には、車両の履歴情報等のナビゲーション装置100の動作に必要な情報およびデータが記憶されている。
位置検出器101は、周知の地磁気センサ102、ジャイロスコープ103、距離センサ104、および衛星からの電波に基づいて車両の位置を検出するGPSのためのGPS受信機105を有している。これらのセンサ等102,103,104,105は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
操作スイッチ群107は、メカニカルなスイッチ等を使用できるが、本実施形態では、モニター110と一体になったタッチパネル122を併用しており、モニター110上に表示されるボタン画像に対応するタッチパネル領域を指で触れることにより、操作状態を認識できるようにしている(いわゆるソフトボタン)。これら操作スイッチ群107およびリモコン端末112によって、種々の指示を入力することが可能である。
操作スイッチ群107およびリモコン端末112の他に、音声認識ユニット130を用いて種々の指示を入力することも可能である。これは、音声認識ユニット130に接続されるマイク131から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
情報系ECU51は通常のコンピュータとして構成されており、周知のCPU181、ROM182、RAM183、前述の不揮発性メモリ109、入出力部184がバス接続されたものである。前述のHDD121はインターフェース129fを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニター110に画像出力する機能を担う描画LSI187と、描画処理用のグラフィックメモリ187Mとが同様にバス接続され、前述のモニター110がこれに接続されている。CPU181は、HDD121に記憶されたナビプログラム21pおよびデータにより制御を行なう。また、HDD121へのデータの読み書きの制御はCPU181によって行なわれる。
HDD121には、道路データを含む地図データ21mと、目的地データベース21dとが記憶されている。その他に、地点登録など、ユーザーが独自にデータ21uを書き込むことができる。これらのデータは、操作スイッチ群107およびリモコン端末112の操作あるいは音声入力によって内容の書き換えが可能である。また、外部情報入出力装置(地図データ入力器)106を用いて記憶媒体120からデータを読み込んでHDD121の内容を更新することも可能である。なお、本実施形態では、通信インターフェース126及び通信データを一次格納するためのバッファメモリ126fを介して情報系ECU51が、車内ネットワークをなすシリアル通信バス127に接続され、ボデー系ECU142やエンジン制御ECU(図示せず)などの、車内の他の制御装置との間でデータの遣り取りを行なうようになっている。
なお、図1のもてなし実行制御部3は、ここまで概念把握を容易にするために単独のECUで構成されている場合を例にとって説明を行なってきたが、当然、上記ネットワーク接続された複数のECUにて実行制御部3を構成することがより現実的である。また、もてなし意思決定部2がもてなし意思決定に使用する記憶部535内の種々のデータや、自動車用もてなし情報提供装置の出力対象となるデータ(例えば後述の目的地データベース21dや音楽ソースデータベース515b,515cに格納されたデータ)の少なくとも一部を、自動車外のデータサーバに蓄積し、無線通信により自動車にてダウンロードして使用するようにしてもよい。
モニター110はカラー液晶表示器により構成されており、その画面には位置検出器101から入力された車両の現在位置マークと、HDD121から入力された地図データ21mと、さらに地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定および経路誘導中の案内や画面の切り替え操作を行なうためのメニューボタンが表示される。
カーステレオ515に搭載されたFMチューナ141は、例えばVICS(Vehicle Information and Communication System:道路交通情報通信システム)センタ114からの渋滞表示用道路交通情報を搬送する放送電波を受信し、車内ネットワークを介してその情報が情報系ECU51に送られる。
カーナビゲーション装置534は、情報系ECU51のCPU181によりナビプログラム21pが起動される。運転者は、操作スイッチ群107あるいはリモコン端末112の操作あるいはマイク131からの音声入力によって、目的地データベース21dから所望の目的地を選択する。例えば、モニター110上に表示されるメニューから目的地経路をモニター110に表示させるための経路案内処理を選択した場合、次のような処理を実施する。即ち、運転者がモニター110上の地図あるいは目的地選択画面に基づいて目的地を入力すると、GPS受信機105から得られる衛星のデータに基づき車両の現在位置が求められ、該現在位置から目的地までの最適な経路を求める処理が行われる。そして、モニター110上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、モニター110およびスピーカー115の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。
次に、上記のカーナビゲーション装置534においては、目的地の設定をタッチパネル122等のカーナビゲーション装置側の入力部から実行することができるが、本発明では、図80に示すように、該カーナビゲーション装置534(ひいては、もてなしシステム1の自動車側搭載部分全体)が自動車側無線通信手段をなす無線通信ユニット143を介して外部スケジューラ2001と無線通信可能とされており、該外部スケジューラ2001から遠隔操作によりカーナビゲーション装置534に対して目的地の設定が可能とされている。外部スケジューラ2001と無線通信ユニット143は通信網151を介して接続される。通信網151は例えば電話通信網やインターネット通信網であり、いずれも無線接続ポイントとなる基地局との間が無線接続される形となっている。なお、外部スケジューラ2001と無線通信ユニット143とを近距離無線ネットワークで直接接続することも可能である。
図100は、外部スケジューラ2001の電気的構成の一例を示すブロック図である。外部スケジューラ2001は、ユーザーの自宅など自動車外に配置されるもので、カレンダークロック2023と、カーナビゲーション装置534に設定すべき目的地の情報を含むスケジュールを、スケジュール設定者であるユーザーの特定情報とともに入力するためのタッチパネル(スケジュール入力手段)2019と、主制御部であるマイコン2003を有する。マイコン2003はCPU2005、RAM2011、ROM2007、フラッシュメモリ2009、入出力部2006などがバス接続されたものであり、フラッシュメモリ2009には、入力されたスケジュールの情報をユーザー特定情報と対応付けて記憶する入力済みスケジュールデータベース(スケジュール記憶手段)と、カレンダークロックが生成する日付時刻情報に基づいて、記憶されたスケジュールの到来を管理するスケジュール管理ソフト(スケジュール管理手段)とが搭載されている。また、目的地をユーザー特定情報とともにカーナビゲーション装置に無線送信する無線送受信回路(スケジューラ側無線通信手段)2025が無線インターフェース2027を介してマイコン2003に接続されている。
図101Aは、外部スケジューラ2001の外観構成の一例を示すもので、表示装置をなす液晶パネル2017と、該液晶パネル2017に重ね配置されたタッチパネル2019とからなる本体を備えている。液晶パネル2017とタッチパネル2019とは枠状の筐体2051に組みつけられて一体化され、互いに協働してスケジュール入力手段を構成する。このスケジュール入力手段は、図100のカレンダー表示ソフト及びスケジュールソフトをRAM2011上の対応メモリをワークエリアとする形で実行することにより機能実現するものであり、図101Aに示すように、液晶パネル2017に各月の日付を一覧表示する(日付一覧表示手段)とともに、液晶パネル2017の各日付の表示領域2055に対するタッチパネルの対応領域に、当該日付をタッチ選択するための日付選択部をなすソフトボタン2055Dを設定する(日付選択ソフトボタン設定手段)。また、上記ソフトボタン2055Dへのタッチにより日付を選択するに伴い、図102〜図105に示すような、その日付に対応する目的地の設定入力ウィンドウ2120,2122,2130,2140を液晶パネル2017に表示する(設定入力ウィンドウ表示手段)。また、該設定入力ウィンドウ上のタッチパネルの所定領域には、目的地選択入力のためのソフトボタン群2121,2124,2125,2120,2141を設定する(目的地選択ソフトボタン設定手段)。
図100に示すように、液晶パネル2017は描画LSI2013及び表示用のグラフィックメモリ2015とともにマイコン2003に接続される。また、タッチパネル2019は図示しないドライバ回路を介して入出力部2006に接続されている。また、入出力部2006にはこの他、前述のカレンダークロック2023、ユーザー認証用の顔画像を撮影するためのカメラ2021、音声入力(あるいは認証)用のマイク2031及び音声認識ユニット2030、報知その他の音声出力を行なうための音声合成回路2024及びスピーカー2015が接続されている。また、フラッシュメモリ2009には、目的地(行先)設定に係る自動車側との無線通信による相互処理を司るナビゲーションリンクソフト、電子ペット表示モジュール、広告表示・管理モジュール及び画像等のデータ受信ソフト、前述の顔画像や声によるユーザー特定・認証を行なうためのユーザー特定・認証ソフトが搭載され、RAM上の対応するメモリをワークエリアとして実行されるようになっている。
また、外部スケジューラ2001はインターネットに接続可能となっており、電子ペットや広告画像等を、インターネットを経由してサーバーからダウンロードすることもできる。本実施形態では、PCIブリッジ2016を介してマイコン2003に接続されたPCIバス2010が、ブロードバンドルータ2014を経てインターネットに接続されるようになっている。
次に、図16は、室内照明511の構成例を示すもので、各々固有の照明色からなる複数の照明部(本実施形態では、赤色系照明511r、アンバー系照明511u、黄色系照明511y、白色系照明511w及び青色系照明511bからなる)を有する。これらの照明は、もてなし意思決定部2からもてなし実行制御部3を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。図19は、ユーザーの性格種別に応じて定められた点灯制御データの構成例を示すもので、もてなし意思決定部2のROMに記憶され、制御ソフトウェアにより随時読み出されて使用される。例えば、活動的な性格(SKC1(図18参照))に対しては、赤色系照明511rを選んでこれをフラッシュ点灯(最初のみ、その後連続点灯)させ、おとなしい性格(SKC2)に対しては、アンバー系照明511uを選んでフェードイン点灯させる、などであるが、これはほんの一例である。
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤色系(R)、緑色系(G)、青色系(B)の3原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。図39は、その回路構成の一例を示すもので、赤色系(R)、緑色系(G)、青色系(B)の各発光ダイオード3401が電源(Vs)に接続され、各々トランジスタ3402でスイッチング駆動される。このスイッチングは、コンパレータ3403に入力される三角波(のこぎり波でもよい)の周期と、指令信号の電圧レベルとによって定まるデューティ比によりPWM制御される。各色の発光ダイオード3401への指令信号の入力波形は、各々独立に変更可能であり、3つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオード3401の発光強度は、上記のようにPWM制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとPWM制御とを組み合わせた方式も可能である。
図72には、赤色系(R)、緑色系(G)、青色系(B)の各光の混合比(デューティ比による)と、視認される混合光の色との関係を示す。それぞれ、制御時に発光色を選択するためのインデックス(0〜14)が付与され、制御参照情報としてもてなし実行制御部3のROM(あるいは、もてなし意思決定部2側の記憶装置535:制御に必要な情報を、通信によりもてなし実行制御部3に送信すればよい)に記憶される。白色照明光は使用頻度が高く、着色された照明光との間でスムーズに制御移行できるように、白色を規定するインデックスが、該インデックスの配列上にて周期的に複数現われるように定められている。特に中間に位置する白色(インデックス:6)を境として、その前後に、暖色系(うす橙→橙→赤)と寒色系(水色→青→青紫)の各色が配列し、ユーザーの肉体状態や精神状態に応じて、白色照明光から暖色系照明光ないし寒色系照明光にスムーズに切り替えることができるようになっている。
図17は、カーオーディオシステム515の構成例を示すもので、もてなし意思決定部2からもてなし実行制御部3を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部515aを有する。該カーオーディオシステム515も、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、インターフェース部515aには、デジタルオーディオ制御部515e、多数の音楽ソースデータを格納した音楽ソースデータベース515b,515c(前者はMPEG3データベース、後者はMIDIデータベース)が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部515aを経てオーディオ制御部に送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部515fでアナログ変換された後、プリアンプ515g及びパワーアンプ515hを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカー515jから出力される。
図40は、ドアアシスト機構541の概要を示すものである。自動車1100には、乗降用のスイング式ドア(以下、単に「ドア」ともいう)1101が、乗降口1102の一縁にドア旋回軸1103を介して取り付けられている。ドア1101は、手動操作により乗降口1102を閉塞する閉塞位置から任意の角度位置へ開放可能とされている。そして、この手動によるドア開操作が、モーター(アクチュエータ)1010によりパワーアシストされる。本実施形態では、ドア1101とともに回動するドア旋回軸1103に対し、モーター1010の回転出力を、減速ギア機構RGを介してトルクアップしつつ、旋回軸1103にドア開閉アシストの回転駆動力として直接伝達するようにしている。
図41は、ドアアシスト機構541の回路図の一例である。ドアアシスト機構541は、ドアの開操作時に、該ドアと干渉する車外の障害物を検出する障害物検出手段を有し、また、アクチュエータ制御手段は、障害物が検出されていない場合には、ドア開操作時において、アクチュエータによりドア開方向の正アシスト力が生ずる通常アシストモードとなり、障害物検出手段が障害物を検出した場合には、ドア開操作時において、ドアが乗降口を塞ぐ閉位置から障害物に衝突する衝突位置に至るドア旋回区間の少なくとも途中位置まではドアの開操作を可能としつつ、障害物とドアとの衝突は抑制される衝突抑制モードとなるように、アクチュエータによるドアアシストを制御するものとして構成される。
アクチュエータは正逆両方向に回転可能なモーター1010であり、本実施形態ではDCモータにより構成されている(もちろん、インダクションモータ、ブラシレスモータ、ステッピングモータなど、他の種類のモーターを用いてもよい)。アクチュエータ制御手段は、正アシストモードではモーターを正方向に回転させ、逆アシストモードではモーター1010を逆方向に回転させるものであり、本実施形態では、プッシュプルトランジスタ回路を用いた双方向リニア制御型のモータドライバ1007がアクチュエータ制御手段を構成している。
モータドライバ1007は、具体的には、正電源(電圧Vcc)に接続された正方向駆動用トランジスタ1073と、負電源(電圧−Vcc)に接続された逆方向駆動用トランジスタ1074とをその要部として構成され、両トランジスタ1073,1074の各ベース端子には、駆動指示電圧VDが抵抗1071により電圧調整されて入力される。抵抗1072は増幅用のフィードバック抵抗であり、両トランジスタ1073,1074のコレクタ/エミッタ間電流の一部を電圧変換して各トランジスタのベースに戻す。これにより、VDが正の時は正方向駆動用トランジスタ1073が、VDが負の時は逆方向駆動用トランジスタ1074が、それぞれVDに比例した電流をモーター1010に流す。従って、VDが正の時にモーター1010が正方向に回転する正アシストモードとなり、VDが負の時にモーター1010が逆方向に回転する逆アシストモードとなる。また、アシスト力は、VDに応じたモーター電流によって定まることとなる。なお、駆動用トランジスタ1073,1074には、それぞれ過電流保護用のトランジスタ1073t,1074tが設けられている。また、符号1073R,1074Rは過電流の検出抵抗であり、符号1073D,1074Dはフライバックダイオードである。
ドアアシスト機構541には、ドア1101の操作力を検出する操作力検出手段1002が設けられ、図43に状態(A)及び状態(B)として示すように、アクチュエータ制御手段により、正アシストモードにおいて、操作力検出手段1002が検出するドア操作力が小さくなるほど、正アシスト力が大きくなるようにアクチュエータ1010の動作を制御する。つまり、力の弱い人がドア1101を開こうとする場合は、モーター1010による正アシスト力が強く作用して楽にドア1101を開くことができる。他方、力の強い人が強くドアを開こうとする場合は、正アシスト力は比較的弱く働くことになる。例えば、外部からの操作力によるドア開トルクと正アシスト力によるドア開トルクとの合計がほぼ一定になるように制御すれば、誰が操作してもドア1101をほぼ一定の標準トルクで開くことができる。
図41の回路においては、上記の機能を次のようにして実現している。操作力検出手段1002は、図40に示すようにドア旋回軸1103に設けられたトルクセンサ1002であり、ドア開の操作力が強く作用するほどドア旋回軸1103に生ずるねじれトルクが大きく現われ、トルクセンサ1002の出力電圧が増加する。なお、トルクセンサ1002の出力電圧はドア開操作時に正となり、ドア閉操作時には負となるので、電圧の符号によりトルクの向きも検出可能である。本実施形態では、トルクセンサ1002の出力電圧を非反転増幅器1003により増幅し、電圧フォロワ1004を経てトルク検出電圧Vstとして出力している。
上記のトルク検出電圧Vstは差動増幅回路1005に入力される。差動増幅回路1005は、トルク検出電圧Vstを参照電圧Vref1と比較して、その差分ΔV(=Vref1−Vst)を一定のゲインにて増幅し、モーター1010に対する駆動指示電圧VDとして出力する。ドア1101の開操作を開始すると、トルク検出電圧Vstは最初小さいからΔVは大きくなり、モーター1010の出力電流も大きくなって、大きな正アシスト力が働く。この正アシスト力によるトルクは、外部操作力によるトルクとともにドア旋回軸1103に重畳するから、トルク検出電圧Vstは正アシスト力による寄与分だけ増加する。すると、ΔVは小さくなってΔVは減少する。つまり、正アシスト力によるトルクがドア旋回軸1103へ戻されることで、外部操作力と正アシスト力との合計トルクがトルク検出電圧Vstに反映され、これがVref1に近づくように、モーター1010によるドアアシスト駆動がフィードバック制御されることになるのである。その結果、力の弱い人の場合は、外部操作力による寄与が少なくなる分だけアシストモータ電流(つまり、アシストトルクAT)は大きく維持され、逆に力の強い人の場合は、アシストモータ電流は小さく維持されることとなる。
なお、ドア1101は、周知のごとく、車外側操作ノブ1104E及び車内側操作ノブ1104のいずれによっても開閉操作が可能であり、ロックボタン1104を倒すと、図41に示す周知のドアロック機構1320により、ノブ1104E,1104によるドア開閉操作が不能となる。このドアロック機構1320がロック状態になったときはドアロック信号DRSが出力され、これがモーター1010の停止制御に用いられるようになっている。本実施形態では、ドアロック信号DRSを受けたスイッチ1021が、参照電圧Vref1を差動増幅回路1005から切り離すとともに、差動増幅回路1005の反転入力端子と非反転入力端子とを短絡させ、差動入力ΔVひいてはモーター1010への駆動指示電圧VDを強制的にゼロにして、モーター1010を駆動停止するようにしている。
また、図41の回路では、トルク検出電圧Vstの符号が負になった場合にアシスト制御信号SK1を出力するコンパレータ1020を設けている。スイッチ1021の制御端子には、ゲート1304を介してドアロック信号DRSとアシスト禁止信号SK1との論理和が入力され、アシスト制御信号SK1が検出された場合にもアシストシステムSYS1のモーター1010が停止制御されるようになっている。
また、ドア1101の開操作時に、該ドア1101と干渉する車外の障害物を検出する障害物検出手段が設けられている。障害物検出手段は、ドア1101の側面に対向して存在する障害物を検出するものを採用できる。このようにすると、ドア1101が開いていく方向に存在する障害物を適確に検出することができる。このような障害物検出手段として、例えば周知の近接スイッチ、反射式光学センサ(赤外線式を含む)あるいは超音波センサなどの障害物センサ1050を採用できる。
障害物センサ1050の検知出力はコンパレータ1051にて閾値と比較され、障害物の検知の有無を表す信号を二値的に出力する。ドア1101を内側から開けてゆき、障害物センサ1050にこれが検知されると、その障害物検知したときのドア1101の角度位置が限界角度位置となって、障害物ありを意味する検知信号SI’が出力され、これを受けたドアアシスト制御手段側で、それ以降のドア開操作が妨げられる制御が行われる。本実施形態では、ドア1101が限界角度位置に到達したとき、該ドアの以降の旋回を阻止する障害物用ドア旋回ロック機構1300が、ドアアシスト制御手段の一部をなすものとして設けられている。
図42は、そのロック機構1300のロック部の構成例を示すものである。ロック部の要部は、ドア1101の旋回軸1103に設けられたドア側係合部(本実施形態では雄スプライン)1312と、車体側に固定され、該ドア側係合部1312に対し旋回軸1103の旋回角度に応じた任意の角度位相にて着脱可能に係合し、係合状態の角度位相にて旋回軸1103の旋回をロックする車体側係合部(本実施形態では雌スプライン)1313とを有する。車体側係合部1313は、旋回軸1103の軸線方向においてドア側係合部1312に対し接近・離間可能に設けられ、接近時に車体側係合部1313とロック係合状態となり、離間時にロック解除となる。本実施形態においては、この接近・離間機構を周知のソレノイド機構(シリンダ機構等でもよい)にて構成している。車体側係合部1313は、ばね受け部1314Bを有した駆動軸1314の先端に取り付けられ、この駆動軸1314が、ケース1300C内に収容されたソレノイド1301により軸線方向に進退駆動されるソレノイド1301を付勢すると、駆動軸1314が飛び出し、車体側係合部1313がドア側係合部1312に係合する。他方、ソレノイドを付勢解除すると、ばね受け部1314Bと係合するバイアスばね1310が弾性復帰して、駆動軸1314が引っ込んで車体側係合部1313とドア側係合部1312とが係合解除される。
図41に示すように、障害物の検知信号SI’が出力されると、駆動スイッチ(トランジスタ:符号1302は保護用のフライバックダイオード)1303がオンとなり、ソレノイド1301が付勢されて、図42の車体側係合部1313とドア側係合部1312とが係合する。この時点でドア1101は、車外の不定位置にある障害物のそばまで近づいており、車体側係合部1313とドア側係合部1312とは、障害物検知されたときの角度位相でスプライン係合し、その角度でロックされることとなる。つまり、障害物検出手段が障害物を検出したときのドア角度位置に応じて(つまり、障害物の位置に応じて)、限界角度位置が可変に定まる。これにより、自動車に対する障害物の相対距離に関係なく、開操作によりドアが近づいてくれば、障害物に当たらないようにドア開操作が妨げられる。このとき、モーター1010による正アシスト力が生じていてもドア1101の開操作は妨げられるから、衝突抑制モードとなるように、アクチュエータによるドアアシストが制御されていることが明らかである。
なお、外部ドア操作信号EDSが、車外側からドアが操作された状態を示しているときは、障害物センサ1050の検出出力によらず、ドアアシスト抑制の制御機構(ここでは、障害物用ドア旋回ロック機構1300)の動作が制限されるようになっている。具体的には、コンパレータ1051により二値化された障害物センサ1050の検知信号SI’と、同じく二値の外部ドア操作信号EDS(ドアが外部から操作されたときは、検知信号SIと逆符号となる)との、ゲート1051aによる論理積出力SIを、前述の駆動スイッチ1303の駆動信号として用いることにより、この機能を実現している。
なお、上記のようなアシスト機構を有したスイング式ドアを採用する態様に代え、周知の電動自動開閉機構ないしアシスト機構を備えた電動スライド式ドアを採用することも可能である。
図44は、ノイズキャンセラ1001Bの一構成例を示す機能ブロック図である。該ノイズキャンセラ1001Bの要部は、騒音抑制手段をなす能動的騒音制御機構本体2010と、必要音強調部(手段)2050とを含む。能動的騒音制御機構2010は、車内に侵入する騒音を検出する車内騒音検出マイク(ノイズ検知マイク)2011と、車内騒音検出マイク2011が検出する騒音波形と逆位相の騒音制御用波形を合成する騒音制御用波形合成部(制御音発生部)2015とを有する。騒音制御用波形は騒音制御用スピーカー2018から出力される。また、騒音制御用音波が重畳後の車内音に含まれる消し残し騒音成分を検出するエラー検出マイク2012と、消し残し騒音のレベルが縮小する方向にフィルタ係数が調整される適応フィルタ2014も設けられている。
車両自身に音源を有する車内騒音としては、エンジン音、路面音、風切り音などがあり、車内騒音検出マイク2011は、複数個のものが、個別の車内騒音の検知に適した位置に分散配置されている。車内騒音検出マイク2011は、搭乗者Jから見てそれぞれ違う位置にあり、マイク2011が拾う位置での騒音波形と、搭乗者Jが実際に聞く騒音波形との間には少なからぬ位相差がある。そこで、この位相差を合わせこむために、車内騒音検出マイク2011の検知波形は適宜、位相調整部2013を介して制御音発生部2015に与えられる。
次に、必要音強調部2050は、強調音検知マイク2051及び必要音抽出フィルタ2053を含んで構成され、その必要音の抽出波形が制御音発生部2015に与えられる。ここでも、車内騒音検出マイク2011と同様の事情により、位相調整部2052が適宜設けられる。強調音検知マイク2051は、車外の必要音を取り込むための車外用マイク2051と、車内の必要音を取り込むための車内用マイク2051とからなる。いずれも周知の指向性マイクにて構成でき、車外用は、音検知の指向性の強い角度域が車外方向を向き、指向性の弱い角度域が車内方向を向くように取り付けられている。本実施形態では、マイク2051の全体が車外に出るように取り付けられているが、指向性の弱い角度域が車内側に位置し、指向性の強い角度域のみが車外に出るように、車内と車外とにまたがって取り付けることも可能である。他方、車内用マイク2051は、各座席に対応して、搭乗者の会話音を選択的に検知できるよう、音検知の指向性の強い角度域が搭乗者の正面側を向き、指向性の弱い角度域が反対方向を向くように取り付けられる。これら強調音検知マイク2051は、いずれも、その入力波形(検出波形)のうち必要音成分を優先的に通過させる必要音抽出フィルタ2053に接続されている。なお、図1のカーオーディオシステム515のオーディオ入力が車内必要音音源2019として利用されるようになっている。このオーディオ機器のスピーカー出力音(スピーカーは騒音制御用スピーカー2018と兼用してもよいし、別途設けてもよい)は、騒音制御用波形が重畳されても相殺されないように制御される。
図45は、図44の機能ブロック図に対応したハードウェアブロック図の一例を示すものである。第一DSP(Digital Signal Processor)2100は騒音制御用波形合成部(制御音発生部)2015及び適応フィルタ2014(さらには位相調整部2013)を構成するものであり、車内騒音検出マイク2011がマイクアンプ2101及びA/D変換器2102を介して、また、騒音制御用スピーカー2018がD/A変換器2103及びアンプ2104を介してそれぞれ接続されている。他方、第二DSP2200は、抑制すべき騒音成分の抽出部を構成するものであり、エラー検出マイク2012がマイクアンプ2101及びA/D変換器2102を介して、また、オーディオ入力など抑制対象外の音声信号源、すなわち必要音音源2019がA/D変換器2102を介してそれぞれ接続されている。
必要音強調部2050は、必要音抽出フィルタ2053として機能する第三DSP2300を有し、必要音検知マイク(強調音検知マイク)2051がマイクアンプ2101及びA/D変換器2102を介して接続されている。そして、第三DSP2300はデジタル適応フィルタとして機能する。以下、フィルタ係数の設定処理について説明する。
緊急車両(救急車、消防車、パトカーなど)のサイレン音、踏み切り警報器音、後続車のクラクション音、ホイッスル音、人間の叫び声(子供の泣き声や女性の叫び声など)を、注意ないし危険認識すべき必要車外音(強調音)として定め、それらのサンプル音をディスク等に記録して、読み取り再生可能な参照強調音データとしてライブラリー化しておく。また、会話音については、複数人の個別のモデル音声を、同様に参照強調音データとしてライブラリー化しておく。なお、自動車への搭乗候補者が固定的に定められている場合には、モデル音声を、そのモデル音声自身の発声による参照強調音データとして用意しておけば、その搭乗候補者が乗車した場合の会話音の強調精度を高めることができる。
そして、フィルタ係数に適当な初期値を与え、強調音検知マイク2051による強調音検出レベルを初期値に設定する。次いで、各参照強調音を読み出して出力し、強調音検知マイク2051により検出する。そして、適応フィルタの通過波形を読み取り、参照強調音として通過できた波形のレベルを測定する。この検知レベルが目標値に達するまで上記の処理を繰り返す。このようにして、車外音及び車内音(会話音)の双方について、参照強調音を次々と取り替えて、通過波形の検知レベルが最適化されるよう、フィルタ係数を学習処理させる。上記のようにフィルタ係数が調整された必要音抽出フィルタ2053により、強調音検知マイク2051からの入力波形から必要音を抽出し、その抽出強調音波形を第二DSP2200に転送する。第二DSP2200は、車内騒音検出マイク2011の検知波形から、必要音音源(ここではオーディオ出力)2019からの入力波形と、第三DSP2300からの抽出強調音波形を差分演算する。
第一DSP2100に組み込まれるデジタル適応フィルタのフィルタ係数は、システムの使用に先立って初期化が行われる。まず、抑制対象となる種々の騒音を定め、それらのサンプル音をディスク等に録音して、再生可能な参照騒音としてライブラリー化しておく。そして、フィルタ係数に適当な初期値を与え、エラー検出マイク2012による消し残し騒音レベルを初期値に設定する。次いで、参照騒音を順次読み出して出力し、車内騒音検出マイク2011により検出する。適応フィルタを通過した車内騒音検出マイク2011の検出波形を読み取り、これを高速フーリエ変換することにより、騒音検出波形を、各々波長の異なる正弦波素波に分解する。そして、各正弦波素波の位相を反転させた反転素波を生成し、これを再度合成することにより、騒音検出波形と逆位相の騒音制御用波形が得られる。これを騒音制御用スピーカー2018から出力する。
適応フィルタの係数が適性に定められていれば、車内騒音検出マイク2011の波形からは騒音成分だけが効率良く抽出されているはずなので、これに基づいて逆相合成された騒音制御用波形により車内騒音を過不足なく相殺することができる。しかし、フィルタ係数の設定が適性でなければ相殺されない波形成分が消し残し騒音成分となって生ずる。これは、エラー検出マイク2012により検出される。消し残し騒音成分のレベルは目標値と比較され、目標値以下になっていなければフィルタ係数を更新し、これが目標値以下になるまで同様の処理を繰り返す。このようにして、参照騒音を次々と取り替えて、消し残し騒音成分が最小化されるよう、フィルタ係数を学習処理させる。そして、実使用時には、消し残し騒音成分を定常的にモニタリングし、常時これが最小化されるようにフィルタ係数をリアルタイム更新しつつ、上記と同様の処理を行なうことで、必要な音波成分を残しつつ、車内の騒音レベルのみを効果的に低減することができる。
次に、ユーザー側端末装置1は、本実施形態では図14に示すような携帯電話として構成されている(以下、「携帯電話1」ともいう)。携帯電話1は、液晶ディスプレイ等で構成されたモニター308、キーボードからなる入力部305、送話器304及び受話器303等を備えている。また、その側面には脈拍センサ(心拍センサ)342も設けられている。
図15は、携帯電話1の電気的構成の一例を示すブロック図である。回路の要部は、入出力部1311と、これに接続されたCPU312、ROM314、RAM313等からなる制御部310を含む。入出力部1311には、入力部305、オンフック/オフフック切換スイッチ306が接続される。また、受話器303はアンプ315とD/A変換器316を介して、送話器304はアンプ317とA/D変換器318を介して、それぞれ入出力部1311に接続されている。さらに、入出力部1311には、携帯電話1の位置情報を取得するための周知のGPS554が接続されている。
本実施形態では、ユーザー側端末装置1と自動車との距離及び方位関係を把握するために、自動車側のGPS533(図1)に加えてユーザー側端末装置1にもGPS554を設けることで、ユーザー側端末装置1が自立的にその位置情報を取得できるようにしておき、その端末位置情報を、無線通信網を介して自動車側に送信する方式を採用している。これにより、自動車側では、自身に接続されたGPS533による正確な自動車位置と、ユーザー側端末装置1から受信したGPS554による正確な端末位置との双方を取得でき、ユーザー側端末装置1と自動車との距離及び方位関係を極めて正確に把握することができる。また、ユーザー側端末装置1と自動車との距離変化や接近方向変化も事実上リアルタイムに把握できる。
図15に戻り、携帯電話1の入出力部1311には通信装置323が接続されている。通信装置323は、制御部310と接続するための接続インターフェース331と、これに接続された変調器332、送信器333、周波数シンセサイザ334、受信器335、復調器336及び共用器337等により構成されている。制御部310からのデータ信号は変調器332により変調され、さらに送信器333により共用器337を介してアンテナ339から送信される。一方、受信電波はアンテナ339及び共用器337を介して受信器335により受信され、復調器336で復調された後、制御部310のI/Оポート1311に入力される。なお、通話を行なう場合は、例えば送話器304から入力された音声信号がアンプ317で増幅され、さらにA/D変換器318によりデジタル変換されて制御部310に入力される。該信号は、必要に応じて制御部310にて加工された後、D/A変換器316及びアンプ315を介して受話器303から出力される。
一方、接続インターフェース331には、制御用電波を発信する制御用電波発信器338がつながれている。制御用電波は共用器337を介してアンテナ339から発信される。そして、携帯電話1が別の通信ゾーンに移動した場合、網側の無線回線制御局が制御用電波の受信状況に基づいて、周知のハンドオーバ処理を行なう。
次に、携帯電話1には、着信音出力や音楽演奏のために、次のような機能が設けられている。すなわち、無線受信によりダウンロードした着信音データや音楽データ(MPEG3データあるいはMIDIデータ:着信音としても使用される)が、音データ用フラッシュROM316に格納される。MIDIデータの場合、MIDIコードに従い音色、音高、音長及びテンポ等が記述された楽音データが楽音合成部307に送られる。楽音合成部307では、その楽音データをバッファリングしつつ、音源として機能する波形ROM358から、指定された音色の波形データを読み出し、MIDIコードの規定する音高となるように周波数変換して、規定されたテンポに従い順次これをデジタル波形データとして出力する。出力されたデジタル波形データは、アナログ変換回路359及びアンプ350を経てスピーカー311から出力される。なお、MPEG3等の圧縮波形データからなる音データの場合は、デコード処理を経てアナログ変換回路359及びアンプ350を経てスピーカー311から出力される。なお、本実施形態では、楽音合成部357による音声出力のタイミング情報がシーケンサ352に入力され、PWMユニット353を経てバイブレータユニット354及びLEDユニット355を音楽と同期駆動し、携帯電話1での音出力によるもてなし効果を、振動及びLED発光と組み合わせてさらに高める工夫がなされている。
次に、もてなし意思決定部2には、次のようなセンサ・カメラ群が接続されている。これらの一部はシーン推定情報取得手段として機能し、また、生体状態検出部として機能するものである。
・車外用カメラ518:自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。ユーザーを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・赤外線センサ519:自動車に接近するユーザー、ないし乗車したユーザーの顔部分からの放射赤外線に基づき、サーモグラフィーを撮影する。生体状態検出部である体温測定部として機能し、その時間的変化波形を測定することにより、ユーザーの肉体状態ないし精神状態を推定することができる。
・着座センサ520:ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。このほか、シートに着座したユーザーを撮影するカメラにより着座センサを構成することもできる。この方法であると、シートに荷物など、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、例えば人が着座した場合にだけもてなし動作を行なう、といった選択制御も可能となる。また、カメラを用いれば、着座したユーザーの動作を検出することも可能であり、検出情報をより多様化することができる。なお、シート上でのユーザーの動作を検出するには、シートに装着した感圧センサを用いる方法もある。
さらに、本実施形態では、図58に示すように、シートの座部及び背もたれ部に複数分散埋設された着座センサ520A,520B,520Cの検知出力に基づいて、着座したユーザー(運転者)の姿勢変化を波形検出するようにしている。いずれも着座圧力を検出する圧力センサで構成され、具体的には、正面を向いて着座したユーザーの背中の中心に基準センサ520Aが配置される。残部のセンサは、それよりもシート左側に偏って配置された左側センサ520Bと、シート右側に偏って配置された右側センサ520Cとからなる。基準センサ520Aの出力は、差動アンプ603及び604にて、それぞれ右側センサ520Cの出力及び左側センサ520Bの出力との差分が演算され、さらにそれらの差分出力同士が、姿勢信号出力用の差動アンプ605に入力される。その、姿勢信号出力Vout(第二種生体状態パラメータ)は、ユーザーが正面を向いて着座しているときほぼ基準値(ここではゼロV)となり、姿勢が右に偏ると右側センサ520Cの出力が増加し、左側センサ520Cの出力が減少するので負側にシフトし、姿勢が左に偏るとその逆となって正側にシフトする。なお、右側センサ520C及び左側センサ520Bは、いずれも加算器601,602により、座部側のセンサ出力と背もたれ側のセンサ出力との加算値として出力されているが、残部センサ出力と背もたれセンサ出力の差分値を出力するようにしてもよい(このようにすると、運転者が前のめりになったとき背もたれセンサ側の出力が減少し、その差分値が増大するので、より大きな姿勢の崩れとして検出することができる。
・顔カメラ521:着座したユーザーの顔の表情を撮影する。図49に示すように、バックミラー331等に取り付けられ、フロントグラス337側から運転者337を斜め上方から、シートに着座したユーザー(運転者)の顔を含む上半身を撮影する。その画像から顔部分の画像を切り出し、ユーザーの種々の表情を予め撮影して用意されたマスター画像と比較することにより、図59に示す種々の表情を特定することができる。肉体状態ないし肉体状態のいずれにおいても、状態が良好な順に表情の序列を決めておき、その序列に従って得点付与することにより(例えば、精神状態の場合、安定を「1」、注意散漫・不安を「2」、興奮・怒りを「3」とするなど)、表情を離散的な数値パラメータ(第二種生体状態パラメータ)として使用することができ、その時間変化を離散的な波形として測定できるので、当該波形に基づき、精神状態ないし肉体状態の推定を行なうことも可能である。なお、顔を含む上半身の画像形状と、その画像上での重心位置から、運転者の姿勢の変化を検出することもできる。すなわち、重心位置の変化波形は姿勢の変化波形として使用でき(第二種生体状態パラメータ)、当該波形に基づき、精神状態ないし肉体状態の推定を行なうことも可能である。なお、もてなし制御に使用するユーザー生体状態情報の取得源(生体状態検出部)としての機能以外に、バイオメトリックスによるユーザーの本人認証用にも使用される。また、目のアイリスの向きを拡大検出することで、顔や視線の方向を特定することもできる(例えば、やたらに時計の方向を見る場合は、「時間を気にして焦っている」と推定するなど)。また、視線方向の角度の時間的変化波形(真正面を向いているときを基準方向として、その基準方向に対する左右へのぶれ角度を波形変化として検出する)に基づき(第二種生体状態パラメータ)、運転者の肉体状態あるいは精神状態を推定するのにも使用される。
・マイクロフォン522:ユーザーの声を検出する。これも、生体状態検出部として機能させうる。
・感圧センサ523:自動車のハンドルやシフトレバーの、ユーザーによる把握位置に取り付けられ、ユーザーの握り力や、握ったり放したりの繰り返し頻度などを検出する(生体状態検出部)。
・血圧センサ524:図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられる(生体状態検出部)。血圧センサ524の検出する血圧値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・体温センサ525:図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられた温度センサからなる(生体状態検出部)。体温センサ525の検出する体温値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・皮膚抵抗センサ545:発汗等による体表面の抵抗値を測定する周知のセンサであり、図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられる。皮膚抵抗センサ545の検出する皮膚抵抗値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・網膜カメラ526:ユーザーの網膜パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・アイリスカメラ527:図49に示すように、バックミラー331等に取り付けられ、ユーザーのアイリス(虹彩)の画像を撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。アイリスの画像を用いる場合、その模様や色の個人性を利用して照合・認証を行なう。特にアイリス模様は後天的形成要素であり、遺伝的影響度も低いので一卵性双生児でも顕著な相違があり、確実に識別できる利点がある。アイリス模様を用いた認証方式は、認識・照合を迅速に行なうことができ、他人誤認率も低い特徴がある。また、アイリスカメラにより撮影された運転者の瞳孔寸法(第二種生体状態パラメータ)の時間的変化に基づいて、肉体状態あるいは精神状態の推定を行なうことができる。
・静脈カメラ528:ユーザーの静脈パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・ドアカーテシスイッチ537:ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
また、もてなし意思決定部2には、エンジン始動を検知するためのイグニッションスイッチ538の出力も分岐入力されている。また、車内の明るさレベルを検出する照度センサ539、車内の音響レベルを測定する音圧センサ540も、もてなし意思決定部2に同様に接続されている。
また、もてなし意思決定部2には、タッチパネル(カーナビゲーション装置534のモニターに重ねられたタッチパネルで兼用してもよい:この場合は、入力情報はもてなし実行制御部3からもてなし意思決定部2に転送される)等で構成された入力部529と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置535とが接続されている。
他方、もてなし実行制御部3には、車両位置情報を取得するためのGPS533(カーナビゲーション装置534においても使用する)、ブレーキセンサ530、車速センサ531及び加速度センサ532も接続されている。
もてなし意思決定部2は、センサ・カメラ群518〜528の1又は2以上のものの検出情報から、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体状態情報を取得し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部3に指令する。もてなし実行制御部3は、これを受けて、対応するもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bにもてなし動作を実行させる。すなわち、もてなし意思決定部2ともてなし実行制御部3とが互いに協働して、取得されたユーザー生体状態情報の内容に応じてもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bの動作内容を変化させる機能を実現する。もてなし実行制御部3には、自動車側通信手段(ホスト側通信手段)をなす無線通信装置4が接続されている。該無線通信装置4は、自動車のユーザーが携帯するユーザー側端末装置(携帯電話)1と、無線通信網1170(図15)を介して通信する。
一方、カーオーディオシステム515には、ユーザーが手動で操作する操作部515d(図17)が設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部515dからのボリューム/トーンコントロール信号は、プリアンプ515gへ入力される。この選曲データは、インターフェース部515aから、図1のもてなし実行制御部3を経てもてなし意思決定部2へ転送され、これに接続された記憶装置535の選曲実績データ403として蓄積される。その蓄積内容に基づいて、後述のユーザ−性格判定処理が行われる(つまり、カーオーディオシステム515の操作部515dは、生体状態検出部の機能を構成しているといえる)。
図18は、上記音楽ソースデータのデータベース構造の一例を示すもので、曲ID、曲名及びジャンルコードと対応付ける形で音楽ソースデータ(MPEG3又はMIDI)が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格種別コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中点」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格種別コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。
図81は、カーナビゲーション装置534で使用する目的地データベース21dの内容を示すもので、上記の音楽ソースデータベースと同様、各目的地の所在地情報に、個々の目的地を特定するためのIDとともに、同様のもてなし参照データにて構成された分類情報が付与されている。このうち、性格種別コード、年齢コード及び性別コードは音楽ソースデータベースに使用されているものとほぼ同じである。すなわち、目的地を選択するユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格種別コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格種別コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない目的地を選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提案する目的地の適性をより絞り込むために、上記のようなサブ分類付与は有効である。
また、ジャンルコードは、目的地をなす施設を、その種別により分類するもので、「飲食店」、「娯楽施設」、「公園」、宿泊施設、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などに分かれている。このうち、「飲食店」、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などが、飲食可能施設として位置付けられる。
また、各ジャンルコードには、それぞれのジャンルコードに適合したサブ分類コードが付与されている。「飲食店」の場合、「もてなし」効果を考慮して、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で食欲もあり(特に、青年/壮年など)、空腹が進んだ場合に選択すべき飲食店には、満腹感を優先したサブ分類コード(「がっつり・こってり系」)が付与されており、体調がそれほどでもなく食欲についても淡白な状態(特に、女性など)、精々小腹が空いた程度の状況で選択すべき飲食店には、軽めの食事を優先したサブ分類コード(「かるーく・あっさり系」)が付与されている。また、倦怠感が進み、気分転換が望ましい状況や、カップルなどでムードを盛り上げたい場合に選択すべき飲食店には、雰囲気重視の食事を優先したサブ分類コード(「シック・おしゃれ系」)が付与されている。
また、「もてなし」効果の優先性とは別に、一般的な料理種別(「和食・寿司」「中華・ラーメン」「洋食・カレー」)に基づくサブ分類コードも別途付与され、適宜選択できるようになっている。
一方、娯楽施設(あるいは観光スポット)や公園などの、レクリエーションないしエンターテインメント系のサービス提供施設についても、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で、陽気で活動的なサービスを欲している場合(特に、青年/壮年など)に選択すべき施設には、体力的あるいは精神的な発散を優先したサブ分類コード(「元気一杯スポット」)が付与されており、体調がそれほどでもないか疲れている場合(特に、女性など)には、体力消耗抑制を優先したサブ分類コード(「リラックス・いやし系」)が付与されている。また、カップルなどでムードを盛り上げたい場合に選択すべき施設には、雰囲気重視のサブ分類コード(「ラブラブスポット」)が付与されている。
他方、「道路関連サービス施設」は、「サービスエリア」、「パーキングエリア」、「道の駅」及び「ドライブイン」のサブ分類コードが付与されている。
本発明においては、該部スケジューラ2001からユーザー特定情報を受信しており、後述の自動車側のユーザー登録情報(年齢、性別、性格)と照合することで、目的地や音楽ソースを検索する場合は、年齢コード、性別コード及び性格コードによる絞り込みが直ちに可能である。つまり、そのユーザーに適合した検索がなされるわけである。
図1のもてなし意思決定部2のROM(あるいは記憶装置535)には、図2に示すように、シーン別のもてなし内容を記憶するもてなし意思決定テーブル360が記憶されている。シーンは、本実施形態では、接近シーンSCN1、乗り込みシーンSCN2、準備シーンSCN3、運転/滞在シーンSCN4、降車シーンSCN5及び離脱シーンSCN6が、時系列的にこの順序で設定されている。また、各シーンには、次の5つのもてなしジャンル(ST)が設定され、それぞれ1又は2以上のもてなしテーマ(OBJ)が設定されている。なお、ジャンルはシーン毎に複数のテーマを統轄するものであり、広義には「テーマ」の概念に属するものである。
接近シーンの特定は、後述するごとく、ユーザー側のGPS554と、自動車側のGPS533とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することで行なう。乗り込みシーンと降車シーンとは、ドアカーテシスイッチ537のドア開検知出力に基づいて特定する。ただし、単にドア開の情報だけでは乗り込みシーンか降車シーンかを特定できないから、もてなし意思決定部2のRAM内に、現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段として、図5に示すごとくシーンフラグ350を設けることで対応するようにしている。シーンフラグ350は各シーンに対応した個別シーンフラグを有し、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来(フラグ値1)」に設定してゆく。シーンフラグ350にて、値が「1」になっているフラグの最新のもの(「1」フラグ列の末尾のもの)を特定することで、現在どのシーンまで進んできているかを特定できる。
また、準備シーンとシーン運転/滞在シーンとは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ538がONになるまでの間、あるいは、イグニッションスイッチ538がONにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンへの移行は、降車シーンのあと、ドアカーテシスイッチ537がドア閉を検知することで識別される。
各テーマにおけるもてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御され、図6に示すように、これらの動作制御アプリケーションはテーマ別アプリケーションライブラリ351の形でもてなし実行制御部3のROM(あるいは記憶装置535)内に記憶されている。もてなし意思決定部2側で決定されたテーマがもてなし実行制御部3に通知され、そこで対応するテーマの動作制御アプリケーションが読み出され、実行される。動作制御アプリケーションの実行に際しては、各もてなしテーマのもとで統括されている複数のもてなし動作に対し、ユーザーが当該もてなしを指向する度合いに応じて採用の優先順位が予め定められており、各もてなしテーマ(あるいはシーン)において、用意された前記複数のもてなし動作のうち、その優先順位の高いものから選択される。具体的には、図7〜図13に例示(後に詳述)するように、複数のもてなし動作部(もてなし機能)の動作優先順位(数字が大きいほど優先順位が高いものとして表示している)を、外乱種別に応じて定まる動作目的別に定めた機能選択テーブル371,372がもてなしテーマ毎に用意され、もてなし実行制御部3のROM内に記憶されている。すなわち、機能選択テーブル371,372は、各シーンにおいて使用可能な複数のもてなし動作部を特定するとともに、使用可能な該複数のもてなし動作部のうち、ユーザーが受ける外乱の内容に応じて優先的に使用するものと、当該外乱内容との対応関係を示すものである。
以下、自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の動作処理について説明する。該動作処理は、自動車による走行イベントを支援するためのカーナビゲーション装置534への目的地の設定並びにその準備を、外部スケジューラ2001を用いて実行する外部スケジューラ関連処理と、ユーザーが自動車に乗り込んで、その走行イベントを実行する際に実施されるもてなし主処理とに大別される。まず、外部スケジューラ関連処理から説明する。
まず、図101Aは、スケジュールの入力や確認等の処理を行なわない場合の、外部スケジューラ2001の状態の一例を示すものである。液晶パネル2017の画面上にて日付表示領域2055から分離区画する形で補助表示領域2052,2056が設定されている。本実施形態では2つの補助表示領域2052,2056が日付表示領域2055を挟んで隣接配置されている。このうち、小補助表示領域2052には広告スポンサー情報2056Aが、大補助表示領域には広告画像(壁紙)2053Aが広告メッセージ2053Bとともに表示されている。また、大補助表示領域には、カレンダークロック2023から取得した現在の年月情報2054が表示されている。この年月情報2054と日付表示領域2055の内容は、カレンダー表示ソフトの実行により、カレンダークロック2023の計時する年月日情報により月がわりする度に更新される。また、タッチパネル2019の日付選択用のソフトボタン2055Dの設定も、これに合わせて変更される。また、年月情報2054に対応する領域が、カレンダーのいわば「月めくりボタン」として設定され、次の月のカレンダーを見たい場合は、これにタッチすることで翌月のカレンダー表示に切り替わるようになっている。
広告情報は、外部のサーバーから無線データ送受信回路2025ないしインターネットを介してダウンロード取得されるもので、外部サーバーからの配信スケジュールに従い、図101Bに示すように、定期的(例えば1ヶ月に1回)にダウンロード及び表示更新が実施される。なお、広告情報をユーザー側の外部スケジューラ2001に表示させると、広告情報の提供者は一定の利益を得ることができるので、その対価をユーザー側に発生させるビジネスモデル機能をシステムに付与することが可能である。この場合、前述の電子ペット表示などユーザーが希望する有料コンテンツをインターネット経由で外部スケジューラ2001に出力するサービスを行う場合は、上記の広告表示対価に対応した金額にて上記有料コンテンツサービスの一部をユーザーに無償又は割引提供する処理を行なうことができる。
図101Aに示すように、日付表示領域2055Dにおいて、カレンダークロック2023の計時する年月日情報から特定される本日の日付領域は、当該日付が本日2100であることを識別する表示状態(例えば色変え、網掛け、表示反転、太字強調など)とされる。また、スケジュールが設定済みの日付領域は、スケジュール存在を識別する表示状態(ここでは、マーク「◎」を表示している)が設定されている。
そして、スケジュールが存在しない日付領域にタッチした場合は、図102以下に示すスケジュール(目的地)入力設定画面に移行する。まず、図102ではスケジュール設定を行なうユーザーを決定するための、ユーザー決定画面2120が表示され、登録済みのユーザーを選択するためのユーザー選択ソフトボタン2121が表示・設定される。なお、ボタン2121にタッチすると図101Aのカレンダー画面に戻り、ボタン2105にタッチすると前画面に戻る処理が行なわれる。また、基本設定ボタン210にタッチすることで、ユーザー登録をはじめとする基本設定画面に移行するが、詳細な説明は略する。
ユーザー選択ソフトボタン2121で、ユーザー名を選択すると、図103に示す目的地設定画面に切り替わる。この画面では、目的地の検索情報が入力され、これが自動車側に無線送信されるとともにカーナビゲーション装置534で検索処理がなされ、その結果が無線により返信される流れで処理が進む。図103では、テンキー2124と、電話番号入力表示ウィンドウ2123が表示され、テンキー2124へのタッチにより目的とする施設の電話番号を入力すると、対応する施設が検索されるようになっているが、この検索モードはモード切替ボタン2125へのタッチにより50音検索モード、所在地(住所)検索モード、施設名検索モードに随時切り替えることが可能である。しかし、これらの機能は従来のカーナビゲーション装置においても周知であるので、詳細な処理内容についての説明は略する。
検索が終了すると、図104に示す検索結果画面2130に切り替わる。この実施形態では、検索結果が1件のみであり、経路情報とともに表示されているが、複数の目的地検索結果がある場合は、図110に示すようにこれをリスト2106(符号2107,2108はスクロールボタンである)に表示し、ユーザーが選択した目的地についてカーナビゲーション装置534側で経路を検索し、外部スケジューラ2001側に送信して、図111に示すように、経路情報を表示するようにする。しかし、これも従来のカーナビゲーション装置においても周知であるので、詳細な処理内容についての説明は略する。また、経由地や経路変更、複数目的地を組み合わせたフリープランニングの機能も、発展機能ボタン2132により選択可能となっているが、これについても詳細な説明は略する。
目的地が決定したら設定完了ボタン2120にタッチする。すると、図105の希望到着時刻設定入力画面2140に切り替わる。この画面では、時刻設定キー2141により希望到着時刻の設定を行なう。設定された希望到着時刻は対応する時刻ウィンドウ2142に表示される。また、自動車側のカーナビゲーション装置534では、検索された経路の距離に基づいて目的地までの所要時間が算出され(算出アルゴリズムについては周知のため、詳細な説明は略する)、外部スケジューラ2001に送信する。外部スケジューラ2001ではこれを受け、入力済みの希望到着時刻と受信した所要時間とから推奨出発時刻を算出して、これを出発時刻算出結果2143として表示する。もし、不具合があれば、やりなおしボタン2144にタッチすることで入力結果がクリアされ、最初から入力をやり直すことができる。なお、出発時刻の前倒しにより行程にゆとりを持たせることもできる。この機能は、発展機能ボタン2142へのタッチにより利用可能となる。
上記の入力でスケジュール確定してよい場合は完了ボタン2120にタッチする。これにより、入力されたスケジュール情報が確定され、図112に示すごとく、入力済みスケジュールデータベース2200に登録される。スケジュール情報は、日付、ユーザー名(ユーザー特定情報)、目的地(行き先:経路設定情報を含む)、希望到着時刻、推奨出発時刻、後述の記念日設定情報、及び付随データが互いに対応付けられた形で登録される。
また、スケジュール到来に伴い、登録された目的地への経路設定情報は自動車側のカーナビゲーション装置534に送信され、そこで実際に経路設定された後、周知の案内処理に供される。案内処理が終了すれば自動車側のカーナビゲーション装置534では、案内処理済の目的地の情報を、図113に示すように、日付、ユーザー名、目的地、及びその分類コードとを互いに対応付け、目的地選択実績データベース(目的地選択実績記憶部:図80のユーザーデータ21u内)に登録する(なお、このデータベースを外部スケジューラ2001側に設けてもよい)。
一方、図101Aにおいて、スケジュールがすでに存在する日付領域にタッチした場合は、図106に示すように、その日に設定されているスケジュール内容が補助表示領域2052,2056に表示される。本実施形態では、外部スケジューラ2001に近づいたユーザーの顔画像をカメラ2021により取得するか、あるいは声の波形をマイク2031で取得し、予め登録されているマスター画像あるいは音声波形と照合することによりユーザーを自動的に特定し、そのユーザーに対応するスケジュール情報を検索して出力するようにしている。また、当該ユーザーの好むタレントの顔写真のデータと、該タレントの合成音声モジュールも用意され、これらを用いてその顔写真2053T及び文字による報知メッセージ2053Mを補助表示領域2052に表示し、音声による報知メッセージ2153Vをスピーカー2015から出力するようにしている。
そして、もしスケジュールを設定変更ないし追加したい場合は、設定/追加ボタン2113にタッチすることにより、図102〜図104と同様のスケジュール入力画面が表示され、設定変更/追加の入力を行なうことができる。
以上のようにして設定・登録されたスケジュールは、スケジュール管理ソフトにより、算出された推奨出発時刻までの残時間が予め定められた値以下となった場合に、ユーザーに該出発時刻が接近又は到来したことを報知する処理を行なう(スケジュール報知手段)。スケジュールが登録されている日の前日の所定時刻(基本設定によりカスタマイズ可能)以降は、ユーザーが本日の日付領域にタッチするか、あるいは顔画像ないし音声により自動認証された場合に、図107に示すように、本日の予定(図107では、特にスケジュールが登録されていない場合の報知例になっている)とともに、明日の予定として、検索された該ユーザーのスケジュール内容が補助表示領域2056に表示されている。また、補助表示領域2052には、文字による報知メッセージ2053Mとともに電子ペット2053Pが表示され、音声による報知メッセージ2153Vをスピーカー2015から出力するようにしている。
また、スケジュール当日になると、図108に示すように、推奨出発時刻の規定時間前(例えば30分〜120分前)に、ユーザーに出発が近いことを報知するメッセージとともに、残り時間情報2056Bを補助表示領域2056に表示している。顔写真2053T及び文字による報知メッセージ2053Mを補助表示領域2052に表示し、音声による報知メッセージ2153Vをスピーカー2015から出力するようにしている。ここでも、図106と同様に、顔写真2053T及び文字による報知メッセージ2053Mを補助表示領域2052に表示し、音声による報知メッセージ2153Vをスピーカー2015から出力するようにしている。ここでのメッセージは、ユーザーに出発の準備を急がせる内容となっている。
図101Aに戻り、日付表示領域2055Dに近接して、記念日設定を行なうための記念日設定ソフトボタン2102が形成されている。このボタン2102にタッチしたあと、記念日を設定したい日付領域にタッチすると、設定可能な記念日のリストが表示され、所望のものを選んで確定させることで、図112に示すように記念日設定がなされる。その記念日が到来する(あるいは、記念日設定された日付領域にタッチする)と、図109に示すように、記念日の内容を報知する画像2053K及びメッセージ2053Jが補助表示領域2052に表示される。また、通信により、前述の目的地選択実績データベース上で前年までの当該記念日における目的地の選択実績が検索され、その検索結果が補助表示領域2056に表示される。
また、図101Aにおいては、日付表示領域2055Dに近接して、実績ボタン2101が形成されている。このボタン2101にタッチしたあと、目的地選択実績を検索したい日付領域にタッチすると、通信により、前述の目的地選択実績データベース上で選択された日付と同時期(同日付の日だけでなく、前後の休日がカバーできる程度の複数日数(例えば3〜14日)の幅で設定される)の、ユーザーによる前年までの目的地選択実績が検索される(同時期目的地選択実績検索手段)。また、図114に示すように、表示したい目的地の分類選択画面が表示され、複数の分類選択ボタン2060のいずれかにタッチして選択すると、図115及び図116に示すように、選択された分類の目的地検索結果のリスト2070が示される。このリスト2070上に表示された各目的地の対応領域に、当該目的地を設定するためのソフトボタンが形成されており、希望する目的地を選択することで、選択された日付のスケジュールに当該目的地を設定することができる。
図117〜図121に上記の処理の流れを示すフローチャートを示す。図117は主処理のフローチャートであり、TT101では広告画像(壁紙)表示処理を行なう。また、TT102、TT103は、本日予定表示(図107)が選択された場合の処理であり、TT104、TT105は、任意日付が選択された場合の処理(日付別表示処理)である。TT108ではスケジュール管理処理がなされる。この主処理は一定時間間隔で繰り返し実行される。
図118は広告画像(壁紙)表示処理の詳細であり、TT301では広告表示契約が登録済みであるかどうかを、例えば広告情報サーバーからの登録キーが、規定の登録記憶部に存在するかどうかにより調べる。広告表示契約されていない場合は、TT307に進み、ユーザーが独自に選んだ所望の画像(壁紙)を表示する。TT301で広告表示契約が登録済みであればTT302に進み、広告情報サーバーに新規広告情報があるかどうかを問い合わせる。TT303で新規広告情報がない場合はTT306に進み、現在の広告情報に基づく表示を行なう。また、TT303で新規広告情報がある場合はTT304に進み新規広告情報をダウンロードして、TT305で表示を新しい内容に更新する。
図119は本日予定表示の処理を示すものであり、TT401,TT402で本日及び明日の登録スケジュールを検索し、TT403で電子ペットモジュールを起動する。TT404では検索された本日及び明日の登録スケジュールを表示し、設定変更/追加が選択された場合はTT406に進み、スケジュール設定日付を本日に設定した上で、TT407のスケジュール設定処理に進む。TT408で図107の「戻る」ボタン2105が選択されれば該ルーチンを脱出する。
図120は日付別表示処理の詳細を示すもので、TT201では選択された日付の登録スケジュールを検索し、「実績」検索選択がなされている場合は、TT202で該日付近傍の過去の目的地実績を検索する。TT203では記念日設定判定がなされ、記念日設定がなされている場合はTT205に進んで記念日対応表示設定(図109)を、設定されていない場合はTT204に進んで通常表示設定(図106)を行なう。次に、TT206では選択された日付のスケジュール検索結果が表示され、「実績」検索選択がなされている場合は、TT207で、過去の実績で頻度の高い目的地の参照表示を行なう。TT208〜TT210の処理は、図119のTT405〜TT407の処理と同様である。
図121はスケジュール設定処理を示すもので、TT501でユーザー(設定者)を決定し、TT502で目的地を入力する。TT503ではカーナビゲーション装置534との通信連携により経路検索がなされ、TT504で所要時間が算出される。TT505では希望到着時刻が算出され、TT506で推奨出発時刻が算出される。TT507でこれらの結果を互いに対応付けて登録済みスケジュールデータベースに記憶・登録する。
図122は、スケジュール管理処理及び自動車側の対応もてなし処理の流れを示す。
スケジュール管理処理は外部スケジューラ2001側の処理であり、TT601ではカレンダークロックをリードし、TT602では規定時間T1以内(かつT2以上)内に出発時刻が到来するスケジュールがあるかどうかを登録済みスケジュールデータベースで確認する。スケジュールが存在すればTT603で既に説明した報知処理を行なう。TT604では、規定時間T2(5〜10分)以内に、出発時刻が到来するスケジュールがあるかどうかを登録済みスケジュールデータベースで確認する。スケジュールが存在すればTT605で、当該スケジュールの目的地をユーザー特定情報とともに自動車側に送信する。また、TT606で、当日が記念日に該当している場合は、TT607でその情報も併せて自動車側に送信する。
自動車側の対応もてなし処理は以下の通りである。TT1801では、目的地情報とユーザー特定情報とを受信し、TT1802でカーナビゲーション装置に目的地を設定する。TT1803では、後に詳述するとおり、受信したユーザーに適合する接近シーンでのもてなし動作内容を、TT1804では同じく運転滞在シーンでのもてなし動作内容をそれぞれ決定する。また、TT1805では、ユーザーに適合する食事や寄り道スポットの分類(ジャンル)を設定する。TT1806では、記念日情報を受信しているかを調べ、受信していればTT1807でその記念日内容に応じてもてなし内容を、その記念日特有のものにカスタマイズする。
次に、図46〜図48は、システム100における、もてなし意思決定からもてなし動作実行に至る一連のもてなし主処理の全体アルゴリズムを概念的に示すものである(これら3つの図は、対応する丸数字を接続子として、一つながりの図として読まれるべきものである)。もてなし主処理は、「目的推定(δ1)」、「個性適合(δ2)」、「状態適合(δ3)」、「演出対応(δ4)」、「機能選択(δ5)」、「駆動(δ6)」及び「状態確認(δ7)」の各ステップからなる。
まず、「目的推定(δ1)」では、ユーザー位置検出(β1)及びユーザー動作検出(β2)により、現在のシーンを推定する。ユーザー位置検出(β1)は、具体的には、ユーザーと自動車との相対的位置関係(α1)を把握・特定することにより行なう。また、本実施形態では、ユーザーの接近方向(α2)も合わせて考慮する。他方、ユーザー動作検出(β2)は、基本的には、ドアの開閉操作やシートへの着座など、シーン決定用に固定的に定められた動作を検出するセンサ類(シーン推定情報取得手段)の出力を用いて行なう(α6)。また、着座継続時間により準備シーンから運転/滞在シーンへの移行検知を行なう場合のように、特定動作の継続時間(α7)も考慮される。
図3は、シーン決定の処理の流れを示すフローチャートである。この処理は、自動車の使用中に一定の周期で繰り返し実行されるものである。まず、S1で、図5のシーンフラグ350をリードする。S2,S5,S8,S12,S16及びS20は、現在どのシーンまで進んでいるかを、上記シーンフラグ350の状態から判別する処理である。シーンフラグ350は、時系列的に先に位置するシーンのフラグから順にセットされるようになっており、先行するシーンを差し置いて後続のシーンのフラグが単発的にセットされるようなことはない。
S2〜S4は接近シーンの特定処理であり、まずS2で接近シーンに対するフラグSCN1が「1」でない(つまり、接近シーンが未到来である)ことを確認して、S3で、自動車側のGPS533(図1)と、ユーザー側(携帯電話1:図15)のGPS554とがそれぞれ特定する位置情報から、ユーザーが自動車に対し一定距離以下(例えば50m以下)に近づいたか否かを判別する。そして、近づいていれば接近シーンに移行したと判断して、S4でSCN1を「1」にセットする。
S5〜S7は乗車シーンの特定処理であり、S5で乗車シーンに対するフラグSCN2が「1」でないことを確認して、S6でドアカーテシスイッチ537からの入力情報からドアが開になったかどうかを判断する。そして、ドアが開になっていれば乗車シーンに移行したと判断して、S7でSCN2を「1」にセットする。現在のシーンがSCN=1、つまり、接近シーンであることを確認しているので、この状況での「ドア開」は乗車時のものであることを容易に判別できる。
なお、接近シーン及び乗車シーンでは、自動車へのユーザーの接近が「乗車→運転」を目的とする場合であれば、上記のごとく、乗車を前提としてもてなし動作をすればよい。しかし、自動車への忘れ物確認など、「乗車→運転」を目的としないユーザーの接近もありえる。このような場合、ユーザーが、自動車へ接近してきたにも拘わらず、乗車の動作へなかなか移行しないこともある(例えば、ユーザーが窓の外から車内を覗き込むだけであったり、ドアの把手に手をかけた状態で固まったりして、ドア開の操作に移行しない場合など)。そこで、先行するシーンから後続のシーンへの移行タイミングにて、後続シーンにおけるユーザーの目的を確認するための質問を、スピーカー等から音声出力し、それに対するユーザーからの応答情報(マイクを介した音声入力による)に基づいて、上記後続シーンでのもてなし動作内容の決定処理を行なうことができる。一例を以下に示す。
すなわち、ユーザーが自動車に接近し、ドアの前で立ち止まって動作が停滞した場合、もてなし制御部は乗車シーンへの移行直前までもてなし制御処理を進める。そして、ユーザーがドアを開ける動作に一定時間移行しなかった場合、車外に向けたスピーカーから、
「あら、乗らないの?せっかく来てくれて嬉しかったのに」
などという質問を出力する。ユーザーがこれに対し、
「いやあ、忘れ物がないか見にきただけや。また来るから、機嫌ようにな。」
と回答したとする。もてなし意思決定部は、この回答内容を解析し、「忘れ物」のキーワードから、遺失物確認用のもてなし動作モジュールを立ち上げ、例えば、
「じゃあ、中を明るくするから覗いて見て。」
などというメッセージとともに、車内照明を通常時よりも明るく点灯させ、さらに、パワーウィンドウにより窓を開いて中を確認しやすくする動作を行なう。
S8〜S11は準備シーンの特定処理である。S8で準備シーンに対するフラグSCN3が「1」でないことを確認して、S9で着座センサ520からの入力情報から、ユーザーが着座したかどうかを判別する。そして、ユーザーの着座が検知されれば準備シーンに移行したと判断して、S10でSCN3を「1」にセットする。この段階では着座が完了したことを検知するのみであり、ユーザーが運転ないし車内滞在へ本格的に移行する準備段階にあることを特定するに留まる。S11では、運転/滞在シーンへの移行判定に使用する着座タイマーを起動する。
S12〜S15は運転/滞在シーンの特定処理である。S12で運転/滞在シーンに対するフラグSCN4が「1」でないことを確認して、S13でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを始動したかどうかを判別する。エンジン始動されていれば、直ちに運転/滞在シーンへ移行したと判断し、S15へジャンプしてSCN4を「1」にセットする。一方、エンジン始動されていなくとも、着座タイマーが一定時間(t1)経過していれば、ユーザーが(例えば運転以外の目的で)車内に滞在するために乗車したと判断し、S15へ進んでSCN4を「1」にセットする(t1が経過していなければ、準備シーン継続のためS15をスキップする。
S16〜S19は降車シーンの特定処理である。S16で降車シーンに対するフラグSCN5が「1」でないことを確認して、S17でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを停止したかどうかを判別する。エンジン停止されていれば、S18に進み、ドアカーテシスイッチ537の入力情報から、ユーザーがドアを開いたかどうかを判別する。ドアが開いていれば降車シーンへ移行したと判断し、S19でSCN5を「1」にセットする。
S20〜S23は離間シーンの特定処理である。S20で離間シーンに対するフラグSCN6が「1」でないことを確認して、S21でイグニッションスイッチ538及び着座センサ520からの入力情報とから、ユーザーが座席から離脱しつつドアを閉じたかどうかを判断する。YesであればS22に進み、SCN6を「1」にセットする。さらに、S23では降車タイマーを起動する。なお、S20においてSCN6が1だった場合(つまり、離間シーンが既に到来している場合)にはS24以下へ移行する。降車シーンでのもてなし処理に必要な時間t2を降車タイマーにより計測し、S24でt2が既に経過していれば、S25で次回のもてなし処理のためにシーンフラグをリセットし、また、S26で着座タイマーと降車タイマーをリセットする。
図46に戻り、γ1でシーンが決定されれば、そのシーンでのもてなし内容を決定する。この決定は、図2のもてなし意思決定テーブル360を参照して行われる。前述のごとく、各シーンに対し、複数のもてなしジャンルが設定されており、各ジャンルには、これをさらに細分化したもてなしテーマが設定されている。前述のごとく、ジャンル及びもてなしテーマは、ユーザーのもてなしに求める願望や指向の観点から種々設定されている。これは、より具体的にいえば、各シーンにてユーザーは、自動車の利用に際し、「安全」「容易」「快適」の要望が満たされることを欲しており、その要望が何らかの要因によって乱される場合、その要因を外乱として特定する。そして、それらの外乱に対して何らかの対応処理、つまりもてなし動作を行なうことで、上記個々の要望が充足されるように計らうことが、最終的なシステムの目的であるといえ、上記の外乱の種別に応じてもてなしのジャンル及びもてなしテーマが定められているのである。このうち、ジャンルについては、各シーンについて共通に見出すことのできる「外乱」に基づいて定められており、具体的には、
(ST1)ユーザーを期待させ盛り上げる;
(ST2)ユーザーをリラックスさせ安らぎを与える;
(ST3)ユーザーの不安や緊張を解消する;
(ST4)ユーザーの体力的負担を軽減する;
(ST5)ユーザーの体調に応じて、適性に補佐する;
の5ジャンルが設定されている。
なお、図2において、期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2に属するもてなしテーマについては、ユーザーの性格や精神状態に応じて、どちらかが択一的に選択される(つまり、これらのジャンルは、互いに排他的に選択される)。それ以外のジャンルのもてなしテーマは、いずれも各シーンにおいて同時に選択され、それらテーマに属するもてなし動作が、該当するシーンにおいて並列に実施される。
他方、各ジャンルに属するもてなしのテーマは、シーンによって異なるものが設定されている。各シーンのジャンル別のテーマは、図2中に記載した通りである。また、複数のシーンにまたがって設定されるテーマも存在する。例えば、「目的地の様子が知りたい」OBJ331は、準備及び運転滞在の2つのシーンにまたがっている。
もてなし意思決定テーブル360は、図4に示す流れに従い使用する(これは、図46〜48のδ1〜δ6に示すもてなし主処理から、要部を抽出したものに相当する)。S101でシーンフラグをリードし、S102で現在のシーンが何であるかを特定する。S103では、特定されたシーンに対応するもてなしテーマをリードし、そのテーマに属するもてなし機能(もてなし動作部)を、図7〜図13に例示した機能選択テーブル371,372を参照して選択する。そして、S105で、抽出したもてなし機能を具体的な動作させるためのもてなしアプリケーションを、図6のテーマ別アプリケーションライブラリ351から選択し、起動する。
図46に戻り、シーン特定時の補正的項目として、ユーザーの身なり検知(α3:例えば、接近時において、車外カメラ518(図1)によるユーザーの姿の撮影画像から把握できる)、所有物検知(α4:手荷物など)、仕草検知(α5:シーン推定に直接関与する動作の予兆として検出する)等を合わせて実行することも可能である。これらの検知は、シーン毎のもてなしテーマ決定に有効に寄与することとなる。
次に、δ2に進んで、もてなし内容をユーザーの個性に適合させる処理となる。これは、具体的には、後述するユーザーの性格判定処理と、判定された性格に応じて、個々のもてなし処理に適正な重み付けをすること、つまり、個々のユーザーの性格に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。個性の特定には性格判断処理β4あるいはε2が必要である。処理ε2は、アンケート処理など、ユーザー自身の入力により性格分類を取得するものであり、処理β4は、ユーザーの動作、行為や思考パターン、あるいは表情などから、より分析的に性格分類を決定するものである。後者については、後述の実施形態に音楽選曲の統計から性格分類を決定する具体例を示しているが、α10のごとく、ユーザーの動作から性格判定に直結した癖を抽出したり、あるいは、α11のように、人相から性格判定を行なうようなことも可能である。
図47に進み、δ3では、もてなし内容をユーザーの精神/肉体状態に適合させる処理となる。この点についても、詳細な具体例は後述するが、生体状態検出部の検出情報に基づいて、ユーザーの精神状態及び体調を反映した精神/体調情報を取得し、その取得内容に応じてユーザーの精神状態ないし肉体状態を推定する。生体状態検出部は、赤外線センサ519(顔色:α20)、顔カメラ521(表情:α12、姿勢:α14、視線:α15、瞳孔径:α16)、脈拍センサ524(心拍:α17)などが採用可能であるが、この他にも、運転操作実績を検出するセンサ類(502w、530、531,532,532a;誤操作率:α13)、血圧センサ(α18)、呼気センサ(アルコール:α21、例えば呼気にアルコールが検出された場合は、エンジン始動を禁止する処理を行なうなど)、着座センサ520(感圧センサによりシートにかかる体重分布を測定し、運転中の小刻みな体重移動を検出して、運転中の落ち着きが損なわれた判定を行ったり、偏った体重の掛かりかたを検出して、運転者の疲労の程度を判定したりすることができる)。
ここでも、処理の要旨は、上記の生体状態検出部からの出力を精神状態や肉体状態を示す数値パラメータに置き換え(β5)、その数値パラメータ及びその時間的変化からユーザーの精神状態や肉体状態を推定して(γ3,γ4)、個々のもてなし処理に適正な重み付けをすること、つまり、推定されるユーザーの精神状態や肉体状態に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。同じシーン及びテーマのもてなしであっても、前述のごとく、ユーザーの性格が異なれば、その性格に適合したもてなし動作を行なうのがよいのであり、また、同じユーザーであっても精神状態や体調に応じてもてなしの種別や程度を調整することが当然望ましい。
この場合、照明光の場合を例に取れば、性格によってユーザーの指向する照明色が相違し(例えば、活発なタイプは赤系を、おとなしいタイプは緑や青系を指向)、体調の良し悪しによって照明強度に対する要望(例えば、体調が悪いときは照明による刺激を抑制するため光量を落とす)が相違することが多い。前者では照明光の周波数あるいは波長(赤系→緑系→青系の順に波長が短くなる)を調整するもてなし制御となり、後者は照明光の振幅を調整するもてなし制御となる。また、精神状態は、その両方に関係する因子であり、幾分陽気な精神状態において、さらに気分を盛り上げるために赤系の照明光を採用することもありえるし(周波数調整)、照明光の色を変えず、明るさを増したりすることもありえる(振幅調整)。また、過度に興奮した状態では、気持ちを沈めるために青系の照明光を採用したり(周波数調整)、照明光の色を変えず明るさを減らしたりする(振幅調整)、といった処理が考えられる。音楽の場合は、種々の周波数成分が含まれているのでより複雑であるが、覚醒効果を高めるために、数100Hz〜10kHz程度の高音域の音波を強調したり、逆に気持ちを沈めるために、リラックス時の脳波(α波)の周波数(7〜13Hz:シューマンレゾナンス)に、音波の揺らぎの中心周波数を合わせこんだ、いわゆるα波系音楽を採用したりするなど、周波数/振幅により制御パターンを同様に把握することができる。
車内の明るさや音波レベルに関しては、性格、精神状態及び体調を勘案して、各シーンのもてなしテーマ毎に、適性レベルを数値設定することができる。図7、図8、図9に示すごとく、各テーマの機能選択テーブル371には制御適性値設定テーブル371aを随伴させてある。
制御適性値設定テーブル371aは、各シーンのもてなしテーマ毎に用意されており、使用する複数のもてなし動作部に対し、各々設定すべき制御適性値を集めたものである。もてなし動作部の動作出力範囲に対応した数値範囲(例えば、求められる照明レベルや音波レベルなど)にて、各シーンのテーマ毎に適合する値を、予め実験等により見出しておき、これを制御適性値として制御適性値設定テーブル371aに登録しておく。制御適性値には個人差があるので、複数人について見い出された適性値の平均値や、モードあるいはメジアンなどの代表値を制御適性値設定テーブル371aに登録しておけばよい。
そして、図48のδ4に進み、もてなし演出対応処理となる。例えば、図1の照度センサ539(視覚刺激:α23)、音圧センサ(聴覚刺激:α24)などの出力から、現在ユーザーがどの程度の刺激を感じているかに関しての情報(外乱刺激)を得(環境推定:β6)、その外乱刺激を、上記の個性(性格)、精神状態及び体調から得られる上記の適性値と比較可能な数値に変換して、外乱の数値的な推定を行なう(γ6)。なお、特定すべき外乱刺激としては、触覚刺激(α25:例えば、ハンドルに取り付けられた感圧センサ523など)、及び嗅覚刺激(α26:嗅覚センサによる)なども併用することができる。また、外乱推定に関しては、ユーザーを取り囲む空間からの間接的刺激、具体的には、高さ(α27)、距離(α28)、奥行き(α29)及び自身ないし同乗者の体格(α30)等を考慮することも可能である。
次いで、δ5では機能選択処理となる。ここでは、外乱刺激と適性値との差が縮小されるよう、機能選択テーブル371,372に示された優先順位の高いもてなし機能(もてなし動作部)から順に採用し、δ6で個々のもてなし動作部の駆動処理となる。
また、実際に選択されたもてなし機能の内容や程度がユーザーの気に召したかどうかに係る情報を、例えば前述の生体状態検出部の出力から推定するか(δ7)、あるいはユーザー自身による回答情報(好き・嫌いの意思表示に係る直接的な入力であってもよいし、嫌いな音楽や照明を回避する操作入力等から推定する形でもよい)から取得し(δQ)、これをフィードバックすることで、もてなし動作制御に一種の学習効果を付与することが可能である(δQ,δ7→ε5、ε6及びγ7)。すなわち、もてなし動作を享受したユーザーからの応答情報に基づき、もてなし動作の制御状態を調整する司令を行なうもてなし調整司令手段の機能が備わっている。本実施形態では、もてなし意思決定部2のROMに、当該機能を実現するためのプログラムルーチンが格納されている。
この場合、δ6の駆動ステップのあとで、δ7の状態確認処理を行なう。この状態確認処理は、γ3とγ4で実施する精神状態推定及び肉体状態推定と同様の処理を使用し、もてなし駆動の結果を受けてこれらの状態がどう変化しているかをモニタリングする処理である。その結果は、δ4の機能選択処理にフィードバックされる。モニタリングの結果、推定される精神状態あるいは肉体状態が改善されているようであれば、現在選択しているもてなし動作を維持ないしさらに強化する司令を行ない、逆に悪化しているようであれば、現在選択しているもてなし動作を抑制、あるいは場合により廃止する司令を行なう。精神状態あるいは肉体状態が正常状態付近で安定化の傾向を示している場合は、当該状態を安定維持する司令を行なう。
他方、δQでは、もてなし動作に対するユーザーの満足度を質問形式で問いかけ、その回答情報(好み(ε5:もっとして欲しい、あるいはやめて欲しい)、物理効果(ε6:暑い、寒い、うるさいなど)を元に、もてなし動作へのフィードバックを行なう。この問いかけは、スピーカー515Sから音声出力することができる(図1のモニター536へ視覚表示することも可能である)。いずれの場合も、質問データは、図73Aに示すように、もてなし動作ID及び制御方向情報と対応付けた形で、図1の記憶装置535等に記憶されている。例えば、もてなし動作IDが「エアコン」に対応しており、制御方向情報が「設定温度上昇」に対応している場合は、質問情報は「暑すぎませんか」などという内容に設定しておく。そして、質問出力に際しては、その時点で採用されているもてなし動作を検索し、対応するIDの質問データを順次読み出して出力する。
これに対するユーザーの回答は、例えばマイクロフォン522から音声入力することができる。そして、入力された音声は、周知の音声変換モジュールにより入力内容が特定され、さらに周知の言語解析モジュールにより、その意味の解析がなされて、質問データに対する回答結果が特定される。簡単なものであれば、例えば、質問内容に対応する回答候補のキーワードリストを作成しておき、特定された入力内容にそのキーワードが含まれているかどうかと、さらには、否定を意味するキーワードが含まれていないかどうかを解析し、回答内容を把握することが可能である。例えば、「暑いですか」の問いかけに、キーワードとして「はい」、「うん」、「暑い」、「暑く」、「ない」、「いいえ」、「いいや」、「寒いです」、「ちょうどいい」などを登録しておき、「暑くない」との回答が特定されたとき、「暑く」及び「ない」のキーワードが合致することで、質問に対する回答が否定的な内容であったことを認識することができる。上記の音声変換モジュールや言語解析モジュールは、もてなし意思決定部2のROMに格納しておくことができる。
なお、上記とは別系統の機能選択判定要素として、もてなし動作部の機能状態を判定し(α31)、自動車の劣化情報として整備し(β8)、その機能状態が正常/異常のどちらに寄与するかを判定して(γ8)、正常に寄与する機能は積極採用し、異常に寄与する機能を忌避する処理を行なう、といったことも可能である。
また、もてなし動作のコンセプトは、自動車の種別によっても、その自動車のイメージに合致した内容に定めることが、もてなし効果を高める上で肝要である。高級車に関しては、全般に落ち着いた、かつ高級感を強調できるスマートなもてなし演出が有効であるし、逆にスポーツ仕様車やレジャー仕様車では、明るく賑やかな演出が相応しいといえる。
以下、個々のシーンでのもてなしの代表例について説明する。
図28は、接近シーンSCN1での、もてなし動作の処理の流れを示すものである。テーマは、図2の「車に乗ることに対する気持ち高揚」であり、ユーザーに応じて特有の処理がなされる。本発明では、すでに外部スケジューラ2001からユーザー特定情報を受信しているので、接近してくるユーザーが誰であるかは自動車側で把握されている。そして、その特定されているユーザーの性格分類に応じて、期待/盛り上げジャンルST1に属するもの(OBJ111;例えば性格分類が「活動的SKC1」(図18)の場合)、及びリラックス/安らぎジャンルST2に属するもの(OBJ211;例えば性格分類が「おとなしいSKC2」(図18)の場合)のどちらかが選択される。また、後述の方法により、ユーザーの肉体状態あるいは精神状態の推定も行なわれ、その結果がもてなし動作の処理に反映される。本実施形態では、後に詳述するように、「体調不良(軽度/重度)」、「集中力散漫」及び「興奮(怒り)状態」が肉体状態あるいは精神状態として推定されるようになっており、個々の状態に応じて図67に示すようなもてなし動作の調整が行われるようになっている。
図28のS21では、ユーザー(つまり、端末装置1)の自動車に対する接近方向を特定する。自動車側では、GPS533による位置情報と、駐車に至る自動車の進行方向変化の履歴から、自動車の位置とともに自動車の向きを特定することができる。従って、携帯電話1から送られてくるユーザーの位置情報(GPS554による)を参照することによって、自動車に対しユーザーが、例えば前方側、後方側及び側方のいずれから接近してきているか、及び自動車に対しユーザーがどの程度の距離まで接近しているかを認識である。
S22に進み、その接近方向が前方からであればS23に進み、前方用ランプ群を選択する。図23に示すように、前方用ランプ群として、本実施形態では、ヘッドランプ504、フォグランプ505、コーナリングランプ508を使用する。また、接近方向が後方からであればS24からS25に進み、後方用ランプ群を選択する。図24に示すように、後方用ランプ群として、本実施形態では、テールランプ507、バックアップランプ509、ストップランプ510を使用する。それ以外の場合は側方からの接近と判断してS26に進み、側方用ランプ群を選択する。図25に示すように、側方用ランプ群として、本実施形態では、ハザードランプ506、テールランプ507、床下ランプ512を使用する。
S27では、自動車とユーザーとの距離を上記の方法により特定する。自動車とユーザーとの距離が特定できたら、その距離が第一上限値(例えば20m以上に設定される)を超えていればS29に進み、遠距離用照明モードとなる。また、第二上限値(例えば5m以上20m未満に設定される)を超えていればS31に進み、中距離用照明モードとなる。それ以外の場合(つまり、第二上限値以下の場合)はS32に進み、近距離用照明モードとなる。ユーザーが自動車から遠いほど(つまり、近距離用照明モード→中距離用照明モード→遠距離用照明モードの順に)、各ランプ(照明)による総光量が大きくなるように(ビーム角度が関与する場合、照明正面に立ったときにユーザーが視認する光量とする:例えば、ランプを上向きとすることでハイビーム化する場合は、ロービーム時と光源の強度が変わらなくとも、視認される光量は大きくなる)、個々のランプの発光動作が制御される。これにより、自動車へのアプローチをライトアップしてユーザーを安全に自動車まで誘導する効果が高められる。
図23は、ユーザーUの接近方向が前方側の場合の動作例を示すものである。遠距離用照明モードではヘッドランプ504をハイビームで点灯し、中距離用照明モードではロービームとして光量を落とす。つまり、光源強度(駆動電圧等で調整できる)及びビーム角度の少なくともいずれかを調整することで、同じランプの視認光量を変化させる方式を採用している。他方、近距離用照明モードでは、光量のより小さいフォグランプ505あるいはコーナリングランプ508に切り替える。ユーザーUが正面から接近してくる場合にはフォグランプ505を点灯させ、ユーザーUが車両側方に向けて移動した場合は、コーナリングランプ508の対応する側のものを点灯させる。
図24は、ユーザーUの接近方向が後方側の場合の動作例を示すものである。遠距離用照明モードではバックアップランプ509、テールランプ507及びストップランプ510の全てを点灯し、中距離用照明モードではテールランプ507及びストップランプ510のみの点灯として光量を落とす。つまり、複数個のランプのうち、点灯させる個数を変化させて総光量を変化させる方式を採用している。近距離用照明モードでは、バックアップランプ509、テールランプ507及びストップランプ510のいずれかのみの点灯に切り替える。後方中央からユーザーUが接近してくる場合はテールランプ507のみ(あるいはストップランプ510のみ)を点灯させ、ユーザーUが車両側方に向けて移動した場合は、バックアップランプ509の対応する側のものを点灯させる。
図25は、ユーザーUの接近方向が側方側の場合の動作例を示すものである。遠距離用照明モードではハザードランプ506、複数の床下ランプ512の全てを点灯し、中距離用照明モードでは、その状態からハザードランプ506のみ消灯して光量を落とす。近距離用照明モードでは、複数の床下ランプ512のうち、ユーザーUに近いもののみの点灯に切り替える。車側中央からユーザーUが接近してくる場合は中央の床下ランプ512のみを点灯させ、ユーザーUが車長方向に移動した場合は、対応する側の床下ランプ512の点灯に切り替える。なお、ユーザーUの接近に伴い、床下ランプ512の照明角度を変えて、ユーザーUを自動車に向けて導くように照明領域を変化させてもよい。いずれの場合も、近距離用照明モードでは室内照明511も点灯させ、自動車に乗り込もうとするユーザーをより丁重にもてなすようにしている。
また、本発明では、外部スケジューラ2001から、これから向う目的地の情報を既に受信しているので、これから向かう目的地をイメージした照明点灯パターンにてイルミネーションを行なうことができる。例えば、目的地が海であれば、青色系の照明光の照度を漸増させた後漸減させる、波を連想させるイルミネーションパターンで点灯を行なうと効果的である。
この場合、上記の照明駆動形態は、外部スケジューラ2001から記念日情報を受信していれば、その記念日の内容に応じてカスタマイズされる。例えば、誕生日であれば、赤や黄色などの祝祭的な照明色を主体とし、フラッシングなども組み合わせておめでたい雰囲気を盛り上げるようにする。また、結婚記念日であれば、淡いピンク色や水色などの照明色によりソフトにムードを盛り上げる方法もある。
他方、照明駆動形態は、ユーザーの体調や精神状態に応じて図67に示すようなバリエーションを持たせることも可能である。「軽度の体調不良」であれば、例えばイルミネーションに使用する照明光のうち、必要性の低い光を低減して、ユーザーが自動車に接近するときの視認性を向上させるようにする。また、「重度の体調不良」であれば、白色ないし暖色系の暗めの照明を採用し、心理的な負担を軽減するようにする。一方、「集中力散漫」と推定されている場合は、ユーザーを覚醒させるために、照明をフラッシングさせる動作を行なう(例えば、赤や青など原色系の刺激的な波長を採用するとより効果的である)。他方、「興奮(怒り)状態」と推定される場合は、青色系の照明光を用いれば、過剰に高ぶった精神状態を沈める上で効果的である。
なお、ユーザー端末1からの無線指令により制御可能なもてなし動作部として、例えば図26に示すような建物側照明1161を有する周辺設備が、自動車の駐車位置周辺に存在する場合は、その建物側照明1161により自動車をライトアップする動作をもてなし動作に追加してもよい。図27に示すように、遠距離用照明モードでは、夜間の駐車場にて自分の車を照らし出すことで駐車位置がよりわかりやすくなるし、ライトアップにより乗り込み前のユーザーの気持ちを高める効果も生ずる。他方、中距離用ないし近距離用照明モードでは、自動車周辺のエリアが広く照らし出されるので、乗り込みの誘導ないし補助の効果が高められ、自動車に乗り込むまでのユーザーの経路(足元)上に異物等が存在していても容易に発見することができる。
性格分類は、例えば以下のような方法により決定されるものである。
自動車のユーザーは、図36に示すようなユーザー登録部600(例えば、もてなし意思決定部2のROM(書換えが可能となるように、フラッシュROMで構成しておくことが望ましい)や記憶装置535に予め登録しておくことができる。このユーザー登録部600には、各ユーザー名(あるいは、ユーザーID(及び暗証番号)と、その性格種別(図18参照)とが互いに対応付けられた形で登録されている。この性格種別は、後述のごとく、ユーザーによる自動車使用継続中に、特定の操作部における操作履歴情報として取得・蓄積し、その蓄積された操作履歴情報に基づいて推定されるものである。しかし、自動車の使用開始直後など、操作履歴情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、次のように、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。
図37では、図1のモニター536(カーナビゲーション装置534のモニターで代用してもよい)に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部529からこれを入力する。ここでは、入力部はモニター536に重ねられたタッチパネルであり、表示形成された選択ボタン529Bに触れて選択入力を行なう。他方、図38では、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方式としている。モニター536にはアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える(ここでは、選択ボタン529Bで選択肢を構成し、この上に重ねられたタッチパネル529の該当位置に触れて選択入力を行なう)。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、1つのものが一義的に決定されるようになっている。
ユーザー名(ユーザー特定情報)を含めたユーザー登録入力は、上記の入力部529からなされ、決定された性格種別とともにユーザー登録部600に記憶される。また、これらの一連の入力は、携帯電話1から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部529か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。この場合、ユーザー名と、年齢、性別も合わせて入力し、ユーザー登録情報として互いに対応付けて記憶しておく。また、前述のように、そのユーザーの性格種別が特定できた場合は性格コードも合わせて登録しておく。
そして、これから開始される走行イベントに先立って、前述のごとく外部スケジューラ2001から受信しているユーザー特定情報によりユーザーが特定され、そのユーザーに対応する性格種別(ユーザー生体状態情報)がもてなし意思決定部2において取得され、対応するもてなし動作部の選定及び動作パターンが選択される。前述のごとく、例えば特定された性格種別が「活動的SKC1」であれば、期待/盛り上げジャンルST1に属するテーマOBJ111が選択され、特定された性格種別が「おとなしいSKC2」であれば、リラックス/安らぎジャンルST2に属するテーマOBJ211が選択される。この処理の流れは、他のシーンでも全く同じである。
なお、外部スケジューラ2001側からの情報受信により、既にユーザーが特定されていても、実際に自動車に乗り込もうとしているのが本人であるかどうかを確認するためには認証処理が必要である。最も簡単な認証方式は、携帯電話1からユーザーIDと暗証番号を自動車側に送信し、これを受けたもてなし意思決定部2が、登録されているユーザーIDと暗証番号との照合を行なう方法である。また、携帯電話1に設けたカメラにより顔写真の照合を行ったり、音声認証、指紋を用いた認証など、バイオメトリックス認証方式を採用することもできる。他方、自動車へのユーザーの接近時は、ユーザーIDと暗証番号とを用いた簡略な認証に留め、開錠後、自動車に乗り込んでから、前述の顔カメラ521、マイクロフォン522、網膜カメラ526、アイリスカメラ527あるいは静脈カメラ528などによるバイオメトリックス認証を行なうようにしてもよい。
以下、機能選択テーブルの具体例について、図7〜図13により説明する。いずれの機能選択テーブルも、その縦軸は、ユーザーが受ける外乱に応じて定まる動作目的(ただし、一部、外乱に依存しない項目も存在する)を示し、横軸が、該シーン及びテーマにて採用可能なもてなし動作部の種類を表す二次元マトリックスとして構成されている。そして、動作目的毎に用意された各もてなし動作部に対応するセルには、その動作目的において優先的に使用するもてなし動作部の順位が数字にて指定されている。数字が大きいほど優先順位が高いことを意味し、「0」は不採用であることを示している。なお、各テーブルの右端には、理解の一助のため、その動作目的に関与する外乱種別と、その外乱を検出する手段名を併記してある。
図7は、期待/盛り上げ系のテーマOBJ111に対応した機能選択テーブル371を示すものである。動作目的は以下の通りである。
(車外明るさ)
外乱種別は「車外光量減少」であり、車外光量センサで検出する(接近シーンが対象であるから、該センサは自動車自体に設ける以外に、駐車場などの外部設備に設けることができる(この場合、センサの検知情報は通信にて取得する)。このセンサが検出する車外光量が一定の閾値未満となったとき、「車外光量減少」の外乱状態が発生したと判定できる。
(外光取入、内光発生)
外乱種別は「車内光量減少」であり、照度センサ539(図1)で検出する。このセンサが検出する車外光量が一定の閾値未満となったとき、「車内光量減少」の外乱状態が発生したと判定できる。
(外界遮断、騒音打消)
外乱種別は「車内ノイズ増大」であり、図44のノイズ検知マイク2011で検出する。このセンサが検出する車内ノイズレベルに応じて、ノイズキャンセラ1001Bは、既に説明した動作により自立的に車内ノイズ減少のための音響処理を行なう。
(車内環境)
外乱種別は「車内温度の上昇/降下」であり、室温センサ563や日照センサ564(図1)により検出する。車内温度が適正温度を外れたとき(あるいは、外れる要因(例えば、日照量の増減や、吸気温度の変動)が発生したとき)に、「車内温度の上昇/降下」に関係する外乱が発生したと判定する。
娯楽要素や情報提供に関しては、ユーザーの嗜好によりもてなし動作の選択がなされるものであり、外乱とは基本的に無関係である。この場合、後述のアルゴリズムによるユーザーの精神状態ないし肉体状態の推定結果に応じて、適正なもてなし動作の選択を行なうことが可能である。
車外照明、車内照明、窓遮蔽(パワーウィンドウ)、カーオーディオの機能優先順位が高くなっている。いずれも派手な盛り上げを行なうため、制御適性値設定テーブル371aにおける車外照明によるイルミネーション用の外的照明レベルの設定値、車内照明の設定値、カーオーディオシステム515及び携帯電話1からの音声出力レベル(ここでは、音楽出力に関する楽音レベル)はいずれも高く設定されている。図1の照度センサ539の照度検出レベル、及び音圧センサ540の音圧検出レベルが上記の設定値に近づくように、図1の照明504〜512及びカーオーディオシステム515の駆動出力レベルがもてなし実行制御部3により制御される。また、携帯電話1の音声出力レベルも無線指令により対応する値に設定される。
期待/盛り上げ系の演出は、前述の記念日に該当する場合に優先的に採用され、誕生日や結婚記念日などのイベントを大いに盛り上げることができる。また、家族旅行や子供主体の目的地に向かう場合もこれに順ずる。他方、推定される精神状態が集中力散漫に該当している場合も、期待/盛り上げ系の演出により、運転に臨む精神集中度を高める上で効果を発揮できる場合がある。
他方、図8は、リラックス/安らぎ系のテーマOBJ211に対応した機能選択テーブル371を示すものである。動作目的/外乱種別は図7と同じである。機能優先順位の設定は期待/盛り上げ系と同じであるが、制御適性値設定テーブル371aにおける外的照明レベルの設定値、車内照明の設定値及び楽音レベルは、期待/盛り上げ系のテーマOBJ111よりも低く設定され、照明色や選曲も含めて、より温和な演出が行われる。また、推定される精神状態ないし肉体状態が、体調不良ないし興奮状態に該当している場合も、同様の温和な演出が効果的である。
具体的な処理は以下のごとくである。すなわち、ユーザーが自動車へ乗り込むために接近する際には、取得された性格種別(ユーザー生体状態情報)に応じて異なる内容にて照明装置(図23〜図25:符号504,505,507,509,510,511,512:これらは、いずれも自動車の外観を照らし出す照明装置として機能する(室内灯511も、窓から漏れ出す光が自動車の外観を間接的に照らし出す))を動作させるものとすることができる。期待/盛り上げ系テーマOBJ111が選択された場合は、もてなしに関与する照明装置の発光量を増やす、あるいは点滅回数を増やす、ヘッドランプ504をハイビームにする、赤系のテールランプ507の点灯光量を増やすなど、ユーザーの自動車への接近を派手に盛り上げる演出をする。他方、リラックス/安らぎ系のテーマOBJ211が選択された場合は、もてなしに関与する照明装置の発光量をやや落とし、また、派手な照明の点滅は避け、フェードイン的にじわじわと光量を上げたり、あるいは、足元を照らすサイドランプ512→室内灯511→ヘッドランプ504の順序で点灯を行って、自動車をゆっくりと浮かび上がらせるなど、ソフトな演出を行なうようにする。なお、赤系のテールランプ507を採用しなければ、「活動的」の性格種別に対する照明形態と比較して、全体の照明色調の上でも変化が得られる。なお、ヘッドランプやテールランプも含め、照明装置を白熱電球やハロゲンランプ等に代えて、発光ダイオードで構成することも可能である。
なお、こうした演出は、設定されている記念日が結婚記念日の場合や、カップルで出かける場合など、雰囲気重視のイベントが想定される場合に採用することも効果的である。
次に、ユーザーが自動車に接近する際には、上記のような照明装置以外に、携帯電話1(ユーザー側端末装置)に設けられたスピーカー(音声出力部)311をもてなし動作部として使用することもできる。この場合、自動車側の通信装置4は、携帯電話1すなわちユーザーの接近を検出し、そのユーザーに対応する性格種別(つまり、取得されたユーザー生体状態情報)に応じて異なる出力内容にてスピーカー311からもてなし用音声を出力させる。本実施形態において、もてなし用音声データは音楽ソースデータとするが、効果音や人間の声(いわゆる着声あるいは着ボイスと称されるもの)のデータであってもよい。このもてなし用音声データは、図1に示すように、自動車側の記憶装置535に記憶しておき、必要なものを携帯電話1に通信装置4を介して配信するようにしてもよいし、携帯電話1側の音データ用フラッシュROM316に記憶させても、いずれでもよい。ここでは、後者の場合を例に取り説明する。
まず、ユーザーが認証・特定されたら、そのユーザーに対応する性格種別を特定し、携帯電話1から、音データ用フラッシュROM316に記憶されている、もてなし用音声データのID一覧を無線により取得する。次に、その中から、特定された性格種別に対応する音楽ソースデータを選択する。ここでは、ユーザーが接近するほど盛り上げる処理を行なうために、曲モードコードの異なる複数の音楽ソースデータを選択している(ここでは、MIDIデータを用いた場合を例に取る)。
ここでも、前述の照明によるもてなし処理と同様、距離に応じて異なる演出を行なう(処理の流れは図28と同じ)。ユーザーの精神状態高揚度に対応して、曲モードコードについてもこれに対応付けた序列が設定され、距離が近づくほど、高揚する精神をより増長するように選曲を行なう。具体的には、自動車との距離が近づくほど、精神状態高揚度が上位となり、ユーザー接近時の曲モードコードは、「ヒーリング・α波系」又は「温和・癒し系」(遠距離用)→「爽快系」(中距離用)→「盛り上げ系」(近距離用)の順で序列が定められる。しかし、好みによっては、最初盛り上げておいて、車に接近するほど気持ちを落ち着かせるように、上記の逆の序列とすることももちろん可能である。
まず、図31に示すように、遠距離もてなしモードでは、「ヒーリング・α波系」又は「温和・癒し系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S201)。携帯電話1では、そのIDに対応する音楽ソースデータを選んで、演奏を開始する(S202)。次に、図32に示す中距離もてなしモードでは、「爽快系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S210)。そして、携帯電話1で、そのIDに対応する音楽ソースデータを選んで、演奏を開始するとともに、前述のごとく、バイブレータユニット354及びLEDユニット355を音楽と同期駆動し、音出力によるもてなしをより盛り上げる(S211)。また、自動車側の照明装置を、音楽に連動させて明滅させるようにしてもよい(S212)。
いよいよユーザーが自動車に乗り込む寸前にまで近づくと、図33の近距離もてなしモードとなり、最高潮の盛り上げ演出が行われる。すなわち、S220〜S222では、中距離もてなしモードとほぼ同様の処理であるが、音楽ソースデータは「盛り上げ系」のものを選ぶ。他方、自動車側でも同じIDの音楽ソースデータを選択し、カーオーディオシステム515での演奏を開始する。この場合、パワーウィンドウを作動させて窓を開き、携帯電話1の演奏と同期出力すれば、盛り上げ効果をさらに高めることができる(S223)。このとき、自動車側では、MIDIデータの主旋律部分の音程コードを、携帯電話1側の主旋律部分に対し、協和音程を形成する度数だけ低く(又は高く)なるように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力とをハモらせることができるし、MIDIデータの主旋律部分の出力タイミングを、携帯電話1側の主旋律部分に対し、一定拍数遅らせる(又は進ませる)ように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力との間で輪唱効果を達成することもできる。
そして、S224では、携帯電話1の心拍センサ342でユーザーの心拍数を読み取り、MIDIデータのテンポコードを、該心拍数に比例してテンポが速くなるように変更する。これにより、出力される音楽が、ユーザーの心拍に合わせてアップテンポ化し、盛り上げ効果がより高められる。なお、リラックス/安らぎ系のテーマOBJ211では、近距離用の上記最後の派手な盛り上げ処理を行なわないようにすることも可能である。
また、推定される精神状態あるいは肉体状態との関係では、体調不良状態では刺激的な高音域を避けた低温域主体の音楽を流すか、あるいは体調不良状態が比較的重い場合は、音量も小さくし、テンポもゆったり系に設定する。また、興奮状態の場合も、音楽のテンポをゆったり系に設定すると効果的である。一方、集中力散漫状態の場合は、音量を逆にアップしたり、パーカッション強打や絶叫歌唱あるいはピアノ不協和音など、気分覚醒に効果のある音楽(例えば、フリージャズ、ハードロック、ヘヴィーメタル、前衛系音楽など)を流すと効果的である。
なお、図2に示すように、接近シーンSCN1において、不安/緊張解消ジャンルST3では「車の位置を知りたい(OBJ311)」及び「忘れ物・戸締り確認(OBJ312)」、体力的負担軽減ジャンルST4では、「荷物をスムーズに積み込みたい(OBJ411)」の各テーマが定められている。またこれらテーマのもてなし処理は、気持ち高揚用のテーマOBJ111ないしOBJ211のもてなし処理と並列に実行される。
図10は、テーマ「車の位置を知りたい(OBJ311)」に対応した機能選択テーブル371の内容を示すものである。動作目的/外乱種別は以下の通りである。
(車位置報知)
外乱種別は「車とユーザーとの距離大」であり、自動車側GPS533と携帯電話側GPS554との各測位情報により、距離検出を行なう。距離が一定の閾値を超えた場合に、「車とユーザーとの距離大」の外乱状態が発生したと判定できる。
(車内環境)
外乱種別は「車内温度の上昇/降下」であり、図7の動作目的「車内環境」と同じである。
情報収集に関しては、ユーザーの嗜好によりもてなし動作の選択がなされるものであり、外乱とは基本的に無関係である。この場合、後述のアルゴリズムによるユーザーの精神状態ないし肉体状態の推定結果に応じて、適正なもてなし動作の選択を行なうことが可能である。
自動車側GPS533、携帯電話1、携帯電話側GPS554、ホーン502及び車外照明(あるいは車内照明)がもてなし動作部として選択されている。具体的な動作は、例えば、自動車側GPS533の位置情報を携帯電話1側に知らせ、携帯電話側GPS554の位置情報とともにモニター308(図14)上にマップ表示して、ユーザーと自動車との相対位置を把握できるようにする。また、ユーザーが自動車に所定距離以下に接近したら、ホーン502の吹鳴や及び車外照明(あるいは車内照明)の点灯により、自動車の位置をユーザーに直接知らせるようにする。
他方、「忘れ物・戸締り確認(OBJ312)」では、出発前の注意確認事項を促すメッセージ(音声データはもてなし実行制御部3のROMに記憶しておくことができ、カーオーディオシステムの音声出力ハードウェアを流用して出力処理が可能である)を音声出力させる。注意確認事項を促すメッセージの実例としては次のようなものがある
・「免許証と財布は大丈夫ですか?」
・(カーナビで設定された行き先が空港ならば)「パスポートは持ちましたか?」
・「玄関の鍵をかけましたか?」
・「裏の窓は開いてませんか?」
・「室内のエアコンは切りましたか?」
・「ガスの元栓は締めましたか?」
次に、ユーザーの精神状態あるいは肉体状態については、自動車に接近するユーザーの表情(車外用カメラ518にて撮影できる)や体温(赤外線センサ519で測定できる)の時間的変化を測定し、その変化波形から推定することができる。前述のごとく、推定された精神状態が正常であれば、期待/盛り上げジャンルST1のもてなし動作とし、推定された精神状態が不安定ないし怒り(あるいは興奮)になっていた場合(あるいは肉体状態が体調不良となっていた場合)は、リラックス/安らぎジャンルST2のもてなし動作とすることができる。
図56は、表情変化解析処理のフローチャートの一例を示すものであり、SS151で変化カウンターNをリセットし、SS152でサンプリングタイミングが到来すればSS153に進み、顔画像を撮影する。顔画像は表情特定が可能な正面画像が得られるまで繰り返す(SS154→SS153)。正面画像が得られたら、マスター画像(記憶装置535内の生体認証用マスターデータ432(記憶装置535内)に含まれる)と順次比較することにより、表情種別を特定する(SS155)。特定された表情種別が「安定」なら、表情パラメータIに「1」をセットする(SS156→SS157)。特定された表情種別が「不安・不快」なら、表情パラメータIに「2」をセットする(SS158→SS159)。特定された表情種別が「興奮・怒り」なら、表情パラメータIに「3」をセットする(SS160→SS161)。
そして、SS162では、前回取得された表情パラメータの値I’を読み出してその変化値ΔNを演算し、SS163で、該値を変化カウンターNに加算する。以上の処理を、定められたサンプリング期間が満了するまで繰り返す(SS164→SS152)。サンプリング期間が満了すればSS165へ進み、表情パラメータIの平均値I(整数化する)を演算して、その表情値に対応する精神状態として判定を行なうことができる。また、変化カウンターNの値が大きいほど表情の変化が大きいと捕らえることができ、例えばNの値に閾値を設けて、表情変化をNの値から「変化小」、「増」、「微増」及び「急増」として判定することができる。
一方、図54は、体温波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、赤外線センサ519により検出される体温値をサンプリングし、波形記録する。そして、波形解析ルーチンでは、SS53にて直近の一定期間にサンプリングされた体温値を波形として取得し、SS54で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS55で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS56では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS57で区間別の体温平均値を演算する。そして、区間毎に、平均体温値を波形中心線として、積分振幅A1,A2‥(中心線を基準とした波形変位の絶対値を積分し、その積分値を区間幅σ1,σ2‥で除した値である)を演算する。そして、SS59では、各区間の積分振幅Aを平均し、波形振幅の代表値として決定する。
なお、以下の処理も含め、波形取得のための情報サンプリングプログラムは、シーンが特定できた場合に、そのシーンに関係する生体状態検出部についてのみ、一定の時間間隔で起動されるようにスケジュール管理される。また、図面中には表れていないが、サンプリングの繰り返しについては、無制限に続くわけではなく、上記のごとく波形解析に必要なサンプリング数が得られるように定められた前述のサンプリング期間が満了すれば繰り返しが打ち切られる。
SS60では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の体温変化が「急」であると判定する。また、SS62では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の体温変化が「緩」であると判定する。また、fu0≧f≧fL0ならばSS64に進み、監視中の体温変化は「標準」であると判定する。次に、SS65に進み、積分振幅A(平均値)を閾値A0と比較する。A>A0であれば、監視中の平均体温レベルは「変動」状態にあると判定する。また、A≦A0であれば、監視中の平均体温レベルは「維持(安定)」状態にあると判定する。
このようにして得られた生体状態パラメータの時間的変化に係る判定結果を用いて、ユーザーの具体的な精神/肉体状態の判定(推定)が行なわれる。具体的には、記憶装置535内には、図51に示すように、ユーザーの判定すべき精神状態又は肉体状態である複数の被特定状態と、個々の被特定状態が成立していると判定するための、複数の生体状態検出部がそれぞれ検出しているべき生体状態パラメータの時間的変化状態の組み合わせとを対応付けて記憶した判定テーブル1601が記憶されている。
本実施形態では、被特定状態として、「集中力散漫」、「体調不良」及び「興奮状態」が定められている。具体的には、「体調不良」が複数レベル、ここでは「軽度体調不良」と「重度体調不良」との2レベルに分割され、計4つの基本被特定状態が定められている。なお、「集中力散漫」及び「興奮状態」についても、よりきめ細かい精神/肉体状態の推定を行なうために、これを複数レベルに分けて定めることが可能である。なお、本実施形態では、上記の基本被特定状態に対し、肉体状態系のものと精神状態系のもの(「集中力散漫」あるいは「興奮状態」)との複合状態についても、生体状態パラメータの時間的変化状態の組み合わせが独自に定められ、これらの複合状態の推定精度向上を図っている。
さらに、もてなし動作の不適合や程度の不足あるいは過剰等により、ユーザーがある種の不快感を感じている場合、該ユーザーは軽度体調不良と同様の生体状態を示すことが多く、本実施形態では該「不快感」と「軽度体調不良」とを被特定状態として統合している(もちろん、関与する複数のパラメータ構成の閾値変更等により、両者を分離して特定するようにしてもよい)。
生体状態パラメータとしては、この後のシーンで使用するものも含め、「血圧」、「体温」、「皮膚抵抗」、「表情」、「姿勢」、「視線」、「瞳孔(寸法)」及び「操舵」の各パラメータが網羅されている。同じパラメータであっても、使用するセンサあるいはカメラはシーンに応じて、目的とする生体状態パラメータの取得に有利なものが適宜選択される。
前述のごとく、この接近シーンでは、車外用カメラ518によるユーザーの表情と、赤外線センサ519によるユーザーの体温が生体状態パラメータとして採用可能である。判定テーブル1601によると、集中力散漫のときは表情の変化が急増し、体調不良や興奮状態の場合も表情の変化は増加する傾向にある。いずれも正常時とは異なる状態であることは識別できるが、個々の精神/肉体状態を詳細に識別することは難しい。他方、体温の状態について見れば、集中力散漫のときは特に大きな変化がない(つまり、正常時とほぼおなじ)のに対し、体調不良時は緩やかな変化を示し、興奮状態の場合は非常に急激な変化を呈する。従って、この両者を組み合わせれば、「集中力散漫」、「体調不良」及び「興奮状態」を互いに識別することが可能となる。
この場合の処理を図66に示している(これは、シーンによらず同じ思想で判定処理可能であり、後述の運転シーンでも基本的な流れは同じである)。基本的には、複数(ここでは、表情と体温の2つ)の生体状態パラメータについて判定テーブル上の被照合情報と照合し、照合一致した組み合わせに対応する被特定状態を現在成立している被特定状態として特定する処理となる。すなわち、SS501〜SS508では、図54〜図57、図60〜図62あるいは図64、65の各フローチャートに示す解析処理による、各生体状態パラメータの時間的変化に係る判定結果(例えば、「急減」や「増加」など)をリードする。SS509では、各被特定状態が成立していると判定するためには、判定テーブル1601における個々の生体状態パラメータがどのような変化傾向を示していればよいかを表す被照合情報と、上記判定結果とを照合し、被照合情報と判定結果とが一致した被特定状態の照合カウンターをインクリメントする。この場合、例えば、全ての生体状態パラメータについて、被照合情報と判定結果とが一致した被特定状態のみを採用する処理としてもよいが、参照する生体状態パラメータが多い場合は、被照合情報と判定結果とが全ての生体状態パラメータについて一致するのが稀となり、ユーザーの肉体状態あるいは精神状態の推定を柔軟に行なうことができなくなる。従って、照合カウンターの得点(N)を「一致度」とみなして、最も得点の高いもの、つまり一致度の最も高いものを、被特定状態として確定させる方法が有効である(SS510)。
なお、図51において、例えば平均血圧レベルが「変動」と判定された場合のように、同じ生体状態パラメータの状態が複数の被特定状態(「集中力散漫」あるいは「興奮状態」)への成立に肯定的に寄与する場合もあるが、この場合は、それら各被特定状態の照合カウンターをインクリメントする。例えば、平均血圧レベルが「変動」と判定された場合は、4つの照合カウンター値N1,N4,N12,N13がインクリメントされる。
他方、被照合情報と判定結果との一致不一致は、既に種々説明したごとく、生体状態パラメータ(周波数あるいは振幅等)の閾値との比較で判断されているものがほとんどであり、上記のように一致/不一致を二値的(つまり、シロかクロか)に決定する際に、実際のパラメータの指示値と閾値との偏差がどの程度であったかは情報として埋没することになる。しかし、実際には、閾値に近接した値で一致/不一致が決定される場合は、いわば「グレー」の判定であり、閾値から隔たった(例えば閾値を大幅にクリアした)形で一致/不一致が決定される場合と比較して、判定結果への寄与の度合いを小さく扱うようにすることが本来的には望ましい。
これを解決する方法としては、被照合情報と判定結果とが完全に一致した場合にのみ照合カウンターへの加算を行なうようにするのに代え、完全一致せずとも、定められた範囲内で近接した結果が得られた場合は、完全一致の場合よりも低い得点に制限しつつ、これを照合カウンターへ加算することが考えられる。例えば、被照合情報が「急増」となっている場合、判定結果も「急増」であれば3点を、「増」の場合は2点を、「微増」の場合は1点を加算する方式を例示できる。
また、より精度の高い方法として、以下のような例がある。すなわち、図51に示すように、被特定状態毎に、関与する各生体状態パラメータの値と上記判定に使用する閾値との偏差の合計(ν又はμ)を用い、その偏差の合計に基づいて被特定状態を確定させることも可能である。以下、偏差の合計が最も大きい被特定状態を最終的な状態推定結果として確定させる場合を例示するが、偏差の定義によって判定方法は変わるので、これに限られるものではない。また、前述のNと併用して被特定状態を確定することもできる。以下、さらに詳細に説明する。まず、個々の生体状態パラメータについての偏差の計算概念を数1にまとめて示す。
生体状態パラメータの値を一般化してXで表し、判定に使用する閾値をX0とする。Xが被特定状態への成立に肯定的に寄与しているか否かは、XとX0との大小関係で決定される。一例として、図52の血圧を例に取れば、生体状態パラメータXとして、血圧時間変化波形の周波数fと振幅Aとが採用されている。このうち振幅Aについては、閾値がA0であり、A>A0のとき、平均血圧レベルが異常状態の一つである「変動」と判定される。この場合、図51に示すごとく、「集中力散漫」と「興奮状態」との、2つの被特定状態への成立に肯定的に寄与することになる。
一方、周波数fについては2つの閾値、すなわち上限値fu0と下限値fL0とが定められており、f>fu0のとき、血圧変化が異常状態の一つである「急」と判定される。この場合も図51に示すごとく、「集中力散漫」と「興奮状態」との、2つの被特定状態への成立に肯定的に寄与することになる。他方、f<fL0のとき、血圧変化が異常状態の一つである「緩」と判定される。この場合、「軽度体調不良/不快感」と「重度体調不良」との、2つの被特定状態(異常)への成立に肯定的に寄与することになる。当然のことであるが、この両者では、被特定状態への成立に肯定的に寄与するためのパラメータ値とその閾値との大小関係が反転している。
他方、被特定状態が上記の異常状態のいずれにも該当しない場合は、これを正常状態と判定するべきである(どの場合が「正常状態」として判定されるかは、図52、図54〜図57、図60〜図62、図65にそれぞれ書き込んである)。例えば、図52の場合、平均血圧レベルについてはA>A0のとき正常(維持)と判定され、血圧変化については、fu0>f>fL0のとき正常(維持)と判定される。
そして、本実施形態では、計算すべき偏差の値を、被特定状態への成立に肯定的に寄与する向きを偏差が正となる向きに定義し、該定義に従って計算されたXとX0との差分値を該偏差の値として採用する。X>X0が上記肯定寄与の向きならば数1の(1)式ないし(5)式により(例えば、血圧変化を「急」と判定する場合のf、あるいは平均血圧レベルを「正常と判定する場合のA)、X<X0が上記肯定寄与の向きならば数1の(2)式ないし(4)式により(例えば、血圧変化を「緩」と判定する場合のf)、偏差Δμ、Δνを計算する。なお、被特定状態が異常状態である場合と正常状態である場合とで区別するために、前者については「μ」を、後者については「ν」を使用している。
また、パラメータ値が上限閾値と下限閾値との間に位置する場合に、被特定状態の成立を肯定する場合(例えば、血圧変化を「正常」と判定する場合のf)の取り扱いは以下のようにする。すなわち、上限閾値に対しては(2)により偏差を算出し、下限閾値に対しては(4)により偏差を算出する必要がある。この場合、パラメータ値が上限閾値と下限閾値とに挟まれた区間の中央に位置するほど、被特定状態の成立肯定の妥当性は高くなるから、パラメータ値が該区間中央値に近いほど大きくなるように定義された偏差を使用すればよい。一例としては、上限閾値に対しての(2)による偏差の計算値をΔμ1、下限閾値に対しての(4)による偏差の計算値をΔμ2として、
Δμs=(Δμ1×Δμ2)1/2 (Δμ1とΔμ2との幾何平均)
にて算出される合成偏差Δμsを使用することが可能である。
以上のように、各パラメータについて計算された偏差Δν、Δμが、図51に示すごとく、各被特定状態ごとの偏差ポイント合計カウンターν0、μ1、μ2、‥にそれぞれ加算されることとなる(数1:式(4)、(6)、あるいは図77の式(7)、(8))。偏差ポイントの合計が最も高い被特定状態(異常状態あるいは正常状態)が、状態推定結果として確定されることとなる。
なお、被特定状態を判定する上での各パラメータからの寄与は、上記の例ではいずれも等価なものとして扱っていたが、寄与の大きいものと小さいものと区別し、異なる重みを付与して取り扱うようにしてもよい。例えば、図51において、「集中力散漫」を特定する際に、表情変化の検出精度に問題がある場合、「表情」に係るパラメータを照合カウンターに加算する際の重み係数を、血圧や皮膚抵抗の重み係数よりも小さくすることが可能である。前述の偏差Δν、Δμを照合カウンターに加算する場合の、重み係数を用いた場合の加算式を図77の式(9)、(10)に示している。なお、この重み係数の設定値には個人差もあり、ユーザー毎に個別に設定することも可能である。さらに、重み係数は、各パラメータについて被特定状態によらず一律の値を設定するようにしてもよいし、より高精度の制御を行なうため、各パラメータの重み係数を被特定状態に応じて異ならせることも可能である(この場合、重み係数は二次元配列を構成するものとなる)。
各パラメータが図51の被照合情報のどれと一致しているか、あるいはその一致度を示す上記偏差の計算値がどの程度になっているか、さらには、その結果に基づく精神/肉体状態(図51の被特定状態のいずれか)の推定結果が、図77の状態特定結果テーブル472(もてなし意思決定部2のRAMあるいは記憶装置535に記憶されている)に集められている。このテーブル472には、各パラメータについて、状態推定結果への寄与状態と、上記の偏差の計算結果とがまとめられている。状態推定結果への寄与状態に関しては、推定結果に係る被特定状態(図77では軽度体調不良)に肯定的に寄与しているパラメータ(図77では、血圧変化、体温変化、表情の意味、姿勢移動、視線移動及びパターン)と、そうでないパラメータとを区別するための情報で与えられる。
具体的には、状態推定結果が「異常状態(ここでは、軽度体調不良)」である場合に、これに肯定的に寄与しているパラメータには「2」が付与されている。また、非肯定的に寄与しているパラメータについては、「正常状態」を示すものには「0」が付与されている。他方、「正常状態」ではないが、状態推定結果とは異なる「異常状態」を示すものを第三の状態(以下、「中立状態」ともいう)として、「1」が付与されている。すなわち、「異常状態」を構成する状態推定結果への肯定的寄与と、非肯定的寄与とが識別可能な情報、より詳しくは、非肯定的寄与が、「正常状態」を示すものであるか、状態推定結果とは異なる「異常状態」を示すものであるかが識別可能な情報が、状態判定への寄与情報として記憶されている。なお、状態推定結果が「正常状態」の場合は、「正常状態」に肯定的に寄与するパラメータには「0」が、非肯定的に寄与するパラメータ(つまり、何らかの「異常状態」を示すもの)には「1」を付与する。
なお、上記のようにして推定・モニタリングされている肉体状態あるいは精神状態については、各被特定状態(正常状態を含む)のそれぞれに寄与するポイント値が近接した場合、そのポイント値の大小関係で状態推定結果を確定させる関係上、推定結果の精度低下が避け難い。そこで、これを補うために、上位の被特定状態のポイント差が一定レベル以下に近接した場合に、音声又は画面表示により状態確認用の質問をユーザーに向けて出力し、その回答情報に応じて状態推定結果を補正することが可能である。
具体的には、シーン毎に、各被特定状態に対応した確認用質問情報を記憶装置535等に記憶しておく。そして、上記のように上位の被特定状態のポイント差が一定レベル以下に近接した場合に、当該ポイント差に収まっている複数の被特定状態のいずれが真の被特定状態であるかを確認可能な質問を出力する。例えば最もポイントの高い被特定状態を念押しする形式の質問は、ユーザーにとってもわかりやすく、明確な回答を得やすいので効果的である。この場合、質問結果を参照して最終的に確定される状態推定結果につき、後述のアルゴリズムにより、確定される被特定状態に係るパラメータが優位となるように、該確定される被特定状態ないしこれとポイント上競合している被特定状態のパラメータの閾値ないし重み係数を修正・変更すると、以降同じような質問が繰り返しなされる不具合が減少するので効果的である。以下、具体例を挙げる。
(正常状態ポイント値が軽度体調不良ポイント値よりも僅差で上の場合)
(質問)「ちょっと元気がなさそうだけど、大丈夫よね。」(あるいは、「気のせいかしら」)
(回答)「うん、大丈夫だよ。」→正常状態を推定結果として確定。(このあと、後述のアルゴリズムにより、正常状態に係るパラメータのポイントがより優位となるように、正常状態ないしこれと競合している状態のパラメータの閾値ないし重み係数を修正・変更する。)
(軽度体調不良ポイント値が正常状態ポイントよりも僅差で上の場合)
(質問)「顔色悪いわね。少し休んでから行く?」
(回答)「いや、大丈夫だよ。」→正常状態を推定結果として確定。(このあと、後述のアルゴリズムにより、正常状態に係るパラメータのポイントが軽度体調不良ポイントを上回るまで、関係するパラメータの閾値ないし重み係数を修正・変更する。)
(興奮(怒り)状態のポイントが軽度体調不良ポイントよりも僅差で上の場合)
(質問)「今日はどうしたの?ご機嫌斜めかしら。」
(回答)「いや、ちょっと調子悪いだけや。」→軽度体調不良状態を推定結果として確定。(このあと、後述のアルゴリズムにより、軽度体調不良状態に係るパラメータのポイントが興奮(怒り)状態のポイントを上回るまで、関係するパラメータの閾値ないし重み係数を修正・変更する。)
(軽度体調不良ポイントが興奮(怒り)状態のポイントよりも僅差で上の場合)
(質問)「どうしたの、風邪でもひいたの?」
(回答)「うるさいな、どうもないわ。」→興奮(怒り)状態を推定結果として確定。(このあと、後述のアルゴリズムにより、興奮(怒り)状態に係るパラメータのポイントが軽度体調不良ポイントを上回るまで、関係するパラメータの閾値ないし重み係数を修正・変更する。)
上記のような状態推定補正に係る処理は、各シーンでのもてなし動作の開始後に行なうことも可能であるし、もてなし動作の開始に先立って行なうこともできる。後者の場合、開始するべきもてなし動作の方向をユーザーの望む向きに初期段階で修正でき、その後のもてなしの結果がユーザーの願望から大きく乖離してしまう不具合を防止することができる。また、あるシーンでの状態推定精度に不安がある場合に、他のシーンでの状態推定結果によりこれをバックアップすることも可能である(例えば自動車に乗り込み後の状態推定に不安がある場合、接近シーンでの状態推定結果を参照して最終的な状態推定結果を確定するなど)。
次に、乗り込みシーンSCN2でのもてなし処理は、基本的に上記接近シーンSCN1での処理の延長として実施可能である(図2、OBJ121,OBJ221)。すなわち、ユーザーが自動車に乗り込み、着座センサ520がユーザーを検出すれば、もてなし実行制御部3は携帯電話1に演奏停止の指令を無線送信する。携帯電話1でのもてなし動作はこれで終了する。一方、不安/緊張解消ジャンルST3のもてなしのテーマについては、「車内を快適にして欲しい」(OBJ321:例えば事前のエアコン作動などにより車内を適温に保つなど)のほか、「自動車に乗り込む際の安全確保、トラブル回避」(OBJ322)がある。これは、図1の床下ランプ512による足元照明のほか、図40のドアアシスト機構541による障害物とドアとの衝突抑制モード機能によって達成できる。
また、体力的負担軽減ジャンルST4のもてなしテーマ「楽に乗り込みたい」(OBJ421)に関しては、ドアアシスト機構541の基本動作により、ドアの開閉操作の負担軽減を図ることができる。ドアアシスト機構541の動作の詳細は説明済なので、ここでは繰り返さない。なお、体調不良状態と推定される場合は、ドアアシスト機構541によるアシスト力を、通常時よりも増強する制御を行なうと、ユーザーへの負担をさらに軽減することができる。図41の構成では、外部操作力と正アシスト力との合計トルクがトルク検出電圧Vstに反映され、これがVref1に近づくように、モーター1010によるドアアシスト駆動がフィードバック制御されるので、体調不良に伴うユーザーのドア開力の減少に伴い、アシスト力も自動的に増大するようになっている。また、体調不良状態と推定される場合にVref1が大きくなるようにこれを変更して、アシスト力を増強させる方式も可能である。この場合、Vref1を決める分圧抵抗の一部を可変とし、体調不良状態と推定される場合に、該分圧抵抗値の変更によりVref1を増加させることが可能である。
また、テーマ「楽に荷物を積みたい」(OBJ422)では、例えば車外用カメラ518にて、ユーザーが大きな手荷物を抱えている場合やユーザーが体調不良と推定される場合に、ユーザーのドア開操作をアシストするのではなく、一定位置まで自動でドアを開き、ドアの操作そのものを不要にして、手荷物の積み込みを助ける。また、トランクルームの位置を知らせたり、そのカバーの開動作を自動で行って、積み込みを補助したりする動作も有効である。
次に、準備シーンSCN3及び運転/滞在シーンSCN4にうつる。期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2の各テーマ(OBJ131,OBJ141及びOBJ231、OBJ241)においては、接近シーンSCN1及び乗り込みシーンSCN2から実行されている車内照明511の作動、及び車内のカーオーディオシステム515の演奏を、引き続き継続する処理が中心となる(ただし、シーンに適合した照明色/パターンや選曲(あるいは音量)への変更は行なう)。準備シーンSCN3では気分を落ち着かせるために、光量を落とした照明と、図18の爽快系ST3あるいは温和・いやし系SFの選曲とする一方、運転開始時は、運転者を覚醒させてメリハリを付けるために照明光量を上げ、盛り上げ・活力アップ系AGの選曲に切り替えるなどの動作を例示できる。しかし、前述のごとく、精神状態や肉体状態の異常が推定される場合には、接近シーンと同様に、これを考慮した照明駆動パターンや音楽選曲が優先される。
図13は、期待/盛り上げジャンルST1のテーマOBJ141,OBJ142に係る機能選択テーブル372の設定例を示している。動作目的/外乱種別は図7と同じである。車外照明(夜間のみ5、昼間は0(非動作))、車内照明、パワーウィンドウの閉動作、ノイズキャンセラ、カーオーディオシステム、及びDVDプレーヤーなどの映像出力装置などがもてなし動作部として選択されている。車内の騒音レベル低減に関しては、パワーウィンドウの閉動作のよる窓の締め切りのほか、図44及び図45に示したノイズキャンセラ1001Bの作動もこれに大きく寄与している。既に説明したごとく、このノイズキャンセラ1001Bは、適応フィルタの設定により、カーオーディオシステム515や、車内の会話、あるいは注意ないし危険認識すべき必要車外音(強調音)など、指定された必要音を残す形でそれ以外の騒音成分だけを打ち消すようにしてあるから、より静寂な環境で音楽を聞くことができ、また、必要車外音を聞き漏らしたりすることもない。また、図67に示すように、体調不良時には、指定された必要音(警告音/重要音)を残して、オーディオ出力に対し低音域を主体としたイコライジングを行なうことにより、効果を挙げることができる。
また、制御適性値設定テーブル371aにおいては、車内照明レベルと楽音レベルとを比較的高く設定してある。もともと騒々しい環境を好む若者等をターゲットにする場合、風切り音などの車内騒音も、車の雰囲気作りに貢献する場合があるし、適応フィルタによる必要車外音のピックアップに関しては多かれ少なかれ限界もあることから、車内の楽音レベルを高めに設定するのに合わせ、騒音レベル(数値が高いほど静寂であることを示す)の低減程度は幾分抑制されている。なお、楽音レベルの設定値への制御は、図1の音圧センサ540の検出レベルが目標値に近づくよう、カーオーディオシステム515の出力ボリュームを調整することで実施できる。他方、騒音レベルの設定値への制御は、図44のエラー検出マイク2012が検出する消し残し騒音成分の目標値レベルをゼロではなく、残したい騒音レベルを示す有限値に設定することで実施できる。
図9は、リラックス/安らぎジャンルST2の各テーマOBJ241,OBJ242に係る機能選択テーブル371の設定例を示している。動作目的/外乱種別は図11と同じである。もてなし動作部の選択内容は期待/盛り上げジャンルST1と同じであるが、照明レベルと楽音レベルは期待/盛り上げジャンルST1よりも低く設定され、逆に騒音レベル低減程度は高められている。前述のごとく、体調不良時あるいは興奮状態時のクールダウン用の演出としても効果がある。
なお、接近シーンSCN1及び乗り込みシーンSCN2での音楽演奏がMIDIによるものであった場合、本格的に音楽を楽しむにはMIDIではいささか味気ないので、MPEG3曲データベース515b(図17)を用いた演奏に切り替える。この場合、もてなし意思決定部2(図1)は、ユーザーの性格種別に対応した音楽ソースデータを選ぶようにする。また、記念日設定がなされている場合は、その記念日に適合した音楽ソース(例えば、誕生日であれば「ハッピーバースデイ」、結婚記念日であれば「ウェディングマーチ」やラブソングなど)を選定するようにする。
ただし、もてなし意思決定部2が自動選択した曲が気に入らなければ、ユーザーは操作部515dからの入力により、いつでも好きな曲に演奏を切り替えることができる。ユーザーが自身で選曲した場合は、図20に示すように、そのユーザーの特定情報(ユーザー名あるいはユーザーID)と、選曲された音楽ソースデータのIDと、前述のもてなし参照データRD(性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード)とが互いに対応付けられた形で、選曲実績記憶部403(図1の記憶装置535内に形成されている)に記憶される。本実施形態では、選曲の日時、ユーザーの性別及び年齢も合わせて記憶されている。
選曲実績記憶部403には、図21に示すように、ユーザー別に、その選曲実績の統計情報404(図1の記憶装置535に記憶されている)が作成される。この統計情報404では、選曲データが、性格種別コード別(SKC)にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報404に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報404から上記のごとく導かれた性格種別と置き換えるようにすればよい。
ところで、ユーザーの性格の分類は実際にはもっと複雑なものであり、音楽の好みも、一律に同じ性格種別に押し込めてしまえるほど単純ではない。また、そのユーザーが置かれている生活環境(充実しているか、ストレスがたまっているか、など)によっても短期的には変動しやすいことがある。この場合は、音楽の嗜好も変動し、その統計から導かれる性格種別も変化することがあってもおかしくない。この場合、図21に示すように、無制限に遡って選曲実績の統計を取るのではなく、直近の一定期間(例えば1ヶ月〜6ヶ月)に限定して選曲実績の統計情報404を作成すれば、性格種別の短期的な変動を統計結果に反映することができ、音楽によるもてなし内容をユーザーの状態に合わせて臨機応変に変更できる。
また、同じユーザーであっても、いつも同じ性格種別の音楽を選ぶとは限らず、他の性格種別の音楽にもまたがって選曲されることもありえる。この場合、選曲頻度が最も高い性格種別のみから選曲していたのでは、ユーザーの気分転換を図る上では、必ずしも望ましくない状況も生じえる。そこで、各性格種別に割り振る選曲確率期待値を、統計情報404が示す選曲頻度に応じて割り振り、その期待値に応じて重み付けされた形で、各性格種別からランダムに選曲する方式を採用することもできる。このようにすると、ユーザーが多かれ少なかれ興味を示す(つまり選曲された)音楽ソースについては、複数の性格種別にまたがる形で選曲頻度の高いものから優先的に選曲され、時折は自分の性格種別以外の音楽によるもてなしを受けることも可能となり、よい気分転換になる。具体的には、一定個数の乱数値からなる乱数表を記憶しておき、各性格種別に割り振る乱数値の個数を、上記選曲頻度に比例して配分する。次いで、周知の乱数発生アルゴリズムにより乱数を発生させ、得られた乱数値が、どの性格種別に割り振られた乱数値であるかを照合することで、選択すべき性格種別を特定することが可能となる。
なお、統計情報404では、音楽のジャンル別(JC)、年齢別(AC)及び性別(SC)による選曲頻度もカウントされており、性格種別の場合の上記方式と同様にして、選曲頻度の高いジャンル、年齢層あるいは性別に属する音楽ソースデータを、優先的に選曲するように構成できる。このようにすると、ユーザーの嗜好によりマッチしたもてなし選曲を行なうことが可能となる。なお、一つの音楽ソースデータに、複数の性格種別を割り振ることも可能である。当然、特定されているユーザーが誰であるかに応じて、そのユーザーによる選曲頻度の高いジャンル、年齢層あるいは性別に属する音楽ソースデータが選択されることとなる。
図30は、その処理の一例を示すフローチャートである。図21のように性格種別毎の選曲頻度統計が得られた場合、図30の下に示すように、乱数表上の乱数値を各性格種別に対し、個々の選曲頻度に比例して配分する。次いで、フローチャートのS108にて、任意の乱数値を1個発生させ、乱数表上にて、その取得された乱数値に対応する性格種別コードを選ぶ。次いで、S109では、図19の点灯制御データ群から、その性格コードに対応したものを選択する。そして、S110では、取得した性格種別コードに対応する音楽ソースデータのうち、図21にて最も選曲頻度の高いジャンル、年齢層及び性別に該当する音楽ソースデータを全て抽出する(もちろん、ここでも性格種別の決定時と同様、各ジャンル、年齢層及び性別毎の頻度に応じた乱数比例配分により、選曲に係るジャンル、年齢層及び性別を選択するようにしてもよい)。抽出された音楽ソースデータが複数ある場合は、S111のように、その中の1つの音楽ソースデータIDを乱数により1つ選択するようにしてもよいし、音楽ソースデータの一覧表をモニター536(図1)示して、操作部515d(図17)によりユーザーにマニュアル選択させるようにしてもよい。こうして、選択された点灯制御データに従い、ユーザーにより運転中(もしくはユーザーが滞在中)の自動車内の照明装置の点灯制御が実施され、また、選択された音楽ソースデータによる音楽演奏がカーオーディオシステムにてなされる。
以下、準備シーンSCN3及び運転/滞在シーンSCN4に割り振られている他のもてなしテーマについて説明する。テーマ「目的地/道中の様子が知りたい」は、上記両シーンにまたがって設定されているテーマであり、例えば準備シーンSCN3側(OBJ331)では、図12の機能選択テーブル371に示すように、自動車側GPS533とカーナビ534とがもてなし動作部として選択され、目的地の設定に伴い、現地や道中の様子を、無線通信ネットワークを介して取得し、カーナビ534のモニター上に表示するもてなし動作が行われる。動作目的/外乱種別は「車内明るさ」/「車内環境」については、既に説明した他の機能選択テーブルと同じである。娯楽要素や情報提供に関しては、ユーザーの嗜好によりもてなし動作の選択がなされるものであり、外乱とは基本的に無関係である。この場合、後述のアルゴリズムによるユーザーの精神状態ないし肉体状態の推定結果に応じて、適正なもてなし動作の選択を行なうことが可能である。他方、「車内アコモデーション」については、外乱とは無関係とすることができる。他方、別途設けられたユーザー検知センサ565(図1)により、ユーザーとハンドルないしシートとの位置関係が特定できる場合には、その位置関係が適正状態を外れている場合に外乱発生と判定することができ、その外乱が縮小されるように、ハンドル位置やシートの前後位置ないし高さ調整をもてなし動作として行なうことが可能である。
運転/滞在シーンにおいては、ユーザーの性格種別を、音楽ソースの選曲実績以外の情報を用いる形でも推定することができる。例えば、ユーザー毎の運転実績データを蓄積し、その運転実績データの解析結果に基づいてユーザーの性格種別を特定することができる。以下、その具体例について説明する。図22に示すように、ユーザーが運転中にストレスを感じたときに行ないやすい操作をストレス反映操作として予め定めておき、そのストレス反映操作を対応する検出部で検出し、その検出結果をストレス反映操作統計記データ405(図1:記憶装置535内)として記憶・蓄積する。そして、その蓄積結果に基づいて、ユーザーの性格種別を推定する。以下に説明する実施形態は、自動車の運転上好ましくない性格要素による影響を、如何に抑制するかに主眼をおいたものである。
ストレス反映操作は、本実施形態では、ホーン操作(いらいらして、やたらにクラクションを鳴らす)、ブレーキ回数(車間等を詰めすぎて、やたらにブレーキを踏む)、車線変更回数(前の車を追い越そうと、頻繁に車線を変える:ウィンカーの操作+ウィンカーが操作された後のハンドル操作角度で検出できる(ハンドル操作角度が一定以下であれば、車線変更とみなす))が選定され、ホーンスイッチ502a、ブレーキセンサ530、ウィンカースイッチ502W、加速度センサ532がストレス反映操作検出部として機能する。各操作が発生する毎に、ストレス反映操作統計記憶部405内の対応するカウンターがカウントアップし、その回数が記録される。これらの操作は、「危険運転」への指向を反映したものであるともいえる。
また、走行中の車速が車速センサ531により検出され、加速度が加速度センサ532により検出され、平均速度VN及び平均加速度ANが算出されてストレス反映操作統計記憶部405内に記憶される。平均加速度ANは、増加方向の一定レベル以上の加速度が検出されている期間に限って平均値が取られ、加速度変動の少ない低速走行時期間は、平均値算出に組み入れられない。このようにすることで、該平均加速度ANの値は、追い越し等に伴いやたらにアクセルを踏み込んだり、あるいは急発進したりすることを好むか否かを反映した値となる。また、車速センサ531の出力積分値から走行距離が算出され、ストレス反映操作統計記憶部405内に記憶される。
さらに、上記ストレス反映操作統計は、一般道区間と高速道区間とで別々に作成される(その識別は、カーナビゲーション装置534からの走行情報を参照することにより可能である)。つまり、高速道路走行時では、スムーズに流れている場合、普通の運転をするユーザーであれば、ホーンを吹鳴したり、ブレーキを踏んだり、車線変更したりする回数は少ないはずなので、これらのストレス反映操作の検出回数は、一般道区間よりも高い重み付けで加算されるべきだからである。また、平均速度や平均加速度は、一般道区間より必然的に高くなるので、上記のように一般道区間と高速道区間とで区別して統計を取ることで、この影響も緩和することができる。
以下に、上記ストレス反映操作統計を用いた性格判定のアルゴリズムの一例を示すが、これに限られるものではない。まず、ホーン回数Nh、ブレーキ回数NB、車線変更回数NLCについては、一般道区間(添え字「O」で示している)と高速道区間(添え字「E」で示している)での各値に、それぞれ重み係数αとβ(ただし、α<β:どちらかの係数を1に固定して、他方の係数を相対値表示してもよい)を乗じて加算し、それを走行距離Lで割った値を、換算回数(添え字「Q」で示している)として算出する。他方、平均速度と平均加速度も、同様に一般道区間での値と高速道区間での値を、重み係数を乗じて加算し、換算平均速度及び換算平均加速度として算出する。これらを全て加算した値を、性格推定パラメータΣChとして求め、該ΣChの値に応じて性格推定を行なう。
本実施形態では、ΣChの値の範囲を、予め定められた互いに異なる境界値A1,A2,A3,A4で複数の区間に区切り、そのそれぞれに性格種別を割り振っている。そして、算出されたΣChの値が属する区間に対応付けて、縮小係数δ1、δ2、δ3(いずれも0より大きく1より小)を定めている。これを用いた具体的な性格分析処理の流れの一例を図29に示す。前述のごとく、S101でユーザーを認証し、S102で図20の選曲実績データ403を取得する。そして、S103で、図21の選曲実績の統計データ404を作成する。次に、S104では、図22のストレス反映操作統計記憶部405内に蓄積されている情報(走行実績データ)を読み出し、S105で上記の方法によりΣChの値を算出して、対応する性格種別を特定し、縮小係数δを取得する。S106では、選曲実績の統計情報404で、最も頻度が高い性格種別を特定し、これに縮小係数δを乗じて見かけの頻度を低減する。これにより、例えば「活動的」なユーザーにおいてΣChが高くなるような結果が得られた場合、その「活動的」性格の故にΣChが高くなるような危険運転への指向が高められていることを意味するから、これをあおるような音楽の選曲頻度を、縮小係数δを乗ずることで抑制することができ、安全運転に導くことができる。また、「おとなしい」ユーザーにおいてΣChが低くなるような結果が得られた場合、「おとなしい」に対応する音楽の選曲頻度が縮小係数δを乗ずることで抑制され、活発な音楽の選曲頻度が相対的に増大するから、ユーザーに適度な刺激が与えられ、運転にメリハリを付けることで、安全性を高めることが可能となる。
次に、運転中においては、性格とは別に、精神状態や体調について考慮する必要がより高くなる。ユーザー(運転者)が運転席に着座している状態では、生体状態パラメータを取得するための生体状態検出部(センサやカメラ類)としてさらに多くのものを採用でき、具体的には、図1の赤外線センサ519、着座センサ520、顔カメラ521、マイクロフォン522、感圧センサ523、血圧センサ524、体温センサ525、アイリスカメラ527及び皮膚抵抗センンサ545を用いることができる。これらの生体状態検出部は、運転中のユーザーの生体反応を様々な角度から捉えることができ、もてなし意思決定部2は、接近シーンでの実施形態にて詳述したのと同様に、それらが検出する生体状態パラメータの時間的変化情報からユーザーの精神状態や体調を推定し、これに適合した形態でもてなし動作を行なう。
前述と同様、顔の表情の情報は、顔カメラ521により撮影した顔の静止画像から得られ、図34に示すように、その全体(又は部分:例えば目や口)の画像を、種々の心理状態あるいは肉体状態におけるマスター画像と比較することで、ユーザーが怒っているのか、平静であるのか、機嫌がよい(例えば楽しくウキウキしている)のか、機嫌が悪い(例えば落胆ないし悲嘆している)のか、あるいは不安ないし緊張にさらされているのか、などを推定することができる。また、ユーザーに固有のマスター画像を使用するのではなく、顔の輪郭、目(あるいはアイリス)、口及び鼻の位置や形状を、全てのユーザーに共通の顔面特徴量として抽出し、その特徴量を、種々の心理状態あるいは肉体状態において予め測定・記憶されている標準特徴量と比較して、同様の判定を行なうことができる。なお、上記の顔面特徴量から顔の類型を性格別に分類し、照合することで、ユーザーの性格種別の特定に使用することもできる。
体の動作は、顔カメラ521により撮影したユーザーの動画像(例えば、小刻みに動いたりする、顔をしかめたりするなど)、感圧センサ523の検知状態(例えば頻繁にハンドルから手を離したりする)などの情報に基づき、例えば運転中のユーザーがいらいらしているのか、そうでないのかを判断することができる。
体温は、ハンドルに取り付けた体温センサ525や、赤外線センサ519で取得した顔のサーモグラフィーなどの体温検出部により検出・特定できる。図54に示したのと同様のアルゴリズムにより、体温変化の緩急と平均体温レベルの変動/維持を判定できる。なお、ユーザーの平熱を予め登録しておき、その平熱からの温度シフト(特に高温側)を体温検出部により測定することで、より微妙な体温変化ひいてはそれによる細かい感情の動き等も検出することが可能となる。
図55は、皮膚抵抗変化波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、皮膚抵抗センサ545により検出される皮膚抵抗値をサンプリングし、波形記録する。そして、波形解析ルーチンでは、SS103にて直近の一定期間にサンプリングされた皮膚抵抗値を波形として取得し、SS104で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS105で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS106では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS107で区間別の皮膚抵抗平均値を演算する。そして、区間毎に、平均皮膚抵抗値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS109では、各区間の積分振幅Aを時間tに対してプロットし、最小二乗回帰して勾配αを求める。
SS110では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の皮膚抵抗変化が「急」であると判定する。また、SS112では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の皮膚抵抗変化が「緩」であると判定する。また、fu0≧f≧fL0ならばSS114に進み、監視中の皮膚抵抗変化は「標準」であると判定する。次に、SS115に進み、勾配αの絶対値を閾値α0と比較する。|α|≦α0であれば、監視中の平均皮膚抵抗レベルは「一定」状態にあると判定する。また、|α|>α0の場合、αの符号が正であれば監視中の平均皮膚抵抗レベルは「増」状態にあると判定し、負であれば「減」状態にあると判定する。
図51に示すように、皮膚抵抗検出値の変化が急で変化の方向が「増」である場合は、精神状態が「集中力散漫」と推定できる。体調不良に関しては、軽度のものは皮膚抵抗の時間的変化にそれ程反映されないが、体調不良が進行すると、皮膚抵抗値の変化が緩やかに増加に転ずるので、「重度体調不良」の推定には有効である。また、皮膚抵抗値は急激に減少する場合は、「興奮(怒り)状態」であることを、かなり高精度に推定することができる。
次に、図57は、姿勢信号波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、図58を用いて説明した姿勢信号値(Vout)をサンプリングし、波形記録するSS201,SS202)。そして、波形解析ルーチンでは、SS203にて直近の一定期間にサンプリングされた姿勢信号値を波形として取得し、SS204で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS205で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS206では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS207で区間別の姿勢信号平均値を演算する。そして、区間毎に、平均姿勢信号値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS209では、各区間の積分振幅Aを平均し、波形振幅の代表値として決定する。また、SS210では、積分振幅Aの分散Σ2を演算する。
SS211では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の姿勢変化速度が「増」であると判定する。また、SS213では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の姿勢変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS215に進み、監視中の姿勢変化速度が「正常」であると判定する。次に、SS216に進み、積分振幅Aの平均値Anの値を予め定められた閾値と比較して、姿勢移動量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、姿勢移動量は増加傾向にある)。また、SS217では、Aの分散Σ2の値が閾値以上になっている場合は、姿勢移動が増減傾向にあると判定する。
姿勢の変化は、基本被特定状態(「体調不良」、「集中力散漫」及び「興奮状態」)の相違に応じて顕著に異なる傾向を示すので、それらを相互識別する上で特に有効なパラメータである。正常であれば、運転中のユーザーは適度に姿勢を保ちながら運転に必要な緊張感を持続される。他方、体調不良が生ずると、辛さを和らげようとして時折姿勢を変える仕草が目立つようになり、姿勢移動量は微増傾向となる。しかし、体調不良がさらに進行すると(あるいは、極度の眠気に襲われた場合)、姿勢が不安定になってぐらつくようになり、姿勢移動は増減傾向となる。このときの姿勢移動は、体のコントロールが利かない不安定なものなので、姿勢移動の速度は大幅に減少する。また、集中力が散漫になっている場合も、姿勢移動はだらしなく増減するが、体のコントロールは利く状態であるから、姿勢移動速度はそれほど減少しない点に違いがある。他方、興奮状態にある場合は、落ち着きがなくなったり、いらいらしたりして姿勢移動は急増し、移動速度も大きくなる。
図60は、視線角度波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS252で顔画像を撮影し、その画像中にて瞳孔位置と、顔中心位置とを特定し、SS253で、該顔中心位置に対する瞳孔の正面方向からのぶれを演算して、視線角度θを求めることができる。そして、波形解析ルーチンでは、SS254にて直近の一定期間にサンプリングされた視線角度値を波形として取得し、SS255で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS256で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS257では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS258で区間別の視線角度平均値を演算する。そして、SS259では、区間毎に、平均視線角度値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS260では、各区間の積分振幅Aを平均し、波形振幅の代表値Anとして決定する。また、SS261では、積分振幅Aの分散Σ2を演算する。
SS262では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の視線角度θの変化速度が「増」であると判定する。また、SS264では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の視線角度θの変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS266に進み、監視中の視線角度θの変化速度が「正常」であると判定する。次に、SS267に進み、積分振幅Aの平均値Anの値を予め定められた閾値と比較して、視線角度θの変化量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、視線角度θの変化量は増加傾向にある)。また、SS268では、Aの分散Σ2の値が閾値以上になっている場合は、視線角度θの変化が増減傾向にある状態、つまり「変調」状態(いわゆる、目がきょろきょろした状態)にあると判定する。
まず、視線角度θは、集中力が散漫になった場合に移動量が急増し、また、きょろきょろと変調を来たすようになるので、該集中力散漫と推定する上での有力な決め手となる。また、体調不良が生ずると、その不良の程度に応じて視線移動量が減少するので、体調不良の推定にも有効である。また、興奮状態でも視線移動量は減少するが、体調不良時は、視界に変化が起きた場合に視線がついてゆきにくくなり、移動速度も減少するのに対し、興奮状態では、視界の変化等に鋭敏に反応してこれを睨みつけるなど、時折生ずる視線移動の速度は非常に大きいので、互いに識別することができる。
図61は、瞳孔径変化解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS302でアイリスカメラ527(図1)によりユーザーのアイリスを撮影し、SS303では、その画像上にて瞳孔径dを決定する。そして、解析ルーチンでは、SS304にて直近の一定期間にサンプリングされた瞳孔径dを波形として取得する。また、SS305では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS306で区間別の瞳孔径平均値dnを演算する。そして、SS307では、区間毎に、平均瞳孔径値を波形中心線として、積分振幅A1,A2‥を演算し、SS308では、各区間について計算された積分振幅の平均値Anを演算する。また、SS309では、積分振幅Aの分散Σ2を演算する。
SS310では瞳孔径平均値dnが閾値d0より大きくなっているかどうかを調べ、大きくなっていればSS311に進み、「瞳孔開」と判定する。また、大きくなっていなければSS312に進み、瞳孔径変化波形の積分振幅Aの分散Σ2が閾値Σ20よりも大きいかどうかを調べ、大きければ「瞳孔径変動」と判定する。また、大きくなければ「正常」と判定する。
図51に示すように、瞳孔径dは、ユーザーの精神状態に応じて顕著に変化し、特に、特有の瞳孔開状態があるか否かに基づいて、ユーザーが興奮状態にあるか否かを高精度に推定することができる。また、瞳孔径が変動する場合は、集中力散漫であると推定することができる。
また、本発明においては、運転者のステアリング操作状態も、その運転者の精神ないし肉体状態を推定するための生体状態パラメータとして使用する。ただし、ステアリングのサンプリング及び評価は直線走行時に限るようにし、右左折時やレーン変更時など、操舵角度が必然的に大きくなることが予め予測される期間は、ステアリング操作の監視・評価は行なわないことが望ましい(正常なのに、ステアリングが不安定と判定されてしまう惧れがある)。例えば、ウィンカー点灯操作があった場合は、そのウィンカー点灯期間と、操舵操作が予想される前後の一定期間(例えば、点灯前の約5秒、点灯後の約10秒))については、評価の対象外とするとよい。
図62は、操舵角度波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS352で、操舵角センサ547の出力により現在の操舵角度φを読み取る(例えば、直進中立状態でφ=0°とし、左右いずれかへの触れ角として定義する(例えば右方向の角度を正、左方向の角度を負とする)。そして、操舵精度解析ルーチンでは、SS353にて直近の一定期間にサンプリングされた操舵角度値を波形として取得し、SS354で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS355で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS356では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS357で区間別の操舵角度平均値を演算する。そして、SS358では、区間毎に、平均操舵角度値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS359では、積分振幅Aの分散Σ2を演算する。
SS360では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていればSS361に進み、監視中の操舵角度φの変化速度が「増」であると判定する。また、SS362では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の操舵角度φの変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS364に進み、監視中の操舵角度φの変化速度が「正常」であると判定する。次に、SS365に進み、操舵角度φの変化波形の積分振幅Aの分散Σ2が閾値Σ20よりも大きいかどうかを調べ、大きければ操舵誤差が「増」と判定する(SS366)。また、大きくなければ「正常」と判定する(SS367)。
また、操舵誤差に関しては、上記のような操舵角度による検出だけでなく、図1の走行モニタカメラ546によるモニタリング画像から検出することもできる。走行モニタカメラ546は、例えば自動車の正面中央(例えば、フロントグリルの中央など)に取り付けることができ、図63に示すように、走行方向前方の視界を撮影するものである。自動車に対するカメラの取付位置が定まれば、撮影視野上での走行方向における車幅中心位置(自動車側基準位置)も定まり、例えば路肩線、中央線あるいはレーン分離線を画像上で識別することにより、自身が走行中のレーン中心位置を画像上で特定することができる。そして、上記の車幅中心位置のレーン中心位置からのずれを求めれば、自分の運転する自動車がレーンの中央をキープできているかどうかをモニタリングすることができる。図64は、その処理の流れの一例を示すフローチャートであり、SS401では走行モニター画像のフレームを取得し、SS402では、上記のごとく路肩線、中央線あるいはレーン分離線を示す白線(あるいは追い越し禁止の橙線)のレーン側エッジ線を周知の画像処理により抽出し、それぞれレーン幅位置として特定する。そして、SS403では、そのエッジ線間距離を二分する位置をレーン中心位置として演算する。他方、SS404では、上記画像フレーム上に、車幅中心位置をプロットし、上記のレーン中心位置からの道路幅員方向におけるずれ量ηを演算する。この処理を、予め定められた時間間隔で取り込まれる画像フレームに対して繰り返し、ずれ量ηの時間変化波形として記録する(SS405→SS401)。
この場合の操舵精度の解析処理は、例えば図65に示すような流れにより行なうことができる。すなわち、SS451では、直近一定期間の波形の中心線に対する積分振幅Aを演算し、また、SS453では、レーン中心位置からのずれ量η自身の平均値ηnを演算する。SS454では、積分振幅Aを予め定められている閾値A0と比較し、この閾値を超えていればSS455に進んで操舵誤差「増」と判定する。Aが大きいということは、ずれ量ηが時間に対して大きく揺らいでいることを意味し、一種のふらつき走行の傾向を示すものである。一方、レーン中央をキープできず、端に寄っていく傾向が続く場合は、SS454で積分振幅Aが閾値A0より小さくなっていても、ずれ量η自体は大きくなり、異常と判定するべきである。従って、この場合はSS456に進み、ずれ量平均値ηnが閾値ηn0を超えていればSS455に進み、操舵誤差「増」と判定する。他方、ずれ量平均値ηnが閾値ηn0より小さければSS457へ進み、「正常」と判定する。
また、操舵速度(操舵に対する反応)については、波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算して、そのfから傾向を判定することが可能である。この場合、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば、操舵速度が「増」であると判定する。また、SS362では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば操舵速度が「減」であると判定する。また、fu0≧f≧fL0ならば、操舵速度が「正常」であると判定する。
図51に示すように、操舵誤差の増大を検知することで、運転者が集中力散漫状態や興奮状態にあることを推定できる。他方、重度の体調不良(居眠り状態を含む)が発生した場合も、正常な操舵が妨げられるので、誤差の増大傾向からこれを推定することができる。他方、体調不良や集中力の散漫化は操舵への反応が遅れがちになり、操舵速度の減少からこれを推定することができる。また、興奮状態では、いらいらして急ハンドルを切りがちになるので、操舵速度の増加からこれを推定することができる。
さて、走行シーンにおいても、図66の流れに従って被特定状態を特定する処理が行なわれる。この場合、参照される生体状態パラメータの数も多くなるので、照合カウンターの得点を「一致度」とみなして、最も得点の高いもの、つまり一致度の最も高いものを、被特定状態として確定させる方法がより有効である。前述のごとく、照合カウンターへの加算は、被照合情報と判定結果とが完全一致せずとも、定められた範囲内で近接した結果が得られた場合は、完全一致の場合よりも低い得点に制限しつつ、これを照合カウンターへ加算するように実施できる。
被特定状態が特定できれば、これに対応するもてなし制御として、非常に多くの具体例を考えることができる。例えば、図2のテーマ「適正な運転環境設定」OBJ441では、図12の機能選択テーブル371に示すように、カーナビ534(映像出力用)、カーオーディオシステム515、エアコン514、車内照明511、ハンドル調整ユニット及びシート調整ユニットがもてなし動作部として選択され、上記のように、運転者(ユーザー)の精神状態や体調に応じて音楽の選曲を変えたり、エアコンの設定温度や、車内の照明色あるいは照明強度を調整したりする。また、ハンドル調整ユニット及びシート調整ユニットは、モーター動作によりハンドルの位置やシートの前後位置あるいは背もたれの角度等を自動で調整するもので、例えば緊張感が薄らいできていると判定された場合は、背もたれを起こしてシートを前に出したり、ハンドル位置を高めたりして運転に集中できるようにする。また、疲れていると判定された場合は、不快感を示すユーザーの動きが静まる向きに、背もたれの角度を微調整したりすることが有効である。
また、上記以外にも、次のような態様がある。
・興奮状態(気分が高ぶりすぎていると判断されたとき、あるいは、怒りやストレスを感じていると判断されたとき):静かで心地よい音楽を演奏し、気持ちを落ち着かせるようにする。また、空調温度を下げ、シートバイブレータ550によりゆっくりした(後述の集中力散漫時よりも周期の長い)リズム振動を発生させ、リラックスさせる。また、後続車から追い越し、割り込み、パッシング、ホーン吹鳴などが関連して運転者の不快な精神状態に陥っていることが想定される場合は、「何よ、失礼ね。でも気にしないで。おとなのあなたが大好きよ。」などと、運転者を落ち着かせるメッセージを音声出力する。また、速度が超過したり(車速検知)、あるいは超過しそうになったとき:「ゆっくり行きましょ‥夜は長いのよ。安全運転のあなたが‥す・て・き。」などと、速度抑制を促すメッセージを音声出力する。
・集中力が散漫化したとき:ハンドルバイブレータ551やシートバイブレータ550にインパルス的な強い振動を発生させ、集中を促す。また、アンモニア発生部549から気付け用の強い臭いを発生させる。
・体調不良(疲労や病気症状(発熱など)が認められる場合):速度抑制などの安全運転や、停車・休憩を促す。踏み切りや赤信号に接近したときに注意情報を音声出力する。最悪の場合、運転の見合わせなどを音声出力やモニター表示により通知する。また、方向発生部からリラックスを促す芳香を発生させる。眠気に関しては、集中力が散漫化したときと同じもてなし動作も有効である。
・気持ちが落ち込んでいる(顔の表情、体温)と判断されたとき:景気のよい音楽を演奏したり、照明を赤系など、刺激的なものに変え、気分を盛り上げる。
より具体的な事例について、運転中に演奏するもてなし用音楽の選曲と、寄り道スポットとなる目的地をカーナビゲーション装置により検索する場合とを例にとって説明する。前述の性格種別コードは、特定されたユーザーに対し、そのユーザーの性格種別コード(及び、性別、年齢)を有した音楽ソースを提供する、というように、ユーザーの性格(及び、性別、年齢)と、選曲される音楽ソースの性格種別コード(及び、性別コード、年齢コード)とが一致する形で利用される。他方、曲モードコードについては、その音楽ソースに付与された曲モードが、特定されたユーザーの精神状態や体調に必ずしも一致適合するように利用されるのではなく、例えば高ぶりすぎた精神状態に対しては、温和・癒し系やヒーリング・α波系の音楽ソースを選択して気持ちを鎮めるなど、ある精神状態を目標値として、ユーザーの精神状態をこれに近づけるように使用される。ユーザーの精神状態高揚度をパラメータ化できる場合、曲モードコードについてもこれに対応付けた序列を設定しておき、該精神状態高揚度パラメータに応じた曲モードコードを選択するように、選曲制御することができる。具体的には、精神状態高揚度パラメータの値が上位となるほどユーザーの精神状態が高揚していると定めたとき、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」の順で序列を定め、精神状態高揚度パラメータの値が上位となるほど、当該序列の下位に位置する曲モードコードを選択すれば、気持ちが高ぶりすぎている場合はこれを静めるように選曲され、逆に落ち込んでいるときは気分が高揚するように選曲されるよう、曲モードコードを選ぶようにするのである。前者の場合は、気分激昂等に伴うスピードの出し過ぎなどを抑制する効果が得られ、後者の場合は、ユーザーの覚醒を促して運転中の注意力を高める効果が得られるので、いずれも安全運転に寄与する。他方、体調レベルが悪化している場合は、上記の精神状態とは無関係に、ユーザーに疲れを催させるような過激な選曲はなるべく行なわないようにすることが望ましいといえる。
例えば、図34に示すごとく、ユーザーの精神状態を、興奮(怒り)、集中力散漫(不安・緊張)、安定の3レベルに区分したとき、個々の精神状態レベルに対して、図18の曲モードコードを一義的に対応付けておく。本実施形態では、「怒り」には「温和・癒し系」(SF)、「不安・緊張」には「爽快系」(ST)、安定には「盛り上げ・活力アップ系」(AG)が対応付けられている(第一設定)。
なお、カーナビゲーション装置534を用いて、一定距離以上遠方の目的地に向かうときは、帰りは運転者の疲れの要素が加わるから、行きよりもより運転を落ち着かせるよう、対応させる曲モードコードのレベルを下げるように設定することができる(第二設定)。図34では、帰りについては、「怒り」には「ヒーリング・α波系」(HL)、「不安・緊張」には「温和・癒し系」(SF)、安定には「爽快系」(ST)が対応付けられている。
図35は、処理のフローチャートを示すもので、S501で行きか帰りかを判別し、S502、S503で、曲モードコードを対応するレベル設定とする。S504で、生体状態検出部の検出状態を読み取り、S505,S506で精神状態を推定する。「安定状態」の場合はS507の処理、「緊張・不安」の場合はS508の処理、「怒り」の場合はS509の処理となる。各々の精神状態に対応する選曲で音楽演奏を行なう(性格種別は前述の方法で別に判定し、その性格種別に対応する音楽ソース群の中で、精神状態に対応する選曲を行なう)。なお、音楽演奏とともに、室内照明やエアコンの調整も、各精神状態に対応した形態で制御を行なう。例えば、「安定状態」の「行き」の場合は、盛り上げ系音楽(AG)の演奏に加え、赤系照明を使用し、室内温度も多少高めに設定する。「帰り」は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。
「行き」で「緊張・不安」の場合は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。「帰り」は、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、室内温度はさらに若干下げた設定とする。そして、「行き」で「怒り」の場合は、早急にクールダウンさせる必要があるので、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、エアコンを利かせて室内温度をさらに下げる。「帰り」は、音楽をヒーリング系(HL)とし、青色系の照明に切り替えるが、疲れをいやすために、温度が極端に下がらぬよう、「行き」で「怒り」の場合よりも温度は高めに設定する。
次に、寄り道目的地を検索する場合の例について説明する。使用するのは、図81の目的地データベースである。性格種別コードは、特定されたユーザーに対し、そのユーザーの性格種別コード(及び、性別、年齢)を有した目的地を紹介する、というように、ユーザーの性格(及び、性別、年齢)と、検索される目的地の性格種別コード(及び、性別コード、年齢コード)とが一致する形で利用される。サブジャンルについては、その目的地に付与されたサブジャンルの内容が、特定されたユーザーの精神状態や体調に必ずしも一致適合するように利用されるのではなく、例えば高ぶりすぎた精神状態に対しては、リラックス・いやし系の目的地を選択して気持ちを落ち着ける場所に誘導するなど、ある精神状態を目標値として、ユーザーの精神状態をこれに近づけるように使用することも可能である。もちろん、経過時間等の計測によりユーザーの退屈感が助長されていると判断されるとき(つまり、精神エネルギー切れに近づいた場合)に、気分転換のために近隣の観光スポットや娯楽施設等を検索し、出力することも可能であり、体調が良好な場合は、例えば「元気一杯スポット」を、体調がそれほどでもない場合は「リラックス・いやし系スポット」を検索する方法を例示できる。
図96は、元気一杯スポットを検索した場合のモニター110の出力例であり、図98は、リラックス・いやし系スポットを検索した場合のモニター110の出力例である。いずれも、所望の目的地に対応するソフトボタンにタッチすることで、目的地をタッチパネル122から入力・選択することができる。すると、図97あるいは図99に示すごとく、画面が切り替わり、選択した目的地が寄り道スポットとして地図上に表示される(この表示処理の流れは、カーナビゲーション装置においては周知の手法なので、詳細な説明は省略する:「完了(あるいは案内開始)」の選択により確定)。このとき、図81に示すように、目的地データベース21dにおいて各施設(目的地)の内容説明情報を対応付けて記憶しておき、図97あるいは図99に示すように、選んだ目的地に対応する内容説明情報を画面上に出力(あるいは音声出力)することで、目的地確定前にその内容確認ができ、選択の一助とすることができる。
図2に戻り、降車シーンSCN5及び離脱シーンSCN6では、次のようなもてなし動作が可能である。例えば、テーマ「目的地到着の実感を高めて欲しい」(OBJ151、OBJ161、OBJ251、OBJ261)では、目的地に相応しい音楽や照明によりユーザーの到着をねぎらい、また、「さあ、○○ランドにつきました。思いっきり遊んで楽しみましょう」などのメッセージを出力することができる。また、テーマ「忘れ物・降車時確認」(OBJ351)では、車内への忘れ物や、乳幼児の車内への置き去り防止を促すためのメッセージを出力できる(この動作は、携帯電話1を利用して離脱シーンSCN6でも継続できる)。「降車時の安全確保・トラブル回避」(OBJ352)及び楽に降りたい(OBJ451,OBJ551)では、乗車時と同様、ドアアシスト機構541によるドアの開閉操作補助や、障害物とドアとの衝突抑制モード機能を作動させることができる。なお、離脱シーンにおいても、車外用カメラ518の作動により、自動車周辺の交通状態を監視し、ユーザーに対向車や後続車が迫ってきている場合には、携帯電話1を利用して注意を促すメッセージを出力することなどが可能である。
次に、各シーンにおいてもてなし動作が開始された後も、生体状態パラメータの検出と、その波形解析に基づく肉体状態あるいは精神状態のモニタリングは継続され、前述の状態確認処理(図48:δ7あるいはδQ)を行なう。その詳細について、以下に説明する。まず、基本となるもてなし処理は、前述のごとくシーン及びテーマ毎に、図7〜図12に示す機能選択テーブル371により、その優先順位に従い選択される。個々のもてなし動作部の制御適正値は、機能選択テーブル371に対応する制御適性値設定テーブル371aに与えられており、これが制御開始のデフォルト設定値として採用される。一方、δ3の状態適合処理では図51の判定テーブル1601を用い、精神状態あるいは肉体状態が特定される。そして、その特定された精神状態あるいは肉体状態に応じて、図67に示すイメージにより、各もてなし動作部の制御適正値に味付け的な調整(修正)が実行される。デフォルト設定値はユーザーによって異なる値を設定することも可能である。この場合、図73Aに示すように、各ユーザーのデフォルト設定値を、ユーザー特定情報(例えばユーザーID)と対応付けた形で、ユーザー別デフォルト設定データ434として記憶しておき、自動車のユーザーを特定できた場合に、対応するデフォルト設定データを随時読み出して設定すればよい。
機能選択テーブル371と制御適性値設定テーブル371aとは、本来的にはシーン/テーマ別に用意されるものであるが、以下、走行シーンでの具体例をよりわかりやすく説明するために、走行シーンで採用される種々のもてなしテーマから、主要なもてなし動作を抜粋し、対応する制御適性値とともに、図13に、各々総合的な機能選択テーブル372及び制御適性値設定テーブル471aとして示す。
「照明レベル」は、数値が大きいほど照明光量が大きいことを意味する。「照明色」は、設定される数値が図72の発光色インデックスに対応している。「空調設定」は数値が大きいほど設定室温が高いことを意味する。「シート振動」はシートバイブレータの振動出力の振幅と周波数にて規定され、いずれも数値が大きいほど振幅ないし周波数が高いことを意味する(周波数が大きいとインパルス的、周波数が小さいとゆったりした長周期のリラックス振動となる)。「芳香」は、数値が大きいほど芳香発生部からの芳香剤放出量が大きくなることを意味する。「気付け」は、数値が大きいほどアンモニア発生部からのアンモニア放出量が大きくなることを意味する。「楽音レベル」は、数値が大きいほど、カーステレオからの出力音量が大きくなることを意味する。「必要音取り込み」はノイズキャンセラに対する設定値であり、数値が大きいほど、前述の機構により、該部の必要音を高レベルにて取り込む処理が行なわれることを意味する。「警告音出力」は、異常発生時に出力する警告音(カーステレオやブザー等による)の出力音量が大きくなることを意味する。
特に、緊急時や異常発生時(ユーザー自身の体調不良も含む)に対応するため、機能選択テーブル371上では、ノイズキャンセラ(必要音取り込み等のため)、カーオーディオ(警告音出力)及び気付け(アンモニアによる覚醒)の動作優先度が高く設定されることとなる。この設定は、緊急時や異常発生時における一時的なものであること、さらに、ユーザーの応答を待って適性値の変更を行なったのでは、異常/緊急対応に遅れを来たす惧れもあることから、図70に示すように、緊急時あるいは異常発生時のために、専用の制御適性値設定テーブル471bを別途設けておき、通常時の制御適性値設定テーブル471aと随時切り替えて使用することが望ましい。
例えば、緊急用の場合、図13と比較すれば明らかな通り、照明色の設定が、「7」(リラックス系のうす橙色)から「6」(白色)に変更されており、警告表示等の視認性を高めるようにしている。また、外部の必要音の取り込みレベルも高く変更されている(「5」→「6」)。さらに、警告音の出力レベルが高く変更されている(「7」→「9」)。また、異常時の例として重度体調不良が発生した場合の制御適性値設定テーブル471bを例示しているが、ここでは必要音取り込みレベルがさらに大きく設定され(「5」→「8」)、さらに気付け用のアンモニア発生を行なうための設定がなされている(「0」→「7」)。
図13に戻り、制御適性値設定テーブル471aに従い、各もてなし動作部の制御適性値がデフォルトとして設定されると、その設定に従い、もてなし動作が一旦開始される。この場合の処理の流れを図74に示す。SS601では制御適性値設定テーブル471aの内容をリードし、SS602では、該内容に従い各もてなし動作部に制御適性値を設定する。SS603では、その設定値に従いもてなし動作を開始する。
続いて、SS604では、ユーザーへの質問出力処理を行なう。前述のごとく、現在動作中のもてなし動作部に対応するIDと制御方向とを特定し、図73Aの質問データにて対応するものを検索し、出力する。そして、SS605では、質問に対するユーザーからの回答を取得し、内容を解析する。図69に質問の例と回答の入力例を示す。空調、芳香及びカーステレオの楽音レベルに係る質問を例示しており、それぞれ空調の利き(ここでは、夏季を想定)、芳香への嗜好、音量設定に関する質問を行なっている。ユーザーからの回答は
(1)「空調の利きが悪く暑い」こと、
(2)「香りが強くて気に入らない」こと、
(3)「もっと音量を上げて欲しい」こと、
を意味する内容となっている。また、リラックスの度合いについて総合的な感想を取得するための質問もなされており、回答は
(4)「緊張気味で必ずしもリラックスできていない」内容になっている。
SS606では、上記回答内容から、変更すべき制御値を特定する。図69では、空調の設定温度、芳香剤の放出量レベル及びカーステレオの音量が変更対象制御値である。また、総合的なリラックス度の向上に貢献する照明色、照明レベル(光量)及びシート振動の振幅も変更対象制御値として選ばれている。SS607では、回答から特定されたユーザーの志向を充足させる向きに、各制御設定値の変更を行なう。図69では、上記(1)については空調温度設定を下げることで(「4」→「3」)、(2)については芳香剤の放出量を低減することで(「5」→「4」)、(3)については楽音レベルを上げることで(「6」→「7」)、それぞれ対応している。また、(4)については、照明光とシート振動の調整により対応している。具体的には、照明色を白色系(「6」)から落ち着いた暖色系(うす橙:「7」)に変更し、照明レベルを落としている(「7」→「6」)。また、シートバイブレータによる振動の振幅を下げ(「3」→「2」)、ゆったり感を強調している。
上記のごとく質問対話形式で修正した制御適性値群は、その一部又は全てを新たなデフォルト値として登録することができ、次回以降の自動車利用時におけるもてなし動作の初期設定として活用することができる。
さて、本実施形態のシステムの目的は、例えば、「ユーザーが存在するシーンに応じて発生する潜在的/顕在的な要望を、最適な機能を選択、駆動することによって叶える」ものとして集約することができる。しかし、実際は、ユーザーの意識していない状況下で、所定の条件が揃った場合に、想定外のシーンに突入する場合がある。これは、時間(時刻)や外乱等に基づき、ユーザーの状況が変わる(あるいは考えが変わる:思いつきなど)ためである。この場合、この状況の変化を捉えて次に発生するシーンを推定し、このシーンにユーザーを何気なく誘導することができれば効果が高い。
例えば、ユーザーが「空腹感」を催し始めている場合には、ユーザーに「(好みに合った)美味しい食事が食べられる」ことを認識させることにより、システムに準備されたもてなし機能のうち、「満腹実現」のための手段を発動することになる。究極的には、システムそのものが料理を作ってユーザーにサービスするというようなことも考えられるが、現在(あるいは将来到来するあるタイミング)のユーザーの位置を特定し、その位置から所定の距離範囲内に飲食可能施設にユーザーをタイムリーに案内するのが、より現実的な方法といえる。この場合、後述のごとく、もてなしシステムに組み込まれたカーナビゲーション装置が威力を発揮する。また、ユーザーが疲れや退屈を感じ取っている場合は、気分転換に効果のありそうなスポットに寄り道的に案内するのも効果的な方法である。なお、上記の想定では、最終的にユーザーの顕在化した欲求に結びつく肉体状態や精神状態が、初期段階ではユーザーの認識外となっている可能性も高いので、この場合には、そのような潜在的な肉体状態や精神状態をユーザーに早く気づかせるために、事前に確認する方式を採用することも効果的である。
上記のようなユーザーの状況は、既に説明したごとく、システムが検出ないし取得するユーザーの生体特性情報に基づき判定する。具体的には、前述の方法により生体状態検出部の出力結果を用いて直接解析・推定されるユーザーの肉体状態あるいは精神状態の情報に加え、生体状態検出部を用いずに時刻や経過時間等から推定される肉体状態や精神状態も上記の生体特性情報として採用可能である。
ユーザーの状況は、例えば概念的には図82に示すように系統化することができる。まず、「エネルギー」は、「体の機能」と「心の状態」を維持し、活動の源となる因子であって、食事により補給可能な仮想パラメータであり、補給を行なわない限りは時間と共に一方向的に消耗する。そして、消耗後は補給により回復できる(エネルギー保存の法則の通り、自分で生み出すことはできない)。「ストレス」は、肉体や精神に好ましくない影響を与える外乱要因として把握できる。そして、エネルギー消費や過度のストレス負荷により受けた影響は、「ダメージ」としてユーザーに蓄積されてゆく。そして、図82において、「*」を付与したユーザーの「状況」を生体特性情報から適確に判断することが、ユーザーを快適にもてなす上で特に重要である。
上記の「ストレス」と「ダメージ」は、図51に示すような生体状態検出部の出力結果を用いた解析・推定が可能である。他方、「エネルギー」については、時刻や経過時間等から推定される肉体状態(特に、空腹感)や精神状態(退屈感や倦怠感)として捉えることができる。この、エネルギーは、例えば、図83に示すような供給形態が想定される。つまり、その場所では何に対するエネルギーが供給されるかを以下の属性(体:食/飲、心:情報)で表している。なお、「心のエネルギー」も、「精神的な余裕」という観点から数値により把握することが可能であり、該精神的余裕を増加させる可能性が高い情報(主に娯楽)をユーザーに与えることは、「心のエネルギ−」の供給に相当するものである。また、物を購入することから発生する満足感も心のエネルギー源となりうる。
他方、体のエネルギーを直接支配する因子は飲食であり、基本は前述のごとく、空腹が推定されたときに、カーナビゲーション装置を用いて速やかに近隣の飲食施設に誘導する機能が重要となる。これに、精神/肉体の状態に基づく相関関係が味付けとして導入されれば、一ランク上のもてなしが可能となる。この場合、相関に応じた飲食施設の傾向対比を定める必要があり(例えば、「こってり⇔あっさり」、「甘い⇔辛い」のようなイメージ)、これを、相反する精神/肉体の状態と結びつけるのである。例えば、「体疲労⇒あっさり、甘い」、「体調良好⇒こってり、辛い」などである。なお、精神状態と食事嗜好の関連性についても心理学的に多くのことが明らかにされているが、「ストレスによる暴飲・暴食」の事例をひくまでもなく、ユーザーの欲求を無制限に充足する方向に導くようなもてなし思想とならないよう、十分に配慮する必要がある。
なお、娯楽情報については「賑やか⇔静か」、「興奮させる⇔落ち着かせる」というような相関が想像できるが、これは前述のごとく、音楽ソースの選択等により効果的に補給可能な「心のエネルギー」であるといえる。他方、場所との相関も絡む情報として、「景色」や「寄り道スポット」を例示できる。一例として、ストレスにより精神的な安定が損なわれたり、あるいは長期の運転経過時間により倦怠や退屈が予想される場合は、目的地へ向うルート近傍(規定距離範囲内)に、景勝地や史跡、名勝などのスポットが存在しないかを検索し、寄り道経路としてユーザーに提案・選択させる方法がありえる。
上記のような思想を考慮したシステムの基本動作を以下に概略フローの形で説明する。図84は、全体フローを示すものであり、SS1101では、既に詳細に説明した方法に基づき、種々の生体状態検出部(センサ)により状態検知を行ない、SS1102で肉体状態あるいは精神状態(被特定状態)を特定する(図66の処理等を参照)。そして、SS1103では、得られた被特定状態に対応するもてなし機能あるいは情報(コンテンツ)を引き当て、作動させる。
次に、エネルギーの推定は、肉体に関しては時刻及び経過時間(さらには、ユーザーのこれまでの活動履歴やスケジュール等も考慮可能)に基づいて行なうことができる。他方、精神的なエネルギーに関しては、例えば視線移動、姿勢移動、表情の変化の頻度が小さくなることで把握することができる。図85は、肉体に関するエネルギー状態を推定するフローである。SS1201では現在時刻を計時手段(例えば、図80のカレンダークロック153等を使用可能である)により計測する。一般的に、食事について言えば決まった時刻に摂取することが多いことから、現在が食事の時刻であるか判定するのである。決められた食事時刻が到来していれば、状態特定処理SS1204以下へ進む。
また、SS1202では、ユーザーが自動車に乗り込んでから経過している時間を判定する。つまり、時間によるエネルギー切れを判定する。決められた時間が経過していれば、状態特定処理SS1204以下へ進む。SS1204では、予め決められたアルゴリズムにより、エネルギーの値を計算し、SS1205で、その値を最新のエネルギーの値として更新する。更新されたエネルギー状態は、図84の状態検知ステップで使用される。なお、ユーザーによっては食事時間に少なからぬ個人差があり(例えば、食生活が不規則であったり、夜勤などで一般の人とは異なる食事リズムになったりしている場合など)、これに対応するために、ユーザーの経時的なエネルギー消費傾向を履歴として蓄積しておけば、今回のエネルギー切れに至るまでの履歴が、記録されている履歴と一致しているか否かをSS1203で比較判定することができ、肉体エネルギー不足の判定精度を向上することができる。
図86に、精神のエネルギーに関する状態を検出するフローを示す。SS1301、SS1302、SS1303にて、視線の移動回数、姿勢移動回数、表情が変わる頻度がそれぞれ所定値以下になったか判定する。これは、落ち込んでくると、精神的には無気力となり、視線は固定され(定まらず)、姿勢自体動作させることもなくなり、表情も一定のものとなりやすいからである。このときの特徴を捉えるために、これらの生体特性情報を用いる。これらのステップで一つでもYESと判定された場合にはSS1304に移り、精神のエネルギー切れとして判定する。さらに、SS1305では、精神のエネルギーの観点による消耗という状態を更新する。なお、上記の処理は、図66のフロー等による精神状態の推定結果を、精神的エネルギーという数値により出力する処理で置き換えることもでき、例えば照合カウンターの数値を用いて予め定められた定義に従い、精神的エネルギーの値を計算するようにしてもよい。なお、精神のエネルギー切れについても、図85のごとく、時刻あるいは経過時間による判定フローを用いる方式に代替可能である(つまり、食事後は満足感から精神エネルギーが増大し、時間の経過により倦怠感や疲労感などが蓄積して、精神エネルギーが減少していくと考えるわけである)。
以上のようにして、心と体のエネルギーの観点による状態を特定した後に、図83に示すような属性と対応させることで、引き当てるべきもてなしコンテンツを探る。精神エネルギー消耗時は娯楽情報、肉体エネルギー消耗時は飲食に誘導するのである。さらに、生体状態検出部による肉体/精神状態の推定結果を参照することで、上記の娯楽情報や飲食施設のジャンルを選択することが可能となる。例えば、飲食施設の場合、体調がよければ肉/こってり系、体調が悪ければ麺類軽め/あっさり系などである。
図87は、肉体エネルギーの管理を行なうための、さらに詳細な処理例を示すものである(エネルギー管理処理:この処理は、一定の時間間隔で、カーナビゲーション装置534の情報系ECU51が、IG信号がONになるたびに繰り返し行なうものとする)。このエネルギー管理処理SS1401は、ユーザーが自動車を利用開始する際の持ちエネルギーを設定する初期設定処理である。図88にその詳細を示す。まず、SS1501ではイグニッションスイッチがONであるかどうかを確認する。SS1502では、それがその日最初のエンジン始動かどうかを確認する(カレンダークロック153による時刻モニタリングにより可能である)。YesであればSS1503に進み、食事フラグFM(食事済み確認情報)と食事管理タイマー(食事完了判定用計時手段)をリセットする。食事フラグFMは「0」であれば未食事を、「1」であれば食事済みであることを意味する。
SS1504では、カレンダークロック153から現在時刻TCを取得する。そしてSS1505〜SS1507では、現在時刻TCが朝食コアタイム(5:00〜10:00、朝食基準時刻は、例えば8:00とする)、昼食コアタイム(11:00〜14:00、昼食基準時刻は、例えば12:30とする)、夕食コアタイム(17:00〜22:00、夕食基準時刻は、例えば19:00とする)のいずれかに入っていないかどうかを確認する。つまり、一般人であれば食事を行なう蓋然性の高い時間を、上記のように食事コアタイムとして決めておき、現在時刻TCがその食事コアタイムに入っているかいないかに基づいて、食事案内タイミング到来の判定を行なうようにするのである。
現在時刻TCがいずれの食事コアタイムに入っていない場合は、前回の食事コアタイム内での食事以降は、現在まで食事をしていないものとみなし、SS1508に進んで食事フラグFMは「0」とする。そして、SS1509では、前回の食事コアタイムの基準時刻TMを推定食事時刻と定めて、現在時刻までの経過時間ΔT=TC−TMを計算する。そして、SS1509では、持ちエネルギーEを、Emax−A・ΔT(Aはエネルギー消耗係数)により計算し、設定する。
Emaxは、ユーザーが空腹状態で満腹するまで食事したときに得られるエネルギーの値として定める。Emaxの設定値自体は任意であってよいが、この場合、単位時間当たりのエネルギー消耗量を示すエネルギー消耗係数Aを、次の食事の直前には予め定められた最小エネルギーEminまで減少するように定める必要がある。例えば、基準時刻12:30に昼食完了後、基準時刻の30分前(食事中時間を意味する)である18:30に夕食を取り始めたと考え、その夕食直前の最小エネルギーEminを0.4Emaxとなるように定めたとき、エネルギー消耗係数Aは、0.1Emaxに定めればよい。なお、Emax、Emin及びAは、朝食→昼食→夕食→朝食のサイクルで、食時間インターバルも、空腹度もそれぞれ異なることから、どの食事間インターバルになっているかに応じて、Emax、Emin及びAの値を各々固有の異なる値に設定することも可能である。
一方、現在時刻TCがいずれかの食事コアタイムに入っていた場合はSS1511に進む。このとき、ユーザーは食事を済ませてから自動車に乗り込んできたのかも知れないし、食事を取らずに、自動車に乗り込み、走り始めたらすぐにどこかで外食しようと考えているのかもしれない。こういうことは、普通、ユーザーに質問で確認しなければわからない事項である(一般社会でも、食事時にもてなすべき来客があれば、「食事はまだですか?」などと聞いて確かめるのが常識であろうし、気遣いというものである)。
そこで、SS1511では、ユーザーに食事済みであるか否かを確認する質問を出力する。この質問は、音声による質問でもよいし、モニター110へ文字等で出力する形でもよい。回答も、音声による直接回答としてもよいし(この場合は、音声認識による回答内容把握が必要である)、タッチパネル122等の入力部からの手入力による回答であってもよい。回答結果が「食事まだ」であれば、SS1513に進んで持ちエネルギーをEminにセットし、SS1514で食事フラグをFM=「0」(未食事)にセットする。また、回答結果が「食事済」であれば、SS1520に進んで持ちエネルギーをEmax(基準時刻の経過分に対応するエネルギー消耗量A・ΔTを減算しておいてもよい)にセットし、SS1521で食事フラグをFM=「1」(食事済み)にセットする。
次に、SS1502で、SS1501で検知したエンジンの始動が、その日最初の始動でなかった場合は、ユーザーが目的地の途上で自動車を一旦駐車し、何らかの所用で自動車を離れて再び戻ってきてエンジンを始動した場合に相当する。この場合、その駐車が食事のための駐車であった可能性もある。もちろん、SS1511と同様に、この場合も食事済かどうかの質問を同様に実施し、回答結果により判定する方法も可能である。しかし、自動車が駐車される度に「食事済みかどうか」を機械的に質問されるのは不快な場合もある。そこで、本実施形態では、SS1515で食事フラグFMの内容をリードする。「1」であれば、前回のサイクルで既にSS1521に至る処理が実施されていることを意味し、エネルギーの値も更新済みであるから、何もせずに処理を抜ける。
一方、「0」である場合は、図87の主処理側にて後述するごとく、カーナビゲーション装置側に食事施設が目的地設定されているはずであり、自動車の現在位置から上記の駐車がその食事施設での駐車か否かを容易に判定できる。そして、食事管理タイマーは、後述のごとく、その食事施設への到着を確認できた段階で計時開始するので、SS1517では、その食事管理タイマーの状態をリードする。SS1518で、その食事管理タイマーの計測時間が、食事完了に対応するTM以上の値を示している場合はSS1519に進んで食事管理タイマーをリセットし、SS1520に進んで食事済み判定時の前述の処理を行なう。他方、TM未満の値(ゼロを含む)になっているときは、エネルギーの値は更新済みであり、何もせずに処理を抜ける。
図87に戻り、上記のようにして持ちエネルギーの初期設定が終了すれば、SS1402で現在時刻TCを取得し、SS1403では前回時刻TR(例えば、前回サイクルで現在時刻TCとして取得された時刻である)を取得する。SS1404では、その時間差δT=TC−TRを計算し、SS1405では、持ちエネルギーEからδT間の消耗エネルギー分を減算して更新する。そして、SS1406では食事フラグFMをリードする。
SS1407では、既にカーナビゲーション装置で食事施設の目的地設定が行なわれ、案内開始に移行しているかどうかを確認する。Noの場合は、食事フラグFMの値を確認し、「0(未食事)」であればSS1409に進んで、現在時刻TCが前述の食事コアタイム内かを確認する。コアタイム内であればSS1412に進み、現在地から一定距離内にある食事関連施設を目的地データベース上で検索する。次いで、SS1413では、図66の処理による肉体状態の判定結果を取得し、その体調に適合する食事関連施設を図81の目的地データベース上で検索する。
次いで、既に特定されているユーザーの年齢及び性別により食事関連施設の分類の絞り込みを行ない、さらに図113の目的地選択実績情報を参照して、既に特定されているユーザーによる選択頻度が上位に位置する1又は複数の食事関連施設分類と、上記年齢及び性別により絞り込まれた食事関連施設分類とが一致するかどうかを調べる。一致する分類が存在すればその分類に属する食事関連施設を最終的にリストアップして候補表示する。他方、一致する食事関連施設分類が存在しない場合は、両者の和集合に相当する食事関連施設分類に属する食事関連施設を全てリストアップして候補表示する。SS1415では、ユーザーはこれを参照して所望の食事関連施設を選択する。なお、朝食、昼食及び夕食の種別に応じて、食事関連施設を分類しておき、現在の食事コアタイムに適合する食事関連施設を選択して検索することが可能である。
なお、肉体状態を参照せず、近隣の食事スポットを、上記ユーザーに適合する分類離別に候補出力することも可能である。図89は、この場合の出力例を示すもので、和食/寿司のサブ分類コードで分類された近隣の昼食向けの食事関連施設を検索・出力した結果を示すものである。なお、画面上のソフトボタンにより、分類を変更した場合(洋食・中華、麺類、ファーストフードなどを例示している)の検索結果も出力できるようになっている。対応するソフトボタンにタッチすることで、所望の食事関連施設をタッチパネル122から入力・選択することができる。すると、図90に示すごとく、画面が切り替わり、選択した食事関連施設が経由地として地図上に表示される。また、図91は、夕食向けの食事関連施設を検索・出力した結果を示すものである。
次に、図92は、肉体状態(体調)を考慮した場合の検索例であり、体調良好と判定された場合の「がっつり・こってり系」の昼食向け食事関連施設を検索・出力した結果を示すものである。なお、別の系統に分類される食事関連施設(レディース系、かるーくあっさり系を例示)も念のため参照できるよう、対応するソフトボタンが形成されている。このソフトボタンにより選択することで、対応する分類の食事関連施設の検索リストに切り替わる。また、図93は、体調不良と判定された「かるーく・あっさり系」の昼食向け食事関連施設を検索・出力した結果を示すものである。いずれも、この実施形態では、現在位置から対応施設までの距離に応じ、推定所要時間が合わせて計算され、表示されている(距離を表示するようにしてもよい)。
施設が特に近くに存在する場合、図94に示すように、表示縮尺を拡大して詳細な経路案内画面に切り替えるようにしてもよい。なお、図94では、選んだ施設(目的地)の内容説明情報を画面上に合わせて出力した例にもなっている。他方、図95に示すように、選んだ施設(目的地)が最終目的地へのメインルートからある程度外れている場合は、表示縮尺を拡大して、どの程度の寄り道になるかをメインルートとともに表示することも可能である。なお、図95では、その寄り道を行なった場合のメインルートからの迂回距離に基づいて追加所要時間を計算し、これを合わせて表示した例にもなっている。
一方、SS1407にて(前の処理周期で)既に食事関連施設の目的地設定が既に終了している場合は、以下SS1415までの処理はスキップする。また、SS1408で食事フラグFMが「1」(食事済み)の場合、あるいは、SS1409で現在時刻Tcが食事コアタイム外であった場合には、SS1410に進んで現在のエネルギーEの値を確認する。乗り物に乗車中は平常時よりも空腹が進行しやすい傾向にもあるし、昼食から夕食までのインターバルは長く、おやつを取る人も多い。また、夕食後、深夜走行を長く継続する場合も、次の朝食までには長時間あり、夜食を食べたくなることもある。さらに、何らかの理由により食事が不規則になった場合は、食事コアタイム外に食事が必要となることもある。そこで、全体時刻からは推定できない空腹状況を、食事後の経過時間を基本としたエネルギーEの値により判断し、空腹と判定されれば食事施設に導く処理を同様に行なうのである。
本実施形態では、そのエネルギーEの閾値EM 、ES(EM<ES)を複数段階に設定しており、SS1410でエネルギーEがより低い側の第一閾値EMよりも小さくなった場合には、SS1412〜SS1415の、本格的な食事関連施設(例えば、サービスエリアも含む)に導く処理を行ない、それよりも高い第二閾値ESと上記第一閾値EMとの間の値となった場合(SS1411)は、SS1416にて軽食関連施設(例えば、パーキングエリア、コンビニエンスストア、ハンバーガーショップなどのファーストフードなど)に導く処理を行なう。エネルギーEが食事不要と判定するための閾値(ここでは第二閾値ES)よりも高い場合には、食事関連施設に導く処理は特に行なわない。なお、SS1420で現在時刻が食事コアタイム外だった場合は食事フラグFMを「0」(未食事)にリセットする。
このようにして施設が目的地として設定されれば、ユーザーは周知のカーナビゲーションプログラム処理による案内表示に基づいて運転を継続する。そして、SS1417では、選んだ施設に到着したかどうかを判定する。到着していればSS1418に進み、食事管理タイマーを起動する(到着していなければSS1418をスキップする)。そして、SS1419でIG信号がONのままであればSS1402に戻り、以下の処理を繰り返す。一方、IG信号がOFFであれば、そのサイクルのエネルギー管理処理を終了する。前述のごとく、食事管理タイマーは食事施設への到着後に起動し、次にエンジン始動されたとき(IG信号がONになったとき)、図88のSS1516〜SS1520の処理により、一定時間以上が経過していれば食事完了と判定されるようになっている。
次に、図75は、状態確認処理と、その確認内容に基づくもてなし動作の調整処理を例示するフローチャートである。前述のごとく、もてなし動作が開始された後も、生体状態パラメータの検出と、その波形解析に基づく肉体状態あるいは精神状態のモニタリングは継続されているので、SS651では最新の状態推定結果をリードする。この処理は、状態特定結果テーブル472の現在の状態を参照することにより行なう。SS652で、状態推定結果が正常状態であれば処理を終了する(すなわち、現在設定されている条件でもてなし動作を継続する)。
一方、正常状態でない場合、つまり、何らかの異常状態となっている場合はSS653に進み、図68に示すもてなし制御量設定テーブル441(もてなし意思決定部2のROMあるいは記憶装置535に記憶されている)を参照して、もてなし動作部の制御量の変更・調整を行なう。もてなし制御量設定テーブル441は、図67のもてなし動作部の制御適正値調整イメージに対応する形で内容が定められている。具体的には、設定値(図13の制御適性値設定テーブル471a参照)に対して、以下のような変更が行なわれる。
推定された状態が「軽度の体調不良(あるいは不快)」の場合。
・「照明光のうち、必要性の低い光を低減して、ユーザーが自動車に接近するときの視認性を向上させるようにする。」→赤系の照明出力を低減する(図72において、白色(「6」)を基準として、青系に向う方向に発光色インデックスを変更する(例えば、「−1」)。
・「指定された必要音(警告音/重要音)を残して、オーディオ出力に対し低音域を主体としたイコライジングを行なう」→必要音取り込みの設定値を増大させる(例えば、「+3」)。また、図71に示すように、オーディオ設定に関しては音量レベルだけでなく、トーン設定に関しても制御適性値を変更可能としておき、低音の設定値を高温の設定値に対して相対的に増大させる(例えば、低音「+1」、高音「−1」:高音非変更でもよい)。
・「温度及び湿度の一方又は双方を増加させる向きに変更し、不快感を和らげる。」→空調の温度設定を上昇し(例えば「+1」)、加湿器(図13には図示せず)の作動を開始する。
・他のもてなし動作部(例えば、振動、芳香)については設定の現状を維持する。
推定された状態が「重度の体調不良」の場合
・「白色系ないし暖色系にて暗めの照明に設定」→図72において、白色(「6」)を基準として、赤系に向う方向に発光色インデックスを変更する(例えば、「+1」)。また、照明光レベルを低減する(例えば、「-1」)。
・「小音量でゆったり系の曲を流す」→ゆったり系の曲に変更し、音量設定レベルを減少させる(例えば「−1」:状態が改善されなければ、最終的に音量ゼロ、あるいはオーディオ動作停止の設定としてもよい)。
・容態に刺激を与えないよう、空調は現状維持とする。また、不要なもてなし動作は停止する(例えば、シートバイブレータの振動動作)。
・アロマテラピー効果による体調改善を狙い、芳香の出力を増加させる(例えば「+1」)。
なお、重度体調不良の場合、シーンに応じて、ユーザーによる運転操作を回避させるもてなし動作を行なうことも有効である。例えば、接近シーンではドアロックを解除せず、自動車への乗り込み自体を禁ずる、乗車後であれば、運転を取りやめるメッセージを音声等で出力する、また、速度リミッタを動作させて、一定以上の速度が出ないようにする、などの動作を例示できる。
推定された状態が「集中力散漫」の場合。ユーザー(運転者)の覚醒を促す動作で集約される。
・「フラッシュ光や刺激的な波長により、注意を促す」→白色(「6」)を基準として、青系に向う方向に発光色インデックスを変更する(例えば、「−1」)。あるいは、原色主体方向にインデックスを大きく変化させる(赤、青、緑)。照明レベルも増強する(例えば「+1」)。図71に示すように、照明パターンにも設定値を設け、例えば連続点灯からフラッシュ光発生のための断続点灯へ切り替え可能としておく。
・「警告音を出力させる」→警告音を直ちに出力させる。また、その設定音量を増加させる(例えば「+1」)。
・空調は現状維持とするか、あるいは覚醒(眠気低減)のため設定温度を下げる。
・シートバイブレータあるいはハンドルバイブレータにインパルス振動を発生させる。具体的には設定周波数を増大させ(例えば「+3」)、振幅も増大させる(例えば「+3」)。
・芳香剤の放出を停止し(設定値「0」)、気付け用のアンモニアの放出を行なう。
推定された状態が「興奮(怒り、不安定)状態のとき」の場合。ユーザー(運転者)の精神状態を冷却し和らげることに集約される。
・「青系照明の採用」→白色(「6」)を基準として、青系に向う方向に発光色インデックスを変更する(例えば、「−1」)。
・「いやし系等、興奮状態緩和に効果のある曲に変更する」→選曲方法は既に説明済である。
・空調は、精神状態冷却のため設定温度を下げる(例えば。「−1」)。
・「シートバイブレータあるいはハンドルバイブレータの動作を和らげ、ゆったりさせる」→周波数及び振幅とも減少させる(例えば「−1」)。
・方向については現状維持か、アロマテラピー効果による精神安定化を狙い、芳香の出力を増加させる(例えば「+1」)。
図75に戻り、もてなし動作部の制御量の変更・調整は、もてなし制御量設定テーブル441上で、変更に係る具体的指示が存在するパラメータ(制御設定値)についてのみ行なう。そのパラメータが複数存在する場合、全てのパラメータの変更を一括して行ない、もてなし動作に反映するようにしてもよいが、本実施形態では、個々のパラメータの変更による寄与(効果)を分離確認可能とするための、複数のパラメータに係る設定変更を順次的に行なうようにしている。それらパラメータの設定値変更の順序(つまり、もてなし動作の調整の優先順位)は、機能選択テーブル371、372(図7〜図13)に設定された優先順位に従うものとする。
SS654Aでは後述の累積充足度ΣJを初期化する。また、SS654Bでは変更対象となるパラメータの番号Nを初期化する。SS655で、番号Nのパラメータの変更を、もてなし制御量設定テーブル441の指示値に基づいて行ない、SS656で、その変更設定状態にて一定時間もてなし動作を継続する(以下、試行もてなし動作という)。次いで、SS657では、そのもてなし動作に対するユーザーの充足度(「制御充足度」という)を判定する処理に移る。つまり、もてなし動作に対するユーザーの充足度をフィードバック情報として参照しつつ、もてなし制御量の変更が実施される。
図76は、制御充足度の判定処理の一例を示すものである。SS701では、SS656の試行もてなし動作により、推定される状態に変化がないかどうかを調べるため、再び状態特定結果テーブル472(図77)にアクセスし、監視情報の内容を確認する。次いで、SS702では、監視情報の内容を前回の内容(前回の状態特定結果テーブル472の内容を、もてなし意思決定部2のRAMか記憶装置535にバックアップしておけばよい)と比較する。
SS703では、「正常」を示すパラメータの増分値を算出する。具体的には、該増分値νは、図77において、状態判定への寄与が「0」になっているパラメータの増分値Δνの合計(図77の(7)式)として算出する。ただし、より簡便な値として、状態判定への寄与が「0」になっているパラメータの合計個数を算出するようにしてもよい。この増分値νが大きいことは、試行もてなし動作の結果、前回推定された「異常状態」が解消され、前回よりも正常状態に近づいていることを意味する。また、増分値νが小さい場合は、状態がより悪化していることを意味する(その悪化の度合いが大きい場合、該増分値が負数となることもありえる)。
次に、SS704では、現在の状態推定結果(「異常状態」)に肯定寄与しているパラメータの増分値を算出する。具体的には、該増分値μは、図77において、状態判定への寄与が「2」になっているパラメータの増分値Δμの合計(図77の(8)式)として算出する。ただし、より簡便な値として、状態判定への寄与が「2」になっているパラメータの合計個数を算出するようにしてもよい。この増分値μが大きいことは、試行もてなし動作の結果、前回推定された「異常状態」がより悪化していることを意味する。また、増分値μが小さい場合は、「異常状態」が解消方向に向かっていることを意味する(その解消の度合いが大きい場合、該増分値が負数となることもありえる)。
つまり、「異常状態」解消の観点から見れば、増分値μは増分値νとは逆に寄与する。そこで、今回のパラメータの設定変更に伴う充足度Jを、増分値μと増分値νとの双方に基づいて算出する。ここでは、J=ν−μとして算出する(もしμとνとが常に正数に維持されるのであれば、μとνとの比(例えばμ/ν)を代わりに用いることも可能である)。Jが大きいほど、今回のパラメータの設定変更に伴うユーザー状態改善は顕著ということになる。他方、SS706では、この値が負になっていないかどうかを確かめる。Jが負になっている場合は、今回のパラメータの設定変更によりユーザー状態は却って悪化していることになる。そこで、SS707に進み、そのパラメータを設定変更の対象から除外する(以降は、そのパラメータは、例えば前回の値に戻した上、現状維持となるが、そのパラメータが関与するもてなし動作自体を停止する方法もありえる)。
一方、SS706で充足度Jが正だった場合は、今回のパラメータの設定変更がユーザー状態の改善に有効だったことを意味する。基本となる処理は、SS711に進んで充足度Jを累積充足度ΣJに加算する内容となるが、本実施形態では、その前に、当該パラメータに対応するもてなし動作部の操作入力部に対し、ユーザーによるリトライ動作があるかどうかも考慮に入れるようにしている。具体的には、SS708で、当該パラメータに対応するもてなし動作部の操作入力部へのリトライ操作状態をスキャンする。SS709で、そのリトライ操作が確認されなかった場合は上記SS711に進む。
一方、リトライ操作が確認された場合はSS710に進み、リトライ操作が今回のパラメータの設定変更に対し肯定的な操作であった場合は、そのパラメータの次回以降の設定変更の優先度を最上位に設定する。他方、否定的な操作であった場合は、そのパラメータを設定変更の対象から除外する。例えば、空調の設定温度を下げる設定変更を行なったが、ユーザーが温度設定をさらに下げるリトライ操作を行なった場合、空調の設定温度の変更を次回以降の基本サイクルにて最優先する。他方、ユーザーが温度設定を逆に上げる操作を行なった場合は、次回以降の基本サイクルでは空調の設定温度を変更しないようにする。以上で制御充足度判定処理を終わる。
図75に戻り、SS658では、累積充足度ΣJが閾値に達したかどうかを調べ、達していれば処理を終了する。累積充足度ΣJは、例えば、全てのパラメータが「正常状態」となり、かつ、νの値の想定上限値の合計から満点値を算出することができる。累積充足度ΣJの閾値は、この満点を基準として一定比率に達しているかどうかにより定めておくとよい。
一方、累積充足度ΣJが閾値に達していない場合はSS659に進み、次の設定変更対象となるパラメータが存在するかどうかを調べる。存在する場合はパラメータ番号Nを1加算し、SS655に戻って、そのパラメータについてSS658までの処理を同様に繰り返す。対象となるパラメータが存在しない場合は、全ての対象パラメータの設定変更が一巡したことを意味するから、SS654Bに戻ってNを再度初期化して次の基本サイクルに入り、上記と同様の処理を繰り返す。この場合、SS660では、Jの値の大きいものほど、パラメータの調整の優先順位が上がるように変更する。ただし、図76のSS710で、リトライ操作により最上位に設定されたパラメータは、Jの値の大小によらず順位が優先される。SS661では、その優先順位に従い、パラメータ番号がソートされる。これにより、次回の基本サイクルでは、新しい優先順位によりパラメータが調整される。上記図75のもてなし動作の調整処理は、例えば予め定められた時間間隔にて自動的に立ち上がり、適正なもてなし動作が常に安定して継続されるよう、繰り返し実施されるものである。
次に、上記の状態推定処理に影響を及ぼす重要な因子の一つに、各パラメータに対して設定する閾値がある(数1におけるX0:具体的には、図52、図54、図55、図56、図57、図60、図61、図62及び図65のfu0、fL0、A0、α0、I0、N0、An0、Σ20、d0及びηn0)。多数のパラメータの閾値を最適な値に一括して設定するのは困難なこともあり、監視対象となるユーザーの個人差の影響も受けやすい。従って、もてなし動作の調整処理には、必要に応じて上記の閾値を修正する処理を組み込めばさらに望ましい。
図78は、図75の処理に該閾値を修正するためのステップを組み込んだ例を示すフローチャートである。以下、図75との処理との相違点を中心に説明する。この処理では、上記もてなし動作調整処理の基本サイクルを所定数繰り返しても、ユーザーの状態推定結果に一定レベル以上の改善が見られない場合に閾値の修正処理に移行する流れとなっている。まず、SS654Aには、閾値調整用のサイクルカウンタCを初期化する処理が付加されている。以下、SS661までのステップにて、関係するパラメータの調整ステップが一巡し、1サイクル分のもてなし動作の調整処理が完結する。
図75においては、累積充足度ΣJが予め定められたレベル以上に大きくなるまで、このもてなし動作調整処理のサイクルを繰り返すようにしていた。図78の処理では、このサイクルを一定回数繰り返しても充足度ΣJが一定レベル以上に改善していない場合に、SS665の閾値変更処理に移行するようになっている。すなわち、上記サイクルが1回繰り返される毎に閾値調整用のサイクルカウンタCがインクリメントされる(SS662)。SS663でCの値が規定値C0以下であればSS654Bに戻って、次の基本サイクルの処理に移る。また、Cの値が規定値C0より大きくなったらSS664に進み、累積充足度ΣJが一定レベル(SS658における、調整処理の終了判定に係る最終的な累積充足度ΣJの目標値よりは小さく設定される)以上に改善している場合にはSS654Bに戻って次の基本サイクルの処理となる。
他方、SS664で累積充足度ΣJの改善度が不足していた場合は、SS665の閾値変更処理となる。図79は、閾値変更処理の一例を示すものである。閾値変更が必要となるのは、成立していると推定した精神/肉体状態がそもそも誤りであったことに起因している可能性が高い。従って、この状態を抜け出すには、現在推定されている「異常状態」に肯定的に寄与しているパラメータ群については、その寄与率の高いパラメータから優先的に、該寄与率が減少する向きに閾値を変更するのが望ましい。また、同様に、「正常状態」を示すパラメータ群については、その寄与率の低いパラメータから優先的に、該寄与率が増加する向きに閾値を変更するのが望ましい。上記の寄与率としては、既に説明済みの各パラメータの閾値からの偏差ΔμあるいはΔνを使用することができる。
図79においては、SS1701において、「異常状態」に肯定的に寄与しているパラメータ群のうち、Δμの大きい上位n個の閾値を、Δμが減少する向きに一定量修正する処理を行なっている。また、SS1702において、「正常状態」を示すパラメータ群のうち、Δνの小さい下位n個の閾値を、Δνが増加する向きに一定量修正する処理を行なっている。nは1であってもよいし、2以上であってもよい(この場合、該当するパラメータ群の全てとなることを排除しない)。
SS1701とSS1702とは、どちらか一方のみを実施することも可能である。特に、現在推定中の「異常状態」が誤りである状態を解消するには、SS1701を必須として実施することがより望ましいといえ、この場合はSS1702を省略することが可能である。いずれにしろ、SS1701を行なってから図78のもてなし動作調整処理に復帰すると、異常状態判定の根幹をなすパラメータの閾値が変更されて、その優先順位が強制的に下がる形となる。閾値修正の方向性が正しければ、残りのパラメータのうち、真の体調/精神状態が反映されているパラメータには、その優先度が上昇する機会が与えられることとなる。
他方、SS1702は、「正常状態」を示すパラメータ群の閾値修正に係るものである。現在推定されているのは「異常状態」であって、この推定が正しい精神/肉体状態を反映している場合には、「正常状態」を示すパラメータ群は、精神/肉体状態の推定に使用するパラメータとしては、本来的に不適格ということになる。しかし、ここでは、その推定されている「異常状態」が正しい精神/肉体状態を反映していない場合に該当するから、「正常状態」を示すパラメータ群の少なくともいくつかは、真の精神/肉体状態の推定に適合したパラメータである可能性がある。しかし、Δνの小さいパラメータは累積充足度Jへの貢献率が小さく、現在のもてなし動作調整処理において埋没している可能性がある。そこで、「正常状態」を示すパラメータ群のうち、Δνの小さい下位n個の閾値を、Δνが増加する向きに一定量修正する処理を行なうことで、「正常状態」を示す下位パラメータのいくつかについて、その優先順位を上げることができる。
なお、上記のごとく閾値を変更するのに代え(あるいは閾値の変更とともに)、図77に示す重み係数を変更する方法もある。この場合、図79のSS1701において、「異常状態」に肯定的に寄与しているパラメータ群のうち、Δμの大きい上位n個の重み係数を減少方向に一定量修正する処理を行なえばよい。また、SS1702においては、「正常状態」を示すパラメータ群のうち、Δνの小さい下位n個の重み係数を増加方向に一定量修正する処理を行なえばよい。
各閾値のデフォルトデータは、例えば自動車ディーラーサイドで各ユーザーに共通のものを用意し、搭載しておくことができるが、上記の閾値変更処理を経ることで各ユーザーに固有の値にカスタマイズされることになる。そこで、該カスタマイズされた閾値群を、図73Aに示すように、ユーザー特定情報と対応付けてユーザー別精神/体調判定閾値435として記憶しておけば、次回からは、自動車のユーザーが特定された段階で、該ユーザーに対応する閾値群を読み出して、デフォルト値として設定すればよい。前述のユーザー別デフォルト設定データ434とともに、自動車のユーザーが変わった場合にも、そのユーザーに固有の制御デフォルト値及び閾値を用いてもてなし動作が調整されるので、例えば、自動車を複数のユーザーで共用する場合においても、ユーザー毎にもてなし動作が適正化され、どのユーザーも快適に自動車を利用することができる。
また、もてなし意思決定に使用する生体状態検出部(図1:センサ・カメラ群518〜528)を、自動車の複数の座席に対応付けて複数組設け、それぞれの座席に着座するユーザーの精神状態及び肉体状態を独立に検出することもできる。この場合、もてなし意思決定部2は、それら生体状態検出部の組に対応する複数のユーザーの精神状態及び肉体状態に基づいて、もてなし動作部の動作内容を決定することが可能である。この場合、例えば、推定された精神状態及び肉体状態の最も悪い(例えば重度の体調不良など)ユーザーを優先した形で、もてなし動作部の動作内容を決定することが可能である。
また、図73Aに示す、種々のもてなし意思決定用のデータ440のうち、ユーザー毎に固有のデータ(ユーザーID/暗証番号600、生体認証用マスターデータ432、ユーザー別デフォルト設定データ434、ユーザー別精神/体調判定閾値435、ストレス反映操作統計データ405など)については、図1に示すように、記憶装置535等の自動車側の記憶装置以外に、自動車との間で通信可能な管理センター560のデータサーバ561に記憶し、自動車側からの要求に従って随時通信取得して使用するようにしてもよい。このようにすると、成りすまし等により自動車を他人に悪用される、といったセキュリティ上の問題を軽減できる他、ユーザーが、本発明の自動車用ユーザーもてなしシステムのハードウェアインフラ構造を具備した別の自動車に乗り換える場合に、管理センター560から上記ユーザー毎に固有のデータを取得することで、その乗り換え先となる自動車においても、前の自動車と同等のもてなしを受けることができ、より柔軟性に富んだシステム構築が可能となる。
以上、本発明の自動車用ユーザーもてなしシステムの実施形態について説明したが、本発明は当該実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲にて種々の変形を加えることが可能である。例えば、外部スケジューラ2001がインターネットに接続されている場合、お出かけスポット等(飲食、娯楽、観光など)の情報をインターネット上で自動的に検索・蓄積し、その蓄積された情報を、自動車側のカーナビゲーション装置534の外部目的地データベースとして利用することが可能である。例えば、自動車上で登録されたユーザーの個性に適合するお勧めスポットを目的地候補として出力する場合、この外部目的地データベースを活用すれば選択の幅をより広げることができる。
また、タッチパネルを用いた外部スケジューラ2001へのスケジュールないし目的地設定の入力は、予め用意されたソフトボタンへのタッチ入力の他、手書き入力インターフェースをタッチパネル上にソフト形成することで、指やタッチペンによる手書き入力も併用できるようにすると、機械操作に不慣れな年配者が女性・子供にも手軽に利用できるようになる。