以下、本発明に係る一実施の形態を図面に基づいて説明する。本実施の形態では、本発明の処理装置を備えたナビゲーション装置を有するナビゲーションシステムであって、移動体である例えば車両の走行案内誘導など移動を支援する構成や、例えば映画やテレビ番組などの映像コンテンツ(以下、コンテンツと称す)や楽曲を再生する構成、ラジオ放送やテレビ放送を受信して出力する構成を備えたシステムを例示して説明する。ここで、コンテンツや楽曲を再生したり、ラジオ放送やテレビ放送を出力する構成を、ソースと適宜称して説明する。なお、ナビゲーションシステムとしては、車両の走行を案内誘導する構成に限らず、いずれの移動体の移動を支援する構成が対象となる。図1は、ナビゲーションシステムの概略構成を示すブロック図である。図2は、利用者別設定リスト情報の概略構成を示す模式図である。図3は、ナビゲーション装置を構成する処理部の概略構成を示すブロック図である。
〔ナビゲーションシステムの構成〕
図1において、100はナビゲーションシステムである。このナビゲーションシステム100は、移動体である例えば車両の移動状況に対応して移動に関する案内を報知したり、コンテンツや楽曲を再生したり、ラジオ放送やテレビ放送を出力したりするシステムである。また、ナビゲーションシステム100は、各ソースを利用者すなわち運転手や同乗者が最後に利用した状態を再現する状態に設定する。具体的には、ナビゲーションシステム100は、利用者に応じて最初に動作させるソース(以下、動作ソースと称す)、再生するコンテンツや楽曲およびその再生開始位置、受信するラジオ放送やテレビ放送を適宜設定する。そして、ナビゲーションシステム100は、ナビゲーション装置200と、発音手段500と、などを備えている。
発音手段500は、例えばインストルメントパネル部、ドア部、リアダッシュボード部など、車両の室内空間における前方部分や後方部分の左右側にそれぞれ配設されたスピーカ510を有している。そして、発音手段500は、ナビゲーション装置200により制御され、ナビゲーション装置200から出力されるラジオ放送のラジオデータ、テレビ放送のテレビデータ、楽曲データ、コンテンツデータなどをスピーカ510から音により出力させる。ここで、ラジオデータおよびテレビデータが、本発明の情報としての配信情報に対応する。また、楽曲データおよびコンテンツデータが、本発明の情報としてのコンテンツデータに対応する。
ナビゲーション装置200は、移動体としての例えば車両に搭載される車載型、携帯型、PDA(Personal Digital Assistant)、携帯電話、PHS(Personal Handyphone System)、携帯型パーソナルコンピュータなどである。ナビゲーション装置200は、このナビゲーション装置200が有する地図情報に基づいて、目的地までのルート探索や最寄りの所定の店舗の検索などを実施する。さらに、ナビゲーション装置200は、放送波を利用してラジオ放送局やテレビ放送局から配信されるラジオデータやテレビデータに基づいて、ラジオ放送やテレビ放送として出力させる。また、ナビゲーション装置200は、このナビゲーション装置200が有する、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)、MD(Mini Disc)などに記録された楽曲データやコンテンツデータなどに基づいて、楽曲やコンテンツを再生する。なお、以下において、ラジオ放送、テレビ放送、楽曲、コンテンツをまとめて説明する際には、音声画像と適宜称して説明する。そして、ナビゲーション装置200は、センサ部210と、交通情報受信部220と、マイクロフォン230(以下、マイク230と称す)と、入力部240と、撮像手段250と、ラジオチューナ260と、テレビチューナ270と、表示部280と、音声出力部290と、地図情報記憶手段300と、コンテンツデータ記憶手段としての楽曲データ記憶手段310と、コンテンツデータ記憶手段320と、特性別処理情報記憶手段としてのメモリ330と、演算手段としての処理部340と、などを備えている。
センサ部210は、移動体である例えば車両の移動の状態、すなわち現在位置や走行状況などを検出して処理部340にセンサ信号として出力する。このセンサ部210は、例えば図示しないGPS(Global Positioning System)受信部と、図示しない速度センサ、方位角センサおよび加速度センサなどの各種センサなどにて構成されている。そして、GPS受信部、速度センサ、方位角センサは、それぞれ演算したり検出した車両の現在位置の疑似座標値、走行速度、走行方向に関する情報を処理部340へ出力する。
交通情報受信部220は、道路の交通状態、例えば渋滞や交通規制などに関する交通情報を受信する。この交通情報受信部220としては、例えば日本にて開発されて利用されているVICS(Vehicle Information Communication System:道路交通情報通信システム)受信装置などが利用できる。このVICS受信装置を用いたこの交通情報受信部220は、図示しないVICSアンテナを有し、このVICSアンテナにより交通に関する情報を取得して処理部340にVICS信号として出力する。
マイク230は、ナビゲーション装置200の図示しないケース体の例えば正面に臨んで配設されている。このマイク230は、処理部340の制御により音声出力部290から出力される、例えば「どこへ行きますか?」の目的地質問音声や「あなたは誰ですか?」などの利用者質問音声などに対する利用者の返答の音声を適宜取得すなわち集音する。なお、以下において、目的地質問音声に対する返答の音声を目的地返答音声と、利用者質問音声に対する返答の音声を利用者返答音声と、それぞれ称して説明する。そして、マイク230は、集音した目的地返答音声や利用者返答音声などに関する返答音声情報を処理部340へ出力する。ここで、目的地返答音声に関する返答音声情報が、本発明の利用状態情報および特性情報に対応する。
入力部240は、ケース体の例えば正面に臨んで入力操作可能に配設された図示しない各種操作ボタンや操作つまみなどを有している。この操作ボタンや操作つまみの入力操作の内容としては、例えばナビゲーション装置200の動作内容の設定などの設定事項である。そして、入力部240は、設定事項の入力操作により、各種情報を操作信号として処理部340へ出力して設定させる。なお、入力部240としては、操作ボタンや操作つまみなどの入力操作に限らず、例えば表示部280に設けられたタッチパネルによる入力操作や、音声による入力操作など、各種設定事項を設定入力可能ないずれの構成が例示できる。
撮像手段250は、例えばいわゆるCCD(Charge Coupled Devices)カメラやCMOSカメラなどである。この撮像手段250は、ケース体の例えば正面に臨んで配設されている。なお、撮像手段250を、例えば車両の室内空間における天井の前方部分やダッシュボードに配設する構成としてもよい。そして、撮像手段250は、処理部340の制御により、利用者の顔の画像(以下、顔画像と称す)や、利用者のジェスチャの映像(以下、ジェスチャ映像と称す)を適宜取得すなわち撮像する。ここで、顔画像は、1つの静止画像であり、顔を特定可能な構成とされている。また、ジェスチャ映像は、連続する複数の静止画像や所定間隔で断続的に撮像された複数の静止画像を有し、動作を特定可能な構成とされている。なお、顔画像の代わりに、ジェスチャ映像と同様に複数の画像を有する顔映像を撮像する構成としてもよい。そして、撮像手段250は、撮像した顔画像やジェスチャ映像に関する特性情報としての撮像情報を処理部340へ出力する。
ラジオチューナ260には、地上波アナログ放送や地上波デジタル放送さらには衛星デジタル放送などの各種ラジオ放送波を受信する図示しないラジオアンテナが接続されている。そして、ラジオチューナ260は、処理部340にて制御され、ラジオアンテナにて受信されこのラジオアンテナから入力される音声を出力させるためのラジオデータを取得して、処理部340へ出力する。なお、音声とともに文字を出力させるためのラジオデータを取得する構成としてもよい。
テレビチューナ270には、地上波アナログ放送や地上波デジタル放送さらには衛星デジタル放送などの各種テレビ放送波を受信する図示しないテレビアンテナが接続されている。そして、テレビチューナ270は、処理部340にて制御され、テレビアンテナにて受信されこのテレビアンテナから入力される音声や画像を出力させるためのテレビデータを取得して、処理部340へ出力する。
表示部280は、処理部340から画像信号として送信される画像データを表示させる。ここで、表示させる情報としては、地図情報、検索情報、ラジオ放送や楽曲に関する情報、テレビ放送やコンテンツの画像、後述する利用者別設定情報700を生成する際の各種情報などが例示できる。この表示部280としては、例えば液晶表示パネルや有機EL(Electro Luminescence)パネル、PDP(Plasma Display Panel)、CRT(Cathode-Ray Tube)、FED(Field Emission Display)、電気泳動ディスプレイパネルなどが例示できる。
音声出力部290は、例えば図示しないスピーカを有している。この音声出力部290は、処理部340から音声信号として送信される音声データをスピーカから音声として出力させる。ここで、音声により出力する情報としては、例えば車両の走行方向や走行状況、交通状況など車両の走行を案内する各種情報、利用者別設定情報700を生成する際の各種情報などが例示できる。なお、音声出力部290は、スピーカを設けた構成に限らず、発音手段500のスピーカ510を利用する構成としてもよい。
地図情報記憶手段300は、地図情報やこの地図情報における所定の地点の情報を取得するための検索情報などを格納、すなわち読み出し可能に記憶する。この地図情報記憶手段300としては、HD(Hard Disk)などの磁気ディスク、CDやDVDなどの光ディスク、メモリカードなど、各種記録媒体に読み出し可能に記憶するドライブやドライバなどを備えた構成が例示できる。
ここで、地図情報は、POI(Point Of Interest)である表示用データと、マッチングデータと、移動経路探索用地図データと、などを備えている。
表示用データは、例えばそれぞれ固有の番号が付加された複数の表示用メッシュ情報を備えている。すなわち、表示用データは、一部の領域に関する表示用メッシュ情報に複数分割され、表示用メッシュ情報が縦横に複数連続して構成されている。そして、表示用メッシュ情報は、例えば交差点などの名称を表示させるための名称情報と、道路を表示させるための道路情報と、建造物などを表示させるための背景情報と、などを備えている。マッチングデータは、表示用データと同様に、例えばそれぞれ固有の番号が付加された一部の領域に関するマッチングメッシュ情報に複数分割され、マッチングメッシュ情報が縦横に複数連続して構成されている。そして、マッチングデータは、例えば車両の移動状態を地図情報に重畳させて表示させる際に、車両を表す表示が道路上ではなく建物上に位置するなどの誤表示を防止するため、車両を表す表示が道路上に位置するように表示を修正するマップマッチング処理に利用される。また、マッチングデータは、VICSデータに関連付けられ、VICSデータと地図表示との位置関係が対応するようになっている。移動経路探索用地図情報は、地点を表す地点情報と地点を結ぶ線分情報とを有したテーブル構造で、移動経路を探索するために道路を表すための情報構造となっている。
楽曲データ記憶手段310は、楽曲リストデータを適宜読み出し可能に記憶する。この楽曲データ記憶手段310としては、地図情報記憶手段300と同様に、HDなどの磁気ディスク、CDやDVDなどの光ディスク、メモリカードなど、各種記録媒体に読み出し可能に記憶するドライブやドライバなどを備えた構成が例示できる。ここで、楽曲リストデータは、再生される楽曲のリストに関するデータである。そして、楽曲リストデータは、少なくとも1つの楽曲個別データが1つのデータ構造として関連付けられて構成されている。楽曲個別データは、1つの楽曲に関する情報である。そして、楽曲個別データは、楽曲データと、楽曲関連情報と、などが1つのデータ構造として構成されたテーブル構造である。なお、楽曲個別データは、楽曲データのみで構成される場合もある。楽曲データは、楽曲の再生の際に用いられるデータである。この楽曲データは、例えばMIDI(Musical Instrument Digital Interface)形式やWAVE形式あるいはMPEG(Moving Picture Experts Group)形式などの楽曲を再生可能な形式により記録されている。楽曲関連情報は、楽曲データにより再生される楽曲に関する情報、例えば楽曲名、演奏者、再生時間などに関する情報である。
コンテンツデータ記憶手段320は、コンテンツリストデータを適宜読み出し可能に記憶する。このコンテンツデータ記憶手段320としては、楽曲データ記憶手段310と同様に、HDなどの磁気ディスク、CDやDVDなどの光ディスク、メモリカードなど、各種記録媒体に読み出し可能に記憶するドライブやドライバなどを備えた構成が例示できる。ここで、コンテンツリストデータは、再生されるコンテンツのリストに関するデータである。そして、コンテンツリストデータは、少なくとも1つのコンテンツ個別データが1つのデータ構造として関連付けられて構成されている。コンテンツ個別データは、1つのコンテンツに関する情報である。そして、コンテンツ個別データは、コンテンツデータと、コンテンツ関連情報と、などが1つのデータ構造として構成されたテーブル構造である。なお、コンテンツ個別データは、コンテンツデータのみで構成される場合もある。コンテンツデータは、コンテンツの再生の際に用いられるデータである。このコンテンツデータは、例えばMPEG形式やAVI(Audio Visual Interleaved)形式などのコンテンツを再生可能な形式により記録されている。コンテンツ関連情報は、コンテンツデータにより再生されるコンテンツに関する情報、例えばコンテンツ名、出演者、内容、再生時間などに関する情報である。
メモリ330は、入力部240で入力操作される設定事項、例えば図2に示すような利用者別設定リスト情報600などの処理部340で取得したり生成した各種情報、利用者別設定情報700に基づく音声画像の出力処理において用いられる顔エラーフラグE、ジェスチャエラーフラグF、顔フラグA、ジェスチャフラグB、声質フラグS、目的地フラグPなどを適宜読み出し可能に記憶する。また、メモリ330は、音声データや画像データ、ナビゲーション装置200全体を動作制御するOS(Operating System)上に展開される各種プログラムなどを記憶している。このメモリ330としては、例えば停電などにより突然電源が落ちた際にも記憶が保持される構成のメモリ、例えばCMOS(Complementary Metal-Oxide Semiconductor)メモリなどを用いることが望ましい。なお、メモリ330としては、HD、DVD、光ディスクなどの記録媒体に読み出し可能に記憶するドライブやドライバなどを備えた構成としてもよい。
ここで、利用者別設定リスト情報600は、1人あるいは複数の利用者にそれぞれ応じた各ソースの設定のリストに関する情報である。この利用者別設定リスト情報600は、少なくとも1つの特性別処理情報としての利用者別設定情報700が1つのデータ構造として関連付けられて構成されている。
利用者別設定情報700は、利用者が最後に各ソースを利用した際の設定に関する情報である。この利用者別設定情報700は、処理部340により適宜生成されたり削除される。そして、利用者別設定情報700は、登録顔情報710と、登録ジェスチャ情報720と、登録声質情報730と、登録目的地情報740と、利用者固有情報750と、最終ソース情報760と、最終出力情報770と、などが1つのデータ構造として関連付けられて構成されている。ここで、登録顔情報710、登録ジェスチャ情報720、登録声質情報730が、本発明の特性内容情報に対応する。また、登録目的地情報740が、本発明の利用状態情報に対応する。さらに、最終ソース情報760および最終出力情報770が、本発明の最終処理情報に対応する。
登録顔情報710は、撮像手段250で正常に撮像された、すなわち例えばピントがほぼ合った状態で顔全体が撮像された少なくとも1人の利用者の顔画像(以下、正常顔画像と称す)に関する情報である。具体的には、登録顔情報710は、顔全体を表す画像データである。ここで、登録顔情報710として、例えば目、鼻、口、耳などの特定部位の画像データや、複数の特定部位の相対位置を数値化した情報などを適用してもよい。登録ジェスチャ情報720は、撮像手段250で正常に撮像された、すなわち例えばピントがほぼ合った状態で撮像された少なくとも1人の利用者のジェスチャ映像(以下、正常ジェスチャ映像と称す)に関する情報である。具体的には、登録ジェスチャ情報720は、例えば腕を上に突き上げるなどのジェスチャの動作を表す映像データである。ここで、登録ジェスチャ情報720として、例えば動作の特徴を示す文字や数値をデータ化した情報などを適用してもよい。
登録声質情報730は、マイク230で集音した少なくとも1人の利用者の目的地返答音声の声質(以下、返答声質と称す)に関する情報である。登録目的地情報740は、例えば所定の曜日や時間(以下、所定時間と称す)における特定の場所や店舗あるいは駅などの少なくとも1つの目的地を示す情報をデータ化したものである。例えば、登録目的地情報740は、月曜日から金曜日の朝7時頃の目的地が会社である旨や、土曜日の朝10時頃の目的地がショッピングセンターである旨を示す情報である。ここで、登録目的地情報740は、目的地のみを示す構成であってもよい。また、登録目的地情報740の代わりに、車両の現在位置や経由地などを示す情報を利用者別設定情報700に組み込む構成としてもよい。利用者固有情報750は、少なくとも1人の利用者の名前や例えば「父」や「母」などの続柄を示す利用者固有の情報をデータ化したものである。
最終ソース情報760は、利用者が最後に動作させていたソース(以下、最終ソースと称す)、すなわち処理部340のラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400を特定するための情報である。最終出力情報770は、利用者がナビゲーション装置200の電源をオフした際や動作ソースを変更させた際、すなわち動作ソースの動作を停止させた際にこの動作ソースで出力させていた音声画像に関する情報である。そして、最終出力情報770は、ラジオ最終受信情報771と、テレビ最終受信情報772と、楽曲最終再生情報773と、コンテンツ最終再生情報774と、などが1つのデータ構造として関連付けられて構成されている。
ラジオ最終受信情報771は、利用者がラジオ放送の出力を停止させた際にラジオチューナ260が受信していたラジオ放送局に関する情報である。このラジオ最終受信情報771としては、例えばラジオ放送局の名前、周波数、予め対応付けられた番号やアルファベットなど、ラジオ放送局を特定可能ないずれの情報を適用できる。テレビ最終受信情報772は、テレビ放送の出力を停止させた際にテレビチューナ270が受信していたテレビ放送局に関する情報である。このテレビ最終受信情報772としては、例えばテレビ放送局の名前、チャンネル名、周波数、予め対応付けられた番号やアルファベットなど、テレビ放送局を特定可能ないずれの情報を適用できる。
楽曲最終再生情報773は、楽曲の再生を停止させた際に再生していた楽曲、および、再生停止時の再生位置(以下、再生停止位置と称す)に関する情報である。この楽曲最終再生情報773としては、例えば楽曲データの名前、楽曲名、楽曲の再生開始からの経過時間に関する情報など、楽曲およびその再生停止位置を特定可能ないずれの情報を適用できる。なお、例えば楽曲データ記憶手段310が例えばHDドライブの場合、楽曲最終再生情報773として、再生停止時に読み出していた楽曲データのアドレス情報を適用してもよい。また、楽曲データ記憶手段310がCDドライブやDVDドライブの場合、CDやDVD固有の識別情報や、再生停止時のピックアップの位置に関する情報を適用してもよい。さらに、楽曲データ記憶手段310が例えばCDやDVDのいわゆるチェンジャを備えている場合、再生していたCDやDVDの収容位置に関する情報を適用してもよい。コンテンツ最終再生情報774は、コンテンツの再生を停止させた際に再生していたコンテンツおよびその再生停止位置に関する情報である。このコンテンツ最終再生情報774としては、例えばコンテンツデータの名前、コンテンツ名、コンテンツの再生開始からの経過時間に関する情報など、楽曲最終再生情報773と同様の情報を適用できる。なお、楽曲最終再生情報773やコンテンツ最終再生情報774を再生停止位置ではなく、再生停止位置近傍の位置、例えば再生停止位置から3秒前あるいは3秒後の位置に関する情報としてもよい。
なお、最終出力情報770に、ラジオ最終受信情報771、テレビ最終受信情報772、楽曲最終再生情報773、コンテンツ最終再生情報774のうちの少なくともいずれか1つを備えた構成としてもよい。
顔エラーフラグEは、撮像手段250で正常顔画像が撮像されたか否かを示すものである。この顔エラーフラグEは、0であれば正常顔画像が撮像された旨を示す。一方、顔エラーフラグEは、1であれば正常顔画像が撮像されなかった旨、例えばピントが全く合っていない顔画像が撮像された旨、顔全体が含まれない顔画像が撮像された旨、撮像手段250のトラブルや撮像手段250および利用者の間に異物が存在していたことなどにより顔画像を撮像できなかった旨などを示す。ジェスチャエラーフラグFは、撮像手段250で正常ジェスチャ映像が撮像されたか否かを示すものである。このジェスチャエラーフラグFは、0であれば正常ジェスチャ映像が撮像された旨を示す。一方、ジェスチャエラーフラグFは、1であれば正常ジェスチャ映像が撮像されなかった旨、例えばピントが全く合っていないジェスチャ映像が撮像された旨、撮像手段250のトラブルなどによりジェスチャ映像を撮像できなかった旨などを示す。
顔フラグAは、撮像手段250で撮像した正常顔画像に対応する登録顔情報710が、利用者別設定リスト情報600に組み込まれているか否か、すなわち登録されているか否かを示すものである。この顔フラグAは、0であれば正常顔画像に対応する登録顔情報710が登録されていない旨を示し、1であれば登録されている旨を示す。ジェスチャフラグBは、撮像手段250で撮像した正常ジェスチャ映像に対応する登録ジェスチャ情報720が、利用者別設定リスト情報600に登録されているか否かを示すものである。このジェスチャフラグBは、0であれば正常ジェスチャ映像に対応する登録ジェスチャ情報720が登録されていない旨を示し、1であれば登録されている旨を示す。
声質フラグSは、マイク230で集音した目的地返答音声の返答声質に対応する登録声質情報730が、利用者別設定リスト情報600に組み込まれているか否か、すなわち登録されているか否かを示すものである。この声質フラグSは、0であれば返答声質に対応する登録声質情報730が登録されていない旨を示し、1であれば登録されている旨を示す。目的地フラグPは、目的地返答音声で示される目的地(以下、返答目的地と称す)に対応する登録目的地情報740が、利用者別設定リスト情報600に登録されているか否かを示すものである。この目的地フラグPは、0であれば返答目的地に対応する登録目的地情報740が登録されていない旨を示し、1であれば登録されている旨を示す。
処理部340は、図示しない各種入出力ポート、例えばGPS受信部が接続されるGPS受信ポート、各種センサがそれぞれ接続されるセンサポート、VICSアンテナが接続されるVICS受信ポート、マイク230が接続されるマイクポート、入力部240が接続されるキー入力ポート、撮像手段250が接続される撮像ポート、ラジオチューナ260が接続されるラジオポート、テレビチューナ270が接続されるテレビポート、表示部280が接続される表示ポート、音声出力部290が接続される音声ポート、地図情報記憶手段300が接続される地図記憶ポート、楽曲データ記憶手段310が接続される楽曲記憶ポート、コンテンツデータ記憶手段320が接続されるコンテンツ記憶ポート、メモリ330が接続されるメモリポート、発音手段500が接続される発音ポートなどを有する。そして、処理部340は、各種プログラムとして、図3に示すように、処理状態設定部350と、ナビゲーション処理部360と、ラジオ出力部370と、テレビ出力部380と、楽曲再生部390と、コンテンツ再生部400と、計時手段410と、などを備えている。ここで、ラジオ出力部370、テレビ出力部380、楽曲再生部390、および、コンテンツ再生部400が、本発明の情報出力処理手段に対応する。
処理状態設定部350は、ラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400、すなわち各ソースの処理状態を利用者に応じた状態に適宜設定する。そして、処理状態設定部350は、特性情報取得手段および利用状態情報取得手段としての返答音声解析手段351と、情報出力処理手段としても機能する音声登録判断手段352と、特性情報取得手段としての撮像画像解析手段353と、情報出力処理手段としても機能する画像登録判断手段354と、利用者特定手段および情報出力処理手段としても機能する状態設定制御手段355と、特性別処理情報生成手段としての設定情報生成手段356と、特性別処理情報生成手段としても機能する更新手段としての設定情報更新手段357と、などを備えている。なお、メモリ330と、返答音声解析手段351と、音声登録判断手段352と、撮像画像解析手段353と、画像登録判断手段354と、状態設定制御手段355と、設定情報生成手段356と、設定情報更新手段357と、ラジオ出力部370と、テレビ出力部380と、楽曲再生部390と、コンテンツ再生部400と、にて、本発明の処理装置が構成される。ここで、本発明の処理装置としては、メモリ330、設定情報生成手段356、設定情報更新手段357を備えない構成としてもよい。また、ラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400のうちの少なくとも1つを備えた構成としてもよい。
返答音声解析手段351は、マイク230で集音された目的地返答音声を解析して、返答声質や返答目的地を認識する。具体的には、返答音声解析手段351は、ナビゲーション装置200の電源がオンされた旨を認識すると、上述したような「どこへ行きますか?」などの目的地質問音声を音声出力部290から出力させる。ここで、例えば運転手の交代時などにおいてドア部が開閉されたことを認識した際に、目的地質問音声を出力させる構成などとしてもよい。さらに、返答音声解析手段351は、マイク230に目的地返答音声を集音させて返答音声情報を出力させる。そして、返答音声解析手段351は、返答音声情報の目的地返答音声を取得すると、この目的地返答音声の例えば音声波形や周波数分析したスペクトル包絡線などに基づいて、返答声質および返答目的地を認識する。ここで、返答音声解析手段351は、複数の利用者により目的地返答音声が発せられている場合、この複数の利用者のそれぞれの返答声質を認識する。また、計時手段410から現在日時に関する後述する現在日時情報を取得する。そして、返答音声解析手段351は、この認識した返答声質に関する返答声質認識情報を生成してメモリ330に記憶させる。さらに、返答音声解析手段351は、この認識した返答目的地に現在日時情報の現在の曜日や時間を所定時間として関連付けた返答目的地認識情報を生成してメモリ330に記憶させる。
また、返答音声解析手段351は、マイク230で集音された利用者返答音声を解析して、利用者返答音声で発音される利用者の名前や続柄(以下、返答利用者名と称す)を認識する。具体的には、返答音声解析手段351は、設定情報生成手段356の制御により、上述したような「あなたは誰ですか?」などの利用者質問音声を出力させるとともに、マイク230に利用者返答音声を集音させて返答音声情報を出力させる。そして、返答音声解析手段351は、返答音声情報の利用者返答音声を取得すると、この利用者返答音声で発音される返答利用者名を認識する。さらに、返答音声解析手段351は、この認識した返答利用者名に関する返答利用者名認識情報を生成してメモリ330に記憶させる。
音声登録判断手段352は、目的地返答音声に対応する登録声質情報730や登録目的地情報740が利用者別設定リスト情報600に登録されているか否かを判断する。具体的には、音声登録判断手段352は、メモリ330から返答声質認識情報を適宜取得して、この返答声質認識情報の返答声質に対応する登録声質情報730を利用者別設定リスト情報600から検索する。そして、音声登録判断手段352は、検索できた場合、すなわち登録されていることを認識した場合、メモリ330の声質フラグSを1に設定する。また、登録されていないことを認識した場合、声質フラグSを0に設定する。さらに、音声登録判断手段352は、メモリ330から返答目的地認識情報を適宜取得して、この返答目的地認識情報の所定時間に関連付けられた返答目的地に対応する登録目的地情報740を利用者別設定リスト情報600から検索する。そして、音声登録判断手段352は、登録されていることを認識した場合にメモリ330の目的地フラグPを1に設定し、登録されていないことを認識した場合に目的地フラグPを0に設定する。
撮像画像解析手段353は、撮像手段250で撮像した顔画像を解析して、正常顔画像か否かを適宜判断する。具体的には、撮像画像解析手段353は、目的地質問音声が出力されたことを認識すると、撮像手段250に顔画像を撮像させて撮像情報を出力させる。さらに、撮像画像解析手段353は、撮像情報の顔画像を取得すると、この顔画像の色や幾何学的な形状などに基づいて顔全体が撮像されているか否かを認識する。そして、顔全体が撮像されていないこと、すなわち例えばピントが全く合っていないため所定の部位を認識できないこと、撮像手段250のトラブルなどで何も撮像されていないことなどを認識した場合、撮像手段250で正常顔画像が撮像されていないと判断して、メモリ330の顔エラーフラグEを1に設定する。また、ピントがほぼ合った状態で顔全体が撮像されていることを認識した場合、正常顔画像が撮像されたと判断して、顔エラーフラグEを0に設定する。ここで、顔画像が眼鏡やサングラスあるいはマスクなどを着用しているものの場合、正常顔画像が撮像されたと認識する。さらに、撮像画像解析手段353は、撮像手段250で撮像された顔画像を正常顔画像として取得する。そして、この正常顔画像に関する正常顔画像情報を生成してメモリ330に記憶させる。
また、撮像画像解析手段353は、撮像手段250で撮像したジェスチャ映像を解析して、正常ジェスチャ映像か否かを適宜判断する。具体的には、撮像画像解析手段353は、例えば「ジェスチャをしてください」などのジェスチャ要求音声を音声出力部290から適宜出力させる。そして、ジェスチャ要求音声の出力から所定時間、例えば2秒間が経過したことを認識すると、撮像手段250にジェスチャ映像を撮像させて撮像情報を出力させる。さらに、撮像画像解析手段353は、撮像情報のジェスチャ映像を取得すると、このジェスチャ映像の色や幾何学的な形状などに基づいて所定の部位の動作が撮像されているか否かを判断する。そして、所定の部位の動作が撮像されていないこと、すなわち例えばピントが全く合っていないため部位を認識できないこと、撮像手段250のトラブルなどで何も撮像されていないことなどを認識した場合、撮像手段250で正常ジェスチャ映像が撮像されていないと判断して、メモリ330のジェスチャエラーフラグFを1に設定する。また、ピントがほぼ合った状態で所定の部位の動作が撮像されていることを認識した場合、正常ジェスチャ映像が撮像されたと判断して、ジェスチャエラーフラグFを0に設定する。さらに、撮像画像解析手段353は、撮像手段250で撮像されたジェスチャ映像を正常ジェスチャ映像として取得する。そして、この正常ジェスチャ映像に関する正常ジェスチャ映像情報を生成してメモリ330に記憶させる。
画像登録判断手段354は、正常顔画像に対応する登録顔情報710や正常ジェスチャ映像に対応する登録ジェスチャ情報720が利用者別設定リスト情報600に登録されているか否かを判断する。具体的には、画像登録判断手段354は、メモリ330から正常顔画像情報を適宜取得して、この正常顔画像情報の正常顔画像に対応する登録顔情報710を利用者別設定リスト情報600から検索する。そして、画像登録判断手段354は、検索できた、すなわち登録されていることを認識した場合、メモリ330の顔フラグAを1に設定する。また、登録されていないことを認識した場合、顔フラグAを0に設定する。ここで、画像登録判断手段354は、正常顔画像が例えば眼鏡やマスクなどを着用したものであり、登録顔情報710の顔画像がこれらを着用していないものの場合、登録されていないと認識する。なお、眼鏡などを着用している場合であっても所定の部位、例えば耳および輪郭が一致している場合、登録されていると認識する構成としてもよい。さらに、画像登録判断手段354は、メモリ330から正常ジェスチャ映像情報を適宜取得して、この正常ジェスチャ映像情報の正常ジェスチャ映像に対応する登録ジェスチャ情報720を利用者別設定リスト情報600から検索する。そして、画像登録判断手段354は、登録されていることを認識した場合、メモリ330のジェスチャフラグBを1に設定し、登録されていないことを認識した場合、ジェスチャフラグBを0に設定する。
状態設定制御手段355は、音声登録判断手段352、撮像画像解析手段353、画像登録判断手段354における各種判断に基づいて、各ソースを車両の利用者が最後に利用した状態を再現する状態に設定する。具体的には、状態設定制御手段355は、メモリ330の顔エラーフラグEおよびジェスチャエラーフラグFを取得する。そして、顔エラーフラグEおよびジェスチャエラーフラグFの設定がともに0であることを認識すると、正常顔画像および正常ジェスチャ映像を取得できたと判断して、メモリ330の顔フラグAおよびジェスチャフラグBを取得する。さらに、状態設定制御手段355は、顔フラグAおよびジェスチャフラグBの設定がともに1であることを認識すると、正常顔画像および正常ジェスチャ映像に基づいて利用者を特定できたと判断して、利用者別設定情報700をメモリ330から取得する。例えば、状態設定制御手段355は、画像登録判断手段354で検索した登録顔情報710および登録ジェスチャ情報720が組み込まれた利用者別設定情報700を検索して取得する。そして、この利用者別設定情報700の利用者固有情報750に基づいて、「太朗さんですね。お好みを設定しました。」などの利用者を特定できた旨の特定完了音声を音声出力部290から出力させる。さらに、状態設定制御手段355は、最終出力情報770のラジオ最終受信情報771をラジオ出力部370へ、テレビ最終受信情報772をテレビ出力部380へ、楽曲最終再生情報773を楽曲再生部390へ、コンテンツ最終再生情報774をコンテンツ再生部400へ、それぞれ出力する。すなわち、状態設定制御手段355は、最終出力情報770に基づいて、各ソースを利用者が最後に利用した状態を再現する状態に設定する。また、この利用者別設定情報700の最終ソース情報760に記載された最終ソースを認識する。そして、この最終ソースに対応するラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400のいずれかに、出力処理を実施する旨を要求する処理開始要求情報を出力する。すなわち、動作ソースを、最終ソース情報760の最終ソースに設定する。
また、状態設定制御手段355は、顔フラグAおよびジェスチャフラグBの設定がともに0であることを認識すると、正常顔画像および正常ジェスチャ映像に対応する利用者の利用者別設定情報700が利用者別設定リスト情報600に登録されていないと判断して、「新規登録します。」などの利用者別設定情報700を新たに生成する旨の新規登録案内音声を出力させる。さらに、設定情報生成手段356に正常顔画像および正常ジェスチャ映像の利用者に対応し、かつ、最終ソース情報760および最終出力情報770に各種情報が記載されていない利用者別設定情報700を生成させて利用者別設定リスト情報600に登録させる。そして、状態設定制御手段355は、入力部240の入力操作に基づくラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400のうちのいずれか1つを動作させる旨の操作信号を取得すると、この選択されたいずれか1つを動作ソースとして設定する。
さらに、状態設定制御手段355は、顔フラグAおよびジェスチャフラグBのうちの一方の設定が0であり他方の設定が1であることを認識すると、正常顔画像および正常ジェスチャ映像に基づいて利用者を特定できないと判断する。また、顔エラーフラグEおよびジェスチャエラーフラグFのうちの少なくともいずれか一方の設定が1であることを認識すると、正常顔画像や正常ジェスチャ映像を取得できていないため顔画像やジェスチャ映像に基づいて利用者を特定できないと判断する。そして、状態設定制御手段355は、撮像手段250で撮像された画像や映像に基づいて利用者を特定できないと判断すると、メモリ330の声質フラグSおよび目的地フラグPを取得する。さらに、声質フラグSおよび目的地フラグPの設定がともに1であることを認識すると、目的地返答音声に基づいて利用者を特定できたと判断し、音声登録判断手段352で検索した登録声質情報730および登録目的地情報740が組み込まれた利用者別設定情報700を取得する。そして、状態設定制御手段355は、この利用者別設定情報700の最終ソース情報760および最終出力情報770に基づいて、各ソースを利用者が最後に利用した状態を再現する状態に設定するとともに、動作ソースを設定する。
また、状態設定制御手段355は、声質フラグSおよび目的地フラグPの設定がともに0であることを認識すると、目的地返答音声に対応する利用者の利用者別設定情報700が登録されていないと判断し、設定情報生成手段356にこの利用者に対応する利用者別設定情報700を生成させて利用者別設定リスト情報600に登録させる。そして、入力部240の入力操作に基づいて、動作ソースを設定する。
さらに、状態設定制御手段355は、声質フラグSおよび目的地フラグPのうちの一方の設定が0であり他方の設定が1であることを認識すると、目的地返答音声に基づいて利用者を特定できないと判断する。そして、状態設定制御手段355は、メモリ330の利用者別設定情報700の内容を一覧表示させるとともに、「手動設定でお願いします。」などの処理状態の手動設定を要求する旨の手動設定案内音声を出力させる。さらに、状態設定制御手段355は、入力部240の入力操作に基づくいずれか1つの利用者別設定情報700を選択する旨の操作信号を取得すると、この選択された利用者別設定情報700の最終ソース情報760および最終出力情報770に基づいて、各ソースを利用者が最後に利用した状態を再現する状態に設定するとともに、動作ソースを設定する。
設定情報生成手段356は、利用者別設定情報700を適宜生成して、メモリ330に記憶させる処理、すなわち利用者別設定リスト情報600に登録する処理をする。具体的には、設定情報生成手段356は、返答音声解析手段351に返答利用者名認識情報を生成させ、この返答利用者名認識情報をメモリ330から取得する。そして、この返答利用者名認識情報の返答利用者名を組み込んだ利用者固有情報750を生成する。また、各種情報が記載されていない最終ソース情報760および最終出力情報770を生成する。
さらに、設定情報生成手段356は、状態設定制御手段355による正常顔画像および正常ジェスチャ映像の利用者に対応する利用者別設定情報700を生成する旨の要求を認識すると、正常顔画像情報および正常ジェスチャ映像情報をメモリ330から取得する。さらに、正常顔画像情報の正常顔画像を組み込んだ登録顔情報710と、正常ジェスチャ映像情報の正常ジェスチャ映像を組み込んだ登録ジェスチャ情報720と、を生成する。そして、設定情報生成手段356は、これら生成した登録顔情報710、登録ジェスチャ情報720、利用者固有情報750、最終ソース情報760、最終出力情報770を組み込んだ利用者別設定情報700を生成して、利用者別設定リスト情報600に登録する。ここで、正常顔画像および正常ジェスチャ映像に基づいて生成された利用者別設定情報700は、登録声質情報730および登録目的地情報740が組み込まれない構成となる。
また、設定情報生成手段356は、状態設定制御手段355による目的地返答音声の利用者に対応する利用者別設定情報700を生成する旨の要求を認識すると、返答声質認識情報および返答目的地認識情報をメモリ330から取得する。そして、これら取得した各情報などに基づいて、登録声質情報730と、登録目的地情報740と、を生成する。さらに、設定情報生成手段356は、これら生成した登録声質情報730、登録目的地情報740、利用者固有情報750、最終ソース情報760、最終出力情報770を組み込んだ利用者別設定情報700を利用者別設定リスト情報600に登録する。ここで、目的地返答音声に基づいて生成された利用者別設定情報700は、登録顔情報710および登録ジェスチャ情報720が組み込まれない構成となる。
設定情報更新手段357は、各ソースの処理状態に基づいて、利用者別設定情報700を適宜更新する。具体的には、設定情報更新手段357は、動作ソースが音声画像の出力処理を実施している状態で入力部240の入力操作に基づく動作ソースを変更する旨の操作信号を取得すると、現在の動作ソースを認識する。さらに、この現在の動作ソースに、出力処理を停止するとともに出力処理停止時における音声画像の出力状態に関する出力状態情報の送信を要求する停止要求信号を出力する。そして、現在の動作ソースから出力状態情報を取得すると、状態設定制御手段355で取得したあるいは新規登録させた利用者別設定情報700に組み込まれ現在の動作ソースに対応するラジオ最終受信情報771、テレビ最終受信情報772、楽曲最終再生情報773、コンテンツ最終再生情報774に、出力状態情報の内容を記載する処理を実施する。すなわち現在の動作ソースに基づいた最終出力情報770の更新処理を実施する。例えば、設定情報更新手段357は、現在の動作ソースである楽曲再生部390から楽曲再生停止時に再生していた楽曲およびその再生停止位置に関する出力状態情報を取得すると、これらの内容を状態設定制御手段355で取得したあるいは新規登録させた利用者別設定情報700の楽曲最終再生情報773に記載する。そして、新たに動作ソースとして設定させる旨が要求されたソースに出力処理を実施する旨を要求する動作ソース変更情報を出力する処理、すなわち動作ソースの変更処理を実施する。
また、設定情報更新手段357は、動作ソースが音声画像の出力処理を実施している状態でナビゲーション装置200の電源がオフされた旨を認識すると、現在の動作ソースを最終ソースとして認識する。そして、状態設定制御手段355で取得したあるいは新規登録させた利用者別設定情報700の最終ソース情報760にこの最終ソースを記載する処理、すなわち最終ソース情報760の更新処理を実施する。さらに、動作ソースの変更処理時と同様の処理を実施して、最終ソースに基づいた最終出力情報770の更新処理を実施する。例えば、最終ソースであるラジオ出力部370の制御によりラジオ放送出力停止時に受信していたラジオ放送局をラジオ最終受信情報771に記載する。そして、設定情報更新手段357は、最終ソース情報760および最終出力情報770を適宜更新した利用者別設定情報700を利用者別設定リスト情報600に再登録する。
ナビゲーション処理部360は、車両の移動に関する各種情報を適宜生成する処理などをする。そして、ナビゲーション処理部360は、現在位置認識手段361と、目的地認識手段362と、経路処理手段363と、案内報知手段364と、マップマッチング手段365と、情報検索手段366と、などを備えている。
現在位置認識手段361は、センサ部210からの各種情報に基づいて車両の現在位置を認識する。なお、現在位置認識手段361は、現在位置として上述した車両の現在位置の他、入力部240にて設定入力された起点となる出発地点などを、擬似現在位置として認識可能である。目的地認識手段362は、例えば入力部240の入力操作により設定入力された目的地に関する目的地情報、例えば緯度・経度などの座標、住所、電話番号を取得し、目的地の位置を認識する。経路処理手段363は、現在位置情報、目的地情報、交通情報受信部220にて取得したVICSデータ、地図情報記憶手段300に記憶された地図情報などに基づいて、適宜利用者に対応した設定条件で車両の移動経路を演算してルート探索し、この移動経路に関する移動経路情報を生成する。なお、この移動経路情報は、例えば車両の走行の際に誘導して走行を補助する経路案内情報をも有する。
案内報知手段364は、車両の走行状況に対応してあらかじめ取得した移動経路情報などに基づいて車両の移動に関する案内、例えば車両の走行を支援する内容の案内を、表示部280による画像表示や音声出力部290による発音にて出力する。マップマッチング手段365は、地図情報記憶手段300から取得する地図情報に基づいて、現在位置認識手段361にて認識した現在位置を適切に表示させるためのマップマッチング処理をする。情報検索手段366は、例えば入力部240にて設定入力された検索情報の検索要求により、地図情報記憶手段300に記憶された検索情報を、例えば店舗や施設などの項目情報などに基づいて階層状に検索して取得する。
ラジオ出力部370は、所定のラジオ放送を適宜出力する処理などをする。そして、ラジオ出力部370は、ラジオ選局手段371と、ラジオ出力処理手段372と、などを備えている。
ラジオ選局手段371は、利用者が最後に聴取していたラジオ放送局を適宜選局する。具体的には、ラジオ選局手段371は、状態設定制御手段355からラジオ最終受信情報771を取得すると、ラジオチューナ260を制御して、このラジオ最終受信情報771に記載されたラジオ放送局を受信させる。なお、ラジオ選局手段371は、入力部240の入力操作に基づく所定のラジオ放送局を選局する旨の操作信号を取得した場合、この所定のラジオ放送局を受信させる。
ラジオ出力処理手段372は、利用者が最後に聴取していたラジオ放送を発音手段500から適宜出力させる。具体的には、ラジオ出力処理手段372は、状態設定制御手段355から処理開始要求情報を取得すると、ラジオ出力部370が最終ソース情報760に基づいて動作ソースに設定されたと認識する。そして、ラジオチューナ260からラジオ最終受信情報771に基づき選局されたラジオ放送局のラジオデータを取得して、ラジオ放送の出力を開始する。また、ラジオ出力処理手段372は、ラジオ放送出力中において設定情報更新手段357から停止要求信号を取得すると、ラジオ放送出力を停止するとともにこの出力停止時に受信していたラジオ放送局に関する出力状態情報を設定情報更新手段357へ出力する。さらに、出力停止時において設定情報更新手段357から動作ソース変更情報を取得すると、利用者により新たな動作ソースに設定されたと認識して、出力停止時に受信していたラジオ放送局のラジオ放送を出力する。ここで、ラジオ最終受信情報771に基づく出力処理を実施していない状態において動作ソース変更情報を取得した場合、ラジオ最終受信情報771に基づいて出力処理を開始する。
テレビ出力部380は、所定のテレビ放送を適宜出力する処理などをする。そして、テレビ出力部380は、テレビ選局手段381と、テレビ出力処理手段382と、などを備えている。
テレビ選局手段381は、利用者が最後に視聴していたテレビ放送局をラジオ選局手段371と同様に適宜選局する。具体的には、テレビ選局手段381は、テレビ最終受信情報772を取得すると、このテレビ最終受信情報772のテレビ放送局をテレビチューナ270で受信させる。なお、テレビ選局手段381は、入力部240の入力操作に基づいて、所定のテレビ放送局を受信させる。
テレビ出力処理手段382は、利用者が最後に視聴していたテレビ放送をラジオ出力処理手段372と同様に発音手段500や表示部280から適宜出力させる。具体的には、テレビ出力処理手段382は、処理開始要求情報を取得すると、テレビ最終受信情報772に基づき選局されたテレビ放送局のテレビ放送の出力を開始する。また、テレビ出力処理手段382は、テレビ放送出力中において停止要求信号を取得すると、放送出力を停止するとともにこの出力停止時に受信していたテレビ放送局に関する出力状態情報を出力する。さらに、出力停止時において動作ソース変更情報を取得すると、出力停止時に受信していたテレビ放送局のテレビ放送を出力する。ここで、テレビ最終受信情報772に基づく出力処理を実施していない状態において動作ソース変更情報を取得した場合、テレビ最終受信情報772に基づいて出力処理を開始する。
楽曲再生部390は、楽曲を所定の再生位置から適宜再生する処理などをする。そして、楽曲再生部390は、選曲手段391と、楽曲再生処理手段392と、などを備えている。
選曲手段391は、利用者が最後に再生させていた楽曲を適宜選曲する。具体的には、選曲手段391は、楽曲最終再生情報773を取得すると、この楽曲最終再生情報773の楽曲に対応する楽曲個別データを楽曲データ記憶手段310から検索して取得する。そして、この楽曲個別データの楽曲関連情報の楽曲の名前や演奏者などを画面表示にて出力する。なお、選曲手段391は、入力部240の入力操作に基づいて、所定の楽曲に対応する楽曲個別データを楽曲データ記憶手段310から取得する。
楽曲再生処理手段392は、利用者が最後に再生させていた楽曲を再生停止位置から発音手段500で出力すなわち再生させる。具体的には、楽曲再生処理手段392は、処理開始要求情報を取得すると、選曲手段391で楽曲最終再生情報773に基づき取得された楽曲個別データの楽曲データに基づいて、楽曲最終再生情報773の再生停止位置から楽曲再生を開始する。また、楽曲再生処理手段392は、楽曲再生中において停止要求信号を取得すると、再生を停止するとともにこの再生停止時に再生していた楽曲およびその再生停止位置に関する出力状態情報を出力する。さらに、再生停止時において動作ソース変更情報を取得すると、再生停止時に再生していた楽曲を再生停止位置から再生する。ここで、楽曲最終再生情報773に基づく再生処理を実施していない状態において動作ソース変更情報を取得した場合、楽曲最終再生情報773に基づいて楽曲再生を開始する。なお、楽曲再生処理手段392は、入力部240の入力操作に基づいて、所定の再生位置から楽曲再生を開始する。
コンテンツ再生部400は、コンテンツを所定の再生位置から適宜再生する処理などをする。そして、コンテンツ再生部400は、コンテンツ選択手段401と、コンテンツ再生処理手段402と、などを備えている。
コンテンツ選択手段401は、利用者が最後に再生させていたコンテンツを選曲手段391と同様に適宜選択する。具体的には、コンテンツ選択手段401は、コンテンツ最終再生情報774を取得すると、このコンテンツ最終再生情報774のコンテンツに対応するコンテンツ個別データをコンテンツデータ記憶手段320から取得して、このコンテンツ個別データのコンテンツの名前や内容などを表示させる。なお、コンテンツ選択手段401は、入力部240の入力操作に基づいて、所定のコンテンツに対応するコンテンツ個別データを適宜取得する。
コンテンツ再生処理手段402は、利用者が最後に再生させていたコンテンツを楽曲再生処理手段392と同様に再生停止位置から発音手段500や表示部280で出力すなわち再生させる。具体的には、コンテンツ再生処理手段402は、処理開始要求情報を取得すると、コンテンツ選択手段401でコンテンツ最終再生情報774に基づき取得されたコンテンツデータに基づいて、コンテンツ最終再生情報774の再生停止位置からコンテンツ再生を開始する。また、コンテンツ再生処理手段402は、コンテンツ再生中において停止要求信号を取得すると、再生を停止するとともにこの再生停止時に再生していたコンテンツおよびその再生停止位置に関する出力状態情報を出力する。さらに、再生停止時において動作ソース変更情報を取得すると、再生停止時に再生していたコンテンツを再生停止位置から再生する。ここで、コンテンツ最終再生情報774に基づく再生処理を実施していない状態において動作ソース変更情報を取得した場合、コンテンツ最終再生情報774に基づいてコンテンツ再生を開始する。なお、コンテンツ再生処理手段402は、入力部240入力操作に基づいて、所定の再生位置からコンテンツ再生を開始する。
計時手段410は、例えば内部クロックなどの基準パルスに基づいて現在日時を計時する。そして、この計時した現在日時に関する現在日時情報を適宜出力する。
〔ナビゲーションシステムの動作〕
次に、ナビゲーションシステム100の動作として、音声画像の出力処理について図面に基づいて説明する。図4および図5は、音声画像の出力処理を示すフローチャートである。図6は、画像解析処理を示すフローチャートである。図7は、音声解析処理を示すフローチャートである。
まず、利用者は、ナビゲーション装置200の図示しない電源スイッチをオンする入力操作を実施する。そして、ナビゲーション装置200の処理部340は、図4に示すように、返答音声解析手段351にて、電源がオンされた旨を認識すると(ステップS101)、目的地質問音声を音声出力部290から出力させる制御をする(ステップS102)。この後、マイク230は、利用者により例えば「会社です。」などの目的地返答音声が発せられると、この目的地返答音声を集音して返答音声情報を返答音声解析手段351へ出力する。そして、処理状態設定部350は、返答音声解析手段351にて、返答音声情報の目的地返答音声を取得すると(ステップS103)、画像解析処理を実施する(ステップS104)。
このステップS104における画像解析処理を実施した後、状態設定制御手段355は、顔エラーフラグEおよびジェスチャエラーフラグFの設定がともに0か否かを判断する(ステップS105)。このステップS105において、顔エラーフラグEおよびジェスチャエラーフラグFの設定がともに0であると判断した場合、正常顔画像および正常ジェスチャ映像を取得できたと認識する。そして、顔フラグAおよびジェスチャフラグBの設定がともに1か否かを判断する(ステップS106)。このステップS106において、顔フラグAおよびジェスチャフラグBがともに1であると判断した場合、正常顔画像および正常ジェスチャ映像に基づいて利用者を特定できたと認識する。そして、状態設定制御手段355は、これら正常顔画像および正常ジェスチャ映像に基づいて利用者別設定情報700を取得するとともに(ステップS107)、特定完了音声を出力させる制御をする(ステップS108)。この後、図5に示すように、この取得した利用者別設定情報700の最終出力情報770に基づいた処理を実施する状態に各ソースを設定する処理、すなわち各ソースを利用者が最後に利用した状態を再現する状態に設定する処理を実施する(ステップS109)。さらに、この利用者別設定情報700の最終ソース情報760のソースを動作ソースに設定する(ステップS110)。
また、状態設定制御手段355は、ステップS106において、顔フラグAおよびジェスチャフラグBの設定がともに1でないと判断した場合、顔フラグAおよびジェスチャフラグBの設定がともに0か否かを判断する(ステップS111)。このステップS111において、ともに0であると判断した場合、正常顔画像および正常ジェスチャ映像に対応する利用者別設定情報700が登録されていないと認識して、新規登録案内音声を出力させる制御をする(ステップS112)。そして、設定情報生成手段356は、正常顔画像および正常ジェスチャ映像の利用者に対応し最終ソース情報760および最終出力情報770に各種情報が記載されていない利用者別設定情報700を生成して(ステップS113)、利用者別設定リスト情報600に登録する(ステップS114)。ここで、ステップS111において顔フラグAおよびジェスチャフラグBの設定が0であると判断された際には、設定情報生成手段356は、正常顔画像および正常ジェスチャ映像に対応する利用者の利用者別設定情報700、すなわち登録声質情報730および登録目的地情報740が組み込まれない利用者別設定情報700を生成する。この後、状態設定制御手段355は、図5に示すように、利用者により設定入力されたソースを動作ソースに設定する(ステップS115)。
そして、ステップS105において、処理状態設定部350は、顔エラーフラグEおよびジェスチャエラーフラグFの設定がともに0でない、すなわち顔エラーフラグEおよびジェスチャエラーフラグFのうちの少なくとも一方が1であると判断した場合、正常顔画像または正常ジェスチャ映像を取得できなかったと認識して、音声解析処理を実施する(ステップS116)。また、ステップS111において、顔フラグAおよびジェスチャフラグBの設定がともに0でない、すなわち顔フラグAおよびジェスチャフラグBのうちの一方が1であると判断した場合、正常顔画像または正常ジェスチャ映像に基づいて利用者を特定できないと認識して、ステップS116の処理を実施する。
このステップS116における音声解析処理を実施した後、状態設定制御手段355は、声質フラグSおよび目的地フラグPの設定がともに1か否かを判断する(ステップS117)。このステップS117において、声質フラグSおよび目的地フラグPの設定がともに1であると判断した場合、ステップS103で取得した目的地返答音声に基づいて利用者を特定できたと認識し、この目的地返答音声に基づいて利用者別設定情報700を取得する処理、すなわちステップS107の処理を実施する。一方、ステップS117において、声質フラグSおよび目的地フラグPの設定がともに1でないと判断した場合、声質フラグSおよび目的地フラグPの設定がともに0か否かを判断する(ステップS118)。
このステップS118において、声質フラグSおよび目的地フラグPの設定がともに0であると判断した場合、目的地返答音声に対応する利用者の利用者別設定情報700が登録されていないと認識して、ステップS112の処理を実施する。さらに、設定情報生成手段356は、目的地返答音声の利用者に対応し最終ソース情報760および最終出力情報770に情報が記載されていない利用者別設定情報700を生成する処理、すなわちステップS113の処理を実施する。ここで、ステップS118において声質フラグSおよび目的地フラグPの設定が0であると判断された際には、設定情報生成手段356は、目的地返答音声に対応する利用者の利用者別設定情報700、すなわち登録顔情報710および登録ジェスチャ情報720が組み込まれない利用者別設定情報700を生成する。
また、ステップS118において、声質フラグSおよび目的地フラグPの設定がともに0でない、すなわち声質フラグSおよび目的地フラグPのうちの一方が1であると判断した場合、例えば登録されている利用者別設定情報700の内容を一覧表示させる制御をするとともに、手動設定案内音声を出力させる制御をする(ステップS119)。この後、状態設定制御手段355は、入力部240によるいずれか1つの利用者別設定情報700を選択する旨の手動設定に基づいて、この利用者別設定情報700を取得して(ステップS120)、ステップS109,S110の処理を実施する。
そして、状態設定制御手段355は、ステップS110,S115の処理を実施すると、このステップS110,S115で設定した動作ソースに音声画像の出力処理を実施させる(ステップS121)。ここで、ステップS110の処理後にステップS121の処理を実施する場合、動作ソースに利用者が最後に利用した状態を再現する状態で音声画像を出力させる。例えば、動作ソースが楽曲再生部390の場合、楽曲再生部390に、利用者が最後に聴取していた楽曲を最後に聴取していた部分から再生させる。また、ステップS115の処理後にステップS121の処理を実施する場合、動作ソースに、利用者により設定入力された状態で音声画像を出力させる。この後、設定情報更新手段357は、動作ソースを変更する旨を認識したか否かを判断する(ステップS122)。このステップS122において、変更する旨を認識したと判断した場合、現在の動作ソースを認識して(ステップS123)、この動作ソースに停止要求信号を出力するとともに、この動作ソースから出力状態情報を取得する。そして、この出力状態情報に基づいて、現在の動作ソースに基づいた最終出力情報770の更新処理を実施する(ステップS124)。この後、設定情報更新手段357は、動作ソースの変更処理を実施して(ステップS125)、この新たな動作ソースに音声画像の出力処理を実施させる処理、すなわちステップS121の処理を実施する。
また、ステップS122において、変更する旨を認識していないと判断した場合、電源をオフする旨を認識したか否かを判断する(ステップS126)。このステップS126において、電源オフを認識していないと判断した場合、ステップS121に戻る。一方、ステップS126において、設定情報更新手段357は、電源オフを認識したと判断した場合、現在の動作ソースを最終ソースとして認識し(ステップS127)、この最終ソースを最終ソース情報760に記載して最終ソース情報760を更新する(ステップS128)。さらに、この最終ソースから出力状態情報を取得し、この出力状態情報に基づいて、最終ソースに基づいた最終出力情報770の更新処理を実施する(ステップS129)。そして、最終ソース情報760および最終出力情報770を更新した利用者別設定情報700を再登録して(ステップS130)、処理を終了する。
一方、画像解析処理では、撮像画像解析手段353は、図6に示すように、撮像手段250に例えば目的地返答音声を発した際の利用者の顔画像を撮像させて撮像情報を出力させる。そして、撮像画像解析手段353は、撮像情報の顔画像を取得すると(ステップS201)、この顔画像が正常顔画像か否かを判断する(ステップS202)。このステップS202において、正常顔画像でないと判断した場合、顔エラーフラグEを1に設定する(ステップS203)。一方、ステップS202において、正常顔画像であると判断した場合、顔エラーフラグEを0に設定する(ステップS204)。そして、画像登録判断手段354は、この正常顔画像が利用者別設定リスト情報600に登録されているか否かを判断する(ステップS205)。このステップS205において、正常顔画像が登録されていると判断した場合、顔フラグAを1に設定する(ステップS206)。一方、ステップS205において、正常顔画像が登録されていないと判断した場合、顔フラグAを0に設定する(ステップS207)。
また、撮像画像解析手段353は、ステップS203,S206,S207における顔エラーフラグEおよび顔フラグAの設定処理が実施された後、ジェスチャ要求音声を音声出力部290から出力させる制御をする(ステップS208)。そして、例えばジェスチャ要求音声の出力から2秒間が経過した後、撮像手段250に利用者のジェスチャ映像を撮像させて撮像情報を出力させる。この後、撮像画像解析手段353は、撮像情報のジェスチャ映像を取得すると(ステップS209)、このジェスチャ映像が正常ジェスチャ映像か否かを判断する(ステップS210)。このステップS210において、正常ジェスチャ映像でないと判断した場合、ジェスチャエラーフラグFを1に設定して(ステップS211)、画像解析処理を終了する。一方、ステップS210において、正常ジェスチャ映像であると判断した場合、ジェスチャエラーフラグFを0に設定する(ステップS212)。そして、画像登録判断手段354は、この正常ジェスチャ映像が利用者別設定リスト情報600に登録されているか否かを判断する(ステップS213)。このステップS213において、正常ジェスチャ映像が登録されていると判断した場合、ジェスチャフラグBを1に設定して(ステップS214)、画像解析処理を終了する。一方、ステップS213において、正常ジェスチャ映像が登録されていないと判断した場合、ジェスチャフラグBを0に設定して(ステップS215)、画像解析処理を終了する。
また、音声解析処理では、返答音声解析手段351は、図7に示すように、ステップS103で取得した目的地返答音声を解析して(ステップS301)、返答声質認識情報および返答目的地情報を生成する。この後、処理状態設定部350は、音声登録判断手段352にて、返答声質認識情報に基づいて、返答声質が利用者別設定リスト情報600に登録されているか否かを判断する(ステップS302)。このステップS302において、音声登録判断手段352は、返答声質が登録されていると判断した場合、声質フラグSを1に設定する(ステップS303)。一方、ステップS302において、返答声質が登録されていないと判断した場合、声質フラグSを0に設定する(ステップS304)。さらに、音声登録判断手段352は、ステップS303,S304の処理により声質フラグSを設定すると、返答目的地認識情報に基づいて、返答目的地が利用者別設定リスト情報600に登録されているか否かを判断する(ステップS305)。そして、ステップS305において、音声登録判断手段352は、返答目的地が登録されていると判断した場合、目的地フラグPを1に設定して(ステップS306)、音声解析処理を終了する。一方、ステップS305において、返答目的地が登録されていないと判断した場合、目的地フラグPを0に設定して(ステップS307)、音声解析処理を終了する。
〔ナビゲーションシステムの作用効果〕
上述したように、上記実施の形態では、ナビゲーション装置200の処理部340は、撮像手段250に撮像させた利用者の顔画像やジェスチャ映像の撮像情報を取得して、この撮像情報の顔画像やジェスチャ映像に基づいて、この車両の利用者を特定する。そして、この特定した利用者が最後に利用した楽曲再生部390およびコンテンツ再生部400のうちのいずれか、すなわちこの特定した利用者に対応する最終ソースに、この利用者に対応して最後に再生させた音声画像を再生させる制御をする。このため、ナビゲーション装置200は、例えば他の利用者が車両を利用した後に車両を利用する場合であっても、利用者に各ソースの処理状態の設定入力を実施させることなく、最終ソースで最後に聴取あるいは視聴させていた音声画像を再生できる。したがって、ナビゲーション装置200は、音声画像を良好に出力できる。また、ナビゲーション装置200は、利用者が最後に聴取あるいは視聴していた利用者の嗜好に合う音声画像を適宜再生でき、利用者に快適に運転させることができる。
また、処理部340は、マイク230に集音させた目的地返答音声の返答音声情報を取得して、この返答音声情報の目的地返答音声に基づいて、目的地返答音声を発した利用者に車両が利用されている状態である旨を認識し、この車両の利用者を特定する。そして、この特定した利用者に対応する最終ソースに、利用者に対応して最後に再生させた音声画像を再生させる制御をする。このため、ナビゲーション装置200は、利用者に各ソースの処理状態の設定入力を実施させることなく、最終ソースで最後に聴取あるいは視聴させていた音声画像を再生できる。したがって、ナビゲーション装置200は、音声画像を良好に出力できる。また、例えば眼鏡やサングラスあるいはマスクなどの着用で、正常顔画像に対応する登録顔情報710が登録されていないと認識した場合であっても、音声にて利用者を特定できる。したがって、ナビゲーション装置200の利便性を向上できる。
さらに、処理部340は、特定した利用者が最後に利用したラジオ出力部370およびテレビ出力部380のうちのいずれかに、この利用者に対応して最後に受信させていた放送局を受信させて音声画像を出力させる制御をする。また、一般的に各放送局から配信される番組には固有の傾向、例えば特定のジャンルの番組や特定の出演者が出演する番組が多く配信されるなど傾向があることが多い。このため、ナビゲーション装置200は、利用者が最後に聴取あるいは視聴していた嗜好性に合う傾向を有する放送局の番組を適宜出力でき、利用者に快適に運転させることができる。
そして、処理部340は、撮像画像解析手段353で認識された正常顔画像や正常ジェスチャ映像に基づいて利用者を特定する。また、状態設定制御手段355は、返答音声解析手段351で目的地返答音声に基づいて認識された利用者の声質である返答声質に基づいて利用者を特定する。このため、利用者に例えば名前などの入力操作を実施させることなく利用者を確実に特定でき、ナビゲーション装置200の使い勝手を向上できる。
さらに、利用者は、目的地返答音声により例えばナビゲーション装置200から離隔した位置からでも、ナビゲーション装置200に好みに合わせた処理を実施させることができる。したがって、ナビゲーション装置200の使い勝手をより向上できる。そして、ナビゲーション装置200は、目的地返答音声により返答声質および返答目的地を認識でき、利用者の生体的特徴以外の情報を示すことが困難な指紋や虹彩を取得する構成と比べてより多くの情報を認識できる。さらに、移動支援機能としてのナビゲーション機能を利用した「どこへ行きますか?」などの目的地質問音声に対する目的地返答音声に基づいて利用者を特定するため、利用者を特定する際の処理の効率化を図ることができる。
また、処理部340は、正常顔画像に対応する登録顔情報710、および、正常ジェスチャ映像に対応する登録ジェスチャ情報720が組み込まれた利用者別設定情報700をメモリ330から検索して取得する。さらに、返答声質に対応する登録声質情報730、および、返答目的地に対応する登録目的地情報740が組み込まれた利用者別設定情報700をメモリ330から取得する。この後、この取得した利用者別設定情報700の最終ソース情報760および最終出力情報770に基づいて、特定した利用者に対応する最終ソースに利用者に対応して最後に再生させた音声画像を再生させる制御や、最後に受信させていた放送局の音声画像を出力させる制御をする。このため、ナビゲーション装置200は、正常顔画像、正常ジェスチャ映像、返答声質、返答目的地に対応する最終ソース情報760および最終出力情報770を検索するだけの簡単な方法で、最終ソースおよび最後に再生させた音声画像、最後に受信させていた放送局などを認識できる。
さらに、処理部340は、例えば目的地返答音声に対応する利用者別設定情報700が登録されている状態において、例えばナビゲーション装置200の電源がオフされ動作ソースにおける音声画像の出力処理が停止される旨を認識すると、この動作ソースに対応するラジオ最終受信情報771、テレビ最終受信情報772、楽曲最終再生情報773、コンテンツ最終再生情報774のいずれかに出力処理停止時における処理状態を記載して最終出力情報770の更新処理を実施する。このため、例えば目的地返答音声に対応する利用者別設定情報700が設定情報更新手段357により適宜更新されるので、例えば音声画像の出力処理を実施する毎に新たな利用者別設定情報700を生成して登録させる構成と比べて、設定情報生成手段356や設定情報更新手段357の処理負荷を低減できる。
そして、処理部340は、例えば目的地返答音声に対応する利用者別設定情報700がメモリ330に記憶されていないことを認識すると、設定情報生成手段356に、最終ソース情報760、最終出力情報770に情報が記載されていない利用者別設定情報700をメモリ330に新たに生成させて記憶させる。さらに、設定情報更新手段357は、ナビゲーション装置200の電源がオフされた旨を認識すると、この電源がオフされた際の最終ソースを最終ソース情報760に記載するとともに、このとき再生していた音声画像の再生停止位置あるいは受信させていた放送局などを最終出力情報770に記載する。このため、ナビゲーション装置200は、初めて車両を利用する利用者に対応する利用者別設定情報700を生成するので、次回以降の利用時に設定入力をさせることなく利用者が例えば最後に聴取あるいは視聴していた音声画像を再生できる。
また、処理部340は、目的地返答音声に基づいて車両の目的地である返答目的地を認識して、この返答目的地に基づいて利用者を特定する。このため、ナビゲーション装置200は、1人の利用者に対してそれぞれ異なる目的地に対応したソースで例えば最後に再生した音声画像を適宜再生できる。したがって、ナビゲーション装置200の使い勝手をより向上できる。
さらに、処理部340は、目的地返答音声を取得すると、計時手段410からの現在日時情報に基づいて車両を利用する曜日や時間を認識して、この曜日や時間に基づいて利用者を特定する。このため、ナビゲーション装置200は、例えば1人の利用者に対してそれぞれ異なる曜日や時間に対応したソースで最後に出力した音声画像を適宜再生できる。また、ナビゲーション装置200は、計時手段410から曜日や時間に関する情報を取得するので、利用者に曜日や時間に関する音声を発せさせることなく車両を利用する曜日や時間を認識できる。したがって、ナビゲーション装置200の使い勝手をさらに向上できる。
そして、処理部340は、利用者が最後に聴取していた楽曲あるいは視聴していたコンテンツを再生停止位置から再生を開始する状態に楽曲再生部390あるいはコンテンツ再生部400を制御する。このため、利用者は、前回の利用時に例えば聴取していた嗜好に合う楽曲の続きを聴取でき、車両をより快適に運転できる。
さらに、処理部340は、利用者が最後に聴取していたラジオ放送のラジオ放送局あるいは視聴していたテレビ放送のテレビ放送局を受信する状態にラジオ出力部370あるいはテレビ出力部380を制御する。このため、利用者は、前回の利用時に例えば聴取していた嗜好に合うラジオ放送局のラジオ放送を聴取でき、車両をさらに快適に運転できる。
また、処理部340は、最終ソース以外の各ソース(以下、非最終ソースと称す)で利用者が最後に聴取あるいは視聴していた音声画像を再生可能な状態に、あるいは最後に聴取あるいは視聴していた放送局の音声画像を出力可能な状態に、非最終ソースを設定する。このため、ナビゲーション装置200は、利用者に非最終ソースの処理状態の設定入力を実施させることなく、非最終ソースで最後に例えば聴取あるいは視聴させていた音声画像を再生できる。したがって、ナビゲーション装置200は、音声画像をより良好に出力できる。
また、楽曲やコンテンツの再生処理、ラジオ放送やテレビ放送の出力処理を実施するナビゲーション装置200に、本発明の処理装置を適用している。このため、利用者に設定入力を実施させることなく、この利用者が最後に聴取あるいは視聴した音声画像を再生できたり、最後に聴取あるいは視聴していた放送局の音声画像を出力できる利便性が高いナビゲーション装置200を提供できる。
〔実施の形態の変形〕
なお、本発明は、上述した一実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
すなわち、状態設定制御手段355にて、ラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400のうちのいずれか1つに対して、利用者に対応して最後に再生させた音声画像、あるいは、最後に受信させていた放送局の音声画像を出力させる構成としてもよい。このような構成にすれば、状態設定制御手段355に、ラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400を利用者が最後に利用した状態を再現する状態に設定する機能を設ける必要がなく、上記実施の形態の構成と比べて状態設定制御手段355の構成を簡略化できる。したがって、ナビゲーション装置200のコストをより低減できる。また、音声画像の出力処理時における処理状態設定部350の処理負荷を低減できる。さらに、最終出力情報770にラジオ最終受信情報771、テレビ最終受信情報772、楽曲最終再生情報773、コンテンツ最終再生情報774を全て組み込む必要がなくなる。したがって、各利用者別設定情報700の情報量を減らすことができ、メモリ330により多くの利用者別設定情報700を記憶させることができる。
また、状態設定制御手段355にて、利用者に対応して最後に再生させた音声画像を再生停止位置からではなく最初から再生させる制御をする構成としてもよい。このような構成にすれば、利用者は、前回の利用時に例えば聴取していた嗜好に合う楽曲を最初から聴取でき、車両をより快適に運転できる。
そして、撮像画像解析手段353にて、正常顔画像のみを認識する構成としてもよい。このような構成にすれば、撮像画像解析手段353に正常ジェスチャ映像を認識する機能を設ける必要がなく、撮像画像解析手段353の構成を簡略化できる。したがって、ナビゲーション装置200のコストを低減できる。また、ステップS208〜S215の処理を適宜省略でき、画像解析処理時における撮像画像解析手段353や画像登録判断手段354の処理負荷を低減できる。さらに、利用者別設定情報700に登録ジェスチャ情報720を適宜組み込む必要がなくなるので、各利用者別設定情報700の情報量を減らすことができ、メモリ330により多くの利用者別設定情報700を記憶させることができる。
さらに、撮像画像解析手段353にて、正常ジェスチャ映像のみを認識する構成としてもよい。このような構成における人物の特定方法としては、似たようなジェスチャ例えば手を突き上げるジェスチャの場合に手の突き上げ角度の差異により特定する方法や、ジェスチャの履歴を記憶しておきこの履歴に基づいて人物を推定する方法などが例示できるが、これらに限られずジェスチャに基づいて人物を特定可能ないずれの方法を適用できる。このような構成にすれば、撮像画像解析手段353に正常顔画像を認識する機能を設ける必要がなく、撮像画像解析手段353の構成を簡略化できる。したがって、ナビゲーション装置200のコストを低減できる。また、ステップS201〜S207の処理を適宜省略でき、画像解析処理時における撮像画像解析手段353や画像登録判断手段354の処理負荷を低減できる。さらに、利用者別設定情報700に登録ジェスチャ情報720を適宜組み込む必要がなくなるので、各利用者別設定情報700の情報量を減らすことができ、メモリ330により多くの利用者別設定情報700を記憶させることができる。
また、撮像画像解析手段353に、顔画像やジェスチャ映像が正常なものか否かを判断する機能を設けない構成としてもよい。このような構成にすれば、撮像画像解析手段353の構成を簡略化でき、ナビゲーション装置200のコストをさらに低減できる。さらに、ステップS105,S202〜S204,S210〜S212の処理を適宜省略でき、音声画像出力処理時や画像解析処理時における撮像画像解析手段353の処理負荷を低減できる。
そして、処理状態設定部350に、撮像手段250で撮像された画像や映像に基づいて利用者を特定する機能を設けない構成としてもよい。このような構成の場合、処理状態設定部350は、ステップS103の処理を実施すると、ステップS116の処理を実施する。このため、撮像画像解析手段353や画像登録判断手段354を設ける必要がなく、処理状態設定部350の構成を簡略にできる。また、撮像手段250を設ける必要がなく、ナビゲーション装置200の構成を簡略にできる。したがって、ナビゲーション装置200のコストをさらに低減できる。また、ステップS104〜S106、ステップS111の処理を省略でき、音声画像出力処理時の処理状態設定部350の処理負荷を低減できる。さらに、利用者別設定情報700に登録顔情報710、登録ジェスチャ情報720を適宜組み込む必要がなくなるので、各利用者別設定情報700の情報量を減らすことができ、メモリ330により多くの利用者別設定情報700を記憶させることができる。
また、返答音声解析手段351にて、目的地返答音声に基づいて、返答目的地、返答声質、および、車両を利用する曜日や時間のうちのいずれか1つまたは2つを認識する構成としてもよい。このような構成にすれば、返答音声解析手段351に上述した全ての事項を認識する機能を設ける必要がなく、返答音声解析手段351の構成を簡略化できる。したがって、ナビゲーション装置200のコストを低減できる。また、ステップS302〜S304の処理やステップS305〜S307の処理を適宜省略でき、音声解析処理時における音声登録判断手段352の処理負荷を低減できる。さらに、利用者別設定情報700に登録声質情報730や登録目的地情報740を適宜組み込む必要がなくなるので、各利用者別設定情報700の情報量を減らすことができ、メモリ330により多くの利用者別設定情報700を記憶させることができる。
さらに、処理状態設定部350に、マイク230で集音された音声に基づいて利用者を特定する機能を設けない構成としてもよい。このような構成の場合、処理状態設定部350は、ステップS105で顔エラーフラグEおよびジェスチャエラーフラグFがともに0でないと判断した場合、および、ステップS111で顔フラグAおよびジェスチャフラグBがともに0でないと判断した場合、ステップS119の処理を実施する。このため、返答音声解析手段351の構成を簡略にできるとともに、音声登録判断手段352を設ける必要がなく、処理状態設定部350の構成を簡略にできる。したがって、ナビゲーション装置200のコストをさらに低減できる。また、ステップS116〜S118の処理を省略でき、音声画像出力処理時の処理状態設定部350の処理負荷を低減できる。さらに、利用者別設定情報700に登録声質情報730、登録目的地情報740を適宜組み込む必要がなくなるので、各利用者別設定情報700の情報量を減らすことができ、メモリ330により多くの利用者別設定情報700を記憶させることができる。
そして、処理状態設定部350に、画像、映像、および、音声に基づいて利用者を特定する機能を設けずに、例えば以下のような構成などとしてもよい。すなわち、状態設定制御手段355にて、センサ部210で認識する車両の移動状態である例えば加速状態や曲がるときの操作状態、車両の座席やバックミラーの調節位置、利用者の体重などに基づいて、利用者を特定する構成としてもよい。これらのような構成にすれば、ナビゲーション装置200は、利用者にジェスチャや目的地返答音声の発音を実施させることなく、利用者が例えば最後に聴取あるいは視聴していた音声画像を再生できる。
さらに、返答音声解析手段351の代わりに、指紋、虹彩、顔、歯型、各指の静脈などの生体的特徴に関する生体的特徴情報を取得して、生体的特徴を認識する生体的特徴認識手段を設ける。そして、状態設定制御手段355にて、この生体的特徴認識手段で認識した生体的特徴に基づいて、利用者を特定する構成としてもよい。このような構成にしても、ナビゲーション装置200は、利用者に例えば名前などの入力操作を実施させることなく利用者を確実に特定できる。したがって、ナビゲーション装置200の使い勝手を向上できる。
そして、返答音声解析手段351や撮像画像解析手段353にて、現在位置認識手段361で認識する車両の現在位置に基づいて、目的地質問音声やジェスチャ要求音声を音声出力部290から出力させる制御をして、目的地返答音声、正常顔画像、正常ジェスチャ映像を新たに適宜取得する構成としてもよい。例えば、返答音声解析手段351や撮像画像解析手段353にて、現在位置が駅や友達の家など利用者が増減したり入れ替わる可能性、すなわち利用者が変更される可能性が比較的高い地点の場合、目的地返答音声、正常顔画像、正常ジェスチャ映像を新たに取得する。そして、現在位置が観光地など利用者が変更される可能性が比較的低い地点の場合、目的地返答音声、正常顔画像、正常ジェスチャ映像を新たに取得しない構成としてもよい。このような構成にすれば、ナビゲーション装置200は、現在位置が例えば利用者が変更される可能性が比較的高い駅の場合、利用者に電源を一度切る設定入力を実施させることなく各音声を出力できる。また、現在位置が例えば利用者が変更される可能性が比較的低い観光地の場合、電源がオフされ再びオンされても各音声を出力することがない。したがって、ナビゲーション装置200は、上記実施の形態のような電源のオンを認識した際に各音声を出力する構成と比べて、より適切に目的地返答音声の発音やジェスチャの実施を促すことができる。
また、メモリ330に利用者別設定情報700を利用者別設定リスト情報600として記憶させずに例えば以下のような構成などとしてもよい。すなわち、例えば車両の現在位置に基づいて目的地返答音声や正常顔画像あるいは正常ジェスチャ映像を取得する構成とする。そして、1回目のナビゲーション装置200の利用時に、利用者別設定情報700を一時的にメモリ330に記憶させる。この後、ナビゲーション装置200の電源をオフしない状態における2回目以降の音声画像出力処理時に、この一時的に記憶させた利用者別設定情報700を利用し、電源がオフされた際に利用者別設定情報700を消去する構成などとしてもよい。このような構成にすれば、実際に車両を利用している利用者のみの利用者別設定情報700をメモリ330に記憶させるだけでよいので、メモリ330の容量を減らすことができる。
そして、状態設定制御手段355にて、正常顔画像や正常ジェスチャ映像あるいは目的地返答音声に対応する利用者別設定情報700がメモリ330に記憶されていないことを認識した場合、処理を実施させない状態にラジオ出力部370、テレビ出力部380、楽曲再生部390、コンテンツ再生部400を設定する、すなわち各ソースにセキュリティをかける構成としてもよい。このような構成にすれば、利用者別設定情報700が登録された特定の利用者のみにナビゲーション装置200を利用させることができる。
また、このセキュリティ性を有するナビゲーション装置200において、状態設定制御手段355にて、例えば暗証番号の入力など特定の設定入力を認識した際に、各ソースにかけたセキュリティを解除する構成としてもよい。このような構成にすれば、ナビゲーション装置200は、例えばサングラスやマスクなどの着用で登録顔情報710に登録された正常顔画像と一致しない登録済みの利用者や、例えば病気で登録声質情報730に登録された音声を発することができない登録済みの利用者、さらには、ナビゲーション装置200の利用を許可された初めて車両を利用する利用者に応じた処理を適宜実施できる。
さらに、状態設定制御手段355にて、例えば車両の持ち主の許可を得ていない人物が無断でナビゲーション装置200の電源をオンした際など、正常顔画像や正常ジェスチャ映像に対応する利用者別設定情報700がメモリ330に記憶されていないことを認識した場合、例えば以下のような処理を実施する構成としてもよい。すなわち、この正常顔画像や正常ジェスチャ映像を、登録顔情報710や登録ジェスチャ情報720とは別の情報としてメモリ330に記憶させておいたり、持ち主の携帯端末などに転送する構成としてもよい。このような構成にすれば、例えば音声をメモリ330に記憶させたり携帯端末に転送する構成と比べて、許可を得ていない人物などをより確実に特定できる。したがって、ナビゲーション装置200のセキュリティ性を高めることができる。
また、最終出力情報770に、最終ソースに対応するラジオ最終受信情報771、テレビ最終受信情報772、楽曲最終再生情報773、コンテンツ最終再生情報774のうちのいずれか1つのみを組み込む構成としてもよい。このような構成の場合、設定情報更新手段357は、ステップS123の処理を実施するとステップS125の処理を実施する。このため、各利用者別設定情報700の情報量を減らすことができ、メモリ330により多くの利用者別設定情報700を記憶させることができる。さらに、ステップS124の処理を省略でき、音声画像出力処理時の設定情報更新手段357の処理負荷を低減できる。また、設定情報更新手段357に、動作ソースの変更を認識する毎に現在の動作ソースに基づいた最終出力情報770の更新処理を実施する機能を設ける必要がない。したがって、設定情報更新手段357の構成を簡略にできる。
そして、設定情報生成手段356に、以下のような機能を設ける構成としてもよい。すなわち、正常顔画像および正常ジェスチャ映像に基づいて生成され登録声質情報730および登録目的地情報740を有さない利用者別設定情報700と、目的地返答音声に基づいて生成され登録顔情報710および登録ジェスチャ情報720を有さない利用者別設定情報700と、の利用者固有情報750が一致したことを認識した際に、各利用者別設定情報700を1つにまとめる機能を設ける構成としてもよい。このような構成にすれば、メモリ330に記憶させる利用者別設定情報700の数を減らすことができる。したがって、状態設定制御手段355における利用者別設定情報700の検索処理時の負荷を低減できる。
また、撮像画像解析手段353にて、ジェスチャ要求音声を出力させない構成として、例えば利用者により適宜実施されるジェスチャのジェスチャ映像を撮像させる構成としてもよい。このような構成にすれば、撮像画像解析手段353にジェスチャ要求音声を出力させる制御をする機能を設ける必要がなく、撮像画像解析手段353の構成を簡略化できる。したがって、ナビゲーション装置200のコストを低減できる。また、ステップS208の処理を省略でき、画像解析処理時における処理状態設定部350の処理負荷をより低減できる。
さらに、返答音声解析手段351にて、目的地質問音声を音声出力部290から出力させない構成として、例えば利用者により適宜発せられる目的地返答音声を取得する構成としてもよい。このような構成にすれば、返答音声解析手段351に目的地質問音声を出力させる制御をする機能を設ける必要がなく、返答音声解析手段351の構成を簡略化できる。したがって、ナビゲーション装置200のコストを低減できる。また、ステップS102の処理を省略でき、音声画像出力処理時における処理状態設定部350の処理負荷をより低減できる。
また、利用者別設定情報700に、利用者の好みに応じた移動経路の設定条件、例えば狭い道路を移動経路として設定するか否か、有料道路を優先的に利用するか否かなどに関する情報を組み込む構成としてもよい。このような構成にすれば、ナビゲーション装置200は、利用者に設定入力を実施させることなく、利用者が最終ソースで最後に例えば聴取させていた楽曲を再生できるとともに、利用者の好みに応じた設定条件で移動経路を設定できる。したがって、ナビゲーション装置200の利便性をさらに向上できる。
さらに、本発明は、ナビゲーション装置200に限られるものではなく、例えばラジオ音声を出力するラジオ装置、テレビ画像を出力するテレビジョン装置、記録媒体に記録された楽曲を再生する処理のみを実施する楽曲再生装置、記録媒体に記録されたコンテンツを再生するコンテンツ再生装置、ゲーム機器など、各種情報の出力処理を実施するあらゆる構成に適用してもよい。すなわち、移動体に搭載される構成に限らず、家庭などに設置される構成に適用してもよい。さらには、携帯用の前述した各種機器、携帯電話などの他の機器に適用する構成としてもよい。
そして、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは1つのIC(Integrated Circuit)などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
〔実施の形態の効果〕
上述したように、上記実施の形態では、ナビゲーション装置200の処理部340は、撮像手段250に撮像させた利用者の顔画像やジェスチャ映像に基づいて、この車両の利用者を特定する。そして、この特定した利用者に対応する最終ソースに、この利用者に対応して最後に再生させた音声画像を再生させる制御をする。このため、ナビゲーション装置200は、例えば他の利用者が車両を利用した後に車両を利用する場合であっても、利用者に各ソースの処理状態の設定入力を実施させることなく、最終ソースで最後に聴取あるいは視聴させていた音声画像を再生できる。したがって、ナビゲーション装置200は、音声画像を良好に出力できる。
また、処理部340は、マイク230に集音させた目的地返答音声に基づいて、目的地返答音声を発した利用者に車両が利用されている状態である旨を認識し、この車両の利用者を特定する。そして、この特定した利用者に対応する最終ソースに、利用者に対応して最後に再生させた音声画像を再生させる制御をする。このため、ナビゲーション装置200は、利用者に各ソースの処理状態の設定入力を実施させることなく、最終ソースで最後に聴取あるいは視聴させていた音声画像を再生できる。したがって、ナビゲーション装置200は、音声画像を良好に出力できる。