以下に、本開示の情報処理方法及び情報処理システムについて、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
車両内部の状況及び車両外部(車両周辺)の状況に応じたコンテンツを車両内で再生する情報処理システムについて説明する。本実施形態では、コンテンツは、画像、音声(音楽)、光(照明光)、振動、芳香、空調(風)のいずれかによるコンテンツであってもよく、これらの複数を組み合わせて一体として構成されたコンテンツであってもよい。また、本実施形態のコンテンツは、映画、ドラマ、アニメ、音楽ライブ等のエンターテインメントコンテンツ、商品又はサービスを宣伝するための広告コンテンツ等、どのようなコンテンツであってもよいが、視聴(体験)するユーザに感情の変化が起きるようなコンテンツであることが望ましい。例えば、視聴(体験)したユーザがワクワクする(気持ちが高揚する)コンテンツ、ドキドキする(胸が高鳴る)コンテンツ、怒りがおさまる(冷静になる)コンテンツ等、感情の変化を起こさせるようなコンテンツが望ましい。本実施形態における車両は自動車又はバス等の移動体であり、運転者による操作に従って走行する車両であってもよく、自動走行できるように構成された自動走行車両であってもよい。図1は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システムは、サーバ10及び車両に搭載された車載装置20を含み、サーバ10及び車載装置20は、インターネット等のネットワークNに接続可能であり、ネットワークNを介して情報の送受信を行う。
サーバ10は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータを用いて構成されている。サーバ10は、複数台設けられて分散処理するように構成されていてもよく、1台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよく、クラウドサーバを用いて実現されていてもよい。車載装置20は、サーバ10が提供するコンテンツ配信サービスを利用するユーザが乗車する車両に搭載されている装置であり、複数台の車両にそれぞれ設けられている。車載装置20は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン、カーナビゲーション装置を用いて構成されている。なお、車載装置20は、専用の装置によって構成されていてもよい。
本実施形態の情報処理システムでは、複数のイベントのそれぞれについて、イベントに適合する条件(イベント発生条件)及び複数のコンテンツが対応付けて登録してある。車載装置20は、車両内部(車内)の状況及び車両外部(車外)の状況に基づいて、いずれかのイベントの発生条件を満たすか否かを判断しており、いずれかのイベントの発生条件を満たす場合、イベントの発生をサーバ10に通知する。サーバ10は、いずれかのイベントが発生した車両(車載装置20)に対して、イベントに対応するコンテンツを送信(配信)し、車載装置20は、サーバ10から送信されてくるコンテンツを受信して再生する。また車載装置20は、コンテンツを視聴するユーザ(車両の乗車者)の反応を検出してサーバ10に通知し、サーバ10は、車両内のユーザの反応に応じて、送信するコンテンツを適宜切り替える。なお、車内の状況とは、例えば乗車人数、乗車者の属性及び着座位置、乗車者の動作及び感情等の情報を含む。また車外の状況とは、例えば日時(年月日、季節、曜日、時間帯等)、現在地、車両周辺の環境(周辺地図、景色、音)、天気(気温、湿度、降水量、日照時間等)、走行速度・走行方角、出発地・目的地等の情報を含む。
図2はサーバ10の構成例を示すブロック図である。サーバ10は、制御部11、記憶部12、通信部13、入力部14、表示部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、サーバ10が行うべき種々の情報処理及び制御処理等を実行する。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部12は、後述するユーザDB(データベース)12a及びコンテンツDB12bを記憶する。ユーザDB12a及びコンテンツDB12bは、サーバ10に接続された他の記憶装置に記憶されてもよく、サーバ10が通信可能な他の記憶装置に記憶されていてもよい。
通信部13は、有線通信又は無線通信によってネットワークNに接続するためのインタフェースであり、ネットワークNを介して他の装置との間で情報の送受信を行う。入力部14は、例えばマウス及びキーボードを含み、サーバ10を使用するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14及び表示部15は一体として構成されたタッチパネルであってもよい。
読み取り部16は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が通信部13を介して他の装置からダウンロードして記憶部12に記憶してもよい。
図3はサーバ10に記憶されるDB12a~12bの構成例を示す模式図である。図3AはユーザDB12aを、図3BはコンテンツDB12bをそれぞれ示す。ユーザDB12aは、サーバ10が提供するコンテンツ配信サービスを利用するためにユーザ登録を行ったユーザに関する情報を記憶する。図3Aに示すユーザDB12aは、ユーザID列、ユーザ情報列、イベント発生履歴列等を含み、ユーザIDに対応付けてユーザに関する情報を記憶する。ユーザID列は、各ユーザに予め割り当てられた識別情報(ユーザID)を記憶する。ユーザ情報列は、ユーザの性別及び年齢等の属性情報、家族構成及び趣味嗜好等の個人情報、ユーザが使用する車載装置20と通信するための宛先情報等を記憶する。イベント発生履歴列は、ユーザが車両に乗車中に発生したイベントに関する履歴情報を記憶する。履歴情報は、イベントが発生した日時、発生したイベントのイベントID、ユーザの車両(車載装置20)へ送信されたコンテンツのコンテンツID、各コンテンツの視聴時におけるユーザの反応等を含む。なお、イベントの発生日時は、イベント発生条件を満たした日時であってもよく、イベントが発生してから終了又は次のイベントが発生するまでの時間帯であってもよい。ユーザの反応は、コンテンツの視聴時(視聴中)におけるユーザの動作(ジェスチャー、姿勢又は行動)及び感情(感情情報)を含む。履歴情報は、イベントが発生した場所(位置)、イベント発生時の車両内の雰囲気(乗車者の感情等)、各コンテンツの再生日時等を更に含んでもよい。ユーザDB12aに記憶されるユーザIDは、新たなユーザが登録された場合に、制御部11によって発行されて記憶される。ユーザDB12aに記憶されるユーザ情報は、制御部11が通信部13又は入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。ユーザDB12aに記憶されるイベント発生履歴は、制御部11が通信部13を介してイベントの発生を通知された場合、通信部13を介してイベントに対応するコンテンツを車載装置20へ送信した場合、通信部13を介してユーザの反応を通知された場合に、制御部11によって記憶される。ユーザDB12aの記憶内容は図3Aに示す例に限定されず、例えばユーザの車両に関する情報が記憶されていてもよい。
コンテンツDB12bは、車両に発生したイベントに応じて車載装置20に提供されるコンテンツを記憶する。図3Bに示すコンテンツDB12bは、イベントID列、コンテンツID列、コンテンツデータ列、対応反応列等を含み、イベントIDに対応付けて各イベントの発生時に提供されるコンテンツに関する情報を記憶する。イベントID列は、各イベントに予め割り当てられた識別情報(イベントID)を記憶する。コンテンツID列は、各イベントに対応付けられたコンテンツに予め割り当てられた識別情報(コンテンツID)を記憶する。コンテンツIDは例えば、各イベントに対応付けられた複数のコンテンツに対してデフォルトで設定された再生順序に従ったIDを用いる。なお、コンテンツDB12bに再生順序列を設け、各コンテンツの再生順序を記憶する構成としてもよく、この場合、コンテンツIDは任意のIDを用いることができる。コンテンツデータ列は、コンテンツIDに対応するコンテンツデータを記憶する。コンテンツデータは、画像コンテンツ、音声コンテンツ、光(照明光)によるコンテンツ、振動によるコンテンツ、芳香によるコンテンツ、空調(風)によるコンテンツ、又は、これらの複数を組み合わせたコンテンツを含む。例えば画像コンテンツ及び音声コンテンツを含む動画コンテンツであってもよく、動画コンテンツに更に動画コンテンツの内容に応じた光、振動、芳香又は空調によるコンテンツが追加されたコンテンツであってもよい。光によるコンテンツは、照明光の色、強度、又は点滅速度等によって規定され、振動によるコンテンツは、振動パターン、振動の強度、又は継続時間等によって規定され、芳香によるコンテンツは、芳香の種類、強度、又は継続時間等によって規定される。また、空調によるコンテンツは、車両に設けられた空調機器から吹き出される空気(風)の温度もしくは湿度の高低、風量の多少、風向、又は継続時間等によって規定される。コンテンツデータは、コンテンツDB12bに記憶されるほかに、記憶部12の所定領域又は他の記憶装置に記憶されてもよく、この場合、コンテンツデータ列は、コンテンツデータを読み出すための情報(例えば記憶場所を示すファイル名)を記憶する。対応反応列は、各コンテンツを配信する際に適したユーザの反応に関する情報を記憶し、ユーザの反応は、ユーザの動作(ジェスチャー、姿勢又は行動)及び感情(雰囲気)を含む。コンテンツDB12bに記憶されるイベントIDは、新たなイベントが登録された場合に、制御部11によって発行されて記憶される。コンテンツDB12bに記憶されるコンテンツID、コンテンツデータ及び対応反応は、制御部11が通信部13又は入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。コンテンツDB12bの記憶内容は図3Bに示す例に限定されず、例えば各イベントの発生条件が記憶されていてもよい。また、コンテンツDB12bはユーザ毎に設定されてもよく、この場合、コンテンツDB12bにユーザID列を設け、ユーザIDに対応付けて各イベントのコンテンツが記憶される構成としてもよい。更に、ユーザ毎にコンテンツDB12bが設定される場合、コンテンツDB12bを車載装置20に記憶させてもよい。
図4は車載装置20の構成例を示すブロック図、図5は車両内部の構成例を示す模式図である。図5は後部座席側からフロントウィンドウを見たときの車内の状態を簡単に示しており、ダッシュボード、インストルメントパネル、ドア等の図示を省略している。本実施形態の車両は、フロントウィンドウの左右端にそれぞれAピラーを介してサイドウィンドウ(左サイドウィンドウ、右サイドウィンドウ)が設けられており、フロントウィンドウ及び2つのサイドウィンドウの上端を連結するようにルーフが設けられている。また図5に示す車両は、フロントウィンドウに対向して乗車者が座るように2つの前部座席が設けられており、前部座席に着座した乗車者が視認できる位置に表示部25が設けられている。なお、車両に設けられる座席は、位置を移動できるよう設置されていてもよく、例えば1つの前部座席をフロントウィンドウの真正面に配置できるように構成されていてもよい。また、進行方向の左側の座席を左サイドウィンドウに向けて、右側の座席を右サイドウィンドウに向けて配置できるように構成されていてもよい。更に、各座席が折り畳み可能に構成されていてもよく、この場合、不要な座席を折り畳んでおくことが可能となる。表示部25は、前部座席及び後部座席に着座した乗車者が視認できる位置に設けられていればよく、複数箇所に設けられていてもよい。また図5に示す車両は、フロントウィンドウ及びルーフの境界部分の中央部と、左サイドウィンドウ及びルーフの境界部分の適宜位置と、右サイドウィンドウ及びルーフの境界部分の適宜位置とにそれぞれカメラ27が設けられている。カメラ27は、前部座席及び後部座席に着座した乗車者を撮影できる位置に設けられていればよく、図5に示す位置以外の位置に設けられていてもよい。更に図5に示す車両は、フロントウィンドウ及びルーフの境界部分の適宜位置に照明部30が設けられている。照明部30は、車内の空間を発光色で彩ることができる位置に設けられていればよく、例えばルーフの適宜位置又は乗車者の足元に近い位置等に設けられていてもよい。
図5では図示しないが、本実施形態の車両には、マイク28、スピーカ29、振動を発生させる振動発生部31、芳香を発生させる芳香発生部32、及び風を発生させる空調制御部33が車内の適宜位置に設けられている。また、本実施形態の車両には、カメラ27が車内の乗車者を撮影できる位置に設けられているほかに、車外の風景を撮影できる位置にも設けられていてもよい。また、マイク28が車内の乗車者の発話音声を収集できる位置に設けられているほかに、車外の音を収集できる位置にも設けられていてもよい。また、本実施形態の車両には、車両周辺の香り(匂い)を収集する装置が車両外面の適宜位置に設けられていてもよい。なお、香りを収集する装置は車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。
図4に示すように車載装置20は、制御部21、記憶部22、通信部23、入力部24、表示部25、測位部26、カメラ27、マイク28、スピーカ29、照明部30、振動発生部31、芳香発生部32、空調制御部33、バイタルデータ取得部34等を含み、これらの各部はバスを介して相互に接続されている。車載装置20の制御部21、記憶部22、通信部23、入力部24及び表示部25のそれぞれは、サーバ10の制御部11、記憶部12、通信部13、入力部14及び表示部15と同様の構成であるので詳細な説明は省略する。車載装置20の記憶部22は、制御部21が実行する制御プログラム22Pに加え、地図データ22D及び後述するイベントDB22aを記憶している。地図データ22Dは、車両が走行する可能性のある場所の地図データであればよく、地図データを記憶している他のサーバから車両の走行に伴って逐次ダウンロードする地図データであってもよい。地図データには、地形、道路、交差点、観光地、各種の店舗、農産物の生産地、水産物の産地(水揚げした漁港)等に関する情報が含まれる。
車載装置20の入力部24は、マイク28を介した音声入力によってユーザによる操作を受け付ける構成でもよい。車載装置20の表示部25(再生部)は、液晶ディスプレイ又は有機ELディスプレイのほかに、ガラスに情報を映し出す(投影する)ヘッドアップディスプレイ、又はプロジェクタであってもよい。なお、表示部25がヘッドアップディスプレイである場合、フロントウィンドウ、リアウィンドウ及びサイドウィンドウ(車両窓)の一部の領域又は全領域に情報を映し出してもよく、ルーフがガラス又は透明な合成樹脂製の板で構成されている場合、ルーフの一部の領域又は全領域に情報を映し出してもよい。
測位部26は、車載装置20(又は車両)の現在地を検出し、現在地を示す現在地情報(例えば経度及び緯度の座標値)を取得し、取得した現在地情報を制御部21へ送出する。測位部26は、例えばGPS(Global Positioning System )衛星から送信される電波を、車載装置20又は車両に設けられたGPSアンテナ(図示せず)を介して受信し、受信した電波に基づいて現在地を検出する。なお、現在地の検出方法はGPS衛星からの電波に基づく方法に限らない。測位部26は、検出した現在地及び地図データ22Dに基づいて、検出した現在地が地図上のどこであるのか、車両が走行中の道路及び交差点を特定できる。また測位部26は、ジャイロセンサ等を有し、車両の進行方向(例えば、東西南北で示される方角)を特定できる。
カメラ27は、制御部21からの指示に従って撮影する撮像装置であり、取得した撮影画像(画像データ)を記憶部22へ送出して記憶させる。カメラ27は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部カメラの接続が可能な接続部、又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した画像データを接続部又は無線通信部を介して取得する。
マイク28は、制御部21からの指示に従って集音する集音装置であり、取得した音声データを記憶部22へ送出して記憶させる。マイク28は、車内に設けられて車内の音声を収集するマイクと、例えば車両の外面に設けられて車外の音声を収集するマイクとを有する。車内の音声は例えば車両内の乗車者が発話する音声、車両内でスピーカ29から出力される音声等を含む。車外の音声は例えば車両の周囲の物音、人声、雨音、サイレン音等を含む。マイク28は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部マイクの接続が可能な接続部、又は外部マイクとの無線通信が可能な無線通信部を備え、外部マイクが収集した音声データを接続部又は無線通信部を介して取得する。
スピーカ29(再生部)は、制御部21からの指示に従って音声出力する音声出力部であり、制御部21が指示する音声又は音楽を出力する。スピーカ29は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部スピーカの接続が可能な接続部、又は外部スピーカとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの指示に従った音声信号(音楽信号)を外部スピーカへ送出し、外部スピーカに音声又は音楽を出力させる。
照明部30は、白色、赤色、青色、緑色等のいずれかの色又は複数色の光を発するライトを有し、制御部21からの指示に従った色の光を発する。照明部30は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部ライトの接続が可能な接続部、又は外部ライトとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの発光指示を外部ライトへ送出し、外部ライトを発光させる。
振動発生部31は、例えば複数パターンの振動を発生させることができるバイブレータを有し、制御部21からの指示に従ったパターンの振動をバイブレータによって発生させる。振動発生部31は、例えば各座席に設けられており、各座席に対して同じパターンの振動を発生させるように構成されていてもよく、それぞれ異なるパターンの振動を発生させるように構成されていてもよい。振動発生部31は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部バイブレータの接続が可能な接続部、又は外部バイブレータとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの振動指示を外部バイブレータへ送出し、外部バイブレータを振動させる。
芳香発生部32は、例えば複数種類の芳香剤又はアロマオイルを貯蔵する貯蔵タンクと、貯蔵タンク内の芳香剤又はアロマオイルを放出(噴霧)する放出部とを有する芳香発生デバイスを有し、制御部21からの指示に従った芳香(香り)を芳香発生デバイスによって発生させる。芳香発生部32は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部の芳香発生デバイスの接続が可能な接続部、又は外部の芳香発生デバイスとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの芳香発生指示を外部の芳香発生デバイスへ送出し、外部の芳香発生デバイスによって芳香を発生させる。
空調制御部33は、車両内の空気の温度及び湿度等を調整する空調機器(エアーコンディショナー)から放出される空気の状態を制御する空調制御デバイスであり、制御部21からの指示に従った空気(風)を空調機器に放出させる。空調制御部33は、空調機器から放出される空気の温度、湿度、風量、風向等の空調条件を制御する。また空調機器は、例えばコンプレッサーで圧縮した圧縮空気を噴射するエアブラスト機能を有しており、空調制御部33は、空調機器から噴射される空気の風量(風力)を制御できる。バイタルデータ取得部34は、制御部21からの指示に従って乗車者のバイタルデータを取得し、取得したバイタルデータを記憶部22へ送出して記憶させる。バイタルデータは例えば体温、心拍(脈拍)、心電図、呼吸の状態等を含む。バイタルデータ取得部34は例えば、乗車者のバイタルデータを計測する計測器(図示せず)を有し、計測器によって計測されたバイタルデータを取得する。なお、計測器は、例えば車両のハンドル又はアームレスト(肘掛け)等に設けられ、ハンドルを把持する乗車者(運転者)の手、又はアームレストに載置された乗車者の手又は腕からバイタルデータを計測するように構成されていてもよい。計測器は車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。またバイタルデータ取得部34は、計測器を有する構成のほかに、計測器との通信が可能な通信器を有し、計測器が計測したバイタルデータを通信器にて取得する構成でもよい。この場合、計測器は例えば腕時計型のウェアラブルデバイスであってもよく、乗車者の手首、腕等に装着されて使用される。なお、乗車者のバイタルデータは、例えば乗車者を撮影した画像を解析して取得されてもよく、乗車者の顔画像を分析して得られる乗車者の表情を含んでいてもよい。
図6はイベントDB22aの構成例を示す模式図である。イベントDB22aは、複数のイベントのそれぞれについてイベントの発生条件を記憶する。図6に示すイベントDB22aは、イベントID列及び発生条件列等を含む。イベントID列は、各イベントの識別情報(イベントID)を記憶する。発生条件列は、それぞれのイベントが発生したとする発生条件に関する情報を記憶する。発生条件は、車内に関する条件(車内条件)と、車外に関する条件(車外条件)とを含む。車内条件は例えば車両内の乗車者の着座位置、各着座位置の乗車者の属性(性別及び年齢等)、関係性(親密度)、動作及び感情、各乗車者の着座位置の相対関係等、車内の状況に関する条件を含む。例えば前部座席に20代の男女2人が乗車していること、車両内に子供(例えば10歳以下)が乗車していること、各乗車者が喜び、悲しみ、恐怖、リラックス等の所定の感情であること等を車内条件に用いることができる。車外条件は例えば現在日時(季節、曜日、時間帯等)、天気、車両の現在地、走行速度及び走行方角、出発地及び目的地、車両周辺の景色、音及び香り(匂い)等、車外の状況に関する条件を含む。例えば所定の店舗までの距離が所定距離以内となったこと、走行場所(現在地)が所定の町内であること、平均的な走行速度が所定速度以上又は以下であること、所定季節の所定時間帯又は所定天気であること等を車外条件に用いることができる。イベントDB22aに記憶されるイベントIDは、新たなイベントの発生条件が登録される場合に、制御部21によって発行されて記憶される。イベントDB22aに記憶される発生条件は、制御部21が通信部23又は入力部24を介して追加又は変更の指示を取得した場合に、制御部21によって追加又は変更される。なお、各イベントの発生条件は、例えばサーバ10のコンテンツDB12bに一旦登録された後に、イベントIDに対応付けてサーバ10から車載装置20へ送信され、車載装置20のイベントDB22aに登録されてもよい。イベントDB22aの記憶内容は図6に示す例に限定されない。例えば各イベントに対応するコンテンツデータ及び各コンテンツを配信(再生)する際に適したユーザの反応(対応反応)が予めダウンロードされてイベントDB22aに記憶されていてもよい。また、イベントの発生条件のほかに、発生中のイベントが中断したとする中断条件に関する情報、発生中のイベントが完了したとする完了条件に関する情報、他のイベントに切り替えるための切替条件に関する情報等がイベントDB22aに記憶されていてもよい。
本実施形態では、各車両で発生したイベントの発生履歴は、サーバ10のユーザDB12aにユーザIDに対応付けて記憶される構成とする。これにより、同じユーザが異なる車両に乗車する場合であっても、サーバ10に登録してあるイベント発生履歴を考慮したコンテンツを、ユーザが乗車する車両に提供することが可能となる。このほかに、各車両で発生したイベントの発生履歴を車載装置20のイベントDB22a又は記憶部22に記憶する構成としてもよい。この場合、車載装置20は、イベント発生の有無を判定する際に、過去のイベント発生履歴を参照することが可能となる。
以下に、上述した構成の情報処理システムにおいて、車両で発生したイベントに応じたコンテンツをサーバ10が車載装置20に提供する処理について説明する。図7及び図8はコンテンツの提供処理手順の一例を示すフローチャート、図9は車外情報の取得処理手順の一例を示すフローチャート、図10は車内情報の取得処理手順の一例を示すフローチャートである。図7及び図8では左側に車載装置20が行う処理を、右側にサーバ10が行う処理をそれぞれ示す。図9に示す車外情報の取得処理は、図7中のステップS12の処理であり、図10に示す車内情報の取得処理は、図7中のステップS13の処理である。以下の処理は、車載装置20の記憶部22に記憶してある制御プログラム22Pに従って制御部21によって実現され、サーバ10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実現される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
本実施形態の情報処理システムにおいて、車載装置20は、動作を開始した場合、定期的に車両の内外の状態に関する情報(状態情報)を収集し、収集した状態情報に基づいていずれかのイベントの発生条件を満たすか否かを判断する。なお、状態情報は車両外部(車外)の状態に関する情報(車外情報)及び車両内部(車内)の状態に関する情報(車内情報)を含む。いずれかのイベントの発生条件を満たすと判断した場合、車載装置20はサーバ10に発生イベントを通知し、サーバ10は、発生イベントに対応するコンテンツを車載装置20に提供する。なお、車載装置20が動作を開始した場合とは、車両が走行を開始した場合であってもよく、車両が停車中又は駐車中であってもよい。また車両が自動走行できるように構成された自動走行車両である場合、車両が自動走行を開始した場合であってもよい。
車載装置20の制御部21は、車外情報及び車内情報を取得するタイミングが到来したか否かを判断する(S11)。制御部21は定期的に車外情報及び車内情報を取得しており、直近の取得処理の実行から所定時間が経過したか否かに応じて、実行タイミングが到来したか否かを判断する。取得タイミングが到来していないと判断した場合(S11:NO)、制御部21は他の処理を行いつつ待機する。取得タイミングが到来したと判断した場合(S11:YES)、制御部21(取得部)は、車外情報の取得処理を行う(S12)。
図9に示す車外情報の取得処理において、制御部21は、この時点での日時情報を取得する(S31)。例えば車載装置20は時計を有しており、制御部21は、時計が示す日時情報(年月日、時、分、秒、曜日)を取得する。次に制御部21は、この時点での車両(車載装置20)の位置情報(現在地情報)を測位部26によって取得し(S32)、車両の現在地情報に基づいて、車両の周辺地図を地図データ22Dから取得する(S33)。例えば制御部21は車両周囲の所定範囲内(例えば10km以内)の地図データを取得する。また制御部21は、車両の現在地の天気情報(気温、湿度、降水量、日照時間等)を取得する(S34)。例えば制御部21は、ネットワークN経由で天気情報(気象情報)を公開しているウェブサーバ(図示せず)から現在地の天気情報を取得してもよく、車両に気温、湿度、降水量、日照時間等を検知するセンサが設けてある場合、各センサから検知結果を取得してもよい。なお、制御部21は、現在の天気情報を取得してもよく、現在から所定時間後(例えば1時間後)までの天気情報を取得してもよい。
また制御部21は、車両の走行速度及び走行方向の方角を取得する(S35)。例えば制御部21は、車両に設けられている速度センサ(図示せず)が検知した速度(走行速度)を取得し、測位部26が検知した走行方向の方角を取得する。また制御部21は、車両の出発地及び目的地を取得する(S36)。例えば制御部21は、車両が走行を開始した時点で測位部26が検知した位置情報を出発地の情報として取得し、車内に設けられたナビゲーション装置に設定された目的地を車両の目的地として取得する。なお、出発地の情報は、車両が走行を開始した際に一度取得すればよく、目的地の情報は、ナビゲーション装置に目的地が設定された際に、又は目的地が変更された際に取得すればよい。また制御部21は、車外の風景を撮影できる位置に設けられたカメラ27によって車両周辺の撮影画像を取得し(S37)、車外の音を収集できる位置に設けられたマイク28によって車両周辺の音声を取得する(S38)。そして制御部21は、車両周辺の画像及び音声に基づいて、車両周辺の環境情報を取得する(S39)。例えば制御部21は、車両周辺の環境が商業施設の多い繁華街であるか、閑静な住宅街であるか、田舎の田園風景であるか、海辺であるか、山道であるか等、街並み及び人の様子等を検出する。なお、車両に香り(匂い)を収集する装置が設けられている場合、制御部21は、車両周辺の香り(匂い)を取得し、取得した香りも考慮して周辺環境を判定してもよい。制御部21は、上述した情報を含む車外情報を取得する都度、記憶部22に記憶しておく。なお、車外情報は、上述した情報のほかに、車外の状況に関する情報、車外から取得できる情報等を含んでいてもよい。
制御部21(取得部)は、図7に示す処理に戻り、車内情報の取得処理を行う(S13)。図10に示す車内情報の取得処理において、制御部21は、乗車者の着座位置を検出する(S51)。例えば車両内の各座席に着座センサが設けられている場合、制御部21は、それぞれの着座センサによる検知結果に基づいて、各座席に乗車者が着座しているか否かを判断する。また、制御部21は、車内をカメラ27で撮影し、得られた撮影画像に基づいて、各座席に乗車者が着座しているか否かを判断してもよい。この場合、ステップS52の処理後にステップS51の処理を行えばよい。
次に制御部21は、各座席に着座している乗車者をカメラ27にて撮影し、撮影画像を取得する(S52)。また制御部21は、各座席に着座している乗車者の発話音声をマイク28にて取得する(S53)。更に制御部21は、各座席に着座している乗車者のバイタルデータをバイタルデータ取得部34にて取得する(S54)。各座席に対応付けてカメラ27、マイク28及びバイタルデータ取得部34(計測器)が設けられている場合、制御部21は、それぞれのカメラ27、マイク28及びバイタルデータ取得部34によって各座席に着座している乗車者の撮影画像、発話音声及びバイタルデータを取得できる。制御部21は、各乗車者の撮影画像及び/又は発話音声に基づいて、各乗車者の属性を検出する(S55)。例えば制御部21は、テンプレートマッチング技術によって撮影画像中の乗車者の属性を検出する。具体的には、属性(性別及び年齢層)毎に、一般的な人の顔又は上半身の画像に基づくテンプレートを予め記憶部22に登録しておき、制御部21は、撮影画像からいずれかのテンプレートに一致する領域を検知した場合、検知したテンプレートに対応する属性を撮影画像中の乗車者の属性に特定する。また、属性(性別及び年齢層)毎に、一般的な人の発話音声の音声信号に基づくテンプレートを予め記憶部22に登録しておき、制御部21は、マイク28を介して取得した発話音声からいずれかのテンプレートに一致する音声信号を検知した場合、検知したテンプレートに対応する属性を、発話音声を集音した乗車者の属性に特定する。なお、制御部21は、撮影画像に基づいて特定した乗車者の属性と、発話音声に基づいて特定した乗車者の属性とを考慮して、最終的な乗車者の属性を特定してもよい。
なお、制御部21は、機械学習によって構築されたニューラルネットワークを用いて、各乗車者の撮影画像及び/又は発話音声に基づいて、各乗車者の属性を検出してもよい。例えばCNN(Convolution Neural Network)モデルで構成され、撮影画像が入力された場合に、撮影画像中の被写体(乗車者)の性別及び年齢層を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS52で取得した撮影画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、撮影画像中の乗車者の性別及び年齢層を特定することができる。また、CNNモデル、RNN(Recurrent Neural Network)モデル等で構成され、発話音声が入力された場合に、発話者(乗車者)の性別及び年齢層を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS53で取得した発話音声を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、発話音声に係る発話者の性別及び年齢層を特定することができる。ここでも、制御部21は、撮影画像に基づいて特定した乗車者の属性と、発話音声に基づいて特定した乗車者の属性とを考慮して、最終的な乗車者の属性を特定してもよい。なお、制御部21は、ステップS54で取得した各乗車者のバイタルデータも考慮して、各乗車者の属性を検出してもよい。
次に制御部21は、各乗車者の撮影画像に基づいて、各乗車者の動作を検出する(S56)。例えば制御部21は、撮影画像中の被写体(乗車者)の頭部、手、腕又は胴体等の各部を検出し、時系列の撮影画像において乗車者の各部の移動軌跡を検出する。また、乗車者が行う可能性のある各動作に対応付けて、乗車者の各部の移動軌跡を予め記憶部22に登録しておき、制御部21は、検出した乗車者の各部の移動軌跡に一致する動作を特定する。例えば制御部21は、乗車者がうなずく動作、手を振る動作、腕を回す動作等を行ったか否かを検出する。ここでも制御部21は、ニューラルネットワークを用いて撮影画像中の乗車者の動作を検出してもよい。例えばCNNモデル又はRNNモデルで構成され、撮影画像が入力された場合に、撮影画像中の被写体(乗車者)が行った動きに関する情報を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS52で取得した撮影画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、撮影画像中の乗車者の動きを特定することができる。
次に制御部21は、各乗車者の撮影画像及び/又は発話音声に基づいて、各乗車者の感情を検出する(S57)。例えば制御部21は、Microsoft社製のEmotion APIのように撮影画像から被写体の感情を検出するアプリケーションプログラムを用いて、撮影画像中の乗車者の感情を検出する。また制御部21は、乗車者の発話音声(会話音声)から乗車者の声のトーン及び強さ、話すスピード等の情報を抽出し、抽出した情報に基づいて乗車者の感情を検出する。乗車者の感情は例えば喜び、悲しみ、怒り、嫌悪、驚き、リラックス等を含み、各感情について例えば10点満点(10点が最高で0点が最低)の数値で表される。なお、制御部21は、乗車者の撮影画像及び発話音声に加えて、乗車者のバイタルデータを分析することによって乗車者の感情を検出してもよい。例えば制御部21は、乗車者のバイタルデータから心拍数又は呼吸の状態等を抽出し、抽出した情報に基づいて乗車者の感情を検出してもよい。ここでも制御部21は、ニューラルネットワークを用いて乗車者の感情を検出してもよい。例えばCNNモデルで構成され、乗車者の撮影画像及び/又は発話音声が入力された場合に、乗車者の感情に関する情報を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS52で取得した撮影画像及び/又はステップS53で取得した発話音声を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、乗車者の感情を推定することができる。また、乗車者の撮影画像及び/又は発話音声に加えてバイタルデータが入力された場合に、乗車者の感情に関する情報を出力するように学習された学習モデルを用いてもよい。乗車者は車両の走行中は着座位置を移動しない可能性が高いので、各乗車者の着座位置、各座席に着座している乗車者の属性は、例えば車両が走行を開始した際に一度取得すればよい。なお、各乗車者の着座位置及び属性も定期的に取得してもよく、この場合、車載装置20が動作中(例えば車両の走行中)に乗車者が着座位置を移動した場合であっても、各座席に着座している乗車者の属性を逐次更新できる。上述した処理により、制御部21は、車内の各座席について、乗車者の着座の有無、着座している乗車者の属性、動作及び感情等を含む車内情報を取得し、上述した車内情報を取得する都度、記憶部22に記憶しておく。なお、車内情報は、上述した情報のほかに、車内の状況に関する情報、車内で取得できる情報等を含んでいてもよい。
制御部21(判定部)は、図7に示す処理に戻り、ステップS12で取得した車外情報と、ステップS13で取得した車内情報とに基づいて、いずれかのイベントの発生条件を満たすか否かを判断する(S14)。具体的には、制御部21は、イベントDB22aに記憶してある各イベントの発生条件(車外条件又は車内条件)に対して、取得した車外情報及び車内情報が適合するか否かを判断し、いずれかのイベントの発生条件に適合する場合、このイベントの発生条件を満たすと判断する。これにより、例えば車両の現在地(位置情報)、季節、時間帯、天候、走行速度、出発地及び目的地、車両周辺の景色及び音等の車外情報、又は、乗車人数、各乗車者(ユーザ)の着座位置、属性、動作及び感情等の車内情報に基づいて、いずれかのイベントの発生条件を満たすか否かを判断できる。制御部21は、いずれのイベントの発生条件にも適合しない(イベント発生条件を満たさない)と判断した場合(S14:NO)、ステップS11の処理に戻る。制御部21は、取得タイミングが到来する都度、ステップS12~S14の処理を行い、車外情報及び車内情報を取得し、いずれかのイベントの発生条件を満たすか否かを判断する処理を繰り返す。
いずれかのイベントの発生条件を満たすと判断した場合(S14:YES)、制御部21は、イベントの発生をサーバ10に通知する(S15)。例えば制御部21は、この車両に乗車しているユーザのユーザID、車載装置20の宛先情報、発生したイベントのイベントIDを対応付けてサーバ10へ送信する。なお、ユーザID及び車載装置20の宛先情報は予め記憶部22に記憶してあってもよく、入力部24を介して入力されてもよい。サーバ10の制御部11は、車載装置20からイベントの発生を通知された場合、車載装置20から受信したユーザIDに対応付けて、このときの日時及び受信したイベントIDをイベント発生履歴としてユーザDB12aに記憶しておく。
制御部11は、車載装置20から通知されたイベント、即ち、車載装置20が搭載されている車両で発生したイベントに対応するコンテンツをコンテンツDB12bから読み出す(S16)。例えば制御部11は、イベントに対応するコンテンツのうちで、コンテンツIDが最小(最初)のコンテンツを読み出す。そして制御部11(再生処理部)は、読み出したコンテンツを車載装置20へ送信し(S17)、車載装置20に再生させる。制御部11は、車載装置20へ送信したコンテンツのコンテンツIDを、ユーザID及びイベントIDに対応付けてユーザDB12aに記憶しておく。これにより、サーバ10が車載装置20へ送信したコンテンツの送信履歴をユーザDB12aに記憶しておくことができる。なお、制御部11は、コンテンツIDに対応付けてコンテンツの送信日時をユーザDB12aに記憶しておいてもよい。
車載装置20の制御部21は、サーバ10から受信したコンテンツを再生する(S18)。例えば制御部21は、コンテンツに画像コンテンツが含まれる場合、画像コンテンツを表示部25に表示させ、コンテンツに音声コンテンツが含まれる場合、音声コンテンツをスピーカ29から音声出力させる。また制御部21は、コンテンツに光によるコンテンツが含まれる場合、光によるコンテンツに従って照明部30を点灯又は点滅させ、コンテンツに振動によるコンテンツが含まれる場合、振動によるコンテンツに従って振動発生部31にて振動を発生させる。更に制御部21は、コンテンツに芳香によるコンテンツが含まれる場合、芳香によるコンテンツに従って芳香発生部32にて芳香を発生させる。更に制御部21は、コンテンツに空調(空気、風)によるコンテンツが含まれる場合、空調によるコンテンツに従って空調制御部33によって風を発生させる。
車載装置20の制御部21は、サーバ10から受信するコンテンツの再生中においても、ステップS12,S13の処理を定期的に繰り返し、車外情報及び車内情報を収集する。よって、制御部21は、再生されたコンテンツを視聴(体感)する乗車者の動作及び感情(反応)を逐次検出できる。そして、制御部21は、コンテンツの再生中に逐次取得する乗車者の反応(動作及び感情)に基づいてユーザの反応に変化が生じたか否かを判断する(S19)。例えば制御部21は、定期的に検出する各乗車者の感情が変化したか否かを判断し、変化した場合、ユーザ(乗車者)の反応に変化が生じたと判断する。また制御部21は、各乗車者の動作が変化したか否かを判断し、変化した場合、乗車者の反応に変化が生じたと判断する。制御部21は、ユーザ(乗車者)の反応に変化が生じたと判断した場合(S19:YES)、ユーザの反応を示す反応情報をサーバ10へ送信する(S20)。例えば制御部21は、ユーザのユーザID、再生中のコンテンツのコンテンツID、ユーザの反応を示す反応情報を対応付けてサーバ10へ送信する。なお、反応情報は、変化後の反応(例えばユーザの感情又は動作)を示す情報であってもよく、変化前後の反応をそれぞれ示す情報であってもよい。ここで、各コンテンツには、反応の変化を検出すべき検出対象のユーザが設定されていてもよく、この場合、制御部21は、車両内の乗車者から、検出対象のユーザを特定し、特定したユーザの反応に変化が生じたか否かを判断してもよい。この場合、コンテンツDB12bに記憶してある各コンテンツの対応反応(配信する際に適したユーザの反応)の情報に、検出対象のユーザの情報及びこのユーザの反応を含める。検出対象のユーザの情報は例えば、年齢又は性別等を含む属性情報、着座位置、目的地(行き先)等を含んでもよい。これにより、コンテンツを視聴する乗車者のうちで、例えば子供(所定年齢以下の乗車者)、又は助手席に着座しているユーザ等、コンテンツに応じたユーザの反応を検出することができる。なお、検出対象のユーザとして複数のユーザが登録され、各ユーザに対して優先順位が設定されていてもよい。例えば、優先順位1番に助手席のユーザが設定され、優先順位2番に運転席のユーザが設定されている場合、助手席に着座するユーザがいる場合には、このユーザの反応を検出し、助手席に着座するユーザがいない場合には、運転席に着座するユーザ(運転手)の反応を検出してもよい。
サーバ10の制御部11は、車載装置20からユーザの反応情報を受信した場合、車載装置20から受信したユーザID及びコンテンツIDに対応付けて、受信した反応情報をイベント発生履歴のユーザ反応としてユーザDB12aに記憶しておく。そして制御部11は、車載装置20から受信したユーザの反応情報に基づいて、現在車載装置20へ送信中のコンテンツの送信を中止すべきか否かを判断する(S21)。例えば制御部11は、車載装置20へ送信中のコンテンツを配信する際に適したユーザの反応(対応反応)をコンテンツDB12bから読み出す。そして制御部11は、車載装置20から受信したユーザの反応が、コンテンツDB12bから読み出した対応反応に一致するか否かを判断し、一致しない場合、コンテンツの送信を中止すべきであると判断する。なお、制御部11は、車載装置20から受信したユーザの反応が、コンテンツDB12bから読み出した対応反応に一致する場合、コンテンツの送信を中止する必要はないと判断してもよい。
コンテンツの送信を中止する必要はないと判断した場合(S21:NO)、制御部11は、ステップS17の処理に戻り、車両で発生しているイベントに対応するコンテンツの車載装置20への送信を継続する。これにより、車載装置20は、サーバ10から提供されるコンテンツの再生を継続する。なお、各イベントに対応付けられている複数のコンテンツにはデフォルトで再生順序(配信順序)が設定されており、制御部11は、1つのコンテンツの送信を完了した場合、次の再生順序のコンテンツをコンテンツDB12bから読み出して車載装置20への送信を開始する。これにより、サーバ10は、ユーザの反応が各コンテンツの対応反応に一致する場合、即ち、ユーザの反応がコンテンツ配信に適した反応である場合、予め設定された再生順序で各コンテンツを車載装置20へ送信する。
コンテンツの送信を中止すべきであると判断した場合(S21:YES)、制御部11は、同じイベントに対応するコンテンツのうちで、現在のユーザの反応に適したコンテンツをコンテンツDB12bから読み出し(S22)、車載装置20へ送信する(S17)。例えば制御部11は、コンテンツDB12bに記憶してある各コンテンツの対応反応から、車載装置20から受信したユーザの反応に一致する対応反応を特定し、特定した対応反応に対応するコンテンツを、このユーザに提供すべきコンテンツとして読み出し、車載装置20へ提供する。また、制御部11は、ユーザDB12aに登録してある各コンテンツに対する過去のユーザの反応を考慮して、現在のユーザの反応に適したコンテンツを特定してもよい。よって、制御部11は、コンテンツを視聴(体験)する乗車者の反応に応じて、再生中のコンテンツの再生継続又は再生終了を制御し、再生終了した場合には次に再生すべきコンテンツを特定する処理(コンテンツ制御)を行うコンテンツ制御部として動作する。これにより、サーバ10は、ユーザの反応に応じたコンテンツを車載装置20経由でユーザに提供できる。なお、車載装置20から受信したユーザの反応に一致する対応反応に対応するコンテンツが複数ある場合、例えばコンテンツIDの順に読み出してもよい。なお、制御部11は、車載装置20に対するコンテンツの送信を開始した後、送信を開始したコンテンツのコンテンツIDを、ユーザID及びイベントIDに対応付けてユーザDB12aに記憶しておく。また制御部11は、コンテンツIDに対応付けてコンテンツの送信日時をユーザDB12aに記憶しておいてもよい。
なお、ステップS22において、制御部11は、ニューラルネットワークを用いて、ユーザの反応に適したコンテンツを特定してもよい。例えばCNNモデルで構成され、乗車者の感情、現在日時、現在地等の情報が入力された場合に、乗車者に提供すべきコンテンツに関する情報(例えばコンテンツID、コンテンツのタイプ、コンテンツの提供に適したユーザの反応)を出力するように学習された学習モデルを用いてもよい。この場合、制御部11は、車載装置20がステップS57で取得した乗車者の感情、ステップS31で取得した日時情報、ステップS32で取得した現在地情報等を取得し、これらの情報を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、乗車者に提供すべきコンテンツを特定することができる。なお、各乗車者の着座位置、属性、感情、動作等を含む車内情報と、現在日時、現在地、天気、走行速度、走行方角、目的地、車両周辺の環境等を含む車外情報とが入力された場合に、乗車者に提供すべきコンテンツに関する情報を出力するように学習された学習モデルを用いてもよい。この場合、制御部11は、車載装置20がステップS12で取得した車外情報、及びステップS13で取得した車内情報を取得し、車外情報及び車内情報を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、乗車者に提供すべきコンテンツを特定することができる。
車載装置20の制御部21は、サーバ10から送信されるコンテンツに対して、ステップS18~S20の処理を行う。即ち、制御部21は、サーバ10から受信したコンテンツを再生し(S18)、このときのユーザの反応に変化が生じたか否かを判断し(S19)、変化が生じた場合に(S19:YES)、ユーザの反応をサーバ10へ送信する(S20)。これにより、サーバ10は、1つのイベントに対応付けられている複数のコンテンツを、ユーザの反応に応じた順序で車載装置20へ提供でき、車載装置20で再生させることができる。
車載装置20の制御部21は、コンテンツの再生中にユーザの反応に変化が生じていないと判断した場合(S19:NO)、ステップS20の処理をスキップし、サーバ10から送信されてくる1つのコンテンツが終了したか否かを判断する(S23)。例えば各コンテンツは最初及び最後にそれぞれ最初又は最後を示す情報が付与されており、制御部21は、コンテンツの最後を示す情報をサーバ10から受信した場合、再生中のコンテンツが終了したと判断する。再生中のコンテンツが終了していないと判断した場合(S23:NO)、制御部21は、ステップS18の処理に戻り、サーバ10から送信されてくるコンテンツの再生を継続する。
制御部21は、再生中のコンテンツが終了したと判断した場合(S23:YES)、この時点のユーザの反応を検出し(S24)、検出した反応を示す反応情報をサーバ10へ送信する(S25)。ここでは、制御部21は、定期的に収集する車内情報に基づいて、この時点のユーザの反応(動作及び感情)を検出し、ユーザのユーザID、再生が終了したコンテンツのコンテンツID、ユーザの反応情報を対応付けてサーバ10へ送信する。サーバ10の制御部11は、車載装置20からユーザの反応情報を受信した場合、受信したユーザID及びコンテンツIDに対応付けて、受信した反応情報をイベント発生履歴のユーザ反応としてユーザDB12aに記憶しておく(S26)。
車載装置20の制御部21は、上述した一連の処理を終了すべきか否かを判断しており(S27)、終了すべきでないと判断した場合(S27:NO)、ステップS18の処理に戻る。そして、制御部21は、サーバ10から逐次送信されてくるコンテンツを受信して再生し(S18)、上述した処理を繰り返す。これにより、サーバ10は、車両で発生したイベントに対応するコンテンツであり、ユーザの反応に応じたコンテンツを車載装置20に提供することができ、車載装置20を介してユーザに提供できる。制御部21は、上述した一連の処理を終了すべきであると判断した場合(S27:YES)、処理を終了する。
上述した処理により、車載装置20が定期的に取得する車外情報及び車内情報に基づいていずれかのイベントが車両に発生したと判断された場合に、車両に発生したイベントに対応するコンテンツが車載装置20で再生される。よって、車両内のユーザ(乗車者)は車両に発生したイベントに応じたコンテンツを車載装置20で視聴(体験)することができる。例えば所定の住所に車両が進入したというイベント発生条件に対応付けて、所定の住所に関するコンテンツを登録しておくことにより、車両が所定の住所に進入した場合に、所定の住所に対応付けられているコンテンツを車載装置20に再生させることができる。具体的には、所定の場所に対応付けて、所定場所に関する画像及び音声(音楽)を含む動画コンテンツを登録しておくことにより、車両が所定の場所を走行した場合に、その場所の画像及び音楽が再生される。なお、コンテンツは、画像及び音声だけでなく、画像又は音声に応じた光(照明光)、振動、芳香又は空調によるコンテンツを含んでもよい。これにより、車両の走行場所(現在地)に応じた画像を表示することができ、音声を出力することができ、光、振動、芳香及び風を発生させることができる。なお、例えば乗車者に怒りの感情が生じたというイベント発生条件に対応付けて、空調機器から吹き出される空気(風)の温度を所定温度下げるというコンテンツを登録しておくことにより、乗車者に怒りの感情が生じた場合に、空調機器から吹き出される空気の温度を所定温度下げることができ、その結果、乗車者の怒りが鎮まる可能性が期待できる。また、車両の走行速度(イベント発生条件)に応じて空調機器から吹き出される風量を登録しておくことにより、車両の走行速度に応じた風量に制御することができ、車両の外面が受ける空気抵抗を車内で感じる(体験する)ことが可能となる。
また、交差点、橋、トンネル、高速道路等の所定場所に車両が進入したというイベント発生条件に対応付けて、所定場所に対応するコンテンツを登録しておいてもよい。この場合、車両が所定場所を走行中に、所定場所に対応付けられているコンテンツを車載装置20に再生させることができる。また、所定の店舗までの距離が所定距離以下となったというイベント発生条件に対応付けて、この店舗の広告に関するコンテンツを登録しておいてもよい。この場合、所定の店舗までの距離が所定距離以下となったときに、この店舗の広告に関するコンテンツを車載装置20に再生させることができる。また、目的地が海水浴場で目的地までの距離が所定距離以下となったというイベント発生条件に対応付けて、海水浴で使用する浮輪又はパラソル等を販売する店舗の広告、又は、浮輪やパラソル等の購入を促す広告に関するコンテンツを登録しておいてもよい。この場合、目的地の海水浴場までの距離が所定距離以下となったときに、近隣の店舗の広告、又は、浮輪やパラソル等の購入を促す広告に関するコンテンツを車載装置20に再生させることができる。また、目的地に所定場所が設定されたというイベント発生条件に対応付けて、所定場所に関するコンテンツを登録しておいてもよい。この場合、目的地に所定場所が設定されたときに、目的地に到着するまでの間、所定場所に関するコンテンツを車載装置20に再生させることができる。また、乗車者にネガティブな感情(例えば悲しみ、怒り、嫌悪等)が生じたというイベント発生条件に対応付けて、乗車者の気持ちを明るくするためのコンテンツを登録しておいてもよい。この場合、乗車者にネガティブな感情が発生したときに、乗車者の気持ちを明るくするためのコンテンツを車載装置20に再生させることができる。また、車両が走行中又は停車中であるというイベント発生条件に対応付けてそれぞれ異なるコンテンツを登録しておいてもよく、この場合、車両の状態(走行中又は停車中)に応じたコンテンツを車載装置20に再生させることができる。
また、所定の店舗までの距離が所定距離以下となったときに乗車者に喜びの感情が生じたというイベント発生条件に対応付けて、この店舗で使用できるクーポンに関するコンテンツを登録しておいてもよい。この場合、所定の店舗までの距離が所定距離以下となったときに乗車者に喜びの感情が生じていれば、この店舗のクーポンに関するコンテンツを車載装置20に再生でき、クーポンを提供することができる。このように、車両の位置情報と乗車者の感情とを組み合わせた条件をイベント発生条件に設定しておいてもよい。更に、車両周囲にコスモス畑があるというイベント発生条件、又は車両周囲でコスモスの香りがするというイベント発生条件に対応付けて、コスモスの香り(芳香)を発生させるというコンテンツを登録しておいてもよい。この場合、車両がコスモス畑の近くを走行したときに、コスモスの香り(芳香)を車載装置20の芳香発生部32にて発生させることができる。この場合、車両の窓及びドアを閉めている場合であっても、車両内のユーザが、車両外と同様の芳香を体験することが可能となる。
更に、20代の男女が前部座席に着座しており、2人に喜びの感情が生じているというイベント発生条件に対応付けて、ロマンチックなコンテンツを登録しておいてもよい。この場合、前部座席に着座している20代の男女に喜びの感情が生じたときに、ロマンチックなコンテンツを車載装置20に再生させることができる。なお、20代の男女が前部座席に着座しているというイベント発生条件と、60代の男女が前部座席に着座しているというイベント発生条件とにおいて異なるコンテンツを登録しておくことにより、年齢層に応じたコンテンツの提供が可能となる。例えば、60代の男女が前部座席に着座しているというイベント発生条件に対応付けて、60代の男女が20代の頃に流行った音楽を登録しておいてもよい。また、車両周辺で緊急車両のサイレン音が発生しているというイベント発生条件に対応付けて、緊急車両が接近していることを通知するためのコンテンツ、又は緊急車両に道路を譲ることを通知するためのコンテンツを登録しておいてもよい。この場合、緊急車両が接近してきたときに、対応するコンテンツを車載装置20に再生させることにより、緊急車両の接近を乗車者に通知できる。
また、各座席に着座する乗車者の属性に応じたコンテンツを登録しておいてもよく、この場合、各乗車者が着座する位置に応じて異なるコンテンツを再生させることが可能となる。例えば、前部座席(助手席)に大人が着座している場合と、子供が着座している場合とにおいて、前部座席から視認可能な表示部25に表示される画像コンテンツを異ならせることが可能である。また、表示部25が複数設けられている場合、1人の乗車者が前部座席に着座している場合と、後部座席に着座している場合とにおいて、この乗車者に提供する画像コンテンツをこの乗車者が視認可能な表示部25に表示させることが可能である。
上述したように、本実施形態では、車内情報及び車外情報を組み合わせて設定された発生条件に基づいて、車両にいずれのイベントが発生しているかが判断され、車両に発生したイベントに応じたコンテンツを車載装置20にて再生することができる。よって、車両の走行場所(現在地)、季節、時間帯、天候、乗車人数、各乗車者の属性、着座位置及び感情等に基づくイベント発生条件を設定しておくことにより、車両に発生したイベントに応じて異なるコンテンツを再生させることができる。なお、各イベントに対応するコンテンツは、ユーザ毎に登録しておいてもよく、この場合、同様のイベントが発生した場合であっても、ユーザ毎に異なるコンテンツを再生させることが可能となる。また、各イベントの発生条件はユーザ毎に登録しておいてもよく、この場合、ユーザ毎に異なる条件でイベント発生の有無を判断できる。
本実施形態では、車載装置20は、サーバ10から提供されるコンテンツの再生中にユーザの反応を検出しており、ユーザの反応に応じて再生対象のコンテンツを適宜切り替えることができる。例えば、コンテンツを視聴するユーザの感情がリラックスから嫌悪に変化した場合、サーバ10は、車載装置20に提供中のコンテンツの送信を停止し、異なるコンテンツの送信を開始する。また、コンテンツを視聴するユーザに恐怖の感情が生じた場合に、サーバ10は、異なるコンテンツの送信を開始することにより、乗車者に恐怖を感じさせないコンテンツに切り替えることが可能となる。なお、各コンテンツを送信する際に適したユーザの反応がサーバ10(コンテンツDB12b)に登録してあり、サーバ10は、コンテンツDB12bの登録内容と、ユーザの現時点での反応とに基づいて、ユーザに提供すべきコンテンツを適切に選択できる。これにより、コンテンツを視聴するユーザ(車両の乗車者)の反応(感情及び行動)に応じたコンテンツを提供することができる。なお、ユーザの反応は、身体的な反応(ジェスチャー又は行動)であってもよく、精神的な反応(感情)であってもよい。
本実施形態では、画像、音声、光(照明光)、振動、芳香又は空調等によるコンテンツを車載装置20にて出力(再生)することにより、車両内の乗車者を楽しませ、また、怒りや興奮等のネガティブな感情の平常化を促すことが期待できる。即ち、コンテンツによって、車両内の乗車者の感情に変化を起こさせることが可能となる。本実施形態では、各コンテンツの再生中又は再生終了時に、ユーザの反応(感情及び行動等)をユーザ毎にサーバ10(ユーザDB12a)に登録しておく。これにより、次回以降にユーザが車両を利用する際に、ユーザの過去の反応を考慮したコンテンツの提供が可能となる。
本実施形態において、車両で発生したイベントに応じたコンテンツの提供処理は、図7及び図8に示す処理に限定されない。例えば、車載装置20が搭載された車両の車種に応じたコンテンツが提供される構成とすることもできる。この場合、サーバ10の記憶部12は、車種毎のコンテンツDB12を記憶している。なお、図3Bに示すコンテンツDB12bに車種情報(車種ID)列を設け、車種情報(車種ID)に対応付けて、各イベントのコンテンツデータが記憶される構成でもよい。また車載装置20の記憶部22には、車載装置20が搭載されている車両の車種情報(車種ID)が登録(記憶)されている。図11は、コンテンツの提供処理手順の他の例を示すフローチャートである。図11に示す処理は、図7及び図8に示す処理において、ステップS14のYESとステップS15との間にステップS161を追加したものである。なお、図11では、図8中の各ステップの図示を省略する。図11に示す処理では、車載装置20の制御部21は、いずれかのイベントの発生条件を満たすと判断した場合(S14:YES)、記憶部22に記憶してある車種情報を読み出す(S161)。そして、制御部21は、乗車者(ユーザ)のユーザID、車載装置20の宛先情報、及び発生したイベントのイベントIDと、車種情報とを対応付けてサーバ10へ送信することにより、イベントの発生をサーバ10に通知する(S15)。サーバ10の制御部11は、車載装置20から受信した車種情報に対応するコンテンツDB12bから、車載装置20から通知されたイベントに対応するコンテンツを読み出し(S16)、車載装置20へ送信する(S17)。図11に示す処理によれば、サーバ10は、車両の車種に応じたコンテンツの提供が可能となる。よって、同じイベントが発生した場合であっても、車種に応じて異なるコンテンツの提供が可能となる。なお、車種情報は、予め記憶部22に記憶されている構成に限定されず、例えば入力部24を介したユーザ操作によって取得されてもよく、車両に搭載された他の車載機器から取得されてもよい。
本実施形態の車載装置20による車内情報の取得処理において、乗車者の撮影画像、発話音声又はバイタルデータに基づいて乗車者の属性、動作及び感情を検出する処理を、例えば他のサーバで行う構成としてもよい。この場合、車載装置20は、乗車者の撮影画像、発話音声又はバイタルデータを取得する都度、他のサーバへ送信し、他のサーバが乗車者の撮影画像、発話音声又はバイタルデータに基づいて乗車者の属性、動作及び感情を検出する。そして、車載装置20は、他のサーバで検出された乗車者の属性、動作及び感情を取得する。このような構成の場合、車載装置20における処理負担を軽減することができる。
本実施形態では、車両に発生したイベントに対応するコンテンツをサーバ10から車載装置20へ提供する構成であるが、この構成に限定されない。例えばイベント毎にコンテンツを分類せずに、複数のコンテンツの中から、車両の乗車者の反応に応じたコンテンツをサーバ10から車載装置20へ提供する構成としてもよい。例えば各コンテンツを提供する際に最適な乗車者の感情毎にコンテンツを用意しておき、車両にいずれのイベントが発生したか否かの判断は行わずに、サーバ10は、車載装置20から通知される乗車者の反応に応じたコンテンツを車載装置20へ提供する。この場合でも、乗車者の反応に応じたコンテンツを適宜切り替えて乗車者に提供できる。
(実施形態2)
車両のウィンドウに設けられた表示部25(ディスプレイ)で画像コンテンツを再生する情報処理システムについて説明する。本実施形態の情報処理システムでは、車載装置20の表示部25は、透明なウィンドウにコンテンツを投影するヘッドアップディスプレイ、又は、ウィンドウのガラスと一体に構成されたディスプレイである。よって、本実施形態の車載装置20では、車内の乗車者は、ウィンドウを通して視認できる車外の風景の上に、表示部25に表示される画像コンテンツが重ねて表示された状態を見ることができる。なお、表示部25が設けられるウィンドウは、フロントウィンドウ、リアウィンドウ及びサイドウィンドウのいずれであってもよく、ルーフがガラス又は透明な合成樹脂製の板で構成されている場合、ルーフにも表示部25が設けられていてもよい。
本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ10の記憶部12に記憶してあるコンテンツDB12bは、実施形態1のコンテンツDB12bの構成と若干異なる。図12は実施形態2のコンテンツDB12bの構成例を示す模式図である。図12に示すコンテンツDB12bは、図3Bに示す実施形態1のコンテンツDB12bの構成に加えて、重ね合わせ条件列を含む。重ね合わせ条件列は、コンテンツIDに対応付けて、各コンテンツを表示部25に表示させて車外の景色に重ね合わせる際の条件に関する情報を記憶し、例えば、コンテンツを重ねて表示させるべき店舗又は建物の情報、景色の情報(山道、海辺、ビル等の街並みの情報)、住所等を記憶する。なお、車外の景色に重ねて表示する必要がないコンテンツについては、重ね合わせ条件は登録されていなくてもよい。重ね合わせ条件は、制御部11が通信部13又は入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。本実施形態のコンテンツDB12bの記憶内容は図12に示す例に限定されない。
本実施形態の情報処理システムにおいて、サーバ10及び車載装置20は、図7~10に示す処理と同様の処理を実行する。これにより、車載装置20は、車外情報及び車内情報に基づいてイベント発生の有無を検出し、いずれかのイベントが発生した場合、発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。本実施形態の情報処理システムでは、画像コンテンツが、ウィンドウから車外を見た景色に重ね合わせて表示されるので、車載装置20は、画像コンテンツを表示部25に表示する際に、画像コンテンツの表示位置を特定する必要がある。
図13は、画像コンテンツの表示処理手順の一例を示すフローチャート、図14は画像コンテンツの表示例を示す模式図である。図13に示す処理は、車載装置20の制御部21が、例えば図8中のステップS18でサーバ10から受信した画像コンテンツを表示部25に表示させる際に実行するものである。本実施形態の情報処理システムにおいて、車載装置20の制御部21は、サーバ10から画像コンテンツを受信したか否かを判断しており(S61)、受信していないと判断した場合(S61:NO)、受信するまで待機する。なお、制御部21は、画像コンテンツ以外のコンテンツ、例えば音声コンテンツ、光、振動、芳香又は空調によるコンテンツをサーバ10から受信した場合、スピーカ29、照明部30、振動発生部31、芳香発生部32、空調制御部33にてそれぞれコンテンツの再生を行う。
制御部21は、画像コンテンツを受信したと判断した場合(S61:YES)、受信した画像コンテンツに重ね合わせ条件が設定されているか否かを判断する(S62)。なお、本実施形態では、サーバ10の制御部11は、イベントに対応するコンテンツ又はユーザの反応に応じたコンテンツを車載装置20へ送信する際に、コンテンツに設定されている重ね合わせ条件をコンテンツと共に送信する。よって、制御部21は、画像コンテンツと共に重ね合わせ条件を受信したか否かに応じて、受信した画像コンテンツに重ね合わせ条件が設定されているか否かを判断できる。重ね合わせ条件が設定されていないと判断した場合(S62:NO)、制御部21は、ステップS68に処理を移行し、受信した画像コンテンツを表示部25に表示する(S68)。このとき制御部21は、表示部25に対してデフォルトで設定されている表示領域に画像コンテンツを表示してもよい。
重ね合わせ条件が設定されていると判断した場合(S62:YES)、制御部21は、車両の現在地の周辺の地図データを地図データ22Dから読み出す(S63)。例えば制御部21は、車両の前方の数10kmの範囲内の地図データを読み出す。そして制御部21は、地図データに含まれる建物、店舗等のオブジェクトに、重ね合わせ条件に合致するオブジェクトが存在するか否かを判断する(S64)。例えば重ね合わせ条件として所定の店舗(例えば所定のコンビニエンスストア)が設定されている場合、制御部21は、地図データに所定の店舗(所定のコンビニエンスストア)が含まれるか否かを判断する。また、重ね合わせ条件として山道、海辺等の所定の景色(風景)が設定されている場合、制御部21は、地図データに所定の景色が含まれるか否かを判断する。重ね合わせ条件に合致するオブジェクトが存在しないと判断した場合(S64:NO)、制御部21は、ステップS61の処理に戻り、サーバ10から順次受信する画像コンテンツに対して、ステップS62~S64の処理を行う。なお、本実施形態では、地図データ中のオブジェクトに重ね合わせ条件に合致するオブジェクトが存在するか否かを判断するが、この構成に限定されない。例えば車載装置20は、カメラ27で車外の景色を撮影した景色画像に基づいて、景色画像中に重ね合わせ条件に合致するオブジェクトが存在するか否かを判断してもよい。具体的には、重ね合わせ条件に合致するオブジェクトが所定のコンビニエンスストアである場合、車載装置20は、カメラ27で撮影した景色画像中に所定のコンビニエンスストアの看板が含まれるか否かを検出し、検出できた場合、景色画像中に重ね合わせ条件に合致するオブジェクトが存在すると判断してもよい。この場合、地図データ中に載っていないオブジェクトについても、重ね合わせ条件に合致するオブジェクトの特定が可能となる。
重ね合わせ条件に合致するオブジェクトが存在すると判断した場合(S64:YES)、制御部21は、カメラ27にて車外の景色を撮影する(S65)。ここでは、画像コンテンツを表示させる表示部25が設けられたウィンドウを介して車内の乗車者が車外を見た場合の景色と同等の景色を撮影する。具体的には、前部座席(運転席又は助手席)に着座している乗車者がフロントウィンドウを介して車外を見た場合と同等の景色、後部座席に着座している乗車者がサイドウィンドウを介して車外を見た場合と同等の景色等を撮影する。なお、カメラ27は、車内の各座席の乗車者が各ウィンドウを介して車外を見た場合と同等の景色を撮影できる位置にそれぞれ設けられている。
制御部21は、撮影した車両周辺の景色画像中に含まれるオブジェクトから、重ね合わせ条件に合致するオブジェクトを特定する(S66)。このとき制御部21は、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付けることにより、景色画像中の重ね合わせ条件に合致するオブジェクトを特定する。なお、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付ける場合、制御部21は、例えば景色画像中に、地図データ中の各オブジェクトを示す情報(例えば所定の店舗の看板)を検出し、検出した情報に対して地図データ中の各オブジェクトを対応付ける。制御部21は、特定した重ね合わせ条件に合致するオブジェクトの景色画像中の位置に基づいて、表示部25の表示領域に対して画像コンテンツを表示すべき位置を特定する(S67)。ここでは制御部21は、それぞれのウィンドウを介して車外を見た場合と同等の景色画像に対して画像コンテンツを重ねて表示すべき位置を特定する。そして制御部21は、重ね合わせ条件に合致するオブジェクトが景色画像に含まれるウィンドウに設けられた表示部25に対して、特定した表示位置に画像コンテンツを表示する(S68)。
図14Aは前部座席からフロントウィンドウ越しに車外を見た場合の景色を示し、図14Bは図14Aの景色に3つの画像コンテンツCが重ねて表示された状態を示す。図14Bに示す例は、所定の店舗で販売されている商品(浮輪又はビーチサンダル)を示す画像コンテンツCに対して、重ね合わせ条件として所定の店舗が設定されている場合の表示例である。この場合、前部座席からフロントウィンドウ越しに車外を見た場合の景色に対して、景色中の所定の店舗に重なる位置に、商品(浮輪又はビーチサンダル)を示す画像コンテンツCが表示されている。また、図14Bに示す例では、「海水浴グッズを買って行きませんか?」のメッセージを表示するための画像コンテンツCに対して重ね合わせ条件が設定されていない場合の表示例であり、このメッセージの画像コンテンツは適宜位置に表示される。図14Bでは表示領域の左上の位置に表示されているが、表示位置はこれに限定されない。このようにウィンドウ越しに視認できる景色に対して画像コンテンツCを重ねて表示させることにより、景色中の各オブジェクトに関する情報を画像コンテンツCによって乗車者に提供することが可能となる。
制御部21は、サーバ10から画像コンテンツを受信する都度、上述した処理を行い、表示部25の適宜位置に画像コンテンツを表示させる。上述した処理により、車載装置20は、車両のウィンドウに設けられた表示部25に画像コンテンツを表示させることができ、その際に、ウィンドウ越しに見える景色に重ねて適切な位置に画像コンテンツを表示させることができる。よって、乗車者は、ウィンドウ越しに景色を確認すると共に、景色中の各オブジェクトに関する情報を画像コンテンツにて提供を受けることができる。また、本実施形態では、目的地に所定場所が設定されたというイベント発生条件に対応付けて、所定場所に関するコンテンツを登録しておいた場合、目的地に所定場所が設定されたときに、目的地に到着するまでの間、所定場所に関するコンテンツを車載装置20に再生させることができる。このとき、車載装置20は、ウィンドウ越しに見える景色において、車両から所定場所を結ぶ方向に対応する位置に画像コンテンツを表示させてもよい。この場合、乗車者は目的地の方向を認識しつつ車両での移動を楽しむことが可能となる。なお、本実施形態においても、車両に発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。また、車内で再生されるコンテンツに対する乗車者の反応に応じて、サーバ10から提供されるコンテンツが適宜変更されるので、乗車者の反応に適したコンテンツの提供が可能となる。なお、車両のウィンドウに設けられた表示部25に画像コンテンツを表示させる場合、ウィンドウ越しに視認できる景色に重ねて表示する必要はない。例えば車両の運転の邪魔にならない領域に画像コンテンツを表示させればよく、画像コンテンツを表示させる領域が予め設定されていてもよい。
本実施形態においても実施形態1と同様の効果が得られる。また本実施形態では、車両のウィンドウに設けられた表示部25に画像コンテンツを表示する際に、ウィンドウ越しに視認される景色中の各オブジェクトに対応付けて表示することが可能である。よって、乗車者はウィンドウ越しに景色を視認すると共に、景色中の各オブジェクトに関する情報を画像コンテンツにて得ることが可能となる。また、本実施形態の情報処理システムにおいても、実施形態1で適宜説明した変形例の適用が可能である。なお、本実施形態において、車載装置20は、車両のウィンドウに設けられた表示部25に画像コンテンツを表示する際に、画像コンテンツの透過性(透過率)を上昇させて表示するように構成されていてもよく、画像コンテンツを間欠的に表示するように構成されていてもよい。このような構成とした場合、特にフロントウィンドウに設けられた表示部25に画像コンテンツを表示する場合であっても、画像コンテンツが車両の運転の妨げとならないように表示することが可能となる。例えば、車載装置20は、画像コンテンツの透過率を所定値(例えば50%)以上に設定して表示する構成であってもよく、数十秒毎に数秒間だけ画像コンテンツを表示する構成であってもよい。また、車両のそれぞれのウィンドウに設けられた表示部25に対して、画像コンテンツが表示される表示領域が固定されていてもよく、ウィンドウに対する画像コンテンツの表示領域の割合が所定値以下に制限されていてもよい。
(実施形態3)
車両のフロントウィンドウ、リアウィンドウ、左右のサイドウィンドウ、及びルーフに表示部25(ディスプレイ)が設けられている情報処理システムについて説明する。本実施形態においても、車内の乗車者は、ウィンドウを通して視認できる車外の風景の上に、表示部25に表示される画像コンテンツが重ねて表示された状態を見る。本実施形態の情報処理システムは、実施形態2の情報処理システムと同様の装置にて実現可能であるので、構成についての詳細な説明は省略する。
図15は実施形態3の車載装置20の構成例を示すブロック図である。本実施形態の車載装置20は、図4に示す実施形態1の車載装置20と同様の構成を有している。本実施形態の車載装置20において、表示部25は、フロントウィンドウに設けられたフロントディスプレイ25a、リアウィンドウに設けられたリアディスプレイ25b、左サイドウィンドウに設けられた左サイドディスプレイ25c、右サイドウィンドウに設けられた右サイドディスプレイ25d、及びルーフに設けられたルーフディスプレイ25eを含む。
また、本実施形態の車載装置20において、カメラ27は、車内の乗車者を撮影するための車内用カメラ27aと、車両の周囲(車外)の景色を撮影するための車外用カメラ27bとを含む。車内用カメラ27aは、それぞれの座席に着座している乗車者を撮影できる位置にそれぞれ設けられていてもよく、複数の座席に着座している複数の乗車者を1つのカメラで撮影するように構成されていてもよい。車外用カメラ27bは、車両の前後、左右及び上方の全方向を撮影できるカメラであり、例えば車両の前方を撮影するための前方カメラ、車両の後方を撮影するための後方カメラ、車両の左側を撮影するための左側カメラ、車両の右側を撮影するための右側カメラ、車両の上方を撮影するための上方カメラを有していてもよい。また、車外用カメラ27bは、全方位カメラ(360度カメラ)で構成されていてもよく、全方位カメラは例えば車両の屋根の上に設けられていてもよい。
本実施形態の情報処理システムにおいて、サーバ10及び車載装置20は、図7~10に示す処理と同様の処理を実行する。これにより、車載装置20は、車外情報及び車内情報に基づいてイベント発生の有無を検出し、いずれかのイベントが発生した場合、発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。なお、本実施形態の情報処理システムでは、画像コンテンツは、フロントディスプレイ25a、リアディスプレイ25b、サイドディスプレイ25c,25d又はルーフディスプレイ25eのいずれか又は複数に表示され、それぞれのウィンドウから車外を見た景色に重ね合わせて画像コンテンツが表示される。本実施形態において、画像コンテンツの表示処理は、図13で示す実施形態2とは異なるので、異なる箇所のみ説明する。
図16は実施形態3の画像コンテンツの表示処理手順の一例を示すフローチャート、図17は画像コンテンツの表示例を示す模式図である。図16に示す処理は、図13に示す処理において、ステップS65~S67の代わりにステップS71~S75を追加したものである。また、図16に示す処理も、車載装置20の制御部21が、例えば図8中のステップS18でサーバ10から受信した画像コンテンツを表示部25で再生する際に実行するものである。
本実施形態の情報処理システムにおいて、車載装置20の制御部21は、図13に示したステップS61~S64の処理を行う。これにより、制御部21は、サーバ10から画像コンテンツを受信した場合に、画像コンテンツに重ね合わせ条件が設定されていなければ、画像コンテンツを所定の表示領域に表示する(S68)。なお、所定の表示領域は、例えばフロントディスプレイ25aの助手席側の領域であってもよく、その他のディスプレイ25b~25eの適宜の領域であってもよい。一方、画像コンテンツに重ね合わせ条件が設定されていれば、制御部21は、車両周辺の地図データ中に、重ね合わせ条件に合致するオブジェクトが存在するか否かを判断する。
地図データ中に重ね合わせ条件に合致するオブジェクトが存在すると判断した場合(S64:YES)、制御部21は、カメラ27にて車両周囲の景色を撮影する(S71)。ここでは、制御部21は、車両の前後及び左右の全方位の景色を撮影する。そして制御部21は、撮影した車両周囲の全方位の景色画像中に含まれるオブジェクトから、重ね合わせ条件に合致するオブジェクト(合致オブジェクト)を特定する(S72)。このとき制御部21は、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付けることにより、景色画像中の合致オブジェクトを特定する。なお、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付ける場合、制御部21は、例えば景色画像中に、地図データ中の各オブジェクトを示す情報(例えば所定の店舗の看板)を検出し、検出した情報に対して地図データ中の各オブジェクトを対応付ける。次に制御部21は、特定した合致オブジェクトの景色画像中の位置に基づいて、画像コンテンツを表示すべきディスプレイ25a~25eを特定する(S73)。例えば制御部21は、特定した合致オブジェクトが車両の前方を撮影した前方画像に含まれる場合、画像コンテンツを表示すべきディスプレイとしてフロントディスプレイ25aを特定する。なお、カメラ27が車両の全方位を撮影する全方位カメラである場合、制御部21は、例えば車両内の所定位置(例えば運転席)と景色画像中の合致オブジェクトとを結んだ場合に介在するウィンドウを特定し、特定したウィンドウに設けられているディスプレイを、表示対象のディスプレイに特定する。
制御部21は、特定したディスプレイの表示領域に対して画像コンテンツを表示すべき位置を特定する(S74)。ここでは制御部21は、特定したディスプレイの表示領域において、合致オブジェクトを視認できるウィンドウを介して車外を見た場合と同等の景色画像に対して画像コンテンツを重ねて表示すべき位置を特定する。そして制御部21は、特定したディスプレイ(表示部25)に対して、特定した表示位置に画像コンテンツを表示する(S75)。図17Aの上側は車内からフロントディスプレイ25a越しに車外を見た状態を示しており、下側は車内から左サイドディスプレイ25c越しに車外を見た状態を示している。図17Aに示す例では、車両の前方に画像コンテンツを重ねて表示すべきオブジェクトが存在しており、2つのオブジェクト(建物、店舗)に画像コンテンツCが重なるように表示されている。一方、車両の左側には画像コンテンツを重ねて表示すべきオブジェクトは存在しないので、左サイドディスプレイ25cには画像コンテンツは表示されていない。
ステップS75の処理後、制御部21は、ステップS71の処理に戻り、ステップS71~S75の処理を繰り返す。具体的には、制御部21は、車両周囲の景色を撮影し、景色画像中に、重ね合わせ条件に合致するオブジェクトを特定し、特定したオブジェクトに画像コンテンツを重ねて表示できるディスプレイ(ウィンドウ)及び表示位置を特定し、特定したディスプレイ及び表示位置に画像コンテンツを表示する。図17Bの上側は車内からフロントディスプレイ25a越しに車外を見た状態を示しており、下側は車内から左サイドディスプレイ25c越しに車外を見た状態を示している。図17Bに示す例は、図17Aの状態から車両が前進することにより周囲の景色が変わった状態を示している。図17Bに示す例では、車両の前方には画像コンテンツを重ねて表示すべきオブジェクトは存在しないので、フロントディスプレイ25aには画像コンテンツは表示されていない。一方、車両の左側には画像コンテンツを重ねて表示すべきオブジェクトが存在しており、2つのオブジェクト(建物、店舗)に画像コンテンツCが重なるように表示されている。
制御部21は、ステップS72で、景色画像中に、重ね合わせ条件に合致するオブジェクトを特定できなくなるまで、上述した処理を繰り返す。これにより、サーバ10から受信した画像コンテンツを、ディスプレイ(ウィンドウ)越しに視認できる景色に重ねて表示させることができ、景色中の各オブジェクトに関する情報を画像コンテンツCによって乗車者に提供することができる。制御部21は、サーバ10から画像コンテンツを受信する都度、上述した処理を行い、いずれかのディスプレイ25a~25eの適宜位置に画像コンテンツを表示させる。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、サーバ10から受信した画像コンテンツが、この画像コンテンツを重ねて表示すべきオブジェクト(建物、店舗等)に対応するディスプレイ(ウィンドウ)及び位置に表示される。よって、乗車者は、ディスプレイ(ウィンドウ)越しに視認できる景色中のオブジェクトに関する情報を画像コンテンツにて提供を受けることができる。本実施形態においても、車両に発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。また、車内で再生されるコンテンツに対する乗車者の反応に応じて、サーバ10から提供されるコンテンツが適宜変更されるので、乗車者の反応に適したコンテンツの提供が可能となる。また、本実施形態の情報処理システムにおいても、上述した各実施形態で適宜説明した変形例の適用が可能である。
上述した実施形態2,3のように車両の複数ウィンドウに表示部25(ディスプレイ)が設けられている構成において、走行中、停車中又は駐車中等の車両の走行状態、車両の走行速度、自動走行が可能な車両の場合には自動運転機能による自動走行中(自動運転中)であるか否かに応じて、画像コンテンツを表示するディスプレイを切り替えるように構成されていてもよい。例えば車両が走行中である場合にはサイドウィンドウに設けられたディスプレイのみを画像コンテンツの表示対象とし、車両が駐車中である場合には全てのウィンドウに設けられたディスプレイを表示対象とするように、表示対象のディスプレイを切り替えてもよい。このような構成とした場合、車両走行時には運転者の運転を阻害せずに画像コンテンツを表示させることができ、駐車時には全てのディスプレイを用いた画像コンテンツの再生が可能となる。
(実施形態4)
各イベントの発生条件及びコンテンツがユーザ毎に設定されて車載装置20に登録してある情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態の車載装置20の記憶部22に記憶してあるイベントDBは、実施形態1のイベントDB22aの構成と異なる。
図18は実施形態4のイベントDBの構成例を示す模式図である。図18に示すイベントDB22bは、図6に示す実施形態1のイベントDB22aの構成に加えて、コンテンツID列、コンテンツデータ列及び対応反応列を含む。コンテンツID列、コンテンツデータ列及び対応反応列のそれぞれは、図3Bに示すようにサーバ10の記憶部12に記憶してあるコンテンツDB12bにおけるコンテンツID列、コンテンツデータ列及び対応反応列と同様の情報を記憶する。即ち、コンテンツID列は、各イベントに対応付けられたコンテンツの識別情報(コンテンツID)を記憶し、コンテンツデータ列は、コンテンツIDに対応するコンテンツデータを記憶し、対応反応列は、各コンテンツを配信する際に適したユーザの反応に関する情報を記憶する。なお、コンテンツデータは、イベントDB22bに記憶されるほかに、記憶部22の所定領域又は他の記憶装置に記憶されてもよく、この場合、コンテンツデータ列は、コンテンツデータを読み出すための情報(例えば記憶場所を示すファイル名)を記憶する。イベントDB22bに記憶されるコンテンツID、コンテンツデータ及び対応反応は、制御部21が例えば入力部24又は通信部23を介して追加又は変更の指示を取得した場合に、制御部21によって追加又は変更される。イベントDB22bの記憶内容は図18に示す例に限定されない。なお、本実施形態では、図18に示すイベントDB22bが車載装置20に記憶してある構成とするが、ユーザ毎に生成されたイベントDB22bをサーバ10に記憶しておく構成でもよい。この場合、車載装置20が収集した車外情報及び車内情報をサーバ10へ出力し、サーバ10がイベント発生の有無を検出し、発生したイベントに対応するコンテンツを車載装置20へ送信する処理を行う。
本実施形態の情報処理システムでは、車載装置20が、イベントDB22bの登録内容に基づいて、車外情報及び車内情報からイベント発生の有無を検出し、イベントが発生した場合に、対応するコンテンツを再生させる。よって、例えば図18に示すように、「男女2人が乗車、険悪な雰囲気」という発生条件に対応付けて、険悪な雰囲気が解消できるコンテンツを登録しておくことにより、男女2人が乗車しており険悪な雰囲気である場合に、対応するコンテンツを再生させることで、険悪な雰囲気の解消が期待される。また、「乗車者に子供が含まれる」という発生条件に対応付けて、子供用のコンテンツを登録しておくことにより、子供が乗車した場合に、再生対象のコンテンツを選択する操作を行うことなく、子供用のコンテンツを再生させることができる。このようにユーザに応じたイベントを登録しておくことにより、ユーザ独自のイベント発生条件に基づくコンテンツの再生が可能となる。本実施形態においても、車載装置20が再生するコンテンツは、画像コンテンツ、音声コンテンツ、光(照明光)によるコンテンツ、振動によるコンテンツ、芳香によるコンテンツ、空調によるコンテンツ、又は、これらの複数を組み合わせたコンテンツを含んでもよい。
以下に、上述した構成の情報処理システムにおいて、車載装置20が車両で発生したイベントに応じたコンテンツを再生する処理について説明する。図19は実施形態4のコンテンツ再生処理手順の一例を示すフローチャートである。図19に示す処理は、図7及び図8に示す処理においてステップS15~S27の代わりにステップS81~S90を追加したものである。図7と同じステップについては説明を省略する。
車載装置20の制御部21は、図7に示したステップS11~S14の処理を行う。これにより、制御部21は、所定のタイミングで車外情報及び車内情報を取得し、取得した車外情報及び車内情報に基づいて、いずれかのイベントの発生条件を満たすか否かを判断する。即ち、制御部21は、車両にいずれかのイベントが発生しているか否かを判断する。いずれかのイベントの発生条件を満たすと判断した場合(S14:YES)、制御部21は、発生したイベントに対応するコンテンツをイベントDB22bから読み出す(S81)。例えば制御部21は、イベントに対応するコンテンツのうちで、コンテンツIDが最小(最初)のコンテンツを読み出す。なお、制御部21は、イベントの発生を検出した場合、発生したイベントのイベントIDに対応付けて、このときの日時をイベント発生履歴としてイベントDB22bに記憶しておいてもよい。また、制御部21は、イベントDB22bから読み出したコンテンツのコンテンツIDに対応付けて、このときの日時をコンテンツの再生履歴としてイベントDB22bに記憶しておいてもよい。
制御部21は、読み出したコンテンツを再生する(S82)。例えば制御部21は、コンテンツに画像コンテンツが含まれる場合、画像コンテンツを表示部25にて再生し、コンテンツに音声コンテンツが含まれる場合、音声コンテンツをスピーカ29にて再生する。また制御部21は、コンテンツに光によるコンテンツが含まれる場合、照明部30によって光を出力し、コンテンツに振動によるコンテンツが含まれる場合、振動発生部31によって振動を発生させる。また制御部21は、コンテンツに芳香によるコンテンツが含まれる場合、芳香発生部32によって芳香を発生させ、コンテンツに空調によるコンテンツが含まれる場合、空調制御部33によって風を発生させる。これにより、車載装置20は、予め登録してあるイベントのいずれかが発生した場合に、発生したイベントに応じたコンテンツを車内で再生させることができる。よって、例えば車内が険悪な雰囲気であるというイベントが発生した場合に、険悪な雰囲気が解消されるような画像、音声(音楽)、光、振動、芳香、空調(風)等を出力することで、険悪な雰囲気の解消が期待される。
また制御部21は、コンテンツの再生中においても、ステップS12,S13の処理を定期的に繰り返し、車外情報及び車内情報を収集する。即ち、制御部21は、コンテンツを視聴(体感)する乗車者の反応(動作及び感情)を逐次取得し、逐次取得する乗車者の反応に基づいてユーザの反応に変化が生じたか否かを判断する(S83)。ここでも、コンテンツに対して、反応の変化を検出すべき検出対象のユーザが設定されている場合、制御部21は、乗車者の中から検出対象のユーザを特定し、特定した検出対象のユーザの反応に変化が生じたか否かを判断してもよい。制御部21は、ユーザ(乗車者)の反応に変化が生じたと判断した場合(S83:YES)、変化後のユーザの反応に基づいて、再生中のコンテンツの再生を中止すべきか否かを判断する(S84)。例えば制御部21は、再生中のコンテンツに対応するユーザの反応(対応反応)をイベントDB22bから読み出し、変化後のユーザの反応が、読み出した対応反応に一致しない場合、コンテンツの再生を中止すべきであると判断する。
コンテンツの再生を中止すべきであると判断した場合(S84:YES)、制御部21は、同じイベントに対応するコンテンツのうちで、現在のユーザの反応に適したコンテンツをイベントDB22bから読み出し(S85)、読み出したコンテンツを再生する(S86)。よって、制御部21は、コンテンツを視聴(体験)する乗車者の反応に応じて、再生中のコンテンツの再生継続又は再生終了を制御し、再生終了した場合には次に再生すべきコンテンツを特定する処理を行い、コンテンツを適宜切り替えて再生する。なお、ステップS85において、制御部21は、イベントDB22bに記憶してある各コンテンツの対応反応から、現在のユーザの反応に一致する対応反応を特定し、特定した対応反応に対応するコンテンツを再生対象として読み出す。
また制御部21は、ニューラルネットワークを用いて、ユーザの反応に適したコンテンツを特定してもよい。例えばCNNモデルで構成され、各乗車者の着座位置、属性、感情、動作等を含む車内情報と、現在日時、現在地、天気、走行速度、走行方角、目的地、車両周辺の環境等を含む車外情報とにおけるいずれかの情報が入力された場合に、乗車者に提供すべきコンテンツに関する情報(例えばコンテンツID、コンテンツのタイプ、コンテンツの提供に適したユーザの反応)を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS12で取得した車外情報、及びステップS13で取得した車内情報を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、乗車者に提供すべきコンテンツを特定することができる。
制御部21は、ユーザの反応に変化が生じていないと判断した場合(S83:NO)、又は、コンテンツの再生を中止する必要はないと判断した場合(S84:NO)、ステップS85~S86の処理をスキップする。制御部21は、再生中のコンテンツが終了したか否かを判断しており(S87)、終了していないと判断した場合(S87:NO)、ステップS83の処理に戻る。そして制御部21は、ステップS83~S87の処理を行い、逐次取得する乗車者の反応に基づいてユーザの反応に変化が生じたか否かを判断し、ユーザの反応に変化が生じた場合、ユーザの反応に応じたコンテンツを適宜切り替えて再生する。
制御部21は、再生中のコンテンツが終了したと判断した場合(S87:YES)、この時点のユーザの反応を検出し(S88)、検出した反応を示す反応情報を、例えば再生が終了したコンテンツのコンテンツIDに対応付けてイベントDB22bに記憶する(S89)。ここでは、制御部21は、定期的に収集する車内情報に基づいて、この時点のユーザの反応(動作及び感情)を検出し、ユーザの反応情報を、コンテンツに対するユーザの反応履歴としてイベントDB22bに記憶する。これにより、各コンテンツの再生時のユーザの反応を蓄積することができ、このような反応履歴に基づいて、各コンテンツを提供する際に適したユーザの反応(対応反応)を決定することができる。なお、制御部21は、ユーザの反応情報をサーバ10へ送信し、サーバ10のユーザDB12aにイベント発生履歴として記憶させてもよい。
制御部21は、上述した一連の処理を終了すべきか否かを判断しており(S90)、終了すべきでないと判断した場合(S90:NO)、ステップS85の処理に戻る。そして、制御部21は、ユーザの反応に対応するコンテンツをイベントDB22bから読み出し(S85)、読み出したコンテンツを再生し(S86)、上述した処理を繰り返す。これにより、車載装置20は、車両で発生したイベントに対応するコンテンツであり、ユーザの反応に応じたコンテンツを再生できる。制御部21は、上述した一連の処理を終了すべきであると判断した場合(S90:YES)、処理を終了する。
上述した処理により、本実施形態では、ユーザ毎に車載装置20に登録されたイベントの発生条件及びコンテンツに基づいて、車両に発生したイベントに対応するコンテンツが車載装置20で再生される。よって、車両内のユーザ(乗車者)は、自身が設定したイベント(発生条件が示す状況)に応じたコンテンツを視聴(体験)することができる。よって、例えば車内が険悪な雰囲気になったというイベントに対応付けて、家族が好きな画像コンテンツ及び音声コンテンツ(動画コンテンツ)を登録しておくことにより、車内が険悪な雰囲気となった場合に、家族が好きなコンテンツが再生されることにより、険悪な雰囲気が解消されることが期待できる。なお、コンテンツは、画像及び音声だけでなく、画像又は音楽に応じた光(照明光)、振動、芳香又は空調によるコンテンツを含んでもよい。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザ毎に設定されたイベントに基づいて、ユーザに応じたコンテンツを再生することが可能である。また、本実施形態の情報処理システムにおいても、各実施形態で適宜説明した変形例の適用が可能である。また、本実施形態において、イベントの発生条件を満たすか否かを判断する処理、発生したイベントに対応するコンテンツ又は車内のユーザの反応に応じたコンテンツを車載装置20へ提供する処理を、サーバ10が実行してもよい。
(実施形態5)
車両を走行させて目的地に到着した場合に、目的地への到着をイベント発生条件とするイベントとして、その時点の乗車者の気持ち及び思い出を車載装置20に登録することが可能な情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態の車載装置20の記憶部22に記憶してあるイベントDB22bは、図18に示す実施形態4のイベントDB22bの構成と同様である。
図20は実施形態5のイベントDB22bの構成例を示す模式図である。本実施形態のイベントDB22bには、走行場所に関する発生条件に対応付けてコンテンツが登録されている。即ち、本実施形態の車載装置20は、発生条件に設定されている走行場所を走行している場合に、走行場所に応じたコンテンツを再生させる。なお、本実施形態の情報処理システムでは、車両が目的地に到着した場合に、車載装置20が、目的地に関するコンテンツを生成し、目的地を発生条件とし、生成したコンテンツを再生対象とするイベントをイベントDB22bに登録する。
以下に、本実施形態の情報処理システムにおいて、車載装置20がイベントに関する情報を登録する処理について説明する。なお、本実施形態の車載装置20は、車両が目的地に到着した場合に、目的地をイベント発生条件とし、目的地に関するコンテンツを再生対象とするイベントを登録する。図21はイベントの登録処理手順の一例を示すフローチャートである。以下の処理は、車載装置20の記憶部22に記憶してある制御プログラム22Pに従って制御部21によって実現される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
車載装置20の制御部21は、例えばナビゲーション装置に設定された目的地に車両が到着したか否かを判断する(S101)。例えばナビゲーション装置は、車両が目的地に到着したことによってナビゲーション処理を終了した場合に、ナビゲーション処理の終了(目的地への到着)を車載装置20に通知する。よって、制御部21は、ナビゲーション装置からの通知情報に基づいて、車両が目的地に到着したか否かを判断できる。車両が目的地に到着していないと判断した場合(S101:NO)、制御部21は、他の処理を行いつつ待機する。
車両が目的地に到着したと判断した場合(S101:YES)、制御部21は、この時点の乗車者の感情を取得する(S102)。本実施形態の車載装置20は、例えば車両の走行中に図19の処理を実行しており、図19中のステップS13の車内情報の取得処理において、図10中のステップS57で乗車者の感情を逐次検出している。よって、制御部21は、逐次検出している乗車者の感情を、この時点の乗車者の感情として取得する。また制御部21は、乗車者(例えば運転者)による車両の運転状況を検出し(S103)、乗車者との問答が可能な状況であるか否かを判断する(S104)。例えば制御部21は、車両の動作状態に基づいて停車中であるか運転中(走行中)であるかを判断し、停車中である場合、問答可能であると判断する。また、制御部21は、ステップS102で取得した乗車者の感情も考慮して問答可能であるか否かを判断してもよい。この場合、車両が停車中であり、乗車者の感情が所定の感情(例えばリラックスしている状態)である場合に、問答可能であると判断してもよい。
乗車者が問答可能な状況ではないと判断した場合(S104:NO)、制御部21は、ステップS103の処理に戻り、問答可能な状態となるまでステップS103~S104の処理を繰り返す。なお、制御部21は、問答可能な状況ではないと判断した場合(S104:NO)、ステップS102の処理に戻り、乗車者の感情及び運転状況に基づいて問答可能な状況であるか否かを判断する処理を繰り返してもよい。乗車者が問答可能な状況であると判断した場合(S104:YES)、制御部21は、予め用意してある質問メッセージを出力する(S105)。質問メッセージは、例えば目的地への訪問理由、訪問者、現在の状況等を質問するためのメッセージであり、例えば画像又は音声であり、予め記憶部22に記憶されている。具体的には、「なぜここに来ましたか?誰と来ましたか?今はどのような状況ですか?」等のメッセージを表示部25に表示し、又はスピーカ29から音声出力する。
制御部21は、質問メッセージに対する回答を受け付ける(S106)。例えば制御部21は、マイク28を介した音声入力によって回答を受け付けてもよく、入力部24を介したテキスト入力によって回答を受け付けてもよい。制御部21は、受け付けた回答に基づいて、現在地(目的地)に対応付けるコンテンツを生成する(S107)。例えば、訪問理由として乗車者が、「もうすぐ生まれる赤ちゃんの肌着を買いに来た」と回答した場合、「赤ちゃんの肌着を買いに来ましたね」のメッセージを表示するための画像コンテンツ、又は音声出力するための音声コンテンツを生成する。そして制御部21は、走行場所が現在地(目的地)であるという発生条件(車外条件)に、生成したコンテンツを対応付けてイベントDB22bに記憶する(S108)。なお、制御部21は、このときの乗車者の感情を、このコンテンツに対応付ける対応反応としてイベントDB22bに記憶しておいてもよい。
上述したように、ユーザが訪問した訪問先(目的地)毎にコンテンツを生成してイベントを登録しておくことにより、ユーザ独自のイベント発生条件に基づくコンテンツの再生が可能となる。なお、目的地に到着した場合だけでなく、ユーザが任意のタイミングでイベントを登録できるように構成されていてもよい。例えば乗車者が入力部24を介して所定の操作を行った場合に、このタイミングで乗車者と問答し、乗車者の回答に基づいてコンテンツを生成し、現在地を発生条件とするイベントを登録してもよい。
本実施形態の情報処理システムでは、上述した処理によってイベントDB22bに登録された登録内容に基づいて、車載装置20が、車外情報及び車内情報からイベント発生の有無を検出し、イベントが発生した場合に、対応するコンテンツを再生させる。なお、本実施形態の車載装置20は、図19に示すコンテンツ再生処理と同様の処理を実行する。即ち、車載装置20の制御部21は、所定のタイミングで車外情報及び車内情報を取得し、取得した車外情報及び車内情報に基づいて、イベントDB22bに記憶してあるイベントのいずれかの発生条件を満たすか否かを判断する。そして、制御部21は、いずれかのイベントの発生条件を満たした場合、発生したイベントに応じたコンテンツを再生させる。
図22は画像コンテンツの表示例を示す模式図である。図22Aは実施形態1の車載装置20の表示部25に画像コンテンツが表示された例を示し、図22Bは、実施形態2,3のように車両のフロントウィンドウに設けられた表示部25(フロントディスプレイ25a)に画像コンテンツが表示された例を示す。図22に示す例では、画像コンテンツは表示部25の適宜箇所(図22Aでは中央、図22Bでは左上)に表示されている。なお、画像コンテンツの表示位置はユーザ(乗車者)によって任意に設定できるように構成されていてもよい。本実施形態においても、車載装置20が再生するコンテンツは、画像コンテンツに限定されず、音声、光(照明光)、振動、芳香若しくは空調のいずれか、又はこれらの複数を組み合わせて一体として構成されたコンテンツであってもよい。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザが実際に行った場所(目的地)をイベント発生条件に設定することができ、それぞれの場所での思い出の情報等を再生対象のコンテンツとして登録しておくことができる。よって、後日、イベントとして登録された場所を走行した場合に、走行場所に応じたコンテンツ(例えば思い出の情報)を再生させることができる。従って、例えば記念日に行った場所をイベント発生条件とし、記念日に関するメッセージ等をコンテンツとして登録しておくことにより、同じ場所を走行した場合に、過去の記念日の思い出の情報を再生させることができる。また、本実施形態の情報処理システムにおいても、各実施形態で適宜説明した変形例の適用が可能である。
(実施形態6)
所定場所までの距離(所定場所との位置関係)をイベント発生条件に設定し、イベント発生条件を満たした場合に、車両に対して所定場所の方角から所定場所に関連する関連物が出現するアニメーションの画像コンテンツを再生する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ10の記憶部12に記憶してあるコンテンツDB12bは、図3Bに示す実施形態1のコンテンツDB12bの構成と若干異なる。
図23は実施形態6のコンテンツDB12b及びイベントDB22aの構成例を示す模式図である。図23Aはサーバ10に記憶されるコンテンツDB12bを、図23Bは車載装置20に記憶されるイベントDB22aをそれぞれ示す。図23Aに示すコンテンツDB12bは、図3Bに示す実施形態1のコンテンツDB12bの構成に加えて位置情報列を含む。位置情報列は、コンテンツに対応付けられた位置情報(例えば緯度及び経度の座標値)を記憶する。ここでの位置情報は、車載装置20に記憶されるイベントDB22aに登録してある発生条件(車外条件)に設定された所定場所の位置情報に相当する。また、本実施形態のコンテンツデータは、イベント発生条件に設定された所定場所に関連する関連物に関するコンテンツであり、例えば所定場所がカニの収穫地である場合、カニの画像コンテンツが用いられる。よって、コンテンツDB12bには、イベント発生条件に設定された所定場所の位置情報と、所定場所に関連する関連物のコンテンツとが対応付けて登録されている。コンテンツDB12bに記憶される位置情報は、制御部11が例えば入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。本実施形態のコンテンツDB12bの記憶内容は図23Aに示す例に限定されない。
図23Bに示すイベントDB22aは、図6に示す実施形態1のイベントDB22aと同様の構成を有する。本実施形態のイベントDB22aには、所定場所までの距離(所定場所との位置関係)に関する発生条件が登録されている。ここでの所定場所は、緯度及び経度の座標値によって特定される場所であってもよく、店舗又はランドマークの名称によって特定される場所であってもよい。なお、本実施形態では、図23Aに示すコンテンツDB12bがサーバ10に記憶してあり、図23Bに示すイベントDB22aが車載装置20に記憶してある構成とするが、2つのDB12b,22aの内容を含むDBを車載装置20に記憶しておく構成でもよい。この場合、車載装置20が、DBの記憶内容に基づいて、収集した車外情報及び車内情報に応じてイベント発生の有無を検出し、発生したイベントに対応するコンテンツを読み出して再生する処理を行う。なお、2つのDB12b,22aの内容を含むDBをサーバ10に記憶しておき、サーバ10が、イベント発生の有無を検出し、発生したイベントに対応するコンテンツを車載装置20へ提供する構成でもよい。
以下に、本実施形態の情報処理システムにおいて、車両で発生したイベントに応じたコンテンツをサーバ10が車載装置20へ提供し、車載装置20が再生する処理について説明する。図24は実施形態6のコンテンツ再生処理手順の一例を示すフローチャート、図25は画面例を示す模式図である。図24に示す処理は、図7及び図8に示す処理においてステップS16~S18の代わりにステップS111~S116を追加したものである。図7及び図8と同じステップについては説明を省略する。また、図24では、図7及び図8中のステップS11~S14及びステップS23~S27の図示を省略している。
車載装置20の制御部21は、図7に示したステップS11~S15の処理を行う。これにより、制御部21は、所定のタイミングで車外情報及び車内情報を取得し、取得した車外情報及び車内情報に基づいて、いずれかのイベントの発生条件を満たすか否かを判断し、いずれかのイベントの発生条件を満たす場合、発生したイベントをサーバ10に通知する。なお、図23Bに示すように、本実施形態のイベントDB22aには、所定場所までの距離に関する発生条件が登録されている。よって、制御部21は、測位部26によって車両(車載装置20)の現在地の位置情報(現在地情報)を定期的に検出し、車両の現在地と、発生条件として登録されている所定場所との距離が、発生条件を満たすか否かの判断を行う。
サーバ10の制御部11は、車両に発生したイベントを車載装置20から通知された場合、イベントに対応するコンテンツ及びコンテンツに対応する位置情報をコンテンツDB12bから読み出し(S111)、車載装置20へ送信する(S112)。なお、イベントに対応して複数のコンテンツが登録してある場合、制御部11は、例えばコンテンツIDが最小(最初)のコンテンツを読み出して車載装置20へ送信する。
車載装置20の制御部21は、サーバ10からコンテンツ及び位置情報を受信した場合、測位部26によって車両の現在の走行方角(走行方向の方角)を取得し(S113)、車両の現在地を基準とした所定場所の方角を取得する(S114)。なお、制御部21は、測位部26によって車両の現在地を取得することにより、現在地を基準とした所定場所の方角を算出できる。制御部21は、車両の現在の走行方角と、車両の現在地を基準とした所定場所の方角とに基づいて、表示部25の表示領域に対して画像コンテンツを表示すべき位置を特定する(S115)。本実施形態では、車両内から所定場所を見た方向(方角)から、所定場所に関する画像コンテンツが出現するように画像コンテンツを表示するので、画像コンテンツの最初の表示位置と、最終的な表示位置とを特定する。なお、画像コンテンツは最初の表示位置では小さく表示され、最終的な表示位置では大きく表示されるので、制御部21は、最初の表示位置及び最終的な表示位置のそれぞれにおける表示領域も特定する。
そして制御部21は、特定した最初の表示位置から最終的な表示位置へ、画像コンテンツの表示サイズを徐々に大きくしながら移動させることにより、画像コンテンツをアニメーション再生する(S116)。図25は、実施形態2,3のように車両のフロントウィンドウに設けられた表示部25(フロントディスプレイ25a)に画像コンテンツを表示した例を示す。図25に示す例では、カニの画像がフロントディスプレイ25aの右上方から出現し、最終的にフロントディスプレイ25aの右中央に表示された画像コンテンツを示す。なお、図25に示す例では、画像コンテンツが表示された軌跡(出現した軌跡)を矢印で表示しており、矢印の基端側に、画像コンテンツで示されるカニの産地(漁場)があることを示している。なお、制御部21は、コンテンツに音声コンテンツが含まれる場合、音声コンテンツをスピーカ29にて再生する。また制御部21は、コンテンツに光によるコンテンツが含まれる場合、照明部30によって光を出力し、コンテンツに振動によるコンテンツが含まれる場合、振動発生部31によって振動を発生させる。更に制御部21は、コンテンツに芳香によるコンテンツが含まれる場合、芳香発生部32によって芳香を発生させ、コンテンツに空調によるコンテンツが含まれる場合、空調制御部33によって風を発生させる。
その後、車載装置20の制御部21及びサーバ10の制御部11は、ステップS19以降の処理を行い、再生したコンテンツに対するユーザ(乗車者)の反応に応じて、車載装置20で再生するコンテンツを適宜変更する。上述した処理により、発生条件として予め設定された所定場所までの距離(所定場所との位置関係)を満たす場合に、所定場所に関するコンテンツを再生させることができる。例えば図25に示すようなカニの画像コンテンツを、カニの産地(所定場所)の位置情報に対応付けて登録しておくことにより、カニの産地に近づいた場合に、カニが産地の方角から出現してくるような画像コンテンツを提供することができる。このような画像コンテンツによって、乗車者は、走行場所の近くに名産品等があることを把握でき、名産品等の場所(例えばカニの産地)の方角を知ることができる。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、所定場所の位置情報と、所定場所に関連する関連物のコンテンツとを対応付けて登録しておくことにより、所定場所の近くを走行した場合に、所定場所に関連する関連物の存在を知ることができる。所定場所に関連する関連物とは、例えば所定の生産地で生産される生産物、所定の漁場で水揚げされる海産物、所定場所にある神社仏閣等の名所及びランドマーク等であってもよい。
また、本実施形態では、関連物を表示する画像コンテンツを所定場所から車両に向けて飛んでくるようなアニメーションを表示できるので娯楽性が高いコンテンツの提供が可能となる。また、本実施形態の情報処理システムにおいても、各実施形態で適宜説明した変形例の適用が可能である。また、本実施形態において、イベントの発生条件を満たすか否かを判断する処理をサーバ10が実行するように構成されていてもよい。この場合、車載装置20が収集した車外情報及び車内情報をサーバ10へ送信し、サーバ10は、車載装置20から取得した車外情報及び車内情報に基づいてイベントが発生したか否かを判断できる。また、本実施形態において、車両に発生したイベントに対応するコンテンツを特定する処理を、車載装置20が実行するように構成されていてもよい。
(実施形態7)
サーバ10から車載装置20に送信された画像コンテンツを介して提供される商品やサービスの購入又は購入予約が可能な情報処理システムについて説明する。図26は実施形態7の情報処理システムの構成例を示す模式図である。本実施形態の情報処理システムは、サーバ10及び車載装置20に加えて、例えばクレジットカード決済に係る処理を行う決済用サーバ40を含み、決済用サーバ40は、ネットワークNに接続されている。
決済用サーバ40は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータを用いて構成されている。決済用サーバ40は、図2に示したサーバ10と同様の構成を有するので、構成についての具体的な説明は省略する。なお、決済用サーバ40の記憶部には、例えばクレジットカード決済を行うためにユーザ登録された各ユーザに関する情報を記憶するDBが記憶されている。本実施形態の情報処理システムにおいて、サーバ10及び車載装置20は、実施形態1のサーバ10及び車載装置20と同様の装置にて実現可能であるので説明は省略する。
本実施形態の情報処理システムにおいて、サーバ10及び車載装置20は、図7~10に示す処理と同様の処理を実行する。これにより、車載装置20は、車外情報及び車内情報に基づいてイベント発生の有無を検出し、いずれかのイベントが発生した場合、発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。
図27は、画像コンテンツを介した商品の購入処理手順の一例を示すフローチャート、図28は画像コンテンツの表示例を示す模式図である。図27に示す処理は、車載装置20の制御部21が、例えば図8中のステップS18でサーバ10から受信した画像コンテンツを表示部25で再生した後に実行するものである。本実施形態の情報処理システムにおいて、車載装置20の制御部21は、サーバ10から画像コンテンツを受信した場合、受信した画像コンテンツを表示部25に表示する(S121)。図28に示す例では、実施形態2,3のように車両のフロントウィンドウに設けられた表示部25(フロントディスプレイ25a)に画像コンテンツを表示した例を示す。なお、図28Aに示す画面は、図25に示した実施形態6の画面と同様である。
制御部21は、表示した画像コンテンツを介して、画像コンテンツ中のいずれかの商品に対する選択を受け付けたか否かを判断する(S122)。例えばフロントディスプレイ25aにタッチパネル(入力部24)が設けられている場合、制御部21は、フロントディスプレイ25aのタッチパネルを介して、表示中の画像コンテンツに含まれるいずれかの商品に対する選択を受け付ける。また制御部21は、マイク28を介した音声入力によって、画像コンテンツ中の商品に対する選択を受け付けてもよい。この場合、制御部21は、マイク28を介して入力された音声をテキストデータに変換し、変換されたテキストデータの内容に基づいて、画像コンテンツ中のいずれの商品に対する選択を受け付けたかを判断する。図28Aには、乗車者が人差し指でカニの画像コンテンツを選択操作している状態を示す。
いずれかの商品に対する選択を受け付けていないと判断した場合(S122:NO)、制御部21は選択を受け付けるまで待機する。いずれかの商品に対する選択を受け付けたと判断した場合(S122:YES)、制御部21は、表示中の画像コンテンツのコンテンツIDを含み、選択された商品の詳細情報を要求する要求信号をサーバ10へ送信する(S123)。サーバ10の制御部11は、車載装置20から商品の詳細情報の要求信号を受信した場合、要求された詳細情報(商品情報)を生成して、車載装置20へ送信する(S124)。車載装置20の制御部21は、サーバ10から商品の詳細情報を受信した場合、受信した詳細情報(商品情報)を表示部25に表示する(S125)。図28Bは商品の詳細情報の表示例を示しており、図28A中の画像コンテンツの上に重ねて、画像コンテンツ中の商品(ここではカニ)に関する詳細情報を表示する。図28Bに示す画面例では、カニを販売する店舗に関する情報が表示され、カニの購入を予約するための購入予約ボタンと、店舗への入店を予約するための入店予約ボタンと、店舗までの地図を表示させるための地図表示ボタンとを有する。
図28Bに示す画面では、乗車者が購入予約ボタンを操作している状態を示しており、制御部21は、購入予約ボタンが操作されたか否かに応じて、購入要求を受け付けたか否かを判断する(S126)。購入要求を受け付けていないと判断した場合(S126:NO)、制御部21は待機する。なお、図28Bに示す画面において、入店予約ボタンが操作された場合、制御部21は、例えば入店人数及び入店予定時刻を入力部24から受け付け、ここでの店舗情報、入店人数及び入店予定時刻を含み、店舗の入店予約を要求する要求信号をサーバ10へ送信する。サーバ10の制御部11は、車載装置20から入店予約の要求信号を受信した場合、入店予約を要求された店舗の端末(図示せず)に対して、入店人数及び入店予定時刻を送信して入店予約に関する処理を実行する。また、図28Bに示す画面において地図表示ボタンが操作された場合、制御部21は、ここでの店舗までの経路を示す地図をサーバ10に要求し、サーバ10から受信して表示部25に表示する。
購入要求を受け付けたと判断した場合(S126:YES)、制御部21は、購入対象の商品の情報を含み、商品の購入を要求する要求信号をサーバ10へ送信する(S127)。このとき、乗車者が料金の支払い方法としてクレジットカード決済を選択した場合、制御部21は、クレジットカード決済に必要な情報(クレジットカード番号等)を入力部24から受け付け、受け付けた情報もサーバ10へ送信する。サーバ10の制御部11は、車載装置20から商品購入の要求信号を受信した場合、決済用サーバ40に対して、購入対象の商品に対する決済処理の実行を要求する(S128)。決済用サーバ40は、サーバ10から要求された決済処理を実行し(S129)、決済結果をサーバ10へ送信する(S130)。なお、決済用サーバ40は、決済処理が正常に完了した場合、決済処理の成功をサーバ10へ通知し、決済処理が正常に完了しなかった場合、決済処理の失敗をサーバ10へ通知する。
サーバ10の制御部11は、決済用サーバ40から通知された決済結果を車載装置20へ送信し(S131)、車載装置20の制御部21は、サーバ10から受信した決済結果を表示部25に表示する(S132)。図28Cに示す画面では、決済処理が成功したことを示すメッセージが表示されており、このような画面によって、決済処理の成功を乗車者に通知できる。なお、サーバ10から決済処理の失敗を通知された場合、車載装置20の制御部21は、決済処理が失敗したことを示すメッセージを表示して乗車者に通知する。
上述した処理により、サーバ10から車載装置20へ提供される画像コンテンツを介して、商品又はサービスの購入又は予約が可能であり、例えば店舗に到着する前の車両の走行中に購入予約又は入店予約を行うことが可能となる。なお、車両の車外情報及び車内情報に基づいて発生したと判断されたイベントに応じたコンテンツが車載装置20で再生されるので、乗車者の属性、車内の雰囲気等の車内環境、走行場所等の車外環境を考慮した商品情報の提供が可能となる。よって、乗車者が購入する可能性の高い商品を、購入する可能性の高い状況のときに提示することで、乗車者による購入確率を上昇させることが可能となる。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、サーバ10から車載装置20へ提供されるコンテンツを介して商品又はサービスの購入が可能である。よって、車両の走行中に、コンテンツを楽しめるだけでなく、車内及び車外の状況に応じた商品の提示を受けることができ、更に商品の購入又は予約を行うことができるので、車内での過ごし方が多様化できる。また、本実施形態の情報処理システムにおいても、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態8)
第1車両(送信元の車両)の車載装置20を介して指定されたコンテンツを、サーバ10が第2車両(出力先の車両)の車載装置20に提供する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ10は、図2に示す構成に加えて、ユーザ別コンテンツDBが記憶部12に記憶してある。
図29は実施形態8のユーザ別コンテンツDB12c及びイベントDB22aの構成例を示す模式図である。図29Aはサーバ10に記憶されるユーザ別コンテンツDB12cを、図29Bは車載装置20に記憶されるイベントDB22aをそれぞれ示す。図29Aに示すユーザ別コンテンツDB12cは、図3Bに示す実施形態1のコンテンツDB12bの構成において、対応反応列の代わりにユーザID列及び送信先情報列を含む。ユーザID列は、各ユーザの識別情報(ユーザID)を記憶する。よって、ユーザ別コンテンツDB12cは、ユーザIDに対応付けて、ユーザ毎に設定されたイベントに対応するコンテンツを記憶する。送信先情報列は、コンテンツの送信先の車載装置20に関する情報を記憶し、例えばネットワークN経由で車載装置20と通信するための宛先情報を記憶する。本実施形態のユーザ別コンテンツDB12cの記憶内容は図29Aに示す例に限定されない。図29Bに示すイベントDB22aは、図6に示す実施形態1のイベントDB22aと同様の構成を有する。本実施形態のイベントDB22aには、例えば乗車者が行った動作、乗車者の感情、又は入力部24を介した操作に関する発生条件が登録されている。
以下に、本実施形態の情報処理システムにおいて、ある車両(コンテンツの送信元の車両)で発生したイベントに応じたコンテンツをサーバ10が、他の車両(送信先の車両)の車載装置20へ提供し、送信先の車両の車載装置20が再生する処理について説明する。図30は実施形態8のコンテンツ再生処理手順の一例を示すフローチャート、図31は画面例を示す模式図である。図30に示す処理は、図7及び図8に示す処理においてステップS17~S27の代わりにステップS141~S144を追加したものである。図7及び図8と同じステップについては説明を省略する。
車載装置20の制御部21及びサーバ10の制御部11は、図7に示したステップS11~S16の処理を行う。これにより、制御部21は、所定のタイミングで取得した車外情報及び車内情報に基づいて、いずれかのイベントの発生条件を満たすと判断した場合に、発生したイベントをサーバ10に通知し、制御部11は、通知されたイベントに対応するコンテンツを読み出す。なお、図29Bに示すように、本実施形態のイベントDB22aには、乗車者が行う所定の動作又は操作に関する発生条件が登録されている。よって、制御部21は、例えばカメラ27で撮影した乗車者の撮影画像に基づいて乗車者の動作を検出し、又は入力部24を介して受け付けた乗車者による操作内容に基づいて、イベントの発生条件として登録されている所定動作又は操作を行ったか否かの判断を行う。また、乗車者の感情に関する発生条件が登録してあるイベントについて、制御部21は、乗車者の撮影画像又は発話音声から感情を推定し、推定した感情に基づいてイベント発生の有無を判断する。
サーバ10の制御部11は、ステップS16で読み出したコンテンツに対応付けて登録してある送信先情報をユーザ別コンテンツDB12cから読み出す(S141)。そして制御部11は、読み出した送信先情報に基づいて、送信対象(送信先)の車両の車載装置20に対してコンテンツを送信する(S142)。なお、コンテンツに対応して複数の送信先情報が登録してある場合、制御部11は、それぞれの送信先情報に基づいて、全ての送信対象の車載装置20へコンテンツを送信する。
送信先の車載装置20の制御部21は、サーバ10からコンテンツを受信した場合、受信したコンテンツに対する受け入れが許可されているか否かを判断する(S143)。車載装置20は、例えば入力部24を介したユーザ操作によって、他の車両から提供されるコンテンツに対して受け入れを許可するか禁止するかを予め受け付けて記憶部22に記憶しており、記憶内容に基づいて、受け入れの許否を判断する。なお、制御部21は、サーバ10(送信元の車両)からコンテンツを受信する都度、表示部25又はスピーカ29を介してコンテンツの受信を乗車者に通知し、入力部24を介してコンテンツに対する受け入れの許否を受け付けてもよい。コンテンツの受け入れが許可されていないと判断した場合(S143:NO)、制御部21は処理を終了する。コンテンツの受け入れが許可されていると判断した場合(S143:YES)、制御部21は、受信したコンテンツを再生する(S144)。図31は、送信先の車両が実施形態2,3のようにフロントウィンドウに表示部25(フロントディスプレイ25a)が設けられた車両である場合の画像コンテンツの表示例を示す。図31では、コンテンツの送信元の車両は、送信先の車両の近傍を走行しており、送信元の車両の車載装置20が、送信先の車両の車載装置20に対して、「次のサービスエリアで休憩しませんか?」のメッセージを表示する画像コンテンツを送信した場合の例を示している。なお、送信されるコンテンツは音声コンテンツであってもよく、この場合、送信先の車両において音声コンテンツがスピーカ29にて再生される。また、送信されるコンテンツは、光によるコンテンツ、振動によるコンテンツ、芳香によるコンテンツ、空調によるコンテンツが含まれていてもよい。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、自車両内でコンテンツを再生できるだけでなく、自車両で発生したイベント又は自車両の乗車者による実行指示に応じたコンテンツを他車両で再生させることが可能となる。よって、複数の車両で目的地まで走行している場合に、1つの車両の車外情報及び車内情報に応じたコンテンツを他の車両で再生させることによって、複数の車両に分かれて乗車している乗車者間での一体感が増し、車両での移動時間を楽しく過ごせる。また、本実施形態の情報処理システムにおいても、各実施形態で適宜説明した変形例の適用が可能である。
本実施形態において、サーバ10が、各車両の車載装置20の現在地情報及び宛先情報を管理している場合、送信先の車両(車載装置20)を予め登録しておくことなく、他の車両(車載装置20)に対してサーバ10によってコンテンツを送信することが可能となる。この場合、例えば他車両が車線を譲ってくれた場合に、他車両の車載装置20に対して、「車線を譲ってくれてありがとう」のようなメッセージを送信することができ、他車両の車載装置20がこのようなメッセージを表示又は音声出力することにより、他車両の乗車者に通知できる。具体的には、送信元の車両の乗車者が、送信先の車両を指定して(例えば車両の現在地を指定する)コンテンツの送信をサーバ10に要求し、サーバ10は、指定された車両に対して、指定されたコンテンツを送信する。このような構成とした場合、乗車者間(運転者間)で挨拶や謝辞を伝えることが可能となる。また、自車両が他車両に車線を譲ったというイベント発生条件に対して、「良いことをしましたね」のようなメッセージを表示又は音声出力するコンテンツを登録しておいてもよい。この場合、ユーザが車両の運転中に他車両に車線を譲るという動作を行ったときに、「良いことをしましたね」のメッセージが出力されることによって、運転者が気持ちよく運転操作を行うことが可能となる。
また、本実施形態において、送信元の車両の車載装置20と送信先の車両の車載装置20とが直接通信する車車間通信を行うように構成されていてもよい。具体的には、車載装置20は、図4に示す実施形態1の車載装置20の構成に加えて車車間通信部を有していてもよい。車車間通信部は、無線通信によって通信可能な範囲内に存在する他の車載装置20との間で通信を行うインタフェースであり、他の車載装置20との間で直接情報の送受信を行う。このように車載装置20が車車間通信を行う構成とした場合、図31に示すようなメッセージを直接車載装置20間で送受信することが可能となる。また、車車間通信を行う構成とした場合、他車両の車載装置20に対して、「車線を譲ってくれてありがとう」のようなメッセージを直接送信することが可能となる。
(実施形態9)
所定のオブジェクト(建物、店舗、山道、海辺等)に対応付けて、オブジェクトに関するコンテンツが登録してあり、車両の周囲を撮影した画像(景色画像)中にいずれかのオブジェクトが含まれる場合に、オブジェクトに対応するコンテンツが車載装置20に提供される情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ10の記憶部12に記憶してあるコンテンツDB12bは、図3Bに示す実施形態1のコンテンツDB12bの構成と若干異なり、車載装置20の記憶部22に記憶してあるイベントDB22aは、図6に示す実施形態1のイベントDB22aの構成と若干異なる。
図32は実施形態9のコンテンツDB12b及びイベントDB22aの構成例を示す模式図である。図32Aはサーバ10に記憶されるコンテンツDB12bを、図32Bは車載装置20に記憶されるイベントDB22aをそれぞれ示す。図32Aに示すコンテンツDB12bは、図3Bに示す実施形態1のコンテンツDB12bの構成において、対応反応列の代わりに提供期間列を含む。提供期間列は、イベントに対応付けられたコンテンツに対して設定された提供可能な期間を記憶する。本実施形態のコンテンツデータは、例えばオブジェクトに対する広告用のコンテンツであり、提供期間は広告期間とすることができる。よって、コンテンツDB12bには、図32Bに示すイベントDB22aにイベント発生条件として設定されているオブジェクトに対応するコンテンツ及び提供期間が登録されている。コンテンツDB12bに記憶される提供期間は、制御部11が例えば入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。本実施形態のコンテンツDB12bの記憶内容は図32Aに示す例に限定されない。なお、本実施形態のコンテンツDB12bは、図3Bに示すように対応反応列を有していてもよい。
図32Bに示すイベントDB22aは、図6に示す実施形態1のイベントDB22aの構成に加えて、発生条件列に提供期間列を含む。提供期間列は、イベントに対して設定されたコンテンツの提供可能な期間を記憶する。本実施形態のイベントDB22aには、カメラ27にて車両の周囲を撮影した撮影画像(景色画像)中に含まれるオブジェクトに関する発生条件が登録されている。具体的には、景色画像中に所定のコンビニエンスストアが含まれるというイベント発生条件が登録されている。
本実施形態の情報処理システムにおいて、サーバ10及び車載装置20は、図7~10に示す処理と同様の処理を実行する。なお、本実施形態の情報処理システムでは、車両の周囲を撮影した撮影画像(景色画像)中に所定のオブジェクトが含まれているというイベント発生条件が登録されている。よって、車載装置20は、カメラ27で撮影した景色画像中に所定のオブジェクトが含まれるか否かを判定し、景色画像中に所定のオブジェクトが含まれる場合、イベントが発生したと判断する。
図33は、イベント発生の判断処理手順の一例を示すフローチャートである。図33に示す処理は、車載装置20の制御部21が、例えば図7中のステップS14で、車外情報及び車内情報に基づいていずれかのイベントの発生条件を満たすか否かを判定する際に実行するものである。具体的には、制御部21は、車外情報に含まれる車両周囲の景色画像中に所定のオブジェクトが含まれるか否かに応じて、イベント発生条件を満たすか否かを判断する。
本実施形態の情報処理システムにおいて、車載装置20の制御部21は、車両の周囲を撮影した景色画像を取得したか否かを判断しており(S151)、取得していないと判断した場合(S151:NO)、取得するまで待機する。なお、制御部21は、図9中のステップS37で車両周辺の撮影画像を取得しており、車両周辺の撮影画像(景色画像)を取得した後、ステップS152以降の処理を実行する。制御部21は、景色画像を取得したと判断した場合(S151:YES)、景色画像に含まれるオブジェクト(被写体)を検出する(S152)。例えば制御部21は、景色画像に対して、例えばOCR(Optical Character Recognition)を用いてテキストデータを生成し、景色画像に写った看板等に記載されたテキストを抽出する。また所定のオブジェクトが特殊な外観形状を有する場合、制御部21は、景色画像中に所定の形状のオブジェクトが含まれるか否かを検出してもよい。
制御部21は、景色画像中に検出したオブジェクトに、イベントDB22aにイベント発生条件として登録してあるオブジェクトが含まれるか否かを判断する(S153)。このとき制御部21は、各イベントに設定された提供期間内であるか否かも考慮して、イベント発生条件として登録してあるオブジェクトが含まれるか否かを判断する。イベント発生条件に登録されたオブジェクトが含まれないと判断した場合(S153:NO)、制御部21はステップS151の処理に戻り、ステップS151~S153の処理を繰り返す。制御部21は、景色画像中に、イベント発生条件に登録されたオブジェクトが含まれると判断した場合(S153:YES)、このオブジェクトに対応するイベントの発生を特定する(S154)。制御部21は、イベント発生を特定した後、図7中のステップS15の処理に移行し、図7及び図8に示す処理を実行する。これにより、景色画像中に含まれるオブジェクトに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。
図34は画像コンテンツの表示例を示す模式図である。図34Aは前部座席からフロントウィンドウ越しに車外を見た場合の景色を示し、図34Bは図34Aの景色に1つの画像コンテンツCが重ねて表示された状態を示す。図34Aの景色(景色画像)中にハッチングで示したオブジェクトが、イベント発生条件に設定されたオブジェクトである場合、図34Bに示すように、このオブジェクトに対応する表示部25の表示位置に画像コンテンツCが表示される。これにより、前部座席からフロントウィンドウ越しに車外を見た場合の景色に対して、景色中の所定のオブジェクトに重なる位置に画像コンテンツCが表示される。よって、車両周辺の景色画像中に所定のオブジェクトが含まれる場合に、ウィンドウ越しに視認できる景色に画像コンテンツCを重ねて表示させることによって、景色中のオブジェクトに関する情報を画像コンテンツCにより乗車者に提供することが可能となる。
図35は画像コンテンツの他の表示例を示す模式図である。図35には、景色画像中に飛行機(オブジェクト)が含まれるというイベント発生条件に対応付けて、航空会社の広告コンテンツが登録してある場合の画像コンテンツの表示例を示す。このようなイベントを登録しておくことにより、景色画像中に飛行機が含まれた場合に、車載装置20にて航空会社の広告コンテンツを再生することができる。図35Aはフロントウィンドウ越しに車外を見た場合にフロントディスプレイ25aに画像コンテンツが表示された状態を示し、図35Bはルーフ越しに車外を見た場合にルーフディスプレイ25eに画像コンテンツが表示された状態を示し、図35Cはリアウィンドウ越しに車外を見た場合にリアディスプレイ25bに画像コンテンツが表示された状態を示す。図35A~Cは、車両の移動に伴って車内から飛行機を視認できるウィンドウがフロントウィンドウ、ルーフ、リアウィンドウの順に移動した場合に、飛行機に対応する画像コンテンツが、フロントディスプレイ25a、ルーフディスプレイ25e、リアディスプレイ25bの順に表示される例を示す。このように、景色画像中に飛行機が含まれる場合に、飛行機を視認できるウィンドウに設けられたディスプレイに、航空会社の広告コンテンツを表示させることができる。図35A~Cに示すように、車両の移動に伴って景色画像中のオブジェクトを視認できるウィンドウが移動するので、オブジェクトに応じた画像コンテンツを、各ウィンドウに設けられたディスプレイに表示させることにより、景色内を移動するオブジェクトに対応して画像コンテンツが表示されるディスプレイも移動させることができる。これにより、車内の乗車者が車内からオブジェクトを視認した視線方向にオブジェクトに応じた画像コンテンツを表示させることができるので、適切なタイミングで画像コンテンツを乗車者に提供することが可能となる。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、カメラ27で撮影した車両周辺の景色画像中に所定のオブジェクトが含まれるか否かに応じてイベント発生条件を満たすか否かが判断される。よって、カメラ27で撮影された被写体に所定のオブジェクトが含まれる場合に、このオブジェクトに応じたコンテンツを車載装置20にて再生させることが可能となる。また、本実施形態では、各オブジェクトに対応するコンテンツに対して提供期間が設定可能であるので、サーバ10から車載装置20に提供されるコンテンツを逐次新しいコンテンツに入れ替えることが可能となる。また、提供期間が設定されるので、提供期間に応じた広告料の設定が可能となり、広告媒体として車両の表示部25(ディスプレイ)を利用できる。
本実施形態の情報処理システムにおいても、各実施形態で適宜説明した変形例の適用が可能である。また、本実施形態において、イベントの発生条件を満たすか否かを判断する処理をサーバ10が実行するように構成されていてもよい。この場合、車載装置20が撮影した景色画像をサーバ10へ送信し、サーバ10は、車載装置20から取得した景色画像中に所定のオブジェクトが含まれるか否かに応じて所定のイベントが発生したか否かを判断し、判断結果を車載装置20へ返送すればよい。更に、上述した各実施形態の構成は、互いに組み合わせることが可能である。
上述した各実施形態において、車両の複数ウィンドウに表示部25(ディスプレイ)が設けられている場合に、車両の走行速度、停車中又は駐車中等の走行状態に応じて、画像コンテンツを表示するディスプレイを切り替えるように構成されていてもよい。例えば車両が走行中である場合にはサイドウィンドウに設けられたディスプレイのみを画像コンテンツの表示対象とし、車両が駐車中である場合には全てのウィンドウに設けられたディスプレイを表示対象とするように、表示対象のディスプレイを切り替えてもよい。また、自動走行が可能な車両の場合には自動運転機能による自動走行中(自動運転中)であるか否かに応じて、画像コンテンツを表示するディスプレイを切り替えるように構成されていてもよい。このような構成とした場合、車両走行時には運転者の運転を阻害せずに画像コンテンツを表示させることができ、駐車時には全てのディスプレイを用いた画像コンテンツの再生が可能となる。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。