JP2017109656A - 情報生成装置、情報提示システムおよび情報生成方法 - Google Patents

Abstract

【課題】複数の搭乗者同士で容易に情報を共有することができる情報生成装置、情報提示システムおよび情報生成方法を提供する。【解決手段】実施形態の一態様に係る視線情報生成部と、情報決定部と、情報生成部と、を備える。視線情報生成部は、移動体に搭乗する複数の搭乗者をそれぞれ撮像した撮像画像に基づき、一人以上の搭乗者の視線情報を生成する。情報決定部は、視線情報生成部が生成した視線情報に基づき、移動体の周辺スポットに関するスポット情報の中から二人以上の搭乗者に提示する提示スポット情報を決定する。情報生成部は、情報決定部が決定した提示スポット情報に基づいて、二人以上の搭乗者に提示する提示情報を生成する。【選択図】図１

Description

本発明は、情報生成装置、情報提示システムおよび情報生成方法に関する。

従来、車両の運転者が見ている対象物の情報を、運転者に表示する装置が知られている。かかる装置は、たとえば運転者の視線および指示を検出することで、運転者が見ている対象物の情報を指示に従って表示する（たとえば特許文献１参照）。

特開２００１−３３０４５号公報

しかしながら、従来の装置では、運転者の視線および指示に応じて情報を表示しているに過ぎず、たとえば観光バスなど車両に複数の搭乗者が搭乗する場合については考慮されていない。そのため、車両に搭乗する複数の搭乗者同士で対象物の情報を共有することが難しいという問題があった。

本発明は、上記に鑑みてなされたものであって、複数の搭乗者同士で容易に情報を共有することができる情報生成装置、情報提示システムおよび情報生成方法を提供することを目的とする。

上記課題を解決し、目的を達成するために、本発明の情報生成装置は、視線情報生成部と、情報決定部と、情報生成部と、を備える。視線情報生成部は、移動体に搭乗する複数の搭乗者をそれぞれ撮像した撮像画像に基づき、一人以上の搭乗者の視線情報を生成する。情報決定部は、前記視線情報生成部が生成した前記視線情報に基づき、前記移動体の周辺スポットに関するスポット情報の中から二人以上の前記搭乗者に提示する提示スポット情報を決定する。情報生成部は、前記情報決定部が決定した前記提示スポット情報に基づいて、前記二人以上の搭乗者に提示する提示情報を生成する。

本発明によれば、複数の搭乗者同士で容易に情報を共有することができる情報生成装置、情報提示システムおよび情報生成方法を提供することができる。

図１は、実施形態に係る情報生成方法を示す説明図である。 図２は、実施形態に係る情報提示システムの概要を示す図である。 図３は、実施形態に係る情報提示システムの構成図である。 図４は、実施形態に係るグループ設定部が決定するグループの一例を示す図である。 図５は、実施形態に係る車両の周辺スポットの一例を示す図である。 図６は、実施形態に係るスポット情報決定部が決定する提示スポット情報を説明する図である。 図７は、実施形態に係るスポット情報決定部が決定する提示スポット情報を説明する図である。 図８は、実施形態に係る提示画像の一例を示す図である。 図９は、実施形態に係る提示情報生成処理を示すフローチャートである。 図１０は、実施形態に係る情報生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下、添付図面を参照して、本願の開示する情報生成装置、情報提示システムおよび情報生成方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

［１．情報生成方法］
図１は、本発明の実施形態に係る情報生成方法を示す説明図である。かかる情報生成方法は、たとえば移動体に搭乗する複数の搭乗者ＰＡに対して提示する提示情報を生成するものである。複数の搭乗者が搭乗する移動体としては、たとえば自動車や電車や船舶、航空機などが挙げられる。以下では、移動体として観光バスなど複数の座席を備えた車両であるものとして説明する。

図１（ａ）に示すように、車両の各座席には、モニターを備えた情報提示端末１０＿ｎ（ｎ＝１〜Ｎ。以下、情報提示端末１０＿ｎをまとめて情報提示端末１０とも記載する）が設けられている。図１（ａ）では、Ｎ＝４の場合を示しているが、情報提示端末１０＿ｎの設置数、すなわち座席数は「４」に限られない。本実施形態にかかる情報生成方法では、車両に設けられる情報生成装置２０が、かかる情報提示端末１０に提示する提示情報を生成する。

図１（ｂ）に示すように、情報生成装置２０は、たとえば情報提示端末１０が有する撮像部（図示せず）によって撮像された撮像画像に基づいて、複数の搭乗者ＰＡのうち少なくとも一人の搭乗者ＰＡの視線を検出し、視線情報を生成する（ステップＳ１）。

たとえば図１（ａ）に示す場合に、情報生成装置２０は、情報提示端末１０＿１が有する撮像部（図示せず）によって撮像された撮像画像に基づいて、搭乗者ＰＡ１の視線情報を生成する。視線情報は、たとえば搭乗者ＰＡが搭乗する座席番号と視線とが対応付けられた情報である。

次に、情報生成装置２０は、少なくとも一人の搭乗者ＰＡの視線情報に基づき、車両の周辺に存在する周辺スポットに関するスポット情報の中から、少なくとも二人の搭乗者ＰＡに提示する提示スポット情報を決定する（ステップＳ２）。ここで周辺スポットとは、車両の周辺に存在するビルや山など建造物や観光物をさし、スポット情報とは山やビルの名称など、かかる建造物や観光物に関する情報をさす。

たとえば情報生成装置２０は、周辺スポットに関する情報を含む地図情報を記憶しているものとする。情報生成装置２０は、車両の位置情報および地図情報に基づいて周辺スポットを抽出する。情報生成装置２０は、搭乗者の視線情報から搭乗者ＰＡの視線の先に存在する周辺スポットを特定し、かかる周辺スポットに関する情報を、二人以上の搭乗者ＰＡに提示する提示スポット情報とする。図１（ａ）に示す例では、搭乗者ＰＡ１の視線の先にある山に関する情報を提示スポット情報とする。

ここで、提示スポット情報を提示する二人以上の搭乗者ＰＡは、車両に搭乗する複数の搭乗者ＰＡに含まれる搭乗者であり、たとえば図１（ａ）では、搭乗者ＰＡ１と、搭乗者ＰＡ１の隣席の搭乗者ＰＡ２であるとする。このように、複数の搭乗者ＰＡ１、ＰＡ２に提示スポット情報を提示することで、複数の搭乗者同士で容易に情報を共有することができる。

続いて、情報生成装置２０は、提示スポット情報に基づき、二人以上の搭乗者ＰＡに提示する提示情報を生成する（ステップＳ３）。たとえば情報生成装置２０は、図１（ｃ）に示すように、搭乗者ＰＡ１の視線の先に存在する周辺スポット（図１の例では山）の外観を示す画像に、かかる周辺スポットの名称や説明文を重畳させた提示画像Ｐ１を提示情報として生成する。

なお、図１（ｃ）では、情報生成装置２０が提示情報として提示画像Ｐ１を生成する場合について示したが、提示情報はこれに限られない。たとえば周辺スポットの名称や説明を音声で案内する音声案内情報を生成してもよい。あるいは、提示画像Ｐ１と音声案内情報とを合わせて提示情報としてもよい。

情報生成装置２０は、生成した提示情報を情報提示端末１０に出力する。具体的には、情報生成装置２０は、提示情報を提示する二人以上の搭乗者ＰＡ１、ＰＡ２に対応する情報提示端末１０＿１、２０＿２に提示情報を出力する。提示情報端末１０＿１、１０＿２は、情報生成装置２０から受け取った提示情報をたとえばモニターに表示することで、提示情報を搭乗者ＰＡ１、ＰＡ２に提示する。

このように、情報生成装置２０が、少なくとも一人の搭乗者ＰＡ１の視線情報に基づいて、少なくとも二人の搭乗者ＰＡ１、ＰＡ２に対して提示する提示情報を生成することで、搭乗者ＰＡ１、ＰＡ２同士で提示情報を容易に共有することができる。

なお、ここでは、提示スポット情報の決定に用いた視線情報に含まれる搭乗者ＰＡ１が、提示情報を提示する対象である少なくとも二人の搭乗者ＰＡ１、ＰＡ２に含まれる場合について説明したが、これに限られない。たとえば搭乗者ＰＡ１の後部座席に座る搭乗者ＰＡ３、ＰＡ４に提示情報を提示するようにしてもよい。あるいは、搭乗者ＰＡ１〜ＰＡ４に提示情報を提示するようにしてもよい。

また、ここでは、情報生成装置２０が視線情報に基づいて提示スポット情報を決定するとしたが、これに限られない。たとえば搭乗者ＰＡ１の発話に応じて情報生成装置２０が提示スポット情報を決定してもよい。以下では、情報生成装置２０が搭乗者ＰＡの視線および発話を検出するものとして、情報提示端末１０および情報生成装置２０を含む情報提示システム１についてさらに説明する。

［２．情報提示システム１の概要］
図２は、本発明の実施形態に係る情報提示システム１の概要を示す図である。情報提示システム１は、たとえば観光バスなど、搭乗する複数の搭乗者ＰＡに周辺スポット等を案内するシステムに好適である。情報提示システム１は、複数の情報提示端末１０＿ｎおよび情報生成装置２０を備える。

複数の情報提示端末１０＿ｎ（ｎ＝１〜Ｎ）は、車両Ｂの各座席に設けられる。具体的には、情報提示端末１０は、たとえば前列の座席の背面など搭乗者ＰＡが座席に座って提示情報を視認できる位置に配置される。情報提示端末１０は、情報生成装置２０から受け取った提示情報などを搭乗者ＰＡに提示するとともに、搭乗者ＰＡの撮像画像や音声信号を生成し、情報生成装置２０に出力する。なお、図２に示す情報提示端末１０＿ｎの台数Ｎは、５台であるが、情報提示端末１０＿ｎの台数Ｎは、これに限られない。

情報生成装置２０は、車両Ｂに設けられる。情報生成装置２０は、情報提示端末１０から撮像画像や音声信号を受け取る。情報提示端末１０は、受け取った撮像画像や音声信号に基づいて、情報提示端末１０を介して搭乗者ＰＡに提示する提示情報を生成する。情報生成装置２０は、生成した提示情報を情報提示端末１０に出力する。

なお、図２では、情報提示端末１０と情報生成装置２０とが有線で接続されている場合について示しているが、情報提示端末１０と情報生成装置２０とをたとえば無線で接続するようにしてもよい。

［３．情報提示システム１の詳細］
図３を用いて本実施形態に係る情報提示システム１の詳細を説明する。図３は、情報提示システム１の構成図である。なお、図３では、説明を簡略化するために、１つの情報提示端末１０について図示しているが、情報提示端末１０は上述したように複数あり、それぞれの情報提示端末１０が撮像画像および音声信号を情報生成装置２０に出力するものとする。

［３．１．情報提示端末１０］
情報提示端末１０は、撮像部１１０と、音声入力部１２０と、表示部１３０と、音声出力部１４０と、制御部１５０とを備える。なお、表示部１３０と音声出力部とをあわせて提示部１００と記載する。

［３．１．１．撮像部１１０］
撮像部１１０は、たとえば前列座席の背面に配置されるカメラを備える。撮像部１１０は、たとえば所定周期で座席を撮像することで、座席に着席している搭乗者ＰＡを含む撮像画像を周期的に生成する。撮像部１１０は生成した撮像画像を情報生成装置２０に出力する。

なお、ここでは、撮像部１１０が前列座席の背面に配置されるとしたが、これに限られない。撮像部１１０が搭乗者ＰＡを撮像できればよく、撮像部１１０をたとえば車両Ｂの天井や窓枠などに配置してもよい。また、情報提示端末１０が必ずしも撮像部１１０を備えている必要はなく、たとえば情報提示端末１０とは別に搭乗者ＰＡを撮像するための撮像装置を車両Ｂ内に配置してもよい。

［３．１．２．音声入力部１２０］
音声入力部１２０は、たとえばマイクを備え、搭乗者ＰＡの発話を取得し音声信号を生成する。音声入力部１２０は、たとえば前列座席の背面に配置される。音声入力部１２０は、生成した音声信号を情報生成装置２０に出力する。

なお、ここでは、音声入力部１２０が前列座席の背面に配置されるとしたが、これに限られない。音声入力部１２０が搭乗者ＰＡの発話を取得できればよく、音声入力部１２０をたとえば車両Ｂの天井や搭乗者ＰＡが着座する座席などに配置してもよい。また、情報提示端末１０が必ずしも音声入力部１２０を備えている必要はなく、たとえば情報提示端末１０とは別に搭乗者ＰＡの発話を取得するための音声入力装置を車両Ｂ内に配置してもよい。

［３．１．３．表示部１３０］
表示部１３０は、たとえば前列座席の背面に配置されるＬＤＣ（Liquid Crystal Display）などのモニターを備え、情報生成装置２０が生成する提示情報に含まれる提示画像Ｐ１を表示する。かかる表示部１３０は、たとえばタッチパネルディスプレイであり、たとえば情報提示端末１０の入力部の機能を備えるようにしてもよい。

なお、表示部１３０は、座席ごとに設置される必要はない。たとえば車両前方に設置されるなど、複数の座席から表示部１３０が見えるように表示部１３０を配置してもよい。

［３．１．４．音声出力部１４０］
音声出力部１４０は、たとえば前列座席の背面に配置されるスピーカを備え、情報生成装置２０が生成する提示情報に含まれる音声案内情報に基づいて音声を出力する。なお、スピーカをたとえば車両Ｂの天井や搭乗者ＰＡが着座する座席などに配置してもよい。

［３．１．５．制御部１５０］
制御部１５０は、撮像部１１０、音声入力部１２０、表示部１３０および音声出力部１４０を制御する。制御部１５０は、たとえば撮像部１１０が所定周期で撮像画像を撮像するよう、撮像部１１０を制御する。また、制御部１５０は、音声入力部１２０が所定の音声を取得するよう制御する。制御部１５０は、たとえば音声出力部１４０から出力される音声の大きさを制御するなど、表示部１３０および音声出力部１４０が提示情報を提示するよう制御する。

［３．２．情報生成装置２０］
情報生成装置２０は、搭乗者情報生成部２１０と、グループ設定部２２０と、抽出部２３０と、状態判定部２４０と、情報決定部２５０と、情報生成部２６０と、記憶部２７０と、を備える。

［３．２．１．搭乗者情報生成部２１０］
搭乗者情報生成部２１０は、車両Ｂに搭乗する複数の搭乗者ＰＡに関する搭乗者情報を生成する。搭乗者情報生成部２１０は、視線検出部２１１と、視線情報生成部２１２と、音声認識部２１３と、音声情報生成部２１４と、を備え、視線情報および音声情報を搭乗者情報として生成する。

［３．２．１．１．視線検出部２１１］
視線検出部２１１は、複数の情報提示端末１０＿ｎの撮像部１１０からそれぞれ入力される撮像画像に基づいて、複数の搭乗者ＰＡの視線をそれぞれ検出する。具体的に、視線検出部２１１は、たとえば１つの撮像画像に含まれる搭乗者ＰＡの顔から目、鼻または口などの特徴点を抽出する。視線検出部２１１は、たとえば抽出した特徴点の位置に応じて搭乗者ＰＡの視線方向を検出する。

なお、かかる視線方向は、たとえば車両Ｂの前後方向を基準とする方向である。そこで、視線検出部２１１は、地図情報と車両Ｂの現在地および進行方向とに応じて、搭乗者ＰＡが地図上においてどちらを向いているかを検出することで、搭乗者ＰＡの視線を検出する。

具体的に、視線検出部２１１は、地図情報と車両Ｂの現在地および進行方向とに応じて、車両Ｂが地図上において現在どちらを向いているか、地図上における車両Ｂの進行方向を検出する。また、視線検出部２１１は、地図上における車両Ｂの進行方向と視線方向とに基づいて、搭乗者ＰＡが地図上においてどちらを向いているかを、搭乗者ＰＡの視線として検出する。視線検出部２１１は、検出した各搭乗者ＰＡの視線を視線情報生成部２１２に出力する。

なお、ここでは、一つの撮像画像に一人の搭乗者ＰＡが撮像されるものとするが、撮像画像に含まれる搭乗者ＰＡの数は一人に限られず、複数であってもよい。この場合、視線検出部２１１は、撮像画像に含まれる搭乗者ＰＡごとに視線を検出し、搭乗者ＰＡと検出した視線とを対応付けて視線情報生成部２１２に出力する。

また、搭乗者ＰＡが周辺スポットを指さしている場合に、指を指している方向を視線の方向として検出するようにしてもよい。このように、搭乗者ＰＡのジェスチャーに基づいて検出する方向も搭乗者ＰＡの視線に含めてもよい。あるいは、搭乗者ＰＡの眼球の向きに基づいて搭乗者ＰＡの視線を検出してもよい。

［３．２．１．２．視線情報生成部２１２］
視線情報生成部２１２は、複数の搭乗者ＰＡを撮像した撮像画像に基づき、一人以上の搭乗者ＰＡの視線情報を生成する。具体的に、視線情報生成部２１２は、視線検出部２１１から各搭乗者ＰＡの視線を受け取ると、たとえば視線を検出した撮像画像の撮像時刻（以下、視線検出時刻とも記載する）、搭乗者ＰＡおよび視線を対応付けた視線情報を複数の搭乗者ＰＡごとに生成する。視線情報生成部２１２は、生成した視線情報を情報決定部２５０および状態判定部２４０に出力する。

［３．２．１．３．音声認識部２１３］
音声認識部２１３は、音声入力部１２０から受け取った音声信号に基づいて、搭乗者ＰＡの音声を認識し、発話データを生成する。音声認識部２１３は、たとえば音声信号から特徴を抽出し、たとえば記憶部２７０が記憶している音声特徴と抽出した特徴とを比較することで、音声を認識し、発話データを生成する。ここで、発話データは、たとえば搭乗者ＰＡが発話した内容を表す文字列であるとする。音声認識部２１３は、生成した発話データを発話情報生成部２１４に出力する。

［３．２．１．４．発話情報生成部２１４］
発話情報生成部２１４は、複数の搭乗者ＰＡの発話である音声信号に基づき、一人以上の搭乗者ＰＡの発話情報を生成する。具体的に、発話情報生成部２１４は、音声認識部２１３から各搭乗者ＰＡの発話データを受け取ると、たとえば発話データと認識された音声信号の取得時刻（以下、音声取得時刻とも記載する）、搭乗者ＰＡおよび当該発話データを対応付けた発話情報を複数の搭乗者ＰＡごとに生成する。発話情報生成部２１４は、生成した発話情報を情報決定部２５０に出力する。

［３．２．２．グループ設定部２２０］
グループ設定部２２０は、車両Ｂの各座席に応じて１以上のグループを設定する。ここで、情報生成装置２０は、グループ設定部２２０が設定したグループごとに提示情報を提示するものとする。たとえば、グループ設定部２２０は、車両Ｂの座席配置に基づいてグループを設定する。なお、車両Ｂの座席配置は、車両によって一意に決まるものとし、あらかじめ記憶部２７０に記憶されているものとする。

図４に示すように、車両Ｂの座席が１列４席で５列配置されている場合、グループ設定部２２０は、たとえば座席番号１Ａ、１Ｂなど隣り合う２席ごとにグループＧ１を設定する。あるいは、グループ設定部２２０は、たとえば座席番号３Ａ〜３Ｄなど列ごとにグループＧ２を設定してもよい。また、グループ設定部２２０は、たとえば通路を挟んで右側あるいは左側などをそれぞれグループＧ３に設定してもよい。

なお、グループ設定部２２０が、１つの座席が複数のグループに属するようにグループを設定することもできる。すなわち、グループ設定部２２０は、たとえば図４に示すグループＧ１〜Ｇ３を同時に設定することもできる。グループ設定部２２０は、たとえばグループ設定したグループＧ１〜Ｇ３を情報決定部２５０に出力する。

なお、図４は、グループ設定部２２０が設定するグループの一例を示す図である。また、グループ設定部２２０が設定するグループは図４に示す例に限られない。グループに二人以上の搭乗者ＰＡ、すなわち二席以上の座席が含まれていればよい。

また、ここでは、グループ設定部２２０が車両Ｂの座席配置に応じてグループを設定するとしたが、これに限られない。たとえば情報提示端末１０の撮像部１１０が生成する撮像画像に基づいて、座席が空席であるか否かを判定し、空席である場合はかかる座席をグループから除外するようにしてもよい。

あるいは、グループ設定部２２０が、視線情報や発話情報に基づいてグループを設定するようにしてもよい。具体的には、グループ設定部２２０が、たとえば搭乗者ＰＡ同士の会話や顔を合わせるなどの搭乗者ＰＡの視線の動きに応じてグループを設定するようにしてもよい。

また、ここでは、グループ設定部２２０がグループを設定するとしたが、これに限られない。たとえば観光ツアーなどあらかじめ車両Ｂに搭乗する搭乗者ＰＡがわかっている場合に、ツアー業者がグループを設定できるようにしてもよい。あるいは、車両Ｂに搭乗した搭乗者ＰＡ自身がグループを設定できるようにしてもよい。

［３．２．３．抽出部２３０］
抽出部２３０は、車両Ｂの移動状況に応じて、車両Ｂの周辺に存在する周辺スポットに関するスポット情報を抽出する。抽出部２３０は、スポット情報取得部２３１およびスポット情報抽出部２３２を備える。

［３．２．３．１．スポット情報取得部２３１］
スポット情報取得部２３１は、地図情報および車両Ｂの現在地に応じて、車両周辺のスポット情報を記憶部２７０から取得する。スポット情報取得部２３１は、たとえば図示しないＧＰＳにより車両Ｂの現在地ＢＰを取得する。

スポット情報取得部２３１は、たとえば図５に示すように、かかる現在地ＢＰを中心とし、たとえば半径Ｒの円内に存在する周辺スポットＡ１１、Ａ１２、Ａ２１に関するスポット情報候補Ｉ１１、Ｉ１２、Ｉ２１（以下、スポット情報候補Ｉとも記載する）を取得する。

ここで、周辺スポットＡ１１、Ａ１２、Ａ２１の位置は、記憶部２７０に地図情報として記憶されているものとする。また、スポット情報候補Ｉ１１、Ｉ１２、Ｉ２１は、周辺スポットＡ１１、Ａ１２、Ａ２１とそれぞれ対応づけられて記憶部２７０に記憶されているものとする。

スポット情報取得部２３１は、取得したスポット情報候補Ｉをスポット情報抽出部２３２に出力する。なお、図５は、車両Ｂの周辺スポットの一例を示す図である。

なお、ここでは、地図情報およびスポット情報候補Ｉが記憶部２７０に記憶されているとしたが、これに限られない。たとえば地図情報およびスポット情報Ｉがネットワークを介して情報生成装置２０と接続されるたとえばサーバ等に記憶されていてもよい。

［３．２．３．２．スポット情報抽出部２３２］
スポット情報抽出部２３２は、車両Ｂの移動状況に応じて、スポット情報取得部２３１が取得したスポット情報候補Ｉの中からスポット情報を抽出する。車両Ｂの移動状況としては、たとえば車両Ｂの速度や、車両Ｂの進行方向、高速道路や一般道路など車両Ｂの走行場所などがある。

たとえば、スポット情報抽出部２３２は、車両Ｂの速度が所定の閾値以上である場合に、スポット情報候補Ｉの中から周辺スポットの大きさが所定値以上である周辺スポットに関するスポット情報を抽出する。あるいは、スポット情報抽出部２３２は、車両Ｂの現在地から所定距離離れた場所に存在する周辺スポットのスポット情報を抽出する。これは、車両Ｂが高速で走行している場合、小さな周辺スポットや、車両Ｂの近くに存在する周辺スポットは、搭乗者ＰＡが視認しにくいためである。

スポット情報抽出部２３２は、車両Ｂの速度が所定の閾値未満である場合、たとえばスポット情報取得部２３１が取得したスポット情報候補Ｉをスポット情報として抽出する。

あるいは、車両Ｂがたとえば高速道路など高架になっている道路を移動しているなど、高所に位置している場合、スポット情報抽出部２３２は、スポット情報候補Ｉの中から所定の高さを有する周辺スポットのスポット情報を抽出する。これは、たとえば高架などの高い場所を車両Ｂが移動している場合、高架の下など低い位置にある周辺スポットは搭乗者ＰＡが視認できないためである。

スポット情報抽出部２３２は、抽出したスポット情報を情報決定部２５０に出力する。これにより車両Ｂの移動状況によって搭乗者ＰＡが視認できない周辺スポットのスポット情報を抽出しないようにすることができる。すなわち、搭乗者ＰＡが視認できる周辺スポットのスポット情報を抽出することができる。そのため、情報決定部２５０が決定する提示スポット情報の候補であるスポット情報の数を削減することができ、情報決定部２５０が提示スポット情報の決定を高速に行うことができる。これにより、搭乗者ＰＡにより速く提示情報を提示することができるようになる。

なお、ここでは、スポット情報抽出部２３２が車両Ｂの移動状況に応じてスポット情報を抽出するとしたが、これに限られない。たとえば過去の視線情報や搭乗者ＰＡに提示した提示情報に基づいて搭乗者ＰＡが興味を示す周辺スポットを、機械学習などを用いて推測し、かかる推測結果に基づいてスポット情報を決定するようにしてもよい。

［３．２．４．状態判定部２４０］
図３に示す状態判定部２４０は、撮像部１１０が撮像した撮像画像に基づき、搭乗者ＰＡの状態を判定する。具体的に、状態判定部２４０は、搭乗者ＰＡの状態として、たとえば搭乗者ＰＡが睡眠中であるか否かを判定する。

状態判定部２４０は、撮像画像に対してたとえばパターンマッチングをおこない、搭乗者ＰＡの目が開いているか否かを判定する。状態判定部２４０は、搭乗者ＰＡが目を閉じていると判定した場合に、睡眠中であると判定する。また、搭乗者ＰＡが目を開いていると判定した場合、状態判定部２４０は搭乗者ＰＡが睡眠していない、すなわち覚醒していると判定する。状態判定部２４０は、判定結果を情報生成部２６０に出力する。

なお、ここでは、撮像画像に基づいて状態判定部２４０が搭乗者ＰＡの状態を判定する場合について説明したが、これに限られない。たとえば、座席のリクライニングの状態によって搭乗者ＰＡの状態を判定するようにしてもよい。具体的には、状態判定部２４０が、座席のリクライニングが所定角度以上に倒れている場合に、搭乗者ＰＡが睡眠中であると判定するようにしてもよい。

［３．２．５．情報決定部２５０］
情報決定部２５０は、視線情報または視線情報および発話情報に基づき、スポット情報の中から二人以上の搭乗者ＰＡに提示する提示スポット情報を決定する。情報決定部２５０は、たとえば視線情報を統計処理した結果に基づき、提示スポット情報を決定する。情報決定部２５０は、注視対象決定部２５１と、スポット情報決定部２５２と、提示対象決定部２５３と、を備える。

［３．２．５．１．注視対象決定部２５１］
注視対象決定部２５１は、視線情報、車両Ｂの移動履歴および地図情報に基づいて、搭乗者ＰＡが見ている先に存在する周辺スポットの中から、搭乗者ＰＡごとに注視対象物を決定する。ここで、注視対象決定部２５１は、たとえばＧＰＳの検出結果を記憶部２７０に記憶しておくことで、車両Ｂの移動履歴を保持しているものとする。

注視対象決定部２５１は、地図情報に基づき、視線検出時刻における車両Ｂの位置から、搭乗者ＰＡの視線の方向に存在する周辺スポットを対象物に決定する。所定期間において、同じ周辺スポットを対象物とする場合、注視対象決定部２５１は、かかる対象物を注視対象物に決定する。すなわち、注視対象決定部２５１は、搭乗者ＰＡが所定期間視認している周辺スポットを注視対象物に決定する。注視対象決定部２５１は、決定した注視対象物を搭乗者ＰＡと対応づけてスポット情報決定部２５２に出力する。

なお、たとえば視線情報生成部２１２が視線情報を生成するごとに、注視対象決定部２５１が対象物を決定する場合、すなわち視線情報生成部２１２および注視対象決定部２５１がリアルタイム処理を行う場合は、車両Ｂの現在地を視線検出時刻の車両Ｂの位置とする。また、この場合、所定期間、すなわち所定回数繰り返して同じ周辺スポットを対象物として決定した場合に、注視対象決定部２５１が、かかる対象物を注視対象物に決定してもよい。

なお、ここでは、注視対象決定部２５１が車両Ｂの移動履歴を保持しているとして説明したが、これに限られない。たとえば情報生成装置２０が図示しない車両履歴保持部を備え、かかる車両履歴保持部で車両Ｂの移動履歴を保持してもよい。あるいは、たとえばナビゲーション装置（図示せず）など情報生成装置２０の外部装置から車両Ｂの移動履歴を取得するようにしてもよい。

［３．２．５．２．スポット情報決定部２５２］
スポット情報決定部２５２は、注視対象決定部２５１が決定した注視対象物に基づいて、搭乗者ＰＡに提示する提示スポット情報を決定する。たとえばスポット情報決定部２５２は、グループ設定部２２０が設定したグループごとに提示スポット情報を決定する。スポット情報決定部２５２は、決定した提示スポット情報を情報生成部２６０に出力する。

以下、スポット情報決定部２５２が、一人の搭乗者ＰＡ（以下、特定搭乗者とも記載する）の注視対象物に基づいて提示スポット情報を決定する場合（ＣＡＳＥ１）、特定の発話を行った搭乗者ＰＡ（以下、発話搭乗者とも記載する）の注視対象物に基づいて提示スポット情報を決定する場合（ＣＡＳＥ２）および二人以上の搭乗者ＰＡの注視対象物に基づいて提示スポット情報を決定する場合（ＣＡＳＥ３）の３つを例にあげて説明する。

［ＣＡＳＥ１．特定搭乗者の注視対象物に基づいて提示スポット情報を決定］
スポット情報決定部２５２は、たとえば所定のグループのうちの一人の搭乗者ＰＡ（特定搭乗者）が見ている先の注視対象物に関するスポット情報を提示スポット情報に決定する。

スポット情報決定部２５２は、たとえばグループの中で窓側に座っている搭乗者ＰＡを特定搭乗者とする。あるいは、視線が窓側を向いている搭乗者ＰＡが一人の場合、かかる搭乗者ＰＡを特定搭乗者としてもよい。または、１つの周辺スポットを見ている時間が最も長い搭乗者ＰＡを特定搭乗者としてもよい。

このように、一人の搭乗者ＰＡの視線情報に基づいて、少なくとも二人の搭乗者ＰＡに対して提示する提示情報を生成することで、搭乗者ＰＡ同士で容易に提示情報を共有することができる。

［ＣＡＳＥ２．発話搭乗者の注視対象物に基づいて提示スポット情報を決定］
スポット情報決定部２５２は、たとえば所定のグループのうち特定の発話をおこなった搭乗者ＰＡ（発話搭乗者）が見ている先の注視対象物に関するスポット情報を提示スポット情報に決定する。スポット情報決定部２５２は、発話情報生成部２１４が生成した発話情報に基づき、搭乗者ＰＡが発話した内容に場所を指す所定の疑問詞が含まれているか否かを判定する。スポット情報決定部２５２は、たとえば発話情報に含まれる発話データの文字列と、記憶部２７０に記憶されている所定の疑問詞とを比較することで、発話データの文字列に所定の疑問詞が含まれているか否かを判定する。

発話に所定の疑問詞が含まれている場合、スポット情報決定部２５２は、所定の疑問詞が含まれる発話を行った搭乗者ＰＡを発話搭乗者とする。スポット情報決定部２５２は、視線情報に基づき、発話取得時刻にかかる発話搭乗者が見ていた注視対象物のスポット情報を提示スポット情報に決定する。なお、この場合、スポット情報決定部２５２は、発話を行った発話搭乗者を特定搭乗者としているとも言える。

図６に示す例では、グループＧ４の搭乗者ＰＡ１が「あれは？」と発話した場合、スポット情報決定部２５２は、搭乗者ＰＡ１の視線Ｅ１の先にある注視対象物（図示せず）に関するスポット情報を提示スポット情報に決定する。また、グループＧ５の搭乗者ＰＡ３が「あれ何！」と発話した場合、スポット情報決定部２５２は、搭乗者ＰＡ３の視線Ｅ３の先にある注視対象物（図示せず）に関するスポット情報を提示スポット情報に決定する。なお、搭乗者ＰＡ１の注視対象物と搭乗者ＰＡ３の注視対象物は同じであっても異なっていてもよい。また、図６は、スポット情報決定部２５２が決定する提示スポット情報を説明する図である。

このように、搭乗者ＰＡの視線情報および発話情報に基づいて、少なくとも二人の搭乗者ＰＡに対して提示する提示情報を生成することで、発話搭乗者が見ている提示スポットに関する情報を搭乗者ＰＡに提示することができ、搭乗者ＰＡ同士で容易に提示情報を共有することができる。

［ＣＡＳＥ３．二人以上の搭乗者ＰＡの注視対象物に基づいて提示スポット情報を決定］
スポット情報決定部２５２は、二人以上の搭乗者ＰＡが見ている先の注視対象物に関するスポット情報を提示スポット情報に決定する。スポット情報決定部２５２は、たとえば二人以上の搭乗者ＰＡの視線情報を統計処理した結果に基づいて提示スポット情報を決定する。

具体的にスポット情報決定部２５２は、図３に示すように、二人以上の搭乗者ＰＡの視線情報を統計処理する統計処理部２５４を備え、統計処理部２５４の処理結果に基づいて提示スポット情報を決定する。

統計処理部２５４は、たとえば注視対象決定部２５１の決定結果に基づいて、所定のグループに属する搭乗者ＰＡが見ている注視対象物について、見ている搭乗者ＰＡの割合を注視対象物ごとに算出する。統計処理部２５４は、算出した割合が最も大きい注視対象物をスポット情報決定部２５２に出力する。スポット情報決定部２５２は、統計処理部２５４が算出した割合が最も大きい注視対象物に関するスポット情報を提示スポット情報に決定する。

図７に示す例では、統計処理部２５４は、グループＧ６に属する搭乗者ＰＡ１〜ＰＡ６の視線Ｅ１〜Ｅ６の先の注視対象物（図示せず）について、見ている搭乗者ＰＡの割合を注視対象物ごとに算出する。図７では、搭乗者ＰＡ１〜ＰＡ３、ＰＡ５、ＰＡ６が同じ注視対象物を見ており、搭乗者ＰＡ４が異なる注視対象物を見ているものとする。この場合、統計処理部２５４は、搭乗者ＰＡ１〜ＰＡ３、ＰＡ５、ＰＡ６が見ている注視対象物をスポット情報決定部２５２に出力し、スポット情報決定部２５２は、かかる注視対象物に関するスポット情報を提示スポット情報に決定する。なお、図７は、スポット情報決定部２５２が決定する提示スポット情報を説明する図である。

このように、視線情報の統計処理を行うことで、二人以上の搭乗者ＰＡのうちたとえば多数の搭乗者ＰＡが見ている周辺スポットに関する情報を、搭乗者ＰＡに提示することができ、複数の搭乗者ＰＡ同士で容易に情報を共有することができる。

なお、統計処理部２５４で行う統計処理は上述した例に限られない。統計処理部２５４が二人以上の視線情報の統計処理を行うことで、スポット情報決定部２５２が所定のグループに属する搭乗者ＰＡの多数が見ている注視対象物に関するスポット情報を提示スポット情報に決定できればよい。統計処理部２５４が、たとえば搭乗者ＰＡの視線の正規分布を求め、スポット情報決定部２５２が中央値にあたる視線の先の注視対象物を提示スポット情報に決定するようにしてもよい。このほかにも統計処理部２５４は種々の統計処理を行うようにしてもよい。

スポット情報決定部２５２は、ＣＡＳＥ１〜ＣＡＳＥ３のいずれか一つを実行して提示スポット情報を決定する。この場合、たとえばスポット情報決定部２５２が、あらかじめ実行するＣＡＳＥをＣＡＳＥ１〜ＣＡＳＥ３の中から一つ決定しておいてもよく、たとえば視線情報に基づいてＣＡＳＥ１〜ＣＡＳＥ３のどれを実行するか決定するようにしてもよい。

たとえばスポット情報決定部２５２は、複数の搭乗者ＰＡの視線のばらつきを算出し、ばらつきが大きい場合は、ＣＡＳＥ１またはＣＡＳＥ２を選択し、ばらつきが小さい場合は、ＣＡＳＥ３を選択する。ＣＡＳＥ１またはＣＡＳＥ２は、搭乗者ＰＡの発話の有無や発話に所定の疑問詞が含まれるか否かに応じて選択することができる。

このように、スポット情報決定部２５２は、多くの搭乗者ＰＡが同じ注視対象物を見ている場合は、多くの搭乗者ＰＡが見ている注視対象物に関するスポット情報を提示スポット情報に決定し、複数の搭乗者ＰＡが見ている注視対象物がそれぞれ異なる場合は特定の搭乗者ＰＡの視線情報に基づいて提示スポット情報を決定することができる。これにより、複数の搭乗者ＰＡの視線に応じて適切に提示スポット情報を決定することができる。

［３．２．５．３．提示対象決定部２５３］
提示対象決定部２５３は、スポット情報決定部２５２が決定した提示スポット情報を提示する搭乗者ＰＡである提示対象を決定する。具体的には、提示スポット情報に含まれる周辺スポットを見ている搭乗者ＰＡ、すなわち特定搭乗者、発話搭乗者や同じ周辺スポットを見ている二人以上の搭乗者ＰＡが属するグループを、提示スポット情報を提示するグループに決定する。なお、搭乗者ＰＡが複数のグループに属する場合、提示対象決定部２５３は、たとえば搭乗者ＰＡの人数が最も少ないグループを、提示スポット情報を提示するグループに決定するものとする。

図６の例では、提示対象決定部２５３は、搭乗者ＰＡ１が見ている注視対象物に関する提示スポット情報を、搭乗者ＰＡ１が属するグループＧ４に属する搭乗者ＰＡ１、ＰＡ２に提示すると決定する。また、図７の例では、提示対象決定部２５３は、搭乗者ＰＡ１〜ＰＡ３、ＰＡ５、ＰＡ６が見ている注視対象物に関する提示スポット情報を、グループＧ６に属する搭乗者ＰＡ１〜ＰＡ６に提示すると決定する。提示対象決定部２５３は、決定したグループを提示対象グループとして情報生成部２６０に出力する。

これにより、周辺スポットを見ている搭乗者ＰＡおよび周辺スポットを見ていない搭乗者ＰＡの両方にかかる周辺スポットに関する情報を提示することができ、周辺スポットを見ているか否かにかかわらず、搭乗者ＰＡ同士で容易に情報を共有することができる。

なお、ここでは、提示対象決定部２５３が、提示スポット情報に含まれる周辺スポットを見ている搭乗者ＰＡが属するグループを提示対象グループに決定するとしたがこれに限られない。たとえばかかる搭乗者ＰＡが属するグループに関連するグループを提示対象グループに決定してもよい。

たとえば、通路を挟んで右側のグループＧ３（図４参照）の提示スポット情報を、通路を挟んで左側のグループに提示するようにしてもよい。すなわち、提示対象決定部２５３が、通路を挟んで左側のグループを提示対象グループに決定する、あるいは車両Ｂに搭乗する全ての搭乗者ＰＡが含まれるグループを提示対象グループに決定するようにしてもよい。

これは、通路を挟んだ左右の座席からではそれぞれ反対側の車窓が見えにくいためである。そのため、たとえば右側のグループＧ３が見ている周辺スポットに関する情報を、通路を挟んで反対側のグループに提示することで、周辺スポットが見えにくいグループに対してもかかる周辺スポットの情報を提示することができる。このように関連するグループにも提示スポット情報を提示することで、搭乗者ＰＡ同士でより容易に情報を共有することができる。

なお、ここでは、グループ同士が関連するか否かはグループ設定部２２０が設定するものとする。互いに関連するグループとしては、上述したように通路を挟んで左右に位置するグループや隣接するグループなどがあげられる。

また、ここでは、提示対象決定部２５３が、提示スポット情報を提示する搭乗者ＰＡとしてグループを決定するとしたが、これに限られない。たとえば、発話搭乗者の発話に呼応して「どこ？」といった所定の疑問詞を発話した搭乗者ＰＡや、視線を動かし周辺スポットを探す動作を行った搭乗者ＰＡを、提示スポット情報を提示する搭乗者ＰＡとしてもよい。

このように、提示対象決定部２５３は、視線情報に基づいて提示対象を決定することで、提示スポットが見えない搭乗者ＰＡや提示スポットを探している搭乗者ＰＡなど、提示スポットを見ている搭乗者ＰＡに対しても提示スポット情報を提示することができる。これにより、搭乗者ＰＡ同士がより容易に情報を共有することができる。

［３．２．６．情報生成部２６０］
情報生成部２６０は、情報決定部２５０が決定した提示スポット情報に基づいて二人以上の搭乗者ＰＡに提示する提示情報を生成する。具体的には、情報生成部２６０は、提示情報として提示画像および音声案内情報を生成する。情報生成部２６０は、モード決定部２６１、画像生成部２６２および音声生成部２６３を備える。

［３．２．６．１．モード決定部２６１］
モード決定部２６１は、状態判定部２４０が判定した搭乗者ＰＡの状態に応じて、提示スポット情報を提示する提示モードを決定する。モード決定部２６１は、決定した提示モードを音声生成部２６３に出力する。

たとえば搭乗者ＰＡが覚醒している場合、モード決定部２６１は提示画像および音声案内情報を提示する第１モードを提示モードに決定する。また、搭乗者ＰＡが睡眠中である場合、モード決定部２６１は提示情報として提示画像を提示する第２モードを提示モードに決定する。

このように、搭乗者ＰＡが睡眠中である場合、かかる搭乗者ＰＡに音声案内情報を提示しないことで、搭乗者ＰＡの睡眠を妨害することを抑制することができる。一方、睡眠中の搭乗者ＰＡに対しても提示画像を提示することで、たとえば搭乗者ＰＡが覚醒した場合にかかる搭乗者ＰＡに提示情報を提示することができる。

［３．２．６．２．画像生成部２６２］
画像生成部２６２は、スポット情報決定部２５２が決定した提示スポット情報に基づいて提示画像を生成する。提示画像は、たとえば提示スポット情報に含まれる周辺スポット（以下、提示スポットと記載する）の外観を示す画像に、提示スポットの名称や説明文を重畳させた画像である。

図８は、提示画像の一例を示す図である。図８に示すように、画像生成部２６２は、提示スポット情報に関する画像Ｐ１１に加え、たとえば提示スポット情報に含まれる情報の詳細情報を示すアイコン画像Ｐ１２〜Ｐ１５や、提示スポット近傍の周辺スポットに関するスポット情報を示す画像Ｐ１６〜Ｐ１９を重畳した画像を提示画像Ｐ２としてもよい。

また、提示スポット近傍の周辺スポットは、たとえば提示対象グループに属する搭乗者ＰＡの視線の先に存在する周辺スポットであってもよい。これにより、提示スポット情報だけでなく、提示対象グループに属するその他の搭乗者ＰＡが見ている周辺スポットに関するスポット情報も、提示対象グループに対して提示できるようになる。

画像生成部２６２は、提示対象グループに属する搭乗者ＰＡに対応する情報提示端末２０に生成した提示画像を出力することで、かかる搭乗者ＰＡに提示画像を提示する。なお、たとえば図７に示すように、たとえば情報提示端末２０の表示部１３０が車両前方に配置されるなど、複数の搭乗者ＰＡに対して１つの表示部１３０が設置されている場合は、画像生成部２６２は、かかる情報提示端末２０の表示部１３０に提示画像を表示させることで、搭乗者ＰＡに提示画像を提示する。

なお、たとえば情報提示端末２０の入力部（図示せず）が、画面のタップやフリックなど所定の操作を受け付けた場合、画像生成部２６２は、たとえば一つ前の提示画像を生成して情報提示端末２０に出力するなど、入力部が受け付けた所定の操作に応じた提示画像を搭乗者ＰＡに提示する。

また、たとえば搭乗者ＰＡが子供である場合は、提示スポットの名称や説明分をひらがなで表示するなど、搭乗者ＰＡの属性に応じた提示画像を生成するようにしてもよい。

［３．２．６．３．音声生成部２６３］
音声生成部２６３は、モード決定部２６１が提示モードとして第１モードに決定した場合に、スポット情報決定部２５２が決定した提示スポット情報に基づいて音声案内情報を生成する。音声生成部２６３は、たとえば提示画像に含まれる周辺スポットの名称や説明文を読み上げる音声信号を音声案内情報として生成する。音声生成部２６３は、提示対象グループに属する搭乗者ＰＡに対応する情報提示端末２０に生成した音声案内情報を出力することで、かかる搭乗者ＰＡに音声案内情報を提示する。

なお、たとえば情報提示端末１０の入力部（図示せず）が、画面のタップやフリックなど所定の操作を受け付けた場合、音声生成部２６３は、たとえば一つ前の音声案内情報を生成して情報提示端末１０に出力するなど、入力部が受け付けた所定の操作に応じた音声案内情報を搭乗者ＰＡに提示する。あるいは音声案内情報の提示を停止するようにしてもよい。

なお、ここでは、提示情報として、提示スポットの名称や説明文を重畳させた提示画像やかかる名称や説明分を読み上げる音声案内情報を搭乗者ＰＡに提示するものとしたが、これに限られない。たとえば情報生成部２６０が、提示スポット情報に含まれる周辺スポット（提示スポット）の方向に関する情報を含んだ提示情報を生成するようにしてもよい。

たとえば、情報生成部２６０は、車両Ｂの進行方向に対して提示スポットが存在する方向を含む情報を提示情報として生成する。たとえば車両Ｂの進行方向に対して右側４５度の方向に提示スポットとして「○×山」が存在する場合、情報生成部２６０は、「前方右手４５度の方向に○×山が見えます」といった文章を提示画像に重畳する、あるいはかかる文章を読み上げる音声案内情報を生成する。これにより、提示スポットがどの方向に存在するのか、搭乗者ＰＡにわかりやすく提示することができる。

なお、情報生成部２６０が提示スポットの方向を提示する方法はこれに限られない。たとえば、搭乗者ＰＡの視線および提示スポットの方向に応じて提示情報を生成するようにしてもよい。たとえば、提示スポットとして「○×山」が搭乗者ＰＡの視線より右側に存在している場合に、情報生成部２６０が「もう少し右側に○×山が見えます」といった文章を読み上げる音声案内情報を生成する。これにより、搭乗者ＰＡがどちらを見れば提示スポットを視認できるかを、よりわかりやすく提示することができる。

［３．２．７．記憶部２７０］
記憶部２７０は、音声特徴や車両Ｂの座席配置など、情報生成装置２０の各部が行う処理に必要な情報を記憶する。また、記憶部２７０は、情報生成装置２０の各部が行う必要な情報を記憶する。

記憶部２７０は、例えばＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。

［４．情報生成処理］
図９を用いて、情報生成装置２０が行う情報生成処理について説明する。図９は、本実施形態に係る情報生成処理を示すフローチャートである。

情報生成装置２０は、情報提示端末１０から受け取った撮像画像および音声信号に基づいて複数の搭乗者ＰＡごとの視線情報および音声情報を生成する（ステップＳ１０１）。情報生成装置２０は、車両Ｂの現在地に応じてスポット情報を抽出する（ステップＳ１０２）。

情報生成装置２０は、視線情報および音声情報の少なくとも一つに基づいて、ステップＳ１０２で抽出したスポット情報の中から、二人以上の搭乗者ＰＡに提示する提示スポット情報を決定する（ステップＳ１０３）。また、情報生成装置２０は、視線情報に基づいて、ステップＳ１０３で決定した提示スポット情報を提示するグループを提示対象グループとして決定する（ステップＳ１０４）。

情報生成装置２０は、ステップＳ１０３で決定した提示スポット情報に基づいて提示情報を生成し（ステップＳ１０５）、ステップＳ１０４で決定した提示対象グループに提示する。

なお、図９に示す提示情報生成処理のステップＳ１０１とステップＳ１０２とを入れ替えて処理を実行してもよい。

［５．ハードウェア構成］
本実施形態に係る情報生成装置２０は、図１０に一例として示す構成のコンピュータ６００で実現することができる。図１０は、情報生成装置２０の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ６００は、ＣＰＵ（Central Processing Unit）６１０と、ＲＯＭ（Read Only Memory）６２０と、ＲＡＭ（Random Access Memory）６３０と、ＨＤＤ（Hard Disk Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。

なお、コンピュータ６００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。

ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、ディスプレイ等の表示部、スピーカ等の出力部、キーボードやマウス、ボタン等の入力部を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、入力部からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示部や出力部に出力する。

例えば、コンピュータ６００が情報生成装置２０として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、搭乗者情報生成部２１０、グループ設定部２２０、抽出部２３０、状態判定部２４０、情報決定部２５０および情報生成部２６０の各部の機能を実現する。

なお、ここでは、情報生成装置２０を、図１０に一例として示す構成のコンピュータ６００で実現する場合について説明したが、情報提示端末１０も同様に図１０に一例として示す構成のコンピュータ６００で実現できる。

例えば、コンピュータ６００が情報提示端末１０として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。

コンピュータ６００のＣＰＵ６１０は、例えばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。

以上のように、本実施形態に係る情報生成装置２０は、少なくとも一人の搭乗者ＰＡの視線情報に基づいて、少なくとも二人の搭乗者ＰＡに対して提示する提示情報を生成することで、搭乗者ＰＡ同士で容易に提示情報を共有することができる。

［６．変形例］
以上、本発明の実施形態について説明してきたが、この発明は上記実施形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施形態および以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上述した実施形態では、情報生成装置２０が、提示画像に提示スポット情報に加え、提示スポット近傍の周辺スポットに関するスポット情報を重畳する場合について説明したが、これに限られない。たとえば、統計処理部２５４の処理結果に応じて、画像生成部２６２が提示画像に周辺スポットに関するスポット情報を重畳するようにしてもよい。

具体的には、たとえば、統計処理部２５４が算出する注視対象物を見ている搭乗者ＰＡの割合に応じて、画像生成部２６２は提示画像に注視対象物に関するスポット情報を重畳するようにする。このとき、たとえば見ている搭乗者ＰＡの割合が大きい注視対象物に関するスポット情報は大きな画像で表示し、割合が小さい注視対象物に関するスポット情報は小さな画像で表示するなど、統計処理部２５４が算出する割合に応じた大きさの画像を重畳する。

これにより、搭乗者ＰＡに、車両周辺にどのようなスポットがあるか提示することができるとともに、どのスポットをどれくらいの搭乗者ＰＡが見ているのか視覚的にわかりやすく提示することができる。

また、上述した実施形態では、情報提示端末１０が周辺スポットの音声案内を行うとしたが、これに限られない。たとえば車両Ｂに周辺スポットの案内を行う乗務員が搭乗している場合は、かかる乗務員が音声案内情報に含まれる情報を案内するようにしてもよい。

この場合、乗務員の視線の先にある周辺スポットに関するスポット情報を、車両Ｂに搭乗する複数の搭乗者ＰＡに提示するようにしてもよい。具体的には、情報生成装置２０は、乗務員を特定搭乗者として、乗務員の視線情報に基づいて提示情報を生成する。

これにより、乗務員が案内に合わせて提示情報を切り替える必要がなくなり、乗務員が搭乗者ＰＡに対してより容易に案内を行うことができるようになる。また、あらかじめ案内する周辺スポットを決定しておく必要がなく、搭乗者ＰＡの要望等によって案内内容が変更になった場合であっても、変更された案内に応じた提示情報を搭乗者ＰＡに容易に提示することができるようになる。

上記実施形態に係る情報生成装置２０は、視線情報生成部２１２と、情報決定部２５０と、情報生成部２６０と、を備える。視線情報生成部２１２は、移動体（車両Ｂ）に搭乗する複数の搭乗者ＰＡをそれぞれ撮像した撮像画像に基づき、一人以上の搭乗者ＰＡの視線情報を生成する。情報決定部２５０は、視線情報生成部２１２が生成した視線情報に基づき、移動体（車両Ｂ）の周辺スポットに関するスポット情報の中から二人以上の搭乗者ＰＡに提示する提示スポット情報を決定する。情報生成部２６０は、情報決定部２５０が決定した提示スポット情報に基づいて、二人以上の搭乗者ＰＡに提示する提示情報を生成する。

これにより、一人以上の搭乗者ＰＡが見ている周辺スポットに関する情報を二人以上の搭乗者ＰＡに提示することができ、搭乗者ＰＡ同士で容易に情報を共有することができる。

上記実施形態に係る情報生成装置２０の視線情報生成部２１２は、二人以上の搭乗者ＰＡの視線情報を生成する。情報決定部２５０は、二人以上の搭乗者ＰＡの視線情報を統計処理した結果に基づき、提示スポット情報を決定する。

これにより、二人以上の搭乗者ＰＡのうちたとえば多数の搭乗者ＰＡが見ている周辺スポットに関する情報を、搭乗者ＰＡに提示することができ、複数の搭乗者ＰＡ同士で容易に情報を共有することができる。

上記実施形態に係る情報生成装置２０の情報決定部２５０は、視線情報生成部２１２が視線情報を生成した二人以上の搭乗者ＰＡのうち少なくとも一人の搭乗者ＰＡを、提示情報を提示する提示対象に決定する提示対象決定部２５３を備える。

これにより、周辺スポットを見ている搭乗者ＰＡおよび周辺スポットを見ていない搭乗者ＰＡの両方にかかる周辺スポットに関する情報を提示することができ、周辺スポットを見ているか否かにかかわらず、搭乗者ＰＡ同士で容易に情報を共有することができる。

上記実施形態に係る情報生成装置２０の提示対象決定部２５３は、視線情報に基づき、提示対象を決定する。

これにより、搭乗者ＰＡが見ている先に応じて提示スポット情報を提示することができ、提示スポット情報を提示すべき搭乗者ＰＡに提示することができるようになる。

上記実施形態に係る情報生成装置２０は、一人以上の搭乗者ＰＡの発話を含む発話情報を生成する発話情報生成部２１４をさらに備える。情報生成装置２０の情報決定部２５０は、発話情報生成部２１４が生成した発話情報および視線情報生成部２１２が生成した視線情報に基づき、提示スポット情報を決定する。

これにより、搭乗者ＰＡの視線および発話に応じて提示スポット情報を提示することができ、提示スポット情報を提示すべき搭乗者ＰＡに提示することができるようになる。

上記実施形態に係る情報生成装置２０は、撮像画像に基づき、搭乗者ＰＡの状態を判定する状態判定部２４０をさらに備える。情報生成装置２０の情報生成部２６０は、状態判定部２４０が判定した状態に応じて提示スポット情報を提示する提示モードを決定するモード決定部２６１を備え、モード決定部２６１が決定した提示モードに応じた提示情報を生成する。

これにより、たとえば睡眠中の搭乗者ＰＡには音声案内情報を提示しないなど、搭乗者ＰＡの状態に応じて提示情報を提示することができる。

上記実施形態に係る情報生成装置２０は、移動体（車両Ｂ）の移動状況に応じて、スポット情報を抽出する抽出部２３０をさらに備える。情報決定部２５０は、抽出部２３０が抽出したスポット情報のなかから提示スポット情報を決定する。

これにより、移動体（車両Ｂ）の移動状況によって搭乗者ＰＡが視認できない周辺スポットのスポット情報を抽出しないようにすることができる。すなわち、搭乗者ＰＡが視認できる周辺スポットのスポット情報を抽出することができる。そのため、情報決定部２５０が決定する提示スポット情報の候補であるスポット情報の数を削減することができ、情報決定部２５０が提示スポット情報の決定を高速に行うことができる。これにより、搭乗者ＰＡにより速く提示情報を提示することができるようになる。

上記実施形態に係る情報提示システム１は、撮像部１１０と、視線情報生成部２１２と、情報決定部２５０と、情報生成部２６０と、提示部１００と、を備える。撮像部１１０は、移動体（車両Ｂ）に搭乗する複数の搭乗者ＰＡをそれぞれ撮像し、撮像画像を生成する。視線情報生成部２１２は、撮像部１１０が撮像した撮像画像に基づいて一人以上の搭乗者ＰＡの視線情報を生成する。情報決定部２５０は、視線情報生成部２１２が生成した視線情報に基づき、移動体（車両Ｂ）の周辺スポットに関するスポット情報の中から二人以上の搭乗者ＰＡに提示する提示スポット情報を決定する。情報生成部２６０は、情報決定部２５０が決定した提示スポット情報に基づいて、二人以上の搭乗者ＰＡに提示する提示情報を生成する。提示部１００は、情報生成部２６０が生成した提示情報を二人以上の搭乗者ＰＡに提示する。

これにより、一人以上の搭乗者が見ている周辺スポットに関する情報を二人以上の搭乗者ＰＡに提示することができ、搭乗者ＰＡ同士で容易に情報を共有することができる。

上記実施形態に係る情報提示方法は、視線情報生成行程と、視線情報生成行程と、情報生成行程と、を含む。視線情報生成行程では、移動体（車両Ｂ）に搭乗する複数の搭乗者ＰＡをそれぞれ撮像した撮像画像に基づき、一人以上の搭乗者ＰＡの視線情報を生成する。視線情報生成行程では、視線情報生成行程で生成した視線情報に基づき、移動体（車両Ｂ）の周辺スポットに関するスポット情報の中から二人以上の搭乗者ＰＡに提示する提示スポット情報を決定する。情報生成行程では、情報決定行程で決定した提示スポット情報に基づいて、二人以上の搭乗者ＰＡに提示する提示情報を生成する。

これにより、一人以上の搭乗者ＰＡが見ている周辺スポットに関する情報を二人以上の搭乗者ＰＡに提示することができ、搭乗者ＰＡ同士で容易に情報を共有することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 情報提示システム
１０ 情報提示端末
１００ 提示部
１１０ 撮像部
１２０ 音声入力部
２０ 情報生成装置
２１０ 搭乗者情報生成部
２１２ 視線情報生成部
２１４ 音声情報生成部
２３０ 抽出部
２４０ 状態判定部
２５０ 情報決定部
２５３ 提示対象決定部
２６０ 情報生成部
２６１ モード決定部

Claims (9)

1. 移動体に搭乗する複数の搭乗者を撮像した撮像画像に基づき、一人以上の搭乗者の視線情報を生成する視線情報生成部と、
   前記視線情報生成部が生成した前記視線情報に基づき、前記移動体の周辺スポットに関するスポット情報の中から二人以上の前記搭乗者に提示する提示スポット情報を決定する情報決定部と、
   前記情報決定部が決定した前記提示スポット情報に基づいて、前記二人以上の搭乗者に提示する提示情報を生成する情報生成部と、
   を備えることを特徴とする情報生成装置。
2. 前記視線情報生成部は、
   二人以上の前記搭乗者の前記視線情報を生成し、
   前記情報決定部は、
   前記二人以上の搭乗者の前記視線情報を統計処理した結果に基づき、前記提示スポット情報を決定すること
   を特徴とする請求項１に記載の情報生成装置。
3. 前記情報決定部は、
   前記視線情報生成部が前記視線情報を生成した前記二人以上の搭乗者のうち少なくとも一人の前記搭乗者を、前記提示情報を提示する提示対象に決定する提示対象決定部を備えること
   を特徴とする請求項２に記載の情報生成装置。
4. 前記提示対象決定部は、
   前記視線情報に基づき、前記提示対象を決定すること
   を特徴とする請求項３に記載の情報生成装置。
5. 前記一人以上の搭乗者の発話を含む発話情報を生成する発話情報生成部をさらに備え、
   前記情報決定部は、
   前記発話情報生成部が生成した前記発話情報および前記視線情報生成部が生成した前記視線情報に基づき、前記提示スポット情報を決定すること
   を特徴とする請求項１〜４のいずれか一項に記載の情報生成装置。
6. 前記撮像画像に基づき、前記搭乗者の状態を判定する状態判定部をさらに備え、
   前記情報生成部は、
   前記状態判定部が判定した前記状態に応じて前記提示スポット情報を提示する提示モードを決定するモード決定部を備え、
   前記モード決定部が決定した提示モードに応じた前記提示情報を生成すること
   を特徴とする請求項１〜５のいずれか一項に記載の情報生成装置。
7. 前記移動体の移動状況に応じて、前記スポット情報を抽出する抽出部をさらに備え、
   前記情報決定部は、
   前記抽出部が抽出した前記スポット情報のなかから前記提示スポット情報を決定すること
   を特徴とする請求項１〜６のいずれか一項に記載の情報生成装置。
8. 移動体に搭乗する複数の搭乗者を撮像し、撮像画像を生成する撮像部と、
   前記撮像部が撮像した前記撮像画像に基づいて一人以上の搭乗者の視線情報を生成する視線情報生成部と、
   前記視線情報生成部が生成した前記視線情報に基づき、前記移動体の周辺スポットに関するスポット情報の中から二人以上の前記搭乗者に提示する提示スポット情報を決定する情報決定部と、
   前記情報決定部が決定した前記提示スポット情報に基づいて、前記二人以上の搭乗者に提示する提示情報を生成する情報生成部と、
   前記情報生成部が生成した前記提示情報を前記二人以上の搭乗者に提示する提示部と、
   を備えることを特徴とする情報提示システム。
9. 移動体に搭乗する複数の搭乗者を撮像した撮像画像に基づき、一人以上の搭乗者の視線情報を生成する視線情報生成行程と、
   前記視線情報生成行程で生成した前記視線情報に基づき、前記移動体の周辺スポットに関するスポット情報の中から二人以上の前記搭乗者に提示する提示スポット情報を決定する情報決定行程と、
   前記情報決定行程で決定した前記提示スポット情報に基づいて、前記二人以上の搭乗者に提示する提示情報を生成する情報生成行程と、
   を含むことを特徴とする情報生成方法。

Images