JP2020144552A - 情報提供装置および情報提供方法 - Google Patents

Abstract

【課題】ユーザビリティを向上させる情報提供装置および情報提供方法を提供する。【解決手段】画像処理システムの情報提供装置１において、制御部２は、認識部２１と、特定部２３と、提供部２４とを備える。認識部は、対象物に対する問いかけ操作を認識する。特定部は、認識部によって認識された問いかけ操作に基づいて対象物を特定する。提供部は、特定部によって特定された対象物のコンテンツを乗員へ提供する。【選択図】図２

Description

本発明は、情報提供装置および情報提供方法に関する。

従来、例えば、ナビゲーション装置において、画面上に表示した地図上で選択された対象物に関する詳細情報を画面上に表示するものがある（例えば、特許文献１参照）。

特開２０１５−０３４７６７号公報

しかしながら、従来技術では、例えば、ドライバが走行中に地図上から対象物を選択する、あるいは、後部座席の乗員がかかる対象物を選択することが難しく、ユーザビリティを向上させるうえで改善の余地があった。

本発明は、上記に鑑みてなされたものであって、ユーザビリティを向上させることができる情報提供装置および情報提供方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る情報提供装置は、認識部と、特定部と、提供部とを備える。前記認識部は、対象物に対する問いかけ操作を認識する。前記特定部は、前記認識部によって認識された問いかけ操作に基づいて対象物を特定する。前記提供部は、前記特定部によって特定された対象物のコンテンツを前記乗員へ提供する。

本発明によれば、ユーザビリティを向上させることができる。

図１Ａは、情報提供装置の搭載例を示す図である。 図１Ｂは、情報提供方法の概要を示す図である。 図１Ｃは、情報提供システムの構成例を示す図である。 図２は、画像処理システムのブロック図である。 図３は、対象物の検索範囲の設定例を示す図である。 図４は、車外画像における対象範囲の一例を示す図である。 図５は、コンテンツの表示例を示す図である。 図６は、選択画像の一例を示す図である。 図７は、重畳画像の具体例を示す図である。 図８は、情報提供装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する情報提供装置および情報提供方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて、実施形態に係る情報提供装置および情報提供方法の概要について説明する。図１Ａは、情報提供装置の搭載例を示す図である。図１Ｂは、情報提供方法の概要を示す図である。

図１Ａに示すように、実施形態に係る情報提供装置１は、車両に搭載される。車両には、車外を撮像する車外カメラ１２が設けられる。図１Ａに示す例では、車外カメラ１２が車両の前方を撮像するカメラである場合を示している。しかしながら、車外カメラ１２は、車両の前方に限られず、車両の左右や後方を撮像するものを含むものとする。

また、ここでは図示を省略したが、車両には、車内を撮像する車内カメラや、車内の乗員の音声を集音するマイクなどが設けられる。

実施形態に係る情報提供装置１は、例えば、車外の対象物（建造物、モニュメント等）に対するコンテンツを乗員に対して提供するものである。具体的には、情報提供装置１は、例えば、車両の走行中などにおいて、乗員の視界に気になる建物が入った場合に、かかる建物に関するコンテンツを提供する。

ところで、一般的に、車外の建物に関する情報は、ナビゲーション装置等の車載装置に内蔵されたデータベースに登録される。車両のドライバが運転中に気になる対象物を発見したとしても、かかる対象物に関する情報（コンテンツ）を得るためには、例えば、車両を停車させて、車載装置に対して操作を行う必要がある。

また、一般的に、車載装置に対する操作は、前席（運転席や助手席）の乗員が行う必要があるため、後部座席の乗員が車載装置を操作すること自体が困難となる。すなわち、従来技術においては、各乗員がリアルタイムで対象物に関するコンテンツを得ることが困難である。

これに対して、実施形態に係る情報提供方法では、音声操作やジェスチャー操作による簡易な操作を受け付けるとともに、かかる操作に基づき、対象物を特定することとした。さらに、実施形態に係る情報提供方法では、車外カメラ１２によって撮像されたカメラ画像からリアルタイムで対象物を特定する。

具体的には、実施形態に係る情報提供方法では、例えば、図１Ｂに示すように、問いかけ操作を認識する（ステップＳ１）。ここで、問いかけ操作とは、車窓から見える対象物に対して問いかける操作である。実施形態に係る情報提供方法では、後述するように、車内の乗員によるジェスチャー操作や所定の音声操作を問いかけ操作として認識することが可能である。

続いて、実施形態に係る情報提供方法では、ステップＳ１にて認識した問いかけ操作に基づいて対象物を特定する（ステップＳ２）。実施形態に係る情報提供方法では、問いかけ操作に基づき、車外カメラ１２によって撮像された車外画像Ｉｏから対象物を特定する。

具体的には、問いかけ操作が対象物を指差すジェスチャー操作である場合、かかるジェスチャー操作が指し示す方角にある建物等を対象物として特定する。図１Ｂに示す例では、対象物がポートタワーである場合を示す。

続いて、実施形態に係る情報提供方法では、特定した対象物のコンテンツを提供する（ステップＳ３）。例えば、実施形態に係る情報提供方法では、予め記憶したマップ情報から対象物に関するコンテンツを読み出して、提供することができる。図１Ｂに示す例では、車外画像Ｉｏに写る対象物をマークＭで囲うとともに、コンテンツＣが吹き出しにて表示される場合を示す。

例えば、実施形態に係る情報提供方法では、車外画像Ｉｏを車内のディスプレイに表示したり、乗員の端末装置へ転送したりすることで、コンテンツＣを提供することができる。また、実施形態に係る情報提供方法では、問いかけ操作を行った乗員から見た対象物への視線上（例えば、窓ガラス）にコンテンツＣを重畳させて提供することも可能である。

また、図１Ｂに示す例では、コンテンツＣが対象物の名称などを含む情報である場合を示す。実施形態に係る情報提供方法では、例えば、乗員の嗜好などの情報に基づいてコンテンツＣを乗員毎に変更することも可能である。言い換えれば、同一の対象物であっても、各乗員の興味にあわせて異なるコンテンツＣを提供することも可能である。

このように、実施形態に係る情報提供方法では、ジェスチャー操作や音声操作による問いかけ操作を認識し、かかる問いかけ操作に基づいて対象物を特定する。そして、実施形態に係る情報提供方法では、特定した対象物に関するコンテンツを乗員に対して提供する。

これにより、乗員は、情報提供装置１を直接操作することなく、簡便な操作で所望する対象物に関するコンテンツを得ることが可能となる。したがって、実施形態に係る情報提供方法によれば、ユーザビリティを向上させることが可能となる。

次に、図１Ｃを用いて、実施形態に係る情報提供システムの構成例について説明する。図１Ｃは、情報提供システムの構成例を示す図である。

図１Ｃに示すように、情報提供システムＳは、各車両に搭載された情報提供装置１に加え、端末装置４０およびサーバ装置１００をさらに備える。

端末装置４０は、例えば、各車両の乗員が所有するスマートフォン、タブレット端末等を含む。例えば、端末装置４０は、情報提供装置１と連携するアプリケーションによって、情報提供装置１およびサーバ装置１００と協調して動作する。

例えば、情報提供システムＳにおいて、情報提供装置１、端末装置４０およびサーバ装置１００は、ネットワークＮを介して相互に通信することが可能である。なお、例えば、情報提供装置１および端末装置４０間は、ネットワークＮとは異なる近距離無線通信を行うことにしてもよい。

サーバ装置１００は、例えば、最新のマップ情報や、コンテンツ情報などを記憶するサーバである。サーバ装置１００は、所定周期で各情報提供装置１のマップ情報を更新することで、各情報提供装置１に格納されるマップ情報を最新のものにすることができる。

次に、図２を用いて実施形態に係る情報提供システムＳの構成例について説明する。図２は、情報提供システムＳのブロック図である。なお、ここでは、サーバ装置１００と、情報提供装置１とのそれぞれの構成例について説明する。

まず、サーバ装置１００について説明する。図２に示すように、サーバ装置１００は、制御部１１０と、記憶部１２０とを備える。制御部１１０は、サーバ装置１００全体を制御するＣＰＵである。

記憶部１２０は、例えば、ＨＤＤなどの記憶媒体である。記憶部１２０には、マップ情報ＤＢ１２１およびユーザ情報ＤＢ１２２が記憶される。マップ情報ＤＢ１２１は、最新の地図情報を記憶するデータベースである。例えば、マップ情報ＤＢ１２１には、上記の対象物の候補となる建物、店舗、山、川などといったランドマークの位置情報、ランドマークの外観に関する特徴情報、ランドマーク毎のコンテンツ情報などが記憶される。

ユーザ情報ＤＢ１２２は、各乗員の趣味嗜好などに関する情報を記憶するデータベースである。例えば、情報提供システムＳでは、乗員の端末装置４０の操作履歴（Ｗｅｂの閲覧履歴など）等のログを収集し、かかるログに基づいて趣味嗜好を推定することが可能である。

制御部１１０は、各情報提供装置１から送信される各車両の位置情報に基づいて、各車両の現在地周辺のマップ情報を各情報提供装置１へ送信する。すなわち、車両の現在地において、乗員から見えるエリアのマップ情報をマップ情報ＤＢ１２１から読み出して、各情報提供装置１へ送信する。

このとき、制御部１１０は、ユーザ情報ＤＢ１２２を参照して乗員の趣味嗜好に応じて、マップ情報に含まれるコンテンツＣを変更することも可能である。すなわち、制御部１１０は、乗員毎にコンテンツＣを最適化することができる。

情報提供装置１は、図２に示すように、車内カメラ１０、マイク１１、車外カメラ１２およびＧＰＳ（Global Positioning System）装置１３および表示装置５０に接続される。車内カメラ１０は、車内の乗員を撮像するカメラである。車内カメラ１０は、所定のフレームレートで乗員を撮像し、撮像毎にカメラ画像を情報提供装置１へ入力する。なお、車内カメラ１０を座席ごとに設けるなど、複数設けることにしてもよい。

マイク１１は、車内の乗員の発話音声を集音し、音声信号を情報提供装置１へ入力する。車外カメラ１２は、上述した車外画像Ｉｏを撮像するカメラである。ＧＰＳ装置１３は、ＧＰＳアンテナを有しており、車両の現在地を検出する装置である。

表示装置５０は、情報提供装置１によって提供されるコンテンツを表示する表示装置である。例えば、本実施形態において、表示装置５０は、車両のフロントガラスや、サイドガラス、リアガラスなどをスクリーンとする透過性ディスプレイである。

図２に示すように、実施形態に係る情報提供装置１は、制御部２と、記憶部３とを備える。制御部２は、認識部２１と、取得部２２と、特定部２３と、提供部２４と、更新部２５とを備える。記憶部３は、キーワード情報３１と、画像情報３２と、マップ情報３３とを記憶する。

情報提供装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の認識部２１、取得部２２、特定部２３、提供部２４および更新部２５として機能する。

また、制御部２の認識部２１、取得部２２、特定部２３、提供部２４および更新部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、キーワード情報３１、画像情報３２、マップ情報３３や各種プログラムの情報等を記憶することができる。なお、情報提供装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

キーワード情報３１は、問いかけ操作のキーワードに関する情報である。例えば、キーワード情報３１は、「あれなに？」などの車外の対象物を問いかけるキーワードに関する情報である。なお、外国人観光客を対象とする場合も想定されるため、キーワード情報３１は、複数の言語に対応していることが好ましい。

画像情報３２は、車外画像Ｉｏに関する情報である。例えば、車外画像Ｉｏに対して、車外画像Ｉｏの撮像位置、撮像時刻が対応付けられて画像情報３２として記憶部３に記憶される。なお、画像情報３２は、車内が撮像された車内画像を含むことにしてもよい。

マップ情報３３は、対象物の候補となるランドマークに関する情報である。例えば、ランドマークの位置情報、構造的特徴、写真、コンテンツに関する情報がマップ情報３３として記憶部３に記憶される。

制御部２は、問いかけ操作を認識し、問いかけ操作に対応する対象物を特定するとともに、対象物に関するコンテンツを提供する。

認識部２１は、車内の乗員による車外の対象物に対する問いかけ操作を認識する。本実施形態において、認識部２１は、ジェスチャー操作や音声操作による問いかけ操作を認識する。

具体的には、認識部２１は、車内の乗員が撮像された車内画像からジェスチャー操作を認識することができる。例えば、認識部２１は、車内画像において、乗員の手の位置をトラッキングしておく。

そして、認識部２１は、乗員の手が車外を指し示すジェスチャー操作を行った場合に、かかるジェスチャー操作を問いかけ操作として認識する。すなわち、認識部２１は、乗員が指で車外を指し示した場合に、問いかけ操作として認識することとなる。

また、認識部２１は、乗員の発話音声を解析し、キーワード情報３１として格納されたキーワードと一致する場合に、音声操作に基づいて問いかけ操作を認識することができる。なお、この場合、認識部２１は、キーワードの前後の音声から対象物に関するキーワードを抽出することもできる。

この場合におけるキーワードは、色、形状、位置などを示すワードである。すなわち、「あの白いビルなに？」といった発話音声からは、対象物が「白色」であり、対象物が「ビル」であると推定することができる。

また、「白いビルの奥に見える建物なに？」との会話からは、対象物が白いビルよりも奥側（車両から遠い位置）に位置していると推定することができる。このように、認識部２１は、会話から対象物に関するキーワードを抽出することで、対象物の特定精度を向上させることができる。

取得部２２は、車外が撮像された車外画像Ｉｏを取得し、画像情報３２として記憶部３へ記憶する。このとき、取得部２２は、車外画像ＩｏにＧＰＳ装置１３から取得した位置情報や、車外画像Ｉｏに撮像時刻等を対応付けて画像情報３２として記憶する。

特定部２３は、認識部２１によって認識された問いかけ操作に基づいて取得部２２によって取得された車外画像Ｉｏから対象物を特定する。図３および図４を用いて、認識部２１から特定部２３による一連の処理について説明する。

図３は、対象物の検索範囲の設定例を示す図である。図４は、車外画像における対象範囲の一例を示す図である。図３に示すように、認識部２１は、問いかけ操作としてジェスチャー操作を認識した場合（ステップＳ１１）、かかるジェスチャー操作に基づいて対象物の検索範囲Ｒａを設定する（ステップＳ１２）。

図３に示す例では、例えば、ジェスチャー操作において、車両の前方を指し示す場合を示す。この場合、ジェスチャー操作によって指し示す方角ａを中心とする所定範囲が検索範囲Ｒａとして設定される。

なお、ここでは、認識部２１によるジェスチャー操作の認識誤差を考慮して、検索範囲Ｒａが方角ａを中心とした所定範囲である場合について示したが、検索範囲Ｒａを方角ａに設定することも可能である。

また、ここでは、車両から遠ざかるにつれて幅が広くなる検索範囲Ｒａを設定する場合を示したが、これに限定されるものではなく、検索範囲Ｒａは、車両からの距離によらず幅は一定であってもよい。

なお、例えば、認識部２１は、問いかけ操作として音声操作を認識した場合に、検索範囲Ｒａを車両の全周囲に設定することにしてもよいし、乗員の顔の向きや、目の向きを認識し、かかる顔の向きや目の向きに基づいて検索範囲Ｒａを設定することにしてもよい。すなわち、乗員の顔の向きや目の向きが方角ａとなるように検索範囲Ｒａを設定することも可能である。

図４に示すように、特定部２３は、検索範囲Ｒａに基づいて車外画像Ｉｏから対象物を特定する。特定部２３は、例えば、乗員の着座位置と、車外カメラ１２との位置関係に基づき、車外画像Ｉｏに検索範囲Ｒａを設定する。

その後、特定部２３は、所定の画像処理によって車外画像Ｉｏの検索範囲Ｒａから対象物を特定する。すなわち、予め検索範囲Ｒａを設定しておくことで、車外画像Ｉｏの全てから対象物を特定する場合に比べて、乗員が所望する対象物を容易に特定することができる。

また、上記のように、特定部２３は、対象物に関するキーワードに基づいて対象物の絞り込みを行うことにしてもよい。すなわち、色に関するキーワードが抽出された場合、かかる色を含むランドマークを対象物の候補として抽出する。言い換えれば、かかる色以外のランドマークを対象物の選定から除外する。

このように、特定部２３は、キーワードに基づいて対象物を絞り込むことで、対象物の特定を容易にすることが可能となる。

また、特定部２３は、車外画像Ｉｏから対象物を特定すると、例えば、車両を基準とする対象物の方位に基づいてマップ情報３３から対象物を特定する。すなわち、特定部２３は、特定した対象物をマップ情報３３と照合を行ったうえで、対象物を確定させる。

図２の説明に戻り、提供部２４について説明する。提供部２４は、特定部２３によって特定された対象物のコンテンツＣを乗員へ提供する。例えば、提供部２４は、特定部２３が対象物を特定した場合、対象物に関するコンテンツＣをマップ情報３３から選択する。

このとき、提供部２４は、乗員の趣味嗜好などに応じてコンテンツＣを選択することにしてもよい。例えば、提供部２４は、歴史に興味がある乗員に対して、対象物の歴史に関するコンテンツＣを選択したり、建築に興味がある乗員に対しては、建築方式に関するコンテンツＣを選択したりすることができる。

続いて、提供部２４は、乗員の顔と、対象物と位置関係に基づいて、コンテンツＣの表示位置を算出する。図５は、コンテンツＣの表示例を示す図である。なお、図５では、問いかけ操作を行った乗員が対象物をみたときのコンテンツＣの見え方を示す。

図５に示す透過性のスクリーンＳｃは、車両のフロントガラスやサイドガラス、リアガラスなどである。乗員は、このスクリーンＳｃを介して、対象物Ｔを視認することができる。

ここで、実施形態に係る情報提供装置１では、対象物ＴにコンテンツＣが重畳されるように、コンテンツＣを描画する描画枠Ｂｃを表示する。すなわち、提供部２４は、乗員と対象物とを結ぶ領域を対象物Ｔと、車両（乗員の顔）との位置関係に基づいて算出する。

そして、提供部２４は、乗員が対象物Ｔを見た際に、コンテンツＣが対象物Ｔに重畳するように、描画枠Ｂｃの表示位置を決定する。つまり、提供部２４は、乗員から見える実際の対象物Ｔに、コンテンツＣを重畳させて表示することで、乗員が視線移動を行うことなく、コンテンツＣを視認することができる。

尚、他の乗員へも当該コンテンツを提供するコンテンツ拡大提供モードを設け、コンテンツ拡大提供モードが選択設定されている場合には当該他の乗員が見た際に、コンテンツＣが対象物Ｔに重畳する位置にも描画枠を設定して表示を行うようにしても良い。その際、複数の描画枠が近い位置となる場合はそれら描画枠の間の位置等の対象の両乗員が視認し易い位置に統合して描画枠を設定するようにすれば良い。

また、提供部２４は、特定部２３が対象物を１つに絞り切れなかった場合、すなわち、対象物の候補が複数あった場合に、乗員に対して、対象物の選択を促す選択画像を表示する。

図６は、選択画像の一例を示す図である。図６に示すように、提供部２４は、対象物の候補それぞれを囲うマーカ画像Ｍ１およびマーカ画像Ｍ２や、「どちらのコンテンツを表示しますか？」などといった対象物の選択を促すテキストをスクリーンＳｃに表示する。

例えば、乗員は、ジェスチャー操作や、音声操作によって対象物を選択することが可能である。かかるジェスチャー操作や音声操作は、認識部２１（図２参照）によって認識され、提供部２４は、認識部２１による認識結果に基づいて対象物Ｔを確定させて、コンテンツＣを提供する。

このように、提供部２４は、対象物の候補が複数ある場合に、乗員の選択操作を受け付けることで、乗員が所望する対象物のコンテンツＣを確実に提供することができる。

また、提供部２４は、車外画像ＩｏにコンテンツＣを重畳した重畳画像を生成することも可能である。図７は、重畳画像の具体例を示す図である。なお、図７に示す例では、情報提供装置１から端末装置４０へ重畳画像が送信される場面を示している。

図７に示すように、重畳画像は、車外画像Ｉｏにおける対象物ＴにコンテンツＣを描画する描画枠Ｂｃが重畳された画像である。なお、ここでは、コンテンツＣの具体的な記載を省略しているが、実際には、描画枠ＢｃにコンテンツＣが重畳される。

上述のように、スクリーンＳｃにコンテンツＣを表示する場合、車両の移動に伴って、乗員から見える景色が変化するので、コンテンツＣが表示されなくなる。これに対して、提供部２４は、かかる重畳画像を端末装置４０へ通知することで、乗員は後からコンテンツＣを車外画像Ｉｏとともに見返すことが可能となる。

すなわち、重畳画像は、乗員がコンテンツＣを見逃した場合や、後から再度、コンテンツＣを確認したい場合などの要求に対して、特に有効となる。また、重畳画像を端末装置４０へ送信しておくことで、乗員は車内にいなくともコンテンツＣを自由に閲覧することができる。

このように、提供部２４は、重畳画像を生成することで、ユーザビリティを向上させることができる。なお、提供部２４は、プライバシー保護の観点から、例えば、車外画像Ｉｏに写る他車両や、人物をイラスト表示するなどの加工を施した重畳画像を生成することにしてもよい。

また、提供部２４は、スクリーンＳｃに用いるコンテンツＣと、重畳画像に用いるコンテンツＣとで、内容を変更することにしてもよい。例えば、提供部２４は、スクリーンＳｃ用のコンテンツＣを簡略的な内容とし、重畳画像用のコンテンツＣを詳細な内容にすることにしてもよい。

さらに、提供部２４は、例えば、乗員から指定された重畳画像のみを端末装置４０へ送信することもできる。この場合、スクリーンＳｃにコンテンツＣを表示した状態において、乗員から重畳画像の送信を指示するジェスチャー操作を認識部２１で認識する。

そして、提供部２４は、認識部２１によって上記のジェスチャー操作が認識された場合にのみ、スクリーンＳｃにて現在提供中のコンテンツＣに関する重畳画像を生成し、端末装置４０へ送信する。

図２の説明に戻り、更新部２５について説明する。更新部２５は、例えば、ＧＰＳ装置１３から通知される車両の現在地に基づいてマップ情報３３を更新する。具体的には、更新部２５は、例えば、所定周期で車両の現在地に関する情報をサーバ装置１００へ送信する。

例えば、サーバ装置１００では、各情報提供装置１に記憶されたマップ情報３３の更新履歴を管理しており、各車両の周辺において、最終更新日以降に更新された情報がないかをチェックする。

そして、サーバ装置１００は、更新された情報が有った場合に、更新された情報を情報提供装置１へ送信する。更新部２５は、かかる情報に基づいてマップ情報３３を更新することとなる。

次に、図８を用いて、実施形態に係る情報提供装置１が実行する処理手順について説明する。図８は、情報提供装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、制御部２によって繰り返し実行される。

図８に示すように、情報提供装置１は、まず、マップ情報３３を更新し（ステップＳ１０１）、問いかけ操作を認識したか否かを判定する（ステップＳ１０２）。情報提供装置１は、ステップＳ１０２の判定処理において、問いかけ操作を認識した場合（ステップＳ１０２，Ｙｅｓ）、問いかけ操作に基づいて検索範囲Ｒａを設定する（ステップＳ１０３）。

続いて、情報提供装置１は、検索範囲Ｒａに基づき、車外画像Ｉｏから対象物を特定し（ステップＳ１０４）、対象物の候補が複数か否かを判定する（ステップＳ１０５）。情報提供装置１は、対象物の候補が複数であった場合（ステップＳ１０５，Ｙｅｓ）、対象物の候補を表示し（ステップＳ１０６）、対象物の候補を選択する選択操作を受け付ける（ステップＳ１０７）。

一方、情報提供装置１は、対象物が１つであった場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０６およびステップＳ１０７の処理を省略する。続いて、情報提供装置１は、スクリーンＳｃ上にコンテンツＣを表示する表示位置を算出し（ステップＳ１０８）、コンテンツＣを生成する（ステップＳ１０９）。

そして、情報提供装置１は、ステップＳ１０８にて算出した表示位置にコンテンツＣを表示することで、乗員へコンテンツＣを提供し（ステップＳ１１０）、処理を終了する。

上述したように、実施形態に係る情報提供装置１は、認識部２１と、取得部２２と、特定部２３と、提供部２４とを備える。認識部２１は、車内の乗員による車外の対象物に対する問いかけ操作を認識する。取得部２２は、車外が撮像された車外画像Ｉｏを取得する。特定部２３は、認識部２１によって認識された問いかけ操作に基づいて取得部２２によって取得された車外画像Ｉｏから対象物を特定する。

提供部２４は、特定部２３によって特定された対象物のコンテンツを乗員へ提供する。したがって、実施形態に係る情報提供装置１によれば、ユーザビリティを向上させることができる。

ところで、上述した実施形態では、情報提供装置１が車両に搭載される場合について示したが、これに限定されるものではない。すなわち、電車や観光バス、ハイヤーをはじめとする各種乗り物に搭載することにしてもよい。また、情報提供装置１は、スマートフォンやタブレット端末をはじめとする可搬性のデバイスであってもよい。

また、上述した実施形態では、表示装置５０に表示することで、コンテンツを提供する場合について説明したが、コンテンツを音声によって提供することにしてもよい。また、上述した実施形態では、特定部２３を情報提供装置１側に設けることとしたが、特定部２３の機能をサーバ装置１００側に持たせることにしてもよい。この場合、情報提供装置１は、問いかけ操作に応じた車外画像Ｉｏをサーバ装置１００へ送信し、サーバ装置１００側で対象物の特定を行ったうえで、コンテンツが情報提供装置１へ送信される。

また、上述した実施形態では、車外画像Ｉｏから対象物を特定する場合について説明したが、これに限定されるものではない。すなわち、現在地およびマップ情報３３に基づいて対象物を特定することにしてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１ 情報提供装置
１０ 車内カメラ
１１ マイク
１２ 車外カメラ
１３ ＧＰＳ装置
２１ 認識部
２２ 取得部
２３ 特定部
２４ 提供部
２５ 更新部
４０ 端末装置
１００ サーバ装置
Ｓ 情報提供システム

Claims (9)

1. 対象物に対する問いかけ操作を認識する認識部と、
   前記認識部によって認識された問いかけ操作に対する対象物を特定する特定部と、
   前記特定部によって特定された対象物のコンテンツを乗員へ提供する提供部と
   を備えることを特徴とする情報提供装置。
2. 車外が撮像された車外画像を取得する取得部を備え、
   前記特定部は、
   前記取得部によって取得された車外画像から対象物を特定すること
   を特徴とする請求項１に記載の情報提供装置。
3. 前記提供部は、
   問いかけ操作を行ったユーザから見た対象物への視線上にコンテンツを重畳させて提供すること
   を特徴とする請求項１または２に記載の情報提供装置。
4. 前記提供部は、
   対象物が写る画像に前記コンテンツを重畳した重畳画像を生成し、重畳画像を提供すること
   を特徴とする請求項１〜３のいずれか一つに記載の情報提供装置。
5. 前記提供部は、
   前記重畳画像をユーザの端末装置へ送信すること
   を特徴とする請求項４に記載の情報提供装置。
6. 前記問いかけ操作は、対象物を指し示すジェスチャー操作であること
   を特徴とする請求項１〜５のいずれか一つに記載の情報提供装置。
7. 前記問いかけ操作は、所定の音声操作であること
   を特徴とする請求項１〜６のいずれか一つに記載の情報提供装置。
8. 前記提供部は、
   対象物の候補が複数ある場合に、ユーザによって選択された対象物のコンテンツを提供すること
   を特徴とする請求項１〜７のいずれか一つに記載の情報提供装置。
9. 対象物に対する問いかけ操作を認識する認識工程と、
   前記認識工程によって認識された問いかけ操作に基づいて対象物を特定する特定工程と、
   前記特定工程によって特定された対象物のコンテンツを乗員へ提供する提供工程と
   を含むことを特徴とする情報提供方法。

Images