JP2019039739A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ナビゲーション画面と移動方向の視野との対応関係をユーザがより容易に理解することを可能にする。【解決手段】３次元空間情報に基づき、ナビゲーション画面に含まれる案内ルートに沿って移動するユーザの視野に対応する評価領域を特定する評価領域特定部と、前記評価領域に含まれるオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部により抽出された前記オブジェクトを示す出力情報を生成する出力情報生成部と、を備える、情報処理装置。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近年、ユーザを目的地へと導くナビゲーションシステムは、携帯機器上のサービスとして一般化しており、歩行または自動車などのいずれの移動手段においても幅広く利用されている。ユーザに対して提供されるナビゲーション画面には、出発地（ナビゲーション開始地点）および目的地（ナビゲーション終了地点）を結ぶ案内ルートが含まれ、２次元地図上または建物を３次元的（立体的）に表現する３次元地図上に当該案内ルートが示される。分岐点における進行方向に関する情報、特定ルート区間における距離情報、ルート周辺の建物名／施設名等の情報がナビゲーション音声としてユーザに提供されることもある。

上述したナビゲーション画面は、通常、ナビゲーション画面を利用するユーザが実世界で目にする移動方向の視野を正確に表現するものではない。このため、ユーザは、ナビゲーション画面と実際の移動方向の視野との対応関係を理解するために、ナビゲーション画面と移動方向の視野との間で視線を往復することがある。当該視線の往復はユーザにとって負荷であり、かつ、注意力が散漫となり交通トラブルのリスクが増大する。

上記問題に関し、特許文献１には、ナビゲーション画面内の一部を実世界に即した情報に置換する技術が開示されている。かかる技術によれば、ユーザが、ナビゲーション画面と実際の移動方向の視野との対応関係を理解し易くなる。

特開２００９−２７６２６６号公報

本書編集委員、「眼・色・光 −より優れた色再現を求めて−」、日本印刷技術協会出版、２００７年１２月２８日

しかし、特許文献１に記載の技術では、ナビゲーション画面を実世界に即した情報に置換できる範囲に制限があり、また、上記置換のためには毎回ユーザとのインタラクションが必要であるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ナビゲーション画面とユーザの視野との対応関係をユーザがより容易に理解することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、３次元空間情報に基づき、ナビゲーション画面に含まれる案内ルートに沿って移動するユーザの視野に対応する評価領域を特定する評価領域特定部と、前記評価領域に含まれるオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部により抽出された前記オブジェクトを示す出力情報を生成する出力情報生成部と、を備える、情報処理装置が提供される。

前記評価領域特定部は、前記案内ルート上の基準地点における前記ユーザの視線高さを視点として、前記視点から、前記基準地点における前記案内ルートの向きを視線方向とする前記ユーザの視野に含まれる領域を前記評価領域として特定してもよい。

前記評価領域特定部は、前記ユーザの視線高さとして、事前に設定された値を用いてもよい。

前記評価領域特定部は、前記ユーザの視線高さとして、ユーザの移動手段ごとに事前に設定された値のうちで、前記ユーザの現在の移動手段に応じた値を用いてもよい。

前記情報処理装置は、床面からの高さを検出する高さ検出部をさらに備え、前記評価領域特定部は、前記ユーザの視線高さとして、前記高さ検出部により検出された高さ以上の値を用いてもよい。

前記評価領域特定部は、前記評価領域を表現する２次元画像を生成し、前記情報処理装置は、前記２次元画像を複数の区画に分割する画像分割部をさらに備え、前記オブジェクト抽出部は、前記複数の区画の各々について画像認識を行い、前記複数の区画の各々で認識されたオブジェクトから、前記オブジェクトを抽出し、前記出力情報生成部は、前記オブジェクト抽出部により抽出された前記オブジェクト、および前記オブジェクトがいずれの区画で認識されたかに基づき、前記出力情報を生成してもよい。

前記オブジェクト抽出部は、前記複数の区画の各々に含まれる物体が前記画像認識により認識した前記オブジェクトである確信度を算出し、当該確信度に、前記複数の区画の各々に設定されている重みを乗じることで、前記オブジェクトの評価値を算出し、前記複数の区画の各々から抽出された１または２以上の前記オブジェクトの評価値に基づき、前記１または２以上のオブジェクトから前記オブジェクトを抽出し、前記出力情報生成部は、前記オブジェクト抽出部により抽出および選択されたオブジェクトを示す出力情報を生成してもよい。

前記２次元画像の中心に位置する中心区画に最も高い重みが設定され、前記中心区画の外側の区画には前記中心区画よりも低い重みが設定されてもよい。

前記情報処理装置は、前記出力情報生成部により生成された前記出力情報を音声により出力する音声出力部をさらに備えてもよい。

前記評価領域特定部は、前記案内ルート上には複数の前記基準地点を設定し、前記複数の基準地点の間隔は、前記ユーザの移動手段に応じて異なってもよい。

前記出力情報生成部は、前記案内ルートを含む前記ナビゲーション画面をさらに生成してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、３次元空間情報に基づき、ナビゲーション画面に含まれる案内ルートに沿って移動するユーザの視野に対応する評価領域を特定することと、前記評価領域に含まれるオブジェクトを抽出することと、抽出された前記オブジェクトを示す出力情報を生成することと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、３次元空間情報に基づき、ナビゲーション画面に含まれる案内ルートに沿って移動するユーザの視野に対応する評価領域を特定する評価領域特定部と、前記評価領域に含まれるオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部により抽出された前記オブジェクトを示す出力情報を生成する出力情報生成部と、として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、ナビゲーション画面とユーザの視野との対応関係をユーザがより容易に理解することが可能である。

本発明の実施形態による情報処理装置を示す説明図である。 本発明の実施形態による情報処理装置の構成を示す説明図である。 案内ルートが重畳された地図情報を示す説明図である。 基準地点の設定例を示す説明図である。 ユーザの視野角の具体例を示す説明図である。 二次元画像の具体例を示す説明図である。 人間の有効視野を示す説明図である。 ２次元画像の分割例を示す説明図である。 各区画に対する画像認識の結果例を示す説明図である。 各オブジェクトの評価値の具体例を示す説明図である。 本発明の実施形態による情報処理装置の動作を示すフローチャートである。 本発明の実施形態による情報処理装置の動作を示すフローチャートである。 ユーザの移動手段ごとに格納される設定情報の一例を示す説明図である。 変形例による情報処理装置の動作を示すフローチャートである。 情報処理装置のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

＜１．情報処理装置の概要＞
本発明の実施形態は、ユーザを目的地へと導くナビゲーション機能を有する情報処理装置に関する。以下、本発明の実施形態による情報処理装置２０の概要を説明する。

図１は、本発明の実施形態による情報処理装置２０を示す説明図である。図１に示したように、本発明の実施形態による情報処理装置２０は、表示部３２および音声出力部３４を備える。

表示部３２は、多様な表示画面を表示する。例えば、表示部３２は、目的地およびルート検索条件などをユーザが入力するための操作画面、およびナビゲーション画面などを表示する。ナビゲーション画面は、図１に示したように、出発地を示す表示４２、目的地を示す表示４４、出発地および目的地を結ぶ案内ルート４６、現在地表示４８を含む。ユーザは、当該ナビゲーション画面を見て案内ルート４６に沿って移動することで、目的地に到着することが可能である。

音声出力部３４は、多様な音声を出力する。例えば、音声出力部３４は、ユーザの位置に応じたナビゲーション音声を出力する。図１に示した例では、ユーザが信号機４９の手前に到達しており、音声出力部３４は「信号機丁字路右折」というナビゲーション音声を出力する。ユーザは、当該ナビゲーション音声に基づき、より確実に目的地へのルートを把握することができる。

上述した表示部３２および音声出力部３４は、ナビゲーション画面およびナビゲーション音声などのナビゲーション画面を出力する出力部の一例である。なお、情報処理装置２０は、スマートフォンまたは専用端末などの携帯端末であってもよいし、車両に搭載される車載器であってもよい。

しかし、上述したナビゲーション画面は、通常、ナビゲーション画面を利用するユーザが実世界で目にする移動方向の視野を正確に表現するものではない。このため、ナビゲーション画面の理解を助ける情報が情報処理装置２０からユーザに提供されない場合、ユーザは、ナビゲーション画面と実際の移動方向の視野との対応関係を理解するために、ナビゲーション画面と移動方向の視野との間で視線を往復し得る。当該視線の往復はユーザにとって負荷であり、かつ、注意力が散漫となり交通トラブルのリスクが増大する。

そこで、本件発明者は上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態による情報処理装置２０は、ナビゲーション画面と移動方向の視野との対応関係をユーザがより容易に理解することを可能とする。以下、このような本発明の実施形態による情報処理装置２０の構成および動作を順次詳細に説明する。

＜２．情報処理装置の構成＞
図２は、本発明の実施形態による情報処理装置２０の構成を示す説明図である。図２に示したように、本発明の実施形態による情報処理装置２０は、出力部３０と、位置推定部２２０と、設定部２３０と、記憶部２４０と、ナビゲーション機能部２５０と、画像処理部２７０と、情報生成部２８０と、を備える。

（位置推定部２２０）
位置推定部２２０は、情報処理装置２０の現在位置を推定する。例えば、位置推定部２２０は、ＧＰＳ（Global Positioning System）人工衛星から受信される衛星信号に基づいて情報処理装置２０の現在位置を推定してもよい。また、位置推定部２２０は、ＷｉＦｉのアクセスポイントから送信される信号の受信強度および各アクセスポイントの既知の位置情報に基づいて情報処理装置２０の現在位置を推定してもよい。また、位置推定部２２０は、情報処理装置２０に内蔵される加速度センサおよびジャイロセンサなどの慣性センサの出力を用いて、歩行者自律航法に基づいて情報処理装置２０の現在位置を推定してもよい。

（設定部２３０）
設定部２３０は、ナビゲーション機能部２５０で用いられる設定情報、および画像処理部２７０で用いられる設定情報の格納および変更などを行う。ナビゲーション機能部２５０で用いられる設定情報としては、ユーザの視線高さを示す情報が挙げられる。設定部２３０は、設定情報を、ユーザによる操作に基づいて変更してもよいし、情報処理装置２０に設けられたセンサからの出力に基づいて変更してもよい。

（記憶部２４０）
記憶部２４０は、情報処理装置２０の動作で用いられる多様な情報を記憶する。記憶部２４０は、図２に示したように、例えば地図情報、３次元空間情報および認識用データセットを記憶する。地図情報は、ナビゲーション機能部２５０が案内ルートを生成する際に用いる情報であり、２次元平面における道路や施設の配置を示す情報であってもよい。３次元空間情報は、画像処理部２７０で用いられる情報であり、色情報付点群データやメッシュモデルおよびテクスチャで構成される。３次元空間情報に基づき、任意の視点からの空間画像を得ることが可能である。認識用データセットは、画像処理部２７０で用いられる情報であり、例えばＤｅｅｐ Ｌｅａｒｎｉｎｇによる物体認識のためのデータセットのように、画像認識に関連する情報である。

（ナビゲーション機能部２５０）
ナビゲーション機能部２５０は、案内ルートを生成するための構成である。ナビゲーション機能部２５０の機能は、図２に示したように、出発地情報取得部２５２、目的地情報取得部２５４、および案内ルート生成部２５６に細分化される。

・出発地情報取得部２５２
出発地情報取得部２５２は、ユーザがナビゲーションを求める区間の出発地（ナビゲーション開始地点）に関する情報を取得する。出発地情報取得部２５２は、例えば、位置推定部２２０により推定された現在位置を示す位置情報を取得してもよいし、ユーザにより図示しない操作部を介して指定された地名、住所または地図上の位置を示す位置情報を取得してもよい。

・目的地情報取得部２５４
目的地情報取得部２５４は、ユーザがナビゲーションを求める区間の目的地（ナビゲーション終了地点）に関する情報を取得する。目的地情報取得部２５４は、例えば、ユーザにより図示しない操作部を介して指定された地名、住所または地図上の位置を示す位置情報を取得してもよい。

・案内ルート生成部２５６
案内ルート生成部２５６は、出発地情報取得部２５２により取得された出発地に関する情報と、目的地情報取得部２５４により取得された目的地に関する情報と、設定部２３０に格納されている設定情報と、記憶部２４０に記憶されている地図情報と、に基づいて案内ルートを生成する。案内ルート生成部２５６は、地図情報が示す道路の配置のうちで、設定情報が示す移動手段で利用される道路の配置を用いて、目的地と出発地を結ぶルートを探索することにより、案内ルートを生成し得る。ただし、案内ルートの生成方法は特に限定されず、例えば、案内ルート生成部２５６は、ルート生成手法として一般的に利用されるダイクストラ法を用いて案内ルートを生成してもよい。

（画像処理部２７０）
画像処理部２７０は、ユーザが案内ルートを移動する際にユーザが実世界で目にすることが予想されるオブジェクト（ランドマーク）の情報を画像処理により抽出する。オブジェクトの情報は、例えば、オブジェクトの名前、形状またはユーザの視野におけるオブジェクトが存在するであろう位置の情報を含む。画像処理部２７０の機能は、図２に示したように、画像生成部２７２、画像分割部２７４および画像解析部２７６に細分化される。

・画像生成部２７２
画像生成部２７２（評価領域特定部）は、案内ルート上に複数の基準地点を設定し、設定部２３０に格納されているユーザの視点高さの情報および記憶部２４０に記憶されている３次元空間情報に基づき、各基準地点におけるユーザの視野に対応する３次元的な評価領域を特定する。具体的には、画像生成部２７２は、基準地点におけるユーザの視線高さを視点として、当該視点から、基準地点における案内ルートの向きを視線方向とするユーザの視野に含まれる領域を上記評価領域として特定する。なお、画像生成部２７２は、案内ルートにおいて道なりにユーザが進む区間に所定間隔で基準地点を設定し、進路が変わる箇所にも基準地点を設定してもよい。

さらに、画像生成部２７２は、特定した３次元的な評価領域を表現する２次元画像を生成する。当該２次元画像は、評価領域に存在するオブジェクトの抽出に用いられる。３次元空間情報における評価領域の部分の情報を解析することによりオブジェクトを抽出することも可能であるが、３次元的な評価領域を２次元画像に変換することにより、後段のオブジェクトの抽出負荷を低減することが可能である。

以下、図３〜図６を参照し、画像生成部２７２により生成される２次元画像の具体例を説明する。

図３は、案内ルートが重畳された建物内の地図情報を示す説明図である。図３においては、出発地５２、目的地５４および案内ルート５６が示されている。案内ルートが図３に示したように生成された場合、画像生成部２７２は、例えば図４に示すように複数の基準地点を設定する。

図４は、基準地点の設定例を示す説明図である。図４に示した例では、基準地点Ｐ１〜Ｐ６が設定されている。基準地点Ｐ３は進路が変わる箇所に設定された基準地点であり、他の基準地点は同一進路において所定間隔で設定された基準地点である。

また、各基準地点から延出する２本の破線は、ユーザの想定される視野角を示す。当該視野角は、実際のユーザの視野角に近いことが望ましい。非特許文献１には、人間の安定注視野（眼球・頭部運動で無理なく注視可能であり、効果的な情報受容ができる領域）は、水平方向上での視野角（水平視野角）において６０〜９０°、垂直方向上での視野角（垂直視野角）として４５〜７０°が記載されている。非特許文献１を参考に、本明細書では、水平視野角の広さを６０°と考え、垂直視野角の広さを４５°と考える。

図５は、ユーザの視野角の具体例を示す説明図である。図５に示したように、画像生成部２７２は、視線方向を中心に水平視野角を左右に３０°振り分け、視線方向を中心に垂直視野角を上側に２０°、下側に２５°振り分けてもよい。

ここで、視線方向は、水平方向、かつ、案内ルートにおいて基準地点の近傍の前後地点を結んで得られる方向であってもよい。図４に示した例では、基準地点Ｐ１、Ｐ２、Ｐ４〜Ｐ６の近傍では案内ルートは直線であるので、基準地点Ｐ１、Ｐ２、Ｐ４〜Ｐ６における視線方向は案内ルートの方向に一致する水平方向である。一方、基準地点Ｐ３は進路の変更点であるので、基準地点Ｐ３の近傍の前後地点を結ぶ直線は案内ルートの方向と異なり、基準地点Ｐ３における視線方向は案内ルートの方向と異なる。

なお、ユーザが進路を変更する場合、実際には、ユーザはある地点で不連続に進行方向を変更せず、円弧を描くように連続的に進行方向を変更する。このような連続的な進行方向の変更が案内ルートに反映されている場合、画像生成部２７２は、案内ルートの接線方向をユーザの視線方向として用いてもよい。

画像生成部２７２は、上記のように設定した複数の基準地点の各々におけるユーザの視野に含まれる領域を評価領域として３次元空間情報から特定し、特定した評価領域を表現する２次元画像を生成する。例えば、画像生成部２７２は、基準地点Ｐ４に関して図６に示す２次元画像を生成する。基準地点におけるユーザの視野に実際に含まれるであろう領域が評価領域として特定されるので、画像生成部２７２において生成される２次元画像は、ユーザの基準地点における視野に則することが期待される。

・画像分割部２７４
画像分割部２７４は、画像生成部２７２により生成された２次元画像を複数の区画に分割し、各区画に重みを設定する。非特許文献１によれば、人間の有効視野（眼球運動だけで瞬時に情報受容できる領域）は、図７に示したように、水平視野角において３０°以内であり、垂直視野角において２０°以内である。そこで、画像分割部２７４は、ユーザの視線方向を中心とする有効視野（水平視野角において３０°以内、垂直視野角において２０°以内）に対応する区画を２次元画像から切り出し、有効視野の周辺に対応する領域を複数の区画に分割してもよい。

図８は、２次元画像の分割例を示す説明図である。図８に示した例では、水平視野角を−３０°〜−１５°、−１５°〜１５°および１５°〜３０°の３つに区分けし、垂直視野角を−２５°〜−１０°、−１０°〜１０°および１０°〜２０°の３つに区分けすることで、９つの区画Ａ〜区画Ｉが得られる。便宜上、視線方向から見た一側を正方向、他側を負方向（−）として示している。

区画Ａ〜区画Ｉには、視線中心Ｑとの距離に応じた重みが設定される。すなわち、区画の重みは、当該区画に対応する領域をユーザがどの程度認識し易いかを示す。図８に示した例では、視線中心Ｑを含む、有効視野に対応する区画Ｅには最も高い重み「１．５」が設定され、視線中心Ｑと水平位置または垂直位置が一致する区画Ｂ、Ｄ、ＦおよびＨには重み「１．２」が設定され、視線中心Ｑと水平位置および垂直位置のいずれも一致しない区画Ａ、Ｃ、ＧおよびＩにも最も低い重み「１．０」が設定される。

・画像解析部２７６
画像解析部２７６は、評価領域に含まれるオブジェクトを抽出するオブジェクト抽出部の一例である。具体的には、画像解析部２７６は、画像分割部２７４により得られた２次元画像の各区画を解析することで各区画からオブジェクトを認識し、認識された１または２以上のオブジェクトから所定の条件に従ってオブジェクトを抽出する。そして、画像解析部２７６は、抽出したオブジェクトに関する情報を情報生成部２８０に供給する。

例えば、画像解析部２７６は、２次元画像の各区画に対して、記憶部２４０に記憶されている認識用データセットに基づき、例えばＤｅｅｐ Ｌｅａｒｎｉｎｇを利用した画像認識を施す。これにより、区画内の各物体が何のオブジェクトであるかを示す認識結果、および各物体が認識されたオブジェクトである確信度（認識の確からしさが高いほど大きい数値。適合度。自確信度。）が得られる。画像解析部２７６は、各区画内で確信度が最も高く、かつ、確信度が所定の閾値を上回るオブジェクトを選択する。確信度が最も高く、かつ、確信度が所定の閾値を上回るオブジェクトが存在しない区画については、当該区画にオブジェクトが存在しないとして扱われる。

図９は、各区画に対する画像認識の結果例を示す説明図である。なお、図９に示した２次元画像は、図５に示した、基準地点Ｐ４における二次元画像である。図９に示した例では、区画Ｄについてオブジェクト「植物」（確信度：８０）が選択され、区画Ｅについてオブジェクト「赤いマット」（確信度：４０）が特定され、区画Ｇについてオブジェクト「赤いソファ」（確信度：８０）が選択され、区画Ｉについてオブジェクト「黒い椅子」（確信度：６０）が選択されている。

続いて、画像解析部２７６は、各区画について選択されたオブジェクトの適合度に、各区画に設定されている重みを乗算して、各区画について選択されたオブジェクトの評価値を算出する。そして、画像解析部２７６は、評価値が最も高いオブジェクトを抽出する。評価値が同一である２以上のオブジェクトが存在する場合、画像解析部２７６は、区画に設定された重みが大きい方のオブジェクトを優先的に抽出してもよい。評価値および区画に設定された重みの双方が同一の２以上のオブジェクトが存在する場合、画像解析部２７６は、当該２以上のオブジェクトを抽出してもよい。例えば、図９に示した画像認識の結果が得られ、各区画に図８に示した重みが設定されている場合、各オブジェクトの評価値は図１０に示す評価値となる。

図１０は、各オブジェクトの評価値の具体例を示す説明図である。図１０に示した例では、区画Ｄについて選択されたオブジェクト「植物」の評価値が「９６」であり、区画Ｅについて選択されたオブジェクト「赤いマット」の評価値が「６０」であり、区画Ｇについて選択されたオブジェクト「赤いソファ」の評価値が「８０」であり、区画Ｉについて選択されたオブジェクト「黒い椅子」の評価値が「６０」である。

図１０に示した例では区画Ｄについて選択されたオブジェクト「植物」の評価値が最大であるので、画像解析部２７６は、区画Ｄについて選択されたオブジェクト「植物」を抽出する。そして、画像解析部２７６は、オブジェクト「植物」を示す情報、およびオブジェクト「植物」が認識された区画Ｄを示す情報を情報生成部２８０に供給する。

（情報生成部２８０）
情報生成部２８０は、出力部３０から出力される情報を生成する出力情報生成部である。例えば、情報生成部２８０は、ナビゲーション機能部２５０によって生成された案内ルート、位置推定部２２０により推定された現在位置の表示を含むナビゲーション画面を生成する。また、情報生成部２８０は、進路の分岐点の手前では、ナビゲーション画面に進路変更の指示および分岐点までの距離情報を重畳する。また、情報生成部２８０は、進路の分岐点の手前では、ナビゲーション画面に進路変更の指示および分岐点までの距離情報を含むナビゲーション音声を生成してもよい。これらナビゲーション画面およびナビゲーション音声などのナビゲーション情報は出力部３０により出力される。

さらに、本発明の実施形態による情報生成部２８０は、画像処理部２７０から供給される情報に基づいて、各基準地点について、ユーザによるナビゲーション情報の理解を補助するための補助情報を生成する。具体的には、情報生成部２８０は、画像処理部２７０から供給される、オブジェクトを示す情報、および当該オブジェクトが認識された区画を示す情報に基づき、基準地点において実際にどの方向に何が見えるかを示す補助情報を生成する。例えば、画像処理部２７０からオブジェクト「植物」を示す情報、およびオブジェクト「植物」が認識された区画Ｄを示す情報が供給された場合、情報生成部２８０は、「左前方に植物があります」という補助情報を音声形式で生成してもよい。この場合、音声出力部３４が補助情報を出力する。これにより、ユーザは情報処理装置２０を見ることなく、実世界への視野を維持しながら補助情報を得ることが可能である。ただし、補助情報の形式は音声形式に限られず、補助情報の形式は画像形式であってもよい。

＜３．情報処理装置の動作＞
以上、本発明の実施形態による情報処理装置２０の構成を説明した。続いて、図１１および図１２を参照して、本発明の実施形態による情報処理装置２０の動作を整理する。

図１１および図１２は、本発明の実施形態による情報処理装置２０の動作を示すフローチャートである。図１１に示したように、まず、出発地情報取得部２５２が出発地に関する情報を取得し（Ｓ３０４）、目的地情報取得部２５４が目的地に関する情報を取得する（Ｓ３０８）。そして、案内ルート生成部２５６が、出発地に関する情報と、目的地に関する情報と、設定部２３０に格納されている設定情報と、記憶部２４０に記憶されている地図情報と、に基づいて案内ルートを生成する（Ｓ３１２）。その後、情報生成部２８０が案内ルートに基づいてナビゲーション情報を生成し、出力部３０がナビゲーション情報の出力を開始する（Ｓ３１６）。

一方、画像処理部２７０は、案内ルート上に複数の基準地点を設定する（Ｓ３２０）。そして、画像処理部２７０は、直近の基準地点におけるユーザの視野からオブジェクトを抽出する（Ｓ３３０）。具体的には、図１２に示したように、まず、画像生成部２７２が、直近の基準地点におけるユーザの視野に対応する２次元画像を生成する（Ｓ３３２）。そして、画像分割部２７４が、画像生成部２７２により生成された２次元画像を複数の区画に分割する（Ｓ３３４）。続いて、画像解析部２７６が、画像分割部２７４により得られた２次元画像の各区画を解析することで各区画からオブジェクトを認識する（Ｓ３３６）。さらに、画像解析部２７６は、各区画内で確信度が最も高く、かつ、確信度が所定の閾値を上回るオブジェクトを選択する。そして、画像解析部２７６は、各区画について選択されたオブジェクトの適合度に、各区画に設定されている重みを乗算して、各区画について選択されたオブジェクトの評価値を算出する（Ｓ３３８）。続いて、画像解析部２７６は、各区画について選択されたオブジェクトから、評価値が最も高いオブジェクトを抽出する（Ｓ３３９）。

その後、図１１に示したように、情報生成部２８０が、画像処理部２７０から供給される、オブジェクトを示す情報、および当該オブジェクトが認識された区画を示す情報に基づき、基準地点において実際にどの方向に何が見えるかを示す補助情報を生成する（Ｓ３４４）。そして、出力部３０が、情報生成部２８０により生成された補助情報を出力する（Ｓ３４４）。

上述したＳ３３０〜Ｓ３４４の処理が、ユーザが目的地に到着するまで繰り返される（Ｓ３４８）。

以上説明したように、本発明の実施形態によれば、ユーザの実際の移動方向の視野に含まれるであろうオブジェクトを抽出し、当該オブジェクトに関する補助情報をユーザに提供することができる。このため、ユーザは、自分が案内ルート上に位置しているか否か、および、ユーザの向き（ユーザの進行方向）が正しいか否かを認識し易くなる。結果、ナビゲーション画面と実際の移動方向の視野との対応関係をユーザが視線の往復により確認する頻度を減少させることが可能である。

＜４．変形例＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

（変形例１）
例えば、画像生成部２７２が２次元画像を生成する際に利用する３次元空間情報は、状況に応じて異なってもよい。例えば、記憶部２４０は、日没前の３次元空間情報および日没後の３次元空間画像を記憶しており、画像生成部２７２は、日没前であるか否かに基づき、２次元画像を生成するために利用する３次元空間情報を選択してもよい。なお、日没前と日没後では各オブジェクトの見え方（主に、輝度、色度）が異なるので、３次元空間情報と日没後の３次元空間画像とでは、各オブジェクトに対応する点データに異なる輝度データまたは色度データなどが設定され得る。また、画像生成部２７２は、図示しない明るさセンサにより現在が日没前であるか否かを判定してもよいし、現在の季節、現在時刻、および緯度経度情報に基づいて現在が日没前であるか否かを判定してもよい。ユーザの存在する環境に近い３次元空間情報を用いることで、実際にユーザが視認しやすいオブジェクトを抽出することが可能となる。

（変形例２）
また、画像分割部２７４は、二次元画像の各区画の重みを、ユーザの周辺環境に応じて動的に設定してもよい。例えば、ユーザが屋外に存在し、かつ天候が雨天である場合、傘を差している歩行者が多く、ユーザの視野における上方が傘に遮られ易いと考えられる。このため、ユーザが屋外に存在し、かつ天候が雨天である場合、画像分割部２７４は２次元画像の上方領域に存在する区画の重みを下げてもよい。また、ユーザの周辺に歩行者が多い場合、ユーザの視界における中段および下方が歩行者により遮られ易いと考えられる。このため、ユーザの周辺に歩行者が多い場合、画像分割部２７４は２次元画像の中段領域および下方領域に存在する区画の重みを下げてもよい。

（変形例３）
また、画像解析部２７６は、ある基準地点に関して生成された２次元画像の各区画から複数のオブジェクトを選択してもよいし、２次元画像から複数のオブジェクトを抽出してもよい。ここで、異なる区画に関して同一のオブジェクトが選択された場合、画像解析部２７６は、当該オブジェクトを抽出候補のオブジェクトから外してもよい。または、同一のオブジェクトが同一の水平方向の区画、または同一の垂直方向の区画に関して選択された場合、「上方向にｘｘがあります。」または「右方向にｙｙがあります。」のように、複数の区画を包括した補助情報を生成可能である。このため、同一のオブジェクトが同一の水平方向の区画、または同一の垂直方向の区画に関して選択された場合、画像解析部２７６は、同一の水平方向の区画、または同一の垂直方向の区画に関して選択されたオブジェクトを抽出してもよい。

（変形例４）
また、画像解析部２７６は、抽出したオブジェクトと現在位置との距離を、３次元空間情報に基づいて算出して、当該距離を示す情報を情報生成部２８０に供給してもよい。かかる構成により、オブジェクトとの距離情報を含む補助情報を出力することが可能となる。

（変形例５）
また、ある基準地点において生成された２次元画像に、直前の基準地点において生成された２次元画像から抽出されたオブジェクトが含まれる場合がある。この場合、画像解析部２７６は、基準地点において生成された２次元画像に含まれる各オブジェクトの評価値によらず、直前の基準地点において生成された２次元画像から抽出されたオブジェクトを抽出してもよい。

（変形例６）
また、設定部２３０は、ユーザの移動手段ごとに設定情報を格納してもよい。図１３は、ユーザの移動手段ごとに格納される設定情報の一例を示す説明図である。移動手段に応じてユーザの視線高さは異なるので、図１３に示した例では、移動手段ごとにユーザの視線高さが設定されている。また、ユーザの移動手段に応じてユーザの移動速度が異なるので、ユーザの移動手段に応じて基準地点が設定される間隔が異なることが望ましい。このため、図１３に示した例では、移動手段ごとに基準地点の間隔が設定されている。この場合、画像生成部２７２は、ユーザの現在の移動手段を推定し、推定された移動手段に対応する設定情報を用いて２次元画像を生成する。かかる構成により、より高精度にユーザの実際の視野に則した２次元画像を生成することが可能となる。

（変形例７）
また、情報処理装置２０は、床面から情報処理装置２０の高さを検出する高さ検出部を備えてもよい。ユーザの目の位置は、情報処理装置２０の位置よりも高いと考えられるので、画像生成部２７２は、高さ検出部により検出された情報処理装置２０の高さに基づいてユーザの視線高さを推定し（例えば、情報処理装置２０の高さ＋３０ｃｍ）、推定したユーザの視線高さを用いて２次元画像を生成してもよい。

（変形例８）
また、上記では、案内ルートを決定した後にオブジェクトの抽出が行われる例を説明したが、複数の候補ルートのうちで、より有用な補助情報を出力可能なルートを案内ルートとして決定してもよい。以下、図１２を参照して当該変形例を説明する。

図１４は、変形例による情報処理装置２０の動作を示すフローチャートである。図１４に示したように、まず、出発地情報取得部２５２が出発地に関する情報を取得し（Ｓ４０４）、目的地情報取得部２５４が目的地に関する情報を取得する（Ｓ４０８）。そして、案内ルート生成部２５６が、出発地に関する情報と、目的地に関する情報と、設定部２３０に格納されている設定情報と、記憶部２４０に記憶されている地図情報と、に基づいて複数の候補ルートを生成する（Ｓ４１２）。

その後、画像処理部２７０が、各候補ルートについてＳ４１６〜Ｓ４２４の処理を実行する。具体的には、画像処理部２７０が、候補ルート上に複数の基準地点を設定する（Ｓ４１６）。そして、画像処理部２７０は、設定された各基準地点における視野から、図１２を参照して説明した方法に準じてオブジェクトを抽出する（Ｓ４２０）。続いて、情報生成部２８０が、画像処理部２７０により抽出されたオブジェクトの情報に基づいて補助情報を生成する（Ｓ４２４）。

その後、案内ルート生成部２５６は、Ｓ４１２で生成した複数の候補ルートのうちで、補助情報が最も充実した候補ルートを案内ルートに決定する（Ｓ４２８）。そして、情報生成部２８０が案内ルートに基づいてナビゲーション情報を生成し、出力部３０がナビゲーション情報の出力を開始する（Ｓ４３２）。

＜５．ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した案内ルートの生成およびオブジェクトの抽出などの情報処理は、ソフトウェアと、以下に説明する情報処理装置２０のハードウェアとの協働により実現される。

図１５は、情報処理装置２０のハードウェア構成を示したブロック図である。情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、情報処理装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、ナビゲーション機能部２５０および画像処理部２７０の機能が実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。情報処理装置２０のユーザは、該入力装置２０８を操作することにより、情報処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。ストレージ装置２１１は、図２を参照して説明した記憶部２４０に対応する。

ドライブ２１２は、記憶媒体用リーダライタであり、情報処理装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、専用網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜６．むすび＞
以上説明したように、本発明の実施形態によれば、ユーザの実際の移動方向の視野に含まれるであろうオブジェクトを抽出し、当該オブジェクトに関する補助情報をユーザに提供することができる。このため、ユーザは、自分が案内ルート上に位置しているか否か、および、ユーザの向き（ユーザの進行方向）が正しいか否かを認識し易くなる。結果、ナビゲーション画面と実際の移動方向の視野との対応関係をユーザが視線の往復により確認する頻度を減少させることが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記ではナビゲーション機能部２５０および画像処理部２７０が情報処理装置２０内に存在する例を説明したが、情報処理装置２０はナビゲーション機能部２５０および画像処理部２７０の双方の機能を備えなくてもよい。ナビゲーション機能部２５０または画像処理部２７０の少なくとも一方はネットワーク側に存在してもよい。

また、上記では２次元画像が長方形形状の９つの区画に分割される例を説明したが、区画の数および区画の形状は上述した例に限定されない。

また、本明細書の情報処理装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、情報処理装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

２０ 情報処理装置
３０ 出力部
３２ 表示部
３４ 音声出力部
２２０ 位置推定部
２３０ 設定部
２４０ 記憶部
２５０ ナビゲーション機能部
２５２ 出発地情報取得部
２５４ 目的地情報取得部
２５６ 案内ルート生成部
２７０ 画像処理部
２７２ 画像生成部
２７４ 画像分割部
２７６ 画像解析部
２８０ 情報生成部

Claims (13)

1. ３次元空間情報に基づき、ナビゲーション画面に含まれる案内ルートに沿って移動するユーザの視野に対応する評価領域を特定する評価領域特定部と、
   前記評価領域に含まれるオブジェクトを抽出するオブジェクト抽出部と、
   前記オブジェクト抽出部により抽出された前記オブジェクトを示す出力情報を生成する出力情報生成部と、
   を備える、情報処理装置。
2. 前記評価領域特定部は、前記案内ルート上の基準地点における前記ユーザの視線高さを視点として、前記視点から、前記基準地点における前記案内ルートの向きを視線方向とする前記ユーザの視野に含まれる領域を前記評価領域として特定する、請求項１に記載の情報処理装置。
3. 前記評価領域特定部は、前記ユーザの視線高さとして、事前に設定された値を用いる、請求項２に記載の情報処理装置。
4. 前記評価領域特定部は、前記ユーザの視線高さとして、ユーザの移動手段ごとに事前に設定された値のうちで、前記ユーザの現在の移動手段に応じた値を用いる、請求項３に記載の情報処理装置。
5. 前記情報処理装置は、床面からの高さを検出する高さ検出部をさらに備え、
   前記評価領域特定部は、前記ユーザの視線高さとして、前記高さ検出部により検出された高さ以上の値を用いる、請求項２に記載の情報処理装置。
6. 前記評価領域特定部は、前記評価領域を表現する２次元画像を生成し、
   前記情報処理装置は、前記２次元画像を複数の区画に分割する画像分割部をさらに備え、
   前記オブジェクト抽出部は、前記複数の区画の各々について画像認識を行い、前記複数の区画の各々で認識されたオブジェクトから、前記オブジェクトを抽出し、
   前記出力情報生成部は、前記オブジェクト抽出部により抽出された前記オブジェクト、および前記オブジェクトがいずれの区画で認識されたかに基づき、前記出力情報を生成する、請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記オブジェクト抽出部は、
   前記複数の区画の各々に含まれる物体が前記画像認識により認識した前記オブジェクトである確信度を算出し、
   当該確信度に、前記複数の区画の各々に設定されている重みを乗じることで、前記オブジェクトの評価値を算出し、
   前記複数の区画の各々から抽出された１または２以上の前記オブジェクトの評価値に基づき、前記１または２以上のオブジェクトから前記オブジェクトを抽出し、
   前記出力情報生成部は、前記オブジェクト抽出部により抽出および選択されたオブジェクトを示す出力情報を生成する、請求項６に記載の情報処理装置。
8. 前記２次元画像の中心に位置する中心区画に最も高い重みが設定され、前記中心区画の外側の区画には前記中心区画よりも低い重みが設定される、請求項７に記載の情報処理装置。
9. 前記情報処理装置は、前記出力情報生成部により生成された前記出力情報を音声により出力する音声出力部をさらに備える、請求項１〜８のいずれか一項に記載の情報処理装置。
10. 前記評価領域特定部は、前記案内ルート上には複数の前記基準地点を設定し、前記複数の基準地点の間隔は、前記ユーザの移動手段に応じて異なる、請求項２に記載の情報処理装置。
11. 前記出力情報生成部は、前記案内ルートを含む前記ナビゲーション画面をさらに生成する、請求項１〜１０のいずれか一項に記載の情報処理装置。
12. ３次元空間情報に基づき、ナビゲーション画面に含まれる案内ルートに沿って移動するユーザの視野に対応する評価領域を特定することと、
    前記評価領域に含まれるオブジェクトを抽出することと、
    抽出された前記オブジェクトを示す出力情報を生成することと、
    を含む、情報処理方法。
13. コンピュータを、
    ３次元空間情報に基づき、ナビゲーション画面に含まれる案内ルートに沿って移動するユーザの視野に対応する評価領域を特定する評価領域特定部と、
    前記評価領域に含まれるオブジェクトを抽出するオブジェクト抽出部と、
    前記オブジェクト抽出部により抽出された前記オブジェクトを示す出力情報を生成する出力情報生成部と、
    として機能させるための、プログラム。
    

Images