JP2021165766A - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

Abstract

【課題】複数のユーザの視界に適切に視覚情報を重ね合わせて表示する。
【解決手段】情報処理装置は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、設定された前記表示方法により前記視覚情報の表示を制御する表示制御部とを備え、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。本技術は、例えば、ＡＲを用いて視覚情報を表示する車両に適用することができる。
【選択図】図１２

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、ＡＲ（Augmented Reality）を用いた情報処理装置、情報処理方法、プログラム、及び、移動体に関する。

従来、車載用のＨＵＤ（ヘッドアップディスプレイ）において、ステレオカメラで対象物までの距離を測定し、対象物と同じ位置に映像（視覚情報）の焦点を合わせることにより、運転者の視点が横にずれても、視覚情報と対象物の位置をずれにくくする技術が提案されている（例えば、非特許文献１参照）。

窪野 薫、外１名、「HUD＋車載カメラでAR、安全性向上や新事業の契機に」、日経エレクトロニクス、日本、日経ＢＰ社、２０１７年７月号、p.40-45

しかしながら、非特許文献１では、複数のユーザが同時にＨＵＤを使用する場合は検討されていない。

本技術は、このような状況に鑑みてなされたものであり、複数のユーザの視界に適切に視覚情報を重ね合わせて表示できるようにするものである。

本技術の第１の側面の情報処理装置は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、設定された前記表示方法により前記視覚情報の表示を制御する表示制御部とを備え、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。

本技術の第１の側面の情報処理方法は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、設定された前記表示方法により前記視覚情報の表示を制御し、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。

本技術の第１の側面のプログラムは、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、設定された前記表示方法により前記視覚情報の表示を制御し、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む処理をコンピュータに実行させる。

本技術の第２の側面の移動体は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報を重ね合わせる表示部と、設定された前記表示方法により前記表示部による前記視覚情報の表示を制御する表示制御部とを備え、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。

本技術の第１の側面においては、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法が設定され、設定された前記表示方法により前記視覚情報が表示される。

本技術の第２の側面においては、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法が設定され、前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報が重ね合わせられ、設定された前記表示方法により前記視覚情報が表示される。

本技術の第１の側面又は第２の側面によれば、複数のユーザの視界に適切に視覚情報を重ね合わせて表示することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

本技術が適用される車両の構成例を示すブロック図である。 視覚情報の視覚特性を説明するための図である。 視覚情報の視覚特性を説明するための図である。 視覚情報の視覚特性を説明するための図である。 投射面から対象物までの距離と投射面上の対象物のサイズとの関係を示す図である。 投射面からユーザまでの距離と投射面上の対象物のサイズとの関係を示す図である。 ＡＲ制御処理を説明するためのフローチャートである。 視覚情報設定処理の第１の実施の形態を説明するためのフローチャートである。 ユーザ毎の視覚情報間の距離の例を示している。 人の視野と弁別能力を説明するための図である。 視覚情報の表示例を示す図である。 視覚情報の統合表示と個別表示の切り替え例を示す図である。 視覚情報設定処理の第２の実施の形態を説明するためのフローチャートである。 視覚情報の重なり量及びその変化量に基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 対象物の動きが速い場合の視覚情報の表示例を示す図である。 視覚情報の移動速度及びサイズに基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 対象物までの距離が近い場合の視覚情報の表示例を示す図である。 対象物までの距離及びその変化量に基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 ユーザ間の距離及びその変化量に基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 ユーザの対象物の認識の有無に基づいて視覚情報を表示する例を示す図である。 コンピュータの構成例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
４．その他

＜＜１．実施の形態＞＞
まず、図１乃至図１２を参照して、本技術の第１の実施の形態について説明する。

＜車両１１の構成例＞
図１は、本技術が適用される車両１１の一実施の形態を示すブロック図である。

車両１１の種類は、複数のユーザ（搭乗者）が搭乗することが可能であれば、特に限定されない。車両１１は、情報処理部２１を備える。

情報処理部２１は、車両１１に搭乗しているユーザの視界に視覚情報を重ね合わせて表示するＡＲを実現する。視覚情報は、ユーザが視認可能な情報であれば特に限定されない。例えば、視覚情報は、画像（動画像、静止画像）、車両１１の外の現実世界内の物体を指し示すためのマーキング等からなる。視覚情報が重畳されるユーザの視覚内の背景は、例えば、現実世界、又は、現実世界を撮影した動画像とされる。すなわち、情報処理部２１では、ユーザが見ている現実世界、又は、現実世界を撮影した動画像に視覚情報が重ね合わせて表示される。

なお、以下、現実世界と現実世界の動画像を特に区別する必要がない場合、単に現実世界と称する。

情報処理部２１は、データ取得部３１、車内情報取得部３２、車外情報取得部３３、出力情報設定部３４、出力制御部３５、及び、出力部３６を備える。

データ取得部３１は、車両１１の内部及び外部の状況を検出するためのデータを取得する。データ取得部３１は、撮影部１０１、音声検出部１０２、ＧＮＳＳ（Global Navigation Satellite System）受信機１０３、センサ部１０４、及び、通信部１０５を備える。

撮影部１０１は、例えば、複数のカメラを備え、車両１１の室内及び周囲の撮影を行う。撮影部１０１は、撮影した画像（以下、撮影画像と称する）のデータを車内情報取得部３２及び車外情報取得部３３に供給する。

音声検出部１０２は、例えば、複数のマイクロフォンを備え、車両１１の室内及び周囲の音声の検出を行う。音声検出部１０２は、検出した音声を示す音声データを車内情報取得部３２及び車外情報取得部３３に供給する。

ＧＮＳＳ受信機１０３は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、車内情報取得部３２及び車外情報取得部３３に供給する。

センサ部１０４は、各種のセンサを備える。例えば、センサ部１０４は、車両１１の状態等を検出するための各種のセンサを備える。例えば、センサ部１０４は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、センサ部１０４は、車両１１の外部のデータを検出するための各種のセンサを備える。例えば、センサ部１０４は、天候又は気象等を検出するための環境センサ、及び、車両１１の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、センサ部１０４は、ユーザの生体情報を検出する生体センサを備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っているユーザ（搭乗者）又はステアリングホイールを握っているユーザ（運転者）の生体情報を検出する。

センサ部１０４は、検出結果を示すセンサデータを車内情報取得部３２及び車外情報取得部３３に供給する。

通信部１０５は、例えば、車内外の様々な機器、サーバ、基地局等と通信を行い、各種のデータ（例えば、地図情報、地域情報等）の送受信を行う。通信部１０５がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０５が、複数の種類の通信プロトコルをサポートすることも可能である。

車内情報取得部３２は、データ取得部３１から供給されるデータに基づいて、車両１１及び車両１１の内部に関する車内情報を取得する。車内情報取得部３２は、ユーザ情報検出部１１１、音声認識部１１２、及び、車両情報検出部１１３を備える。

ユーザ情報検出部１１１は、車内のユーザに関する情報を検出する。例えば、ユーザ情報検出部１１１は、車内のユーザの位置、ユーザの目の位置、ユーザの視線の方向、ユーザの行動（例えば、運転しているか、ユーザの対象物の認識の有無等）を検出する。ユーザ情報検出部１１１は、検出結果を示すデータを出力情報設定部３４に供給する。

なお、対象物とは、視覚情報の表示対象となる物体等である。例えば、視覚情報が車両１１の前方の歩行者を指し示すマーキングである場合、その歩行者が対象物となる。

音声認識部１１２は、車内のユーザが発した音声の認識処理を行う。音声認識部１１２は、認識結果を示すデータを出力情報設定部３４に供給する。

車両情報検出部１１３は、車両１１に関する情報の検出処理を行う。例えば、車両情報検出部１１３は、車両１１の速度、進行方向、現在位置等を検出する。車両情報検出部１１３は、検出結果を示すデータを出力情報設定部３４に供給する。

車外情報取得部３３は、データ取得部３１から供給されるデータに基づいて、車両１１の外部に関する車外情報を取得する。車外情報取得部３３は、物体認識部１２１及び周辺情報取得部１２２を備える。

物体認識部１２１は、車両１１の周囲の物体の認識処理を行う。例えば、物体認識部１２１は、車両１１の周囲の歩行者及び自転車等の人の位置、動き、行動等を認識する。例えば、物体認識部１２１は、認識した人の特定を行う。例えば、物体認識部１２１は、車両１１の周囲の車両、障害物、建物等の物体の位置、動き、特徴（例えば、車種（車両の場合）、大きさ、形、色等）を認識する。物体認識部１２１は、認識結果を示すデータを出力情報設定部３４に供給する。

周辺情報取得部１２２は、車両１１の周辺の情報を取得する。例えば、周辺情報取得部１２２は、車両１１が走行するルートの道路に関する情報、車両１１の周囲の建物、施設、店舗、ランドマーク等に関する情報、車両１１がいる地域に関する情報等の取得を行う。周辺情報取得部１２２は、取得した情報を出力情報設定部３４に供給する。

出力情報設定部３４は、出力部３６から出力する出力情報の設定を行う。出力情報設定部３４は、視覚情報生成部１３１、表示方法設定部１３２、及び、音声情報生成部１３３を備える。

視覚情報生成部１３１は、車内情報及び車外情報、並びに、表示方法設定部１３２により設定された表示方法に基づいて、視覚情報を生成する。視覚情報生成部１３１は、生成した視覚情報を出力制御部３５に供給する。

表示方法設定部１３２は、車内情報（例えば、ユーザに関する情報）、車外情報（例えば、対象物に関する情報）、及び、視覚情報等に基づいて、視覚情報の表示方法を設定する。例えば、表示方法設定部１３２は、各ユーザの状態、車両１１の動き（例えば、移動速度及び方向）、視覚情報の状態及び内容、視覚情報を投射する投射面、対象物の状態等のうち少なくとも１つに基づいて、視覚情報の表示方法を設定する。

音声情報生成部１３３は、車内情報及び車外情報に基づいて、音声情報を生成する。音声情報生成部１３３は、生成した音声情報を出力制御部３５に供給する。

出力制御部３５は、出力情報の出力を制御する。出力制御部３５は、表示制御部１４１、及び、音声制御部１４２を備える。

表示制御部１４１は、表示方法設定部１３２により設定された表示方法に従って、表示装置１５１による視覚情報の表示を制御する。

音声制御部１４２は、スピーカ１５２による音声の出力を制御する。

出力部３６は、出力情報の出力を行う。出力部３６は、表示装置１５１、及び、スピーカ１５２を備える。

表示装置１５１は、表示制御部１４１の制御の下に、ＡＲを用いて、ユーザの視界に視覚情報を重ね合わせて表示する装置である。例えば、表示装置１５１は、ＨＵＤにより構成され、所定の投射面（例えば、車両１１のウインドシールド）に視覚情報を投射する。

スピーカ１５２は、音声制御部１４２の制御の下に、音声情報に基づく音声を出力する。

＜視覚情報及び対象物の視覚特性＞
次に、図２乃至図６を参照して、視覚情報及び対象物の視覚特性について簡単に説明する。

図２は、車両１１内に横に並んで座っているユーザ２０１ａ及びユーザ２０１ｂに対して、車両１１の前方の歩行者である対象物２０３に対して視覚情報２０４を表示する場合の例を示している。

視覚情報２０４は、例えば、車両１１のウインドシールド等からなる投射面２０２に投射されることにより表示される。また、視覚情報２０４は、その内容にもよるが、基本的に対象物２０３の位置に正確に合わせて表示することが重要である。

一方、ユーザ２０１ａとユーザ２０１ｂとは座っている位置が異なるため、対象物２０３に対する視点が異なる。なお、この明細書において、特に断りがない限り、視点とは、ユーザがどこを見ているかを表す視点（ユーザの視線の先となる点）ではなく、ユーザがどこから見ているかを表す視点（ユーザの視線の元となる点）であるものとする。

そのため、ユーザ２０１ａ及びユーザ２０１ｂの両方から、対象物２０３に対してほぼ同じ位置に視覚情報２０４が見えるようにするには、各ユーザに対する視覚情報２０４が投射面２０２のそれぞれ異なる位置に投射される必要がある。

例えば、図３のＡに示されるように、ユーザ２０１ａから見た投射面２０２上の対象物２０３の位置の左隣に視覚情報２０４ａが投射される。これにより、ユーザ２０１ａには、対象物２０３の左隣に視覚情報２０４ａが見えるようになる。

一方、図３のＢに示されるように、ユーザ２０１ｂから見た投射面２０２上の対象物２０３の位置は、ユーザ２０１ａから見た投射面２０２上の対象物２０３の位置と異なる。従って、ユーザ２０１ｂには視覚情報２０４ａが対象物２０３の右側の離れた位置に見え、ユーザ２０１ｂが違和感を覚えるおそれがある。

これに対して、例えば、図４のＢに示されるように、ユーザ２０１ａから見た投射面２０２上の対象物２０３の位置の左隣に、視覚情報２０４ａと同じ内容の視覚情報２０４ｂが投射される。これにより、ユーザ２０１ｂにも、対象物２０３の左隣に視覚情報２０４ｂが見えるようになる。

しかし、図４のＡに示されるように、ユーザ２０１ａには、視覚情報２０４ａに加えて、視覚情報２０４ｂが対象物２０３から左側に離れた位置に見える。従って、視覚情報２０４ａと視覚情報２０４ｂとの間の水平方向の間隔が狭くなると、ユーザ２０１ａは、視覚情報２０４ａに加えて、視覚情報２０４ｂを不自然な位置に視認することになり、違和感を覚える。

同様に、図４のＢに示されるように、ユーザ２０１ｂには、視覚情報２０４ｂに加えて、視覚情報２０４ａが対象物２０３から右側に離れた位置に見える。従って、視覚情報２０４ａと視覚情報２０４ｂの間の水平方向の間隔が狭くなると、ユーザ２０１ｂは、視覚情報２０４ｂに加えて、視覚情報２０４ａを不自然な位置に視認することになり、違和感を覚えるおそれがある。

図５は、投射面２０２から対象物２２１までの距離と、投射面２０２上の対象物２２１のサイズとの関係を示している。例えば、図５のＡでは、図５のＢと比較して、投射面２０２から対象物２２１までの距離が近くなっている。また、図５のＡ及びＢにおいて、ユーザ２０１ａの視点Ａから投射面２０２までの距離、及び、ユーザ２０１ｂの視点Ｂから投射面２０２までの距離は、全て等しくなっている。

この例に示されるように、投射面２０２から対象物２２１までの距離が近くなるほど、投射面２０２上の対象物２２１のサイズは大きくなる。一方、投射面２０２から対象物２２１までの距離が遠くなるほど、投射面２０２上の対象物２２１のサイズは小さくなる。

例えば、図５のＡの視点Ａから見た対象物２２１の投射面２０２上のサイズＳ１ａは、図５のＢの視点Ａから見た対象物２２１の投射面２０２上のサイズＳ２ａより大きくなる。また、図５のＡの視点Ｂから見た対象物２２１の投射面２０２上のサイズＳ１ｂは、図５のＢの視点Ｂから見た対象物２２１の投射面２０２上のサイズＳ２ｂより大きくなる。

従って、対象物２２１が投射面２０２に近づくほど、視点Ａから見た投射面２０２上の対象物２２１と、視点Ｂから見た投射面２０２上の対象物２２１との間の水平方向の間隔は狭くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が狭くなり、２つの視覚情報が投射面２０２上で重なる可能性が高くなる。

一方、対象物２２１が投射面２０２から遠ざかるほど、視点Ａから見た投射面２０２上の対象物２２１と、視点Ｂから見た投射面２０２上の対象物２２１との間の水平方向の間隔は広くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が広くなり、２つの視覚情報が投射面２０２上で重なる可能性が低くなる。

図６は、ユーザの視点から投射面２０２までの距離と、投射面２０２上の対象物２２１のサイズとの関係を示している。この例では、ユーザ２０１ａの視点Ａが、ユーザ２０１ｂの視点Ｂより、投射面２０２に近くなっている。

この例に示されるように、ユーザの視点が投射面２０２に近づくほど、ユーザから見た投射面２０２上の対象物２２１のサイズは小さくなる。一方、ユーザの視点が投射面２０２から遠ざかるほど、ユーザから見た投射面２０２上の対象物２２１のサイズは大きくなる。例えば、視点Ａから見た対象物２２１の投射面２０２上のサイズＳ３ａは、視点Ｂから見た対象物２２１の投射面２０２上のサイズＳ３ｂより小さくなる。

従って、各ユーザの視点が投射面２０２に近づくほど、各ユーザから見た投射面２０２上の対象物２２１のサイズが大きくなり、水平方向の間隔は狭くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が狭くなり、２つの視覚情報が投射面２０２上で重なる可能性は高くなる。

一方、各ユーザの視点が投射面２０２から遠ざかるほど、各ユーザから見た投射面２０２上の対象物２２１のサイズが小さくなり、水平方向の間隔は広くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が広くなり、２つの視覚情報が投射面２０２上で重なる可能性は低くなる。

車両１１の情報処理部２１は、後述するように、上記の視覚特性等を考慮して、状況に応じて複数のユーザに対して視覚情報を個別に表示したり、統合して表示したりすることにより、複数のユーザが、違和感を覚えずに視覚情報を確認することができるようにする。

＜ＡＲ制御処理＞
次に、図７のフローチャートを参照して、車両１１の情報処理部２１により実行されるＡＲ制御処理について説明する。

この処理は、例えば、車両１１を起動し、運転を開始するための操作が行われたとき、例えば、車両１１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。

なお、以下、上述した図２に示されるように、ユーザ２０１ａ及びユーザ２０１ｂに対して、１種類の視覚情報を投射面２０２に投射して表示する場合を適宜具体例として挙げながら説明する。

ステップＳ１において、データ取得部３１は、各種データを取得する。

例えば、撮影部１０１は、車両１１の室内及び周囲の撮影を行い、得られた撮影画像のデータを車内情報取得部３２及び車外情報取得部３３に供給する。

音声検出部１０２は、車両１１の室内及び周囲の音声の検出を行い、検出した音声を示す音声データを車内情報取得部３２及び車外情報取得部３３に供給する。

ＧＮＳＳ受信機１０３は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、車内情報取得部３２及び車外情報取得部３３に供給する。

センサ部１０４は、車両１１の内部及び外部の状況を検出し、検出結果を示すセンサデータを車内情報取得部３２及び車外情報取得部３３に供給する。

通信部１０５は、車内外の様々な機器、サーバ、基地局等と通信を行い、地図情報及び地域情報等の各種のデータを受信し、受信したデータを車内情報取得部３２及び車外情報取得部３３に供給する。

ステップＳ２において、車内情報取得部３２は、車内情報を取得する。

例えば、ユーザ情報検出部１１１は、車内のユーザの位置、ユーザの目の位置、ユーザの視線の方向、ユーザの行動、ユーザの対象物の認識の有無等の車内のユーザに関する情報を検出する。ユーザ情報検出部１１１は、検出結果を示すデータを出力情報設定部３４に供給する。

音声認識部１１２は、車内のユーザが発した音声の認識処理を行い、認識結果を示すデータを出力情報設定部３４に供給する。

車両情報検出部１１３は、車両１１の速度、進行方向、現在位置等の車両１１に関する情報の検出処理を行い、検出結果を示すデータを出力情報設定部３４に供給する。

ステップＳ３において、車外情報取得部３３は、車外情報を取得する。

例えば、物体認識部１２１は、車両１１の周囲の歩行者、自転車、車両、障害物、建物等の物体の認識処理を行い、認識結果を示すデータを出力情報設定部３４に供給する。

周辺情報取得部１２２は、車両１１が走行するルートの道路に関する情報、車両１１の周囲の建物、施設、店舗、ランドマーク等に関する情報、車両１１がいる地域に関する情報等の車両１１の周辺の情報を取得し、取得した情報を出力情報設定部３４に供給する。

ステップＳ４において、出力情報設定部３４は、視覚情報設定処理を行う。ここで、図８のフローチャートを参照して、視覚情報設定処理の詳細について説明する。

ステップＳ１０１において、視覚情報生成部１３１は、視覚情報の内容を設定する。例えば、視覚情報生成部１３１は、車内情報及び車外情報に基づいて、ユーザの視界に重ね合わせて表示する視覚情報の内容（例えば、視覚情報の種類、表示する画像、テキスト等）を設定する。

ステップＳ１０２において、表示方法設定部１３２は、視覚情報の位置が重要であるか否かを判定する。例えば、表示方法設定部１３２は、視覚情報の表示対象となる対象物が存在する場合、例えば、視覚情報が対象物の関連情報、マーキング等である場合、視覚情報の位置が重要であると判定し、処理はステップＳ１０３に進む。

ステップＳ１０３において、表示方法設定部１３２は、視覚情報を個別表示する場合の表示位置を計算する。

例えば、表示方法設定部１３２は、車内情報及び車外情報に基づいて、各ユーザの視点から見た対象物の投射面上の位置及びサイズを計算する。そして、表示方法設定部１３２は、各ユーザの視点から見た対象物の投射面上の位置及びサイズ、並びに、視覚情報の内容等に基づいて、各ユーザに対して適切な視覚情報の投射面上の表示位置を計算する。

ここで、各ユーザに対して適切な表示位置とは、例えば、各ユーザが視覚情報を違和感なく視認できる表示位置である。また、視覚情報の表示位置は、例えば、投射面上において視覚情報が表示される領域の位置とされ、視覚情報の表示サイズや形の概念も含む。

ステップＳ１０４において、表示方法設定部１３２は、視覚情報が干渉するか否かを判定する。

例えば、表示方法設定部１３２は、各ユーザに対する視覚情報間の投射面上の距離を計算する。

図９は、視覚情報間の距離の例を示している。図９は、対象物３０１を囲むマーキングを視覚情報として表示する場合の例を示している。視覚情報３０２ａは、ユーザ２０１ａに対して表示される視覚情報であり、視覚情報３０２ｂは、ユーザ２０１ｂに対して表示される視覚情報である。

また、図９のＡは、ユーザ２０１ａの視点Ａから見た対象物３０１、視覚情報３０２ａ、及び、視覚情報３０２ｂの投射面２０２上の位置を示している。図９のＢは、ユーザ２０１ｂの視点Ｂから見た対象物３０１、視覚情報３０２ａ、及び、視覚情報３０２ｂの投射面２０２上の位置を示している。図９のＡでは、対象物３０１が視覚情報３０２ａにより囲まれ、図９のＢでは、対象物３０１が視覚情報３０２ｂにより囲まれている。

表示方法設定部１３２は、例えば、投射面２０２上の視覚情報３０２ａと視覚情報３０２ｂとの間の水平方向の距離（すなわち、両者の間隔）ｄを計算する。

なお、距離ｄは、視覚情報３０２ａと視覚情報３０２ｂが投射面２０２上で重なる場合、負の値となる。また、視覚情報３０２ａと視覚情報３０２ｂが重なる部分の水平方向の幅（以下、重なり量と称する）が大きくなるほど、距離ｄの値は小さくなる（負の値の距離ｄの絶対値が大きくなる）。

そして、表示方法設定部１３２は、距離ｄが所定の閾値以上である場合、視覚情報が干渉しないと判定し、処理はステップＳ１０５に進む。

ここで、図１０を参照して、閾値の設定方法の一例について説明する。

図１０は、人を上方から見た模式図であり、人が正面方向を見ている場合の視野と弁別能力を示している。

範囲Ａ１は、人が文字や数字等を認識可能な範囲である。範囲Ａ１は、例えば、人の視野の中心Ｃ１（以下、視野中心Ｃ１と称する）を中心にして左右にそれぞれ５度から１０度の範囲となる。

範囲Ａ２は、人がシンボル（例えば、マーキングやマーク等）を認識可能な範囲である。範囲Ａ２は、例えば、視野中心Ｃ１を中心にして左右にそれぞれ５度から３０度の範囲となる。

範囲Ａ３は、色、輝度が変化する場合に人が色の弁別が可能な範囲である。範囲Ａ３は、例えば、視野中心Ｃ１を中心にして左右にそれぞれ３０度から６０度の範囲となる。

これに対して、閾値は、例えば、範囲Ａ２を基準にして設定される。例えば、ユーザが投射面から８０ｃｍ離れた場所に座っている場合、範囲Ａ２の投影面上のサイズは、視野中心Ｃ１を中心にして左右にそれぞれ約７ｃｍから４６ｃｍの範囲となる。この場合、例えば、範囲Ａ２を最も狭く見積もった場合、閾値は７ｃｍに設定される。一方、例えば、範囲Ａ２を最も広く見積もった場合、閾値は４６ｃｍに設定される。

例えば、図９の例において、距離ｄが閾値以上である場合、ユーザ２０１ａは、視覚情報３０２ａを注視した状態において、周辺視野を用いて視覚情報３０２ｂを認識することになると想定される。従って、ユーザ２０１ａにとって視覚情報３０２ｂが邪魔になる度合いが低くなり、視覚情報３０２ａと視覚情報３０２ｂは干渉しないと考えられる。

一方、距離ｄが閾値未満である場合、ユーザ２０１ａは、視覚情報３０２ａを注視した状態において、中心視野を用いて視覚情報３０２ｂを認識することになると想定される。従って、ユーザ２０１ａにとって、視覚情報３０２ｂが邪魔になる度合いが高くなり、視覚情報３０２ａと視覚情報３０２ｂが干渉すると考えられる。

これは、ユーザ２０１ｂにとっても同様である。

ステップＳ１０５において、表示方法設定部１３２は、視覚情報を個別表示する位置を設定する。すなわち、表示方法設定部１３２は、ステップＳ１０３の処理で計算した表示位置を、各ユーザに対する視覚情報の表示位置に設定する。

その後、処理はステップＳ１０８に進む。

一方、ステップＳ１０４において、表示方法設定部１３２は、視覚情報間の距離が所定の閾値未満である場合（投射面上で視覚情報が重なる場合も含む）、視覚情報が干渉すると判定し、処理はステップＳ１０６に進む。

ステップＳ１０６において、表示方法設定部１３２は、視覚情報を統合表示する位置を設定する。例えば、表示方法設定部１３２は、各ユーザから見た対象物の投影面上の位置及びサイズ、並びに、視覚情報の内容等に基づいて、視覚情報を１つのみ表示する場合に、各ユーザに対して可能な限り適切となる投影面上の表示位置を計算する。表示方法設定部１３２は、計算した表示位置を、各ユーザに対して共通に表示する視覚情報の表示位置に設定する。

その後、処理はステップＳ１０８に進む。

一方、ステップＳ１０２において、例えば、表示方法設定部１３２は、視覚情報の表示対象となる対象物が存在しない場合、例えば、視覚情報が対象物とは無関係の時刻表示等である場合、視覚情報の表示位置が重要でないと判定し、処理はステップＳ１０７に進む。

ステップＳ１０７において、表示方法設定部１３２は、視覚情報を共通表示する場合の表示位置を設定する。例えば、表示方法設定部１３２は、所定の位置（例えば、投影面の隅等）に視覚情報の表示位置を設定する。或いは、例えば、表示方法設定部１３２は、各ユーザの視界や行動を阻害しない位置を計算し、計算した位置に視覚情報の表示位置を設定する。

その後、処理はステップＳ１０８に進む。

ステップＳ１０８において、視覚情報生成部１３１は、視覚情報を生成する。例えば、視覚情報生成部１３１は、視覚情報の内容、及び、視覚情報の表示位置等に基づいて、視覚情報の表示サイズ、レイアウト、デザイン等を設定する。そして、視覚情報生成部１３１は、設定した内容に従って、視覚情報を生成する。このとき、個別表示を行う場合、視覚情報生成部１３１は、各ユーザに対する視覚情報を生成する。

視覚情報生成部１３１は、生成した視覚情報及び表示位置を示すデータを出力制御部３５に供給する。

なお、例えば、視覚情報生成部１３１が、視覚情報を生成せずに、視覚情報の内容、表示サイズ、レイアウト、デザイン等を示すデータを出力制御部３５に供給し、表示制御部１４１が、そのデータに基づいて、視覚情報を生成するようにしてもよい

その後、視覚情報設定処理は終了する。

図７に戻り、ステップＳ５において、表示装置１５１は、表示制御部１４１の制御の下に、視覚情報を表示する。例えば、表示制御部１４１は、設定された位置に表示されるようにフレームバッファ（不図示）に視覚情報を設定する（レンダリングする）。表示装置１５１は、フレームバッファに設定された視覚情報を投射面に投射する。これにより、表示方法設定部１３２により設定された投影面上の位置に視覚情報が表示される。

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

以上のようにして、状況に応じて、視覚情報の個別表示、統合表示、及び、共通表示が使い分けられ、複数のユーザの視界に適切に視覚情報が重ね合わせて表示される。その結果、視覚情報の視認性が向上するとともに、ユーザが視覚情報に対して違和感を覚えるおそれが低減する。

例えば、図１１は、対象物３２１に対するマーキングを視覚情報として表示する場合の例を示している。

図１１のＡ１及びＢ１は、ユーザ２０１ａに対する視覚情報３２２ａ及びユーザ２０１ｂに対する視覚情報３２２ｂを個別表示する場合の例を示している。図１１のＡ１は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１１のＢ１は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を示模式的にしている。

この例では、視覚情報３２２ａと視覚情報３２２ｂが重なっており、互いに干渉している。従って、例えば、視覚情報３２２ａ及び視覚情報３２２ｂの視認性の低下や、ユーザ２０１ａ及びユーザ２０１ｂの違和感が発生する。

これに対して、図１１のＡ２及びＢ２に示されるように、ユーザ２０１ａ及びユーザ２０１ｂに対する視覚情報が統合され、視覚情報３２３が表示される。図１１のＡ２は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１１のＢ２は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。

視覚情報３２３は、視覚情報３２２ａ及び視覚情報３２２ｂと比較して、水平方向に広がっている。これにより、ユーザ２０１ａ及びユーザ２０１ｂのどちらから見ても、視覚情報３２３内に対象物３２１が含まれるようになる。また、表示される視覚情報の数が削減される。

その結果、ユーザ２０１ａ及びユーザ２０１ｂのどちらに対しても、視覚情報の視認性が向上し、ユーザ２０１ａ及びユーザ２０１ｂが対象物３２１を確実に認識できるようになる。

図１２は、統合表示と個別表示の切り替え例を示している。この例では、対象物３４１に対するマーキングを視覚情報として表示する場合の例を示している。図１２のＡ１乃至Ａ４は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１２のＢ１乃至Ｂ４は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。

例えば、対象物３４１が投射面２０２から遠ざかるにつれて、ユーザ２０１ａ及びユーザ２０１ｂから見た対象物３４１の投射面２０２上の位置は、図１２のＡ１及びＢ１からＡ４及びＢ４のように変化する。

具体的には、図１２のＡ１、Ａ２、Ｂ１、及び、Ｂ２に示されるように、両者の位置の差が所定の閾値未満の場合、視覚情報３４２が統合表示され、両者の位置の差が広がるにつれて、視覚情報３４２の水平方向の幅が広げられる。これにより、ユーザ２０１ａ及びユーザ２０１ｂのいずれから見ても、対象物３４１が視覚情報３４２内に含まれるようになる。

そして、図１２のＡ３、Ａ４、Ｂ３、及び、Ｂ４に示されるように、両者の位置の差が所定の閾値以上になると、ユーザ２０１ａ用の視覚情報３４３ａ及びユーザ２０１ｂ用の視覚情報３４３ｂが個別に表示される。また、両者の位置の差が広がるにつれて、視覚情報３４３ａと視覚情報３４３ｂの水平方向の間隔が広げられる。これにより、ユーザ２０１ａから見て、対象物３４１が視覚情報３４３ａ内に含まれ、ユーザ２０１ｂから見て、対象物３４１が視覚情報３４３ｂ内に含まれるようになる。

一方、逆に対象物３４１が投射面２０２に近づくにつれて、ユーザ２０１ａから見た対象物３４１の投射面２０２上の位置、及び、ユーザ２０１ｂから見た対象物３４１の投射面２０２上の位置は、図１２のＡ４及びＢ４からＡ１及びＢ１のように変化する。

具体的には、図１２のＡ３、Ａ４、Ｂ３、及び、Ｂ４に示されるように、両者の位置の差が所定の閾値以上の場合、ユーザ２０１ａ用の視覚情報３４３ａ及びユーザ２０１ｂ用の視覚情報３４３ｂが個別に表示される。また、両者の位置の差が狭まるにつれて、視覚情報３４３ａと視覚情報３４３ｂの水平方向の間隔が狭められる。これにより、ユーザ２０１ａから見て、対象物３４１が視覚情報３４３ａ内に含まれ、ユーザ２０１ｂから見て、対象物３４１が視覚情報３４３ｂ内に含まれるようになる。

そして、図１２のＡ１、Ａ２、Ｂ１、及び、Ｂ２に示されるように、両者の位置の差が所定の閾値未満になると、視覚情報３４２が統合表示され、両者の位置の差が狭まるにつれて、視覚情報３４２の水平方向の幅が狭められる。これにより、ユーザ２０１ａ及びユーザ２０１ｂのいずれから見ても、対象物３４１が視覚情報３４２内に含まれるようになる。

なお、例えば、統合表示から個別表示に切り替わる際に、統合表示されている視覚情報と個別表示する視覚情報がクロスフェードされるようにしてもよい。すなわち、統合表示されている視覚情報がフェードアウトされるとともに、個別表示する視覚情報がフェードインされるようにしてもよい。逆に、例えば、個別表示から統合表示に切り替わる際に、個別表示されている視覚情報と統合表示する視覚情報がクロスフェードされるようにしてもよい。すなわち、個別表示されている視覚情報がフェードアウトされるとともに、統合表示する視覚情報がフェードインされるようにしてもよい。これにより、ユーザに違和感を与えずに、視覚情報の表示方法を切り替えることができる。

＜＜２．第２の実施の形態＞＞
次に、図１３乃至図１９を参照して、本技術の第２の実施の形態について説明する。

第２の実施の形態は、第１の実施の形態と比較して、図７のステップＳ４の視覚情報設定処理が異なる。より具体的には、個別表示と統合表示の選択方法が異なる。

ここで、図１３のフローチャートを参照して、視覚情報設定処理の第２の実施の形態について説明する。

具体的には、ステップＳ２０１において、図８のステップＳ１０１の処理と同様に、視覚情報の内容が設定される。

ステップＳ２０２において、図８のステップＳ１０２の処理と同様に、視覚情報の表示位置が重要であるか否かが判定される。視覚情報の表示位置が重要であると判定された場合、処理はステップＳ２０３に進む。

ステップＳ２０３において、図８のステップＳ１０３の処理と同様に、視覚情報を個別表示する場合の表示位置が計算される。

ステップＳ２０４において、表示方法設定部１３２は、視覚情報の重なり量を計算する。具体的には、表示方法設定部１３２は、ステップＳ２０３の処理で計算した視覚情報の表示位置に基づいて、投射面における視覚情報の重なり量を計算する。

視覚情報の重なり量は、上述した、視覚情報間の水平方向の間隔と逆の概念である。例えば、視覚情報の重なり量は、２つの視覚情報が重なっている部分の水平方向の幅の最大値により表される。従って、視覚情報が重なっている部分の水平方向の幅が大きくなるほど、重なり量は大きくなり、視覚情報が重なっている部分の水平方向の幅が小さくなるほど、重なり量は小さくなる。一方、視覚情報が重なっていない場合、重なり量は負の値になる。そして、２つの視覚情報の間の水平方向の間隔が広がるほど、重なり量は小さくなる（負の値の重なり量の絶対値が大きくなる）。

ステップＳ２０５において、表示方法設定部１３２は、視覚情報の移動速度を計算する。例えば、表示方法設定部１３２は、過去の視覚情報の表示位置の履歴、及び、ステップＳ２０３の処理で計算した視覚情報の表示位置に基づいて、投射面における各視覚情報の移動速度を計算する。

ステップＳ２０６において、表示方法設定部１３２は、対象物までの距離を計算する。例えば、表示方法設定部１３２は、物体認識部１２１により検出された対象物の位置に基づいて、投射面から対象物までの距離を計算する。

ステップＳ２０７において、表示方法設定部１３２は、ユーザ間の距離を計算する。例えば、表示方法設定部１３２は、ユーザ情報検出部１１１により検出された車内の各ユーザの位置に基づいて、投射面に対して水平な方向における各ユーザ間の距離を計算する。

ステップＳ２０８において、表示方法設定部１３２は、視覚情報を統合表示するか否かを判定する。

ここで、図１４乃至図１９を参照して、ステップＳ２０８の処理の具体例について説明する。

例えば、ユーザ毎の視覚情報の重なり量に基づいて、視覚情報の表示方法が選択される。

図１４は、ユーザ毎の視覚情報の重なり量に基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は重なり量の変化量（単位はｃｍ／ｓｅｃ）を示している。横軸の重なり量の変化量が０となる点より右の範囲では、右に行くほど重なり量が増加する方向（或いは、２つの視覚情報が近づく方向）への変化量が大きくなる。横軸の重なり量の変化量が０となる点より左の範囲では、左に行くほど重なり量が減少する方向（或いは、２つの視覚情報が離れる方向）への変化量が大きくなる。縦軸は重なり量（単位はｃｍ）を示している。縦軸の重なり量が０となる点より上の範囲では、上に行くほど重なり量が大きくなり、縦軸の重なり量が０となる点より下の範囲では、下に行くほど２つの視覚情報の間の間隔が大きくなる。

そして、例えば、視覚情報の重なり量とその変化量との関係を示す曲線Ｃ１１より右斜め上の範囲において、統合表示が選択され、曲線Ｃ１１より左斜め下の範囲において、個別表示が選択される。

例えば、図１４の矢印Ａ１１で示される領域付近では、現時点では各ユーザの視覚情報が重なるとしても、重なり量が減少する方向に大きく変化しており、すぐに視覚情報が離れると予想される。そこで、例えば、各ユーザの視覚情報が重なっても、個別表示が選択される。

逆に、例えば、図１４の矢印Ａ１２で示される領域付近では、現時点では各ユーザの視覚情報が重ならなくても、視覚情報が重なる方向（視覚情報が近づく方向）に大きく変化しており、すぐに視覚情報が重なると予想される。そこで、例えば、各ユーザの視覚情報が重ならなくても、統合表示が選択される。

また、例えば、投射面における視覚情報の移動速度に基づいて、視覚情報の表示方法が選択されるようにしてもよい。

例えば、視覚情報の動きが速くなると、視覚情報の表示位置の厳密さは意味をなさなくなる。また、視覚情報を対象物に追従させて速く動かすと、残像により視覚情報は実際より大きく見えるため、視覚情報を個別表示した場合、視覚情報が干渉しやすくなる。そこで、例えば、視覚情報の移動速度が所定の閾値以上の場合、統合表示が選択され、視覚情報の移動速度が所定の閾値未満の場合、個別表示が選択される。

例えば、図１５は、対象物３０１が自転車であり、対象物３０１に対するマーキングを視覚情報３０２として表示する場合の例を示している。図１６のＡ１は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１６のＢは、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。

対象物３０１が投射面２０２上を高速に移動している場合、視覚情報の表示位置の厳密性はあまり重要でなくなる。逆に、視覚情報の表示位置を厳密にすると、視覚情報が投射面２０２上を高速に移動するようになり、視覚情報の視認性が低下するおそれがある。従って、図１５に示されるように、視点Ａ及び視点Ｂのいずれからも対象物３０１が含まれるように、視覚情報３０２の位置及びサイズが設定される。

さらに、例えば、投射面における視覚情報のサイズに基づいて、視覚情報の表示方法が選択されるようにしてもよい。

例えば、視覚情報のサイズが大きくなるほど、ユーザ毎の視覚情報が重なる可能性が高くなり、視覚情報のサイズが小さくなるほど、ユーザ毎の視覚情報が重なる可能性が低くなる。そこで、例えば、視覚情報のサイズ（例えば、視覚情報の水平方向の幅）が所定の閾値以上の場合、統合表示が選択され、視覚情報のサイズが所定の閾値未満の場合、個別表示が選択される。

また、例えば、投射面における視覚情報の移動速度とサイズとの組合せに基づいて、視覚情報の表示方法が選択されるようにしてもよい。

図１６は、投射面における視覚情報の移動速度とサイズとの組合せに基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は、投射面における視覚情報の移動速度（単位はｃｍ／ｓｅｃ）を示している。縦軸は、投射面における視覚情報のサイズ、より具体的には、投射面における視覚情報の水平方向の幅（単位はｃｍ）を示している。

そして、例えば、視覚情報の移動速度と視覚情報のサイズとの関係を示す曲線Ｃ１２より右斜め上の範囲において、統合表示が選択され、曲線Ｃ１２より左斜め下の範囲において、個別表示が選択される。

例えば、図１６の矢印Ａ１３で示される領域付近では、視覚情報の動きが速く、視覚情報の表示位置の重要性が低下するため、統合表示が選択される。また、例えば、図１６の矢印Ａ１４で示される領域付近では、視覚情報が大きく、視覚情報が重なる可能性が高いため、統合表示が選択される。

一方、例えば、図１６の矢印Ａ１５で示される領域付近では、視覚情報の移動速度及びサイズとも小さく、視覚情報の表示位置の重要性が上昇し、かつ、視覚情報が重なる可能性が低下するため、個別表示が選択される。

また、例えば、投射面から対象物までの距離（以下、単に対象物までの距離と称する）に基づいて、表示方法が選択されるようにしてもよい。

図５を参照して上述したように、対象物までの距離が遠くなるほど、投射面上の対象物のサイズは小さくなり、各ユーザの視点間の投射面上の対象物の位置の差が大きくなる。そのため、ユーザ毎の視覚情報が重なる可能性が低くなる。また、投射面上の対象物のサイズが小さくなると、視覚情報の表示位置の重要性が上昇し、表示位置の厳密さが要求されるようになる。

一方、対象物までの距離が近くなるほど、投射面上の対象物のサイズは大きくなり、各ユーザの視点間の投射面上の対象物の位置の差が小さくなる。そのため、ユーザ毎の視覚情報が重なる可能性が高くなる。また、投射面上の対象物のサイズが大きくなると、視覚情報の表示位置の重要性が低下し、表示位置の厳密さが要求されなくなる。

そこで、例えば、対象物までの距離が所定の閾値未満の場合、統合表示が選択され、対象部までの距離が所定の閾値以上の場合、個別表示が選択される。

例えば、図１７は、対象物３２１が店舗であり、対象物３２１に関する情報（例えば、広告）を視覚情報として表示する場合の例を示している。図１７のＡは、ユーザ２０１ａに対する視覚情報３２２ａ及びユーザ２０１ａに対する視覚情報３２２ｂを個別表示した場合の例を示している。図１７のＢは、ユーザ２０１ａ及びユーザ２０１ｂに対する視覚情報３２３を統合表示した場合の例を示している。

図１７に示されるように、対象物３２１までの距離が近く、投射面２０２上の対象物３２１のサイズが大きい場合、ユーザの視点によって視覚情報の表示位置が多少ずれても、視認性が低下したり、ユーザが他の対象物を誤認識したりする可能性は低い。そこで、図１７のＢのように、視覚情報３２３が統合表示される。

なお、例えば、対象物までの距離の代わりに、投射面上の対象物のサイズに基づいて、表示方法が選択されるようにしてもよい。例えば、対象物のサイズが所定の閾値未満の場合、統合表示が選択され、対象部のサイズが所定の閾値以上の場合、個別表示が選択される。

また、例えば、対象物までの距離とその変化量との組合せに基づいて、視覚情報の表示方法が選択されるようにしてもよい。

図１８は、対象物までの距離とその変化量との組合せに基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は、対象物までの距離の変化量（単位はｍ／ｓｅｃ）を示している。横軸の対象物までの距離の変化量が０となる点より右の範囲では、右に行くほど距離が離れる方向への変化量が大きくなる。横軸の距離の変化量が０となる点より左の範囲では、左に行くほど距離が近づく方向への変化量が大きくなる。縦軸は、対象物までの距離（単位はｍ）を示している。

そして、例えば、対象物までの距離と対象物までの距離の変化量との関係を示す曲線Ｃ１３より右斜め上の範囲において、個別表示が選択され、曲線Ｃ１３より左斜め下の範囲において、統合表示が選択される。

例えば、図１８の矢印Ａ１６で示される領域付近では、現時点で対象物までの距離が遠いため各ユーザの視覚情報が重ならなくても、対象物までの距離が近づく方向に大きく変化しており、すぐに視覚情報が重なると予想される。そこで、例えば、各ユーザの視覚情報が重ならなくても、統合表示が選択される。

一方、例えば、図１８の矢印Ａ１７で示される領域付近では、現時点で対象物までの距離が近いため各ユーザの視覚情報が重なるとしても、対象物までの距離が離れる方向に大きく変化しており、すぐに視覚情報が離れると予想される。そこで、例えば、各ユーザの視覚情報が重なっても、個別表示が選択される。

さらに、例えば、投射面に対して水平な方向におけるユーザ間の距離（以下、単にユーザ間の距離と称する）に基づいて、表示方法が選択されるようにしてもよい。

例えば、ユーザ間の距離が離れるほど、ユーザ間の視点が離れるため、各ユーザに対する投射面上の対象物の位置が離れる。従って、各ユーザに対して個別表示される視覚情報の位置が離れ、視覚情報が重なる可能性が低くなる。一方、ユーザ間の距離が近づくほど、ユーザ間の視点が近づくため、各ユーザに対する投射面上の対象物の位置が近づく。従って、各ユーザに対して個別表示される視覚情報の位置が近くなり、視覚情報が重なる可能性が高くなる。

そこで、例えば、ユーザ間の距離が所定の閾値未満の場合、統合表示が選択され、ユーザ間の距離が所定の閾値以上の場合、個別表示が選択される。

また、例えば、ユーザ間の距離とその変化量との組合せに基づいて、視覚情報の表示方法が選択されるようにしてもよい。

図１９は、ユーザ間の距離とその変化量との組合せに基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は、ユーザ間の距離の変化量（単位はｃｍ／ｓｅｃ）を示している。横軸のユーザ間の距離の変化量が０となる点より右の範囲では、右に行くほど距離が離れる方向への変化量が大きくなる。横軸の距離の変化量が０となる点より左の範囲では、左に行くほど距離が近づく方向への変化量が大きくなる。縦軸は、ユーザ間の距離（単位はｃｍ）を示している。

そして、例えば、ユーザ間の距離とその変化量との関係を示す曲線Ｃ１４より右斜め上の範囲において、個別表示が選択され、曲線Ｃ１４より左斜め下の範囲において、統合表示が選択される。

例えば、図１９の矢印Ａ１８で示される領域付近では、現時点でユーザ間の距離が遠いため視覚情報が重ならなくても、ユーザ間の距離が近づく方向に大きく変化しており、すぐに視覚情報が重なると予想される。そこで、例えば、各ユーザの視覚情報が重ならなくても、統合表示が選択される。

一方、例えば、図１９の矢印Ａ１９で示される領域付近では、現時点でユーザ間の距離が近いため視覚情報が重なるとしても、ユーザ間の距離が遠ざかる方向に大きく変化しており、すぐに視覚情報が離れると予想される。そこで、例えば、各ユーザの視覚情報が重なっても、個別表示が選択される。

なお、以上の判定方法は、その一例であり、他の判定方法を用いてもよい。また、複数の判定方法を組み合わせて、視覚情報の表示方法を選択するようにしてもよい。

図１３に戻り、ステップＳ２０８において、表示方法設定部１３２が、視覚情報の表示方法を選択した結果、視覚情報を統合しないと判定した場合、処理はステップＳ２０９に進む。

ステップＳ２０９において、図８のステップＳ１０５の処理と同様に、視覚情報を個別表示する位置が設定される。

その後、処理はステップＳ２１２に進む。

一方、ステップＳ２０８において、視覚情報を統合すると判定された場合、処理はステップＳ２１０に進む。

ステップＳ２１０において、図８のステップＳ１０６の処理と同様に、視覚情報を統合表示する位置が設定される。

その後、処理はステップＳ２１２に進む。

一方、ステップＳ２０２において、視覚情報の表示位置が重要でないと判定された場合、処理はステップＳ２１１に進む。

ステップＳ２１１において、図８のステップＳ１０７の処理と同様に、視覚情報を共通表示する位置が設定される。

その後、処理はステップＳ２１２に進む。

ステップＳ２１２において、図８のステップＳ１０８の処理と同様に、視覚情報が生成される。

その後、視覚情報設定処理は終了する。

以上のようにして、各ユーザに対する視覚情報の表示位置をより適切に設定することができる。

＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

例えば、ユーザの対象物の認識の有無に基づいて、視覚情報の表示方法が変更されるようにしてもよい。また、例えば、１つの対象物に対して複数の種類の視覚情報を表示する場合に、視覚情報毎に表示方法が異なるようにしてもよい。

図２０は、対象物４０１が有名人である場合に、マーキング及びラベルの２種類の視覚情報を対象物４０１に対して表示するときの例を示している。

図２０のＡ１及びＢ１は、視覚情報を個別表示した場合の例を示している。図２０のＡ１は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図２０のＢ１は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。

視覚情報４０２ａは、ユーザ２０１ａに対するマーキングであり、ユーザ２０１ａから見て対象物４０１の周囲を囲んでいる。視覚情報４０３ａは、ユーザ２０１ａに対するラベルであり、ユーザ２０１ａから見て対象物４０１の右上に表示されている。

視覚情報４０２ｂは、ユーザ２０１ｂに対するマーキングであり、ユーザ２０１ｂから見て対象物４０１の周囲を囲んでいる。視覚情報４０３ｂは、ユーザ２０１ｂに対するラベルであり、ユーザ２０１ｂから見て対象物４０１の右上に表示されている。

図２０のＡ２及びＢ２は、ユーザ２０１ｂが対象物４０１を認識している場合の視覚情報の表示例を示している。図２０のＡ２は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図２０のＢ２は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。

ユーザ２０１ｂが対象物４０１をすでに認識しているため、ユーザ２０２ｂに対して対象物４０１の位置を示す必要はない。従って、視覚情報４０２ｂが消去される。

また、マーキングの表示位置は、対象物４０１の正確な位置を示すため重要であるが、ラベルの表示位置は、マーキング内の対象物４０１が有名人であることが分かる程度でよく、それほど重要ではない。そこで、例えば、視覚情報４０３ａと視覚情報４０３ｂの代わりに、両者の表示位置のほぼ中央に、両者と同内容の視覚情報４０４が統合表示される。

また、ユーザが３人以上いる場合、例えば、条件に応じて、一部のユーザに対する視覚情報が統合表示され、他のユーザに対する視覚情報が個別表示されるようにしてもよい。例えば、一部のユーザに対する視覚情報が互いに干渉する場合、その一部のユーザに対する視覚情報が統合表示され、他のユーザに対する視覚情報が個別表示される。

さらに、本技術は、投射面が複数の場合にも適用することができる。例えば、本技術は、車両１１のウインドシールド以外の窓も投射面に用いる場合にも適用することができる。

また、本技術は、車両以外にも、複数のユーザが搭乗し、複数のユーザに対してＡＲを用いて視覚情報を表示可能な移動体に適用することができる。例えば、飛行機、ヘリコプター、船舶、建設機械、農業機械（トラクター）等の移動体に本技術を適用することができる。

さらに、本技術は、例えば、移動体以外にも、複数のユーザに対して視覚情報を表示し、ユーザ及び対象物のうち少なくとも１つが投射面に対して移動可能な装置やシステムに適用することができる。例えば、観光地等において、複数のユーザに対してランドマーク等に関する視覚情報を透明なスクリーンに投射して表示する場合に、本技術を適用することができる。

＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記録されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
設定された前記表示方法により前記視覚情報の表示を制御する表示制御部と
を備え、
前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
情報処理装置。
（２）
前記表示方法設定部は、前記視覚情報、前記視覚情報の対象となる対象物、及び、各ユーザのうち少なくとも１つに基づいて、前記表示方法を設定する
前記（１）に記載の情報処理装置。
（３）
前記表示方法設定部は、前記視覚情報が投射される投射面上における前記視覚情報の状態に基づいて、前記表示方法を設定する
前記（２）に記載の情報処理装置。
（４）
前記表示方法設定部は、前記投射面上においてユーザ毎の前記視覚情報が干渉する場合、前記統合表示を選択し、ユーザ毎の前記視覚情報が干渉しない場合、前記個別表示を選択する
前記（３）に記載の情報処理装置。
（５）
前記表示方法設定部は、前記投射面上において複数の前記視覚情報が重なっている量である重なり量、及び、前記重なり量の変化量に基づいて、前記表示方法を設定する
前記（３）又は（４）に記載の情報処理装置。
（６）
前記表示方法設定部は、前記投射面上における前記視覚情報のサイズ及び移動速度のうち少なくとも１つに基づいて、前記表示方法を設定する
前記（３）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記表示方法設定部は、前記対象物の状態に基づいて、前記表示方法を設定する
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記表示方法設定部は、前記視覚情報が投射される投射面から前記対象物までの距離に基づいて、前記表示方法を設定する
前記（７）に記載の情報処理装置。
（９）
前記表示方法設定部は、さらに前記対象物までの距離の変化量に基づいて、前記表示方法を設定する
前記（８）に記載の情報処理装置。
（１０）
前記表示方法設定部は、前記視覚情報が投射される投射面上の前記対象物のサイズに基づいて、前記表示方法を設定する
前記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記表示方法設定部は、各ユーザの状態に基づいて、前記表示方法を設定する
前記（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記表示方法設定部は、前記視覚情報が投射される投射面に対して水平な方向におけるユーザ間の距離に基づいて、前記表示方法を設定する
前記（１１）に記載の情報処理装置。
（１３）
前記表示方法設定部は、さらに前記ユーザ間の距離の変化量に基づいて、前記表示方法を設定する
前記（１２）に記載の情報処理装置。
（１４）
前記表示方法設定部は、各ユーザの前記対象物の認識の有無に基づいて、前記表示方法を設定する
前記（１１）に記載の情報処理装置。
（１５）
前記表示方法設定部は、前記視覚情報の内容に基づいて、前記表示方法を設定する
前記（２）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記表示方法は、前記対象物とは無関係に前記視覚情報を１つ表示する共通表示を含み、
前記表示方法設定部は、前記視覚情報に対して前記対象物が存在する場合、前記統合表示又は前記個別表示を選択し、前記視覚情報に対して前記対象物が存在しない場合、前記共通表示を選択する
前記（２）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記視覚情報は、複数のユーザの視界内の移動体の外の現実世界又は前記現実世界の動画像に重ね合わせて表示される
前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
設定された前記表示方法により前記視覚情報の表示を制御し、
前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
情報処理方法。
（１９）
複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
設定された前記表示方法により前記視覚情報の表示を制御し、
前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
処理をコンピュータに実行させるためのプログラム。
（２０）
複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報を重ね合わせる表示部と、
設定された前記表示方法により前記表示部による前記視覚情報の表示を制御する表示制御部と
を備え、
前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
移動体。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１１ 車両， ２１ 情報処理部， ３１ データ取得部， ３２ 車内情報取得部， ３３ 車外情報取得部， ３４ 出力情報設定部， ３５ 出力制御部， ３６ 出力部， １１１ ユーザ情報取得部， １１２ 音声認識部， １１３ 車両情報検出部， １２１ 物体認識部， １２２ 周辺情報取得部， １３１ 視覚情報生成部， １３２ 表示方法設定部， １４１ 表示制御部， １５１ 表示装置， ２０１ａ，２０１ｂ ユーザ， ２０２ 投射面， ２０３ 対象物

Claims (20)

1. 複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
   設定された前記表示方法により前記視覚情報の表示を制御する表示制御部と
   を備え、
   前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
   情報処理装置。
2. 前記表示方法設定部は、前記視覚情報、前記視覚情報の対象となる対象物、及び、各ユーザのうち少なくとも１つに基づいて、前記表示方法を設定する
   請求項１に記載の情報処理装置。
3. 前記表示方法設定部は、前記視覚情報が投射される投射面上における前記視覚情報の状態に基づいて、前記表示方法を設定する
   請求項２に記載の情報処理装置。
4. 前記表示方法設定部は、前記投射面上においてユーザ毎の前記視覚情報が干渉する場合、前記統合表示を選択し、ユーザ毎の前記視覚情報が干渉しない場合、前記個別表示を選択する
   請求項３に記載の情報処理装置。
5. 前記表示方法設定部は、前記投射面上において複数の前記視覚情報が重なる量である重なり量、及び、前記重なり量の変化量に基づいて、前記表示方法を設定する
   請求項３に記載の情報処理装置。
6. 前記表示方法設定部は、前記投射面上における前記視覚情報のサイズ及び移動速度のうち少なくとも１つに基づいて、前記表示方法を設定する
   請求項３に記載の情報処理装置。
7. 前記表示方法設定部は、前記対象物の状態に基づいて、前記表示方法を設定する
   請求項２に記載の情報処理装置。
8. 前記表示方法設定部は、前記視覚情報が投射される投射面から前記対象物までの距離に基づいて、前記表示方法を設定する
   請求項７に記載の情報処理装置。
9. 前記表示方法設定部は、さらに前記対象物までの距離の変化量に基づいて、前記表示方法を設定する
   請求項８に記載の情報処理装置。
10. 前記表示方法設定部は、前記視覚情報が投射される投射面上の前記対象物のサイズに基づいて、前記表示方法を設定する
    請求項７に記載の情報処理装置。
11. 前記表示方法設定部は、各ユーザの状態に基づいて、前記表示方法を設定する
    請求項２に記載の情報処理装置。
12. 前記表示方法設定部は、前記視覚情報が投射される投射面に対して水平な方向におけるユーザ間の距離に基づいて、前記表示方法を設定する
    請求項１１に記載の情報処理装置。
13. 前記表示方法設定部は、さらに前記ユーザ間の距離の変化量に基づいて、前記表示方法を設定する
    請求項１２に記載の情報処理装置。
14. 前記表示方法設定部は、各ユーザの前記対象物の認識の有無に基づいて、前記表示方法を設定する
    請求項１１に記載の情報処理装置。
15. 前記表示方法設定部は、前記視覚情報の内容に基づいて、前記表示方法を設定する
    請求項２に記載の情報処理装置。
16. 前記表示方法は、前記対象物とは無関係に前記視覚情報を１つ表示する共通表示を含み、
    前記表示方法設定部は、前記視覚情報に対して前記対象物が存在する場合、前記統合表示又は前記個別表示を選択し、前記視覚情報に対して前記対象物が存在しない場合、前記共通表示を選択する
    請求項２に記載の情報処理装置。
17. 前記視覚情報は、複数のユーザの視界内の移動体の外の現実世界又は前記現実世界の動画像に重ね合わせて表示される
    請求項１に記載の情報処理装置。
18. 複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
    設定された前記表示方法により前記視覚情報の表示を制御し、
    前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
    情報処理方法。
19. 複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
    設定された前記表示方法により前記視覚情報の表示を制御し、
    前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
    処理をコンピュータに実行させるためのプログラム。
20. 複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
    前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報を重ね合わせる表示部と、
    設定された前記表示方法により前記表示部による前記視覚情報の表示を制御する表示制御部と
    を備え、
    前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
    移動体。

Images