JP2021033377A

JP2021033377A - 情報端末装置、プログラム、提示システム及びサーバ

Info

Publication number: JP2021033377A
Application number: JP2019149154A
Authority: JP
Inventors: 加藤　晴久; Haruhisa Kato; 晴久加藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-08-15
Filing date: 2019-08-15
Publication date: 2021-03-01
Anticipated expiration: 2039-08-15
Also published as: JP7261121B2

Abstract

【課題】他端末からの情報共有を簡素に実現できる情報端末装置を提供する。【解決手段】２つ以上の情報端末装置10と、サーバ20と、を備える提示システム100において、前記情報端末装置10の各々は、自身の位置姿勢を計測する計測部12と、公開設定する開示情報を受け付ける開示部13と、を備え、当該位置姿勢の情報及び当該開示情報を前記サーバ20へと送信し、前記サーバ20は、前記情報端末装置10の各々より受信した位置姿勢の情報及び開示情報を参照して、前記情報端末装置10の各々に対して、自身の位置姿勢を基準とした３次元仮想空間内において、１つ以上の他端末の開示情報を当該他端末の位置に配置して描画を行うことで描画情報を得る描画部22を備え、当該描画情報を対応する情報端末装置10へと送信し、前記情報端末装置10の各々はさらに、前記送信された描画情報を提示する提示部14を備える。【選択図】図２

Description

本発明は、他端末からの情報共有を簡素に実現できる、情報端末装置、プログラム、提示システム及びサーバに関する。

撮像情報に提示情報を重畳する拡張現実が広く知られている。しかし、複数端末における共用においては利用可能な範囲が限定的であるという問題があり、従来技術の拡張現実において様々な対処がなされている。

例えば、特許文献１はサーバが複数のワイドカメラから競技場のパノラマ合成映像を作成し、選手等の位置を画像認識する。認識されたパノラマ合成画像中の位置は複数の端末に配信され、各端末が競技場のフィールドラインをもとに端末の位置・姿勢を画像認識し、認識結果に応じて関連情報を重畳する。

非特許文献１は前方車両で遮蔽された情景を後方車両から確認できるようにするため、前方車両が後方車両に撮像情報を伝送し、前方の撮像情報と後方車両の撮像情報との特徴点対応に基づいたアフィン変換を前方車両の撮像情報に適用し後方車両の撮像情報と合成する。

非特許文献２も前方車両で遮蔽された情景を後方車両から確認できるようにするため、前方車両が後方車両に三次元復元した点群や特徴量等を伝送し、後方車両の自己位置推定結果に基づいた射影変換を前方車両の撮像情報に適用し後方車両の撮像情報と合成する。

特許文献２は他端末との近距離通信において他端末で測位された位置情報と他端末の周囲環境に依存した情報（他端末の信号強度など）とを受信することで、他端末の周囲環境に依存した情報を位置に紐づけて撮像情報に提示する。

再表２０１６−０１７１２１号公報特開２０１７−１４３４０９号公報

"Occluded Street Objects Perception Algorithm of Intelligent Vehicles Based on 3D Projection Model", JAT, 2018. "A Real-time Augmented Reality System to See-Through Cars", IEEE TVCG, 2016.

しかしながら、以上のような従来技術には次の課題があった。

特許文献１はワイドカメラが撮影可能な空間に限定されるため、広域化は困難であるという課題がある。また、サーバが画像認識に失敗する可能性が高いという課題がある。例えば、選手が重なって背番号などが遮蔽されると選手を検出・特定できない。そもそも背番号などの個人を特定する対象が無ければ関連情報を重畳できないという課題がある。

非特許文献１，２も同じ課題を抱える。すなわち、撮像情報中から車や人という種別を画像認識したとしても個別の情報を開示する手段は開示されていない。また、前方車両と後方車両が同じ情景を撮像していないと機能しないという課題がある。例えば、図４のような状況下では前方車両VBの撮像情報と後方車両VAの撮像情報に同じ情景が撮像されないため一切機能しない。（なお、図４に関しては別の説明のために後述する。ここでは、図４は次の理由により当該一切機能しない状況が発生することを模式的に表している。すなわち、街角などのフィールドF1において前方車両VBはその走行方向dBを撮像しており、後方車両VAはその走行方向dAを撮像している状況を上空側から見た状況を図４は表しており、撮像の方向dB,dAが異なること及び遮蔽物としての建物の壁W1が存在することによって前後車両の撮像情報同士に共通の情景が含まれないため、当該一切機能しない状況が発生する。）

さらに、非特許文献１，２では、同じ情景を撮像している場合でも、同機能の活用が期待される夜間や悪天候ほど特徴点対応、三次元復元、自己位置推定に失敗する可能性が高いという課題がある。なおかつ、遮蔽物が無い場合の視野を再現しようとするため、遮蔽物そのものを見失う恐れがあり危険回避という本来の目的に合致しない恐れがあるという課題がある。

特許文献２は上記課題を一部解決する。即ち、他端末からの情報を受信することで全体を俯瞰する撮像部が不要となるため、天候や時間帯に依存せず、かつ個人を特定できる。しかしながら、他端末の数が多数であった場合に他端末や軌跡などを描画する画像は視認者にとって煩わしい提示となり得た。また、任意視点からの描画は表示されない。

以上のような従来技術の課題に鑑み、本発明は、他端末からの情報共有を簡素に実現できる、情報端末装置、プログラム、提示システム及びサーバを提供することを目的とする。

上記目的を達成するため、本発明は情報端末装置であって、自身の位置姿勢を計測する計測部と、１つ以上の他端末においてそれぞれ計測された位置の情報と公開設定された開示情報とを参照することで、前記計測した自身の位置姿勢を基準とした３次元仮想空間内において、前記１つ以上の他端末の開示情報を当該他端末の位置に配置して描画することで描画情報を得る描画部と、前記描画情報を提示する提示部と、を備えることを特徴とする。また、本発明は、コンピュータを前記情報端末装置として機能させるプログラムであることを特徴とする。また、本発明は、２つ以上の情報端末装置と、サーバと、を備える提示システムであって、前記情報端末装置の各々は、自身の位置姿勢を計測する計測部と、公開設定する開示情報を受け付ける開示部と、を備え、当該位置姿勢の情報及び当該開示情報を前記サーバへと送信し、前記サーバは、前記情報端末装置の各々より受信した位置姿勢の情報及び開示情報を参照して、前記情報端末装置の各々に対して、自身の位置姿勢を基準とした３次元仮想空間内において、１つ以上の他端末の開示情報を当該他端末の位置に配置して描画を行うことで描画情報を得る描画部を備え、当該描画情報を対応する情報端末装置へと送信し、前記情報端末装置の各々はさらに、前記送信された描画情報を提示する提示部を備えることを特徴とする。さらに、本発明は、前記提示システムにおけるサーバであることを特徴とする。

本発明によれば、他端末において能動的に開示情報を公開するものとして設定し、仮想空間に当該開示情報を配置して描画したうえで提示することにより、情報共有を簡素に実現することができる。

一実施形態に係る提示システムの構成例を示す図である。一実施形態に係る提示システムの情報端末装置及びサーバの機能ブロック図である。一実施形態に係る提示システムのリアルタイムの動作を示す図である。撮像部が撮像を行う実世界の模式例としての街角のフィールドを、上空側から見た状況を表す模式図である。図４の状況において撮像される撮像画像の模式例を示す図である。一実施形態に係る計測部の機能ブロック図である。深度情報の模式例を示す図である。描画部が描画する仮想空間の模式例を示す図である。図８の仮想空間における描画部での描画と提示部での重畳表示との模式例を種々の実施形態に関して示す図である。第二実施形態の適用例としてアバタによるコミュニケーション等を行う際の仮想空間等の配置の模式例を示す図である。第二実施形態を説明するための、図１０に対応する模式例を示す図である。第二実施形態の変形例の模式例を示す図である。一般的はコンピュータ装置におけるハードウェア構成を示す図である。

図１は、一実施形態に係る提示システムの構成例を示す図であり、提示システム100は、ユーザA,B,Cと共にそれぞれ移動する情報端末装置10-A,10-B,10-Cとサーバ20とを備え、これらはネットワークNWを通じて相互に通信可能に構成されている。図１では、提示システム100内に３人のユーザの３つの情報端末装置が備わるものとしているが、これは例示に過ぎず、任意の複数（２つ以上）の情報端末装置が備わってよい。

なお、以降の説明においても、３つの情報端末装置10-A,10-B,10-Cあるいはこの一部分を参照する場合は、説明上の例示（特に、１人の自ユーザA及びその自端末としての情報端末装置10-Aと、１人以上の任意数の他ユーザB,C等及びその１つ以上の他端末としての情報端末装置10-B,10-C等と、の区別を明確化するための例示）に過ぎず、各説明は任意の複数（少なくとも２つ）の情報端末装置を備えて提示システム100が構成される場合に一般化可能である。

複数の情報端末装置10-A,10-B,10-C等はそれぞれ、スマートフォン端末等として構成されることでユーザA,B,C等によって所持されて移動するものであってもよいし、ユーザA,B,C等が利用する車両等の移動手段に設置される装置として構成されることで移動するものであってもよい。

図２は、一実施形態に係る提示システム100の情報端末装置10及びサーバ20の機能ブロック図である。情報端末装置10は、撮像部11、計測部12、開示部13及び提示部14を備え、サーバ20は、保存部21及び描画部22を備える。図２に示す情報端末装置10は、図１に任意の複数の一例として３つの場合を示した各情報端末装置10-A,10-B,10-Cでの共通の機能ブロック図である。すなわち、図１の各情報端末装置10-A,10-B,10-Cはいずれも図２の情報端末装置10の構成の全部又は一部を有するものであってよい。

一実施形態に係る提示システム100の概略的な動作は次の通りであり、大きく（１）情報取得、（２）描画、（３）提示、の３つの処理に分けることができる。

（１）情報取得…撮像部11、計測部12及び開示部13
まず、情報端末装置10の側において、撮像部11は、撮像を行って得られた撮像画像を計測部12及び提示部14へと出力する。計測部12は撮像画像を解析して、あるいはGPS（全地球測位システム）等の測位手段を用いて情報端末装置10の位置姿勢の情報を含む測位情報を取得し、当該計測情報をサーバ20の保存部21へと送信する。開示部13は、情報端末装置10を利用するユーザによる入力等によって、拡張現実表示として他ユーザに公開設定する情報である開示情報を受け付け、当該開示情報をサーバ20の保存部21へと送信する。

（２）描画…保存部21及び描画部22
一方、サーバ20の側において、保存部21は、各ユーザの情報端末装置10における計測部12及び開示部13からそれぞれ送信される計測情報及び開示情報を当該ユーザのものとしてユーザID（識別子）を紐づけて保存することにより、描画部22からの参照を可能とする。描画部22は保存部21を参照して、それぞれのユーザの情報端末装置10に応じた描画情報を描画し、当該描画情報を対応するユーザの情報端末装置10の提示部14へと送信する。

（３）提示…提示部14
情報端末装置10において、提示部14は、撮像部11で得た撮像画像に描画部22から得た描画情報を重畳したものを、拡張現実表示を実現した提示情報としてユーザに対して提示する。

例えば図１のように提示システム100内の情報端末装置10が、ユーザA,B,Cの情報端末装置10-A,10-B,10-Cの３つである場合、描画部22ではユーザAの情報端末装置10-Aのための描画情報を次のようにして描画することができる。まず、描画情報はユーザAの情報端末装置10における撮像部11（カメラ）での撮像画像に重畳させるものであるため、このカメラの外部パラメータ（カメラの位置姿勢を表す）によるカメラ座標系において描画を行うために、描画部22は保存部21より当該ユーザAの計測情報に含まれる外部パラメータの情報を取得する。

そして、描画部22は、保存部21より他ユーザであるユーザB,Cに関してそれぞれ保存されている計測情報及び開示情報を参照することによって、当該ユーザAのカメラの外部パラメータ（位置姿勢）によるカメラ座標系において、他ユーザB,Cの開示情報を描画することで、ユーザAの情報端末装置10の提示部14において撮像画像と重畳して提示されるものとしてユーザAの描画情報を得る。この詳細に関しては後述するが、自ユーザAの計測情報と他ユーザB,Cの計測情報とを比較することにより、拡張現実として表示する範囲外にあると判定された場合等には、当該他ユーザB,Cの開示情報の描画を行わない場合や、描画の態様を変更する場合もある。

提示システム100に存在する情報端末装置10が情報端末装置10-A,10-B,10-Cの３つではなく任意の複数である場合も同様に、描画部22では、各ユーザ（それぞれが「自ユーザ」である）の情報端末装置10に対して、自ユーザの位置姿勢において他ユーザの開示情報を選択的に描画することによって描画情報を得る。

提示システム100では、リアルタイムに各ユーザの情報端末装置10より計測情報及び開示情報をサーバ20において取得して描画を行い、リアルタイムに各ユーザの情報端末装置10において当該描画情報を提示することができる。図３は、一実施形態に係る提示システム100の当該リアルタイムの動作を、各時刻t(t=1,2,3,…)で繰り返して実行される共通の処理ステップ群S(t)として、提示システム100内での各装置の処理ステップにより示す図である。なお、図３では下側方向が時間進行の向きを表し、横側方向が各々の情報端末装置10とサーバ20との間での情報の送受信の様子を表している。

図３にて各装置の処理ステップは前述した（１）情報取得、（２）描画、（３）提示の処理の時刻tにおけるものとして示されており、例えば、情報端末装置10-Aに関して次の通りである。ステップGA(t)にて自身での情報取得（撮像部11による撮像画像、計測部12による計測情報及び開示部13による開示情報の取得）を行い、計測情報と開示情報に関してはユーザA（情報端末装置10-A）に紐づいた情報として、サーバ20の保存部へと送信する。ステップRA(t)にて、サーバ20の描画部22は、ユーザA（情報端末装置10-A）のための描画情報を描画して、情報端末装置10-Aへと送信する。ステップDA(t)にて、情報端末装置10-Aの提示部14は、受信した描画情報を撮像画像に重畳することで得られる拡張現実表示をユーザAに対して提示する。

図３にて同様に、ステップGB(t),RB(t)及びDB(t)は情報端末装置10-Bに関する時刻tでの情報取得、描画及び提示の処理ステップであり、ステップGC(t),RC(t)及びDC(t)は情報端末装置10-Cに関する時刻tでの情報取得、描画及び提示の処理ステップである。

以上の概略説明のように、各々の情報端末装置10に関して共通の処理によりリアルタイムで拡張現実表示を行うことが可能な提示システム100の各機能部に関して、その詳細を以下に説明する。

（撮像部11）
撮像部11は、情景を撮像して撮像画像を得て、計測部12及び提示部14へ出力する。（なお、計測部12への撮像画像の出力は、計測部12において必要な場合のみでよく、計測部12で撮像画像を必要としない実施形態ではこの出力を省略してよい。）撮像部11を実現するハードウェアとしてはスマートフォン等の携帯端末に標準装備されるデジタルカメラ等を用いることができる。

図４は撮像部11が撮像を行う実世界の模式例としての街角のフィールドF1を、上空側から見た状況を表す模式図である。フィールドF1には壁W1と、ユーザA,B,Cのそれぞれの情報端末装置10-A,10-B,10-Cとが存在し、情報端末装置10-A,10-Bはそれぞれ方向dA,dBに向かって道路上を走行している車両VA,VBに搭載され、情報端末装置10-Cは歩行者であるユーザCによって保持されている。

図５は、図４の状況において撮像される撮像画像の模式例を示す図であり、具体的には、図４の情報端末装置10-Aの撮像部11がその前方の方向dAを撮像することで得られた撮像画像PAが模式例として示されている。撮像画像PAにおいてはユーザAの車両10-Aの前方dAの情景が撮像され、画像中央側及び右側に、車両10-Aの前方を左に向かって走行しており、情報端末装置10-BのユーザBが乗車している車両VBが撮像されると共に、画像左側には壁W1が撮像されている。図４に示される通り、この壁W1の奥には情報端末装置10-Cを保持するユーザCが存在するが、壁W1によって遮蔽されることで、撮像画像PAにおいてユーザC及び情報端末装置10-Cは撮像されていない。ここで、ユーザC及び情報端末装置10-Cは、仮に壁W1が存在しなかったとすることにより遮蔽が発生しないとする場合には、撮像画像PA内に撮像される範囲に位置している。なお、この図４及び図５の例は、以降の説明例においても適宜、前提となる状況を表すものとして参照する。

（計測部12）
計測部12は、情報端末装置10の位置姿勢の情報を少なくとも含む計測情報を取得して、当該計測情報をサーバ20の保存部21へと送信する。計測情報を取得する際は、撮像部11で得た撮像画像を利用してもよいし、撮像画像を利用しない手法を用いるようにしてもよい。図６は一実施形態に係る計測部12の機能ブロック図であり、計測部12は位置姿勢を取得する位置姿勢取得部121と、内部パラメータを取得する内部パラメータ取得部122と、深度を取得する深度取得部123と、光源情報を取得する光源情報取得部124と、を備える。この各部121〜124においても、各情報を取得する際には、撮像画像を利用する手法を用いてもよいし、利用しない手法を用いてもよい。

計測部12は少なくとも位置姿勢取得部121を備えることで、計測情報に位置姿勢の情報を含めて出力するが、残りの各部122〜124の全部又は一部をさらに備えることで、内部パラメータ、深度、光源情報の全部又は一部を含めたものを計測情報として出力するようにしてもよい。

位置姿勢取得部121は、撮像部11をハードウェアとして構成するカメラの外部パラメータを、位置姿勢の情報として取得する。この際、任意の既存手法を用いてよい。例えば、スマートフォン等の携帯端末に標準装備される測位センサとしてのGPS、コンパス（方位センサ）、ジャイロ（角度センサ）を用いて位置姿勢情報を取得してもよい。また、撮像部11で得た撮像画像よりSIFT特徴量などの画像特徴情報を抽出することで、３次元座標情報が既知のマーカ等を撮像画像内において検出し、カメラキャリブレーションの手法により、撮像画像内でのマーカの座標と３次元座標情報との変換関係から位置姿勢情報を取得してもよい。また、屋内GPSの手法により、無線局からの電波強度等により無線局との距離を推定したうえで、三角測量等によって位置姿勢情報を取得してもよい。これら既存手法を組み合わせて位置姿勢情報を取得してもよい。

内部パラメータ取得部122は、撮像部11をハードウェアとして構成するカメラの内部パラメータ（画角や焦点距離）を取得する。内部パラメータの取得は、位置姿勢取得部121にて外部パラメータを求める際と同様のカメラキャリブレーションの手法を用いて撮像画像から取得してもよいし、撮像部11を構成するカメラを制御するアクチュエータにアクセスできる場合は、このアクチュエータに対する駆動制御の信号から内部パラメータを取得してもよいし、撮像部11を構成するカメラによる撮像状況を表すExif情報などの形式で撮像画像に内部パラメータが紐づけて記録されている場合は、この記録から取得してもよい。

内部パラメータ取得部122では、内部パラメータが時間変化しないことが既知の場合、ある１時刻のみにおいて内部パラメータを取得して保存部21へと送信し、保存部21では、当該１時刻で取得された内部パラメータが時間変化しないものとして、以降の時刻において継続して描画部22から参照されるようにすればよい。

なお、カメラパラメータ（外部パラメータ及び内部パラメータ）は、3DCGの分野において数学的な関係として既知のように、「３次元世界座標系⇔３次元カメラ座標系⇒２次元投影座標系⇒ビューポート（撮像画像の画像平面）」の変換関係（ビューイングパイプラインの関係）に対応するものである。外部パラメータは前者の３次元座標系の間の変換を与え、内部パラメータは後者の３次元カメラ座標系から２次元画像平面への変換関係を与える。

深度取得部123は、撮像画像の深度情報（撮像画像の各画素位置において、撮影されている対象が位置する深度を与えた深度マップ）を取得する。深度情報の取得は任意の既存手法を用いてよく、異なる２時刻（現時刻及びこれに近い過去時刻）での撮像画像間での同一点対応を求めたうえで運動視差やステレオ視により求めるようにしてもよいし、車載設備等の形で撮像部11のカメラと対応付けられたLiDAR（光検出と測距）装置の光センサが利用できる場合は、当該LiDAR装置による測距結果を用いるようにしてもよい。

図７は深度情報の模式例を示す図であり、具体的には図５の撮像画像PAに対応する深度情報D(PA)が、深度が小さいほど白色寄りとして、深度が大きいほど黒色寄りとして表現されるグレースケール画像の形式で示されている。（なお、黒の矩形枠は画像範囲を示すものであり深度ではない。）図７の深度情報D(PA)は、図５で示した壁W1の領域の深度が小さく、車両VBの領域の深度は中程度で、それ以外の領域は道路等の地面の領域として、車両VBよりも手前の領域ではこれらの中間の深度で構成され、車両VBよりも遠方の領域では車両VBの深度よりもさらに大きな深度で構成されている。

光源情報取得部124は、撮像部11が撮像を行っている周辺環境（情報端末装置10が存在している周辺環境）における光源情報を取得する。光源情報の取得は任意の既存手法を用いてよく、照度センサで直接計測してもよいし、撮像部11で得た撮像画像から深層学習で推定する既存手法を利用してよい。また、周辺環境が屋内照明によって構成されており、且つ、この屋内照明が照明制御装置によってプログラム制御されている場合などは、当該制御装置にアクセスして、プログラム制御している照明の形状・配置・配色・照度等を光源情報として直接取り込んでもよい。また、屋外環境では、位置姿勢取得部121による位置姿勢情報から得られる、緯度及び経度の情報と撮像している方位の情報と、日時情報（撮像画像において撮像がなされた日時情報）とから算出した、撮像画像における太陽座標情報や天候情報を光源情報として利用してもよい。これら太陽座標情報や天候情報は、これらの情報を保持しているネットワーク上のサーバにアクセスして、位置姿勢情報及び日時情報を照合して該当する情報を取得するようにしてもよい。

（開示部13）
開示部13は、開示情報を保存部21へと送信する。提示システム100による拡張現実の任意の用途に応じて、開示情報にはテキスト、画像、エフェクト等の、任意種類及び任意内容のマルチメディアコンテンツをユーザが個別に指定できる。URL等で外部コンテンツを引用する（他ユーザに開示情報として、外部コンテンツへのアクセス情報を与える）ようにしてもよい。開示情報が時間変化しない静的な情報（時刻をパラメータとして未来に関しても決まった挙動（同一動作の繰り返しなど）を示す情報も含む）である場合は、ある１時刻のみにおいて開示部13から当該開示情報を保存部21へと送信して、保存部21では、当該１時刻で取得された開示情報が時間変化しないものとして、以降の時刻において継続して描画部22から参照されるようにすればよい。

また、開示情報が時間変化する動的な情報である場合、各時刻において開示部13から開示情報を保存部21へと送信してよい。動的な情報の例として、開示情報にアバタ等の3Dモデル等を用いる場合は3Dモデルの動きも開示情報に含めてもよい。すなわち、ポーズ等が時間変化する、各時刻での開示情報を与えるようにしてもよい。3Dモデルの動きは既存技術を用いて利用者の動き（骨格及び／又は表情などの動き）をトレースするようにしてよく、3Dモデルの情報に加え当該トレースされた動きパラメータを保存部21へと送信すればよい。動きパラメータに応じてポーズ等が定まることで描画される3Dモデルの情報に関しては、静的な情報としてある１時刻のみにおいて保存部21へと送信するようにして、動きパラメータを動的な情報として各時刻に保存部21へと送信するようにしてもよい。

（描画部22）
描画部22は、各ユーザの情報端末装置10から（動的な情報の場合に）リアルタイムに送信される計測情報及び開示情報を保存している保存部21を参照し、各ユーザ（それぞれ自ユーザとする）の情報端末装置10に向けて、他ユーザの開示情報を仮想空間の他ユーザの計測情報（位置姿勢情報）に該当する位置に配置したうえで、当該他ユーザの開示情報が配置された仮想空間を自ユーザの外部パラメータ（及び内部パラメータ）で描画し、得られた描画情報を対応する自ユーザの情報端末装置10の提示部14へと送信する。

（提示部14）
提示部14は、撮像部11で得た撮像画像に対して、描画部22で得た描画情報を重畳することにより、撮像画像に対して拡張現実表示を加えたものとしての提示情報を得て、ユーザに対して当該提示情報を提示する。

以下、描画部22及び提示部14に関して詳細をさらに説明する。

一実施形態では描画部22によって得られる描画情報は、その画素位置(u,v)が、自ユーザの撮像部11で撮像した撮像画像の各画素位置(u,v)にそのまま対応しており、他ユーザの開示情報（コンテンツ）の描画がなされた領域に関しては当該描画されたコンテンツのテクスチャで構成され、他ユーザの開示情報の描画がなされていない領域に関してはテクスチャなしの透明領域として、透過画像の形式で与えることができるものである。また、描画部22での描画に用いる仮想空間は、自ユーザ及び他ユーザの外部パラメータと、自ユーザの内部パラメータとを利用して、３次元の仮想空間を２次元の画像平面上へと投影して描画することで、撮像部11で撮像した実世界と、その位置姿勢が整合する空間となっている。こうして、提示部14では、実世界に対応する３次元仮想空間を扱う既存の拡張現実表示技術においてなされているのと同様にして、撮像部11で得た撮像画像に対して、描画部22で得た透過画像としての描画情報を重畳することで、撮像画像に対して拡張現実表示を加えた提示情報を得ることができる。

描画部22では、保存部21に保存されている全ての他ユーザの開示情報のうち、計測情報における位置の情報を参照し、この位置が仮想空間において自ユーザの所定のビューボリューム（視体積）の範囲内にある開示情報だけを描画の対象とすることができる。自ユーザの所定のビューボリュームは、自ユーザのカメラ位置から見た、当該カメラの画角範囲内の錐体領域（カメラ位置を頂点として無限に延びる錐体領域）としてもよいし、当該錐体領域のうち、カメラ位置からの距離や深度が一定値以下となる範囲内としてもよい。ここで、画角は前述の通りカメラの内部パラメータより取得可能である。

描画部22による描画は、上記ビューボリューム範囲内に位置している他ユーザの開示情報を対象として行い、この際、以下に（１）〜（４）の見出しでそれぞれ示すように、種々の計測情報を利用することによる種々の実施形態が可能である。これらの一部又は全部の任意の組み合わせの実施形態も可能である。

（１）仮想空間において他ユーザの開示情報を配置する際に、他ユーザの計測情報（位置姿勢情報）に該当する位置に、対応する姿勢（他ユーザのカメラの向き）において配置したうえで、描画部22によって描画するようにしてもよい。例えば、他ユーザの開示情報が3Dモデルとして与えられ、その正面の向きが定義されている場合に、当該正面の向きが他ユーザのカメラの向きに一致するように、3Dモデルを配置して描画することができる。

上記とは異なり、他ユーザの姿勢の情報は利用せず、位置の情報のみを利用して他ユーザの開示情報を描画してもよく、この際、姿勢の情報は自ユーザのカメラにおける姿勢の情報を利用するようにしてもよい。（後述する図８，９の、他ユーザの開示情報BI,CIを自ユーザのカメラに正対させた状態で描画する例がこれに該当する。）

（２）計測情報に内部パラメータ取得部122で取得された内部パラメータが含まれる場合は、描画部22では当該内部パラメータを反映させて、（画像範囲を定めるビューポートの範囲などを設定したうえで、）描画することができる。

（３）計測情報に深度取得部123で取得された深度情報（撮像画像の各画素位置(u,v)での深度を与えた深度マップ）が含まれる場合、描画部22では、他ユーザの開示情報を仮想空間に配置したうえで、当該深度マップが定める仮想空間内において深度値によって定まる表面位置（空間位置）と照合し、深度マップの定めるこの表面位置よりも手前側（表面上に一致する場合を含む）にあるか奥側にあるか（すなわち、カメラに近く深度が浅い側にあるか、カメラから遠く深度が深い側にあるか）を判定したうえで、手前側（浅い側）か奥側（深い側）かの区別に応じて、開示情報の描画の態様を変化させるようにしてもよい。

ここで、深度マップの定める表面位置よりも奥側に位置する開示情報は、仮想空間と対応している実世界においては、深度マップの定める表面位置に存在する何らかの遮蔽物（例えば、壁など）によって遮蔽された状態にあることとなる。従って、一実施形態では、深度マップの定める表面位置よりも手前側にある開示情報はそのまま、特段の加工処理を施すことなく描画し、一方で、奥側にある開示情報は遮蔽された状態にあるものとしての所定の加工処理を施して描画するようにしてよい。遮蔽された状態にあるものとしての加工された描画は、半透明の状態でテクスチャを描画するようにしてもよいし、完全透明の状態（遮蔽されて見えない状態）となるよう、テクスチャ描画を行わないようにしてもよい。（これらの模式例は、図９を参照して後述する。）半透明での描画及び提示部14におけるこれを重畳した提示は、透過度（アルファ値）による既存手法を用いればよい。半透明で描画する場合、開示情報がより奥側に位置するほど、より透過度が増すように描画してもよく、この際、一定距離よりもさらに奥側に位置する場合には完全透明となるようにしてもよい。

（４）計測情報に光源情報取得部124で取得された自ユーザの光源情報が含まれる場合、描画部22では他ユーザの開示情報をテクスチャとして描画する際に、自ユーザの光源情報を反映させて描画することができる。光源情報を反映させた描画は、3DCG技術分野における既存手法を用いればよい。

以下、図８及び図９を参照して、描画部22及び提示部14に関して上記説明した各処理に関する模式例を示す。

図８は描画部22が描画する仮想空間の模式例を示す図である。図８では、前述の図１のように情報端末装置10-A,10-B,10-Cがあり、図４に示される街角のフィールドF1内にこれらが存在する場合における、自ユーザAの情報端末装置10-Aに向けて描画する仮想空間VS[A]が示される。従って、仮想空間VS[A]はそのまま、実世界としての街角のフィールドF1に対応しているものである。

図８にて、所定のランドマーク位置等を基準点（原点）P_refとする世界座標系XYZ（実世界の位置を与える緯度、経度、高度などと対応する）に対して、情報端末装置10-Aの外部パラメータよりユーザAの原点P_Aのカメラ座標系X_AY_AZ_Aが定まる。（ここで、前述したビューイングパイプラインの関係として既知のように、外部パラメータは、世界座標系XYZからカメラ座標系X_AY_AZ_Aへの変換関係T_Aを表し、世界座標系XYZ内におけるカメラの位置姿勢に対応するものである。すなわち、世界座標系XYZでの位置pをカメラ座標系X_AY_AZ_Aで表現した位置p_Aを、変換行列T_Aを左から積算することよって「p_A=T_A・p」として得ることができる。ここで３次元の位置p及びp_Aは斉次座標表現の４次元ベクトルで与えられる。）同様にして、世界座標系XYZに対して情報端末装置10-B,10-Cの外部パラメータよりそれぞれ、変換関係T_Bによって変換されるユーザBの原点P_Bのカメラ座標系X_BY_BZ_Bと、変換関係T_Cによって変換されるユーザCの原点P_Cのカメラ座標系X_CY_CZ_Cと、が定まる。

従って、他ユーザB及びCのカメラ座標系X_BY_BZ_B及びX_CY_CZ_Cから自ユーザAのカメラ座標系X_AY_AZ_Aへの変換関係はそれぞれ、積T_AT_B ^-1及び積T_AT_C ^-1で与えられることとなる。（ここで、T_B ^-1及びT_C ^-1はそれぞれT_B及びT_Cの逆変換として、他ユーザB及びCのカメラ座標系X_BY_BZ_B及びX_CY_CZ_Cから世界座標系XYZへの変換を表す。例えば世界座標系XYZでの位置pをカメラ座標系X_AY_AZ_Aで表現した位置p_A及びカメラ座標系X_BY_BZ_Bで表現した位置p_Bに対して、関係「p_A=T_A・p」及び「p_B=T_B・p」が成立することから関係「p_A=T_AT_B ^-1・p_B」が成立し、上記の積で変換関係が与えられる。）こうして、各々の情報端末装置10の外部パラメータから求めることができる当該変換する関係（積T_AT_B ^-1及び積T_AT_C ^-1）を用いて図８の模式例に示されるように、自ユーザAの仮想空間VS[A]に他ユーザB,Cの開示情報BI及びCIをそれぞれ配置して描画することが可能となる。

図８の例では、開示情報BI及びCIはそれぞれ、他ユーザB及びCの位置P_B及びP_Cに、自ユーザAのカメラに正対する（カメラ正面方向である深さ方向Z_Aの逆方向を向いた）矩形状の看板にテキスト「Bの開示情報」及び「Cの開示情報」を描いたものとして設定されており、他ユーザB,Cの位置姿勢情報のうち、座標系原点としてのカメラ位置P_B及びP_Cのみが反映され、姿勢（座標系の座標軸の向きに表現されるカメラ向き）は反映されていない。すなわち、図８の例は前述した描画部22の見出し（１）の実施形態のうちの後者の例となっている。図８の例とは異なり、前述した描画部22の見出し（１）の実施形態のうち前者を適用して、開示情報BI及びCIに関して、他ユーザB及びCの姿勢も反映した描画を行うことも、開示情報にそのように描画すべき旨を設定しておくことにより可能である。例えば図８において描画されるテキスト看板としての開示情報BI及びCIを、自ユーザAのカメラに正対する方向ではなく、他ユーザB,Cのカメラの向きであるZ_B軸方向及びZ_C軸方向を向いた状態で仮想空間VS[A]に描画させることも可能である。

図９は、図８の仮想空間VS[A]における描画部22での描画と提示部14での重畳表示との模式例を種々の実施形態に関してそれぞれ、例EX1〜EX3として示す図である。例EX1〜EX3はいずれもそれぞれ、描画情報R1〜R3と、この描画情報を撮像画像（図５の撮像画像PA）に重畳した提示情報D1〜D3と、を示しており、これら描画情報及び提示情報は、図８の自ユーザのカメラ位置P_Aにおいて他ユーザB,Cの開示情報BI,CIの描画及び提示を種々の実施形態で行ったものである。

例EX1では、描画情報R1として、他ユーザB,Cの開示情報BI,CIがそのまま描画され、且つ、当該描画情報R1を撮像画像PA（図５）に重畳することで提示情報D1が得られている。

一方、例EX2及びEX3では、描画情報R2及びR3として、他ユーザB,Cの開示情報BI,CIを描画する際に、描画部22の見出し（３）の実施形態を適用して深度情報（図５の撮像画像PAに対応する図７の深度情報D(PA)）との照合を行い、深度よりも奥に位置している開示情報の描画の態様を変える例である。例EX2及びEX3のいずれにおいても、開示情報BIはその全体が深度よりも手前側にあるものと判定され、例EX1の場合と同様に、そのままの形で特に加工処理を加えることなく、開示情報BIとして描画されている。一方、例EX2及びEX3のいずれにおいても、開示情報CIはその一部分（矩形の中央部分及び左側部分）が深度よりも奥側にあるものと判定され、例EX1の場合とは異なり、当該判定された奥側にある一部分に関して、異なる描画態様で描画された開示情報CI-2及びCI-3が得られている。

例EX2の描画された開示情報CI-2は、深度よりも奥にある部分を一切描画しない（透過度100%の完全透明の状態で描画する）ようにして、描画情報R2及び提示情報D2が得られている。例EX3の描画された開示情報CI-3は、深度よりも奥にある部分を半透明にする（一定割合の透過度で半透明の状態で描画する）ようにして、描画情報R3及び提示情報D3が得られている。例EX2及びEX3のいずれも、例EX1とは異なり、ユーザCの位置に配置されている開示情報CIが開示情報CI-2及びCI-3として描画されることにより、実世界の壁W1（当該図９及び図４）よりも奥にあって遮蔽された状態にあることを、遮蔽されていない状態として描画されている開示情報BIとの相違によって感覚的に認識可能な状態となっている。図４に示すように、ユーザAが車両VAに乗っているユーザである場合、提示情報D2やD3により、現時刻では前方で壁W1の陰に隠れているが、そのすぐ後の時刻には壁W1の陰を抜けて現れようとしているユーザCの存在の注意喚起を、効果的に行うことが可能である。

以上、本発明の各実施形態によれば、複数の情報端末装置10-A,10-B,10-C等における能動的な情報共有により、すなわち、各々の情報端末装置10での計測部12による位置情報と開示部13による開示情報との、サーバ20を介した共有により、撮像画像から他端末を画像認識する処理を必要とすることなく、各端末の提示部14において提示情報として拡張現実表示を実現することができる。従って、画像認識が困難な対象（夜間の光量不足等を原因とする不可視の対象や、テクスチャレスであり画像局所特徴等の検出に不向きな対象や、相互に類似しており一意に識別することが困難な対象など）であっても、拡張現実表示を実現することが可能である。

以下、＜１＞〜＜７＞として、本発明の実施形態の変形例や追加例などに関する補足説明を行う。

＜１＞開示部13における開示情報の設定の詳細に関して
図８や図９の模式例からも理解されるように、仮想空間に配置し描画対象となるコンテンツとしての開示情報は、各端末（情報端末装置10）のカメラ位置を基準（原点）とする３次元カメラ座標系において、拡張現実表示の用途に応じた任意内容のコンテンツを表現した3Dモデル（平面や線、点のみで構成される場合も含む）として定義しておけばよい。例えば図８のユーザCの情報端末装置10-Cの開示情報CIは、そのカメラ座標系X_CY_CZ_C（原点P_C）において3Dモデルとして定義しておくことで、ユーザAの情報端末装置10-Aの仮想空間VS[A]としてのカメラ座標系X_AY_AZ_A（原点P_A）における描画も可能となる。すなわち、前述の通り、カメラ座標系X_CY_CZ_C（原点P_C）において3Dモデルを積T_AT_C ^-1によって変換してカメラ座標系X_AY_AZ_A（原点P_A）に配置することが可能である。

また、図８と図９の例EX1とで示される模式例に、カメラ位置P_Aに正対する看板としての開示情報BI及びCIとして示されるように、描画の際の向き等を、描画の基準となる他端末のカメラ位置（図８のP_A）に応じて定まるものとして、この3D立体モデルに付随する描画のための付随情報として定義しておき、描画部22ではこの付随情報に従って描画を行うようにしてもよい。以上により描画部22の見出し（１）の実施形態で説明した前者及び後者の２通りの描画が可能である。

一実施形態では、3Dモデルとしての開示情報は、描画して拡張現実表示を行った際に、各端末のカメラ位置に当該開示情報が存在すると認識されるものとして設定してよい。例えば、3Dモデル内の所定点（重心など）が、対応する端末のカメラ位置に合致するように定義してもよい。また、3Dモデルの位置が、対応する端末のカメラ位置とは一定のベクトル量だけ乖離しているが、拡張現実表示とした際には対応する端末やそのユーザに紐づいた開示情報として認識されるように定義しておいてもよい。例えば、端末はスマートフォンでありそのユーザが衣類のポケットや鞄などの中に所定の姿勢で格納して保持する前提で、当該ユーザの近傍（頭上など）に拡張現実表示としての開示情報が描画されるように、カメラ位置の所定近傍に3D立体モデルとしての開示情報を定義することができる。また例えば、仮想空間内においてカメラ位置をその終点として示すベクトル矢印を定義し、その始点の位置に3Dコンテンツを配置して定義しておくことで、当該3Dコンテンツ及びベクトル矢印の組を開示情報として定義しておいてもよい。仮想空間に描画した際は、当該矢印によって示される注釈のように3Dコンテンツが表示されることとなる。

なお、前述の図９の例EX2,EX3における描画された開示情報CI-2,CI-3に示されるように、描画部22で見出し（３）の実施形態により深度情報を考慮して3Dモデルとしての開示情報の描画を行う際は、3Dモデルの表面（仮想空間を描画する基準となるカメラから見えている側の表面）上の各位置において深度情報の深度値との比較を行うことで、１つの3Dモデルであっても、その一部は遮蔽状態にあり、一部は遮蔽状態にはないものとして、区別した描画を行うことが可能である。

＜２＞計測部12（位置姿勢取得部121）で取得する自端末の位置姿勢とは異なる位置姿勢を基準として、描画部22において自端末の仮想空間の描画を行い、提示部14においてこれを提示する実施形態を説明する。なお、この実施形態を第二実施形態、以上説明してきた実施形態を第一実施形態として、区別して称する。

第二実施形態を適用するのに好適な用途の一例として、仮想空間内にユーザの動作（骨格や表情の動作）をトレースするアバタを当該ユーザの開示情報として配置して、当該アバタを介して仮想空間内でコミュニケーション等を行う用途が挙げられる。図１０は、第二実施形態の適用例として、当該アバタによるコミュニケーション等を行う際の仮想空間等の配置の模式例を示す図である。以下、図１０を参照しながら第二実施形態を説明するが、好適な用途としてのアバタによるコミュニケーションは、第二実施形態の説明の理解を容易にするための一例に過ぎず、第二実施形態の用途は任意のものが可能である。

図１０に示すフィールドF2は劇場等のエンターテインメント空間を想定したものであり、ステージ側STのフロアに情報端末装置10-Bを有するユーザBが存在し、舞台裏側BCのフロアに情報端末装置10-Aを有するユーザAが存在する。これらステージ側ST及び舞台裏側BCの両フロアの間は壁W2（不透明で光を遮断する壁W2）によって隔離されていることにより、情報端末装置10-Bと情報端末装置10-Aとは、その撮像部11において互いを撮像対象として捉えて撮像を行うことが不可能な状態にある。従って、第一実施形態を、描画部22において見出し（３）の深度情報を利用する実施形態の下で適用したとすると、ユーザAの情報端末装置10-A（カメラ座標系X_AY_AZ_A、原点P_A）においてユーザBの情報端末装置10-B（カメラ座標系X_BY_BZ_B、原点P_B）を拡張現実表示する場合と、この逆にユーザBの情報端末装置10-BにおいてユーザAの情報端末装置10-Aを拡張現実表示する場合と、のいずれにおいても、壁W2に遮蔽された状態として、描画されないか半透明で描画されることとなる。

第一実施形態による上記描画されないあるいは半透明で描画される状態に対して、第二実施形態では図１０に示されるように、ユーザAのアバタAIを情報端末装置10-Aの位置姿勢とは異なる位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）にあることにより、ユーザB及びその情報端末装置10-Bと同様にステージ側STに存在しているものとして、仮想空間内でのユーザAによる開示情報として登場させることが可能となる。なお、アバタAIはステージST上の実物としての台CL上に乗る形で、フィールドF2に対応する仮想空間内に描画されている。

ここで、ユーザAのアバタAIの位置姿勢に、実際のユーザA及び情報端末装置10-Aが存在したと仮定する場合には、第一実施形態を適用して、壁W2によって遮蔽されることなく、ユーザA,B間で相互の表示を仮想空間内において実現することができる。（カメラの撮像向きはアバタAIが軸Z_AIであり、ユーザBが軸Z_Bの方向であり、相互に対面して撮像しているものとする。）

図１１にこの表示の模式例を例EX4,EX5として示す。（図１１は第二実施形態を説明するための、図１０に対応する模式例を示す図であるが、以下ではまず、上記仮定のものでの第一実施形態を前提として説明しながら、第二実施形態に関して説明するものとする。）

例EX4ではアバタAIからユーザBの側を撮像した画像P4'（実際にカメラがあって撮像できたと仮定する画像P4'）と、これに対して重畳する描画情報R4としてのユーザBの開示情報BIの例が、ユーザBのアバタ及びその頭部上方に示されるテキストメッセージ「Bの開示情報」として示されている。（なお、アバタAIの位置に実際には情報端末装置10-Aとそのカメラは存在せず、画像P4'は当該カメラが存在したとする仮定の下のものであって実際には撮像不可能なものであるため、画像P4'のユーザBは実線ではなく破線で描いている。）例EX5では、ユーザBからアバタAIの側を撮像した撮像画像P5が、当該仮定する第一実施形態ではなく第二実施形態の場合に関して示されており、ステージ側STの台CL上には、仮想空間ではアバタAIが存在するが、実世界においては何も存在していない状態にある。そして、この撮像画像P5に対してアバタAIを描画情報として重畳して得られる提示情報D5が示されている。（当該仮定する第一実施形態では、この提示情報D5のアバタAIが実世界における実物として存在して、撮像画像P5にも実際に撮像されることとなる。）

第二実施形態は、この図１１に示される表示（例EX4の描画情報R4や例EX5の提示情報D5）を、実際のユーザA及び情報端末装置10-AがアバタAIの位置姿勢（ステージ側ST）ではなく、図１０に示される通りの位置姿勢（舞台裏側BC）にある場合において実現するものである。具体的には、開示部13、描画部22及び提示部14において、第一実施形態での処理から変更された以下のような処理を行うようにすることで、第二実施形態を実現することができる。

現実の位置姿勢とは異なる位置姿勢にあるアバタAIを登場させる自ユーザAに関して、開示部13での開示情報の設定（この設定はサーバ20の保存部21に送信され保存される）を以下の２点の情報とする。
（１）計測部12で計測された位置姿勢（外部パラメータとしてのカメラ座標系X_AY_AZ_A、原点P_Aの情報）をアバタAIの位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）へと変換する、図１０に矢印で模式的に示される所定変換T_AIの情報
（２）当該変換された位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）で表示する3DモデルとしてのアバタAIの情報（すなわち、変換T_AIで変換された位置姿勢における開示情報）

ここで、上記（２）の情報は、第一実施形態で自ユーザAの位置姿勢（カメラ座標系X_AY_AZ_A、原点P_A）を基準として3Dモデルの開示情報を設定するのと同様の設定を、変換T_AIで変換された位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）を基準として行うようにすればよい。

なお、アバタによるコミュニケーションを実現する場合、この変換された位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）は、当該アバタAI（人物などを模している）の視点の位置姿勢に合致するよう、開示情報である3DモデルとしてのアバタAIを用意しておいてもよい。

なお、現実の位置姿勢に合致した位置姿勢に開示情報BIを設定する他ユーザBに関して、開示部13での開示情報の設定は第一実施形態と同様でよい。

描画部22では、他ユーザBに対して当該変換T_AIの下でアバタAIを設定している自ユーザAの開示情報（アバタAI）の描画を行う際は、上記設定され保存部21に保存されている（１）及び（２）の情報を参照することにより、他ユーザBの位置姿勢（カメラ座標系X_BY_BZ_B、原点P_B）を基準とした仮想空間に、自ユーザAの位置姿勢（カメラ座標系X_AY_AZ_A、原点P_A）を変換T_AIで変換した位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）にアバタAIを配置し、描画する。

こうして、情報端末装置10-Bを利用する他ユーザBは、図１１の例EX5及び図１０の配置に示されるように、実世界では撮像画像P5に示されるように自ユーザAを見ることが不可能な位置姿勢にあったとしても、仮想空間としての提示情報D5において、そのアバタAIを登場させた状態を見ることができる。

また、描画部22では、アバタAIを設定している自ユーザAに対して他ユーザBの開示情報の描画を行う際は、自ユーザAの位置姿勢（カメラ座標系X_AY_AZ_A、原点P_A）を変換T_AIで変換した位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）を基準とした仮想空間に、他ユーザBの（カメラ座標系X_BY_BZ_B、原点P_B）の開示情報を配置し、描画する。

こうして、情報端末装置10-Aを利用する自ユーザAは、図１１の例EX4及び図１０の配置に示されるように、実世界では他ユーザBを見ることが不可能な位置姿勢にあっても、仮想空間としての描画情報R5において、ユーザA自身がアバタAIの位置姿勢にあるものとして、他ユーザBの開示情報BIを見ることが可能となる。

以上のようにして、第二実施形態ではユーザA,B間において、ユーザAが位置姿勢の異なるアバタAIに実質的に変身した状態において、ユーザAの動作を当該アバタAIの動作に反映させて、仮想空間内においてコミュニケーション等を行うことが可能である。

提示部14では、他ユーザB（他ユーザBが自ユーザの立場である場合）に対する提示情報は、他ユーザBの情報端末装置10-Bの撮像部11で得た撮像画像に対して、描画部22で描画された描画情報（すなわち、他ユーザBから見た他ユーザであるユーザAのアバタAI）を重畳して提示すればよい。この際、前述したように、ユーザAでは開示部13において利用者であるユーザAの動き（骨格及び／又は表情などの動き）をトレースした情報を開示情報に含めることで、ユーザBに対して提示されるアバタAIを、ユーザAの動きを模したものとなるようにすることができる。一方、提示部14では、自ユーザAに対する提示情報に関しては、自ユーザAの情報端末装置10-Aの撮像部11で得た撮像画像は自ユーザAの位置姿勢におけるものであってアバタAIの位置姿勢におけるものではないため、この撮像画像は利用せず、描画部22で描画された描画情報（ユーザBの開示情報BI）のみを提示すればよい。あるいは、仮想空間における背景に関しても予め3Dモデルを定義して保存部21に記憶させておき、（例えば、実世界のフィールドF2における背景としてのステージ側STのフロア、壁W2及び舞台裏側BCのフロアなどを3Dモデルとして定義して記憶部21に記憶させておき、）当該モデル化された背景を描画したうえで、当該背景に対して、描画部22で描画された描画情報（ユーザBの開示情報BI）を重畳したものを提示してもよい。

第二実施形態でアバタAIを利用する自ユーザAにおいては、この3Dモデル化された背景をアバタAIの位置姿勢（カメラ座標系X_AIY_AIZ_AI、原点P_AI）から見た深度情報を算出することで、第一実施形態の描画部22による見出し（３）の深度情報を利用する実施形態と同様の描画を、第二実施形態において行うようにしてもよい。

以上、第二実施形態の説明例では自ユーザAが現実の位置姿勢と異なるアバタAIを利用するものとしたが、自ユーザAと同時に他ユーザBも、現実の位置姿勢と異なるアバタBIを利用することも可能である。すなわち、提示システム100内においては、任意の一部又は全部のユーザが、実際の位置姿勢と異なるアバタ（開示情報）を利用するようにしてもよい。

また、第二実施形態の図１０の説明例では壁W2を隔てるのみでユーザA,B間の距離は比較的近い（例えば十メートル程度）ことが想定される説明例としているが、この距離は任意の大きさに設定することが可能であり、ユーザA,Bが互いに遠隔にある場合（例えば数百キロメートル程度離れた別のオフィスにそれぞれ存在する場合）であっても、第二実施形態は適用可能である。この際、遠隔でのアバタAIの位置姿勢合わせの情報として、変換T_AIを所定値として設定しておけばよい。例えば、ユーザAが存在する第１オフィス内に設置しておく第１マーカの位置姿勢から、ユーザBが存在する遠隔の第２オフィス内に設置しておく第二マーカ（例えば台CL）の位置姿勢への変換として変換T_AIを設定しておけば、ユーザAが第１マーカに位置している際に、遠隔のユーザBに対して、ユーザAのアバタAIが第２マーカに位置するような拡張現実表示を提示することが可能となる。同様に、ユーザAに対しても、ユーザBの開示情報BIを、自身が位置する第１マーカの近くにおいて拡張現実表示として提示することが可能となる。

第１マーカ及び第２マーカとしては、画像認識等を介して世界座標系での位置姿勢を計算可能なものとして、拡張現実表示における正方マーカなどを利用すればよい。こうして、第１マーカの位置姿勢と第２マーカの位置姿勢とを計算したうえで、これらの間の変換T_AIを予め算出しておけばよい。（ただし、当該算出され設定された変換T_AIを利用して本発明による拡張現実表示を行う際には、これらマーカを撮像して認識することは不要である。）

以上の第二実施形態は、ユーザAに対して提示される拡張現実表示が、ユーザAとは異なる位置姿勢にあるアバタAIの視点から見たもの（アバタAIでの一人称視点）となる例であった。この変形例として、ユーザAに対して提示される拡張現実表示が第一実施形態と同様にユーザA自身の視点であり、且つ、第一実施形態では実現されなかった処理として、自身のアバタAIを三人称視点（アバタAIの立場では三人称視点であり、ユーザA自身の立場では一人称視点に相当）で見ているものとなるように、描画情報に追加することも可能である。図１２は、この第二実施形態の変形例の模式例を示す図であり、図１０に示されるのと同じユーザA,B間での撮像状況における例EX6（図１１の例EX4の変形例に相当）として、アバタAIを利用するユーザAの情報端末装置10-Aにおける撮像画像P4''と描画情報R40との模式例が示されている。

撮像画像P4''は、ユーザAがユーザBの側を向いて撮像されるものであるが、図１０に示されるように壁W2に遮蔽されているので、ステージST及び当該ステージST上の台CL並びにユーザB等は撮像不可能な状態にある。（図１２では、壁W2が存在しない場合に撮像可能となる台CLとユーザBを、画像P4''上に破線を用いてその位置のみを示している。）描画情報R40は、撮像画像P4''における台CL上の位置にユーザA自身のアバタAIが描画されたものと、他ユーザBの描画された開示情報BIと、で構成されることにより、ユーザAはユーザAの実在する位置P_Aから見た三人称視点において自身のアバタAI（位置P_AI）と他ユーザBの開示情報BI（位置P_B）と、を提示部14での提示情報として確認することができる。

この第二実施形態の変形例は、ユーザAに対する他ユーザBの開示情報を第一実施形態と同様にしてカメラ座標系X_AY_AZ_A（原点P_A）の仮想空間において描画し、且つ、同仮想空間内において追加処理として、ユーザAが開示部13において開示情報として自身のアバタAI（ユーザAの動きをトレースした情報を含んでよい）と変換情報T_AIとを設定しておいたうえで、ユーザAの開示情報であるアバタAIを変換T_AIを用いて位置P_AI（及び座標系X_AIY_AIZ_AIで表現される姿勢）に配置して描画し、ユーザAの描画情報に追加することで実現することができる。図１０の状況のように、遮蔽が発生することが既知である場合、描画部22における見出し（３）の深度情報の利用は行わずに、自ユーザA及び他ユーザBの描画情報を描画してもよい。ユーザB（自ユーザの場合）の描画情報に関しては既に説明した第二実施形態と同様でよく、ユーザBに対しては図１１の例EX5で示される通りの拡張現実表示が提示される。

＜３＞図３に示す提示システム100での情報端末装置10及びサーバ20での機能ブロックの構成（役割の分担）は、一例に過ぎず、種々の変形が可能である。例えば、保存部21のみをサーバ20に設け、描画部22を情報端末装置10に設けるようにしてもよい。保存部21及び描画部22の両方を情報端末装置10に設け、サーバ20が存在しない実施形態も可能であり、この場合、複数の情報端末装置10の間でアドホック通信などにより、保存部21に保存すべき情報を共有するようにしてもよい。複数の情報端末装置10で互いに構成が違っていてもよく、例えば、描画部22を情報端末装置10自身において備えるものと、描画部22を備えず、サーバ20に当該機能を委ねるものとがあってもよい。

＜４＞提示システム100内の複数の情報端末装置10のうち、一部分のものは、開示部13を備えない構成であってもよい。この場合、開示部13を備えない情報端末装置10自身においては、開示部13を備える１つ以上の他端末としての情報端末装置10の開示情報を拡張現実表示として提示することが可能であるが、他端末から見た場合、当該自端末は開示情報を公開しないので、拡張現実表示として提示される対象には含まれないこととなる。

＜５＞上記と同様に、提示システム100内の複数の情報端末装置10のうち、一部分のものは、計測部12及び開示部13は備えるが、提示部14は備えない構成であってもよい。このような情報端末装置10は、他端末に対して自端末の開示情報を公開して描画させて他端末において拡張現実表示として提示させる役割のみを担い、自端末における拡張現実表示は行わない。

＜６＞提示部14では、撮像部11で得た撮像画像に描画部22で得た描画情報を重畳して提示情報を提示するが、これは、ハードウェアとしてビデオシースルー型HMD（ヘッドマウントディスプレイ）を用いて実現してもよいし、スマートフォン等の画面としての通常のディスプレイを用いて実現してもよい。また、別の実施形態として、提示部14では、撮像部11で得た撮像画像は利用せず、描画部22で得た描画情報のみをフィールドを背景として提示するようにしてもよく、この場合、ハードウェアとして光学シースルー型HMDを用いて実現してもよい。光学シースルー型HMDに関しては、予めキャリブレーションを行い、撮像部11で撮像して得られる撮像画像でのフィールドの風景と同じ風景が、当該HMDを装着するユーザにおいて実世界の風景（背景）として見えるようにすることで、描画情報が拡張現実表示としてHMD上の適切な位置に描画されるようにしておけばよい。

＜７＞図１３は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。提示システム100における情報端末装置10及びサーバ20はそれぞれ、このような構成を有する１台以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する１つ以上の専用プロセッサ72（GPU（グラフィックス処理装置）や深層学習専用プロセッサ等）、CPU71にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、１つ以上のセンサ装置78、カメラ79と、これらの間でデータを授受するためのバスBSと、を備える。

情報端末装置10及びサーバ20の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、ネットワーク上でのデータ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。撮像部11及び提示部14をハードウェアとして構成するのがそれぞれ、カメラ79及びディスプレイ76である。センサ装置78は、計測部12において撮像画像を解析する手法以外で種々の計測情報を取得する際に用いる、１つ以上の専用センサをハードウェアとして構成するものであり、位置姿勢取得部121での測位センサとしてのGPS、コンパス、ジャイロ、屋内GPSや、深度取得部123での光センサ（深度センサ）としてのLiDAR装置や、光源情報取得部124での照度センサなどが含まれる。

なお、情報端末装置10においてはその筐体に、図１３に示されるような各ハードウェアが固定して設置されることにより、カメラ79やセンサ装置78の位置姿勢は当該固定されている筐体の位置姿勢に一致することとなる。従って、各種の実施形態によりカメラ79やセンサ装置78の出力を元に求めた位置姿勢や周辺環境に関する情報は、情報端末装置10の位置姿勢や周辺環境に関する情報を表すものとなる。

100…提示システム、10…情報端末装置、20…サーバ、11…撮像部、12…計測部、13…開示部、14…提示部、21…保存部、22…描画部

Claims

自身の位置姿勢を計測する計測部と、
１つ以上の他端末においてそれぞれ計測された位置の情報と公開設定された開示情報とを参照することで、前記計測した自身の位置姿勢を基準とした３次元仮想空間内において、前記１つ以上の他端末の開示情報を当該他端末の位置に配置して描画することで描画情報を得る描画部と、
前記描画情報を提示する提示部と、を備えることを特徴とする情報端末装置。
フィールドを撮像して撮像画像を得る撮像部をさらに備え、
前記計測部は前記撮像部を構成するカメラの外部パラメータとして自身の位置姿勢を計測し、
前記提示部は、前記撮像画像に前記描画情報を重畳して提示することを特徴とする請求項１に記載の情報端末装置。
前記計測部はさらに、前記撮像部を構成するカメラの内部パラメータを計測し、
前記描画部では、前記外部パラメータ及び前記内部パラメータを利用することにより、前記撮像画像の範囲内において描画を行うことを特徴とする請求項２に記載の情報端末装置。
前記計測部はさらに、フィールドの光源情報を計測し、
前記描画部は、前記光源情報を反映して描画することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
前記計測部はさらに、フィールドの深度情報を計測し、
前記描画部は、前記１つ以上の他端末の開示情報を当該他端末の位置に配置したうえで前記深度情報と比較して、深度情報の示す空間位置よりも深い側にあるか浅い側にあるかを判定し、当該判定結果に応じて異なる態様で描画することを特徴とする請求項１ないし４のいずれかに記載の情報端末装置。
前記描画部では、深度情報の示す空間位置よりも深い側にあると判定される開示情報に関しては、描画を行わない、又は、透過効果を施した描画を行うことを特徴とする請求項５に記載の情報端末装置。
前記１つ以上の他端末の開示情報は当該他端末の位置を基準とした３次元モデルとして設定されており、前記描画部では、当該３次元モデルの各位置において、前記深度情報と比較して、深度情報の示す空間位置よりも深い側にあるか浅い側にあるかの判定を行うことを特徴とする請求項５または６に記載の情報端末装置。
前記情報端末装置では、前記計測した自身の位置姿勢に対する所定変換が設定されており、
前記描画部では、前記計測した自身の位置姿勢を基準とした３次元仮想空間内において描画を行うことに代えて、前記計測した自身の位置姿勢に対して、前記設定されている所定変換を適用した位置姿勢を基準とした３次元仮想空間内において描画を行うことを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
前記情報端末装置では、前記計測した自身の位置姿勢に対する所定変換と、自身に関して公開設定された開示情報と、が設定されており、
前記描画部ではさらに、前記自身に関して公開設定された開示情報を、前記計測した自身の位置姿勢に対して前記所定変換を適用した位置姿勢に配置して描画することを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
前記１つ以上の他端末のうち少なくとも一部ではそれぞれ、前記計測された位置に対する所定変換が設定されており、
前記描画部では、当該少なくとも一部の他端末の開示情報を、当該他端末の位置に配置して描画することに代えて、当該他端末の位置に対して、設定されている所定変換を適用した位置に配置して描画することを特徴とする請求項１ないし９のいずれかに記載の情報端末装置。
前記少なくとも一部の他端末の開示情報はそれぞれ、当該他端末を利用するユーザのアバタとして設定されていることを特徴とする請求項１０に記載の情報端末装置。
前記１つ以上の他端末ではそれぞれ、位置の情報に加えて姿勢の情報が計測されており、前記描画部は、前記１つ以上の他端末の開示情報を当該他端末の位置及び姿勢に配置して描画することを特徴とする請求項１ないし１１のいずれかに記載の情報端末装置。
前記提示部は、フィールドを撮像した撮像画像に前記描画情報を重畳して表示することにより、または、フィールドを背景として前記描画情報を表示することにより、拡張現実表示として前記描画情報を提示することを特徴とする請求項１ないし１２のいずれかに記載の情報端末装置。
コンピュータを請求項１ないし１３のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。
２つ以上の情報端末装置と、サーバと、を備える提示システムであって、
前記情報端末装置の各々は、
自身の位置姿勢を計測する計測部と、
公開設定する開示情報を受け付ける開示部と、を備え、当該位置姿勢の情報及び当該開示情報を前記サーバへと送信し、
前記サーバは、
前記情報端末装置の各々より受信した位置姿勢の情報及び開示情報を参照して、前記情報端末装置の各々に対して、自身の位置姿勢を基準とした３次元仮想空間内において、１つ以上の他端末の開示情報を当該他端末の位置に配置して描画を行うことで描画情報を得る描画部を備え、当該描画情報を対応する情報端末装置へと送信し、
前記情報端末装置の各々はさらに、
前記送信された描画情報を提示する提示部を備えることを特徴とする提示システム。
２つ以上の情報端末装置と、サーバと、を備える提示システムにおけるサーバであって、
前記情報端末装置の各々は、
自身の位置姿勢を計測する計測部と、
公開設定する開示情報を受け付ける開示部と、を備え、当該位置姿勢の情報及び当該開示情報を前記サーバへと送信し、
前記サーバは、
前記情報端末装置の各々より受信した位置姿勢の情報及び開示情報を参照して、前記情報端末装置の各々に対して、自身の位置姿勢を基準とした仮想空間内において、１つ以上の他端末の開示情報を当該他端末の位置に配置して描画を行うことで描画情報を得る描画部を備え、当該描画情報を対応する情報端末装置へと送信し、
前記情報端末装置の各々はさらに、
前記送信された描画情報を提示する提示部を備えることを特徴とする提示システムにおけるサーバ。