JP2023134920A - システム、方法、端末、方法及びプログラム - Google Patents

Abstract

【課題】 仮想オブジェクトが同じ場所に乱雑に複数表示される場合、ユーザは見せたい仮想オブジェクトを見せられなくなる、あるいは、見たい仮想オブジェクトを見ることができなくなってしまう。
【解決手段】 仮想オブジェクトを管理するシステムであって、仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理手段を有し、前記管理手段は、前記識別情報に、さらに、前記仮想オブジェクトが提供される際に、ほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータをさらに関連付けて管理する、ことを特徴とする。
【選択図】 図４

Description

本発明は、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｔｌｉｔｙ、拡張現実）やＭＲＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実）で扱う仮想オブジェクトを現実世界に表示する際の技術に関する。

ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｔｌｉｔｙ、拡張現実）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実）といった現実と仮想の世界を融合して疑似体験を提供する空間を作り出す技術の総称としてＸＲが注目され、各種標準化の取り組みが行われている。また、近年では１つの仮想オブジェクトを現実世界の同じ場所に複数端末で表示するための仕組みが各社の提供するプラットフォーム上にて実現されている。例えば、現実世界に配置されるべき仮想オブジェクトと、カメラなどで捉えた現実世界の特徴量とを紐づけて管理するクラウドシステムが存在する。その後、任意の端末のカメラで、該システムで管理済みの特徴量と一致する現実世界をとらえることで、該特徴量と紐づけて管理された仮想オブジェクトをその任意の端末で閲覧することが可能となる。

ここで、仮想オブジェクトと、カメラなどで捉えた現実世界の特徴量とを紐づける関連付け情報のことをアンカーと呼ぶ場合がある。

特許文献１は、ユーザの行動情報や物理環境情報を用いて、特定の仮想オブジェクトの表示を切り替えている。例えば、最初は単なる青い球体の地球儀の仮想オブジェクトが表示されているが、近づいたり見つめたりすると詳細な地形を表現したものに切り替わる、というようなものである。

特開２０１５－１１８５７８号公報

ここで特許文献１では、ユーザ行動情報や物理環境情報に応じた、複数の仮想オブジェクト同士の表示制御については考慮していない。

例えば、多数のユーザが、それぞれ、現実世界の同じ場所（街の人気スポットなど）に仮想オブジェクトを配置すると、仮想オブジェクトが同じ場所に乱雑に複数表示されてしまうかもしれない。各ユーザが見せたい仮想オブジェクトを想定通りに提供できない、あるいは、閲覧者が見たいと思うような仮想オブジェクトが見られなくなってしまうかもしれない。

そこで、本発明は仮想オブジェクトを管理するシステムであって、仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理手段を有し、前記管理手段は、前記識別情報に、さらに、前記仮想オブジェクトが提供される際に、ほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータをさらに関連付けて管理する、ことを特徴とする。

本発明によれば、現実世界の特定の場所に複数の仮想オブジェクトが配置されるようなケースであっても、適切な情報提供が実現し得る仕組みが提供できる。

実施例１における仮想オブジェクト管理システムの全体構成を示す。 実施例１における仮想オブジェクト管理システムを構成するサーバーコンピューター、クライアント端末のハードウェア構成図である。 実施例１における仮想オブジェクト管理システムのソフトウェア構成図である。 実施例１における仮想オブジェクト管理システムにおいて複数端末で仮想オブジェクトを共有する処理の流れを表す。 実施例１におけるアンカーを生成する処理の流れを表したフローチャートである。 実施例１における仮想オブジェクト管理システムに保存されているアンカーに優先度を設定する処理の流れを表したフローチャートである。 実施例１における仮想オブジェクト管理システムがアンカーを検索する処理の流れを表したフローチャートである。 実施例１におけるクライアント端末が仮想オブジェクトを描画する処理の流れを表したフローチャートである。 実施例２におけるクライアント端末が仮想オブジェクトを描画する処理の流れを表したフローチャートである。 実施例２における仮想オブジェクト管理システムがアンカーを検索する処理の流れを表したフローチャートである。 実施例１におけるクライアント端末の画面の一例である。 実施例２におけるクライアント端末の画面の一例である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

図１は、本発明の実施の形態に係る、仮想オブジェクト管理システムの全体構成を示す図である。

図１において、仮想オブジェクト管理システム１２１、クライアント端末１３１～１３３、ネットワーク１００～１０２を介して接続されている。ネットワーク１００～１０２は、例えば、インターネット等のＬＡＮ、ＷＡＮ、電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、ケーブルテレビ回線、データ放送用無線回線等により実現される、いわゆる通信ネットワークである。ネットワーク１００～１０２は、データの送受信が可能であればよい。本発明では、ネットワーク１００はインターネット、ネットワーク１０１、１０２はインターネットや一般家庭内や会社内のネットワーク、街中に設定されている無線ＬＡＮなどである。

クライアント端末１３１～１３３は、例えば、ＨＭＤ（ヘッドマウントディスプレイ）やスマートグラスなどのＸＲで扱う仮想オブジェクトの描画に対応した専用ハードウェアや、スマートフォンのようなプログラムの実行環境が内蔵された携帯電話などである。また、クライアント端末１３１～１３３は周囲を撮影するためのカメラと、仮想オブジェクトを表示するためのディスプレイを備える。クライアント端末１３１～１３３はカメラ等を通じて周囲を撮影し、ディスプレイ上に現実世界に重ねて仮想オブジェクトを描画し、投影することで、ユーザに対して現実と仮想の世界を融合した疑似体験を提供する。クライアント端末１３１～１３３がスマートフォンなどのように専用ハードウェアでない場合は、ＷｅｂブラウザやＯＳ等が提供するＡＰＩを利用して仮想オブジェクトの描画を行う。

仮想オブジェクト管理システム１２１は、現実世界に配置されるべき仮想オブジェクトと、カメラなどで捉えた現実世界の特徴量とを紐付けて管理するサービス、当該仮想オブジェクトを外部の端末に提供するためのサービスなどを提供するためのシステムである。仮想オブジェクト管理システム１２１はサーバーコンピューターを用いて構築される。クラウドコンピューティング技術などを採用して構築することができる。

本実施例では、仮想オブジェクト管理システム１２１で管理する、仮想オブジェクトと、カメラなどで捉えた現実世界の特徴量とを紐づける関連付け情報のことを、以降ではアンカーと呼ぶ。関連付け情報としては、それらの情報以外にも、後述するように、アンカー自体を識別するための識別子やセッションＩＤや各種パラメータを含むプロパティ情報が含まれる。

仮想オブジェクト管理システム１２１は、クライアント端末１３１～１３３からのアンカー登録要求を受けつけ、登録されたアンカーを保存する。また、仮想オブジェクト管理システム１２１は、クライアント端末１３１～１３３からのアンカー取得要求を受けつけ、保存されているアンカーの中から条件に合致するアンカーを応答する。

以降、本発明で説明するサーバーの機能は、単体のサーバー又は単体の仮想サーバーによって実現しても構わないし、複数のサーバー又は複数の仮想サーバーによって実現しても構わない。あるいは複数の仮想サーバーが単体のサーバー上で実行されていても構わない。

図２は、本発明の実施形態に係る仮想オブジェクト管理システム１２１、クライアント端末１３１～１３３のハードウェア構成図である。

図２において、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２０２は装置全体の制御を行う。ＣＰＵ２０２はＨａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ（ＨＤＤ）２０５に格納されているアプリケーションプログラム、ＯＳ等を実行し、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０３にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）２１０は仮想オブジェクトをリアルタイムに描画するために必要な演算処理を行う。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２０４は記憶手段であり、内部には、基本Ｉ／Ｏプログラム等の各種データを記憶する。ＲＡＭ２０３は一時記憶手段であり、ＣＰＵ２０２，ＧＰＵ２１０の主メモリ、ワークエリア等として機能する。ＨＤＤ２０５は外部記憶手段の一つであり、大容量メモリとして機能し、Ｗｅｂブラウザ等のアプリケーションプログラム、サービスサーバー群のプログラム、ＯＳ、関連プログラム等を格納している。ディスプレイ２０６は表示手段であり、仮想オブジェクトや操作に必要な情報等を表示したりするものである。インターフェース２０８は外部装置Ｉ／Ｆであり、各種外付けセンサーのような周辺機器を接続する。カメラ２０７はクライアント端末１３１～１３３において、周囲の映像を撮影する。カメラ２０７によって撮影された映像をＨＤＤ２０５に格納されたアプリケーションプログラムで解析することで、現実世界と重ね合わせて仮想オブジェクトを配置できるようになり、また現実世界の特徴量を計算することが可能になる。また、クライアント端末１３１～１３３がＨＭＤのようなＸＲ向けの専用端末の場合は、カメラ２０７が認識したユーザの手指によって、ディスプレイ２０６上に表示された仮想オブジェクトを操作することもできるようになる。クライアント端末１３１～１３３がスマートフォンのようなＸＲ向けの専用端末でない場合は、ディスプレイのタッチパネルなどを操作することによってディスプレイ２０６上に表示された仮想オブジェクトを操作することが可能である。仮想オブジェクト管理システム１２１は必ずしもカメラ２０７を必要としない。

システムバス２０１は、装置内におけるデータの流れを司るものである。Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ（ＮＩＣ）２０９は、該インターフェース２０８、ネットワーク１００～１０２を介して外部装置とのデータのやり取りを行う。なお、上記コンピュータの構成はその一例であり、図２の構成例に限定されるものではない。例えば、データやプログラムの格納先は、その特徴に応じてＲＯＭ２０４、ＲＡＭ２０３、ＨＤＤ２０５などで変更することも可能である。加えて、ＣＰＵ２０２、ＧＰＵ２１０がＨＤＤ２０５に記憶されているプログラムに基づき処理を実行することによって、図３に示されるようなソフトウェア構成における処理が実現される。

続いて、図３、図１１を利用して、本実施例に係る仮想オブジェクト管理システムのソフトウェア構成を説明する。

図３は、本実施例に係る仮想オブジェクト管理システムの中で、本発明に関わる機能を抜粋したソフトウェア構成を説明したものである。

仮想オブジェクト管理システム１２１は、アンカー受信部３１１、アンカー提供部３１２、アンカー記憶部３１３、アンカー管理部３１４から構成される。

アンカー受信部３１１はクライアント端末１３１～１３３からのアンカー登録要求を受信すると、受信したアンカー情報をアンカー記憶部３１３に保存する。また、アンカー提供部３１２はクライアント端末１３１～１３３からのアンカー取得要求を受信すると、条件に合致するアンカーをアンカー記憶部３１３から検索して、クライアント端末１３１～１３３に返却する。

表１にアンカー記憶部３１３に保存されるデータの例を示す。

アンカー受信部３１１はクライアント端末１３１～１３３からのアンカー登録要求を受信すると、アンカー記憶部３１３に対して対応するアンカーのレコードを保存する。アンカーＩＤ列は、アンカーを識別するための一意の識別情報（ＩＤ）である。

セッションＩＤ列は、同一セッションであれば同じＩＤが付加される。セッションによって複数のアンカーを紐付けておくことで、複数のアンカーを同時にユーザに提示することができる。仮想オブジェクトデータ列は各種フォーマットの３Ｄモデルのデータである。

本発明におけるアンカーで示す仮想オブジェクトを現実世界に紐づけて表示するための特徴量は、表２の（１）特徴量列、（２）位置情報列、（３）センサー情報列の３つの情報で管理される。

特徴量列は、アンカーが配置された周囲の現実世界の３次元的な特徴量である。位置情報列は現実世界での仮想オブジェクトの３次元的な位置を表す。センサー情報列はアンカーが配置された場所情報（ＧＰＳの座標）、アンカーが紐付いたＢｅａｃｏｎやＷｉｆｉなどの無線通信機能を用いた信号に含まれる識別子（ＩＤ）などである。

本発明では、アンカーで示す特徴量として、表２の（１）特徴量列、（２）位置情報列、（３）センサー情報列の３つの情報で管理しているが、少なくともこれらの中の１つ、もしくは複数の組み合わせと他の情報との組合せを用いて各アンカーの特徴量の管理を実現することも可能である。

アンカー提供部３１２は、クライアント端末１３１～１３３からのアンカー取得要求に対して、特定のアンカーＩＤに紐づく１つのアンカーを返却することができ、また同一のセッションＩＤまたは同一のセンサーＩＤに紐づく複数のアンカーを返却することもできる。

本実施例では、アンカーＩＤに、さらに、仮想オブジェクトが提供される際に、ほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータとして、優先度の情報をさらに関連付けて管理している。優先度列はアンカー毎の優先度を示した数値であり、アンカー登録後にそれぞれのアンカーに対して追加で設定を行える値である。

アンカー管理部３１４はアンカー記憶部に保存されているアンカーに対して操作を行うことができ、アンカー管理部３１４によってアンカー記憶部３１３に保存されているアンカーに対して優先度の追加設定を行う。優先度は例えば表１のように数値を設定でき、数値が小さい方を優先度が高いとしても構わないし、数値が大きい方を優先度が高いとしても構わない。

クライアント端末１３１～１３３は仮想オブジェクトデータ管理部３０１、アンカー生成部３０２、アンカー取得部３０３、アンカー描画部３０４、ローカルアンカー管理部３０５から構成される。

仮想オブジェクトデータ管理部３０１は、各種フォーマットの３Ｄモデルのデータが格納されている。仮想オブジェクトデータ管理部３０１に保存されている３Ｄデータは、ユーザが現実世界に重ねて自由に配置して投影、表示させることができる仮想オブジェクトである。

アンカー生成部３０２はユーザの操作によってアンカーを作成する処理を担う。ユーザは、アンカー生成部３０２を通じて仮想オブジェクトデータ管理部３０１に保存されている３Ｄモデルを選択し、カメラ２０７で撮影した手指や、ディスプレイ２０６のタッチパネル操作によって、現実世界に仮想オブジェクトを配置することができる。図１１（ａ）～（ｈ）はそれぞれＨＭＤ型のクライアント端末１３１及び１３３のディスプレイ２０６に見える映像を表したものである。ユーザは、図１１（ａ）のようにクライアント端末１３１の仮想オブジェクトデータ管理部３０１に保存されている円柱形仮想オブジェクト１１０２を前述の方法で操作し、現実世界の机１１０１の上に配置することができる。続いて、アンカー生成部３０２は、仮想オブジェクトが配置された周囲の映像を、カメラ２０７を介して撮影された映像を解析することで、特徴量を抽出し、仮想オブジェクトと紐付けて、ローカルアンカー管理部３０５に保存する。また、アンカー生成部３０２はインターフェース２０８を介して接続されているＧＳＰセンサーを利用してアンカーの位置情報を特定し、アンカーと紐付ける。また、ユーザはアンカー生成部３０２を通じて、アンカーとセンサーを紐付ける。アンカー生成部３０２は、上記のように作成されローカルアンカー管理部３０５に保存されたアンカーを、アンカー受信部３１１に対して送信する。

アンカー取得部３０３は、インターフェース２０８に接続されたセンサー情報をもとにアンカー提供部３１２に対してアンカー取得要求を行い、アンカー提供部３１２から取得したアンカーをローカルアンカー管理部３０５に保存する。アンカー取得部３０３は、例えばＧＰＳ信号をもとに現在地の近くにあるアンカーや、ＷｉｆｉやＢｅａｃｏｎの信号を検知したらそのＷｉｆｉやＢｅａｃｏｎに紐づくアンカーの取得要求をアンカー提供部３１２に対して行う。

アンカー描画部３０４は、ローカルアンカー管理部３０５に保存されている各アンカーに含まれる特徴量と、カメラ２０７で撮影されている現実世界の映像とを比較し、特徴が一致する部分にアンカーに含まれる仮想オブジェクトを配置する。図１１（ｂ）は、図１１（ａ）のようにユーザがクライアント端末１３１にて机１１０１上に配置した円柱形仮想オブジェクト１１０２を、クライアント端末１３３上で同じ特徴量の机１１１１上に、円柱形仮想オブジェクト１１１２として描画した様子を表す。

図１１（ｃ）は、アンカー取得部３０３で取得したアンカーが複数あり、同じ特徴量の机１１２１上に、複数の仮想オブジェクト１１２２～１１２４として描画した様子を表す。この場合、仮想オブジェクトＢ１１２３が前面にあるため仮想オブジェクトＡ１１２２を見ることが困難である。

しかし、ユーザが仮想オブジェクトＡ１１２２を一番見たい場合、あるいは、看板や広告など机１１２１の所有者が仮想オブジェクトＡ１１２２を一番見せたい場合など、仮想オブジェクトＡ１１２２を他の仮想オブジェクトより見えやすく描画したい場合がある。

そこで、ローカルアンカー管理部３０５に保存されている各アンカーに含まれる優先度の値によって各アンカーの優先度を決定し、アンカー描画部３０４は各アンカーの優先度によって仮想オブジェクトの描画を制御し、優先度の高いアンカーを見えやすく描画する。図１１（ｄ）～（ｈ）は優先度に応じたアンカーの描画制御例である。

図１１（ｄ）～（ｈ）は図１１（ｃ）の仮想オブジェクトＡ１１２２の優先度が一番高い場合に、仮想オブジェクトＡ１１２２、仮想オブジェクトＢ１１２３、仮想オブジェクトＣ１１２４を優先度に応じて描画した一例である。

図１１（ｄ）は優先度の高い仮想オブジェクトを他の仮想オブジェクトの前面に描画させる例である。優先度の高い仮想オブジェクトＡ１１３２を仮想オブジェクトＢ１１３３の前面に描画することで、仮想オブジェクトＡ１１３２を見えやすくしている。

図１１（ｅ）は優先度の高い仮想オブジェクトと描画が被っている他の仮想オブジェクトがあった場合、最も優先度の高い仮想オブジェクトのみを描画する例である。優先度の高い仮想オブジェクトＡ１１４２のみを描画することで、仮想オブジェクトＡ１１４２を見えやすくしている。

図１１（ｆ）は優先度の高い仮想オブジェクトと描画が被っている他の仮想オブジェクトがあった場合、他の仮想オブジェクトは透過させて描画する例である。仮想オブジェクトＡ１１５２より優先度の低い仮想オブジェクトＢ１１５３と仮想オブジェクトＣ１１５４を透過させて描画することで、仮想オブジェクトＡ１１５２を見えやすくしている。

図１１（ｇ）は仮想オブジェクトの描画を時間に応じて切り替え、優先度の高い仮想オブジェクトをより長時間描画する例である。タイムテーブルダイアログ１１６３は各仮想オブジェクトを表示させる時間を表した表であり、この表に従って仮想オブジェクトの描画の時間に応じた切り替えを行う。タイムテーブル１１６４は仮想オブジェクトＡの表示時間を表し、タイムテーブル１１６５は仮想オブジェクトＢの表示時間を表し、タイムテーブル１１６６は仮想オブジェクトＣの表示時間を表す。前記タイムテーブルは優先度に応じて時間が長くなるようにローカルアンカー管理部３０５、あるいは、アンカー描画部３０４が時間設定を行う。アンカー描画部３０４は前記タイムテーブルに従い、仮想オブジェクトＡを２０秒描画させ、仮想オブジェクトＢを１０秒描画させ、仮想オブジェクトＣを５秒描画させる。優先度の高い仮想オブジェクトＡを長時間表示させることにより、仮想オブジェクトＡを見えやすくする。タイムテーブルダイアログ１１６３はディスプレイ２０６に描画しても構わないし、描画しなくても構わない。

図１１（ｈ）は優先度の低い仮想オブジェクトが特定領域にあった場合、仮想オブジェクトの描画を行わない例である。境界面１１７４はアンカーの描画可能領域の境界を示し、アンカー描画部３０４は前記境界面１１７４によって定められた空間にのみ優先度の低いアンカーの描画を行える。表１のアンカー一覧のアンカーＩＤ＝ａを仮想オブジェクトＡ、アンカーＩＤ＝ｂを仮想オブジェクトＢ、アンカーＩＤ＝ｃを仮想オブジェクトＣとする。境界面１１７４は表１の位置情報ｙ＝２０の平面であり、アンカー描画部３０４は位置情報がｙ≦２０の空間に仮想オブジェクトの描画を行わないとする。位置情報がｙ≦２０のアンカーは仮想オブジェクトＡ、及び、仮想オブジェクトＢがあり、優先度の低い仮想オブジェクトＢの描画は行わないため仮想オブジェクトＡのみが描画されている。また、仮想オブジェクトＣは優先度が低いがｙ≦２０でないため描画されている。優先度の高い仮想オブジェクトＡと描画が被る空間への仮想オブジェクトの描画を行わないことで、仮想オブジェクトＡを見えやすくする。境界面１１７４はディスプレイ２０６に描画しても構わないし、描画しなくても構わない。

なお、図１１は優先度に応じた仮想オブジェクトの描画を制御するための一例であり、優先度に応じて描画の制御を行うことができれば図１１の例に限定されるものではない。

続いて、クライアント端末１３１で生成したアンカーを別のクライアント端末１３３で表示するまでの一連の流れを図４、図５、図６、図７、図８を利用して説明する。

図４は、クライアント端末１３１で生成したアンカーを仮想オブジェクト管理システム１２１に登録し、仮想オブジェクト管理システム１２１に保存されたアンカーをクライアント端末１３３が取得して表示するまでのシーケンスを表す。

最初に図４におけるＳ４０１からＳ４０３で、クライアント端末１３１を操作してアンカーを登録するシーケンスを説明する。ユーザはクライアント端末１３１を操作し、アンカー生成部３０２を介して仮想オブジェクトデータ管理部３０１に保存されている仮想オブジェクトを配置してアンカーを生成、ローカルアンカー管理部３０５に保存する（Ｓ４０１）。アンカー生成部３０２は生成されたアンカーのアンカー登録要求をアンカー受信部３１１に送信する（Ｓ４０２）。アンカー登録要求を受信したアンカー受信部３１１は、アンカー記憶部３１３に受信したアンカーを保存したのち、保存結果をアンカー生成部３０２に返す（Ｓ４０３）。複数のアンカーを同一セッションＩＤとして登録したい場合はＳ４０１～Ｓ４０３を繰り返す（Ｓ４０４）。

図５を用いて、図４においてアンカー生成部３０２が行うアンカー生成処理Ｓ４０１の詳細なフローを説明する。アンカー生成部３０２は、ユーザの操作によって現実世界の空間上に仮想オブジェクトを配置し、その位置・向きを決定する（Ｓ５０２）。次にアンカー生成部３０２は、Ｓ５０３にてカメラ２０７を通じて周辺を撮影し、空間の３次元的な特徴点を取得する。アンカー生成部３０２は、Ｓ５０４にて特徴点が十分に集まったと判断できない場合は再度、Ｓ５０３の特徴点の取得を行う。アンカー生成部３０２は、Ｓ５０４にて特徴点が十分に集まったと判断した場合は、Ｓ５０５にてアンカーに対して有効期限やその他必要なプロパティを設定してもらい、Ｓ５０６にてアンカーに対してセンサー情報を設定しない場合は処理を終了する。Ｓ５０６にてアンカーに対してセンサー情報を設定する場合、アンカー生成部３０２は、センサーの種類に応じた設定をユーザにしてもらい（Ｓ５０７）、処理を終了する。例えば、表１のアンカーＩＤ＝ａのデータのように、アンカー生成部３０２は、Ｓ５０７にてユーザの操作に従ってアンカーの情報にｉｄ＝１２３のＢｅａｃｏｎを紐付ける。

以上が、クライアント端末１３１を操作してアンカーを仮想オブジェクト管理システムに登録するシーケンスである。

続いて、図４におけるＳ４０５からＳ４０６で、アンカー記憶部３１３に保存されているアンカーに優先度を設定するシーケンスについて説明する。

ユーザは仮想オブジェクト管理システム１２１に対して操作を行い、アンカー管理部３１４を介して、アンカー記憶部３１３に保存されているアンカーに対して優先度の追加設定を行う（Ｓ４０５）。複数のアンカーに対して優先度の設定を行う場合はＳ４０５を繰り返し行う（Ｓ４０６）。図６を用いて、図４においてアンカー記憶部３１３に保存されているアンカーに優先度を設定するアンカー優先度設定Ｓ４０５の詳細なフローを説明する。

ユーザの仮想オブジェクト管理システム１２１に対する操作によってアンカー記憶部３１３に保存されているアンカーをユーザは選択する（Ｓ６０２）。Ｓ６０３においてアンカー管理部３１４はユーザが選択したアンカーに関連するアンカーがあるか検索を行う。ここでの関連するアンカーとは、表１のセッションＩＤ、特徴量、センサー情報のいずれかが一致、あるいは、類似するアンカーを示す。Ｓ６０４において、アンカー記憶部３１３に保存されているアンカーの中にユーザが選択したアンカーに関連するアンカーがあった場合、Ｓ６０５において前記関連するアンカー一覧のリストアップを行う。ユーザはＳ６０５においてリストアップされたアンカー一覧のアンカー毎に優先度の設定をアンカー管理部介してアンカー記憶部３１３に保存されているアンカーに優先度の設定を行う（Ｓ６０６）。表１を例として、ユーザがＳ６０２においてアンカーＩＤ＝ａを選択した場合、Ｓ６０３においてセンサー情報が一致するアンカーＩＤ＝ｂのアンカー、及び、セッション情報が一致するアンカーＩＤ＝ｃのアンカーが検索される。ユーザはＳ６０５にてリストアップされたアンカーＩＤ＝ａ、ｂ、ｃの各アンカーに対して、Ｓ６０６にて、アンカーＩＤ＝ａのアンカーの優先度を１に、アンカーＩＤ＝ｂのアンカーの優先度を２に、アンカーＩＤ＝ｃのアンカーの優先度を３に設定を行う。

続いて、図４におけるＳ４０７からＳ４１６で、ユーザがクライアント端末１３３を操作してアンカーを取得、描画するシーケンスについて説明する。

アンカー取得部３０３は、Ｓ４０７にてセンサー情報を取得する。センサー情報を取得できない場合、アンカー取得部３０３はＳ４０７を繰り返す（Ｓ４０８）。センサー情報の取得は、クライアント端末１３３にインターフェース２０８を介して接続されているＢｌｕｅｔｏｏｔｈ信号を検知するセンサーを介して、アンカー取得部３０３が行う。例えばｉｄ＝１２３のＢｅａｃｏｎ端末からの信号を検知した場合、アンカー取得部３０３は、ｉｄ＝１２３のＢｅａｃｏｎ端末に紐づくアンカーの検索リクエストをアンカー提供部３１２に対して送信する（Ｓ４０９）。アンカー提供部３１２はｉｄ＝１２３のＢｅａｃｏｎ端末に紐づくアンカーをアンカー記憶部３１３から検索を行う。ｉｄ＝１２３のＢｅａｃｏｎに紐づくアンカーはアンカーＩＤ＝ａ，ｂの２つ存在するので、アンカーＩＤ＝ａ，ｂのアンカーをアンカー取得部３０３に返却する（Ｓ４１１）。次に、アンカー取得部３０３はアンカー提供部３１２が返却したアンカーをローカルアンカー管理部３０５に保存し（Ｓ４１２）、さらにそれぞれのアンカーに対して同一セッションのアンカーの検索リクエストをアンカー提供部３１２に対して行う（Ｓ４１３）。すなわち、アンカー取得部３０３は、アンカーＩＤ＝ａのセッションＩＤである１１１と同じアンカーの検索リクエストをアンカー提供部３１２に対して行う（Ｓ４１３）。アンカー提供部３１２は、セッションＩＤ＝１１１のアンカーをアンカー記憶部３１３から検索し（Ｓ４１４）、アンカー取得部３０３に返却する（Ｓ４１５）。即ち、セッションＩＤ-＝１１１のアンカーはアンカーＩＤ＝ｄであるので、アンカー提供部３１２は、これをアンカー取得部３０３に返却する（Ｓ４１５）。次に、アンカー取得部３０３はアンカー提供部３１２が返却したアンカーをローカルアンカー管理部３０５に保存する（Ｓ４１６）。最後にアンカー描画部３０４はローカルアンカー管理部３０５に保存されているアンカーに対して、アンカー描画処理を行う（Ｓ４１７）。

ここで、アンカー提供部３１２が行う、センサーに紐づくアンカー検索処理Ｓ４１０、同一セッションに紐づくアンカー検索処理Ｓ４１４の詳細なフローを図６のフローチャートを用いて説明する。

図７（ａ）はアンカー提供部３１２が行う、センサーに紐づくアンカー検索処理Ｓ４１０のフローチャートである。アンカー提供部３１２は、アンカー取得部３０３からのアンカー取得リクエストに含まれるセンサーに合致するアンカーが、まだアンカー記憶部３１３で保存している表１に存在するかどうかを確認する（Ｓ７０２）。Ｓ７０２にて、アンカーが存在しない場合、アンカー提供部３１２は処理を終了する。Ｓ７０２にてアンカーが存在する場合、アンカー提供部３１２は、アンカー記憶部３１３からアンカーを取得する（Ｓ７０３）。アンカー提供部３１２は、アンカー一覧にＳ７０３にて取得したアンカーを保持し（Ｓ７０４）、Ｓ７０２に戻る。図７（ｂ）はアンカー提供部３１２が行う、同一セッションに紐づくアンカー検索処理Ｓ４１４のフローチャートである。アンカー提供部３１２は、アンカー取得部３０３からのアンカー取得リクエストに含まれるセッションＩＤに合致するアンカーが、まだアンカー記憶部３１３に保存している表１に存在するかどうかを確認する（Ｓ７１２）。Ｓ７１２にて、アンカーが存在しない場合、アンカー提供部３１２は処理を終了する。Ｓ７１２にてアンカーが存在する場合、アンカー提供部３１２は、アンカー記憶部３１３からアンカーを取得する（Ｓ７１３）。アンカー提供部３１２は、アンカー一覧にＳ７１３にて取得したアンカーを保持し（Ｓ７１４）、Ｓ７１２に戻る。センサーに紐づくアンカー検索処理Ｓ４１０、および同一セッションに紐づくアンカー検索処理Ｓ４１４のいずれの場合も、アンカー提供部３１２が、アンカー取得部３０３に返却するアンカーは、Ｓ７０４、及び、Ｓ７１４にてアンカー一覧に保持されたアンカーのみである。

図８はクライアント端末１３３が行う、アンカー描画処理Ｓ４１７のフローチャートである。アンカー描画部３０４は、カメラ２０７を通じて撮影される映像から、現実空間の領域の特徴量を取得し（Ｓ８０２）、ローカルアンカー管理部３０５に保存されているアンカー毎の特徴量と合致するかどうかを確認する（Ｓ８０３）。Ｓ８０３にて合致しない場合、アンカー描画部３０４はアンカー描画処理Ｓ４１７を終了する。Ｓ８０３にて合致した場合、アンカー描画部３０４は一致したアンカー毎の優先度を取得し（Ｓ８０４）、アンカー毎の優先度に応じて仮想オブジェクトの描画を行う（Ｓ８０５）。Ｓ８０５におけるアンカー毎の優先度に応じた仮想オブジェクトの描画とは図１１（ｄ）～（ｈ）を例とする描画方法である。

以上のような方法により、仮想オブジェクトに優先順位をつけ、優先順位に応じて描画の制御を行うことで優先度の高い仮想オブジェクトを見えやすくすることが実現できる。それにより、ユーザは見せたい仮想オブジェクトを見やすくさせられる、あるいは、見たい仮想オブジェクトが見やすくなる。

実施例１において、決められた優先度に従って仮想オブジェクトの描画を行うのではなく、ユーザーフィードバックにより優先度を決定したい場合が考えられる。例えば、ユーザがアンカーに対して口コミ点数や高評価をつけることにより、口コミ点数の平均点が高いアンカーや高評価の数が多いアンカーの優先度を高いとする。
本実施例は、仮想オブジェクトに加えて評価ダイアログをディスプレイ２０６に表示する（後述）。ユーザは評価ダイアログに評価を入力することで、クライアント端末１３１～１３３は仮想オブジェクト管理システムに評価の送信を行う。

本実施例は、実施例１と重複する部分が多いため、実施例１との差分のみ説明する。

表２にアンカー記憶部３１３に保存されるデータの例を示す。

本実施例では、アンカーＩＤに、さらに、仮想オブジェクトが提供される際に、ほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータとして、仮想オブジェクトに対して行われた評価を数値化した情報を示す評価点を評価点列でさらに関連付けて管理している。表２では、評価点列以外は、表１の対応する列の定義と同じである。表２の評価点列はユーザによって入力された評価点が格納される。

表２では不図示であるが、優先度列と評価点列の両方を管理することも可能である。その場合には、同等の優先度であれば、評価点の高い仮想オブジェクトを優先的に表示するなどといった制御が可能となる。また、それらの列に対する値に設定は任意であり、片方の値が無い場合には、もう一方の情報を表示制御に利用することもできる。

図１２は本実施例において、クライアント端末１３１～１３３のディスプレイ２０６に見える映像を表したものである。

図１２（ａ）は各アンカーに対して評価点を加算する例である。評価ダイアログ１２０５は仮想オブジェクト１２０２～１２０４に対して評価を入力するためのダイアログである。入力ウィンドウ１２０６は仮想オブジェクトＡに対して、入力ウィンドウ１２０７は仮想オブジェクトＢに対して、入力ウィンドウ１２０８は仮想オブジェクトＣに対しての入力ウィンドウである。入力ウィンドウ１２０６～１２０８のＧｏｏｄを選択することにより、各仮想オブジェクトに対して評価点の加算が行われる。

図１２（ｂ）は各アンカーに対して評価点を入力する例である。評価ダイアログ１２１５は仮想オブジェクト１２１２～１２１４に対して評価を入力するためのダイアログである。入力ウィンドウ１２１６は仮想オブジェクトＡに対して、入力ウィンドウ１２１７は仮想オブジェクトＢに対して、入力ウィンドウ１２１８は仮想オブジェクトＣに対しての入力ウィンドウである。入力ウィンドウ１２１６～１２１８の評価点数を選択することにより、各仮想オブジェクトに対して選択された評価点の入力が行われる。

なお、図１２は評価点をアンカーにつけるための一例であり、アンカーに対しての評価を行うことができれば図１２の例に限定されるものではない。

図９（ａ）は実施例２におけるクライアント端末１３１～１３３が行う、アンカー描画処理のフローチャートである。アンカー描画部３０４は、カメラ２０７を通じて撮影される映像から、現実空間の領域の特徴量を取得し（Ｓ９０２）、ローカルアンカー管理部３０５に保存されているアンカー毎の特徴量と合致するかどうかを確認する（Ｓ９０３）。Ｓ９０３にて合致しない場合、アンカー描画部３０４はアンカー描画処理を終了する。Ｓ９０３にて合致した場合、アンカー描画部３０４は一致したアンカー毎の評価点を取得し（Ｓ９０４）、アンカー毎の優先度に応じて仮想オブジェクトの描画を行う（Ｓ９０５）。Ｓ９０５におけるアンカー毎の優先度に応じた仮想オブジェクトの描画とは図１１（ｄ）～（ｈ）を例とする描画方法である。その後、ユーザは各アンカーに対する評価点をインターフェース２０８を介して入力し（Ｓ９０６）、クライアント端末１３３は仮想オブジェクト管理システムに送信を行う（Ｓ９０８）。

図９（ｂ）は実施例２における仮想オブジェクト管理システム１２１が行う、評価点更新処理のフローチャートである。仮想オブジェクト管理システム１２１はクライアント端末１３１～１３３から各アンカーに対する評価点を受信し（Ｓ９１２）、アンカー記憶部３１３に保存されている各アンカーの評価点の更新を行う。ここでの更新とは、評価点の加算や平均点の算出などである。

なお、本実施例では評価点は図１２の例のようにユーザが入力するとした。しかし、仮想オブジェクトの描画回数やユーザが視線を仮想オブジェクトに送った回数などで評価点を自動取得しても構わない。

本実施例によってユーザのフィードバックを仮想オブジェクト管理システム１２１に送信することで、ユーザーフィードバックにより優先度を決定し、仮想オブジェクトの描画制御を行うことができる。

実施例１において、優先度に関わらず、ユーザ好みのアンカーを描画したい場合が考えられる。作成者、作成日、タグなどをアンカープロパティとして用意し、それを選択的に利用することでユーザ好みのアンカーのみを取得できるようにする。例えば、アンカーの作成者をアンカーのプロパティに追加することにより、ユーザは好きな作成者のアンカーのみを取得することができる。

本実施例は、実施例１と重複する部分が多いため、実施例１との差分のみ説明する。

表３にアンカー記憶部３１３に保存されるプロパティデータの例を示す。

本実施例では、アンカーＩＤに、さらに、仮想オブジェクトが提供される際に、ほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータとして、プロパティデータをさらに関連付けて管理している。表３では省力しているが、表１表２に含まれるセッションＩＤ列、仮想オブジェクトデータ列、特徴量列、位置情報列、センサー情報列は各レコードで管理されている。また、評価点列も含めてもよい。

表２では不図示であるが、優先度列と評価点列の両方を管理することも可能である。その場合には、同等の優先度であれば、評価点の高い仮想オブジェクトを優先的に表示するなどといった制御が可能となる。また、それらの列に対する値に設定は任意であり、片方の値が無い場合には、もう一方の情報を表示制御に利用することもできる。

各アンカーは表１のデータに加えて表３のプロパティデータを所持する。

Ｓ４０９、Ｓ４１３においてユーザが指定したプロパティ条件を検索リクエストに加え、仮想オブジェクト管理システムがユーザの指定したプロパティを含むアンカーのみをＳ４１１、Ｓ４１５においてクライアント端末１３３に送信を行う。それにより、ユーザは好みのアンカーのみを見ることができる。

図１０（ａ）は実施例３におけるアンカー提供部３１２が行う、センサーに紐づくアンカー検索処理Ｓ４１０のフローチャートである。アンカー提供部３１２は、アンカー取得部３０３からのアンカー取得リクエストに含まれるセンサーに合致するアンカーが、まだアンカー記憶部３１３で保存している表１に存在するかどうかを確認する（Ｓ１００２）。Ｓ１００２にて、アンカーが存在しない場合、アンカー提供部３１２は処理を終了する。Ｓ１００２にてアンカーが存在する場合、アンカー提供部３１２は、アンカー記憶部３１３からアンカーを取得する（Ｓ１００３）。取得したアンカーがユーザが指定したプロパティ条件に一致する場合（Ｓ１００４）、アンカー提供部３１２は、アンカー一覧にＳ１００３にて取得したアンカーを保持し（Ｓ１００５）、Ｓ１００２に戻る。ユーザが指定するプロパティ条件はプロパティに対する完全一致、部分一致、時刻の大小比較などである。

図１０（ｂ）は実施例３におけるアンカー提供部３１２が行う、同一セッションに紐づくアンカー検索処理Ｓ４１４のフローチャートである。アンカー提供部３１２は、アンカー取得部３０３からのアンカー取得リクエストに含まれるセッションＩＤに合致するアンカーが、まだアンカー記憶部３１３に保存している表１に存在するかどうかを確認する（Ｓ１ー０１２）。Ｓ１０１２にて、アンカーが存在しない場合、アンカー提供部３１２は処理を終了する。Ｓ１０１２にてアンカーが存在する場合、アンカー提供部３１２は、アンカー記憶部３１３からアンカーを取得する（Ｓ１０１３）。取得したアンカーがユーザが指定したプロパティ条件に一致する場合（Ｓ１０１４）、アンカー提供部３１２は、アンカー一覧にＳ１０１３にて取得したアンカーを保持し（Ｓ１０１５）、Ｓ１０１２に戻る。センサーに紐づくアンカー検索処理Ｓ４１０、および同一セッションに紐づくアンカー検索処理Ｓ４１４のいずれの場合も、アンカー提供部３１２が、アンカー取得部３０３に返却するアンカーは、Ｓ１００５、及び、Ｓ１０１５にてアンカー一覧に保持されたアンカーのみである。

なお、アンカーに設定するプロパティは表３に記載のプロパティに限らない。

本実施例によってアンカーにプロパティを用意し、それを選択的に利用することでユーザは好みのアンカーのみを表示できるようにする。

（他の実施例）
本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。

ここで、本発明は、上述した実施形態の機能を実現する１以上のソフトウェア（プログラム）を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の１以上のコンピュータ（ＣＰＵやＭＰＵ等）によりそのプログラムが１以上のメモリーに読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピューターにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路（例えば、ＡＳＩＣ）によっても、本発明は実現可能である。

１２１ 仮想オブジェクト管理システム
１３１ クライアント端末（ヘッドマウントディスプレイ）
１３２ クライアント端末（スマートフォン）

Claims (10)

1. 仮想オブジェクトを管理するシステムであって、
   仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理手段を有し、
   前記管理手段は、前記識別情報に、さらに、前記仮想オブジェクトが提供される際に、ほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータをさらに関連付けて管理する、ことを特徴とするシステム。
2. 前記パラメータは、現実世界に仮想オブジェクトを表示する際に、ほかの仮想オブジェクトより優先すべきかどうかを決定するための優先度の情報を含むことを特徴とする請求項１に記載のシステム。
3. 前記パラメータは、仮想オブジェクトに対して行われた評価を数値化した情報を含むことを特徴とする請求項１または２に記載のシステム。
4. 前記システムは、仮想オブジェクトを現実世界に投影することができる端末を含み、
   端末からの識別情報及び現実世界における特徴量の少なくとも１つを用いた要求に応じて、前記管理手段で当該識別情報及び当該特徴量の少なくとも１つで管理された仮想オブジェクトの情報を応答し、
   該端末により、前記パラメータと応答された情報とに基づき、該仮想オブジェクトが現実世界に投影されることを特徴とする請求項１乃至３の何れか１項に記載のシステム。
5. 前記端末は、ヘッドマウントディスプレイを含むことを特徴とする請求項４に記載のシステム。
6. 仮想オブジェクトを管理するシステムにおける方法であって、
   仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理工程を有し、
   前記管理工程では、前記識別情報に、さらに、前記仮想オブジェクトが提供される際に、ほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータをさらに関連付けて管理する、ことを特徴とする方法。
7. 仮想オブジェクトを現実世界に投影することができる端末であって、
   識別情報及び現実世界における特徴量の少なくとも１つを用いた要求を、仮想オブジェクトを管理するシステムに送信する送信手段と、
   前記システムから、前記要求に応じて、仮想オブジェクトの情報を受信する受信手段と、
   前記受信した情報に基づき、前記仮想オブジェクトを現実世界に投影する投影手段と、を有し、
   前記受信した仮想オブジェクトの投影は、当該仮想オブジェクトに関連付けて前記システムで管理されるほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータに基づき制御されることを特徴とする端末。
8. 前記要求は前記特徴量を含み、
   該特徴量は、前記端末が利用できる無線通信機能を用いた信号に含まれる識別子を含むことを特徴とする請求項７に記載の端末。
9. 仮想オブジェクトを現実世界に投影することができる端末における方法であって、
   識別情報及び現実世界における特徴量の少なくとも１つを用いた要求を、仮想オブジェクトを管理するシステムに送信する送信工程と、
   前記システムから、前記要求に応じて、仮想オブジェクトの情報を受信する受信工程と、
   前記受信した情報に基づき、前記仮想オブジェクトを現実世界に投影する投影工程と、を有し、
   前記受信した仮想オブジェクトの投影は、当該仮想オブジェクトに関連付けて前記システムで管理されるほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータに基づき制御されることを特徴とする方法。
10. コンピューターを、
    識別情報及び現実世界における特徴量の少なくとも１つを用いた要求を、仮想オブジェクトを管理するシステムに送信する送信手段と、
    前記システムから、前記要求に応じて、仮想オブジェクトの情報を受信する受信手段と、
    前記受信した情報に基づき、前記仮想オブジェクトを現実世界に投影する投影手段、
    として機能させるためのプログラムであって、
    前記受信した仮想オブジェクトの投影は、当該仮想オブジェクトに関連付けて前記システムで管理されるほかの仮想オブジェクトとの相対的な表示の制御を行うためのパラメータに基づき制御されることを特徴とするプログラム。

Images