JP2023129788A

JP2023129788A - システム、方法、及びプログラム

Info

Publication number: JP2023129788A
Application number: JP2022034047A
Authority: JP
Inventors: 弘孝船山; Hirotaka Funayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2023-09-20
Also published as: US20230319051A1; CN116720168A; EP4242800A1; KR20230131773A

Abstract

【課題】コンテンツ（仮想オブジェクト）を現実世界に紐づけるアンカーの作成者は、コンテンツの利用方法（コンテンツ閲覧、保存など）を適切に制御して公開したい。【解決手段】本システムでは、仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する際に、さらに、該識別情報に関連づく前記仮想オブジェクトの利用のための権限の設定を管理する、ことを特徴とする。【選択図】図４

Description

本発明は、ＡＲ（ＡｕｇｕｍｅｎｔｅｄＲｅａｌｉｔｙ、拡張現実）などの技術を想定した仮想オブジェクトの管理のための技術に関する。

ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、仮想現実）やＡＲ（ＡｕｇｕｍｅｎｔｅｄＲｅａｌｉｔｙ、拡張現実）といった現実と仮想の世界を融合して疑似体験を提供する空間を作り出す技術の総称として“ＸＲ”が注目され、各種標準化の取り組みが行われている。また、近年では１つの仮想オブジェクトを現実世界の同じ場所に複数端末で表示するための仕組みが各社の提供するプラットフォーム上にて実現されている。例えば、現実世界に配置されるべき仮想オブジェクトと、カメラなどで捉えた現実世界の特徴量とを紐づけて管理するシステムが存在する。その後、任意の端末のカメラで、該システムで管理済みの特徴量と一致する現実世界をとらえることで、該特徴量と紐づけて管理された仮想オブジェクトをその任意の端末で閲覧することが可能となる。

特許文献１は、ユーザの行動情報や物理環境情報を用いて、特定の仮想オブジェクトの表示を切り替えている。例えば、最初は単なる青い球体の地球儀の仮想オブジェクトが表示されているが、近づいたり見つめたりすると詳細な地形を表現したものに切り替わる、というようなものである。

特開２０１５－１１８５７８号公報

複数端末で表示できる仮想オブジェクトを現実世界に設置するユーザは、その用途によっては、仮想オブジェクトに対して公開範囲など、様々な権限を設定したいと考えるかもしれない
特許文献１に記載の手法は、ユーザ行動情報や物理環境情報を元に表示する仮想オブジェクトを切り替えているため、仮想オブジェクトを設置するユーザが意図したユーザにのみ公開する、などといった制御が難しい。

本発明は、仮想オブジェクトを現実世界の特徴に紐づけて公開する際に、その仮想オブジェクトに設定されるべき権限が反映される仕組みを提供することを目的とする。

本発明におけるシステムは、仮想オブジェクトを管理するシステムであって、仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理手段を有し、前記管理手段は、前記識別情報に、さらに、該識別情報に関連づく前記仮想オブジェクトの利用のための権限の設定を管理する、ことを特徴とする。

本発明によれば、仮想オブジェクトを現実世界の特徴に紐づけて公開する際に、例えば公開するユーザの意図を反映するような、その仮想オブジェクトに設定されるべき権限が反映される仕組みを提供できる。

実施例１における仮想オブジェクト管理システムの全体構成を示す。実施例１における仮想オブジェクト管理システムを構成するサーバーコンピューター、クライアント端末のハードウェア構成図である。実施例１における仮想オブジェクト管理システムのソフトウェア構成図である。実施例１における仮想オブジェクト管理システムにおいて複数端末で仮想オブジェクトを共有する処理の流れを表す。実施例１におけるアンカーを生成する処理の流れを表したフローチャートである。実施例１における仮想オブジェクト管理システムがアンカーを検索する処理の流れを表したフローチャートである。実施例１におけるクライアント端末が仮想オブジェクトを描画する処理の流れを表したフローチャートである。実施例２における仮想オブジェクト管理システムがアンカーを検索する処理の流れを表したフローチャートである。実施例２におけるクライアント端末が仮想オブジェクトを描画する処理の流れを表したフローチャートである。実施例１におけるクライアント端末の画面の一例である。実施例２におけるクライアント端末の画面の一例である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

（実施例１）
図１は、本発明の実施の形態に係る、仮想オブジェクト管理システムの全体構成を示す図である。

図１において、仮想オブジェクト管理システム１２１、クライアント端末１３１～１３３、ネットワーク１００～１０２を介して接続されている。ネットワーク１００～１０２は、例えば、インターネット等のＬＡＮ、ＷＡＮ、電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、ケーブルテレビ回線、データ放送用無線回線等により実現される、いわゆる通信ネットワークである。ネットワーク１００～１０２は、データの送受信が可能であればよい。本発明では、ネットワーク１００はインターネット、ネットワーク１０１、１０２はインターネットや一般家庭内や会社内のネットワーク、街中に設定されている無線ＬＡＮなどである。

クライアント端末１３１～１３３は、例えば、ＨＭＤ（ヘッドマウントディスプレイ）やスマートグラスなどのＸＲで扱う仮想オブジェクトの描画に対応した専用ハードウェアや、スマートフォンのようなプログラムの実行環境が内蔵された携帯電話などである。また、クライアント端末１３１～１３３は周囲を撮影するためのカメラと、仮想オブジェクトを表示するためのディスプレイを備える。クライアント端末１３１～１３３はカメラ等を通じて周囲を撮影し、ディスプレイ上に現実世界に重ねて仮想オブジェクトを投影することで、ユーザに対して現実と仮想の世界を融合した疑似体験を提供する。クライアント端末１３１～１３３がスマートフォンなどのように専用ハードウェアでない場合は、ＷｅｂブラウザやＯＳ等が提供するＡＰＩを利用して仮想オブジェクトの描画を行う。

仮想オブジェクト管理システム１２１は、現実世界に配置されるべき仮想オブジェクトと、カメラなどで捉えた現実世界の特徴量とを紐付けて管理するサービス、当該仮想オブジェクトを外部の端末に提供するためのサービスなどを提供するためのシステムである。仮想オブジェクト管理システム１２１はサーバーコンピューターを用いて構築される。クラウドコンピューティング技術などを採用して構築することができる。本実施例では、仮想オブジェクト管理システム１２１で管理する、仮想オブジェクトと、カメラなどで捉えた現実世界の特徴量とを紐づける関連付け情報のことを、以降ではアンカーと呼ぶ。関連付け情報としては、それらの情報以外にも、後述するように、アンカー自体を識別するための識別子やセッションＩＤや各種パラメータを含むプロパティ情報が含まれる。

仮想オブジェクト管理システム１２１は、クライアント端末１３１～１３３からのアンカー登録要求を受けつけ、登録されたアンカーを管理する。また、仮想オブジェクト管理システム１２１は、クライアント端末１３１～１３３からのアンカー取得要求を受けつけ、管理しているアンカーの中から条件に合致するアンカーを返却する。

また仮想オブジェクト管理システム１２１は、クライアント端末１３１～１３３を利用するユーザの管理も行う。即ち仮想オブジェクト管理システム１２１はクライアント端末１３１～１３３のログイン・ログアウト要求を受け、ログイン・ログアウト処理を行う。

以降、本発明で説明するサーバーの機能は、単体のサーバー又は単体の仮想サーバーによって実現しても構わないし、複数のサーバー又は複数の仮想サーバーによって実現しても構わない。あるいは複数の仮想サーバーが単体のサーバー上で実行されていても構わない。

図２は、本発明の実施形態に係る仮想オブジェクト管理システム１２１、クライアント端末１３１～１３３のハードウェア構成図である。

図２において、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＣＰＵ）２０２は装置全体の制御を行う。ＣＰＵ２０２はＨａｒｄＤｉｓｃＤｒｉｖｅ（ＨＤＤ）２０５に格納されているアプリケーションプログラム、ＯＳ等を実行し、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＲＡＭ）２０３にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＧＰＵ）２１０は仮想オブジェクトをリアルタイムに描画するために必要な演算処理を行う。ＲｅａｄＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ）２０４は記憶手段であり、内部には、基本Ｉ／Ｏプログラム等の各種データを記憶する。ＲＡＭ２０３は一時記憶手段であり、ＣＰＵ２０２，ＧＰＵ２１０の主メモリ、ワークエリア等として機能する。ＨＤＤ２０５は外部記憶手段の一つであり、大容量メモリとして機能し、Ｗｅｂブラウザ等のアプリケーションプログラム、サービスサーバー群のプログラム、ＯＳ、関連プログラム等を格納している。ディスプレイ２０６は表示手段であり、仮想オブジェクトや操作に必要な情報等を表示したりするものである。インターフェース２０８は外部装置Ｉ／Ｆであり、各種外付けセンサーのような周辺機器を接続する。

カメラ２０７はクライアント端末１３１～１３３における、周囲の映像を撮影するアウトカメラや、主に自分自身を撮影するインカメラなどである。カメラ２０７、特にアウトカメラによって撮影された映像をＨＤＤ２０５に格納されたアプリケーションプログラムで解析することで、現実世界と重ね合わせて仮想オブジェクトを配置できるようになり、また現実世界の特徴量を計算することが可能になる。また、クライアント端末１３１～１３３がＨＭＤのようなＸＲ向けの専用端末の場合は、カメラ２０７が認識したユーザの手指によって、ディスプレイ２０６上に表示された仮想オブジェクトを操作することもできるようになる。クライアント端末１３１～１３３がスマートフォンのようなＸＲ向けの専用端末でない場合は、ディスプレイのタッチパネルなどを操作することによってディスプレイ２０６上に表示された仮想オブジェクトを操作することが可能である。仮想オブジェクト管理システム１２１は必ずしもカメラ２０７を必要としない。

システムバス２０１は、装置内におけるデータの流れを司るものである。ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ（ＮＩＣ）２０９は、該インターフェース２０９、ネットワーク１００～１０２を介して外部装置とのデータのやり取りを行う。なお、上記コンピュータの構成はその一例であり、図２の構成例に限定されるものではない。例えば、データやプログラムの格納先は、その特徴に応じてＲＯＭ２０４、ＲＡＭ２０３、ＨＤＤ２０５などで変更することも可能である。加えて、ＣＰＵ２０２、ＧＰＵ２１０がＨＤＤ２０５に記憶されているプログラムに基づき処理を実行することによって、図３に示されるようなソフトウェア構成における処理が実現される。

続いて、図３、図１０を利用して、本実施例に係る仮想オブジェクト管理システムのソフトウェア構成を説明する。

図３は、本実施例に係る仮想オブジェクト管理システムの中で、本発明に関わる機能を抜粋したソフトウェア構成を説明したものである。

仮想オブジェクト管理システム１２１は、アンカー管理部３１１、アンカー受信部３１２、アンカー提供部３１３、ユーザ管理部３１４、ログイン処理部３１５から構成される。

ログイン処理部３１５はクライアント端末１３１～１３３からログインリクエストを受けつけ、ユーザ管理部３１４の情報と照合してログイン処理結果をクライアント端末１３１～１３３に返却する。表Ａにユーザ管理部で管理するデータの例を示す。

ユーザＩＤ列は、ユーザを一意に識別するＩＤである。パスワード列はユーザＩＤのログイン時に利用するベーシック認証のパスワードである。ログイン処理部３１５はクライアント端末１３１～１３３からのログインリクエストに含まれるユーザＩＤとパスワードの組み合わせを表Ａと照合して、一致していればログイン処理結果を成功としてクライアント端末１３１～１３３に返却する。所属グループ一覧列は、ユーザＩＤ列で一意に特定されるユーザが所属するグループ情報をカンマ区切りで記述したものである。例えばユーザＩＤ列がｕｓｅｒＷのユーザは、グループＴとグループＳの２つのグループに所属することを表す。また、ユーザＩＤ列がｕｓｅｒＹのユーザは、所属グループ一覧列が空なので、どのグループにも所属していないことを表す。

アンカー受信部３１２はクライアント端末１３１～１３３からのアンカー登録要求を受信すると、受信したアンカー情報をアンカー管理部３１１に保存する。また、アンカー提供部３１３はクライアント端末１３１～１３３からのアンカー取得要求を受信すると、条件に合致するアンカーをアンカー管理部３１１から検索して、クライアント端末１３１～１３３に返却する。

表Ｂにアンカー管理部３１１で管理されるデータの例を示す。

アンカー受信部３１２はクライアント端末１３１～１３３からのアンカー登録要求を受信すると、アンカー管理部３１１に対して対応するアンカーのレコードを保存する。

アンカーＩＤ列は、アンカー受信部３１２が表Ｂにレコードを保存する際に割り振られる、アンカーを識別するための一意のＩＤ（識別情報）である。セッションＩＤ列は、同一セッションであれば同じＩＤが付加される。１つのセッションＩＤに複数のアンカーを紐付けておくことで、同一のセッションＩＤのアンカーを複数同時にユーザに提示することができる。仮想オブジェクトデータ列は任意のフォーマットの３Ｄモデルのデータである。

本発明におけるアンカーで示す仮想オブジェクトを現実世界に紐づけて表示するための特徴量は、表２の（１）特徴量列、（２）位置情報列、（３）センサー情報列の３つの情報で管理される。

（１）特徴量列は、アンカーが配置された周囲をカメラ２０７で撮影したデータ（２次元画像、３次元画像、など）を解析することで得られる現実世界の３次元的な特徴量である。（２）位置情報列は現実世界での仮想オブジェクトの３次元的な位置を表す。（３）センサー情報列はアンカーが配置された場所情報（ＧＰＳの座標）、アンカーが紐付いたＢｅａｃｏｎやＷｉｆｉのＩＤなどである。

本発明では、アンカーで示す特徴量として、表２の（１）特徴量列、（２）位置情報列、（３）センサー情報列の３つの情報で管理しているが、少なくともこれらの中の１つ、もしくは複数の組み合わせと他の情報との組合せを用いて各アンカーの特徴量の管理を実現することも可能である。

アンカー提供部３１３は、クライアント端末１３１～１３３からのアンカー取得要求に対して、特定のアンカーＩＤに紐づく１つのアンカーを返却することができ、また同一のセッションＩＤまたは同一のセンサーＩＤに紐づく複数のアンカーを返却することもできる。Ｏｗｎｅｒ列はアンカーを作成したユーザのユーザＩＤであり、表ＡのユーザＩＤ列の値のいずれかが格納される。公開範囲列は、アンカーの公開範囲であり、例えばＰｕｂｌｉｃ（全員に公開）、条件付き公開（グループＳに所属しているユーザに公開）、Ｐｒｉｖａｔｅ（誰にも公開しない）などの３段階から、アンカーの生成ユーザが選択することを想定している。クライアント端末１３１～１３３からのアンカー取得要求にはログインユーザの情報（ユーザＩＤなど）が含まれる。アンカー提供部３１３は、前記アンカー取得要求に含まれるログインユーザが公開範囲に含まれるアンカーのみをクライアント端末１３１～１３３に返却する。保存許可範囲列は、仮想オブジェクトデータ列に格納されている３Ｄモデルのデータをローカルに保存することを許可するユーザの範囲である。仮想オブジェクトデータ列の３Ｄモデルをローカルに保存、即ち仮想オブジェクトデータ管理部３０１に保存することができると、ユーザは仮想オブジェクトデータ列の３Ｄモデルを別のアンカーに紐づけて他所に登録することができるようになる。保存許可範囲列は、公開範囲列と同様、例えばＰｕｂｌｉｃ（全員に許可）、条件付き許可（グループＳに所属しているユーザに許可）、Ｐｒｉｖａｔｅ（誰にも許可しない）などの３段階から、アンカーの生成ユーザが選択することを想定している。なお、本実施例ではクライアント端末１３１～１３３からのアンカー取得要求に含まれるログインユーザが公開範囲に含まれるか否かの比較をアンカー提供部３１３で行っているが、クライアント端末１３１～１３３のアンカー取得部３０３（後述）で行っても良い。

クライアント端末１３１～１３３は仮想オブジェクトデータ管理部３０１、アンカー生成部３０２、アンカー取得部３０３、アンカー描画部３０４、ログイン部３０５、ローカルアンカー管理部３０６から構成される。

ログイン部３０５は、カメラ２０７で撮影した手指や、ディスプレイ２０６のタッチパネルの操作、またはインターフェース２０８に接続されたキーボードなどによって入力されたユーザ名とパスワードをログイン処理部３１５に送信する。なお、仮想オブジェクト管理システム１２１に対する認証方法は、カメラ２０７で撮影した顔画像による顔認証、虹彩による虹彩認証や、インターフェース２０８に接続された指紋センサーを利用した指紋認証などでもよい。

仮想オブジェクトデータ管理部３０１は、各種フォーマットの３Ｄモデルのデータが格納されている。仮想オブジェクトデータ管理部３０１に保存されている３Ｄデータは、ユーザが現実世界に重ねて自由に配置することができる仮想オブジェクトである。

アンカー生成部３０２はユーザの操作によってアンカーを作成する処理を担う。ユーザは、アンカー生成部３０２を通じて仮想オブジェクトデータ管理部３０１に保存されている３Ｄモデルを選択し、カメラ２０７で撮影した手指や、ディスプレイ２０６のタッチパネル操作によって、現実世界に仮想オブジェクトを配置することができる。図１０（ａ）（ｂ）及び（ｃ）（ｄ）はそれぞれＨＭＤ型のクライアント端末１３１及び１３３のディスプレイ２０６に見える映像を表したものである。

ユーザは、図１０（ａ）のようにクライアント端末１３１の仮想オブジェクトデータ管理部３０１に保存されている円柱形仮想オブジェクト１００２を前述の方法で操作し、現実世界の机１００１の上に配置することができる。続いて、アンカー生成部３０２は、仮想オブジェクトが配置された周囲の映像を、カメラ２０７を介して撮影された映像を解析することで、特徴量を抽出し、仮想オブジェクトと紐付けて、ローカルアンカー管理部３０６に保存する。またアンカー生成部３０２はインターフェース２０８を介して接続されているＧＳＰセンサーを利用してアンカーの位置情報を特定し、アンカーと紐付ける。また、ユーザはアンカー生成部３０２を通じて、アンカーとセンサーを紐付ける。更にユーザはアンカー生成部３０２を通じて公開範囲、保存許可範囲を設定する。

図１０（ｂ）は、ユーザがクライアント端末１３１のディスプレイ２０６上に表示されたダイアログ１０２１を操作することで、アンカーに対して公開範囲１０２９と保存許可範囲１０２２を設定している様子を表す。図１０（ｂ）においてユーザは、公開範囲としてＰｕｂｌｉｃ１０２６（全員に公開）、保存許可範囲としてＰｕｂｌｉｃ１０２３（全員に許可）を選択している。アンカー生成部３０２は、上記のように作成され、ローカルアンカー管理部３０６に保存されたアンカーを、アンカー受信部３１２に対して送信する。

アンカー取得部３０３は、インターフェース２０８に接続されたセンサー情報をもとにアンカー提供部３１３に対してアンカー取得要求を行い、アンカー提供部３１３から取得したアンカーをローカルアンカー管理部３０６に保存する。アンカー取得部３０３は、例えばＧＰＳ信号をもとに現在地の近くにあるアンカーや、ＷｉｆｉやＢｅａｃｏｎの信号を検知したらそのＷｉｆｉやＢｅａｃｏｎに紐づくアンカーの取得要求をアンカー提供部３１３に対して行う。

アンカー描画部３０４は、ローカルアンカー管理部３０６に保存されている各アンカーに含まれる特徴量と、カメラ２０７で撮影されている現実世界の映像とを比較し、特徴が一致する部分にアンカーに含まれる仮想オブジェクトを配置する。

図１０（ｃ）は、図１０（ａ）のようにユーザがクライアント端末１３１にて机１００１上に配置した円柱形仮想オブジェクト１００２を、クライアント端末１３３上で同じ特徴量の机１０３１上に、円柱形仮想オブジェクト１０３２として投影した様子を表す。クライアント端末１３３を操作するユーザが円柱形仮想オブジェクト１０３２のアンカーの保存許可範囲に含まれる場合、ユーザが円柱形仮想オブジェクト１０３２を選択すると、アンカー描画部３０４は保存ダイアログ１０４３を描画する（図１０（ｄ））。ユーザが保存ダイアログを選択すると、アンカー描画部３０４は円柱形仮想オブジェクト１０４２を３Ｄモデルデータとしてクライアント端末１３３の仮想オブジェクトデータ管理部３０１に保存する。前述の通り、仮想オブジェクトデータ管理部３０１にて管理される３Ｄモデルデータは現実世界に自由に配置できる。一方、クライアント端末１３３を操作するユーザが円柱形仮想オブジェクト１０３２のアンカーの保存許可範囲に含まれない場合は、ユーザが円柱形仮想オブジェクト１０３２を選択してもアンカー描画部３０４は、保存ダイアログ１０４３を表示しない。

表Ｂの公開範囲、保存許可範囲は、ログインしていない場合やゲストユーザの場合は閲覧しかできないが、ログインすれば保存までできる、などログインの有無で切り替えるような設定であってもよい。また、ＳＮＳなどで特定のユーザや店をフォローしているユーザにのみ閲覧できる、などの設定であってもよい。

前述のように、仮想オブジェクトデータ管理部３０１に格納されている３Ｄモデルのデータはユーザが現実世界に重ねて自由に配置できるが、ローカルアンカー管理部３０６に保持されているアンカーに紐づく仮想オブジェクトは操作することができない。

続いて、クライアント端末１３１で生成したアンカーを別のクライアント端末１３３で表示するまでの一連の流れを図４、図５、図６、図７を利用して説明する。

図４は、クライアント端末１３１で生成したアンカーを仮想オブジェクト管理システム１２１に登録し、仮想オブジェクト管理システム１２１に保存されたアンカーをクライアント端末１３３が取得して表示するまでのシーケンスを表す。クライアント端末１３１を操作するユーザを表ＡにおけるｕｓｅｒＸ、クライアント端末１３３を操作するユーザを表ＡにおけるｕｓｅｒＹとする。また、ｕｓｅｒＸがクライアント端末を操作して登録するのは表ＢにおけるアンカーＩＤがａで表されるアンカーであるとする。

最初に図４におけるＳ４０１からＳ４０５で、ｕｓｅｒＸがクライアント端末１３１を操作してアンカーを登録するシーケンスを説明する。ｕｓｅｒＸは、クライアント端末１３１を操作し、ログイン部３０５を介してユーザＩＤとパスワードをログイン処理部３１５に送信する（Ｓ４０１）。ログイン処理部３１５をユーザ管理部３１４で管理されているユーザＩＤとパスワードがｕｓｅｒＸと合致していることを確認し、合致していればログイン成功としてログイン結果を返す（Ｓ４０２）。ｕｓｅｒＸはアンカー生成部３０２を介して仮想オブジェクトデータ管理部３０１に保存されている仮想オブジェクトを配置してアンカーを生成、ローカルアンカー管理部３０６に保存する（Ｓ４０３）。アンカー生成部３０２は生成されたアンカーのアンカー登録要求をアンカー受信部３１２に送信する（Ｓ４０４）。アンカー登録要求を受信したアンカー受信部３１２は、アンカー管理部３１１に受信したアンカーを登録したのち、登録結果をアンカー生成部３０２に返す。複数のアンカーを同一セッションＩＤとして登録したい場合はＳ４０３～Ｓ４０５を繰り返す（Ｓ４１１）。

図５を用いて、図４においてアンカー生成部３０２が行うアンカー生成処理Ｓ４０３の詳細なフローを説明する。アンカー生成部３０２は、ユーザの操作によって現実世界の空間上に仮想オブジェクトを配置し、その位置・向きを決定する（Ｓ５０２）。次にアンカー生成部３０２は、Ｓ５０３にてカメラ２０７を通じて周辺を撮影し、空間の３次元的な特徴量を取得する。アンカー生成部３０２は、Ｓ５０４にて特徴量が十分に集まったと判断できない場合は再度、Ｓ５０３の特徴量の取得を行う。アンカー生成部３０２は、Ｓ５０４にて特徴量が十分に集まったと判断した場合は、ユーザに対して図１０（ｂ）のようなダイアログを、ディスプレイ２０６を通じて表示することで、公開範囲と保存許可範囲を設定してもらう（Ｓ５０５、Ｓ５０６）。例えば、図１０（ｂ）のように公開範囲としてＰｕｂｌｉｃ（全員の公開）、保存許可範囲としてＰｕｂｌｉｃ（全員に許可）を設定する。さらに、アンカー生成部３０２は、Ｓ５０７にてアンカーに対して有効期限やその他必要なプロパティを設定してもらい、Ｓ５０８にてアンカーに対してセンサー情報を設定しない場合は処理を終了する。Ｓ５０８にてアンカーに対してセンサー情報を設定する場合、アンカー生成部３０２は、センサーの種類に応じた設定をユーザにしてもらい（Ｓ５０９）、処理を終了する。例えば、アンカー生成部３０２は、Ｓ５０９にてユーザの操作に従ってアンカーの情報にｉｄ＝１２３のＢｅａｃｏｎに紐付ける。

以上が、ｕｓｅｒＸがクライアント端末１３１を操作してアンカーを仮想オブジェクト管理システム１２１に登録するシーケンスである。

続いて、図４におけるＳ４２１からＳ４４２で、ｕｓｅｒＹがクライアント端末１３３を操作してアンカーを取得、描画するシーケンスについて説明する。

ｕｓｅｒＹは、クライアント端末１３３を操作し、ログイン部３０５を介してユーザＩＤとパスワードをログイン処理部３１５に送信する（Ｓ４２１）。ログイン処理部３１５をユーザ管理部３１４で管理されているユーザＩＤとパスワードがｕｓｅｒＹと合致していることを確認し、合致していればログイン成功としてログイン結果を返す（Ｓ４２２）。

アンカー取得部３０３は、Ｓ４２３にてセンサー情報を取得する。センサー情報を取得できない場合、アンカー取得部３０３はＳ４２３を繰り返す（Ｓ４４１）。センサー情報の取得は、クライアント端末１３３にインターフェース２０８を介して接続されているＢｌｕｅｔｏｏｔｈ信号を検知するセンサーを介して、アンカー取得部３０３が行う。

例えばｉｄ＝１２３のＢｅａｃｏｎ端末からの信号を検知した場合、アンカー取得部３０３は、ｉｄ＝１２３のＢｅａｃｏｎ端末に紐づくアンカーの検索リクエストを、ログインユーザであるｕｓｅｒＹとともにアンカー提供部３１３に対して送信する（Ｓ４２４）。アンカー提供部３１３はｉｄ＝１２３のＢｅａｃｏｎ端末に紐づくアンカーをアンカー管理部３１１から検索し、公開範囲にｕｓｅｒＹが含まれるもののみＳ４２５でフィルタして、アンカー取得部３０３に返却する（Ｓ４２６）。ｉｄ＝１２３のＢｅａｃｏｎに紐づくアンカーはアンカーＩＤ＝ａ，ｂの２つ存在する。このうち、アンカーＩＤ＝ｂについては公開範囲がＧｒｏｕｐ：Ｓに所属しているユーザであるが、ｕｓｅｒＹは表ＡよりＧｒｏｕｐ：Ｓに所属していないので、取得できない。一方、アンカーＩＤ＝ａについては、公開範囲がＰｕｂｌｉｃ（全員に公開）なので取得できる。

次に、アンカー取得部３０３はアンカー提供部３１３が返却したアンカーをローカルアンカー管理部３０６に保存し（Ｓ４２７）、さらにそれぞれのアンカーに対して同一セッションのアンカーの検索リクエストをアンカー提供部３１３に対して行う（Ｓ４２８）。すなわち、アンカー取得部３０３は、アンカーＩＤ＝ａのセッションＩＤである１１１と同じアンカーの検索リクエストをアンカー提供部３１３に対して行う（Ｓ４２８）。アンカー提供部３１３は、セッションＩＤ＝１１１のアンカーをアンカー管理部３１１から検索し（Ｓ４２９）、公開範囲にｕｓｅｒＹが含まれているもののみをフィルタしてアンカー取得部３０３に返却する（Ｓ４３０）。即ち、セッションＩＤ-＝１１１のアンカーはアンカーＩＤ＝ｄであり、公開範囲もＰｕｂｌｉｃ（全員に公開）であるので、アンカー提供部３１３は、これをアンカー取得部３０３に返却する（Ｓ４３０）。

次に、アンカー取得部３０３はアンカー提供部３１３が返却したアンカーをローカルアンカー管理部３０６に保存する（Ｓ４３１）。最後にアンカー描画部３０４はローカルアンカー管理部３０６に保存されているアンカーの数だけアンカー描画処理Ｓ４３２を繰り返す（Ｓ４４２）。

ここで、アンカー提供部３１３が行う、センサーに紐づくアンカー検索処理Ｓ４２５、同一セッションに紐づくアンカー検索処理Ｓ４２９の詳細なフローを図６のフローチャートを用いて説明する。

図６（ａ）はアンカー提供部３１３が行う、センサーに紐づくアンカー検索処理Ｓ４２５のフローチャートである。

アンカー提供部３１３は、アンカー取得部３０３からのアンカー取得リクエストに含まれるセンサーに合致するアンカーが、まだアンカー管理部３１１で管理する表Ａに存在するかどうかを確認する（Ｓ６０２）。Ｓ６０２にて、アンカーが存在しない場合、アンカー提供部３１３は処理を終了する。Ｓ６０２にてアンカーが存在する場合、アンカー提供部３１３は、アンカー管理部３１１からリクエストの応答として、対応するアンカーを取得し（Ｓ６０３）、図６（ｃ）で後述の閲覧権限チェック処理（Ｓ６０４）を行い、Ｓ６０２に戻る。

図６（ｂ）はアンカー提供部３１３が行う、同一セッションに紐づくアンカー検索処理Ｓ４２９のフローチャートである。

アンカー提供部３１３は、アンカー取得部３０３からのアンカー取得リクエストに含まれるセッションＩＤに合致するアンカーが、まだアンカー管理部３１１で管理する表Ａに存在するかどうかを確認する（Ｓ６１２）。Ｓ６１２にて、アンカーが存在しない場合、アンカー提供部３１３は処理を終了する。Ｓ６１２にてアンカーが存在する場合、アンカー提供部３１３は、アンカー管理部３１１からアンカーを取得し（Ｓ６１３）、図６（ｃ）で後述の閲覧権限チェック処理（Ｓ６１４）を行い、Ｓ６１２に戻る。

図６（ｃ）は、図６（ａ）（ｂ）のフローチャート内で共通で行う閲覧権限チェック処理Ｓ６０４、Ｓ６１４のフローチャートである。

アンカー提供部３１３は、アンカー取得要求を行ったユーザは見つかったアンカーの公開範囲に含まれるかを確認し（Ｓ６２２）、含まれている場合はアンカー一覧に取得したアンカーを保持する（Ｓ６２３）。Ｓ６２２にて、含まれない場合、アンカー提供部３１３は閲覧権限チェック処理Ｓ６０４、Ｓ６１４を終了する。センサーに紐づくアンカー検索処理Ｓ４２５、および同一セッションに紐づくアンカー検索処理Ｓ４２９のいずれの場合も、アンカー提供部３１３が、アンカー取得部３０３に返却するアンカーは、Ｓ６２３にてアンカー一覧に保持されたアンカーのみである。

図７はアンカー描画部３０４が行う、アンカー描画処理Ｓ４３２のフローチャートである。

アンカー描画部３０４は、カメラ２０７を通じて撮影される映像から、現実空間の領域の特徴量を取得し（Ｓ７０２）、アンカーの特徴量と合致するかどうかを確認する（Ｓ７０３）。Ｓ７０３にて合致しない場合、アンカー描画部３０４はアンカー描画処理Ｓ４３２を終了する。

Ｓ７０３にて合致した場合、アンカー描画部３０４はアンカーの保存許可範囲が、ログインユーザを含むかどうかを確認する。Ｓ７０４にてアンカーの保存許可範囲が、ログインユーザを含む場合は保存ダイアログを紐付けて（Ｓ７０５）、含まない場合は保存ダイアログを紐付けず（Ｓ７０７）、それぞれ仮想オブジェクトをディスプレイ２０６上に描画する。

アンカー描画部３０４がＳ７０５にて保存ダイアログ紐付けて描画した場合、ユーザがディスプレイ２０６上に表示される仮想オブジェクトを選択すると図１０（ｄ）のように仮想オブジェクトの保存ダイアログ１０４３が出現する。一方、アンカー描画部３０４がＳ７０７にて保存ダイアログを紐付けずに描画すると、ユーザがディスプレイ２０６上に表示される仮想オブジェクトを選択しても、仮想オブジェクトの保存ダイアログ１０４３は出現しない。

なお、仮想オブジェクトに対するＸＲならではのユーザの利用方法として、現実世界と紐付けられた仮想オブジェクトをコピーし、それを別の場所（別のアンカー）に再度設置するような利用が想定される。この利用を想定した場合、仮想オブジェクトを設置するユーザは、公開範囲と同様に、複製として保存できるユーザを制限するために保存許可範囲を設定したいと考えられる。

本発明によれば、仮想オブジェクトについて閲覧のための公開範囲以外に、保存の許可範囲もアンカーに紐づけて管理しているため、このような運用例にも対応可能である。

以上のような方法により、アンカーの登録ユーザは、意図したユーザにのみ仮想オブジェクトを公開し、意図したユーザのみが仮想オブジェクトを保存できるような制御を実現できる。

（実施例２）
実施例１において、公開範囲や保存許可範囲に条件（グループに入ったユーザやフォローしてくれたユーザのみ表示、保存可能など）が設定されているアンカーが表示、保存できなかった場合は条件をユーザに提示することで表示、保存を促す制御をしたいケースが考えられる。例えば、店をフォローしてくれたユーザに対してのみ割引クーポンを表示させたり、あるジャンルの製品を扱うグループのユーザにのみそのジャンルの新商品を保存させたりすることで、店の経営者などが顧客とのつながりを持ちたい場合、などである。

実施例１に記載の方法では、公開範囲、保存許可範囲の設定はできるが、表示、保存できるようにユーザを誘導することによって、表示、保存できるユーザを拡大することができないため、前記のような使い方をしたい店の経営者などにとって不便である。

本実施例は、公開範囲や保存許可範囲に条件が設定されているアンカーについて、ユーザが条件に合致しなかったために表示できない場合はユーザに通知を行い、保存できない場合には保存ダイアログの代わりに登録ダイアログをディスプレイ２０６に表示する（後述）。

本実施例は、実施例１と重複する部分が多いため、実施例１との差分のみ説明する。

本実施例においてアンカー管理部３１１で管理されるデータを表Ｃに示す。

表Ｃの追加メッセージ列、ＵＲＬ列以外は、表Ｂの対応する列の定義と同じである。なお、表ＣにおいてセッションＩＤ列、仮想オブジェクトデータ列、特徴量列、位置情報列、センサー情報列、Ｏｗｎｅｒ列については省略している。通知メッセージ列はアンカーが表示されなかった場合にユーザに通知する文字列を格納し、ＵＲＬ列はアンカーを表示、保存するために必要な手続きを行うＵＲＬが格納される。

図１１は本実施例において、クライアント端末１３１～１３３のディスプレイ２０６に見える映像を表したものである。

図１１（ａ）のように、アンカーＢを表示しようとしたユーザがＧｒｏｕｐ：Ｓに所属していないために表示できない場合、机１１０１上に配置されている立方体仮想オブジェクト１１０２はディスプレイ２０６には投影されず、ユーザには見えない。

ただし、本実施例では、図１１（ａ）の円柱形仮想オブジェクト１１０２のように、表示されていないが特定の条件を満たすことで表示できる場合、アンカー描画部３０４は、通知領域１１０３を生成し通知メッセージ列の文字列（１１０４）をユーザに通知する。ユーザが通知領域１１０３を選択すると、ＵＲＬ列に格納されているＵＲＬに遷移する。なお、通知領域１１０３は円柱形仮想オブジェクト１１０２が配置される場所付近に生成してもよいし、クライント端末１３１～１３３標準の領域に生成してもよい。

なお、通知方法は図１１（ａ）のようにクライアント端末１３１～１３３のディスプレイ２０６上に投影してもよいし、音声など別の手段でユーザに通知してもよい。また、通知メッセージ列が空の場合はアンカーを表示できなくても特にユーザに通知は行わない。例えば、アンカーＣはアンカーＢと同様にＧｒｏｕｐ：Ｓに所属していないと表示できないが、通知メッセージ列が空のため、アンカーＣを表示しようとしたユーザがＧｒｏｕｐ：Ｓに所属していなかったとしてもアンカー描画部３０４は通知領域１１０３を生成しない。

また、アンカーＤを保存しようとしたユーザがＧｒｏｕｐ：Ｔに所属していないために保存できない場合、アンカー描画部３０４はアンカーＤの仮想オブジェクトを描画する際に、登録ダイアログ（１１１３）有りで描画を行う。即ち、Ｇｒｏｕｐ：Ｔに所属していないユーザがアンカーＤの仮想オブジェクトをユーザが選択すると、図１１（ｂ）のように登録ダイアログ１１１３が生成される。図１１の（ｂ）においてユーザが登録ダイアログ１１１３を選択するとＵＲＬ列に格納されているＵＲＬに遷移する。

図８は本実施例における、閲覧権限チェック処理のフローを表すフローチャート、即ち実施例１における図６（ｃ）の処理に対応するフローチャートである。

アンカー提供部３１３は、アンカー取得要求を行ったユーザは見つかったアンカーの公開範囲に含まれるかを確認し（Ｓ８０２）、含まれる場合は仮想オブジェクト＋メタデータをアンカー一覧に保持する（Ｓ８０３）（実施例１と同じ）。Ｓ８０２にて含まれない場合は、メタデータのみをアンカー一覧に保持する（Ｓ８０５）。ここでのメタデータとは、表Ｃにおける仮想オブジェクトデータ列以外の情報全てである。即ち実施例１との違いは、アンカー提供部３１３が、公開範囲に含まれないアンカーについてもメタデータのみをアンカー取得部３０３に返却する点である。

図９は本実施例においてアンカー描画部３０４が行う、アンカー描画処理Ｓ４３２のフローチャートである。

アンカー描画部３０４は、カメラ２０７を通じて撮影される映像から、現実空間の領域の特徴量を取得し（Ｓ９０２）、アンカーの特徴量と合致するかどうかを確認する（Ｓ９０３）。Ｓ９０３にて合致しない場合、アンカー描画部３０４はアンカー描画処理Ｓ４３２を終了する。Ｓ９０３にて合致した場合、アンカー描画部３０４はアンカーに仮想オブジェクトの情報が含まれるかどうかを確認する（Ｓ９０４）。

Ｓ９０４にて仮想オブジェクトが含まれない場合、閲覧権限がないので、アンカー描画部３０４は閲覧権限がないことをユーザに通知する必要があるか確認する（Ｓ９１０）。即ち、アンカー描画部３０４は、Ｓ９１０にてアンカーに対して表Ｃの通知メッセージ列に値が設定されているかどうかを確認し、設定されている場合は前述の図１１（ａ）のような通知領域１１０３をＳ９０５にて生成し処理を終了する。

Ｓ９１０にてアンカーに対して表Ｃの通知メッセージ列に値が設定されていない場合、アンカー描画部３０４はそのまま処理を終了する。Ｓ９０４にて仮想オブジェクトが含まれる場合は、閲覧権限があるので、アンカー描画部３０４はアンカーの保存許可範囲が、ログインユーザを含むかどうかを確認する（Ｓ９０６）。Ｓ９０６にてアンカーの保存許可範囲が、ログインユーザを含む場合は保存ダイアログを紐付けて、仮想オブジェクトをディスプレイ２０６上に描画する（Ｓ９０７）。

Ｓ９０６にてアンカーの保存許可範囲がログインユーザを含まない場合、アンカー描画部３０４はＳ９１１にて保存権限がないことをユーザに通知する必要があるか確認する。即ち、アンカー描画部３０４は、Ｓ９１１にてアンカーに対して表ＣのＵＲＬ列に値が設定されているかどうかを確認し、設定されている場合は図１１（ｂ）のような登録ダイアログ１１１３を紐付けて、仮想オブジェクトをディスプレイ２０６上に描画する（Ｓ９０８）。

Ｓ９１１にてアンカーに対して表ＣのＵＲＬ列に値が設定されていない場合、アンカー描画部３０４は保存ダイアログと登録ダイアログのいずれも紐付けずに仮想オブジェクトをディスプレイ２０６上に描画する（Ｓ９１２）。アンカー描画部３０４がＳ９０７にて保存ダイアログ紐付けて描画した場合、ユーザがディスプレイ２０６上に表示される仮想オブジェクトを選択すると図１０（ｄ）のように仮想オブジェクトの保存ダイアログ１０４３が出現する。また、アンカー描画部３０４がＳ９０８にて登録ダイアログを紐付けて描画した場合、ユーザがディスプレイ２０６上に表示される仮想オブジェクトを選択すると、図１１（ｂ）のような登録ダイアログ１１１３が出現する。また、アンカー描画部３０４がＳ９１２にて保存ダイアログ、登録ダイアログのいずれも紐付けずに描画すると、ユーザがディスプレイ２０６上に表示される仮想オブジェクトを選択しても、ダイアログは出現しない。

なお、本実施例ではユーザへの通知タイミングはＳ９０３のアンカー特徴量と現実世界の特徴量が一致したタイミングとした。しかし、特徴量が一致せずとも、円柱形仮想オブジェクト１１０２が配置される方向をユーザが見たタイミングや、配置される場所に近づいたタイミングなどであってもよい。

本実施例では表Ｃの公開範囲列、保存許可範囲列に設定される条件としては、実施例１の表Ａの所属グループ一覧列のグループに所属しているか否かを想定した。しかし、例えば既存ＳＮＳと連携することによって、既存ＳＮＳへの登録有無、特定グループへの参加有無、特定のユーザのフォローの有無などを設定する構成もあり得る。その場合、表ＣのＵＲＬ列には既存ＳＮＳの登録ページやＩＤ連携ページ、特定グループへの参加ページ、特定ユーザのページのＵＲＬなどが入る。なお、既存ＳＮＳとの連携方法については省略する。

本実施例によって表示、保存ができるようにユーザを誘導することによって、公開範囲、保存許可範囲を設定することでユーザを絞りながらも、徐々に多くのユーザに表示、保存してもらえるように制御することができる。

（他の実施例）
本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。

ここで、本発明は、上述した実施形態の機能を実現する１以上のソフトウェア（プログラム）を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の１以上のコンピュータ（ＣＰＵやＭＰＵ等）によりそのプログラムが１以上のメモリーに読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピュータにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路（例えば、ＡＳＩＣ）によっても、本発明は実現可能である。

１２１仮想オブジェクト管理システム
１３１クライアント端末（ヘッドマウントディスプレイ）
１３２クライアント端末（スマートフォン）

Claims

仮想オブジェクトを管理するシステムであって、
仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理手段を有し、
前記管理手段は、前記識別情報に、さらに、該識別情報に関連づく前記仮想オブジェクトの利用のための権限の設定を管理する、ことを特徴とするシステム。
前記仮想オブジェクトの利用のための権限の設定は、前記仮想オブジェクトを公開するユーザの範囲を決定するための設定を含むことを特徴とする請求項１に記載のシステム。
前記仮想オブジェクトを公開するユーザの範囲は、グループ情報を用いて決定することができることを特徴とする請求項２に記載のシステム。
前記仮想オブジェクトの利用のための権限の設定は、前記仮想オブジェクトの複製を保存できるユーザの範囲を決定するための設定を含むことを特徴とする請求項１乃至３の何れか１項に記載のシステム。
前記仮想オブジェクトの複製を保存できるユーザの範囲は、グループ情報を用いて決定することができることを特徴とする請求項４に記載のシステム。
前記システムは、前記識別情報に関連づく前記仮想オブジェクトの利用のための権限の設定を行うための端末を含むことを特徴とする請求項１乃至５の何れか１項に記載のシステム。
前記システムは、仮想オブジェクトを現実世界に投影することができる端末を含み、
端末からの識別情報及び現実世界における特徴量の少なくとも１つを用いた要求に応じて、前記管理手段で当該識別情報及び当該特徴量の少なくとも１つで管理された仮想オブジェクトを応答し、
該端末では、応答された該仮想オブジェクトが現実世界に投影されることを特徴とする請求項１乃至６の何れか１項に記載のシステム。
前記端末は、ヘッドマウントディスプレイを含むことを特徴とする請求項７に記載のシステム。
仮想オブジェクトを管理するシステムにおける方法であって、
仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理工程を有し、
前記管理工程では、前記識別情報に、さらに、該識別情報に関連づく前記仮想オブジェクトの利用のための権限の設定が管理される、ことを特徴とする方法。
仮想オブジェクトを管理するために、
仮想オブジェクトを現実世界に紐づけて表示するための現実世界における特徴量を識別情報に関連付けて管理する管理工程をコンピュータに実行させるプログラムであって、
前記管理工程では、前記識別情報に、さらに、該識別情報に関連づく前記仮想オブジェクトの利用のための権限の設定が管理される、ことを特徴とするプログラム。