JP2022535793A - 光通信装置に基づく相互作用方法及び電子デバイス - Google Patents

Abstract

本発明は、光通信装置に基づく相互作用方法及び電子デバイスを提供し、前記方法は、サーバーが第１デバイスからの、前記第１デバイスの位置に関する情報を受信し、前記サーバーが前記第１デバイスの位置に関する情報から前記第１デバイスの位置情報を取得し、前記サーバーが前記第１デバイスに関連する、空間位置情報を有する仮想対象を設置し、前記仮想対象の空間位置情報が前記第１デバイスの位置情報に基づいて特定され、前記サーバーが前記仮想対象に関する情報を第２デバイスに送信し、該情報には、前記仮想対象の空間位置情報が含まれ、前記仮想対象に関する情報が前記第２デバイスにより使用されて、光通信装置が特定された位置情報及び姿勢情報に基づいてその表示媒介に前記仮想対象を呈させることができる。【選択図】図６

Description

本発明は、情報相互作用の技術分野に属し、特に、光通信装置に基づく相互作用方法及び電子デバイスに関する。

本明細書の記載は、本発明に関する背景情報を提供して本発明を理解するように支援するためのもののみであり、これらの背景情報は、必ず既存技術を構成するのではない。

インターネットが広く普及されることに伴って、各業界は、いずれもインターネットプラットフォームを利用して新しいサービス提供方式を発展するように試み、「インターネット＋」が研究の焦点となっている。広く応用されるサービス方式は、位置に基づくサービスであり、幾つかの応用シーンにおいて、ユーザ又はサービス提供者のうちの一方は、必ず相手の精確的な位置を分かって便利なサービス相互作用を行う。しかしながら、既存技術では、この問題を良好に解決することができない。

即時配送サービスを例とし、ユーザは、戸外のある位置にネットワークを介してあるレストランから料理を注文した後に、料理配達員が料理を該位置に配送することを待つことができる。しかしながら、ユーザが提供される位置は、通常、精確ではない位置（例えば、ある交差点、ある街路、ある公園など）であり、精確的な位置であっても、付近の人員が多いので、料理配達員は、周囲のどの人が料理を注文するユーザであるかを特定し難く、それによりユーザと繰り返して電話通信しなければならない。

位置に基づくサービスの別の例示は、レストランで食事するということである。ユーザが料理を注文した後に、相応するテーブル番号及び料理注文情報は、レストランに記憶される。料理が準備された後に、配送を担当する店員は、料理を相応するテーブル番号のテーブルに送る。そのために、店員は、それぞれのテーブル番号の位置を覚えておき、正確的に、快速的にテーブルへ料理を配送する。しかし、このような店員の記憶力のみにより、多くの場合では間違いを発生しやすく（特に、レストランの規模が比較的大きい場合には）、料理の誤配送を引き起こし、或いは店員が料理を配達する時にユーザに対して確認する必要がある。

上記問題を解決するために、本出願は、光通信装置に基づく相互作用方法及び電子デバイスを提供する。

本発明の一態様は、光通信装置に基づく相互作用方法に関し、サーバーが第１デバイスからの、前記第１デバイスの位置に関する情報を受信し、前記サーバーが前記第１デバイスの位置に関する情報から前記第１デバイスの位置情報を取得し、前記サーバーが前記第１デバイスに関連する、空間位置情報を有する仮想対象を設置し、前記仮想対象の空間位置情報が前記第１デバイスの位置情報に基づいて特定され、前記サーバーが前記仮想対象に関する情報を第２デバイスに送信し、該情報には前記仮想対象の空間位置情報が含まれ、前記仮想対象に関する情報が前記第２デバイスにより使用されて光通信装置が特定された位置情報及び姿勢情報に基づいてその表示媒介に前記仮想対象を呈させることを含む。

好ましくは、前記第１デバイスの位置に関する情報から前記第１デバイスの位置情報を取得することは、前記第１デバイスの位置に関する情報から前記第１デバイスの位置情報を抽出し、前記第１デバイスの位置に関する情報を分析することにより前記第１デバイスの位置情報を取得し、或いは、前記第１デバイスの位置に関する情報を使用して問い合わせることにより前記第１デバイスの位置情報を取得することの少なくとも１つを含む。

好ましくは、前記第１デバイスの位置に関する情報には、前記第１デバイスの光通信装置に対する位置情報が含まれ、前記第１デバイスは、画像採集部材を使用して前記光通信装置を含む画像を採集して該画像を分析することにより前記光通信装置に対する位置情報を特定する。

好ましくは、前記第２デバイスは、画像採集部材を使用して光通信装置を含む画像を採集して該画像を分析することによりその位置情報及び／又は姿勢情報を特定する。

好ましくは、前記方法は、前記サーバーが仮想対象に関する情報を第２デバイスに送信する前に、前記サーバーは、前記第２デバイスの表示媒介に呈される必要がある１つ又は複数の第１デバイスに関連する１つ又は複数の仮想対象を特定することを含む。

好ましくは、前記方法は、前記サーバーが第１デバイスからの前記第１デバイスの位置に関する新しい情報を受信し、前記サーバーが前記第１デバイスの位置に関する前記新しい情報に基づいて前記第１デバイスの位置情報を更新し、前記サーバーが更新した前記第１デバイスの位置情報に基づいて前記仮想対象の空間位置情報を更新し、及び前記サーバーが更新した前記仮想対象の空間位置情報を前記第２デバイスに送信し、それにより、前記第２デバイスがその位置情報、姿勢情報及び更新した前記仮想対象の前記空間位置情報に基づいてその表示媒介に前記仮想対象を呈し又は更新することをさらに含む。

好ましくは、前記方法は、前記サーバーが前記第２デバイスからの前記第２デバイスの位置に関する情報を受信し、かつ前記第２デバイスの位置情報を特定し、前記サーバーが前記第２デバイスに関連する、空間位置情報を有する別の仮想対象を設置し、該別の仮想対象の空間位置情報が前記第２デバイスの位置情報に基づいて特定され、及び、前記サーバーが該別の仮想対象に関する情報を前記第１デバイスに送信し、該情報には、該別の仮想対象の空間位置情報が含まれ、該別の仮想対象に関する情報が前記第１デバイスにより使用されて、その位置情報及び姿勢情報に基づいてその表示媒介に該別の仮想対象を呈することをさらに含む。

好ましくは、前記サーバーが前記仮想対象に関する情報を前記第２デバイスに送信する前に、前記サーバーが前記第１デバイスからの情報又はその一部を前記第２デバイスに提供し、及び、前記サーバーが前記第２デバイスの前記第１デバイスからの情報又はその一部に対応する応答を受信することをさらに含む。

好ましくは、前記方法は、前記サーバーが前記第１デバイスの属性情報を取得し、及び、前記サーバーが前記第１デバイスの属性情報に基づいて前記第１デバイスに関連する前記仮想対象を設置することをさらに含み、前記第１デバイスの属性情報には、前記第１デバイスに関する情報、前記第１デバイスのユーザに関する情報、及び／又は前記第１デバイスのユーザがカスタマイズされる情報が含まれる。

好ましくは、前記第１デバイスの位置情報は、光通信装置に対する位置情報、場所座標系での位置情報、或いは世界座標系での位置情報であり、及び／又は、前記第２デバイスの位置情報及び姿勢情報は、光通信装置に対する位置情報及び姿勢情報、場所座標系での位置情報及び姿勢情報、又は世界座標系での位置情報及び姿勢情報である。

好ましくは、前記第１デバイスの位置情報に関連する光通信装置及び前記第２デバイスの位置情報に関連する光通信装置は、同じ光通信装置又は異なる光通信装置であり、前記異なる光通信装置は、特定の相対位置・姿勢関係を有する。

好ましくは、前記仮想対象の姿勢は、前記第２デバイスの前記仮想対象に対する位置及び／又は姿勢の変化に基づいて調整されることができる。

本発明の別の態様は、コンピュータープログラム製品に関し、プロセッサにより実行される時に、上記方法を実現できる。

本発明の別の態様は、記憶媒体に関し、コンピュータープログラムが記憶されており、前記コンピュータープログラムがプロセッサにより実行されると、上記方法を実現できる。

本発明の別の態様は、電子デバイスに関し、プロセッサとメモリを含み、前記メモリにはコンピュータープログラムが記憶され、前記コンピュータープログラムがプロセッサにより実行される時に、上記方法を実現できる。

以下、図面を参照しながら本発明の実施例をさらに説明する。
図１は、例示的な光ラベルを示す。 図２は、例示的な光ラベルネットワークを示す。 図３は、レストランのドアの上方に布置される光ラベルを示す。 図４は、店員がユーザに対してコーヒーを配送する模式図を示す。 図５は、店員デバイスの表示媒介に仮想対象を重ねた模式図である。 図６は、一実施例に係る光ラベルに基づく相互作用方法を示す。 図７は、一実施例に係る光ラベルに基づく相互作用方法を示す。 図８は、一実施例に係る光ラベルに基づく相互作用方法を示す。 図９は、２つの光ラベルを含む相互作用システムを示す。 図１０は、応用シーンを示し、それが異なる個人ユーザ間に位置に基づくサービス方案を実現できる。 図１１は、第２デバイスの表示媒介に仮想対象を重ねる模式図である。 図１２は、一実施例に係る光ラベルの相互作用方法を示す。

以下、本発明の目的、技術案及びメリットをより明瞭にするために、図面を組み合わせて本発明をさらに詳しく説明する。ここで説明する具体的な実施例は、本発明を解釈するためのもののみであり、本発明を限定しないと理解すべきである。

光通信装置は、光ラベルとも称され、この２つの用語は、本文において交換して使用されることができる。光ラベルは、異なる光を発することにより情報を伝達でき、識別距離が遠く、可視光の条件に対する要求が緩いメリットを有し、かつ光ラベルが伝達される情報は、時間とともに変化することができ、それより、大きな情報容量及び柔軟な配置能力を提供することができる。

光ラベルには、通常、制御器と少なくとも１つの光源を含むことができ、該制御器は、異なる駆動モードで光源を駆動して、外へ異なる情報を伝達することができる。図１は、例示的な光ラベル１００を示し、３つの光源（それぞれ、第１光源１０１、第２光源１０２、第３光源１０３）を含む。光ラベル１００は、制御器（図１には、図示さない）をさらに含み、伝達される情報に基づいてそれぞれの光源に対して相応の駆動モードを選択することに用いられる。例えば、異なる駆動モードで、制御器は、異なる駆動信号を使用して光源の発光方式を制御することにより、イメージング機能を有するデバイスを使用して光ラベル１００を撮像する時に、そのうちの光源の画像が異なる外観（例えば、異なる色、パターン、輝度など）を呈することができる。光ラベル１００における光源のイメージングを分析することにより、この時に各光源の駆動モードを解析することができ、それによりこの時の光ラベル１００が伝達される情報を解析することができる。

光ラベルに基づいてユーザに対して相応のサービスを提供するために、それぞれの光ラベルは、１つの標識情報（ＩＤ）が割り当てられることができ、該標識情報が光ラベルの製造者、管理者又は使用者などにより光ラベルを唯一的に識別し、或いは標識することに用いられる。通常、光ラベルにおける制御器により光源を駆動することにより外へ該標識情報を伝達でき、ユーザは、デバイスを使用して光ラベルを画像採集して該光ラベルが伝達される標識情報を取得でき、それにより、該標識情報に基づいて相応するサービスにアクセスし、例えば、光ラベルの標識情報に関連するウェブページにアクセスし、標識情報に関連するほかの情報（例えば、該標識情報に対応する光ラベルの位置情報）などを取得する。デバイスは、その上のカメラにより光ラベルを画像採集して光ラベルを含む画像を取得し、かつ内蔵されたアプリケーションプログラムにより各枚の画像における光ラベル（或いは光ラベルにおける各光源）のイメージングを分析して光ラベルが伝達される情報を分析することができる。

光ラベルは、固定の位置に取り付けられ、かつ光ラベルの標識情報（ＩＤ）及びいずれかのほかの情報（例えば、位置情報）をサーバーに記憶することができる。現実では、大量の光ラベルが光ラベルネットワークになるように構築することができる。図２は、例示的な光ラベルネットワークを示し、該光ラベルネットワークは、複数の光ラベルと少なくとも１つのサーバーを含み、それぞれの光ラベルに関する情報がサーバーに記憶されることができる。例えば、サーバーには、それぞれの光ラベルの標識情報（ＩＤ）又はいずれかのほかの情報、例えば該光ラベルに関するサービス情報、該光ラベルに関する説明情報又は属性、例えば光ラベルの位置情報や、物理サイズ情報、物理形状情報、姿勢、向き情報などが記憶されている。デバイスは、識別された光ラベルの標識情報を使用してサーバーから問い合わせて該光ラベルに関するほかの情報を取得することができる。光ラベルの位置情報は、該光ラベルの物理世界における実際位置であってもよく、それが地理座標情報により表示されることができる。サーバーは、算出装置に実行されるソフトウェアプログラム、一台の算出装置又は複数台の算出装置から構成される群であってもよい。光ラベルは、オフラインであってもよく、即ち、光ラベルは、サーバーと通信する必要がない。当然ながら、サーバーと通信できるインラインの光ラベルであってもよいと理解すべきである。

図３は、レストランのドアの上方に布置される光ラベルを示す。ユーザがデバイスを使用して該光ラベルを走査する時、該光ラベルが伝達される標識情報を識別することができ、かつ該標識情報を使用して相応するサービスをアクセスすることができ、例えば、光ラベルの標識情報に関連する該レストランのウェブページにアクセスする。必要に応じて光ラベルを各箇所、例えば、広場、店先、レストランに配置することができる。

光ラベルをアンカーとして、仮想対象を現実シーンに重ねることを実現でき、例えば、該仮想対象を使用して現実シーンにおけるユーザ又はデバイスの位置を正確的に標識することができる。仮想対象は、例えば、アイコン、写真、文字、デジタル、感情アイコン、仮想の三次元物体、三次元シーンのモデル、一部の動画、一部のビデオなどであってよい。

即時配送サービスを例として説明する。デバイス（例えば携帯電話、スマートグラスなど）が携帯されたユーザは、商店街を歩くとき、一杯のコーヒーを買いたく、かつその場でコーヒーショップの店員がコーヒーをその位置に配送することを待つ。該ユーザは、そのデバイスを使用してその周囲のあるコーヒーショップの店先における光ラベルを走査して識別し、かつ識別される光ラベル標識情報から相応のサービスをアクセスして一杯のコーヒーを購入する。ユーザがそのデバイスを使用して光ラベルを走査する時、光ラベルの画像を撮像し、かつ該画像を分析することにより相対的に位置決めし、ユーザ（より正確的には、ユーザのデバイス）の光ラベルに対する位置情報を特定することができ、該相対位置情報がコーヒー購入要求と共にコーヒーショップのサーバーに送信されることができる。コーヒーショップのサーバーがユーザのコーヒー購入要求を受信した後に、仮想対象を設置することができ、該仮想対象が、例えば該コーヒー購入要求に対応する注文番号「１２３」であってもよい。サーバーは、受信したユーザデバイスの光ラベルに対する位置情報に基づいて仮想対象の空間位置情報を特定することもでき、例えば仮想対象の位置をユーザデバイスが位置する位置又はユーザデバイスが位置する位置から上方に１メートル箇所として設定することができる。コーヒーショップがユーザのコーヒーを準備した後に、コーヒーショップの店員は、コーヒーを配送することができる。図４は、店員がユーザへコーヒーを配送する模式図を示す。配送過程において、店員は、そのデバイス（例えば、携帯電話、スマートグラスなど）を使用して光ラベルを走査し、店員デバイスの光ラベルに対する位置情報及び姿勢情報を特定することができる。サーバーは、店員がそのデバイスを使用して光ラベルを走査する時又は他の時間に仮想対象の関連情報（その空間位置情報を含む）を店員デバイスに送信することができる。このようにして、光ラベルを中間アンカーとして仮想対象の店員デバイスに対する位置関係を特定し、さらに店員デバイスの姿勢に基づいて、店員デバイスの表示媒介における適当な位置に仮想対象（例えば、デジタル配列「１２３」）を呈することができる。例えば、店員デバイスの表示画面に展示される現実シーンにおける適当な位置にデジタル配列「１２３」を重ねることができ、該デジタル配列「１２３」が位置する位置又はその下方に約１メートルの位置がコーヒー購入者の位置である。図５は、店員デバイスの表示媒介に仮想対象を重ねる模式図を示す。このようにして、光ラベルをアンカーとして使用して仮想対象を現実シーンに精確的に重ねて、コーヒーショップの店員がコーヒー購入者の位置を快速に見つけるように支援し、コーヒーの配送を実現する。一実施例において、コーヒーショップの店員は、配送過程において、携帯電話ではなく、スマートグラスを使用してより便利な配送を実現することができる。

さらに、レストランの食事配送サービスを例として説明する。デバイスが携帯されたユーザは、レストランに食事をするとき、そのデバイスを使用してレストランに布置されるある光ラベルを走査して識別し、かつ識別される光ラベル標識情報に基づいて相応の料理注文サービスにアクセスすることができる。ユーザがそのデバイスを使用して光ラベルを走査する時に、光ラベルの画像を撮像し、かつ該画像を分析することにより相対的に位置決めし、ユーザ（より正確的には、ユーザのデバイス）の光ラベルに対する位置情報を特定でき、該相対位置情報が料理注文要求と共にレストランのサーバーに送信されることができる。レストランのサーバーは、ユーザが料理注文要求を受信した後に、仮想対象を設置することができ、該仮想対象は、例えば、該料理注文要求に対応する注文番号「４５６」であってもよい。サーバーは、受信したユーザデバイスの光ラベルに対する位置情報に基づいて仮想対象の空間位置情報を特定することもでき、例えば、仮想対象の位置をユーザデバイスが位置する位置又はユーザデバイスが位置する位置から上方に１メートル箇所として設定することができる。レストランがユーザの料理を準備した後に、レストランの店員は、料理を配送することができる。配送過程において、レストランの店員は、そのデバイス（例えば、携帯電話、スマートグラスなど）を使用して光ラベルを走査し、店員デバイスの光ラベルに対する位置情報及び姿勢情報を特定することができる。サーバーは、店員がそのデバイスを使用して光ラベルを走査する時又は他の時間に仮想対象の関連情報（その空間位置情報を含む）を店員デバイスに送信することができる。このようにして、光ラベルを中間アンカーとして仮想対象の店員デバイスに対する位置関係を特定し、さらに店員デバイスの姿勢に基づいて、店員デバイスの表示媒介における適当な位置に仮想対象（例えば、デジタル配列「４５６」）を呈することができる。例えば、店員デバイスの表示画面に展示される現実シーンにおける適当な位置にデジタル配列「４５６」を重ねることができ、該デジタル配列「４５６」が位置する位置又はその下方に約１メートルの位置は、料理が配達される必要があるユーザの位置である。このようにして、光ラベルをアンカーとして使用して仮想対象を現実シーンに精確的に重ねて、レストランの店員が料理を注文する人の位置を快速的に見つけるように支援する。

一実施例において、特定されるデバイスの位置情報は、デバイスのほかの物理座標系での位置情報であってもよく、該物理座標系が、例えば場所座標系（例えば、ある部屋、建物、領域などについて作成される座標系）又は世界座標系であってもよい。この場合には、光ラベルは、該物理座標系での位置情報及び姿勢情報を有することができ、それが予めに画定して記憶することができる。デバイスの光ラベルに対する位置情報及び光ラベル自身のある物理座標系での位置情報・姿勢情報により、デバイスの該物理座標系での位置情報を特定することができる。デバイスは、光ラベルが伝達される情報（例えば標識情報）を識別し、かつ該情報を使用して（例えば問い合わせることにより）光ラベルのある物理座標系での位置情報・姿勢情報を取得することができる。

一実施例において、ユーザは、光ラベルを走査して識別することにより料理を注文するのではなく、ほかのいずれかの方式で料理を注文することもできる。ユーザは、光ラベルの画像を撮像することによりその位置情報を特定するのではなく、テーブルにおける二次元コードを走査し或いはレストランのサーバーへテーブル番号を送信することによりその位置をレストランのサーバーに告知することができる。レストランのサーバーは、各テーブルの位置情報を予めに記憶し、かつユーザが走査する二次元コードの標識情報又はユーザが送信するテーブル番号に基づいてユーザの位置情報を特定することができる。

図６は、一実施例に係る光ラベルに基づく相互作用方法を示し、該方法は、以下のステップを含む。

ステップ６０１では、サーバーは、第１デバイスからの情報を受信し、該情報には第１デバイスの位置情報が含まれる。

第１デバイスからの情報は、第１デバイスのユーザがサーバーへ発する製品購入情報であってもよく、そのほかのいずれかの情報であってもよい。第１デバイスの位置情報は、光ラベルに対する位置情報であってもよく、ある物理座標系での位置情報であってよい。第１デバイスがサーバーに対して光ラベルに対する位置情報を送信する時に、それが光ラベルを走査することにより識別された該光ラベルの標識情報も併せて送信することができる。

デバイスは、各種の方式により光ラベルに対する位置情報を特定することができ、該相対位置情報は、デバイスの光ラベルに対する距離情報と方向情報を含むことができる。一実施例において、デバイスは、光ラベルを含む画像を採集して該画像を分析して光ラベルに対する位置情報を特定することができる。例えば、デバイスは、画像における光ラベルのイメージングの大きさ及び選択可能なほかの情報（例えば、光ラベルの実際の物理サイズ情報、デバイスカメラの焦点距離）に基づいて光ラベルとデバイスの相対距離を特定することができる（イメージングが大きいほど、距離が小さくなり、イメージングが小さいほど、距離が遠い）。デバイスは、光ラベルの標識情報を使用してサーバーから光ラベルの実際の物理サイズ情報を取得することができ、或いは、光ラベルは、統一の物理サイズを有し、かつデバイスに該物理サイズを記憶することができる。デバイスは、光ラベルを含む画像における光ラベルのイメージングの射影歪み及び選択可能なほかの情報（例えば、光ラベルのイメージング位置）から、デバイスの光ラベルに対する方向情報を特定することができる。デバイスは、光ラベルの標識情報を使用してサーバーから光ラベルの物理形状情報を取得することができ、或いは、光ラベルは、統一の物理形状を有し、かつデバイスに該物理形状を記憶することができる。一実施例において、デバイスは、その上に取り付けられた深度カメラ又は双眼カメラなどにより光ラベルとデバイスとの相対距離を直接的に取得することができる。デバイスは、既存のいずれかのほかの位置決め方法を使用して光ラベルに対する位置情報を特定することができる。

ステップ６０２では、サーバーは、第１デバイスに関連する、空間位置情報を有する仮想対象を設置し、該仮想対象の空間位置情報が第１デバイスの位置情報に基づて特定される。

第１デバイスからの情報（例えば製品購入情報）を受信した後に、サーバーは、第１デバイスに関連する仮想対象を設置することができる。該仮想対象は、例えば、第１デバイスが発する製品購入情報に対応する注文番号、製品を購入するユーザの名前、配送する必要がある商品の標識情報、簡単的な仮想アイコンなどであってもよい。仮想対象の空間位置情報は、第１デバイスの位置情報に基づいて特定され、該空間位置情報は、光ラベルに対する位置情報であってもよく、ほかの物理座標系での位置情報であってもよい。仮想対象の空間位置を第１デバイスの位置として簡単的に特定することができ、仮想対象の空間位置をほかの位置、例えば、第１デバイスの位置付近にあるほかの位置として特定することができる。

ステップ６０３では、サーバーは、仮想対象に関する情報を第２デバイスに送信し、該情報には、仮想対象の空間位置情報が含まれる。

仮想対象に関する情報は、該仮想対象を説明するための関連情報であって、例えば、仮想対象に含まれる写真、文字、デジタル、アイコンなどを含むが、仮想対象の形状情報、色情報、サイズ情報、姿勢情報なども含むことができる。該情報に基づいて、デバイスは、相応する仮想対象を呈することができる。仮想対象に関する情報には、仮想対象の空間位置情報が含まれることができ、それは、光ラベルに対する位置情報（例えば、仮想対象の光ラベルに対する距離情報及び光ラベルに対する方向情報）であってもよい。一実施例において、仮想対象に関する情報は、仮想対象の重ね姿勢情報も含むことができ、該重ね姿勢情報は、仮想対象の光ラベルに対する姿勢情報であってもよく、現実世界座標系での姿勢情報であってよい。

一実施例において、サーバーは、例えば、無線リンクを介して仮想対象に関する情報を第２デバイスに直接的に送信することができる。別の実施例に、第２デバイスは、光ラベルを走査する時に光ラベルが伝達される標識情報を識別し、かつ光ラベルの標識情報を使用してサーバーから仮想対象に関する情報を取得することができる。

ステップ６０４では、第２デバイスは、それが光ラベルにより特定された位置情報、姿勢情報及び仮想対象に関する情報に基づいて、第２デバイスの表示媒介に仮想対象を呈する。

第２デバイスの位置情報は、光ラベルに対する位置情報であってもよく、ある物理座標系での位置情報であってもよい。第２デバイスは、以上のステップ６０１において説明する各種の方式により光ラベルに対する位置情報を特定することができ、上記各種の方式について、ここで重複して説明することはしない。

第２デバイスは、その姿勢情報を特定することができ、該姿勢情報は、デバイスが撮像される現実シーンの範囲又は境界を特定することに用いられる。第２デバイスの姿勢情報は、光ラベルに対する姿勢情報であってもよく、ある物理座標系での姿勢情報であってもよい。デバイスの光ラベルに対する姿勢情報及び光ラベル自身のある物理座標系での位置情報及び姿勢情報に基づいて、デバイスの該物理座標系での姿勢情報を特定することができる。通常の情況では、デバイスの姿勢情報は、実際に、デバイスの画像採集部材（例えばカメラ）の姿勢情報である。一実施例において、第２デバイスは、光ラベルを走査し、かつ光ラベルのイメージングに基づいて光ラベルに対する姿勢情報を特定することができ、光ラベルのイメージング位置又はイメージング領域が第２デバイスのイメージング視野の中心に位置すると、第２デバイスは、現在、光ラベルに直面していると認めることができる。デバイスの姿勢を特定する時に、光ラベルのイメージング方向をさらに考慮することができる。第２デバイスの姿勢が変化することに伴って、光ラベルの第２デバイスにおけるイメージング位置及び／又はイメージング方向も相応的に変化する。従って、光ラベルの第２デバイスにおけるイメージングに基づいて第２デバイスの光ラベルに対する姿勢情報を取得することができる。

一実施例において、以下の方式でデバイスの光ラベルに対する位置情報及び姿勢情報（位置・姿勢情報と統称することができる）を特定することができる。具体的には、光ラベルに基づいて座標系を確立することができ、該座標系は、光ラベル座標系とも称することができる。光ラベルにおけるいくつかの点を、光ラベル座標系におけるいくつかの空間点として特定することができ、かつ光ラベルの物理サイズ情報及び／又は物理形状情報に基づいてこれらの空間点の光ラベル座標系における座標を特定することができる。光ラベルにおけるいくつかの点は、例えば光ラベルのケースの角、光ラベルにおける光源の端部、光ラベルにおけるいくつかの標識点などであってもよい。光ラベルの物体構造特徴又は幾何学的構造特徴に基づいて、デバイスカメラにより撮像される画像において、これらの空間点にそれぞれ対応する像点を見出し、かつ各像点の画像における位置を特定する。各空間点の光ラベル座標系における座標及び対応する各像点の画像における位置に基づいて、デバイスカメラのパラメータ情報を組み合わせて、演算して、該画像を撮像する時のデバイスカメラの光ラベル座標系における位置・姿勢情報（Ｒ、ｔ）が得られ、ただし、Ｒが回転マトリクスを示し、デバイスカメラの光ラベル座標系における姿勢情報を示すことができ、ｔが変位ベクトルを示し、それがデバイスカメラの光ラベル座標系における位置情報を示すことができる。Ｒ、ｔの算出方法は、既存技術において周知され、例えば、３Ｄ‐２ＤのＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ‐ｎ‐Ｐｏｉｎｔ）方法を利用してＲ、ｔを算出することができ、本発明を明確にするために、ここで詳しく説明しない。回転マトリクスＲ及び変位ベクトルｔは、実際的には、如何にしてある点の座標を光ラベル座標系とデバイスカメラ座標系との間に変換するかを説明することができる。例えば、回転マトリクスＲと変位ベクトルｔにより、ある点の光ラベル座標系における座標をデバイスカメラ座標系における座標に変換することができ、さらに画像における像点の位置に変換することができる。このようにして、複数の特徴点（仮想対象の輪郭における複数の点）を有する仮想対象について、該仮想対象の空間位置情報に該複数の特徴点の光ラベル座標系における座標（すなわち、光ラベルに対する位置情報）が含まれ、複数の特徴点の光ラベル座標系における座標に基づいて、これらの特徴点のデバイスカメラ座標系における座標を特定することができ、それによりこれらの特徴点のデバイスにおける各イメージング位置を特定することができる。仮想対象の複数の特徴点の各イメージング位置が一旦特定されると、該仮想対象全体のイメージング位置や、サイズ、姿勢などを相応的に特定することができる。

一実施例において、重ねられる仮想対象は、デフォルトなイメージングサイズを有することができる。一実施例において、重ね情報が仮想対象の重ね姿勢情報を含む場合には、さらに、重ねられる仮想対象の姿勢を特定することができる。一実施例において、以上の算出されたデバイス（より正確的には、該デバイスのカメラ）の光ラベルに対する位置・姿勢情報（Ｒ、ｔ）に基づいて、重ねられる仮想対象のデバイスにおけるイメージング位置や、サイズ、姿勢などを特定することができる。ある場合では、重ねられる仮想対象が現在、第２デバイスの視野に含まないと特定されると（例えば、仮想対象のイメージング位置が表示スクリーン外に位置する）、仮想対象を表示しない。

一実施例において、第１デバイス又は第２デバイスが光ラベルを走査した後に、例えばデバイスに内蔵される各種のセンサ（例えば、加速度センサ、磁気センサ、方向センサ、重力センサ、ジャイロスコープ、カメラなど）を使用して、本分野に知られた方法（例えば、慣性ナビゲーション、視覚オドメトリ、ＳＬＡＭ、ＶＳＬＡＭ、ＳＦＭなど）によりその位置変化及び／又は姿勢情報を測量し又は追跡することにより、デバイスのリアルタイム位置及び／又は姿勢を特定することができる。

上記実施例において、光ラベルは、実際的にアンカーとして使用され、該アンカーに基づいて、仮想対象が第２デバイスを介して観察された現実シーンに精確的に重ねられる。デバイスは、実行できる各種の方式により現実シーンを呈することができる。例えば、デバイスは、カメラにより現実世界の情報を採集し、かつ上記情報を使用して表示スクリーンに現実シーンを再現することができ、仮想対象の画像が該表示スクリーンに重ねられる。デバイス（例えば、スマートグラス）は、表示スクリーンにより現実シーンを再現するのではなく、単にプリズム、レンズ、ミラー、透明物体（例えばガラス）などにより現実シーンを再現することもでき、仮想対象の画像が該現実シーンに光学的に重ねられる。上記表示スクリーン、プリズム、レンズ、ミラー、透明物体などは、デバイスの表示媒介として統称されることができ、仮想対象が該表示媒介に呈されることができる。例えば、光学透視式の拡張現実デバイスでは、ユーザは、特定のレンズを介して現実シーンを観察すると共に、該レンズは、仮想対象のイメージングをユーザの目へ反射することができる。一実施例において、デバイスのユーザは、現実シーン又はその一部を直接的に観察でき、該現実シーン又はその一部がユーザの目に観察される前に、いずれかの媒体を介して再現する必要がなく、かつ仮想対象が該現実シーンに光学的に重ねられる。従って、現実シーン又はそのうちの一部がユーザの目により観察される前に、必ずデバイスにより呈され、又は再現される必要がない。

仮想対象を重ねた後に、デバイスは、平行移動し及び／又は回転する可能性があり、この場合では、本分野に知られた方法（例えば、デバイスに内蔵される加速度センサ、ジャイロスコープ、視覚オドメトリなどを使用する）を使用してその位置変化及び姿勢情報を追跡することにより、仮想対象の表示を調整することができる。しかしながら、位置・姿勢情報の追跡に誤差がある可能性がある。従って、一実施例において、デバイスは、再び（例えば、光ラベルがデバイスの視野から離れた後に再びデバイスの視野に進入する時、或いは光ラベルがデバイスの視野に保持される場合には所定時間ごとに）光ラベルを走査してその位置情報及び姿勢情報を特定し、かつ新に仮想対象のイメージング位置及び／又はイメージングサイズを特定し、それにより前記仮想対象の現実シーンへの重ねを補正することができる。

一実施例において、仮想対象を重ねた後に、デバイス又はそのユーザは、該仮想対象を操作して、仮想対象の属性を変更することができる。例えば、デバイス又はそのユーザは、仮想対象の位置を移動したり、仮想対象の姿勢を変更したり、仮想対象のサイズ又は色を変更したり、仮想対象に注釈を付けたりすることができる。一実施例において、デバイスまたはそのユーザが仮想対象の属性を変更した後に、仮想対象の変更した後の属性情報をサーバーにアップロードすることができる。サーバーは、変更した属性情報に基づいてその記憶される仮想対象の関連情報を更新することができる。一実施例において、デバイス又はそのユーザは、重ねられる仮想対象に対して削除操作を実施して、かつサーバーに通知することができる。以上に述べたコーヒー購入応用を例とし、第２デバイスが携帯されたコーヒーショップ店員は、コーヒーをユーザへ配送した後に、該ユーザに関連する仮想デジタル配列「１２３」を削除することができる。

いくつかの実施例において、第１デバイスからの情報には、第１デバイスの位置情報を含まないことができるが、サーバーは、ほかの方式により第１デバイスの位置情報を取得することができる。一実施例において、サーバーは、第１デバイスからの情報を分析することにより第１デバイスの位置情報を取得することができる。例えば、第１デバイスからの情報には、第１デバイスが撮像される光ラベルを含む画像が含まれ、サーバーは、該画像を分析することにより第１デバイスの光ラベルに対する位置情報を取得することができる。一実施例において、サーバーは、第１デバイスからの情報を使用して問い合わせることにより第１デバイスの位置情報を取得することができる。例えば、第１デバイスからの情報は、二次元コード標識情報又は例えばテーブル番号の標識情報であってもよく、該標識情報に基づいて、サーバーは、問い合わせることにより第１デバイスの位置情報を取得することができる。デバイス位置を取得することに用いられるいずれかの情報（例えば、デバイスが撮像される光ラベルを含む画像、デバイスが走査する二次元コード標識情報、デバイスから発するテーブル番号など）は、「デバイスの位置に関する情報」とも称されることができる。

一実施例において、第２デバイスの表示媒介に複数の仮想対象を同時に呈することができる。一実施例において、サーバーは、第２デバイスの表示媒介に呈する必要がある１つ又は複数の仮想対象を特定することができる。例えば、コーヒーショップの第１店員が第１ユーザへコーヒーを配送すると、サーバーは、第１ユーザに関連する仮想対象の関連情報を第１店員デバイスへ送信することができる。また、コーヒーショップの第２店員が第２ユーザ及び第３ユーザへ同時にコーヒーを配送すると、サーバーは、第２ユーザに関連する仮想対象の関連情報及び第３ユーザに関連する仮想対象の関連情報を第２店員デバイスへ送信することができる。

いくつかの場合では、ユーザが第１デバイスを使用してサーバーへその位置情報を送信した後に、その位置を変更する可能性がある。例えば、コーヒーを購入したユーザが購入要求を発する時にその位置情報も合わせて送信し、その後に、ユーザは、付近に歩き回る可能性がある。サーバーがユーザ又はその第１デバイスの最新位置をタイムリーに分かるように、第１デバイスの新しい位置情報をサーバーに送信することができる。第１デバイスは、以上の各種方式（例えば、光ラベルを含む画像を採集して該画像を分析する）によりその最新の位置情報を特定することができ、第１デバイスに内蔵されるセンサ（例えば加速度センサ、ジャイロスコープなど）により第１デバイスの位置変化を追跡することもできる。第１デバイスの新しい位置情報を定期的にサーバーに送信することができ、第１デバイスの新しい位置と前回にサーバーに送信した位置との間の差がある所定閾値を超える時に新しい位置情報の送信を起動することができる。このようにして、サーバーは、第１デバイスの新しい位置情報をタイムリーに分かることができ、かつ仮想対象の空間位置情報を相応的に更新し、仮想対象の新しい空間位置情報を第２デバイスに通知することができる。第２デバイスは、仮想対象の新しい空間位置情報を相応的に使用してその表示媒介に仮想対象を呈し又は更新することができる。

図７は、一実施例に係る光ラベルに基づく相互作用方法を示し、該方法は、第１デバイスの位置に対する追跡を実現することができる。そのステップ７０１～７０４は、図６のステップ６０１～６０４と類似し、ここで重複して説明することがしない。図７の相互作用方法は、以下のステップをさらに含む。

ステップ７０５では、サーバーは、第１デバイスからの新しい情報を受信する。

該新しい情報は、第１デバイスの位置を取得できるいずれかの情報、例えば、第１デバイスに内置されたセンサが追跡することにより取得された第１デバイスの変位情報であってもよい。

ステップ７０６では、サーバーは、前記新しい情報に基づいて第１デバイスの位置情報を更新する。

ステップ７０７では、サーバーは、更新した第１デバイスの位置情報に基づいて仮想対象の空間位置情報を更新する。

ステップ７０８では、サーバーは、更新した仮想対象の空間位置情報を第２デバイスに送信し、それにより、第２デバイスは、その位置情報、姿勢情報及び前記更新した前記仮想対象の空間位置情報に基づいて、その表示媒介に仮想対象を呈し或いは更新することができる。

一実施例において、第１デバイスの表示媒介に第２デバイスに関連する仮想対象を呈させることもできる。以上に説明したコーヒー購入サービスを例とし、配送過程において、店員は、そのデバイス（例えば、携帯電話、スマートグラスなど）を使用して光ラベルを走査して、店員デバイスの位置情報及び姿勢情報を特定することができる。その後に、店員デバイスは、その位置情報をサーバーに送信することができる。サーバーは、店員デバイスに１つの仮想対象を設置することができ、該仮想対象の空間位置情報が店員デバイスの位置情報に基づいて特定される。サーバーは、該仮想対象の関連情報をコーヒーを購入したユーザのデバイスに送信することができ、かつユーザにそのコーヒーが配送されていることを通知することができる。ユーザは、その後にそのデバイス（例えば、携帯電話、スマートグラスなど）を使用して光ラベルを走査して、ユーザデバイスの位置情報及び姿勢情報を特定することができる。それにより、ユーザデバイスは、その位置情報、姿勢情報及び店員デバイスに関連する仮想対象の関連情報に基づいて、ユーザデバイスの表示媒介における適当な位置に仮想対象（例えば、デジタル配列「１２３」）を呈することができ、このように、ユーザと店員との間のより便利的な相互作用に役立つ。コーヒーを配送する店員は、通常、移動状態にあるので、店員デバイスの位置を追跡し、かつ店員デバイスの位置をサーバーに定期的又はリアルタイム的に送信して、店員デバイスに関連する仮想対象の空間位置情報を更新することができ、該更新した空間位置情報がその後にユーザのデバイスに送信される。

図８は、一実施例に係る光ラベルに基づく相互作用方法を示し、該方法は、第１デバイスの表示媒介に第２デバイスに関連する仮想対象をさらに呈することができ、そのステップ８０１～８０４が図６のステップ６０１～６０４と類似し、ここで重複して説明することはしない。図８の相互作用方法は、以下のステップをさらに含む。

ステップ８０５では、サーバーは、第２デバイスからの情報を受信し、かつ第２デバイスの位置情報を特定する。

ステップ８０６では、サーバーは、第２デバイスに関連する、空間位置情報を有する別の仮想対象を設置し、該別の仮想対象の空間位置情報が第２デバイスの位置情報に基づいて特定される。

ステップ８０７では、サーバーは、該別の仮想対象に関する情報を第１デバイスに送信し、該情報には、該別の仮想対象の空間位置情報を含んで、第１デバイスがその位置情報、姿勢情報及び該別の仮想対象に関する情報に基づいて、その表示媒体に該別の仮想対象を呈することができる。

一実施例において、図８に示す方法において、図７の方法と類似する方式で第２デバイスの位置情報及び該別の仮想対象の空間位置情報を更新することができて、第１デバイスの表示媒介に呈される該別の仮想対象が第２デバイスの位置を追跡することができる。

いくつかのシーンでは、１つの光ラベルが存在するのではなく、図２に示す光ラベルネットワークが存在する可能性があり、そのうち、サーバーは、各光ラベルの位置・姿勢情報又はこれらの間の相対的な位置・姿勢関係を知ることができる。これらのシーンでは、第１デバイス及び第２デバイスが走査する光ラベルは、同一の光ラベルではない可能性があり、第１デバイスは、異なる時間に異なる複数の光ラベルを走査してその位置情報（位置情報を提供し又は更新するために、関する光ラベルの標識情報を送信することができる）を提供して更新する可能性もあり、第２デバイスは、異なる時間に異なる複数の光ラベルを走査してその位置情報及び姿勢情報を特定する可能性もある。例えば、図９に示すように、レストランにおいて、第１光ラベルと第２光ラベルを含む複数の光ラベルを布置する可能性があり、食事をするユーザは、第１デバイスを使用して第１光ラベルを走査してその位置を特定することができ、レストランの店員は、料理を配送する時にその第２デバイスを使用して第２光ラベルを走査して第２デバイスの位置情報及び姿勢情報を特定することができる。

いくつのシーンでは、第１デバイス及び第２デバイスは、初期に遠く離れ、この場合では、第２デバイスのユーザは、まず、既存のあるナビゲーション方式（例えばＧＰＳナビゲーション）を使用して第１デバイス付近に行き、その後に、第２デバイスを使用して周囲の光ラベルを走査して第２デバイスの表示媒介に第１デバイスに関連する仮想対象を呈することができる。

図１０は、応用シーンを示し、異なる個人ユーザ間に位置に基づくサービス方案を実現することができる。該シーンにおいて、１つの光ラベル及び該光ラベル付近に位置する第１ユーザ、第２ユーザが存在し、第１ユーザは、第１デバイスを携帯し、第２ユーザは第２デバイスを携帯し、第１デバイスと第２デバイスとは、例えば、携帯電話や、スマートグラスなどであってもよい。図１０に示す光ラベルは、例えば、広場に布置されることができる。広場内の第１ユーザは、自分がある物品（例えば、はさみ、粘着テープ、薬物等）を一時的に使用する必要があるが、それを携帯しないと気づける。そのために、第１ユーザは、第１デバイスを使用して光ラベルを走査して識別することにより、光ラベルに関連するサーバーへ要求を送信し、例えば、「物品Ａを借りたり、購入したりする」を送信することができる。第１ユーザが第１デバイスを使用して光ラベルを走査する時に、光ラベルの画像を撮像し、かつ該画像に基づいて相対的に位置決めすることにより、第１ユーザ（より正確的には、第１ユーザの第１デバイス）の位置情報を特定することができ、該位置情報が上記要求と共にサーバーに送信されることができる。サーバーが第１デバイスからの要求を受信した後に、第１デバイスに対して仮想対象を設置することができ、該仮想対象が例えば、指示矢印であってもよい。サーバーは、受信した第１デバイスの位置情報に基づいて仮想対象の空間位置情報を特定することもでき、例えば、仮想対象の位置を、第１デバイスが位置する位置又は第１デバイスが位置する位置から上方に１メートル箇所として設定することができる。第１デバイスがサーバーへ要求を送信した後に、第２ユーザは、第２デバイスを使用して光ラベルを走査して識別し、かつ光ラベルに関連するサーバーから第１デバイスが送信する要求を受信する。第２ユーザが物品Ａを提供して第１ユーザの要求を満足できると、第２デバイスを使用してサーバーへ応答を送信することができる。サーバーが第２デバイスからの応答を受信した後に、この前に第１デバイスが設置される仮想対象の関連情報（その空間位置情報を含む）を第２デバイスに送信することができる。第２デバイスは、光ラベルを走査する時に、その位置情報及び姿勢情報を特定することができる。このようにして、第２デバイスの位置及び姿勢に基づいて、第２デバイスの表示媒介における適当な位置に仮想対象（例えば、指示矢印）を呈することができる。例えば、第２デバイスの表示画面に展示される現実シーンにおける適当な位置に指示矢印を重ねることができ、該指示矢印が位置する位置又はその下方に約１メートルの位置は、第１ユーザ又は第１デバイスが位置する位置である。図１１は、第２デバイスの表示媒介に仮想対象（例えば、指示矢印）を重ねる模式図である。このようにして、光ラベルをアンカーとして使用して仮想対象を正確的に重ねることができ、それにより、第２ユーザが快速に第１ユーザの位置を見つけるように支援し、２つのユーザ間の相互作用を実現する。第１ユーザ及び第２ユーザが走査する光ラベルは、異なる光ラベルであってもよいと理解すべきである。

図１２は、一実施例に係る光ラベルに基づく相互作用方法を示し、該方法は、以下のステップを含む。

ステップ１２０１では、サーバーは、第１デバイスからの情報を受信し、該情報には、第１デバイスの位置情報が含まれる。

第１デバイスからの情報は、例えば、第１デバイスのユーザがサーバーへ発する援助要求であってもよく、他のいずれかの情報であってもよい。第１デバイスがサーバーへ送信する情報は、光ラベルの標識情報を含むことができる。

ステップ１２０２では、サーバーは、第１デバイスに関連する、空間位置情報を有する仮想対象を設置し、該仮想対象の空間位置情報が第１デバイスの位置情報に基づいて特定される。

第１デバイスからの情報（例えば援助要求）を受信した後に、サーバーは、第１デバイスに関連する仮想対象を設置することができる。仮想対象の空間位置情報は、第１デバイスの位置情報に基づいて特定される。

ステップ１２０３では、サーバーは、第１デバイスからの情報又はその一部を第２デバイスに提供する。

第２デバイスが光ラベルを走査して識別する時に、識別される光ラベルの標識情報によりサーバーと相互作用することができる。相互作用過程において、サーバーは、受信した、第１デバイスからの情報又はその一部を第２デバイスに送信することができる。例えば、サーバーは、「第１ユーザが物品Ａを借りたり、購入したりする」ということを第２デバイスに送信することができる。第２デバイスには、例えば、ショートメッセージの形式、アプリケーションプログラムにおけるポップアップ通知の形式などの各種の形式で第２ユーザに対して第１デバイスからの情報を呈することができる。一実施例において、第２デバイスの表示媒介に呈される光ラベル画像又はその付近に仮想的な伝言板を呈し、その上に第１デバイスからの情報を表示することができる。

ステップ１２０４では、サーバーは、第２デバイスの第１デバイスからの情報又はその一部に対する応答を受信する。

第２ユーザが第１デバイスからの情報を関心すると（例えば、第２ユーザは、第１ユーザが第１デバイスを介して送信する援助要求を満足することができる）、第２デバイスを介してサーバーへ応答を送信することができる。

ステップ１２０５では、サーバーは、仮想対象に関する情報を第２デバイスに送信し、該情報には、仮想対象の空間位置情報が含まれる。

第２デバイスからの応答を受信した後に、サーバーは、仮想対象に関する情報を第２デバイスに送信することができる。仮想対象に関する情報には、仮想対象の空間位置情報が含まれ、それは、光ラベルに対する位置情報であってもよい。一実施例において、仮想対象に関する情報は、仮想対象の重ね姿勢情報も含むことができる。

ステップ１２０６では、第２デバイスは、それが光ラベルを介して特定される位置情報、姿勢情報及び仮想対象に関する情報に基づいて、第２デバイスの表示媒介に仮想対象を呈する。

いくつかの実施例において、図１２に示される方法は、図７に示される方法と類似する方式で第１デバイスの位置をさらに追跡することができる。いくつかの実施例において、図１２に示される方法は、図８に示される方法と類似する方式で第１デバイスの表示媒介に第２デバイスに関連する仮想対象をさらに呈することができる。

いくつかの実施例において、第１デバイスからの情報は、関連する有効時間範囲を有して、該情報がどの時間範囲内に有効であるかを限定することができる。例えば、第１ユーザが第１デバイスを介して援助要求を発する時、該要求が一定の時間（例えば１０分間）内に有効であるように設置することがきる。有効時間範囲を超えた後に、サーバーは、ほかのデバイスへ第１デバイスからの情報又はその一部を送信することがしない。

いくつかの実施例において、第１デバイスからの情報は、関連する有効地理範囲を有して、該情報がどの地理範囲内に有効であるかを限定することができる。例えば、１つの応用シーンにおいて、第１ユーザは、第１デバイスを介してサーバーへイベント通知（例えば、第１ユーザが地点Ａにライブショーをしていること）を送信し、ほかのユーザが見るように要請する。第１ユーザは、該イベント通知に関連する地理範囲を設置することができる。例えば、第１ユーザは、該イベントの通知がその周囲５００メートル範囲内の他のユーザにより受信されるように設置されることができ、第１ユーザは、該イベントの通知がその周囲５００メートル範囲内の光ラベルと相互作用する他のユーザにより受信されるように設置される。このようにして、サーバーは、特定された他のユーザと第１ユーザとの間の相対距離、又は特定される異なる光ラベルと第１ユーザとの間の相対距離に基づいて、該イベントの通知をどちらのユーザのデバイスへ送信するかを決定することができる。

一実施例において、サーバーは、デバイスの属性情報を取得し、かつデバイスの属性情報に基づいてデバイスに関連する前記仮想対象を設置でき、デバイスの属性情報にはデバイスに関する情報、デバイスのユーザに関する情報、及び／又はデバイスのユーザがカスタマイズされる情報、例えば、デバイス名称又は標識号、デバイスユーザの名前、職業、身元、性別、年齢、ニックネーム、ヘッドポートレート、署名、デバイスにおけるあるアプリケーションのアカウント情報、又はユーザが該デバイスを使用して実行される操作の情報、例えば登録ウェブページ、登録済みアカウント、購入情報などが含まれる。

一実施例において、仮想対象が姿勢情報を有する場合には、仮想対象の姿勢は、デバイスの仮想対象に対する位置及び／又は姿勢に応じて調整することができ、例えば。仮想対象のある方位（例えば仮想対象の正面方向）が始終にデバイスに向けているようにする。

以上のデバイスは、ユーザは携帯され、又は制御されるデバイス（例えば、携帯電話、タブレットＰＣ、スマートグラス、スマートヘルメット、スマートウォッチなど）であってもよく、該デバイスは、自律移動可能な機器、例えば、無人航空機、自動運転車、ロボットなどであってもよいと理解すべきである。デバイスには、画像採集部材（例えばカメラ）及び／又は表示媒介（例えば表示画面）が取り付けられる。

本発明の一実施例において、コンピュータープログラムの形式で本発明を実現できる。コンピュータープログラムは、各種の記憶媒体（例えば、ハードディスク、光ディスク、フラッシュメモリなど）に記録されることができ、該コンピュータープログラムがプロセッサにより実行される時、本発明の方法を実現することができる。

本発明の別の実施例において、電子デバイスの形式で本発明を実現することができる。該電子デバイスは、プロセッサとメモリを含み、メモリにコンピュータープログラムが記憶されており、該コンピュータープログラムがプロセッサにより実行されると、本発明の方法を実現することができる。

本文には、「各実施例」や、「幾つかの実施例」、「一実施例」、「実施例」などは、前記実施例を組み合わせて説明される特定の特徴や、構成、性質が少なくとも一実施例に含まれることを示す。従って、「各実施例において」、「いくつかの実施例において」、「一実施例において」、又は「実施例において」などの用語は、本文の各箇所において同じ実施例を示しない。また、特定の特徴や、構成、性質は、１つ又は複数の実施例においていずれかの適当な方式で組み合わせることができる。従って、一実施例に示され、或いは説明された特定の特徴や、構成、性質を組み合わせて、全体的又は一部的に１つ又は複数のほかの実施例の特徴や、構成、性質と制限しなくて組み合わせることができ、この組み合わせがロジックに合致し、動作できればよい。本文において、「Ａから」、「Ａに基づいて」、「Ａにより」又は「Ａを使用する」という類似表現は、排他的なものではなく、つまり、特に説明し、或いは上下文に基づいてその意味が「Ａのみに基づいて」であることを明確しない限り、「Ａに基づいて」とうのは、「Ａのみに基づいて」ことを含むことができ、「ＡとＢに基づいて」ことも含む。本出願において、明瞭さのために、一定の順番で幾つかの模式的な操作ステップを説明したが、当業者は、これらの操作ステップにおける各ステップが不可欠的なものではなく、そのうちの幾つかのステップが省略され、或いは他のステップにより置換されることもできると理解すべきである。これらの操作ステップは、必ず、示される方式で順次に実行するのではなく、その反対に、これらの操作ステップにおける幾つかのステップは、実際の必要に応じて異なる順序で実行し、或いは並行に実行することもでき、新しい実行方式は、ロジックに合致し、動作できればよい。

それにより本発明の少なくとも１つの実施例の幾つかの形態を説明したが、当業者にとって、各種の変更、修正及び改良を行いやすい。これらの変更、修正及び改良は、本発明の精神及び範囲に含まれる。本発明は、好ましい実施例により説明したが、本発明は、ここで説明した実施例に限定されず、本発明の範囲を逸脱しない状況で行った各種の変更及び変形も含む。

Claims (15)

1. 光通信装置に基づく相互作用方法であって、
   サーバーが第１デバイスからの、前記第１デバイスの位置に関する情報を受信し、
   前記サーバーが前記第１デバイスの位置に関する情報から前記第１デバイスの位置情報を取得し、
   前記サーバーが前記第１デバイスに関連する、空間位置情報を有する仮想対象を設置し、前記仮想対象の空間位置情報が前記第１デバイスの位置情報に基づいて特定され、
   前記サーバーが前記仮想対象に関する情報を第２デバイスに送信し、該情報には前記仮想対象の空間位置情報が含まれ、前記仮想対象に関する情報が前記第２デバイスにより使用されて光通信装置が特定された位置情報及び姿勢情報に基づいてその表示媒介に前記仮想対象を呈させることを含むことを特徴とする光通信装置に基づく相互作用方法。
2. 前記第１デバイスの位置に関する情報から前記第１デバイスの位置情報を取得することは、
   前記第１デバイスの位置に関する情報から前記第１デバイスの位置情報を抽出し、
   前記第１デバイスの位置に関する情報を分析することにより前記第１デバイスの位置情報を取得し、或いは、
   前記第１デバイスの位置に関する情報を使用して問い合わせることにより前記第１デバイスの位置情報を取得することの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
3. 前記第１デバイスの位置に関する情報には、前記第１デバイスの光通信装置に対する位置情報が含まれ、前記第１デバイスは、画像採集部材を使用して前記光通信装置を含む画像を採集して該画像を分析することにより前記光通信装置に対する位置情報を特定することを特徴とする請求項１に記載の方法。
4. 前記第２デバイスは、画像採集部材を使用して光通信装置を含む画像を採集して該画像を分析することによりその位置情報及び／又は姿勢情報を特定することを特徴とする請求項１に記載の方法。
5. 前記サーバーが仮想対象に関する情報を第２デバイスに送信する前に、前記サーバーは、前記第２デバイスの表示媒介に呈される必要がある１つ又は複数の第１デバイスに関連する１つ又は複数の仮想対象を特定することを含むことを特徴とする請求項１に記載の方法。
6. 前記サーバーが第１デバイスからの前記第１デバイスの位置に関する新しい情報を受信し、
   前記サーバーが前記第１デバイスの位置に関する前記新しい情報に基づいて前記第１デバイスの位置情報を更新し、
   前記サーバーが更新した前記第１デバイスの位置情報に基づいて前記仮想対象の空間位置情報を更新し、及び
   前記サーバーが更新した前記仮想対象の空間位置情報を前記第２デバイスに送信し、それにより、前記第２デバイスがその位置情報、姿勢情報及び更新した前記仮想対象の前記空間位置情報に基づいてその表示媒介に前記仮想対象を呈し又は更新することをさらに含むことを特徴とする請求項１に記載の方法。
7. 前記サーバーが前記第２デバイスからの前記第２デバイスの位置に関する情報を受信し、かつ前記第２デバイスの位置情報を特定し、
   前記サーバーが前記第２デバイスに関連する、空間位置情報を有する別の仮想対象を設置し、該別の仮想対象の空間位置情報が前記第２デバイスの位置情報に基づいて特定され、及び、
   前記サーバーが該別の仮想対象に関する情報を前記第１デバイスに送信し、該情報には、該別の仮想対象の空間位置情報が含まれ、該別の仮想対象に関する情報が前記第１デバイスにより使用されて、その位置情報及び姿勢情報に基づいてその表示媒介に該別の仮想対象を呈することをさらに含むことを特徴とする請求項１に記載の方法。
8. 前記サーバーが前記仮想対象に関する情報を前記第２デバイスに送信する前に、
   前記サーバーが前記第１デバイスからの情報又はその一部を前記第２デバイスに提供し、及び
   前記サーバーが前記第２デバイスの前記第１デバイスからの情報又はその一部に対応する応答を受信することをさらに含むことを特徴とする請求項１に記載の方法。
9. 前記サーバーが前記第１デバイスの属性情報を取得し、及び
   前記サーバーが前記第１デバイスの属性情報に基づいて前記第１デバイスに関連する前記仮想対象を設置することをさらに含み、
   前記第１デバイスの属性情報には、前記第１デバイスに関する情報、前記第１デバイスのユーザに関する情報、及び／又は前記第１デバイスのユーザがカスタマイズされる情報が含まれることを特徴とする請求項１に記載の方法。
10. 前記第１デバイスの位置情報は、光通信装置に対する位置情報、場所座標系での位置情報、或いは世界座標系での位置情報であり、及び／又は、
    前記第２デバイスの位置情報及び姿勢情報は、光通信装置に対する位置情報及び姿勢情報、場所座標系での位置情報及び姿勢情報、又は世界座標系での位置情報及び姿勢情報であることを特徴とする請求項１に記載の方法。
11. 前記第１デバイスの位置情報に関連する光通信装置及び前記第２デバイスの位置情報に関連する光通信装置は、同じ光通信装置又は異なる光通信装置であり、前記異なる光通信装置は、特定の相対位置・姿勢関係を有することを特徴とする請求項１０に記載の方法。
12. 前記仮想対象の姿勢は、前記第２デバイスの前記仮想対象に対する位置及び／又は姿勢の変化に基づいて調整されることができることを特徴とする請求項１に記載の方法。
13. コンピュータープログラム製品であって、
    プロセッサにより実行される時に、請求項１～１２のいずれか一項に記載の方法を実現できることを特徴とするコンピュータープログラム製品。
14. 記憶媒体であって、
    コンピュータープログラムが記憶されており、前記コンピュータープログラムがプロセッサにより実行されると、請求項１～１２のいずれか一項に記載の方法を実現できることを特徴とする記憶媒体。
15. 電子デバイスであって、
    プロセッサとメモリを含み、前記メモリにはコンピュータープログラムが記憶され、前記コンピュータープログラムがプロセッサにより実行される時に、請求項１～１２のいずれか一項に記載の方法を実現できることを特徴とする電子デバイス。

Images