JP2020528184A - 情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体 - Google Patents

Abstract

本出願は情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体を開示している。情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体を提供し、該出願により提供される仮想シーン内のＮ個の仮想物品が互いに独立し、それぞれ対応する物品情報を有し、ユーザが独立して仮想シーンにおける仮想物品とインタラクションできるようにし、ＡＲシステムのインタラクション可能性を向上させる。

Description

本出願は、２０１７年７月２８日にて中国国家知的財産局に提出され、出願番号が２０１７１０６２９１５７４であり、発明の名称が「情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体」である中国特許出願の優先権を主張し、その全内容を本出願に参照により援用する。

本出願は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）分野に関わり、より具体的には、情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体に関わる。

ＡＲ技術は、リアルタイムにカメラの映像の位置及び角度を算出し、映像を基に画像、動画または３Ｄモデルなどの仮想情報を追加する技術である。ＡＲ技術を利用するシステムはＡＲシステムと呼ばれて、端末機器はよくみられるＡＲシステムである。ＡＲシステムは、スクリーンで、仮想世界を実世界にカバーして表示することで、ユーザの実世界に対する官能体験を強化させることを目的とする。

ＡＲシステムは、医療、軍事、工業メンテナンス及びゲームなどのいろんな分野に適用される。ＡＲシステムのゲーム分野における応用を例として、伝統のＡＲシステムはカメラによって実世界のＡＲ目標を収集または走査し、ＡＲ目標を認識した後、ＡＲ目標をめぐって、ゲーム用の仮想シーンを構築する。仮想シーンの全体はカメラにおけるＡＲ目標の空間位置の変化に連れて変化し、ユーザは仮想キー（または仮想操作レバー）によって仮想シーンにおける仮想物品を操作し制御することで、ユーザに実世界でゲームするような官能体験を提供する。

本出願は、ＡＲシステムのインタラクション可能性を向上させる情報処理方法、装置、端末機器及びコンピューター読み取り可能な記憶媒体を提供する。

情報処理方法を提供し、前記方法は、現在の端末機器により収集され、拡張現実ＡＲ目標が含まれる画像を取得することと、前記ＡＲ目標を認識し、Ｎ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成することと、前記仮想シーンから前記Ｎ個の仮想物品を分解し、前記Ｎ個の仮想物品のそれぞれ対応するように有する物品情報を生成することと、ユーザが入力した、前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新することとを含む。

また、情報処理装置を提供し、前記情報処理装置は、現在の端末機器により収集され、拡張現実ＡＲ目標が含まれる画像を取得するための取得モジュールと、前記ＡＲ目標を認識し、Ｎ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成するための生成モジュールと、前記仮想シーンから前記Ｎ個の仮想物品を分解するための分解モジュールと、前記仮想シーンから前記Ｎ個の仮想物品を分解し、前記Ｎ個の仮想物品のそれぞれ対応するように有する物品情報を生成するための物品情報発生モジュールと、ユーザが入力した、前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における、前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新するための更新モジュールとを含む。

また、端末機器を提供し、前記端末機器は、拡張現実ＡＲ目標が含まれる画像を収集するためのカメラと、前記カメラに接続されるプロセッサとを有し、
前記プロセッサはさらに、
現在の端末機器により収集され、拡張現実ＡＲ目標が含まれる画像を取得することと、前記ＡＲ目標を認識し、Ｎ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成することと、前記仮想シーンから前記Ｎ個の仮想物品を分解し、前記Ｎ個の仮想物品のそれぞれ対応するように有する物品情報を生成することと、ユーザが入力した、前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新することとを実行するために用いられる。

また、コンピューター読み取り可能な記憶媒体を提供し、前記コンピューター読み取り可能な記憶媒体には命令が記憶され、前記命令が端末機器で実行されると、端末機器に前記各項に記載の方法を実行させる。

また、命令が含まれるコンピュータープログラム製品を提供し、端末機器に実行されると、端末機器に前記各項に記載の方法を実行させる。

本出願により提供される技術案において、仮想シーン内のＮ個の仮想物品が互いに独立して、それぞれ対応する物品情報を有することで、ユーザが独立して仮想シーンにおける仮想物品とインタラクションできるようにし、ＡＲシステムのインタラクション可能性を向上させる。

伝統のＡＲゲームシステムの例示図である。 図１に示されるゲームシステムのディスプレイに表示される内容の例示図である。 本発明の実施例により提供される端末機器の構成例示図である。 本発明の実施例により提供される情報処理方法の模式的なフローチャートである。 本発明の一つの実施例により提供される仮想シーンの例示図である。 本発明の他の実施例により提供される仮想シーンの例示図である。 本発明の実施例により提供され、ＡＲのゲーム過程によるフローチャートである。 本発明の実施例により提供される情報処理装置の模式的な構成図である。 本発明の実施例により提供される端末機器の模式的な構成図である。

本発明の実施例は、端末機器のタイプを具体的に限定しない。好ましくは、いくつかの実施例において、該端末機器はネットサーフィン及び/または通話機能を有する端末機器であってもよい。例えば、該端末機器は携帯電話、タブレット、ヘッドマウントディスプレイ（ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙｓ、ＨＭＤ）、ノートパソコン、ウルトラモバイルパソコン（Ｕｌｔｒａ−ｍｏｂｉｌｅ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＵＭＰＣ）、ネットブック、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）などであってもよい。

本出願で言及されるＡＲ目標は、端末機器により認識できる実世界における一つまたは複数の目標物であってもよい。例えば、ＡＲ目標は実世界の１枚または複数枚の印刷用紙上の画像であり、また例えば、ＡＲ目標は実世界におけるある建物であり、また例えば、ＡＲ目標は実世界におけるある材質またはあるテクスチャであってもよい。ＡＲ目標は端末機器に認識された後、仮想シーンの構築をトリガーするために用いられる。例えば、ＡＲ目標を認識した後、端末機器はＡＲ目標の空間位置を参照物として、予め確立されたＡＲ目標、仮想シーン及び空間位置関係に基づき、ＡＲ目標をめぐって、仮想シーンを配置し、仮想シーンはいろんな仮想情報（例えば仮想物品、画像、動画など）を含んでもよい。ゲーム分野に適用されるＡＲシステムを例として、端末機器がＡＲ目標を認識した後、端末機器におけるゲームプログラムはＡＲ目標に基づき仮想のゲームシーンを確立でき、ゲームシーンには少なくとも一つの仮想物品が含まれ、ユーザはゲームシーンにおける仮想物品とインタラクションでき、これによって、ユーザに実世界でゲームする官能体験を与える。

なお、ゲームプログラムはゲームエンジンにより生成できる。ゲームエンジンは作成された編輯可能なパソコンゲームシステムまたはいくつかのインタラクション式のリアルタイム画像アプリケーションプログラムのコアコンポーネントを指す。ゲームエンジンはゲームのデザイナに、ゲームの作成にとって必要ないろんなツールを提供でき、ゲームのデザイナがゼロからゲームを構築する必要がなく、容易且つ速やかにゲームプログラムを作り出すようにすることを目的とする。

ＡＲ技術によるヘビゲームを例として、図１に示すように、実世界におけるＡＲ目標は、印刷用紙に印刷された芝生パターン１１であってもよい。ユーザは端末機器のカメラ（図示せず）によって、該印刷用紙を収集または走査することで、該芝生パターン１１を認識できる。ヘビゲームにとって、該芝生パターン１１はヘビの移動領域の境界として設定されるから、該芝生パターン１１を認識し、且つ芝生パターン１１の空間位置を確定した後、該芝生パターン１１に基づき仮想シーンの空間位置を確定し、仮想シーン（図１に示されるヘビ１２、土壤１３、りんご１４などを含む）を生成し、ユーザが仮想シーンでゲームすることができる。

伝統のＡＲシステムにとって、ＡＲ目標を認識し、仮想シーンを生成した後、ユーザは直接に仮想シーンにおける仮想物品とインタラクションすることができず、一定の媒介（例えば物理的または仮想のキー、操作レバー）を介して仮想シーンにおける仮想物品と間接的にインタラクションする。図２に示されるのは、ヘビゲームの仮想ゲームシーンである。図２から分かるように、ゲームシーンに入った後、ユーザは主にディスプレイ２１の両側に位置する仮想キー２２によってヘビの行動方向を制御する。実際には、伝統のＡＲシステムにおいて、ユーザがディスプレイによってシーンにおける仮想物品をタッチしても、該仮想物品は効果的なフィードバックがなく、これは仮想シーンの全体が一つの全体としてモデリングされ、仮想シーンにおけるほとんどの物品がただ表示のために存在するからであり、ユーザはＡＲシステムにより提供される固定のインターフェース、例えばディスプレイにおける仮想キーまたは仮想操作レバーなどを介して仮想シーンにおける仮想物品とインタラクションしなければならない。従って、伝統のＡＲシステムのインタラクション可能性には向上の余地がある。

以下は具体的な図面を結合し、本発明の実施例を詳しく紹介する。

図３に示すように、本発明の実施例により提供される端末機器３０は、カメラ３１と、ディスプレイ３２と、メモリー３３と、電源３４と、プロセッサ３５と、オーディオ回路３６と、無線周波（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、ＲＦ）回路３７と、ワイファイ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール３８などを含む。当業者であれば、図３に示される端末機器３０の構成は、端末機器３０に対する限定ではなく、図示より多くまたはより少ない部材を含んでもよく、あるいはいくつかの部材を組み合わせ、または異なる部材配置であってもよいことを理解できる。

以下、端末機器３０の各々構成部材を具体的に紹介し、
カメラ３１は、実世界を走査することで、ＡＲ目標が含まれる画像を収集することによって、ＡＲ目標をめぐって仮想シーンを確立するように端末機器をトリガーする。ＡＲゲームシステムを例として、カメラ３１がＡＲ目標を収集した後、仮想のゲームシーンを確立するように、端末機器３０におけるゲームプログラムをトリガーできる。

ディスプレイ３２は、普通のディスプレイであってもよく、タッチディスプレイ（タッチパネルとも呼ばれる）であってもよい。ディスプレイ３２がタッチディスプレイであることを例として、ディスプレイ３２は、ユーザのその上のタッチ操作またはその近傍のタッチ操作（例えばユーザの指、スタイラスなどのいずれかの適当な物体または付属品によるディスプレイ３２上またはディスプレイ３２の近傍の操作）を収集し、予め設定されたプログラムに応じて相応的な接続装置を駆動する。好ましくは、 ディスプレイ３２はタッチ検出装置とタッチコントローラという二つの部分を含むことができる。タッチ検出装置は、ユーザのタッチ位置（またはタッチ領域）を検出し、タッチ操作による信号を検出し、信号をタッチコントローラに送信できる。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、それを接触点座標に変換してから、プロセッサ３５に送信し、プロセッサ３５から送信された命令を受信するとともに実行できる。また、抵抗式、コンデンサー式、赤外線及び弾性表面波などのいろんなタイプでディスプレイ３２を実現できる。無論、ディスプレイ３２以外、端末機器３０はさらに他の入力機器を含んでもよく、物理キーボード、機能キー（例えば音量制御キー、電源スイッチキーなど）、トラックボール、マウス、操作レバーなどのうちの１種または多種を含んでもよいが、これらに限定されない。

メモリー３３は、ソフトウェアプログラム及びモジュールを記憶するために用いられ、プロセッサ３５はメモリー３３に記憶されるソフトウェアプログラム及びモジュールを実行することで、端末機器３０のいろんな機能アプリケーション及びデータ処理を実行する。プログラム記憶領域はゲームプログラムの実行過程で生成されたデータを一時に記憶し、またはユーザから入力されたデータなどを記憶するために用いられる。また、メモリー３３は高速ランダムアクセスメモリーを含んでもよく、さらに不揮発性メモリー、例えば少なくとも一つの磁気ディスクメモリー部品、フラッシュメモリ部品、または他の揮発性固体メモリー部品を含んでもよい。ＡＲゲームシステムを例として、メモリー３３はゲームプログラムを記憶するために用いられる。ユーザと仮想シーンにおけるいくつかの仮想物品との直接的なインタラクション（例えば直接的なクリックまたはスライド）を実現するために、メモリー３３において、それぞれこれらの仮想物品に対して記憶領域を配置し、これらの仮想物品の物品情報を単独に維持することができる。仮想物品の物品情報は、例えば該仮想物品の状態情報を含んでもよく、色、位置、形状、大きさなどの仮想物品の情報のうちの少なくとも一つを含んでもよい。ある仮想物品がユーザに操作されることで、その状態情報が変更される場合に、プロセッサ３５はメモリー３３に記憶される該仮想物品の状態情報をリアルタイムに更新できる。仮想物品の状態情報以外、仮想物品の物品情報には仮想物品のラベル情報（該仮想物品の識別のために用いられる）、空間位置情報などが含まれてもよく、本発明の実施例はこれを具体的に限定しない。

電源３４は、電源管理システムを介してプロセッサ３５に論理的に接続されることで、電源管理システムによって、充電、放電、及び消費電力の管理などの機能を実現できる。

プロセッサ３５は、端末機器３０の制御中心であり、いろんなインターフェースと回路によって、全体の端末機器３０の各々部分を接続し、メモリー３３内に記憶されるソフトウェアプログラム及び/またはモジュールを実行し、及びメモリー３３内に記憶されるデータを呼び出すことで、端末機器３０のいろんな機能を実行し、データを処理し、端末機器３０に対して全体的に監視する。好ましくは、プロセッサ３５は一つまたは複数の処理ユニットを含んでもよく、プロセッサ３５にはアプリケーションプロセッサとモデムプロセッサが集積され、アプリケーションプロセッサは主にオペレーティングシステム、ユーザインタフェースとアプリケーションプログラムなどを処理し、モデムプロセッサは主に無線通信を処理してもよい。前記モデムプロセッサはプロセッサ３５に集積されていなくてもよいことは理解できる。

オーディオ回路３６、スピーカー４１、マイクロフォン４２は、ユーザと端末機器３０との間のオーディオインターフェースを提供できる。オーディオ回路３６は、受信されたオーディオデータを変換後の電気信号を、スピーカー４１に送信し、スピーカー４１によって音声信号に変換して出力する。一方、マイクロフォン４２は、収集された音声信号を電気信号に変換し、オーディオ回路３６によって受信した後、オーディオデータに変換し、そしてオーディオデータをＲＦ回路３７に出力し、例えば他の端末機器に送信し、またはオーディオデータをメモリー３３に出力することで、さらに処理する。ＡＲゲームシステムを例として、ゲームシーンに入った後、端末機器３０はスピーカー４１によりゲーム音声を再生し、ユーザはマイクロフォン４２を介して他のプレイヤーと音声の交流を行うことができる。

ＲＦ回路３７は、情報の送受信、または通話過程での信号の送受信のために用いられ、特に、基地局のダウンリンク情報を受信すると、プロセッサ３５に処理させ、また、アップリンクのデータを基地局に送信する。一般的には、ＲＦ回路３７には、アンテナと、少なくとも一つの増幅器と、送受信機器と、結合器と、ＬＮＡ（ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ、ローノイズアンプ）と、デュプレクサなどが含まれるがこれらに限定されない。また、ＲＦ回路３７はさらに無線通信を介してネットワーク及び他の機器と通信することができる。前記無線通信は、いずれかの通信規格または規約を利用することができ、モバイル通信用グローバルシステム（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｏｆ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ（登録商標））、汎用パケット無線サービス（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続 （ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ ＷＣＤＭＡ（登録商標））、長期進化（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、ＮＲ（ｎｅｗ ｒａｄｉｏ）、メール、ショートメッセージサービス（ｓｈｏｒｔ ｍｅｓｓａｇｉｎｇ ｓｅｒｖｉｃｅ、ＳＭＳ）などが含まれるがこれらに限定されない。

ユーザは、ＷｉＦｉモジュール３８を介してローカルエリアネットワークに接続されるとともに、リアルタイムにデータのインタラクションを行う。ＡＲゲームシステムを例として、ＷｉＦｉモジュール３８を介して、ユーザはローカルエリアネットワークにおける他のユーザと、同一の仮想シーンでゲームすることができる。ゲームの過程で、ユーザの間はＷｉＦｉモジュール３８を介してリアルタイムにゲームのデータインタラクションを行う。例えば、あるユーザが仮想シーンにおけるある仮想物品に対してタッチ制御操作を行うことで、該仮想物品の物品情報が変更される場合に、該ユーザはＷｉＦｉモジュール３８を介して他のユーザの端末機器に指示情報を送信することで、該仮想物品の物品情報を更新するように、他のユーザの端末機器に指示することができ、これによって、各々ユーザの端末機器に記憶される該仮想物品の物品情報を一致に保持する。

図４は、本発明の実施例により提供される情報処理方法の模式的なフローチャートである。図４の方法は現在の端末機器、または現在の端末機器におけるプロセッサによって実行され、該現在の端末機器は、例えば、図３に示される端末機器３０であってもよい。

図４の方法は、以下のステップを含み、即ち、
４１０、端末機器が現在の端末機器により収集され、ＡＲ目標が含まれる画像を取得する。

例えば、現在の端末機器のカメラによって、実世界を走査することで、 ＡＲ目標が含まれる画像を取得できる。

４２０、端末機器は画像におけるＡＲ目標を認識し、それぞれ対応する物品情報を有するＮ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成する。

好ましくは、いくつかの実施例において、ステップ４２０は、端末機器がＡＲ目標の空間位置情報を取得することと、ＡＲ目標の空間位置情報、及び予め確立されたＡＲ目標の空間位置情報と仮想シーンの空間位置情報との逐一対応の関係に基づき、仮想シーンを生成することを含む。

具体的には、ＡＲ技術にとって、一般的には、仮想シーンがＡＲ目標をめぐって確立され、仮想シーンの空間位置とＡＲ目標の空間位置とが対応関係（またはバインディング関係）を有する。従って、仮想シーンを生成するために、一般的には、まず画像にＡＲ目標が含まれるかどうかを確定してから、ＡＲ目標の空間位置情報を取得する必要がある。画像にＡＲ目標が含まれるかどうかを確定する方式は複数あり、一つの例として、いくつかの画像認識アルゴリズムによって、画像にＡＲ目標が含まれるかどうかを確定できる。例えば、ＡＲ目標の物体特徴を予め記録してもよい。ユーザが現在の端末機器のカメラによって、実世界に対して画像の収集を行う過程で、現在の端末機器は画像認識アルゴリズムによって、画像に出現される物体を認識できる。ある物体の物体特徴が予め記録されたＡＲ目標の物体特徴と同様であると認識すれば、画像からＡＲ目標を認識したと判定することができる。

さらに、画像にＡＲ目標が含まれると認識すると、ＡＲ目標の画像における位置及びカメラの現在の視野角に応じて、ＡＲ目標の空間位置を確定できる。そして、ＡＲ目標の空間位置を確定した後、ＡＲ目標の空間位置、及び予め記録されたＡＲ目標の空間位置と仮想シーンの空間位置との対応関係に応じて、仮想シーンの空間位置を確定し、さらに仮想シーンの空間位置に仮想シーンを生成することができる。前記ステップによって、仮想と現実を融合させるＡＲシーンを形成でき、該ＡＲシーンには実世界の情報（例えばＡＲ目標）と仮想情報（仮想シーンにおける仮想物品）とが含まれる。

理解すべきなのは、ＡＲ目標の空間位置情報は、ＡＲ目標の実世界（または物理空間）における空間位置（例えば実世界における三次元座標）を指示するために用いられる。それで、仮想シーンの空間位置情報は、仮想シーンの実世界（または物理空間）における空間位置（例えば実世界における三次元座標）を指示するために用いられる。一つの例として、仮想シーンの空間位置情報は仮想シーンとＡＲ目標との相対的な位置関係によって示される。

ステップ４３０、端末機器は仮想シーンから複数の仮想物品を分解する。

ステップ４２０によって生成された仮想シーンには複数の仮想物品が含まれ、この場合、該仮想シーンは一つの完全なモデルであってもよく、後述のインタラクションタスクを実現するために、まず複数の仮想物品を仮想シーンから分解しなければならない。

一つの例として、全体的に仮想シーンを生成してから、仮想シーンからＮ個の仮想物品を分解することができる。例えば、ＡＲシステムの設計段階で、まず仮想シーンからユーザが単独にインタラクションするためのＮ個の仮想物品を選択する。そして、一定のモデル分割アルゴリズムによって、仮想シーンのモデルから該Ｎ個の仮想物品のサブモデルを抽出する。そして、該Ｎ個の仮想物品のサブモデルデータを仮想シーンのモデルデータに保存して、ＡＲシステムの実際の実行の際に呼び出すことができる。ＡＲシステムの実際の実行の段階で、ＡＲ目標を認識すると、まず仮想シーンの全体のモデルを呼び出し、仮想シーンを生成することができる。そして、仮想シーンのモデルデータからＮ個の仮想物品のそれぞれ対応するサブモデルデータを抽出することができる。仮想シーンのモデルデータから、Ｎ個の仮想物品のそれぞれ対応するサブモデルデータを取得することは、仮想シーンからＮ個の仮想物品を分解することに相当し、次は、Ｎ個の仮想物品に対して、独立の表示と制御を行うことができる。

ステップ４４０、端末機器は、前記Ｎ個の仮想物品がそれぞれ対応するように有する物品情報を生成する。

理解すべきなのは、Ｎ個の仮想物品とインタラクションする前に、まずＮ個の仮想物品の物品情報を生成及び記憶しなければならない。実際のインタラクション過程で、独立してＮ個の仮想物品の物品情報を維持または更新し、ユーザが単独で各々仮想物品とインタラクションすることができるようにする。

仮想物品の物品情報に仮想物品のラベル情報と、空間位置情報と、状態情報とが含まれることを例として、仮想シーンからＮ個の仮想物品を分解した後、該Ｎ個の仮想物品における各々仮想物品にラベル（仮想物品の識別のために用いられる）を配布し、各々仮想物品の現在の空間位置と現在の状態を確定することができる。そして、各々仮想物品のラベル、現在の空間位置及び現在の状態に応じて該仮想物品の物品情報におけるラベル情報、空間位置情報及び状態情報に値を割り当て、該仮想物品の空間位置情報、ラベル情報及び状態情報の初期値を取得することができる。ユーザがある仮想物品を操作することで、該仮想物品の空間位置及び/または状態が変更される場合に、該仮想物品の空間位置情報及び/または状態情報の値の記録を変更する変化によって、ユーザと仮想物品との単独なインタラクションを実現する。

ステップ４５０、端末機器がユーザから入力され、前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における、前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持し、前記目標仮想物品の物品情報を更新する。

伝統のＡＲシステムにとって、仮想シーンは一つの全体としてモデリングされる。従って、仮想シーンにおける仮想物品が互いに関連し、一つの全体を形成し、ユーザが仮想シーンにおけるある仮想物品と単独にインタラクションすることができない。本発明の実施例は仮想シーンにおけるＮ個の仮想物品に対して、互いにデカップリングし、Ｎ個の仮想物品のモデルが互いに独立して、それぞれ対応する物品情報を有する。このように、ユーザが単独にある仮想物品とインタラクションする際に、他の仮想物品の物品情報をそのまま保持して、該仮想物品のみの物品情報を変更することができる。

本発明の実施例において、仮想シーン内のＮ個の仮想物品が互いに独立して、それぞれ対応する物品情報、例えば状態情報、ラベル情報などを有し、ユーザが独立して仮想シーンにおける仮想物品とインタラクションすることで、他の仮想物品の状態、ラベルなどに影響を与えず、ある仮想物品と単独にインタラクションできるようにし、ＡＲシステムのインタラクション可能性を向上させる。

仮想物品の物品情報には仮想物品の以下の情報のうちの少なくとも一つが含まれ、即ち、空間位置情報、状態情報及びラベル情報である。仮想物品のラベル情報は該仮想物品を識別し、または該仮想物品と他の仮想物品を区別するために用いられる。仮想物品の空間位置情報は該仮想物品の空間位置、例えば仮想物品の実世界における三次元座標を指示するために用いられる。仮想物品の空間位置情報は、例えば該仮想物品とＡＲ目標の空間位置との相対的な関係により示される。仮想物品の状態情報は、仮想物品の現在の状態を指示するために用いられる。仮想物品の状態情報には仮想物品の形状、色などが含まれてもよい。仮想物品の状態情報は実際の必要に応じて設定すればよく、本発明の実施例はこれを具体に限定しない。例えば、仮想物品が窓のガラスであり、ユーザがガラスをクリックすることで砕くと、該仮想物品の状態情報は該ガラスが砕かれているかどうかを指示するために用いられる。

なお、本発明の実施例において、Ｎ個の仮想物品は互いに独立するモデルを有してもよい。以下はＮ個の仮想物品の生成方式を詳しく紹介する。

本発明の実施例は、ステップ４５０における操作命令のタイプを具体的に限定せず、物理キーまたは仮想キーにより入力される操作命令であってもよく、ユーザが現在の端末機器のディスプレイにより入力したタッチ操作命令であってもよい。以下はステップ４５０における操作命令がタッチ操作命令であることを例として例示して説明する。

好ましくは、いくつかの実施例において、ステップ４５０の前に、図４の方法はさらに前記タッチ操作命令に対応するタッチ位置情報を取得することと、前記Ｎ個の仮想物品の物品情報から、前記Ｎ個の仮想物品の空間位置情報を抽出することと、前記Ｎ個の仮想物品の空間位置情報に応じて、前記Ｎ個の仮想物品の、前記ディスプレイにおける表示位置情報を確定することと、前記タッチ位置情報と前記表示位置情報に応じて、前記Ｎ個の仮想物品から、前記タッチ操作命令のターゲットである前記目標仮想物品を選択することとを含む。

本発明の実施例により提供される技術案は、ユーザと各々仮想物品とが独立のタッチインタラクションを行うように支持し、ＡＲシステムのインタラクション可能性をさらに向上させる。

ＡＲシステムにとって、仮想シーンの空間位置がカメラの移動に連れて変更されるから、ユーザが異なる時刻でディスプレイの同一のタッチ位置に入力したタッチ操作命令は、異なる目標仮想物品に対する可能性がある。従って、ＡＲシステムの実行過程で、まずＮ個の仮想物品の空間位置情報に応じて、Ｎ個の仮想物品のディスプレイにおける表示位置情報を確定することができる。そして、表示位置が該タッチ位置にある仮想物品を、タッチ操作命令のターゲットである目標仮想物品として確定することができる。仮想物品の、ディスプレイにおける表示位置情報の確定方式は複数があり、本発明の実施例はこれを具体的に限定せず、例えば、仮想物品の空間位置情報に基づき、仮想物品の空間位置をユーザの現在の視野角に沿ってディスプレイに投影し、該仮想物品のディスプレイにおける表示位置情報を取得することができる。

理解すべきなのは、本発明の実施例はタッチ操作命令に対応するタッチ操作のタイプを具体的に限定しない。例えば、タッチ操作には、クリック操作、スライド操作、ピンチアウト操作、ピンチイン操作、回転操作のうちの少なくとも一つが含まれてもよい。

さらに、本発明の実施例は、タッチ操作命令の機能を具体的に限定せず、実際の必要に応じて設定すればよい。一つの例として、タッチ操作はクリック操作であり、タッチ操作命令が、目標仮想物品をクリック方向にスライドさせるように制御するために用いられる。さらに、目標仮想物品のスライド距離がクリック操作の操作強度に正比例してもよい。他の例として、タッチ操作はクリック操作であり、タッチ操作命令が目標仮想物品を変形させるように制御するために用いられる。さらに、目標仮想物品の変形程度がクリック操作の操作強度に正比例してもよい。他の示例として、タッチ操作はスライド操作であり、タッチ操作命令が目標仮想物体をスライド軌跡に沿ってスライドさせるように制御するために用いられる。さらなる示例として、タッチ操作はスライド操作であり、タッチ操作命令がスライド軌跡を経た前記目標仮想物品を仮想シーンから削除するために用いられる。

理解すべきなのは、目標仮想物品は一つの仮想物品であってもよく、複数の仮想物品であってもよい。目標仮想物品は、タッチ操作命令のターゲットである仮想物品、またはタッチ操作命令の操作対象として理解されてもよい。

図５を例として、ＡＲ目標が大理石テクスチャの床面であると想定し、現在の端末機器がカメラにより大理石テクスチャの床面が含まれる画像を収集し、画像における大理石テクスチャの床面を認識することで、図５に示される仮想シーンを確立することができる。該仮想シーンには仮想物品１と、仮想物品２と、仮想物品３と、仮想物品４と、仮想物品５などの仮想物品が含まれる。タッチ操作が図５に示される仮想物品５に対するクリック操作であり、該クリック操作の操作命令の作用が、仮想物品５の高さを押圧することであると想定し、現在の端末機器が、該クリック操作の操作命令を実行した後、仮想物品５の高さが図５に示される高さから、図６に記載の高さに低くなる。

図４の方法をＡＲゲームシステムに適用することを例として、本発明の実施例は、ディスプレイを介して仮想シーンにおける物品と直接的なタッチインタラクションを行うＡＲゲームシステムを提供することに相当する。このようなゲームシステムは、プレイヤーに、実世界でゲームにおけるタスク物品をタッチ制御するような体験を発生させる。さらに、該ゲームシステムはタッチ制御されたタスク物品の物品情報をリアルタイムに更新し、プレイヤーのタッチ制御操作に対してリアルタイムのフィードバックを行うことができる。

好ましくは、いくつかの実施例において、図４の方法はさらに、他の端末機器に、目標仮想物品の物品情報を更新するように他の端末機器に指示するための第１指示情報を送信することで、他の端末機器に記憶される目標仮想物品の物品情報と現在の端末機器に記憶される目標仮想物品の物品情報とを一致に保持することを含む。

本発明の実施例は、第１指示情報の内容を具体的に限定しない。一つの例として、第１指示情報には、目標仮想物品の、現在の端末機器における物品情報が含まれてもよい。他の端末機器が第１指示情報を受信すると、直接的に該第１指示情報における物品情報を利用して、目標仮想物品の、他の端末機器における物品情報を差し替えればよい。他の例として、第１指示情報には、目標仮想物品は、どのタイプのタッチ操作が実行されるかを指示する情報が含まれてもよい。他の端末機器が第１指示情報を受信すると、目標仮想物品に対して同じタッチ操作を実行することで、目標仮想物品の他の端末機器における物品情報と、目標仮想物品の現在の端末機器における物品情報とを一致に保持する。

同様に、他の端末機器のユーザが、同一の仮想シーンにおける少なくとも一つの仮想物品に対してタッチ操作を実行することで、該少なくとも一つの仮想物品の物品情報が変更される場合にも、指示情報を送信する方式で、仮想シーンにおける各々仮想物品の物品情報を同期にするように、現在の端末機器と他の端末機器とに指示することができる。

具体的には、図４の方法はさらに、他の端末機器から送信され、Ｎ個の仮想物品における少なくとも一つの仮想物品の物品情報を更新するように現在の端末機器に指示するための第２指示情報を受信することと、第２指示情報に応じて、少なくとも一つの仮想物品の物品情報を更新することで、現在の端末機器に記憶される少なくとも一つの仮想物品の物品情報と他の端末機器に記憶される少なくとも一つの仮想物品の物品情報とを一致に保持することとを含む。

本発明の実施例は、第２指示情報の内容を具体的に限定しない。一つの例として、第２指示情報には、少なくとも一つの仮想物品の他の端末機器における物品情報が含まれてもよい。現在の端末機器が第２指示情報を受信すると、直接的に該第２指示情報における物品情報を利用して、少なくとも一つの仮想物品の現在の端末機器における物品情報を差し替えればよい。他の例として、第２指示情報には、少なくとも一つの仮想物品は、どのタイプのタッチ操作が実行されるかを指示する情報が含まれてもよい。現在の端末機器が第２指示情報を受信すると、少なくとも一つの仮想物品に対して同じタッチ操作を実行することで、少なくとも一つ仮想物品の現在の端末機器における物品情報と、少なくとも一つの仮想物品の他の端末機器における物品情報とを一致に保持することができる。

本発明の実施例によれば、複数のユーザに同一の仮想シーンにおける仮想物品とインタラクションさせることができる。仮想シーンにおけるある仮想物品があるユーザに操作され、新たな物品情報が生じた後、該仮想物品の物品情報は、他のユーザの端末機器にフィードバックまたは同期され、ＡＲシステムのインタラクション方式を豊かにして、ユーザの官能体験を向上させる。

ＡＲゲームシステムを例として、本発明の実施例は、複数のプレイヤーが同一のゲームタスクを実行するように許可するＡＲゲームシステムを提供することに相当する。ゲームの過程で、あるプレイヤーにより実行されたタスクは、即時に他のプレイヤーのゲームインタフェースにフィードバックされ、プレイヤーのゲーム体験を向上させる。

理解すべきなのは、本発明の実施例は、現在の端末機器と他の端末機器との間の通信方式を具体的に限定せず、有線接続の方式または無線接続の方式を採用してもよい。一つの例として、現在の端末機器と他の端末機器とがＷｉＦｉに基づき接続されてもよい。

以下は、図５〜図７を結合し、ＡＲシステムがゲームシーンに適用されることを例として、本発明の実施例をより詳しく記載する。なお、図５〜図７の例は、本発明の実施例を例示される具体的な値またはシーンに限定するためのものではなく、ただ当業者の、本発明の実施例への理解に寄与する。

図７は、本発明の実施例により提供されるＡＲによるゲーム過程の模式的なフローチャートである。

７０２、端末機器はＡＲ目標が含まれる画像を収集する。

図５に示すように、ＡＲ目標は図５における大理石の床面であってもよい。端末機器はカメラにより該大理石床面を走査することで、仮想のゲームシーンを生成するように、端末機器におけるゲームプログラムをトリガーすることができる。

７０４、端末機器は仮想のゲームシーンを生成する。

図５に示すように、ゲームシーン（仮想物品１〜５などからなる）と大理石の床面との間の空間位置は、バインディングの関係を有するから、大理石の床面を認識し、大理石の床面の空間位置を確定すると、ゲームシーンの空間位置を確定することができる。そして、相応的な空間位置でゲームシーンを生成することができ、仮想のゲームシーンをＡＲ目標がある実世界に添加することに相当し、仮想と現実を融合させるという効果を果たす。

７０６、端末機器はゲームシーンから複数の仮想物品を分解する。

ステップ７０４により生成されたゲームシーンには複数の仮想物品（図５に示される仮想物品１〜５）が含まれ、該ゲームシーンは一つの完全なモデルであってもよく、後述のゲームのインタラクションタスクを実現するために、まず複数の仮想物品をゲームシーンから分解しなければならない。

具体的には、ゲームの設計段階で、まずゲームタスクの必要に応じて、ゲームシーンにおけるいくつかの仮想物品を、インタラクション可能な仮想物品として選択する。そして、手動方式または３Ｄモデリングソフトウェアによってゲームシーンの全体モデルを分解することで、仮想物品のサブモデルデータを取得する。次は、仮想物品のサブモデルデータをゲームシーンのモデルデータに添加し、ゲームの実行段階で利用される。ゲームの実行段階で、ゲームプログラムはまずゲームシーンの全体モデルを生成してから、ゲームシーンのモデルデータから仮想物品のサブモデルデータを読み取り、このように、速やかにゲームシーンから複数の仮想物品を分解することができる。

７０８、端末機器は複数の仮想物品の物品情報を算出し記憶する。

図５に示すように、まず分解された各々仮想物品にラベルを配布することで、各々仮想物品の身分を示し、例えば図５の仮想物品１、仮想物品２などである。

そして、ゲームシーンの空間位置情報、及び各々仮想物品のゲームシーンにおける相対的な位置に応じて、各々仮想物品の独立の空間位置を算出する。伝統ＡＲ技術において、仮想シーンは常に全体でモデリングされるように保持されるから、仮想シーンの空間位置とＡＲ目標の空間位置のみを記録し、本発明の実施例はＡＲ目標の空間位置だけではなく、各々仮想物品の空間位置も記録し、「１対１」という対応関係から、「１対多」という対応関係に変更することに相当する。

さらに、分解された仮想物品の状態を記録する。理解すべきなのは、仮想物品の状態はゲームタスクと関係があり、実際の必要に応じて自由に設定すればよい。例えば、本発明の実施例は、速やかに各々仮想物品をクリックし、各々仮想物品を押し潰すようにゲームタスクを設定すれば、仮想物品の状態が仮想物品の高さである。

次は、以上の算出された各々仮想物品のラベル、空間位置及び仮想物品の状態に基づき、仮想物品の物品情報におけるラベル情報、空間位置情報、状態情報に値を割り当て、仮想物品の初期の物品情報を形成することができる。そして、仮想物品の初期の物品情報をメモリーに記憶する。さらに、マルチプレイのシーンにおいて、各々プレイヤーは仮想物品の物品情報を他のプレイヤーに送信することで、各々プレイヤーの間の情報の同期を実現することができる。

７１０、端末機器はプレイヤーの、仮想シーンにおける目標仮想物品に対するタッチ操作を取得する。

図５に示すように、タッチ操作命令はクリック操作命令であってもよく、プレイヤーは異なる仮想物品をクリックすることで、異なる仮想物品を押し潰す。

７１２、端末機器は目標仮想物品にタッチ操作命令を実行し、目標仮想物品の物品情報を更新する。

図５〜６に示すように、プレイヤーが仮想物品５をクリックすれば、ゲームのプログラムは仮想物品５の高さを、図５に示される高さから、図６に示される高さに低くすることで、仮想物品５を押し潰し、他の仮想物品の高さが不変なままである。

さらに、マルチプレイのシーンにおいて、他の端末機器のプレイヤーが、他の仮想物品（例えば仮想物品２）をクリックすると、ＷｉＦｉなどの方式で、現在の端末機器に指示情報を送信する。現在の端末機器が該指示情報を受信した後、仮想物品２の物品情報を更新することで、該仮想物品２の状態情報を、押し潰された状態に更新し、複数のプレイヤーの間のゲーム過程の同期を実現する。最後は、複数のプレイヤーの、それぞれ仮想物品をクリックした数量を算出し、仮想物品をクリックした数量が最も多いプレイヤーを、ゲームの勝者として設定し、マルチプレイを実現することができる。

以下は本発明の装置の実施例を記載し、装置の実施例は前記方法を実行し得るから、詳しく記載されていない部分について、前の各方法の実施例を参照すればよい。

図８は、本発明の実施例により提供される情報処理装置の模式的な構成図である。図８の情報処理装置８００は、
現在の端末機器による収集され、拡張現実ＡＲ目標が含まれる画像を取得するための取得モジュール８１０と、
前記ＡＲ目標を認識し、Ｎ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成するための生成モジュール８２０と、
前記更新モジュール８３０が前記目標仮想物品の物品情報を更新する前に、前記仮想シーンから前記Ｎ個の仮想物品を分解するための分解モジュール８３０と、
前記Ｎ個の仮想物品のそれぞれ対応する物品情報を生成するための物品情報発生モジュール８４０と、
ユーザから入力された前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における、前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新するための更新モジュール８５０とを含む。

本発明の実施例において、仮想シーン内のＮ個の仮想物品が互いに独立して、それぞれ対応する物品情報を有し、ユーザが独立して仮想シーンにおける仮想物品とインタラクションでき、ＡＲシステムのインタラクション可能性を向上させる。

好ましくは、いくつかの実施例において、前記装置８００はさらに、他の端末機器に、前記目標仮想物品の物品情報を更新するように前記他の端末機器に指示するための第１指示情報を送信することで、前記他の端末機器に記憶される前記目標仮想物品の物品情報と前記現在の端末機器に記憶される前記目標仮想物品の物品情報とを一致に保持するための送信モジュールを含む。

好ましくは、いくつかの実施例において、前記装置８００はさらに、他の端末機器から送信された前記Ｎ個の仮想物品における少なくとも一つの仮想物品の物品情報を更新するように前記現在の端末機器に指示するための第２指示情報を受信するための受信モジュールを含み、前記更新モジュール８３０はさらに、前記第２指示情報に応じて、前記少なくとも一つの仮想物品の物品情報を更新することで、前記現在の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報と前記他の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報とを一致に保持するために用いられる。

好ましくは、いくつかの実施例において、前記装置８００はさらに、前記Ｎ個の仮想物品のそれぞれ対応する物品情報を記憶するための記憶モジュールを含む。

好ましくは、いくつかの実施例において、前記仮想シーンのモデルデータには、インタラクション可能な前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータが予め記録され、前記分解モジュールは具体的には前記仮想シーンのモデルデータから前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータを抽出するために用いられる。

好ましくは、いくつかの実施例において、具体的には、前記生成モジュール８２０は、前記ＡＲ目標の空間位置情報を取得し、前記ＡＲ目標の空間位置情報、及び予め確立された前記ＡＲ目標の空間位置情報と前記仮想シーンの空間位置情報との逐一対応の関係に応じて、前記仮想シーンを生成するために用いられ、
好ましくは、いくつかの実施例において、前記操作命令は、前記ユーザが前記現在の端末機器のディスプレイにより入力したタッチ操作命令であり、前記取得モジュール８１０はさらに、前記更新モジュール８５０が前記目標仮想物品の物品情報を更新する前に、前記タッチ操作命令に対応するタッチ位置情報を取得するために用いられ、前記装置８００はさらに、前記Ｎ個の仮想物品の物品情報から、前記Ｎ個の仮想物品の空間位置情報を抽出するための抽出モジュールと、前記Ｎ個の仮想物品の空間位置情報に応じて、前記Ｎ個の仮想物品の、前記ディスプレイにおける表示位置情報を確定するための確定モジュールと、前記タッチ位置情報と前記表示位置情報に応じて、前記Ｎ個の仮想物品から、前記タッチ操作命令のターゲットである前記目標仮想物品を選択するための選択モジュールとを含む。

好ましくは、いくつかの実施例において、前記Ｎ個の仮想物品における各々仮想物品の物品情報には、各々仮想物品の空間位置情報、状態情報及びラベル情報のうちの少なくとも一つが含まれる。

図９は、本発明の実施例により提供される端末機器の模式的な構成図である。図９の端末機器９００はカメラ９１０とプロセッサ９２０とを含む。いくつかの実施例において、該端末機器９００は、例えば図３に示される端末機器３０の実現形態を採用してもよく、カメラ９１０が端末機器３０のカメラ３１に対応し、プロセッサ９２０が端末機器３０のプロセッサ３５に対応してもよい。以下は端末機器９００の構成を詳しく記載する。

カメラ９１０は、ＡＲ目標が含まれる画像を収集するために用いられる。

プロセッサ９２０は、前記カメラ９１０に接続され、前記ＡＲ目標を認識し、仮想シーンを生成するために用いられ、前記仮想シーンにはそれぞれ対応する物品情報を有するＮ個の仮想物品が含まれ、Ｎが２以上の整数であり、前記仮想シーンから前記Ｎ個の仮想物品を分解し、前記Ｎ個の仮想物品がそれぞれ対応するように有する物品情報を生成し、ユーザから入力された前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における、前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新する。

本発明の実施例において、仮想シーン内のＮ個の仮想物品が互いに独立し、それぞれ対応する物品情報を有し、ユーザが独立して仮想シーンにおける仮想物品とインタラクションでき、ＡＲシステムのインタラクション可能性を向上させる。

好ましくは、いくつかの実施例において、前記端末機器９００はさらに、他の端末機器に、前記目標仮想物品の物品情報を更新するように前記他の端末機器に指示するための第１指示情報を送信することで、前記他の端末機器に記憶される前記目標仮想物品の物品情報と前記端末機器９００に記憶される前記目標仮想物品の物品情報とを一致に保持するための送信機を含む。

好ましくは、いくつかの実施例において、前記端末機器９００はさらに、他の端末機器から送信され、前記Ｎ個の仮想物品における少なくとも一つの仮想物品の物品情報を更新するように前記端末機器９００に指示するための第２指示情報を受信するための受信機を含み、前記プロセッサ９２０はさらに、前記第２指示情報に応じて、前記少なくとも一つの仮想物品の物品情報を更新することで、前記端末機器９００に記憶される前記少なくとも一つの仮想物品の物品情報と前記他の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報とを一致に保持する。

好ましくは、いくつかの実施例において、前記プロセッサ９２０はさらに、前記Ｎ個の仮想物品のそれぞれ対応する物品情報を記憶するために用いられる。

好ましくは、いくつかの実施例において、前記仮想シーンのモデルデータには、インタラクション可能な前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータが予め記録され、前記プロセッサ９２０は具体的には、前記仮想シーンのモデルデータから、前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータを抽出するために用いられる。

好ましくは、いくつかの実施例において、前記プロセッサ９２０は具体的には、前記ＡＲ目標の空間位置情報を取得し、前記ＡＲ目標の空間位置情報、及び予め確立された前記ＡＲ目標の空間位置情報と前記仮想シーンの空間位置情報との逐一対応の関係に応じて、前記仮想シーンを生成するために用いられる。

好ましくは、いくつかの実施例において、前記操作命令は前記ユーザが前記端末機器９００のディスプレイを介して入力したタッチ操作命令であり、前記プロセッサ９２０はさらに、前記目標仮想物品の物品情報を更新する前に、前記タッチ操作命令に対応するタッチ位置情報を取得し、前記Ｎ個の仮想物品の物品情報から、前記Ｎ個の仮想物品の空間位置情報を抽出し、前記Ｎ個の仮想物品の空間位置情報に応じて、前記Ｎ個の仮想物品の、前記ディスプレイにおける表示位置情報を確定し、前記タッチ位置情報と前記表示位置情報に応じて、前記Ｎ個の仮想物品から、前記タッチ操作命令のターゲットである前記目標仮想物品を選択するために用いられる。

好ましくは、いくつかの実施例において、前記Ｎ個の仮想物品における各々仮想物品の物品情報には、各々仮想物品の空間位置情報、状態情報及びラベル情報のうちの少なくとも一つが含まれる。

前記実施例において、全部または一部的にソフトウェア、ハードウェア、ファームウェアまたは他の任意の組み合わせで実現されてもよい。ソフトウェアによって実現される場合に、全部または一部的にコンピュータープログラム製品という形態で実現されてもよい。前記コンピュータープログラム製品には一つまたは複数のコンピューター命令が含まれる。コンピューターで前記コンピュータープログラム命令をロードし及び実行する場合に、全部または一部的に本発明の実施例に記載のフローまたは機能が発生する。前記コンピューターは汎用コンピューター、専用コンピューター、コンピューターネットワーク、または他のプログラム可能な装置であってもよい。前記コンピューター命令はコンピューター読み取り可能な記憶媒体に記憶されてもよく、または一つのコンピューター読み取り可能な記憶媒体から、他のコンピューター読み取り可能な記憶媒体に伝送されてもよく、例えば、前記コンピューター命令は一つのウェブサイト、コンピューター、サーバーまたはデータ中心から、有線（例えば同軸ケーブル、ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ））または無線（例えば赤外、無線、マイクロ波など）の方式で、他のウェブサイト、コンピューター、サーバーまたはデータ中心に伝送されてもよい。前記コンピューター読み取り可能な記憶媒体は、コンピューターがアクセスでき、利用可能ないずれかの媒体あるいは一つまたは複数の利用可能な媒体集積が含まれるサーバー、データ中心などのデータ記憶機器であってもよい。前記利用可能な媒体は磁気媒体（例えば、フロッピーディスク、ハードディスク、テープ）、光学媒体（例えば、デジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ））、または半導体媒体（例えば、ソリッドステートディスク（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ））などであってもよい。

当業者は、本明細書に開示された実施例に記載の各々例示のユニット及びアルゴリズムステップを結合して、電子ハードウェア、またはコンピューターソフトウェアと電子ハードウェアとの結合によって実現できることを理解できる。これらの機能は、ハードウェアで実行するか、それともソフトウェアという方式で実行するかということは、技術案の特定の応用及び設計制限条件に依存する。当業者は、各々特定の応用に対して、異なる方法で記載された機能を実現し得るが、このような実現は本出願の範囲を超えない。

本出願により提供されたいくつかの実施例において、理解すべきなのは、開示されたシステム、装置及び方法は、他の方式で実現されてもよい。例えば、以上に記載の装置の実施例は、ただ例示的で、例えば、前記ユニットに対する区画は、論理機能の区画だけであり、実際に実現する場合に、他の区画方式があってもよく、例えば、複数のユニットまたは部品が結合または他のシステムに集積されてもよく、あるいはいくつかの特徴を無視し、または実行しなくてもよい。また、表示または検討される互いの間の結合あるいは直接な結合あるいは通信接続は、いくつかのインターフェースを介した、装置またはユニットの間接な結合または通信接続であってもよく、電気的、機械的または他の形式であってもよい。

前記分離部材として説明されたユニットは、物理的に分割されてもよく、そうでなくてもよく、ユニットとして表示された部材は、物理ユニットであってもよく、そうでなくてもよく、即ち、一つの箇所に位置されてもよく、または複数のネットワークユニットに分布されてもよい。実際の必要に応じて、そのうちの一部または全部のユニットを選択して、本実施例の方案の目的を実現することができる。

また、本出願の各々実施例における各々機能ユニットは、一つの処理ユニットに集積されてもよく、各々ユニットは単独で物理的に存在してもよく、さらに二つまたは二つ以上のユニットが一つのユニットに集積されてもよい。

以上は、本出願の具体的な実施形態であるが、本出願の保護範囲はこれに限定されず、当業者が、本出願により開示された技術範囲内で、容易に想到し得る変更または差し替えはいずれも本出願の保護範囲に該当すべきである。従って、本出願の保護範囲は、前記請求項の範囲を基準とすべきである。

31 カメラ
32 タッチディスプレイ
33 メモリー
34 電源
35 プロセッサ
36 オーディオ回路
37 ＲＦ回路
38 ＷｉＦｉモジュール
800 情報処理装置
810 取得モジュール
820 生成モジュール
830 更新モジュール
840 物品情報生成モジュール
850 更新モジュール
900 端末機器
910 カメラ
920 プロセッサ

Claims (25)

1. 情報処理方法であって、
   端末機器が、前記端末機器により収集され、拡張現実ＡＲ目標が含まれる画像を取得することと、
   前記端末機器が、前記ＡＲ目標を認識し、Ｎ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成することと、
   前記端末機器が、前記仮想シーンから前記Ｎ個の仮想物品を分解し、前記Ｎ個の仮想物品のそれぞれ対応するように有する物品情報を生成することと、
   前記端末機器が、ユーザが入力した前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新することとを含むことを特徴とする方法。
2. 前記方法はさらに、
   前記端末機器が他の端末機器に、前記目標仮想物品の物品情報を更新するように前記他の端末機器に指示するための第１指示情報を送信することで、前記他の端末機器に記憶される前記目標仮想物品の物品情報と現在の端末機器に記憶される前記目標仮想物品の物品情報とを一致に保持することを含むことを特徴とする請求項１に記載の方法。
3. 前記方法はさらに、
   前記端末機器が、他の端末機器が送信した、前記Ｎ個の仮想物品における少なくとも一つの仮想物品の物品情報を更新するように現在の端末機器に指示するための第２指示情報を受信することと、
   前記端末機器が、前記第２指示情報に応じて、前記少なくとも一つの仮想物品の物品情報を更新することで、前記現在の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報と前記他の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報とを一致に保持することとを含むことを特徴とする請求項１または２に記載の方法。
4. 前記目標仮想物品の物品情報を更新する前に、前記方法はさらに、
   前記端末機器が、前記Ｎ個の仮想物品のそれぞれ対応する物品情報を記憶することを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
5. 前記仮想シーンのモデルデータには、インタラクション可能な前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータが予め記録され、
   前記端末機器が、前記仮想シーンから前記Ｎ個の仮想物品を分解することは、
   前記端末機器が、前記仮想シーンのモデルデータから、前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータを抽出することを含むことを特徴とする請求項１に記載の方法。
6. 前記端末機器が、前記ＡＲ目標を認識し、仮想シーンを生成することは、
   前記端末機器が、前記ＡＲ目標の空間位置情報を取得することと、
   前記端末機器が、前記ＡＲ目標の空間位置情報、及び予め確立された前記ＡＲ目標の空間位置情報と前記仮想シーンの空間位置情報との逐一対応の関係に応じて、前記仮想シーンを生成することとを含むことを特徴とする請求項１〜５のいずれか１項に記載の方法。
7. 前記操作命令は、前記ユーザが現在の端末機器のディスプレイにより入力したタッチ操作命令であり、
   前記端末機器が、前記目標仮想物品の物品情報を更新する前に、前記方法はさらに、
   前記端末機器が、前記タッチ操作命令に対応するタッチ位置情報を取得することと、
   前記端末機器が、前記Ｎ個の仮想物品の物品情報から、前記Ｎ個の仮想物品の空間位置情報を抽出することと、
   前記端末機器が、前記Ｎ個の仮想物品の空間位置情報に応じて、前記Ｎ個の仮想物品の、前記ディスプレイにおける表示位置情報を確定することと、
   前記端末機器が、前記タッチ位置情報と前記表示位置情報に応じて、前記Ｎ個の仮想物品から前記タッチ操作命令のターゲットである前記目標仮想物品を選択することとを含むことを特徴とする請求項１〜６のいずれか１項に記載の方法。
8. 前記Ｎ個の仮想物品における各々仮想物品の物品情報には、前記各々仮想物品の空間位置情報、状態情報及びラベル情報のうちの少なくとも一つが含まれることを特徴とする請求項１〜７のいずれか１項に記載の方法。
9. 情報処理装置であって、
   現在の端末機器により収集され、拡張現実ＡＲ目標が含まれる画像を取得するための取得モジュールと、
   前記ＡＲ目標を認識し、Ｎ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成するための生成モジュールと、
   前記仮想シーンから前記Ｎ個の仮想物品を分解するための分解モジュールと、
   前記仮想シーンから前記Ｎ個の仮想物品を分解し、前記Ｎ個の仮想物品のそれぞれ対応するように有する物品情報を生成するための物品情報生成モジュールと、
   ユーザが入力した前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新するための更新モジュールとを含むことを特徴とする装置。
10. 前記装置はさらに、他の端末機器に、前記目標仮想物品の物品情報を更新するように前記他の端末機器に指示するための第１指示情報を送信することで、前記他の端末機器に記憶される前記目標仮想物品の物品情報と前記現在の端末機器に記憶される前記目標仮想物品の物品情報とを一致に保持するための送信モジュールを含むことを特徴とする請求項９に記載の装置。
11. 前記装置はさらに、
    他の端末機器が送信した、前記Ｎ個の仮想物品における少なくとも一つの仮想物品の物品情報を更新するように前記現在の端末機器に指示するための第２指示情報を受信するための受信モジュールを含み、
    前記更新モジュールはさらに、前記第２指示情報に応じて、前記少なくとも一つの仮想物品の物品情報を更新することで、前記現在の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報と前記他の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報とを一致に保持するために用いられることを特徴とする請求項９または１０に記載の装置。
12. 前記装置はさらに、前記Ｎ個の仮想物品のそれぞれ対応する物品情報を記憶するための記憶モジュールを含むことを特徴とする請求項９〜１１のいずれか１項に記載の装置。
13. 前記仮想シーンのモデルデータには、インタラクション可能な前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータが予め記録され、
    前記分解モジュールは、具体的には、前記仮想シーンのモデルデータから前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータを抽出するために用いられることを特徴とする請求項９〜１２のいずれか１項に記載の装置。
14. 前記生成モジュールは、具体的には、前記ＡＲ目標の空間位置情報を取得し、前記ＡＲ目標の空間位置情報、及び予め確立された前記ＡＲ目標の空間位置情報と前記仮想シーンの空間位置情報との逐一対応の関係に応じて、前記仮想シーンを生成するために用いられることを特徴とする請求項９〜１３のいずれか１項に記載の装置。
15. 前記操作命令は、前記ユーザが前記現在の端末機器のディスプレイにより入力したタッチ操作命令であり、
    前記取得モジュールはさらに、前記更新モジュールが前記目標仮想物品の物品情報を更新する前に、前記タッチ操作命令に対応するタッチ位置情報を取得するために用いられ、
    前記装置はさらに、
    前記Ｎ個の仮想物品の物品情報から、前記Ｎ個の仮想物品の空間位置情報を抽出するための抽出モジュールと、
    前記Ｎ個の仮想物品の空間位置情報に応じて、前記Ｎ個の仮想物品の前記ディスプレイにおける表示位置情報を確定するための確定モジュールと、
    前記タッチ位置情報と前記表示位置情報に応じて、前記Ｎ個の仮想物品から、前記タッチ操作命令のターゲットである前記目標仮想物品を選択するための選択モジュールとを含むことを特徴とする請求項９〜１４のいずれか１項に記載の装置。
16. 前記Ｎ個の仮想物品における各々仮想物品の物品情報には、前記各々仮想物品の空間位置情報、状態情報及びラベル情報のうちの少なくとも一つが含まれることを特徴とする請求項９〜１５のいずれか１項に記載の装置。
17. 端末機器であって、
    拡張現実ＡＲ目標が含まれる画像を収集するためのカメラと、
    前記カメラに接続されるプロセッサとを有し、
    前記プロセッサは、
    現在の端末機器により収集された拡張現実ＡＲ目標が含まれる画像を取得することと、
    前記ＡＲ目標を認識し、Ｎ個の仮想物品が含まれる（Ｎが２以上の整数である）仮想シーンを生成することと、
    前記仮想シーンから前記Ｎ個の仮想物品を分解し、前記Ｎ個の仮想物品のそれぞれ対応するように有する物品情報を生成することと、
    ユーザが入力した、前記Ｎ個の仮想物品における目標仮想物品に対する操作命令を受信すると、前記Ｎ個の仮想物品における前記目標仮想物品以外の他の仮想物品の物品情報をそのまま保持して、前記目標仮想物品の物品情報を更新することとを実行するために用いられることを特徴とする端末機器。
18. 前記端末機器はさらに、
    他の端末機器に、前記目標仮想物品の物品情報を更新するように前記他の端末機器に指示するための第１指示情報を送信することで、前記他の端末機器に記憶される前記目標仮想物品の物品情報と前記現在の端末機器に記憶される前記目標仮想物品の物品情報とを一致に保持するための送信機を含むことを特徴とする請求項１７に記載の端末機器。
19. 前記端末機器はさらに、
    他の端末機器が送信した、前記Ｎ個の仮想物品における少なくとも一つの仮想物品の物品情報を更新するように前記現在の端末機器に指示するための第２指示情報を受信するための受信機を含み、
    前記第２指示情報に応じて、前記少なくとも一つの仮想物品の物品情報を更新することで、前記現在の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報と前記他の端末機器に記憶される前記少なくとも一つの仮想物品の物品情報とを一致に保持することを特徴とする請求項１７または１８に記載の端末機器。
20. 前記プロセッサはさらに、
    前記Ｎ個の仮想物品のそれぞれ対応する物品情報を記憶するように実行するために用いられることを特徴とする請求項１７〜１９のいずれか１項に記載の端末機器。
21. 前記仮想シーンのモデルデータには、インタラクション可能な前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータが予め記録され、
    前記プロセッサはさらに、
    前記仮想シーンのモデルデータから、前記Ｎ個の仮想物品のそれぞれ対応するサブモデルデータを抽出するように実行するために用いられることを特徴とする請求項１７〜２０のいずれか１項に記載の端末機器。
22. 前記プロセッサはさらに、
    前記ＡＲ目標の空間位置情報を取得することと、
    前記ＡＲ目標の空間位置情報、及び予め確立された前記ＡＲ目標の空間位置情報と前記仮想シーンの空間位置情報との逐一対応の関係に応じて、前記仮想シーンを生成することとを実行するために用いられることを特徴とする請求項１７〜２１のいずれか１項に記載の端末機器。
23. 前記操作命令は、前記ユーザが前記現在の端末機器のディスプレイにより入力したタッチ操作命令であり、
    前記プロセッサはさらに、
    前記タッチ操作命令に対応するタッチ位置情報を取得することと、
    前記Ｎ個の仮想物品の物品情報から、前記Ｎ個の仮想物品の空間位置情報を抽出することと、
    前記Ｎ個の仮想物品の空間位置情報に応じて、前記Ｎ個の仮想物品の前記ディスプレイにおける表示位置情報を確定することと、
    前記タッチ位置情報と前記表示位置情報に応じて、前記Ｎ個の仮想物品から、前記タッチ操作命令のターゲットである前記目標仮想物品を選択することとを実行するために用いられることを特徴とする請求項１７〜２２のいずれか１項に記載の端末機器。
24. 前記Ｎ個の仮想物品における各々仮想物品の物品情報には、前記各々仮想物品の空間位置情報、状態情報及びラベル情報のうちの少なくとも一つが含まれることを特徴とする請求項１７〜２３のいずれか１項に記載の端末機器。
25. コンピューター読み取り可能な記憶媒体であって、
    前記コンピューター読み取り可能な記憶媒体には命令が記憶され、当該命令が端末機器で実行される場合に、端末機器に請求項１〜８のいずれか１項に記載の方法を実行させることを特徴とするコンピューター読み取り可能な記憶媒体。