JP2022505998A

JP2022505998A - 拡張現実データの提示方法、装置、電子機器及び記憶媒体

Info

Publication number: JP2022505998A
Application number: JP2020573244A
Authority: JP
Inventors: 侯欣如; 石盛▲傳▼; 李国雄
Original assignee: ベイジンセンスタイムテクノロジーデベロップメントカンパニー，リミテッド
Priority date: 2019-10-15
Filing date: 2020-08-27
Publication date: 2022-01-17
Also published as: KR20230022269A; US20210118235A1

Abstract

本開示の実施例は、拡張現実データの提示方法、装置、電子機器及び記憶媒体を提供し、当該方法は、現実シーンデータを取得することと、前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示することとを含む。

Description

本願は、２０１９年１０月１５日に中国特許局に提出された、出願番号がＣＮ２０１９１０９７９９１２．０である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本開示は、拡張現実の技術分野に関し、具体的に、拡張現実データの提示方法、装置、電子機器及び記憶媒体に関する。

拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）技術は、シミュレーションを通じてエンティティ情報（視角情報、音声、触感など）を実世界に重ね合わせることにより、実環境と仮想の物体をリアルタイムで同じ画面や空間に提示する。ＡＲ機器によって提示された拡張現実シーンの効果の最適化及びユーザとのインタラクションの改善はますます重要になっている。

これに鑑みて、本開示の実施例は、拡張現実データを提示するための技術的解決策を提供する。

第１態様によれば、本開示の実施例は、拡張現実データの提示方法を提供し、前記方法は、
現実シーンデータを取得することと、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定することと、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示することとを含む。

上記の方法を通じて、識別された現実シーンデータ内の異なるターゲットエンティティオブジェクトの属性情報に基づいて、仮想対象の特殊効果データを決定し、現実シーンに統合された仮想対象の特殊効果データをＡＲ機器に表示することができ、それにより、仮想対象的の表示を現実シーンデータにおける目標実物データの属性情報と一致させることができ、拡張現実シーンの表示効果が向上する。

一可能な実施形態において、前記現実シーンデータは、現実シーン画像を含み、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別する前に、前記方法は、
現実シーンにおける前記ＡＲ機器のポーズデータを検出することであって、前記ポーズデータは、現実シーンにおける前記ＡＲ機器の位置情報および／または撮影角度を含むことと、
前記現実シーン画像に表示された少なくとも１つのエンティティオブジェクトのうち、前記ポーズデータに一致するターゲットエンティティオブジェクトを決定することとをさらに含む。

上記の実施形態により、ＡＲ機器のポーズデータに基づいて、当該ポーズデータと一致する現実シーンの注意対象、即ち、ターゲットエンティティオブジェクトを決定することができるため、当該ターゲットエンティティオブジェクトの属性と一致する仮想対象の特殊効果状態を表示し、それにより、仮想対象の特殊効果データが現実シーンによりよく統合される。

一可能な実施形態において、上記の方法は、
撮影された参照エンティティオブジェクトの姿勢を識別することと、
前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得することと、
現在前記ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新することであって、前記第１目標拡張現実データは、前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含むこととをさらに含む。

ここで、前記参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む。

ここで、参照エンティティオブジェクトの顔の表情および／または体の動きを取得することにより、拡張現実データにおける仮想対象の特殊効果データを動的に更新することができるため、提示された拡張現実シーンが、参照エンティティオブジェクトと仮想対象との間のインタラクション効果を表示することができるよにし、それにより、提示効果がよりリアルになる。

一可能な実施形態において、前記撮影された参照エンティティオブジェクトの姿勢を識別することは、
現実シーンにおける前記ＡＲ機器の位置情報と前記現実シーンにおける前記仮想対象の対応する位置情報との間の距離を検出することと、
前記距離がプリセットの距離範囲内である場合に、撮影された参照エンティティオブジェクトの姿勢を識別することとを含む。

現実シーンにはいくつかの姿勢を示すいくつかのエンティティオブジェクトがある可能性があるが、これらのエンティティオブジェクトは仮想対象と相互作用していない可能性があるため、上記の実施形態を使用することにより、不要な識別処理や姿勢更新処理を減らし、処理リソースを節約することができる。

一可能な実施形態において、前記撮影された参照エンティティオブジェクトの姿勢を識別することは、
事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、前記現実シーン画像に表示された前記参照エンティティオブジェクトの姿勢を取得することを含む。

一可能な実施形態において、前記方法は、
前記ＡＲ機器に作用するトリガ操作に応答することと、
前記トリガ操作に一致する仮想対象の特殊効果データを取得することと、
現在前記ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新することであって、前記第２目標拡張現実データは、前記トリガ操作に一致する仮想対象の特殊効果データを含むこととさらにを含む。

ここで、前記トリガ操作は、前記ＡＲ機器の画面に作用する操作、音声入力および前記ＡＲ機器のポーズの変更のうちの少なくとも１つを含む。

上記の実施形態により、仮想対象の表示効果を豊かにし、拡張現実（ＡＲ）機器により多くのインタラクション方法を提供し、拡張現実シーン内のインタラクション能力を向上させることができる。

一可能な実施形態において、前記方法は、
ナビゲーション要求に応答して、現実シーンにおける前記ＡＲ機器の現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を取得することと、
前記現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成することであって、前記ナビゲーションルート内のウェイポイントは、現実シーンにおける前記仮想対象の位置を含むことと、
前記ナビゲーションルートの指示データを含む拡張現実データを前記ＡＲ機器に表示することと、さらにを含む、
請求項１ないし８のいずれか一項に記載の拡張現実データの提示方法。

一可能な実施形態において、
前記属性情報に一致する仮想対象の特殊効果データを決定することは、
現実シーンにおける前記ＡＲ機器のポーズデータを取得することと、
現実シーンにおける前記ＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記属性情報に一致する前記仮想対象の特殊効果データを決定することとを含む。

上記の３次元シーンモデルは現実シーンを表すことができ、３次元シーンモデルに基づいて構築された仮想対象のポーズデータは現実シーンによりよく統合され、３次元シーンモデルにおける当該仮想対象のポーズデータから、ＡＲ機器のポーズデータに一致する仮想対象の特殊効果データを決定し、それにより、仮想対象の特殊効果データの表示を現実シーンによりよく適させる。

第２態様によれば、本開示の実施例は、拡張現実データの提示装置を提供し、前記装置は、
現実シーンデータを取得し、前記現実シーンデータを識別部に伝送するように構成される取得部と、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定し、前記仮想対象の特殊効果データを表示部に伝送するように構成される識別部と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示するように構成される表示部とを備える。

一可能な実施形態において、前記現実シーンデータは、現実シーン画像を含み、
前記識別部は、さらに、前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別する前に、現実シーンにおける前記ＡＲ機器のポーズデータを検出し、前記ポーズデータは、現実シーンにおける前記ＡＲ機器の位置情報および／または撮影角度を含み、前記現実シーン画像に表示された少なくとも１つのエンティティオブジェクトのうち、前記ポーズデータに一致するターゲットエンティティオブジェクトを決定するように構成される。

一可能な実施形態において、前記表示部は、さらに、
撮影された参照エンティティオブジェクトの姿勢を識別し、
前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新するように構成され、前記第１目標拡張現実データは、前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含む。

一可能な実施形態において、前記参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む。

一可能な実施形態において、前記表示部は、さらに、
現実シーンにおける前記ＡＲ機器の位置情報と前記現実シーンにおける前記仮想対象の対応する位置情報との間の距離を検出し、
前記距離がプリセットの距離範囲内である場合に、撮影された参照エンティティオブジェクトの姿勢を識別するように構成される。

一可能な実施形態において、前記表示部は、さらに、
事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、前記現実シーン画像に表示された前記参照エンティティオブジェクトの姿勢を取得するように構成される。

一可能な実施形態において、前記表示部は、さらに、
前記ＡＲ機器に作用するトリガ操作に応答し、
前記トリガ操作に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新するように構成され、前記第２目標拡張現実データは、前記トリガ操作に一致する仮想対象の特殊効果データを含む。

一可能な実施形態において、前記トリガ操作は、前記ＡＲ機器の画面に作用する操作、音声入力および前記ＡＲ機器のポーズの変更のうちの少なくとも１つを含む。

一可能な実施形態において、前記装置はナビゲーション部をさらに備え、前記ナビゲーション部は、
ナビゲーション要求に応答して、現実シーンにおける前記ＡＲ機器の現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を取得し、
前記現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成し、前記ナビゲーションルート内のウェイポイントは、現実シーンにおける前記仮想対象の位置を含み、
前記ナビゲーションルートの指示データを含む拡張現実データを前記ＡＲ機器に表示するように構成される。

一可能な実施形態において、
前記識別部は、さらに、
現実シーンにおける前記ＡＲ機器のポーズデータを取得し、
現実シーンにおける前記ＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記属性情報に一致する前記仮想対象の特殊効果データを決定するように構成される。

第３態様によれば、本開示の実施例は、電子機器を提供し、前記機器は、プロセッサ、メモリおよびバスを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサはバスを介して前記メモリと通信し、前記機械可読命令が前記プロセッサによって実行されるときに、上記の第１の態様または実施形態のいずれか１つに記載の拡張現実データの提示方法のステップを実行する。

第４態様によれば、本開示の実施例はコンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の第１の態様または実施形態のいずれか１つに記載の拡張現実データの提示方法のステップを実行する。

上記の拡張現実データの提示装置、電子機器およびコンピュータ可読記憶媒体の効果に関する説明は、上記の拡張現実データの提示方法に対する説明を参照し、ここでは繰り返して説明しない。

本開示の実施例の上記した目的、特徴および利点をより明確で理解しやすくするために、好ましい実施例を、添付の図面と併せて、以下に詳細に説明する。

本開示の実施例の技術的解決策をより明確に説明するために、以下、実施例で使用する必要のある図面を簡単に紹介し、ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本開示と一致する実施例を示し、明細書とともに本開示の実施例の技術的解決策を説明するために使用される。以下の図面は、本開示のいくつかの特定の実施例のみを示し、範囲を限定するものと見なされるべきではことを理解されたい。当業者にとっては、創造的な作業なしに、これらの図面にしたがって他の図面を得ることもできる。
本開示の実施例で提供する、拡張現実データの提示方法の例示的なフローチャートを示す。本開示の実施例で提供する、一可能な現実シーン画像を取得することの概略図を示す。本開示の実施例で提供する、一可能な現実シーンに仮想物体の画像を重ね合わせた後の画像を示す。本開示の実施例で提供する、一可能な仮想物体の属性情報の表示の概略図を示す。本開示の実施例で提供する、参照エンティティオブジェクトの姿勢が識別されない前に、仮想物体の特殊効果データ、即ち仮想物体を提示する状態の概略図を示す。本開示の実施例で提供する、参照エンティティオブジェクトの姿勢が識別されない後に、仮想物体の特殊効果データ、即ち仮想物体を提示する状態の概略図を示す。本開示の実施例で提供する、ナビゲーションルートの指示データを含む拡張現実画像をＡＲ機器に表示することの概略図を示す。本開示の実施例で提供する拡張現実データの提示のアーキテクチャの概略図を示す。本開示の実施例で提供する拡張現実データの提示のアーキテクチャの概略図を示す。

本開示の実施例の目的、技術的解決策および利点をより明確にするために、以下、本開示の実施例における図面を参照して、本開示の実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本開示の実施例の一部に過ぎず、全ての実施例ではないことは明らかである。通常、本明細書の図面に記載および図示されている本開示の実施例のコンポーネントは、様々な異なる構成で配置および設計することができる。したがって、図面に提供される本開示の実施例の以下の詳細な説明は、本開示の実施例の保護範囲を制限するものではなく、本開示の特定の実施例を示すものに過ぎない。本開示の実施例に基づき、創造的な努力なしに当業者が取得した他のすべての実施例は、本開示の実施例の保護範囲に含まれる。

本開示の実施例は、ＡＲ技術をサポートする電子機器（携帯電話、タブレットコンピュータ、ＡＲ眼鏡などのＡＲ機器）またはサーバ、またはそれらの組み合わせに適用されることができ、本開示の実施例がサーバに適用される場合、当該サーバは、通信機能を備え且つ撮影機能を備えた他の電子機器に接続することができ、その接続方式は有線接続または無線接続であってもよく、無線接続は、例えば、ｂｌｕｅｔｏｏｔｈ接続、ＷＩＦＩ（登録商標）接続などであってもよい。

拡張現実シーンをＡＲ機器に提示するとは、現実シーンに統合された仮想対象をＡＲ機器に表示することと理解することができ、仮想対象の提示画面を直接にレンダリングして、それを現実シーンに統合させることができ、例えば、仮想のティーセットを提示し、表示効果が現実シーンの実際のテーブルの上に配置されるようにし、仮想対象の提示特殊効果を現実シーン画像に統合させた後に、統合された表示画面を表示する。具体的にどのような提示方式を選択するかはＡＲ機器の機器タイプおよび使用する画面提示技術に依存し、例えば、通常、ＡＲ眼鏡から現実シーン（撮影後の現実シーン画像ではない）を直接に見ることができるため、ＡＲ眼鏡は、想対象の提示画面を直接にレンダリングする提示方式を使用することができ、携帯電話、タブレットコンピュータなどのモバイル端末機器において、モバイル端末機器に表示される画面は現実シーンを撮影した後の画面であるため、現実シーン画像および仮想対象の提示特殊効果に対して統合処理を実行する方式を使用して、拡張現実効果を表示する。

現実シーンでの仮想対象の統合度は、仮想対象の表示効果に大きく影響を与える。現実シーンにおけるターゲットエンティティオブジェクトの属性が異なることに基づいて、それに一致する仮想対象を表示し、仮想対象の表示が現実シーンに対するニーズにより一致するようにし、統合度がより良いため、拡張現実シーンの表示効果が向上する。

以下、本開示の実施例に関する拡張現実データの提示方法を詳細に紹介する。

図１を参照すると、図１は、本開示の実施例で提供する拡張現実データの提示方法の例示的なフローチャートであり、前記方法は、次のステップを含む。

ステップＳ１０１において、現実シーンデータを取得する。

ステップＳ１０２において、現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、属性情報に一致する仮想対象の特殊効果データを決定する。

ステップＳ１０３において、仮想対象の特殊効果データに基づいて、仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示する。

上記の方法を通じて、現実シーンの現在のニーズを満たし、表示効果を豊かにするために、対象のタイプ（商品キャビネットに属するなど）、対象の状態（商品キャビネット内の残りの物品の情報など）、対象の名称（建物の名称など）など、識別された現実シーンデータ内のターゲットエンティティオブジェクトの関連属性情報に基づいて、商品キャビネット内の商品パターン、残りの部品に関する説明内容およびビルディングの名称など、表示する必要のある仮想対象の特殊効果データを決定するため、仮想対象の特殊効果データを含む拡張現実データをＡＲ機器に表示することができる。

以下、上記のステップについて個別に説明する。

上記のステップＳ１０１において、現実シーンデータは、現実シーン画像および現実シーンの音声などのうちの少なくとも１つを含み得るが、これらに限定されない。

現実シーンデータに現実シーン画像が含まれた場合、一致する仮想対象の特殊効果データを決定するように、現実シーン画像を取得し、そのうちのターゲットエンティティオブジェクトの属性情報を識別することができ、当該現実シーン画像は、後続の拡張現実データの生成に使用されてもよく、後続の拡張現実データの生成に使用されなくてもよく、前述のように、仮想対象の提示画面を直接にレンダリングして、現実シーンに統合させてよく、当該現実シーン画像を仮想対象の特殊効果データと統合した後にレンダリングしてもよいことに留意されたい。

上記の異なるタイプの現実シーンデータに含まれたターゲットエンティティオブジェクトのタイプは異なる。例えば、現実シーンデータが現実シーン画像を含む場合、現実シーンデータ内のエンティティオブジェクトは、建物や配置された物などを含み得、現実シーンデータ内のエンティティオブジェクトは、音声の特殊効果や匂いの特殊効果などをさらに含み得る。

現実シーンデータが現実シーン画像を含む場合、現実シーン画像を取得することは、ＡＲ機器の内蔵カメラ（フロントカメラなど）を介して取得すること、または、現実シーンに配置された、ＡＲ機器から独立したカメラを介して取得することであり、または、他の機器がＡＲ機器のユーザに画像データを伝送する方式により取得することもできる。本願は、現実シーン画像の取得方式を限定しない。

上記のＳ１０２において、ターゲットエンティティオブジェクトの属性情報は、ターゲットエンティティオブジェクトのカテゴリ、ターゲットエンティティオブジェクトのサイズ、またはターゲットエンティティオブジェクトの名称などであってもよい。

一可能な実施形態において、現実シーンデータ内のターゲットエンティティオブジェクトの属性情報を識別することは、ターゲットエンティティオブジェクトを含む現実シーン画像を事前にトレーニングされた識別モデルに入力し、識別モデルを介して現実シーン画像を処理し、当該ターゲットエンティティオブジェクトの属性情報を取得して出力することを含み得る。

別の可能な実施形態において、現実シーンデータ内のターゲットエンティティオブジェクトの属性情報を識別することは、異なるエンティティオブジェクトに対して異なる補助識別子を設定することをさらに含み、例えば、エンティティオブジェクト上に異なるＱＲコード（登録商標）を追加することができ、ターゲットエンティティオブジェクト上に設定されたＱＲコード（登録商標）をスキャンし、それにより、ターゲットエンティティオブジェクトの属性情報を取得することができる。

上記のステップＳ１０２において、現実シーン画像は、１つまたは複数のエンティティオブジェクトを含む可能性があり、複数のエンティティオブジェクトを含む場合、複数のエンティティオブジェクトの全てをターゲットエンティティオブジェクトとして属性情報の識別を実行することができ、処理リソースを節約し、不要な識別処理を減らし、ユーザの視聴ニーズを正確に特定するために、先ず、ＡＲ機器のポーズデータに基づいて、一致条件に相応しいターゲットエンティティオブジェクトを選別し、次に属性情報の識別を実行することができ、ポーズデータは、現実シーンにおけるＡＲ機器の位置情報および／または撮影角度を含む。ＡＲ機器のポーズデータに基づいて、ターゲットエンティティオブジェクトを選別するプロセスは、次の状況に分けることができる。

状況１として、ポーズデータが位置情報を含む。

この場合、現実シーン画像に表示された各エンティティオブジェクトの現実シーンでの位置と現実シーンにおけるＡＲ機器の位置との間の距離を計算し、計算された距離がプリセットの距離より小さい場合、当該エンティティオブジェクトがターゲットエンティティオブジェクトであると決定することができる。

例示的に、図２に示されたように、図２は、可能な現実シーン画像を取得することの概略図であり、図のＡ点位置は、現実シーンにおけるＡＲ機器の位置情報であり、Ｂ、Ｃ、Ｄは、それぞれ、現実シーンにおける、ＡＲ機器が撮影しようとする現実シーン画像内のエンティティオブジェクトの位置情報であり、ＢとＡの距離がプリセットの距離より小さい場合、Ａをターゲットエンティティオブジェクトとして決定する。

別の可能な実施形態において、現実シーン画像に表示された各エンティティオブジェクトの現実シーンでの位置と現実シーンにおけるＡＲ機器の位置情報との間の距離を計算し、対応する、計算された距離に最も近いエンティティオブジェクトをターゲットエンティティオブジェクトとして決定することもできる。

状況２として、ポーズデータが撮影角度を含む。

ポーズデータが撮影角度を含む場合、先ず、各エンティティオブジェクトに対応するプリセットの撮影角度を決定し、各エンティティオブジェクトに対して、ＡＲ機器の撮影角度が当該エンティティオブジェクトに対応するプリセットの撮影角度とオーバーラップするかどうかを判断し、オーバーラップする場合、当該エンティティオブジェクトをターゲットエンティティオブジェクトとして決定する。

例示的に、同じ壁の異なる高さの位置に異なる画像を設定することができ、エンティティオブジェクトは異なる高さを有する画像であってもよく、画像Ａのプリセットの撮影角度は３０°～６０°であるなど、各画像はプリセットの撮影角度を有し、ＡＲ機器の撮影角度が４０°である場合、画像Ａをターゲットエンティティオブジェクトとして決定する。

実際の応用では、複数のエンティティオブジェクトのプリセットの撮影角度がＡＲ機器の撮影角度とオーバーラップする場合、これらの複数のエンティティオブジェクトをターゲットエンティティオブジェクトとして使用してもよく、対応するオーバーラップ角度が最も大きいエンティティオブジェクトをターゲットエンティティオブジェクトとして決定する。

状況３として、ポーズデータが位置情報および撮影角度を含む。

ポーズデータが位置情報および撮影角度を同時に含む場合、先ず、先ず、各エンティティオブジェクトから、ＡＲ機器の位置との距離がプリセットの距離範囲内にある、確認されるエンティティオブジェクトを選択し、その後、確認されるエンティティオブジェクトのうち、対応するプリセットの撮影角度がＡＲ機器の撮影角度とオーバーラップするエンティティオブジェクトをターゲットエンティティオブジェクトとして決定することができる。

上記の例を続けると、同じ壁の異なる高さの位置に異なる画像とＡＲ機器の位置との距離は同じであり、確認されるエンティティオブジェクトは壁上の画像であるため、異なる画像のプリセットの撮影角度に基づいてターゲットエンティティオブジェクトを選別することができる。

ターゲットエンティティオブジェクトの属性情報を識別した後に、仮想対象特殊効果データベースから、当該属性情報に一致する仮想対象の特殊効果データを決定することができる。例示的に、ターゲットエンティティオブジェクトの属性情報が飲料キャビネットである場合、仮想対象の特殊効果データは、飲料画像を含み得、飲料名などの飲料の画像の説明情報を含むこともでき、ターゲットエンティティオブジェクトの属性情報が本棚である場合、仮想対象の特殊効果データは、本の画像であってもよく、本名および作者などの本の画像の説明情報を含むこともできる。

本開示の実施例では、出ターゲットエンティティオブジェクトの属性情報を識別した後に、提示される仮想対象の特殊効果データは、ユーザが自分で設定することができる。異なるユーザが、異なる仮想対象の特殊効果データを表示するように設定すると、異なるユーザの端末機器がターゲットエンティティオブジェクトの属性情報を検出した場合、異なるユーザの機器に異なるターゲットエンティティオブジェクトの属性情報を表示することができる。

本開示の実施例では、現実シーンにおけるエンティティオブジェクトに対して、仮想対象の特殊効果データの構成を選択的に実行することができ、例えば、一部のエンティティオブジェクトが関連する仮想対象の特殊効果データを構成しない場合、一部のターゲットエンティティオブジェクトにおいて、当該ターゲットエンティティオブジェクトの属性情報を識別した後に、それに対応する仮想対象の特殊効果データは空になる場合がある。

上記の説明内容では、決定されたターゲットエンティティオブジェクトの属性情報に一致する仮想対象の特殊効果データは、仮想対象特殊効果データベースに記憶された当該仮想対象の特殊効果データから決定された、当該ＡＲ機器のポーズデータに一致する仮想対象特殊効果データであってもよい。一可能な実施形態において、現実シーンにおけるＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける仮想対象のポーズデータ（仮想対象特殊効果データベースに記憶されたと見なすことができる）に基づいて、仮想対象の特殊効果データを決定することができる。

ここで、仮想対象の特殊効果データの開発を便宜にするために、３次元シーンモデルを使用して現実シーンを説明し、当該３次元シーンモデルに基づいて仮想対象の特殊効果データを開発することができ、このようにして、仮想対象の特殊効果データを現実シーンによりよく統合させることができる。この場合、現実シーンにおけるＡＲ機器のポーズデータ（位置情報および／または撮影角度を含む）、および現実シーンを示すための３次元シーンモデルにおける仮想対象のポーズデータに基づいて、仮想対象の特殊効果データを決定することができる。

本出願のいくつかの実施例では、仮想対象特殊効果データのレンダリングを実行して、３次元シーンモデルの下での仮想対象の表示特殊効果を復元することを便宜にするために、仮想対象の表示特殊効果および３次元シーンモデルを含む表示画面内の３次元シーンモデルに対して透過化処理を実行することができ、このように、後続のレンダリング段階では、仮想対象の表示特殊効果および透過化処理後の３次元シーンモデルを含む表示画面をレンダリングして、現実シーンを３次元シーンモデルに対応させることができ、このようにして、３次元シーンモデルの下での仮想対象の表示特殊効果を実世界で取得することができる。

上記の内容において、仮想対象が静的である場合、３次元シーンモデルにおける仮想対象のポーズデータは、３次元シーンモデルにおける仮想対象の位置情報（地理的位置座標情報）および／または対応する姿勢情報（仮想対象の表示姿勢）を含み得、仮想対象が動的である場合、３次元シーンモデルにおける仮想対象のポーズデータは、複数のグループの位置情報（地理位置座標情報）および／または対応する姿勢情報（仮想対象の表示姿勢）のセットを含み得る。

具体的な実施では、構築されたビルディングモデルシーンの下での仮想対象の特殊効果データのうち、ＡＲ機器の現在配置された位置および撮影角度に一致する仮想対象の位置および姿勢などを決定するなど、現実シーンにおけるＡＲ機器のポーズデータが決定された後に、３次元シーンモデルにおける仮想対象のポーズデータのうち、ＡＲ機器のポーズデータに一致する仮想対象の特殊効果データを決定することができる。

ステップＳ１０２において、現実シーン画像内の各エンティティオブジェクトに対して属性情報識別を実行する前に、またはＡＲ機器のポーズデータに基づいて一致条件に相応しいターゲットエンティティオブジェクトを選別し、ターゲットエンティティオブジェクトに対して属性情報識別を実行する前に、現実シーン画像から独立してセグメンテーションされたエンティティオブジェクトを先に決定することができる。一可能な実施形態において、現実シーン画像内の各个エンティティオブジェクトを決定することは、現実シーン画像に対して画像のセグメンテーションを実行し、その後、画像のセグメンテーションを実行した後の一部の分割画像に対応するエンティティオブジェクトを識別することを含む。画像のセグメンテーションは、即ち、画像を特定且つ特別な性質を有する領域に分割し、興味深い目標を提案する。

上記のステップＳ１０３において、仮想対象の特殊効果データを含む拡張現実データをＡＲ機器に表示し、ＡＲ機器のタイプが異なること、および仮想対象の特殊効果データのタイプが異なることに従って、各タイプの特殊効果データをそれぞれ表示し、または、様々な特殊効果データを組み合わせて表示することができる。

１、仮想対象が音声を含む場合、仮想対象の特殊効果データを含む拡張現実データを表示し、現実シーンを撮影する電子機器でターゲットエンティティオブジェクトの属性情報に対応する音声を再生することができる。

例えば、ターゲットエンティティオブジェクトの属性情報は、特定のサイズのコーヒーマシンであってもよく、現実シーンデータから当該サイズのコーヒーマシンを検出した場合、当該属性情報に一致する仮想対象の特殊効果データが、コートを紹介する録音であると決定することができ、ＡＲ機器で当該録音を再生することができる。

２、仮想対象が匂いを含む場合、現実シーンデータ内のターゲットエンティティオブジェクトの属性情報を識別することができ、属性情報に一致する匂いのタイプ、および匂いを放出する持続時間を決定し、決定された匂いのタイプ、および匂いを放出する持続時間を匂いの放出を制御するためのサードパーティの機器に送信し、対応するタイプの匂いを当該持続時間に放出するように匂いの放出を制御するためのサードパーティの機器を指示する。

３、仮想対象が仮想物体の提示画面を含む場合、当該提示画面は静的であってもよく、動的であってもよく、拡張現実データは拡張現実画像を含み得る。ＡＲ機器のタイプが異なることに基づいて、拡張現実画像は、異なる提示方法に対応することができる。

一可能な提示方法は、ＡＲ眼鏡に適用されることができ、具体的に、現実シーンにおける、事前に設定された仮想物体の位置情報に基づいて、仮想物体をＡＲ眼鏡のレンズに表示させ、ユーザが、仮想物体が表示されたＡＲ眼鏡のレンズを通して現実シーンを見る場合、仮想物体が現実シーンにおいて対応する位置で仮想物体を見ることができる。

別の可能な提示方法は、携帯電話、タブレットなどの電子機器に適用されることができ、仮想対象の特殊効果データを含む拡張現実データを表示する場合、ＡＲ機器は、現実シーンに基づいて現実シーン画像を生成し、ＡＲ機器に表示された拡張現実データは、現実シーン画像に仮想物体画像を重ね合わせた後の画像であってもよい。

例示的に、上記の提示方式を使用して提示した拡張現実画像は図３に示し、重ね合わせた仮想物体の画像と現実シーンにおけるエンティティオブジェクトとの間はオクルージョン関係を有し、詳細は以下で紹介するため、ここではまだ説明しない。

別の例において、仮想物体が含まれた拡張現実画像を提示するプロセス中に、仮想物体の属性情報を提示することもでき、ここで、仮想物体および属性情報は、両方とも仮想対象の特殊効果データに属する。図４に示されたように、ターゲットエンティティオブジェクトは、透明なドアのある冷蔵庫であり、仮想物体は冷蔵庫内の飲料（冷蔵庫内の飲料の種類は事前に設定されている）、仮想対象の属性情報は飲料の製造日、賞味期限、エネルギ値および正味容量などであり、ターゲットエンティティオブジェクトが本棚である場合、仮想物体は本棚の上に配置された本であってもよく、仮想対象の属性情報は本の著者、出版社および出版日などである。

現実体験を増加させるため、表示されたＡＲシーンに、仮想対象と現実シーンのインタラクション効果を追加することができる。例えば、撮影された参照エンティティオブジェクトの姿勢に応答して、当該参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを表示する。

具体的に、撮影された参照エンティティオブジェクトの姿勢を識別し、その後、参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得し、さらに、現在ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新することができ、ここで、第１目標拡張現実データは、参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含む。

ここで、参照エンティティオブジェクトとは、現実シーンにおいて参照の姿勢をとる任意のエンティティオブジェクトを指し、例えば、現在ＡＲ機器を操作しているユーザ、現実シーンでの人物または動物またはロボットなどであってもよい。

ここで、可能な状況では、参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む。参照対象の姿勢を識別し、事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、現実シーン画像に表示された参照エンティティオブジェクトの姿勢を得到することができる。

可能な状況では、撮影された参照エンティティオブジェクトの姿勢を識別することは、現実シーンにおけるＡＲ機器の位置情報と現実シーンにおける仮想対象の対応する位置情報との間の距離を検出し、距離がプリセットの距離範囲内にある場合、撮影された参照エンティティオブジェクトの姿勢を識別することにより実現することができる。

具体的に、取得した現実シーン画像を、事前にトレーニングされたニューラルネットワークモデルに入力することができ、ニューラルネットワークモデルは、取得した現実シーン画像内で識別した姿勢を出力し、識別した姿勢を、参照エンティティオブジェクトの姿勢として決定することができる。

ニューラルネットワークをトレーニングするトレーニングサンプルは、姿勢タグを備えたサンプル画像であってもよく、例えば、姿勢タグは顔の表情タグ（例えば、顔の表情は、笑顔、爆笑する顔、泣き顔または疑問の表情などであってもよい）および／または体の動きタグ（例えば、体の動きは撮影、握手または挨拶などの動作であってもよい）であってもよく、ニューラルネットワークモデルに基づいて、各サンプル画像の予測姿勢を取得することができ、サンプル画像の予測姿勢および姿勢タグに基づいて、ニューラルネットワークをトレーニングすることができ、具体的なトレーニングプロセスについては詳細に説明しない。

現在ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新し、拡張現実データにおける仮想対象の特殊効果データを更新して、現在ＡＲ機器に表示されている仮想対象が新しい表示状態を提示するようにする。

例示的に、シナリオでは、参照エンティティオブジェクトは、現実シーンでＡＲ機器を操作するユーザと協力する別のユーザであり、ＡＲ機器を介して当該別のユーザのジェスチャ、表情および／または肢体などを取得し、そして、当該別のユーザのジェスチャ、表情および／または肢体に対応する状態を提示するように仮想対象を制御する。ここで、識別可能なユーザ的ジェスチャ、表情および／または体の動きなどを事前に設定することができ、各ジェスチャ、表情および／または体の動きに対応する仮想対象の状態も事前に設定することができる。例えば、参照エンティティオブジェクトの姿勢が識別されない前に、仮想対象の特殊効果データ、即ち仮想物体の提示状態は図５ａに示されたような状態であってもよく、現実シーン画像内の参照エンティティオブジェクトの姿勢を検出し、仮想物体の提示状態は図５ｂに示されたような状態であってもよく、図５ｂに提示されているのは、仮想物体が撮影姿勢を識別した後に提示された状態である。

別のシナリオでは、参照エンティティオブジェクトはＡＲ機器を操作するユーザ、即ちＡＲ機器を操作するユーザは、現在表示されているＡＲシーンに基づいて、そのうちの仮想対象に対して関連ジェスチャを行うことができ、この場合、ＡＲ機器を操作するユーザのジェスチャを識別して、対応する操作を実行することができる。例示的に、図４に示された例を続けると、現実シーンににおいて飲料の横にある２つの矢印がクリックされたかどうかを識別することにより、現在表示されている飲料および当該飲料の属性情報を変更するかどうかを決定し、または現実シーンにおいて飲料がクリックされたかどうかを識別することにより、飲料が購入されたかどうかを決定する。飲料がクリックされたことを識別すると、対応する支払いインターフェイスをＡＲ機器に提示し、支払いの成功を検出した後、注文情報を生成し、当該注文情報を対応する商家サーバに送信することができ、それにより、仮想物体に基づいて実物物体を購入することを実現することができる。

さらに別の可能な実施形態において、ＡＲ機器に作用するトリガ操作に応答して、トリガ操作に一致する仮想対象の特殊効果データを取得し、現在ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新することができ、第２目標拡張現実データは、トリガ操作に一致する仮想対象の特殊効果データを含む。

ここで、トリガ操作は、ＡＲ機器の画面上での操作（クリック、ダブルクリック、長押しまたはスライディングなど）、音声入力およびＡＲ機器のポーズの変更（ＡＲ機器の位置の変更またはＡＲ機器の撮影角度の変更など）のうちの少なくとも１つを含むことができる。

例示的に、図４に示された例を続けると、ＡＲ機器を介して飲料の属性情報を表示する場合、拡張現実シーンにおいて飲料の横にある２つの仮想ボタンがクリックされたかどうかを検出することができる以外にも、ＡＲ機器の画面上の２つの仮想ボタンに対応する位置にトリガ操作があるかどうかを決定することができ、当該トリガ操作に対応する効果は、現実シーンにおいて検出されたジェスチャ操作に対応する。例えば、ＡＲ機器の画面上の飲料の横にある矢印に対するクリック操作は、現実シーンにおいてジェスチャに基づいて飲料の横にある矢印をトリガし、一致する仮想対象の特殊効果データは同じであってもよい。

具体的な実施では、仮想対象の特殊効果データを含む拡張現実データをＡＲ機器に表示し、且つ現実シーンデータは、現実シーン画像を含み、仮想対象が仮想物体を含む場合、現実シーン画像内の各エンティティオブジェクトと仮想物体との間のオクルージョン関係の判断を増加させることもできる。具体的に、各エンティティオブジェクトのポーズ情報、仮想物体のポーズ情報、およびＡＲ機器のポーズ情報に基づいて、各エンティティオブジェクトと仮想対象との間のオクルージョン関係を決定することができる。

本開示の実施例は、ナビゲーション効果の提示を増加させることができる。

具体的に、ナビゲーション要求に応答して、現実シーンにおけるＡＲ機器の現在の位置情報および現実シーンにおける仮想対象の対応する位置情報を取得し、その後、現在の位置情報および現実シーンにおける仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成し、ナビゲーションルート内のウェイポイントは、現実シーンにおける仮想対象の位置を含み、または現実シーンに配置された仮想対象の位置領域を含み、ＡＲ機器に基づいてナビゲーションルートの指示データを含む拡張現実データを表示することができる。

ここで、ＡＲ機器は、ナビゲーションルートを生成するプロセスをローカルで実行することができ、ナビゲーション要求をサーバに送信し、サーバによって実行され、ナビゲーションルートをＡＲ機器に送信することもできる。

本開示の実施例はナビゲーション効果を増加させ、ユーザがナビゲーション要求を有する場合、ナビゲーション要求に基づいて、仮想対象位置を経過場所として追加したナビゲーションルートを生成することができる。一可能な実施形態において、目的地情報を受信したかどうかを検出することができ、目的地は現実シーンにおける任意の場所であってもよく、現実シーンに配置された仮想対象の位置領域であってもよく、検出された目的地情報に対応する場所が現実シーンに配置された仮想対象の位置領域の範囲内にある場合、ＡＲ機器の現在の位置情報および目的地情報に基づいて、当該仮想対象に到達する最短の走行ルートを決定し、目的地が現実シーン内の場所である場合、当該目的地をナビゲーション終点とし、且つ現実シーンに配置された仮想対象の位置領域を通過する最短のルートを生成することができ、即ち、仮想対象表示位置領域が配置された領域を通過するようにユーザをガイドし、走行中のユーザの走行体験および走行興味を上げる。

また、目的地情報を受信しなかった場合、仮想対象の関連紹介情報を積極的にプッシュすることができ、ユーザが仮想対象の表示トリガボタンをクリックしたと検出した場合、仮想対象が配置された位置に到達するナビゲーションルートを決定し、ＡＲ機器に表示することができる。

例示的に、ナビゲーションルートの指示データを含む拡張現実画像をＡＲ機器に表示することは図６に示されたようなものであり得、拡張現実画像は仮想物体に加えて、指示シンボル（地上の矢印など）をさらに含み得、指示シンボルを介いて、対応する位置に到達するようにユーザをガイドすることができる。

例示的に、ユーザが特定の目標仮想物体に到達する場合、当該目標仮想物体に関連する他の目標仮想物体に到達するナビゲーションルートをユーザにプッシュすることができる。

当業者は、具体的な実施形態の上記の方法において、各ステップの書き込み順序は、実施プロセスを限定する厳密な実行順序を意味するのではなく、各ステップの具体的な実行順序はそれらの機能と可能な内部ロジックによって決定されることを理解することができる。

同じ構想に基づき、本開示の実施例は、拡張現実データの提示装置を提供し、図７に示されたように、図７は、本開示の実施例で提供する拡張現実データの提示装置のアーキテクチャの概略図であり、前記装置は、取得部７０１、識別部７０２、表示部７０３およびナビゲーション部７０４を備え、具体的に、
取得部７０１は、現実シーンデータを取得し、前記現実シーンデータを識別部７０２に伝送するように構成され、
識別部７０２は、前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定するように構成され、前記仮想対象の特殊効果データを表示部７０３に伝送する。

表示部７０３は、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示するように構成される。

一例示的な実施形態において、前記現実シーンデータは、現実シーン画像を含み、
前記識別部７０２は、さらに、前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別する前に、現実シーンにおける前記ＡＲ機器のポーズデータを検出し、前記ポーズデータは、現実シーンにおける前記ＡＲ機器の位置情報および／または撮影角度を含み、前記現実シーン画像に表示された少なくとも１つのエンティティオブジェクトのうち、前記ポーズデータに一致するターゲットエンティティオブジェクトを決定するように構成される。

一例示的な実施形態において、前記表示部７０３は、さらに、
撮影された参照エンティティオブジェクトの姿勢を識別し、
前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新するように構成され、前記第１目標拡張現実データは、前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含む。

一例示的な実施形態において、前記参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む。

一例示的な実施形態において、前記表示部７０３は、さらに、
現実シーンにおける前記ＡＲ機器の位置情報と前記現実シーンにおける前記仮想対象の対応する位置情報との間の距離を検出し、
前記距離がプリセットの距離範囲内である場合に、撮影された参照エンティティオブジェクトの姿勢を識別するように構成される。

一例示的な実施形態において、前記表示部７０３は、さらに、
事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、前記現実シーン画像に表示された前記参照エンティティオブジェクトの姿勢を取得するように構成される。

一例示的な実施形態において、前記表示部７０３は、さらに、
前記ＡＲ機器に作用するトリガ操作に応答し、
前記トリガ操作に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新するように構成され、前記第２目標拡張現実データは、前記トリガ操作に一致する仮想対象の特殊効果データを含む。

一例示的な実施形態において、前記トリガ操作は、前記ＡＲ機器の画面に作用する操作、音声入力および前記ＡＲ機器のポーズの変更のうちの少なくとも１つを含む。

一例示的な実施形態において、前記装置は、ナビゲーション部７０４をさらに備え、前記ナビゲーション部７０４は、
ナビゲーション要求に応答して、現実シーンにおける前記ＡＲ機器の現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を取得し、
前記現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成し、前記ナビゲーションルート内のウェイポイントは、現実シーンにおける前記仮想対象の位置を含み、
前記ナビゲーションルートの指示データを含む拡張現実データを前記ＡＲ機器に表示するように構成される。

一例示的な実施形態において、前記識別部７０２は、さらに、
現実シーンにおける前記ＡＲ機器のポーズデータを取得し、
現実シーンにおける前記ＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記属性情報に一致する前記仮想対象の特殊効果データを決定するように構成される。

いくつかの実施例において、本開示の実施例で提供される装置が有する機能または含まれたモジュールは、上文の方法の実施例で説明された方法を実行するように構成されることができ、その具体的な具現は、上文の方法の実施例の描述を参照することができ、簡潔にするために、ここでは繰り返して説明しない。

本開示の実施例および他の実施例において、「部分」は、部分回路、部分プロセッサ、部分プログラムまたはソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュールまたは非モジュール化であってもよい。

同じ技術的構想に基づき、本開示の実施例は、電子機器をさらに提供する。図８に示されたように、図８は、本開示の実施例で提供する電子機器の概略的な構造図であり、前記機器は、プロセッサ８０１、メモリ８０２およびバス８０３を備える。ここで、メモリ８０２は、実行命令を記憶するように構成され、当該メモリは、内部記憶装置８０２１および外部記憶装置８０２２を備え、ここで、内部記憶装置８０２１は、内臓メモリとも称し、当該メモリは、プロセッサ８０１の演算データおよびハードディスクなどの外部記憶装置８０２２と交換されるデータを一時的に記憶するように構成され、プロセッサ８０１は、内部記憶装置８０２１および外部記憶装置８０２２を介してデータを交換し、電子機器８００が実行される場合、プロセッサ８０１はバス８０３を介してメモリ８０２と通信し、プロセッサ８０１が、
現実シーンデータを取得する命令と、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定する命令と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示する命令を実行するようにする。

ここで、プロセッサ８０１によって実行される具体的な処理プロセスは、上記の方法の実施例または装置の実施例の説明を参照してもよく、ここでは詳細に説明しない。

加えて、本開示の実施例はコンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の方法の実施例に記載の拡張現実データの提示方法のステップを実行する。

本開示の実施例で提供する、拡張現実データの提示方法のコンピュータプログラム製品は、プログラムコードを記憶するコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれた命令は、上記の方法実施例に記載の拡張現実データの提示方法のステップを実行するために使用され、具体的には、上記の方法の実施例を参照してもよく、ここでは繰り返して説明しない。

当業者は、説明の便宜上および簡潔にするために、上記に説明されたシステム、装置の具体的な作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができることを明確に理解することができ、ここでは繰り返して説明しない。本開示で提供されたいくつかの実施例において、開示されたシステム、装置および方法は、他の方法を通じて実現され得ることを理解されたい。上記で説明された装置の実施例は例示的なものに過ぎず、例えば、当該ユニットの分離は、論理機能の分離に過ぎず、実際の実現時には別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論された相互結合または直接結合または通信接続は、電気的、機械的または他の形態の一部の通信インターフェース、装置またはユニットを介した間接的な結合または通信接続であり得る。

前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際のニーズにしたがって、その中のユニットの一部または全部を選択して本実施例の技術案の目的を実現することができる。

また、本開示の各実施例における各機能ユニットを一つの処理ユニットに統合してもよく、各ユニットを別々に１つのユニットとして使用してもよいし、２つ以上のユニットを１つのユニットに統合してもよい。

前記機能は、ソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売または使用される場合、プロセッサによって実行可能な不揮発性コンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本開示の実施例の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る）に本開示の各実施例に記載の方法の全部または一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。

上記した内容は、本開示の実施例の具体的な実施形態に過ぎないが、本開示の実施例の保護範囲はこれに限定されず、当業者は、本開示の実施例に開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本開示の実施例の保護範囲内に含まれるべきである。したがって、本開示の実施例の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

本開示の実施例は、拡張現実データの提示方法、装置、電子機器及び記憶媒体を提供し、当該方法は、現実シーンデータを取得することと、前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定することと、前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示することとを含む。上記の方法を通じて、識別された現実シーンデータ内の異なるターゲットエンティティオブジェクトの属性情報に基づいて、仮想対象の特殊効果データを決定し、現実シーンに統合された仮想対象の特殊効果データをＡＲ機器に表示することができ、それにより、仮想対象的の表示を現実シーンデータにおける目標実物データの属性情報と一致させることができ、拡張現実シーンの表示効果が向上する。

本開示の実施例の上記した目的、特徴および利点をより明確で理解しやすくするために、好ましい実施例を、添付の図面と併せて、以下に詳細に説明する。
例えば、本願は以下の項目を提供する。
（項目１）
拡張現実データの提示方法であって、
現実シーンデータを取得することと、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定することと、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示することと、を含む、前記拡張現実データの提示方法。
（項目２）
前記現実シーンデータは、現実シーン画像を含み、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別する前に、前記方法は、
現実シーンにおける前記ＡＲ機器のポーズデータを検出することであって、前記ポーズデータは、現実シーンにおける前記ＡＲ機器の位置情報および／または撮影角度を含むことと、
前記現実シーン画像に表示された少なくとも１つのエンティティオブジェクトのうち、前記ポーズデータに一致するターゲットエンティティオブジェクトを決定することと、を含む、
項目１に記載の拡張現実データの提示方法。
（項目３）
前記拡張現実データの提示方法は、
撮影された参照エンティティオブジェクトの姿勢を識別することと、
前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得することと、
現在前記ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新することであって、前記第１目標拡張現実データは、前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含むことと、をさらに含む、
項目１または２に記載の拡張現実データの提示方法。
（項目４）
前記参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む、
項目３に記載の拡張現実データの提示方法。
（項目５）
前記撮影された参照エンティティオブジェクトの姿勢を識別することは、
現実シーンにおける前記ＡＲ機器の位置情報と前記現実シーンにおける前記仮想対象の対応する位置情報との間の距離を検出することと、
前記距離がプリセットの距離範囲内である場合に、撮影された参照エンティティオブジェクトの姿勢を識別することと、を含む、
項目３または４に記載の拡張現実データの提示方法。
（項目６）
前記撮影された参照エンティティオブジェクトの姿勢を識別することは、
事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、前記現実シーン画像に表示された前記参照エンティティオブジェクトの姿勢を取得することを含む、
項目３ないし５のいずれか一項に記載の拡張現実データの提示方法。
（項目７）
前記拡張現実データの提示方法は、
前記ＡＲ機器に作用するトリガ操作に応答することと、
前記トリガ操作に一致する仮想対象の特殊効果データを取得することと、
現在前記ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新することであって、前記第２目標拡張現実データは、前記トリガ操作に一致する仮想対象の特殊効果データを含むことと、さらにを含む、
項目１ないし６のいずれか一項に記載の拡張現実データの提示方法。
（項目８）
前記トリガ操作は、前記ＡＲ機器の画面に作用する操作、音声入力および前記ＡＲ機器のポーズの変更のうちの少なくとも１つを含む、
項目７に記載の拡張現実データの提示方法。
（項目９）
前記拡張現実データの提示方法は、
ナビゲーション要求に応答して、現実シーンにおける前記ＡＲ機器の現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を取得することと、
前記現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成することであって、前記ナビゲーションルート内のウェイポイントは、現実シーンにおける前記仮想対象の位置を含むことと、
前記ナビゲーションルートの指示データを含む拡張現実データを前記ＡＲ機器に表示することと、さらにを含む、
項目１ないし８のいずれか一項に記載の拡張現実データの提示方法。
（項目１０）
前記属性情報に一致する仮想対象の特殊効果データを決定することは、
現実シーンにおける前記ＡＲ機器のポーズデータを取得することと、
現実シーンにおける前記ＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記属性情報に一致する前記仮想対象の特殊効果データを決定することと、を含む、
項目１ないし９のいずれか一項に記載の拡張現実データの提示方法。
（項目１１）
拡張現実データの提示装置であって、
現実シーンデータを取得し、前記現実シーンデータを識別部に伝送するように構成される取得部と、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定し、前記仮想対象の特殊効果データを表示部に伝送するように構成される識別部と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示するように構成される表示部と、を備える、前記拡張現実データの提示装置。
（項目１２）
前記現実シーンデータは、現実シーン画像を含み、前記識別部は、さらに、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別する前に、現実シーンにおける前記ＡＲ機器のポーズデータを検出し、ここで、前記ポーズデータは、現実シーンにおける前記ＡＲ機器の位置情報および／または撮影角度を含み、
前記現実シーン画像に表示された少なくとも１つのエンティティオブジェクトのうち、前記ポーズデータに一致するターゲットエンティティオブジェクトを決定するように構成される、
項目１１に記載の拡張現実データの提示装置。
（項目１３）
前記表示部は、さらに、
撮影された参照エンティティオブジェクトの姿勢を識別し、
前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新するように構成され、前記第１目標拡張現実データは、前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含む、
項目１１または１２に記載の拡張現実データの提示装置。
（項目１４）
前記参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む、
項目１３に記載の拡張現実データの提示装置。
（項目１５）
前記表示部は、さらに、
現実シーンにおける前記ＡＲ機器の位置情報と前記現実シーンにおける前記仮想対象の対応する位置情報との間の距離を検出し、
前記距離がプリセットの距離範囲内である場合に、撮影された参照エンティティオブジェクトの姿勢を識別するように構成される、
項目１３または１４に記載の拡張現実データの提示装置。
（項目１６）
前記表示部は、さらに、
事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、前記現実シーン画像に表示された前記参照エンティティオブジェクトの姿勢を取得するように構成される、
項目１３または１５のいずれか一項に記載の拡張現実データの提示装置。
（項目１７）
前記表示部は、さらに、
前記ＡＲ機器に作用するトリガ操作に応答し、
前記トリガ操作に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新するように構成され、前記第２目標拡張現実データは、前記トリガ操作に一致する仮想対象の特殊効果データを含む、
項目１１ないし１６のいずれか一項に記載の拡張現実データの提示装置。
（項目１８）
前記トリガ操作は、前記ＡＲ機器の画面に作用する操作、音声入力および前記ＡＲ機器のポーズの変更のうちの少なくとも１つを含む、
項目１７に記載の拡張現実データの提示装置。
（項目１９）
前記装置はナビゲーション部をさらに備え、前記ナビゲーション部は、
ナビゲーション要求に応答して、現実シーンにおける前記ＡＲ機器の現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を取得し、
前記現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成し、ここで、前記ナビゲーションルート内のウェイポイントは、現実シーンにおける前記仮想対象の位置を含み、
前記ナビゲーションルートの指示データを含む拡張現実データを前記ＡＲ機器に表示するように構成される、
項目１１ないし１８のいずれか一項に記載の拡張現実データの提示装置。
（項目２０）
前記識別部は、さらに、
現実シーンにおける前記ＡＲ機器のポーズデータを取得し、
現実シーンにおける前記ＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記属性情報に一致する前記仮想対象の特殊効果データを決定するように構成される、
項目１１ないし１９のいずれか一項に記載の拡張現実データの提示装置。
（項目２１）
電子機器であって、
プロセッサ、メモリおよびバスを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサはバスを介して前記メモリと通信し、前記機械可読命令が前記プロセッサによって実行されるときに、項目１ないし１０のいずれか一項に記載の拡張現実データの提示方法のステップを実行する、前記電子機器。
（項目２２）
コンピュータプログラムが記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、項目１ないし１０のいずれか一項に記載の拡張現実データの提示方法のステップを実行することを特徴とする、前記コンピュータ可読記憶媒体。

Claims

拡張現実データの提示方法であって、
現実シーンデータを取得することと、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定することと、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示することと、を含む、前記拡張現実データの提示方法。
前記現実シーンデータは、現実シーン画像を含み、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別する前に、前記方法は、
現実シーンにおける前記ＡＲ機器のポーズデータを検出することであって、前記ポーズデータは、現実シーンにおける前記ＡＲ機器の位置情報および／または撮影角度を含むことと、
前記現実シーン画像に表示された少なくとも１つのエンティティオブジェクトのうち、前記ポーズデータに一致するターゲットエンティティオブジェクトを決定することと、を含む、
請求項１に記載の拡張現実データの提示方法。
前記拡張現実データの提示方法は、
撮影された参照エンティティオブジェクトの姿勢を識別することと、
前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得することと、
現在前記ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新することであって、前記第１目標拡張現実データは、前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含むことと、をさらに含む、
請求項１または２に記載の拡張現実データの提示方法。
前記参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む、
請求項３に記載の拡張現実データの提示方法。
前記撮影された参照エンティティオブジェクトの姿勢を識別することは、
現実シーンにおける前記ＡＲ機器の位置情報と前記現実シーンにおける前記仮想対象の対応する位置情報との間の距離を検出することと、
前記距離がプリセットの距離範囲内である場合に、撮影された参照エンティティオブジェクトの姿勢を識別することと、を含む、
請求項３または４に記載の拡張現実データの提示方法。
前記撮影された参照エンティティオブジェクトの姿勢を識別することは、
事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、前記現実シーン画像に表示された前記参照エンティティオブジェクトの姿勢を取得することを含む、
請求項３ないし５のいずれか一項に記載の拡張現実データの提示方法。
前記拡張現実データの提示方法は、
前記ＡＲ機器に作用するトリガ操作に応答することと、
前記トリガ操作に一致する仮想対象の特殊効果データを取得することと、
現在前記ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新することであって、前記第２目標拡張現実データは、前記トリガ操作に一致する仮想対象の特殊効果データを含むことと、さらにを含む、
請求項１ないし６のいずれか一項に記載の拡張現実データの提示方法。
前記トリガ操作は、前記ＡＲ機器の画面に作用する操作、音声入力および前記ＡＲ機器のポーズの変更のうちの少なくとも１つを含む、
請求項７に記載の拡張現実データの提示方法。
前記拡張現実データの提示方法は、
ナビゲーション要求に応答して、現実シーンにおける前記ＡＲ機器の現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を取得することと、
前記現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成することであって、前記ナビゲーションルート内のウェイポイントは、現実シーンにおける前記仮想対象の位置を含むことと、
前記ナビゲーションルートの指示データを含む拡張現実データを前記ＡＲ機器に表示することと、さらにを含む、
請求項１ないし８のいずれか一項に記載の拡張現実データの提示方法。
前記属性情報に一致する仮想対象の特殊効果データを決定することは、
現実シーンにおける前記ＡＲ機器のポーズデータを取得することと、
現実シーンにおける前記ＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記属性情報に一致する前記仮想対象の特殊効果データを決定することと、を含む、
請求項１ないし９のいずれか一項に記載の拡張現実データの提示方法。
拡張現実データの提示装置であって、
現実シーンデータを取得し、前記現実シーンデータを識別部に伝送するように構成される取得部と、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別し、前記属性情報に一致する仮想対象の特殊効果データを決定し、前記仮想対象の特殊効果データを表示部に伝送するように構成される識別部と、
前記仮想対象の特殊効果データに基づいて、前記仮想対象の特殊効果データを含む拡張現実データを拡張現実（ＡＲ）機器に表示するように構成される表示部と、を備える、前記拡張現実データの提示装置。
前記現実シーンデータは、現実シーン画像を含み、前記識別部は、さらに、
前記現実シーンデータにおけるターゲットエンティティオブジェクトの属性情報を識別する前に、現実シーンにおける前記ＡＲ機器のポーズデータを検出し、ここで、前記ポーズデータは、現実シーンにおける前記ＡＲ機器の位置情報および／または撮影角度を含み、
前記現実シーン画像に表示された少なくとも１つのエンティティオブジェクトのうち、前記ポーズデータに一致するターゲットエンティティオブジェクトを決定するように構成される、
請求項１１に記載の拡張現実データの提示装置。
前記表示部は、さらに、
撮影された参照エンティティオブジェクトの姿勢を識別し、
前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第１目標拡張現実データに更新するように構成され、前記第１目標拡張現実データは、前記参照エンティティオブジェクトの姿勢に一致する仮想対象の特殊効果データを含む、
請求項１１または１２に記載の拡張現実データの提示装置。
前記参照エンティティオブジェクトの姿勢は、顔の表情および体の動きのうちの少なくとも１つを含む、
請求項１３に記載の拡張現実データの提示装置。
前記表示部は、さらに、
現実シーンにおける前記ＡＲ機器の位置情報と前記現実シーンにおける前記仮想対象の対応する位置情報との間の距離を検出し、
前記距離がプリセットの距離範囲内である場合に、撮影された参照エンティティオブジェクトの姿勢を識別するように構成される、
請求項１３または１４に記載の拡張現実データの提示装置。
前記表示部は、さらに、
事前にトレーニングされたニューラルネットワークモデルに基づいて、取得された現実シーン画像に対して姿勢識別処理を実行して、前記現実シーン画像に表示された前記参照エンティティオブジェクトの姿勢を取得するように構成される、
請求項１３または１５のいずれか一項に記載の拡張現実データの提示装置。
前記表示部は、さらに、
前記ＡＲ機器に作用するトリガ操作に応答し、
前記トリガ操作に一致する仮想対象の特殊効果データを取得し、
現在前記ＡＲ機器に表示されている拡張現実データを第２目標拡張現実データに更新するように構成され、前記第２目標拡張現実データは、前記トリガ操作に一致する仮想対象の特殊効果データを含む、
請求項１１ないし１６のいずれか一項に記載の拡張現実データの提示装置。
前記トリガ操作は、前記ＡＲ機器の画面に作用する操作、音声入力および前記ＡＲ機器のポーズの変更のうちの少なくとも１つを含む、
請求項１７に記載の拡張現実データの提示装置。
前記装置はナビゲーション部をさらに備え、前記ナビゲーション部は、
ナビゲーション要求に応答して、現実シーンにおける前記ＡＲ機器の現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を取得し、
前記現在の位置情報および前記現実シーンにおける前記仮想対象の対応する位置情報を使用して、ナビゲーションルートを生成し、ここで、前記ナビゲーションルート内のウェイポイントは、現実シーンにおける前記仮想対象の位置を含み、
前記ナビゲーションルートの指示データを含む拡張現実データを前記ＡＲ機器に表示するように構成される、
請求項１１ないし１８のいずれか一項に記載の拡張現実データの提示装置。
前記識別部は、さらに、
現実シーンにおける前記ＡＲ機器のポーズデータを取得し、
現実シーンにおける前記ＡＲ機器のポーズデータおよび現実シーンを表すための３次元シーンモデルにおける前記仮想対象のポーズデータに基づいて、前記属性情報に一致する前記仮想対象の特殊効果データを決定するように構成される、
請求項１１ないし１９のいずれか一項に記載の拡張現実データの提示装置。
電子機器であって、
プロセッサ、メモリおよびバスを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサはバスを介して前記メモリと通信し、前記機械可読命令が前記プロセッサによって実行されるときに、請求項１ないし１０のいずれか一項に記載の拡張現実データの提示方法のステップを実行する、前記電子機器。
コンピュータプログラムが記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、請求項１ないし１０のいずれか一項に記載の拡張現実データの提示方法のステップを実行することを特徴とする、前記コンピュータ可読記憶媒体。