JP2022545598A - 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム - Google Patents

仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム Download PDF

Info

Publication number
JP2022545598A
JP2022545598A JP2021570926A JP2021570926A JP2022545598A JP 2022545598 A JP2022545598 A JP 2022545598A JP 2021570926 A JP2021570926 A JP 2021570926A JP 2021570926 A JP2021570926 A JP 2021570926A JP 2022545598 A JP2022545598 A JP 2022545598A
Authority
JP
Japan
Prior art keywords
virtual object
acquisition unit
screen
image acquisition
target virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021570926A
Other languages
English (en)
Inventor
侯欣如
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022545598A publication Critical patent/JP2022545598A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

本願は、仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラムに関する。前記調整方法は、端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示することと、ターゲット仮想対象に対する選択操作を検出した後、前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持し、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することと、更新された前記少なくとも一部の拡張現実画面及び前記スクリーン上での前記ターゲット仮想対象の表示ポーズに基づいて、前記端末機器のスクリーンに、前記画像取得ユニットの移動後の拡張現実画面を表示することと、を含む。

Description

（関連出願の相互参照）
本願は、２０２０年０７月３０日に提出された、出願番号が２０２０１０７５０６１５．１であり、発明名称が「仮想対象の調整方法、装置、電子機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、コンピュータビジョン技術分野に関し、具体的には、仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラムに関する。
近年では、人工知能の継続的な開発に伴い、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術の適用シーンは次第に拡大してきた。ＡＲ技術は、実体情報（視覚情報、音声、触覚など）をシミュレーションした後、現実世界に重畳することによって、真実の環境と仮想物体を同一の画面又は空間にリアルタイムに表示する。
ＡＲ技術分野において、一般的には、端末機器により撮られた現実シーン画像と仮想対象を組み合わせて拡張現実画面を生成することができる。拡張現実画面における仮想対象の表示ポーズを編集側で予め編集することができる。しかしながら、実際の表示プロセスにおいて、予め編集された表示ポーズは、真実シーン環境におけるものと異なる可能性があり、拡張現実画面における仮想対象の表示ポーズが要件に合致しないことを引き起こし、それにより表示ポーズを更に調整する必要もある。現在の調整方式において、依然として、編集側において仮想対象の表示を手動で調整する必要があり、該調整プロセスの効率が低い。
本願は、仮想対象の調整の解決手段を提供する。
本願の一態様によれば、仮想対象の調整方法を提供する。前記調整方法は、
端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示することと、
ターゲット仮想対象に対する選択操作を検出した後、前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持し、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することと、
更新された前記少なくとも一部の拡張現実画面及び前記スクリーン上での前記ターゲット仮想対象の表示ポーズに基づいて、前記端末機器のスクリーンに、前記画像取得ユニットの移動後の拡張現実画面を表示することと、を含む。
このように、ターゲット仮想対象の表示ポーズの調整プロセスは、ユーザがターゲット仮想対象を選択した後に、画像取得ユニットを移動することによって完了されてもよく、バックグランド編集側で表示ポーズのパラメータを手動で調整する必要がない。それにより表示ポーズ調整の操作効率を向上させる。また、調整プロセスにおいて、現在の拡張現実画面をリアルタイムで表示できるため、ターゲット拡張現実画面における仮想対象の表示ポーズを直観的に調整することができ、調整された表示ポーズをユーザのカスタマイズ需要に更に合致させることができる。
本願の幾つかの実施例において、前記選択操作は、前記スクリーン上での前記ターゲット仮想対象に対するタッチ操作を含む。
本願の幾つかの実施例において、前記調整方法は、前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得することを更に含み、
前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持することは、
前記画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記画像取得ユニットと前記ターゲット仮想対象との前記相対的ポーズデータを不変のまま保持することによって、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持することを含む。
このように、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータを不変のまま保持することによって、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持することができ、更に、ワールド座標系における画像取得ユニットのポーズの変動に基づいて、ワールド座標系におけるターゲット仮想対象のポーズデータを自動的に調整することができる。
本願の幾つかの実施例において、前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得することは、
前記ワールド座標系における前記画像取得ユニットの現在のポーズデータ、及び前記ワールド座標系における調整前の前記ターゲット仮想対象の第１ポーズデータを取得することと、
前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象の前記第１ポーズデータに基づいて、前記相対的ポーズデータを決定することと、を含む。
本願の幾つかの実施例において、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを取得することは、
前記画像取得ユニットにより撮られた現実シーン画像を取得することと、
前記現実シーン画像に基づいて、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを決定することと、を含む。
このように、画像取得ユニットにより撮られた現実シーン画像により、ワールド座標系における画像取得ユニットの現在のポーズデータを迅速に得ることができる。
本願の幾つかの実施例において、前記スクリーンに表示されている少なくとも一部の拡張現実画像を更新することは、
前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することを含む。
このように、画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている現実画面を更新することによって、現在の拡張現実画面で、ターゲット仮想対象と他の実体物体との相対的ポーズを直観的に表示することができ、現在の拡張現実画面におけるターゲット仮想対象の表示ポーズをより好適に調整することができる。
本願の幾つかの実施例において、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することは、
前記画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、前記端末機器のスクリーンに表示される時の第１表示ポーズデータを決定することと、
前記他の仮想対象に対応する第１表示ポーズデータ及び前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することと、を含む。
このように、拡張現実画面に他の仮想対象が含まれる場合、画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象に対応する第１表示ポーズデータを決定することができる。また、画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている他の仮想対象及び現実シーン画像を同時に更新する。このように、現在の拡張現実画面でのターゲット仮想対象と他の実体物体との相対的ポーズ及びターゲット仮想対象と他の仮想対象との相対的ポーズを直観的に表示することができ、現在の拡張現実画面におけるターゲット仮想対象の表示ポーズをより好適に調整することができる。
本願の幾つかの実施例において、前記調整方法は、
前記ターゲット仮想対象に対する選択操作が終了したことに応答して、ワールド座標系における調整後の前記ターゲット仮想対象の第２ポーズデータを保存することを更に含む。
本願の幾つかの実施例において、前記調整方法は、
前記画像取得ユニットの現在のポーズデータを取得することと、
前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象に対応する前記第２ポーズデータに基づいて、前記端末機器のスクリーン上での前記ターゲット仮想対象の第２表示ポーズデータを決定することと、
前記第２表示ポーズデータに基づいて、前記端末機器のスクリーンに、前記ターゲット仮想対象を含む拡張現実画面を表示することと、を更に含む。
このように、選択操作が終了した後に、調整後のターゲット仮想対象の第２ポーズデータを保存することができる。このように、後続で拡張現実画面を再び表示するプロセスにおいて、画像取得ユニットの現在のポーズデータ及び保存した第２ポーズデータによって、ターゲット仮想対象を、調整した第２ポーズデータに応じて直接的に現在の拡張現実画面に表示することができ、繰り返して調整する必要がなく、ユーザのエクスペリエンスを向上させる。
本願の一態様によれば、仮想対象の調整装置を提供する。前記調整装置は、
端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示するように構成される第１表示部と、
ターゲット仮想対象に対する選択操作を検出した後、前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持し、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される調整部と、
更新された前記少なくとも一部の拡張現実画面及び前記スクリーン上での前記ターゲット仮想対象の表示ポーズに基づいて、前記端末機器のスクリーンに、前記画像取得ユニットの移動後の拡張現実画面を表示するように構成される第２表示部と、を備える。
本願の幾つかの実施例において、前記選択操作は、前記スクリーン上での前記ターゲット仮想対象に対するタッチ操作を含む。
本願の幾つかの実施例において、前記調整装置は、取得部を更に備え、前記取得部は、前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得するように構成され、
前記調整部は具体的には、前記画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記画像取得ユニットと前記ターゲット仮想対象との前記相対的ポーズデータを不変のまま保持することによって、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持するように構成される。
本願の幾つかの実施例において、前記取得部は、
前記ワールド座標系における前記画像取得ユニットの現在のポーズデータ、及び前記ワールド座標系における調整前の前記ターゲット仮想対象の第１ポーズデータを取得し、
前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象の前記第１ポーズデータに基づいて、前記相対的ポーズデータを決定するように構成される。
本願の幾つかの実施例において、前記取得部は、
前記画像取得ユニットにより撮られた現実シーン画像を取得し、
前記現実シーン画像に基づいて、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを決定するように構成される。
本願の幾つかの実施例において、前記調整部は、
前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される。
本願の幾つかの実施例において、前記調整部は、
前記画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、前記端末機器のスクリーンに表示される時の第１表示ポーズデータを決定し、
前記他の仮想対象に対応する第１表示ポーズデータ及び前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される。
本願の幾つかの実施例において、前記調整装置は、保存部を更に備え、前記保存部は、前記ターゲット仮想対象に対する選択操作が終了したことに応答して、ワールド座標系における調整後の前記ターゲット仮想対象の第２ポーズデータを保存するように構成される。
本願の幾つかの実施例において、前記調整装置は、第３表示部を更に備え、前記第３表示部は、
前記画像取得ユニットの現在のポーズデータを取得し、
前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象に対応する前記第２ポーズデータに基づいて、前記端末機器のスクリーン上での前記ターゲット仮想対象の第２表示ポーズデータを決定し、
前記第２表示ポーズデータに基づいて、前記端末機器のスクリーンに、前記ターゲット仮想対象を含む拡張現実画面を表示するように構成される。
本願の一態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、メモリと、バスと、を備え、前記メモリは、前記プロセッサによる実行可能な機器可読命令を記憶しており、電子機器が運転される場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記プロセッサは前記機器可読命令を実行して、上述した仮想対象の調整方法を実行する。
本願の一態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される場合、該プロセッサに上述した仮想対象の調整方法を実行させる。
本願の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサに、上記仮想対象の調整方法を実行させる。
本願の一態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードが電子機器で実行される場合、前記電子機器におけるプロセッサに、上記仮想対象の調整方法を実行させる。
本願の実施例による仮想対象の調整方法を示す第１フローチャートである。 本願の実施例によるターゲット仮想対象を含む拡張現実画面を示す概略図である。 本願の実施例によるターゲット仮想対象に対する選択操作を検出した後の拡張現実画面を示す概略図である。 本願の実施例による調整後のターゲット仮想対象に対する拡張現実画面を示す概略図である。 本願の実施例による仮想対象の調整方法を示す第２フローチャートである。 本願の実施例による相対的ポーズデータの決定方法を示すフローチャートである。 本願の実施例による画像取得ユニットの現在のポーズデータの決定方法を示す第１フローチャートである。 本願の実施例による画像取得ユニットの現在のポーズデータの決定方法を示す第２フローチャートである。 本願の実施例による拡張現実画面の更新方法を示すフローチャートである。 本願の実施例による拡張現実画面の表示方法を示すフローチャートである。 本願の実施例による仮想対象の調整装置の構造を示す概略図である。 本願の実施例による電子機器の構造を示す概略図である。
ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本出願の一部の実施例である。一般的には、図面に説明されて示されている本願の実施例のコンポーネントは、多岐にわたる異なる構成で配置及び設計することができる。従って、図面を参照しながら提供される本願の実施例の下記詳細な説明は、特許請求されている本願の範囲を限定するものではなく、本願の選択された実施例を示すためのものに過ぎない。本願の実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。
下記図面において、類似した符号及び文字は、類似した要素を表すため、１つの要素が１つの図面において定義されていると、後続の図面において、これに対して定義及び説明を行う必要がないことに留意されたい。
本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、ａ、ｂ、ｃのうちの少なくとも１つを含むことは、ａ、ｂ及びｃからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
ＡＲ技術は、仮想対象と現実世界を重畳してインタラクションを行うことができる技術であり、ＡＲ機器に適用可能である。ＡＲ機器により、仮想対象を含む拡張現実画面を見ることができる。例えば、現実シーンが展示ホールであり、該展示ホールには、壁、テーブル、窓台などの実体物体が含まれ、仮想対象が仮想花瓶である。バックグランド編集側でパラメータを手動で予め編集することによって、仮想対象とテーブルのような現実シーンとの、現実シーンに対応するワールド座標系における相対的ポーズデータを編集することができる。このような方式により、仮想花瓶が実体テーブル上に表示される表示ポーズを予め編集することができる。
しかしながら、現実シーンにおける実体物体がいつでも変動する可能性がある。例えば、実体テーブルが移動された。この場合、予め編集されたテーブルと仮想花瓶との相対ポーズデータを利用して表示される仮想花瓶の表示ポーズは、実体テーブルに位置しない可能性がある。仮想花瓶が実体テーブルに位置するという拡張現実画面効果を依然として達成しないと、実体物体の変動後のポーズデータに基づいて、編集側で調整パラメータ値を手動で再入力することで、仮想対象の表示ポーズデータを調整する必要もある。該調整プロセスの効率が低い。
上記検討によれば、本願は、仮想対象の調整の解決手段を提供する。ターゲット仮想対象の表示ポーズの調整プロセスは、ユーザがターゲット仮想対象を選択した後に、画像取得ユニットを移動することによって完了されてもよく、バックグランド編集側で表示ポーズのパラメータを手動で調整する必要がない。それにより表示ポーズ調整の操作効率を向上させる。また、調整プロセスにおいて、現在の拡張現実画面をリアルタイムに表示することができ、それによりターゲット拡張現実画面における仮想対象の表示ポーズを直観的に調整することができ、調整された表示ポーズをユーザのカスタマイズ需要に更に合致させることができる。
本実施例を理解しやすくするために、まず、本願の実施例が開示する仮想対象の調整方法を詳しく説明する。本願の実施例が提供する仮想対象の調整方法の実行主体は、端末機器であってもよい。端末機器は、ＡＲ機能を有するＡＲ機器であってもよく、例えば、ＡＲメガネ、タブレット、スマートフォン、スマートウェアラブル機器などの、表示機能及びデータ処理能力を持つ機器を含んでもよく、本願の実施例においてこれを限定しない。幾つかの可能な実現形態において、該仮想対象の調整方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。
図１を参照すると、図１は、本願の実施例による仮想対象の調整方法を示すフローチャートである。該調整方法は、Ｓ１０１～Ｓ１０３を含む。
Ｓ１０１において、端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示する。
本願の実施例において、端末機器は、ＡＲ機能を有するＡＲ機器であってもよく、それは、スマートフォン、タブレット及びＡＲなどを含んでもよい。端末機器に画像取得ユニットが内蔵されてもよく、外部の画像取得ユニットが接続されてもよい。画像取得ユニットは、現実シーン画像を収集した後、該現実シーン画像に基づいて、画像取得ユニットの現在のポーズデータを決定し、該現在のポーズデータに基づいて、端末機器のスクリーンに、ターゲット仮想対象を含む拡張現実画像を表示することができる。
本願の実施例において、拡張現実画面に複数の仮想対象が含まれてもよい。仮想対象は具体的には、コンピュータによるシミュレーションにより生成される仮想情報であり、仮想三次元物体、例えば上述した仮想花瓶であってもよく、又は、仮想平面物体、例えば、仮想な指示矢印、仮想文字及び仮想画面などであってもよい。
Ｓ１０２において、ターゲット仮想対象に対する選択操作を検出した後、端末機器の画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持し、スクリーンに表示されている少なくとも一部の拡張現実画面を更新する。
本願の実施例において、ターゲット仮想対象の複数の仮想対象から、ポーズデータ調整されるべき仮想対象を選択し、ターゲット仮想対象の、現実シーンに対応するワールド座標系におけるポーズデータを具体的に調整する。これは、以下において具体的に説明する。
ここで、端末機器が携帯電話であることを例として、携帯電話のスクリーンに表示される拡張現実画面に、複数の仮想対象が含まれてもよい。そのうちの１つの仮想対象に対する選択操作を検出した後、該仮想対象をポーズデータ調整されるべきターゲット仮想対象として調整を行うことができる。
ここで、選択操作は、スクリーン上でのターゲット仮想対象に対するタッチ操作を含んでもよい。例えば、該タッチ操作は、長押し操作、ダブルクリック操作又はシングルクリック操作を含んでもよい。これに対応して、タッチ操作が長押し操作である場合、長押し操作が終了する時、該ターゲット仮想対象に対する選択操作が終了することを表す。又は、タッチ操作がダブルクリック操作である場合、ターゲット仮想対象に対する次回のダブルクリック操作が検出される時、ターゲット仮想対象に対する選択操作が終了する。又は、ターゲット仮想対象に対するシングルクリック操作が検出される場合、ターゲット仮想対象に対する選択操作が終了すると決定する。又は、所定の時間長を経過した後、選択操作が終了すると決定する。ここで、タッチ操作がシングルクリックである場合、ターゲット仮想対象に対する次回のシングルクリックが検出される場合、ターゲット仮想対象に対する選択操作が終了すると決定することができる。又は、ターゲット仮想対象に対するダブルクリック操作が検出される場合、ターゲット仮想対象に対する選択操作が終了すると決定する。又は、所定の時間長を経過した後、選択操作が終了すると決定する。
本願の実施例は、タッチ操作が長押し操作であることを例とする。端末機器のスクリーンに表示されるターゲット仮想対象に対する長押し操作は、スクリーンにおける、ターゲット仮想対象が位置する表示領域に対する長押し操作であってもよい。例えば、指により、スクリーンにおいて、ターゲット仮想対象が位置する表示領域に対して所定の時間長の押圧を行い、該ターゲット仮想対象の調整プロセスをトリガする。
本願の実施例の一実施形態において、画像取得ユニットの移動は、ワールド座標系における画像取得ユニットの位置の変動及び姿勢の変動のうちの少なくとも１つを含む。画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを常に不変のまま保持する。つまり、ターゲット仮想対象と画像取得ユニットとの相対的ポーズを不変のまま保持する。このように、ワールド座標系における画像取得ユニットのポーズが移動する場合、ワールド座標系におけるターゲット仮想対象のポーズデータもそれに伴い移動する。
本願の実施例において、ターゲット仮想対象に対する選択操作を検出した場合、ターゲット仮想対象は、スクリーンの左上隅領域に位置し、且つ、スクリーンの中心と所定の角度をなすという方式で表示される。画像取得ユニットが移動する場合、ターゲット仮想対象は、常にスクリーンの左上隅に表示され、且つスクリーンの中心と所定の角度をなす。即ち、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズは常に不変のまま保持される。
本願の実施例において、ワールド座標系における画像取得ユニットの現在のポーズデータは、画像取得ユニットの移動に伴って変動し、画像取得ユニットにより収集される現実シーン画像もそれに伴い変動する。また、拡張現実画面に、ターゲット仮想対象以外の他の仮想対象が含まれると、画像取得ユニットの移動に伴い、スクリーン上での他の仮想対象の表示ポーズも変動する。従って、画像取得ユニットのリアルタイムな移動に伴い、スクリーンに表示されている拡張現実画面はリアルタイムに更新される。
Ｓ１０３において、更新された少なくとも一部の拡張現実画面及びスクリーン上でのターゲット仮想対象の表示ポーズに基づいて、端末機器のスクリーンに、画像取得ユニットの移動後の拡張現実画面を表示する。
本願の実施例において、画像取得ユニットのリアルタイムな移動に伴い、更新された少なくとも一部の拡張現実画面及び該スクリーン上でのターゲット仮想対象の表示ポーズに基づいて、拡張現実画面を生成することができる。
本願の実施例の一実施形態において、更新前の画像取得ユニットにより撮られた現実シーン画像に地面が含まれる。
ターゲット仮想対象が仮想花瓶であることを例として、更新前の拡張現実画面に、地面及び地面上に位置する仮想花瓶を含んでもよい。画像取得ユニットの移動に伴い、撮られた現実シーン画像に、地面の上方に位置する実体テーブルが含まれる時、更新後の拡張現実画面に実体テーブルが出現する。仮想花瓶の、スクリーン上での表示ポーズが不変のままであるため、画像取得ユニットが移動した後、スクリーンに表示される拡張現実画面に、実体テーブル及び実体テーブルに位置する仮想花瓶が含まれてもよい。このように、ワールド座標系における仮想花瓶の表示ポーズの調整の目的を達成することができる。例えば、地面上に位置する初期表示ポーズから、実体テーブル上に位置する表示ポーズに調整する。
本願の実施例において、ターゲット仮想対象の表示ポーズの調整プロセスは、ユーザがターゲット仮想対象を選択した後に、画像取得ユニットを移動することによって完了されてもよく、バックグランド編集側で表示ポーズのパラメータを手動で調整する必要がない。それにより表示ポーズ調整の操作効率を向上させる。また、調整プロセスにおいて、現在の拡張現実画面をリアルタイムに表示することができ、それによりターゲット拡張現実画面における仮想対象の表示ポーズを直観的に調整することができ、調整された表示ポーズをユーザのカスタマイズ需要に更に合致させることができる。
以下、１つの適用シーンを参照しながら、上記調整プロセスを説明する。
ここで、現実シーンが屋内部屋であることを例として、該屋内部屋に、実体物体ソファー及び椅子などの実体物体が含まれ、端末機器のスクリーンに表示される拡張現実画面は、図２ａに示すとおりであり、該拡張現実画面に、仮想対象「唐三彩馬」２１及び「装飾灯」２２と、実体物体ソファー及び椅子と、が含まれ、且つ「唐三彩馬」が拡張現実画面において実体物体椅子の上方であって椅子に近くて「装飾灯」２２から離れる領域に位置する。
ターゲット仮想対象「唐三彩馬」２１に対する長押し操作を検出した後、端末機器の画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動に伴い、「唐三彩馬」２１の、スクリーン上での表示ポーズは常に不変のままである。ここで、ポーズデータ調整されるべきターゲット仮想対象が選択されたことをユーザに提示するために、選択されたターゲット仮想対象と選択されていない仮想対象の表示特殊効果を区別することもできる。例えば、ターゲット仮想対象の輪郭に対して特殊処理を行うことができる。図２ｂに示すように、選択されたターゲット仮想対象「唐三彩馬」２１の輪郭に白色線２３を加える。
ターゲット仮想対象「唐三彩馬」２１のポーズデータの調整を開始した後、画像取得ユニットの移動に伴い、例えば、画像取得ユニットが左上へオフセットしたことに伴い、「唐三彩馬」２１の、現実シーンに対応するワールド座標系におけるポーズデータをリアルタイムに調整し、「唐三彩馬」２１を現実シーンにおいて左上へオフセットさせると同時に、拡張現実画面を部分的に調整することができる。例えば、拡張現実画面における実体物体ソファーの表示ポーズを調整することによって、図２ｃに示す拡張現実画面を得る。図２ｃから分かるように、ターゲット仮想対象「唐三彩馬」２１も左上に移動し、即ち「装飾灯」２２に近い箇所に移動する。
以下、一実施例を参照しながら、上記Ｓ１０１～Ｓ１０３を説明する。
一実施形態において、図２ｄは、本願の実施例による仮想対象の調整方法を示す第２フローチャートである。図２ｄに示すように、ターゲット仮想対象に対する選択操作を検出した後、端末機器の画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持する方法は、以下を含んでもよい。
Ｓ２０１において、ターゲット仮想対象に対する選択操作を検出した後、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータを取得する。
端末機器の画像取得ユニットの移動が検出される場合、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持することは、以下を含んでもよい。
Ｓ２０２において、画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動過程で、画像取得ユニットとターゲット仮想対象との相対的ポーズデータを不変のまま保持することによって、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持する。
本願の実施例において、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータは、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的位置データ及び相対的姿勢データを含んでもよい。
ここで、ワールド座標系は、端末機器が位置する現実シーンにおいて構築されてもよい。例えば、現実シーンが表示場であり、該表示場の所定の位置点を原点として、互いに垂直である３つの方向をワールド座標系のＸ軸、Ｙ軸及びＺ軸として選択することによって、画像取得ユニットとターゲット仮想対象との相対的ポーズデータを表すためのワールド座標系を得ることができる。
ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータを取得した後、画像取得ユニットの、該ワールド座標系におけるポーズの移動が検出される場合、ターゲット仮想対象の、該ワールド座標系におけるポーズデータを同時に移動することができる。移動過程で、画像取得ユニットとターゲット仮想対象との相対的ポーズデータを不変のまま保持する。このように、ターゲット仮想対象と画像取得ユニットとの相対的位置データ及び相対的姿勢データがいずれも不変のまま保持される場合、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持することができる。
本願の実施例において、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータを不変のまま保持することによって、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま確保することができ、更に、ワールド座標系における画像取得ユニットのポーズの変動に基づいて、ワールド座標系におけるターゲット仮想対象のポーズデータを自動的に調整することができる。
上述した、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータの取得に対して、図３は、本願の実施例による相対的ポーズデータの決定方法を示すフローチャートを示す。図３に示すように、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータの取得方法は、下記Ｓ３０１～Ｓ３０２を含んでもよい。
Ｓ３０１において、ワールド座標系における画像取得ユニットの現在のポーズデータ、及びワールド座標系における調整前のターゲット仮想対象の第１ポーズデータを取得する。
Ｓ３０２において、画像取得ユニットの現在のポーズデータ及びターゲット仮想対象の第１ポーズデータに基づいて、相対的ポーズデータを決定する。
本願の実施例において、画像取得ユニットによりリアルタイムに撮られた現実シーン画像により、ワールド座標系における画像取得ユニットの現在のポーズデータを取得することができる。複数の方式により、画像取得ユニットの現在のポーズデータを取得することもできる。例えば、慣性測定ユニットが設けられている画像取得ユニットに対して、画像取得ユニットの、予め構築されたワールド座標系における初期ポーズデータ及び慣性測定ユニットによりリアルタイムに収集された動きデータに基づいて、画像取得ユニットの現在のポーズデータを決定することができる。ここで、慣性測定ユニットは、ジャイロ及び加速度計などを含んでもよい。
ここで、ターゲット仮想対象に対して初めて調整を行う場合、ワールド座標系における調整前のターゲット仮想対象の第１ポーズデータは、ターゲット仮想対象の、現実シーンを表す三次元シーンモデルにおける初期ポーズデータによって決定されてもよい。ターゲット仮想対象に対する調整が初めてではない場合、ワールド座標系における調整前のターゲット仮想対象の第１ポーズデータは、ワールド座標系におけるターゲット仮想対象のポーズデータに対する前回の調整の後に保存されたポーズデータであってもよい。
幾つかの実施形態において、現実シーンを表す三次元シーンモデルは、予め収集された大量の現実シーン画像に基づいて構築されたものであってもよい。該三次元シーンモデルに基づいて、仮想対象の、三次元シーンモデルにおける初期ポーズデータを予め決定した後、三次元シーンモデルと現実シーンをアライメントすることによって、仮想対象の、現実シーンに対応するワールド座標系における第１ポーズデータを得ることができる。
本願の実施例において、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータを決定する場合、ワールド座標系における画像取得ユニットの現在の位置座標及びターゲット仮想対象の、該ワールド座標系における第１位置座標に基づいて、画像取得ユニットとターゲット仮想対象との相対的位置データを決定することができ、また、ワールド座標系における画像取得ユニットの現在の姿勢データ及びターゲット仮想対象の、該ワールド座標系における第１姿勢データに基づいて、画像取得ユニットとターゲット仮想対象との相対的姿勢データを決定することができる。該相対的位置データ及び相対的姿勢データは、画像取得ユニットとターゲット仮想対象との相対的ポーズデータを構成する。
本願の実施例の一実施形態において、ワールド座標系における画像取得ユニットの現在の位置座標は、画像取得ユニットの中心点の、ワールド座標系における現在の位置座標で表されてもよい。同様に、ワールド座標系におけるターゲット仮想対象の第１位置座標は、ワールド座標系におけるターゲット仮想対象の中心点の第１位置座標で表されてもよい。例えば、ターゲット仮想物体の中心点Ａの第１位置座標が
Figure 2022545598000002
であり、ここで、
Figure 2022545598000003
は、ワールド座標系におけるターゲット仮想物体の中心点ＡのＸ軸方向に沿った座標値を表し、
Figure 2022545598000004
は、ワールド座標系におけるターゲット仮想物体の中心点ＡのＹ軸方向に沿った座標値を表し、
Figure 2022545598000005
は、ワールド座標系におけるターゲット仮想物体の中心点ＡのＺ軸方向に沿った座標値を表す。画像取得ユニットの中心点Ｐの現在の位置座標が
Figure 2022545598000006
であり、ここで、
Figure 2022545598000007
は、ワールド座標系における画像取得ユニットの中心点ＰのＸ軸方向に沿った座標値を表し、
Figure 2022545598000008
は、ワールド座標系における画像取得ユニットの中心点ＰのＹ軸方向に沿った座標値を表し、
Figure 2022545598000009
は、ワールド座標系における画像取得ユニットの中心点ＰのＺ軸方向に沿った座標値を表す。従って、ターゲット仮想対象と画像取得ユニットとの相対的位置座標は、ベクトル
Figure 2022545598000010
で表されてもよい。
また、ワールド座標系における画像取得ユニットの現在の姿勢データは、予め設定された画像取得ユニットの正方向とワールド座標系の各座標軸との現在の挟角で表されてもよい。例えば、画像取得ユニットである携帯電話におけるカメラを例として、カメラの正方向は、撮影中心点に垂直であってカメラから離れる方に向けられている方向であってもよい。同様に、ワールド座標系におけるターゲット仮想対象の第１ポーズデータは、予め設定されたターゲット仮想対象の正方向とワールド座標系の各座標軸との第１挟角で表されてもよい。例えば、ターゲット仮想対象が上記「唐三彩馬」であることを例として、「唐三彩馬」の正方向は、「唐三彩馬」の横断面の中心点に垂直であって「唐三彩馬」から離れる方に向けられている方向であってもよい。このように、画像取得ユニットの正方向とワールド座標系の各座標軸との現在の挟角、及びターゲット仮想対象の正方向とワールド座標系の各座標軸との第１挟角に基づいて、画像取得ユニットとターゲット仮想対象との相対的ポーズデータを決定する。
ワールド座標系におけるターゲット仮想対象の表示ポーズを調整するプロセスにおいて、ターゲット仮想対象と画像取得ユニットとの相対的ポーズデータを不変のまま保持する。このように、ワールド座標系における画像取得ユニットの現在のポーズデータに基づいて、ワールド座標系におけるターゲット仮想対象の表示ポーズを調整することができる。また、調整プロセスにおいて、ターゲット仮想対象の表示寸法が不変のまま保持される。
一実施形態において、上述した、ワールド座標系における画像取得ユニットの現在のポーズデータの取得に対して、図４は、本願の実施例による画像取得ユニットの現在のポーズデータの決定方法を示す第１フローチャートを示す。図４に示すように、下記Ｓ４０１～Ｓ４０２を含んでもよい。
Ｓ４０１において、画像取得ユニットにより撮られた現実シーン画像を取得する。
Ｓ４０２において、現実シーン画像に基づいて、ワールド座標系における画像取得ユニットの現在のポーズデータを決定する。
画像取得ユニットが現実シーンに入った後、現実シーンに対応する現実シーン画像をリアルタイムに撮ることができる。画像取得ユニットの現在のポーズデータが異なる場合、これに応じて撮られた現実シーン画像も異なる。従って、リアルタイムに撮られた現実シーン画像に基づいて、画像取得ユニットの現在のポーズデータを決定することができる。
本願の実施例において、画像取得ユニットにより撮られた現実シーン画像により、ワールド座標系における画像取得ユニットの現在のポーズデータを迅速に得ることができる。
一実施形態において、現実シーン画像に基づいて、ワールド座標系における画像取得ユニットの現在のポーズデータを決定する場合、図５は、本願の実施例による画像取得ユニットの現在のポーズデータの決定方法を示す第２フローチャートを示す。図５に示すように、下記Ｓ４０２１～Ｓ４０２２を含んでもよい。
Ｓ４０２１において、現実シーン画像に対して検出を行い、現実シーン画像に含まれるターゲット対象情報及びターゲット対象情報に対応する撮影ポーズデータを決定する。
ここで、予め訓練されたニューラルネットワークに基づいて、現実シーン画像に対して検出を行い、現実シーン画像に含まれるターゲット対象を決定することができる。
本願の実施例の一実施形態において、ターゲット対象情報は、撮影された実体物体の、現実シーン画像における位置情報を含んでもよい。ここで、現実シーンにおける各実体物体が現実シーン画像において異なる位置情報に対応する場合の撮影ポーズデータを予め記憶することができる。
Ｓ４０２２において、ターゲット対象情報に対応する撮影ポーズデータに基づいて、画像取得ユニットの現在のポーズデータを決定する。
本願の実施例の一実施形態において、現実シーン画像に対して検出を行うことによって得られたターゲット対象情報に、１つのターゲット対象の位置情報が含まれる場合、該ターゲット対象の位置情報に対応する撮影ポーズデータに基づいて、画像取得ユニットの現在のポーズデータを決定することができる。現実シーン画像に対して検出を行うことによって得られたターゲット対象情報に複数のターゲット対象の位置情報が含まれる場合、複数のターゲット対象の位置情報の各々に対応する撮影ポーズデータに基づいて、画像取得ユニットの現在のポーズデータを決定することができる。例えば、複数のターゲット対象に対応する撮影ポーズデータに対して平均化を行い、画像取得ユニットの現在のポーズデータを得る。
もう１つの実施形態において、現実シーン画像に基づいて、ワールド座標系における画像取得ユニットの現在のポーズデータを決定する場合、
現実シーン画像及び画像取得ユニットにおける慣性測定ユニットにより収集された動きデータに基づいて、画像取得ユニットの現在のポーズデータを決定することを更に含む。
該方式によれば、現実シーン画像に基づいて、画像取得ユニットの現在のポーズデータを推定することができ、画像取得ユニットに関連する慣性測定ユニットにより収集された動きデータに基づいて、更に、画像取得ユニットの現在のポーズデータを得る。
本願の実施例において、画像取得ユニットにより撮られた現実シーン画像及び慣性測定ユニットにより収集された動きデータにより、画像取得ユニットの現在のポーズデータを決定することを提出した。このように、慣性測定ユニットにより収集された動きデータにより、現実シーン画像に基づいて推定されたポーズデータに対して調整を行い、正確度が高い現在のポーズデータを得ることができる。
上記Ｓ１０２において、一実施形態において、スクリーンに表示されている少なくとも一部の拡張現実画像を更新することは具体的には
画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている少なくとも一部の拡張現実画面を更新することを含んでもよい。
理解すべきこととして、画像取得ユニットの移動に伴い、ワールド座標系における画像取得ユニットの現在のポーズデータは、絶え間なく変動する。このように、画像取得ユニットにより撮られた現実シーン画像もそれに伴い変動する。例えば、画像取得ユニットにより最初に撮られた現実シーン画像において、実体テーブルの正面である。画像取得ユニットが移動した後、この場合、現在撮られている現実シーン画像に実体テーブルの側面が含まれる。画像取得ユニットにより収集された現実シーン画像により、拡張現実画面を更新することによって、更新前に表示されたテーブルの正面をテーブルの側面に更新することができる。
本願の実施例において、画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている現実画面を更新することによって、現在の拡張現実画面で、ターゲット仮想対象と他の実体物体との相対的ポーズを直観的に表示することができ、現在の拡張現実画面におけるターゲット仮想対象の表示ポーズをより好適に調整することができる。
上記Ｓ１０２に対して、もう１つの実施形態において、スクリーンに表示されている少なくとも一部の拡張現実画面を更新する。図６は、本願の実施例による拡張現実画面の更新方法を示すフローチャートを示す。図６に示すように、下記Ｓ１０２１～Ｓ１０２２を含んでもよい。
Ｓ１０２１において、画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、端末機器のスクリーンに表示される時の第１表示ポーズデータを決定する。
Ｓ１０２２において、他の仮想対象に対応する第１表示ポーズデータ及び画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている少なくとも一部の拡張現実画面を更新する。
端末機器のスクリーンに表示されている拡張現実画面に複数の仮想対象が含まれる場合、画像取得ユニットの移動に伴い、ターゲット仮想対象に加えて、スクリーン上での他の仮想対象の表示ポーズもそれに伴い変動する。ここで、画像取得ユニット、ワールド座標系における現在のポーズデータ及び他の仮想対象の、ワールド座標系におけるポーズデータに基づいて、他の仮想対象が端末機器のスクリーンに表示される時の第１表示ポーズデータを決定することができる。
続いて、仮想対象に対応する第１表示ポーズデータと画像取得ユニットの移動過程で収集した現実シーン画像を重畳することによって、拡張現実画面における更新されるべき部分を決定することができる。ここで、更新されるべきスクリーン上での他の仮想対象の表示ポーズ及び真実物体の、スクリーン上での表示ポーズを含んでもよい。
本願の実施例において、拡張現実画面に他の仮想対象が含まれる場合、画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象に対応する第１表示ポーズデータを決定することができる。また、画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている他の仮想対象及び現実シーン画像を同時に更新する。このように、現在の拡張現実画面でのターゲット仮想対象と他の実体物体との相対的ポーズ及びターゲット仮想対象と他の仮想対象との相対的ポーズを直観的に表示することができ、現在の拡張現実画面におけるターゲット仮想対象の表示ポーズをより好適に調整することができる。
一実施形態において、本願の実施例が提供する調整方法は、
ターゲット仮想対象に対する選択操作が終了したことに応答して、調整後のワールド座標系におけるターゲット仮想対象の第２ポーズデータを保存することを更に含む。
本願の実施例の一実施形態において、ターゲット仮想対象に作用する長押し操作が終了したことを検出した場合、調整後のワールド座標系におけるターゲット仮想対象の第２ポーズデータを保存することができ、又は、該第２ポーズデータをサーバに送信し、それにより他の端末機器が該ターゲット仮想対象に対応する第２ポーズデータに基づいてＡＲシーンの表示を行うことが容易である。
一実施形態において、図７は、本願の実施例による拡張現実画面の表示方法を示すフローチャートを示す。図７に示すように、本願の実施例が提供する調整方法は、下記Ｓ７０１～Ｓ７０３を更に含む。
Ｓ７０１において、画像取得ユニットの現在のポーズデータを取得する。
Ｓ７０２において、画像取得ユニットの現在のポーズデータ及びターゲット仮想対象に対応する第２ポーズデータに基づいて、端末機器のスクリーン上でのターゲット仮想対象の第２表示ポーズデータを決定する。
Ｓ７０３において、第２表示ポーズデータに基づいて、端末機器のスクリーンに、ターゲット仮想対象を含む拡張現実画面を表示する。
ターゲット仮想対象にする選択操作が終了した後、ターゲット仮想対象に対する調整プロセスをトリガしない。画像取得ユニットの移動に伴い、画像取得ユニットの現在のポーズデータを取得することができ、続いて、画像取得ユニットの現在のポーズデータ及びターゲット仮想対象に対応する第２ポーズデータに基づいて、端末機器のスクリーン上でのターゲット仮想対象の第２表示ポーズデータを決定し、該第２表示ポーズデータ及び画像取得ユニットにより撮られた現実シーン画像に応じて、スクリーンに表示される、ターゲット仮想対象を含む拡張現実画面を生成することができる。
該シーンにおいて、画像取得ユニットの移動に伴い、スクリーン上でのターゲット仮想対象の表示ポーズは変動する。また、ターゲット仮想対象の表示寸法もこれに伴い変動する。例えば、画像取得ユニットが、実体テーブルに放置される仮想花瓶に近い場合、拡張現実画面において、次第に大きくなる実体テーブル及び仮想花瓶が見える。逆に、画像取得ユニットが、実体テーブルに配置される仮想花瓶から離れる場合、拡張現実画面において、次第に小さくなる実体テーブル及び仮想花瓶が見える。
本願の実施例において、選択操作が終了した後に、調整後のターゲット仮想対象の第２ポーズデータを保存することができる。このように、後続で拡張現実画面を再び表示するプロセスにおいて、画像取得ユニットの現在のポーズデータ及び保存した第２ポーズデータによって、ターゲット仮想対象を、調整した第２ポーズデータに応じて直接的に現在の拡張現実画面に表示することができ、繰り返して調整する必要がなく、ユーザのエクスペリエンスを向上させる。
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの実際の実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
同一の技術的思想によれば、本願の実施例は、仮想対象の調整方法に対応する仮想対象の調整装置を更に提供する。本願の実施例における装置による課題を解決するための原理は、本願の実施例における上記調整方法と類似するため、装置の実施は、方法の実施を参照することができる。重複の説明を省略する。
図８を参照すると、図８は、本願の実施例による仮想対象の調整装置の構造を示す概略図である。該仮想対象の調整装置８００は、
端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示するように構成される第１表示部８０１と、
ターゲット仮想対象に対する選択操作を検出した後、端末機器の画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持し、スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される調整部８０２と、
更新された少なくとも一部の拡張現実画面及びスクリーン上でのターゲット仮想対象の表示ポーズに基づいて、端末機器のスクリーンに、画像取得ユニットの移動後の拡張現実画面を表示するように構成される第２表示部８０３と、を備える。
一実施形態において、選択操作は、スクリーン上でのターゲット仮想対象に対するタッチ操作を含む。
一実施形態において、調整装置は、取得部８０４を更に備え、
取得部８０４は、ワールド座標系における画像取得ユニットとターゲット仮想対象との相対的ポーズデータを取得するように構成され、
調整部８０２は、画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動過程で、画像取得ユニットとターゲット仮想対象との相対的ポーズデータを不変のまま保持することによって、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持するように構成される。
幾つかの実施例において、取得部８０４は、ワールド座標系における画像取得ユニットの現在のポーズデータ、及びワールド座標系における調整前のターゲット仮想対象の第１ポーズデータを取得し、画像取得ユニットの現在のポーズデータ及びターゲット仮想対象の第１ポーズデータに基づいて、相対的ポーズデータを決定するように構成される。
幾つかの実施例において、取得部８０４は、画像取得ユニットにより撮られた現実シーン画像を取得し、現実シーン画像に基づいて、ワールド座標系における画像取得ユニットの現在のポーズデータを決定するように構成される。
幾つかの実施例において、調整部８０２は、画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される。
幾つかの実施例において、調整部８０２は、画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、端末機器のスクリーンに表示される時の第１表示ポーズデータを決定し、他の仮想対象に対応する第１表示ポーズデータ及び画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される。
幾つかの実施例において、調整装置は、保存部８０５を更に備え、
保存部８０５は、ターゲット仮想対象に対する選択操作が終了したことに応答して、調整後のワールド座標系におけるターゲット仮想対象の第２ポーズデータを保存するように構成される。
取得部８０４において、調整装置は、第３表示部８０６を更に備え、
第３表示部は、画像取得ユニットの現在のポーズデータを取得し、画像取得ユニットの現在のポーズデータ及びターゲット仮想対象に対応する第２ポーズデータに基づいて、端末機器のスクリーン上でのターゲット仮想対象の第２表示ポーズデータを決定し、第２表示ポーズデータに基づいて、端末機器のスクリーンに、ターゲット仮想対象を含む拡張現実画面を表示するように構成される。
装置における各部の処理フロー及び各部間のインタラクションフローに関する説明は、上記方法の実施例における関連説明を参照することができ、ここで、詳細な説明を省略する。
図１における仮想対象の調整方法に対応して、本願の実施例は、電子機器９００を更に提供する。図９に示すように、図９は、本願の実施例による電子機器を示す概略図である。前記電子機器は、
プロセッサ９１と、メモリ９２と、バス９３と、を備え、メモリ９２は、実行命令を記憶するように構成され、内部メモリ９２１と、外部メモリ９２２と、を含み、ここで、内部メモリ９２１は、内メモリとも呼ばれ、プロセッサ９１におけるコンピューティングデータ、及びハードディスクなどの外部メモリ９２２と交換されるデータを一時的に記憶するように構成され、プロセッサ９１は、内部メモリ９２１を介して外部メモリ９２２とデータ交換を行う。電子機器９００が運転する時、プロセッサ９１とメモリ９２とは、バス９３を介して通信を行い、プロセッサ９１に下記命令を実行させる。端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示する。ターゲット仮想対象に対する選択操作を検出した後、端末機器の画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持し、スクリーンに表示されている少なくとも一部の拡張現実画面を更新する。更新された少なくとも一部の拡張現実画面及びスクリーン上でのターゲット仮想対象の表示ポーズに基づいて、端末機器のスクリーンに、画像取得ユニットの移動後の拡張現実画面を表示する。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される場合、上記方法の実施例に記載の調整方法のステップを実行する。ここで、該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。
本願の実施例が提供する調整方法のコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の調整方法のステップを実行するために用いられ、具体的には、上記方法の実施例を参照することができる。ここで、詳細な説明を省略する。
本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムは、プロセッサにより実行される時、前記実施例のいずれか１つの方法を実現させる。該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。１つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、もう１つの選択可能な実施例において、コンピュータプログラム製品は、具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化される。
説明上の便宜及び簡素化を図るために、上記説明されたシステム及び装置の具体的な作動過程は、前記方法の実施例における対応した過程を参照することができることは、当業者にはっきり理解されるべきである。本発明で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した前記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。
前記機能はソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、プロセッサによる実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現化することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク機器など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。上述した記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
最後に説明しておきたいこととして、上記実施例は本願の実施形態に過ぎず、本願の技術的解決手段を説明するためのものであり、これを限定するものではなく、本願の保護範囲はこれに制限されるものではない。前記実施例を参照しながら、本願を詳細に説明したが、本技術分野を周知するいかなる当業者であれば、本願で開示された技術的範囲内で、前記実施例に記載の技術的解決手段に対して修正を行うことができるか又は変更を容易に思いつくことができ、又は一部の技術的特徴に対して均等物による置換を行うこともでき、これらの修正、変更又は置換は、対応する技術的解決手段の本質を本願の実施例の技術的解決手段の精神及び範囲から離脱させるものではなく、本願の保護範囲内に含まれるものとすることは、理解すべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
本願の実施例において、端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示し、ターゲット仮想対象に対する選択操作を検出した後、端末機器の画像取得ユニットのポーズの移動が検出される場合、画像取得ユニットの移動過程で、スクリーン上でのターゲット仮想対象の表示ポーズを不変のまま保持し、スクリーンに表示されている少なくとも一部の拡張現実画面を更新し、更新された少なくとも一部の拡張現実画面及びスクリーン上でのターゲット仮想対象の表示ポーズに基づいて、端末機器のスクリーンに、画像取得ユニットの移動後の拡張現実画面を表示することによって、表示ポーズ調整の操作効率を効果的に向上させる。
本願の一態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードが電子機器で実行される場合、前記電子機器におけるプロセッサに、上記仮想対象の調整方法を実行させる。
例えば、本願は以下の項目を提供する。
（項目１）
仮想対象の調整方法であって、
端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示することと、
ターゲット仮想対象に対する選択操作を検出した後、前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持し、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することと、
更新された前記少なくとも一部の拡張現実画面及び前記スクリーン上での前記ターゲット仮想対象の表示ポーズに基づいて、前記端末機器のスクリーンに、前記画像取得ユニットの移動後の拡張現実画面を表示することと、を含む、仮想対象の調整方法。
（項目２）
前記選択操作は、前記スクリーン上での前記ターゲット仮想対象に対するタッチ操作を含むことを特徴とする
項目１に記載の調整方法。
（項目３）
前記調整方法は、前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得することを更に含み、
前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持することは、
前記画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記画像取得ユニットと前記ターゲット仮想対象との前記相対的ポーズデータを不変のまま保持することによって、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持することを含むことを特徴とする
項目１又は２に記載の調整方法。
（項目４）
前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得することは、
前記ワールド座標系における前記画像取得ユニットの現在のポーズデータ、及び前記ワールド座標系における調整前の前記ターゲット仮想対象の第１ポーズデータを取得することと、
前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象の前記第１ポーズデータに基づいて、前記相対的ポーズデータを決定することと、を含むことを特徴とする
項目３に記載の調整方法。
（項目５）
前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを取得することは、
前記画像取得ユニットにより撮られた現実シーン画像を取得することと、
前記現実シーン画像に基づいて、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを決定することと、を含むことを特徴とする
項目４に記載の調整方法。
（項目６）
前記スクリーンに表示されている少なくとも一部の拡張現実画像を更新することは、
前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することを含むことを特徴とする
項目１から５のうちいずれか一項に記載の調整方法。
（項目７）
前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することは、
前記画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、前記端末機器のスクリーンに表示される時の第１表示ポーズデータを決定することと、
前記他の仮想対象に対応する第１表示ポーズデータ及び前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することと、を含むことを特徴とする
項目１から５のうちいずれか一項に記載の調整方法。
（項目８）
前記調整方法は、
前記ターゲット仮想対象に対する選択操作が終了したことに応答して、ワールド座標系における調整後の前記ターゲット仮想対象の第２ポーズデータを保存することを更に含むことを特徴とする
項目１から７のうちいずれか一項に記載の調整方法。
（項目９）
前記調整方法は、
前記画像取得ユニットの現在のポーズデータを取得することと、
前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象に対応する前記第２ポーズデータに基づいて、前記端末機器のスクリーン上での前記ターゲット仮想対象の第２表示ポーズデータを決定することと、
前記第２表示ポーズデータに基づいて、前記端末機器のスクリーンに、前記ターゲット仮想対象を含む拡張現実画面を表示することと、を更に含むことを特徴とする
項目８に記載の調整方法。
（項目１０）
仮想対象の調整装置であって、
端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示するように構成される第１表示部と、
ターゲット仮想対象に対する選択操作を検出した後、前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持し、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される調整部と、
更新された前記少なくとも一部の拡張現実画面及び前記スクリーン上での前記ターゲット仮想対象の表示ポーズに基づいて、前記端末機器のスクリーンに、前記画像取得ユニットの移動後の拡張現実画面を表示するように構成される第２表示部と、を備える、仮想対象の調整装置。
（項目１１）
前記選択操作は、前記スクリーン上での前記ターゲット仮想対象に対するタッチ操作を含むことを特徴とする
項目１０に記載の調整装置。
（項目１２）
前記調整装置は、取得部を更に備え、
前記取得部は、前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得するように構成され、
前記調整部は具体的には、前記画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記画像取得ユニットと前記ターゲット仮想対象との前記相対的ポーズデータを不変のまま保持することによって、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持するように構成されることを特徴とする
項目１０又は１１に記載の調整装置。
（項目１３）
前記取得部は、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータ、及び前記ワールド座標系における調整前の前記ターゲット仮想対象の第１ポーズデータを取得し、前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象の前記第１ポーズデータに基づいて、前記相対的ポーズデータを決定するように構成されることを特徴とする
項目１２に記載の調整装置。
（項目１４）
前記取得部は更に、前記画像取得ユニットにより撮られた現実シーン画像を取得し、前記現実シーン画像に基づいて、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを決定するように構成されることを特徴とする
項目１３に記載の調整装置。
（項目１５）
前記調整部は、前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成されることを特徴とする
項目１０から１４のうちいずれか一項に記載の調整装置。
（項目１６）
前記調整部は、前記画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、前記端末機器のスクリーンに表示される時の第１表示ポーズデータを決定し、
前記他の仮想対象に対応する第１表示ポーズデータ及び前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成されることを特徴とする
項目１０から１４のうちいずれか一項に記載の調整装置。
（項目１７）
前記調整装置は、保存部を更に備え、
前記保存部は、前記ターゲット仮想対象に対する選択操作が終了したことに応答して、ワールド座標系における調整後の前記ターゲット仮想対象の第２ポーズデータを保存するように構成されることを特徴とする
項目１０から１６のうちいずれか一項に記載の調整装置。
（項目１８）
前記調整装置は、第３表示部を更に備え、
前記第３表示部は、
前記画像取得ユニットの現在のポーズデータを取得し、前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象に対応する前記第２ポーズデータに基づいて、前記端末機器のスクリーン上での前記ターゲット仮想対象の第２表示ポーズデータを決定し、前記第２表示ポーズデータに基づいて、前記端末機器のスクリーンに、前記ターゲット仮想対象を含む拡張現実画面を表示するように構成されることを特徴とする
項目１７に記載の調整装置。
（項目１９）
プロセッサ、メモリ及びバスを備える電子機器であって、
前記メモリは、前記プロセッサによる実行可能な機器可読命令を記憶し、電子機器が運転される場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記プロセッサは、前記機器可読命令を実行して、項目１から９のうちいずれか一項に記載の調整方法のステップを実行する、電子機器。
（項目２０）
プロセッサにより実行される場合、前記プロセッサに項目１から９のうちいずれか一項に記載の調整方法のステップを実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
（項目２１）
電子機器で実行される時、前記電子機器におけるプロセッサに項目１から９のうちいずれか一項に記載の調整方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。
（項目２２）
電子機器で実行される場合、前記電子機器に、項目１から９のうちいずれか一項に記載の調整方法を実行させるためのプログラムコードを記憶したコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。

Claims (22)

  1. 仮想対象の調整方法であって、
    端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示することと、
    ターゲット仮想対象に対する選択操作を検出した後、前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持し、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することと、
    更新された前記少なくとも一部の拡張現実画面及び前記スクリーン上での前記ターゲット仮想対象の表示ポーズに基づいて、前記端末機器のスクリーンに、前記画像取得ユニットの移動後の拡張現実画面を表示することと、を含む、仮想対象の調整方法。
  2. 前記選択操作は、前記スクリーン上での前記ターゲット仮想対象に対するタッチ操作を含むことを特徴とする
    請求項１に記載の調整方法。
  3. 前記調整方法は、前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得することを更に含み、
    前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持することは、
    前記画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記画像取得ユニットと前記ターゲット仮想対象との前記相対的ポーズデータを不変のまま保持することによって、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持することを含むことを特徴とする
    請求項１又は２に記載の調整方法。
  4. 前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得することは、
    前記ワールド座標系における前記画像取得ユニットの現在のポーズデータ、及び前記ワールド座標系における調整前の前記ターゲット仮想対象の第１ポーズデータを取得することと、
    前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象の前記第１ポーズデータに基づいて、前記相対的ポーズデータを決定することと、を含むことを特徴とする
    請求項３に記載の調整方法。
  5. 前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを取得することは、
    前記画像取得ユニットにより撮られた現実シーン画像を取得することと、
    前記現実シーン画像に基づいて、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを決定することと、を含むことを特徴とする
    請求項４に記載の調整方法。
  6. 前記スクリーンに表示されている少なくとも一部の拡張現実画像を更新することは、
    前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することを含むことを特徴とする
    請求項１から５のうちいずれか一項に記載の調整方法。
  7. 前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することは、
    前記画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、前記端末機器のスクリーンに表示される時の第１表示ポーズデータを決定することと、
    前記他の仮想対象に対応する第１表示ポーズデータ及び前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新することと、を含むことを特徴とする
    請求項１から５のうちいずれか一項に記載の調整方法。
  8. 前記調整方法は、
    前記ターゲット仮想対象に対する選択操作が終了したことに応答して、ワールド座標系における調整後の前記ターゲット仮想対象の第２ポーズデータを保存することを更に含むことを特徴とする
    請求項１から７のうちいずれか一項に記載の調整方法。
  9. 前記調整方法は、
    前記画像取得ユニットの現在のポーズデータを取得することと、
    前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象に対応する前記第２ポーズデータに基づいて、前記端末機器のスクリーン上での前記ターゲット仮想対象の第２表示ポーズデータを決定することと、
    前記第２表示ポーズデータに基づいて、前記端末機器のスクリーンに、前記ターゲット仮想対象を含む拡張現実画面を表示することと、を更に含むことを特徴とする
    請求項８に記載の調整方法。
  10. 仮想対象の調整装置であって、
    端末機器のスクリーンに、仮想対象を含む拡張現実画面を表示するように構成される第１表示部と、
    ターゲット仮想対象に対する選択操作を検出した後、前記端末機器の画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持し、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成される調整部と、
    更新された前記少なくとも一部の拡張現実画面及び前記スクリーン上での前記ターゲット仮想対象の表示ポーズに基づいて、前記端末機器のスクリーンに、前記画像取得ユニットの移動後の拡張現実画面を表示するように構成される第２表示部と、を備える、仮想対象の調整装置。
  11. 前記選択操作は、前記スクリーン上での前記ターゲット仮想対象に対するタッチ操作を含むことを特徴とする
    請求項１０に記載の調整装置。
  12. 前記調整装置は、取得部を更に備え、
    前記取得部は、前記画像取得ユニットとワールド座標系における前記ターゲット仮想対象との相対的ポーズデータを取得するように構成され、
    前記調整部は具体的には、前記画像取得ユニットのポーズの移動が検出される場合、前記画像取得ユニットの移動過程で、前記画像取得ユニットと前記ターゲット仮想対象との前記相対的ポーズデータを不変のまま保持することによって、前記スクリーン上での前記ターゲット仮想対象の表示ポーズを不変のまま保持するように構成されることを特徴とする
    請求項１０又は１１に記載の調整装置。
  13. 前記取得部は、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータ、及び前記ワールド座標系における調整前の前記ターゲット仮想対象の第１ポーズデータを取得し、前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象の前記第１ポーズデータに基づいて、前記相対的ポーズデータを決定するように構成されることを特徴とする
    請求項１２に記載の調整装置。
  14. 前記取得部は更に、前記画像取得ユニットにより撮られた現実シーン画像を取得し、前記現実シーン画像に基づいて、前記ワールド座標系における前記画像取得ユニットの現在のポーズデータを決定するように構成されることを特徴とする
    請求項１３に記載の調整装置。
  15. 前記調整部は、前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成されることを特徴とする
    請求項１０から１４のうちいずれか一項に記載の調整装置。
  16. 前記調整部は、前記画像取得ユニットの現在のポーズデータに基づいて、他の仮想対象の、前記端末機器のスクリーンに表示される時の第１表示ポーズデータを決定し、
    前記他の仮想対象に対応する第１表示ポーズデータ及び前記画像取得ユニットの移動過程で収集した現実シーン画像に基づいて、前記スクリーンに表示されている少なくとも一部の拡張現実画面を更新するように構成されることを特徴とする
    請求項１０から１４のうちいずれか一項に記載の調整装置。
  17. 前記調整装置は、保存部を更に備え、
    前記保存部は、前記ターゲット仮想対象に対する選択操作が終了したことに応答して、ワールド座標系における調整後の前記ターゲット仮想対象の第２ポーズデータを保存するように構成されることを特徴とする
    請求項１０から１６のうちいずれか一項に記載の調整装置。
  18. 前記調整装置は、第３表示部を更に備え、
    前記第３表示部は、
    前記画像取得ユニットの現在のポーズデータを取得し、前記画像取得ユニットの現在のポーズデータ及び前記ターゲット仮想対象に対応する前記第２ポーズデータに基づいて、前記端末機器のスクリーン上での前記ターゲット仮想対象の第２表示ポーズデータを決定し、前記第２表示ポーズデータに基づいて、前記端末機器のスクリーンに、前記ターゲット仮想対象を含む拡張現実画面を表示するように構成されることを特徴とする
    請求項１７に記載の調整装置。
  19. プロセッサ、メモリ及びバスを備える電子機器であって、
    前記メモリは、前記プロセッサによる実行可能な機器可読命令を記憶し、電子機器が運転される場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記プロセッサは、前記機器可読命令を実行して、請求項１から９のうちいずれか一項に記載の調整方法のステップを実行する、電子機器。
  20. プロセッサにより実行される場合、前記プロセッサに請求項１から９のうちいずれか一項に記載の調整方法のステップを実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
  21. 電子機器で実行される時、前記電子機器におけるプロセッサに請求項１から９のうちいずれか一項に記載の調整方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。
  22. 電子機器で実行される場合、前記電子機器に、請求項１から９のうちいずれか一項に記載の調整方法を実行させるためのプログラムコードを記憶したコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。
JP2021570926A 2020-07-30 2021-04-23 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム Withdrawn JP2022545598A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010750615.1A CN111882674A (zh) 2020-07-30 2020-07-30 虚拟对象的调整方法、装置、电子设备及存储介质
CN202010750615.1 2020-07-30
PCT/CN2021/089437 WO2022021965A1 (zh) 2020-07-30 2021-04-23 虚拟对象的调整方法、装置、电子设备、计算机存储介质及程序

Publications (1)

Publication Number Publication Date
JP2022545598A true JP2022545598A (ja) 2022-10-28

Family

ID=73205674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570926A Withdrawn JP2022545598A (ja) 2020-07-30 2021-04-23 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム

Country Status (4)

Country Link
JP (1) JP2022545598A (ja)
CN (1) CN111882674A (ja)
TW (1) TW202205060A (ja)
WO (1) WO2022021965A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882674A (zh) * 2020-07-30 2020-11-03 北京市商汤科技开发有限公司 虚拟对象的调整方法、装置、电子设备及存储介质
CN114385002B (zh) * 2021-12-07 2023-05-12 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质
CN114299263A (zh) * 2021-12-31 2022-04-08 北京绵白糖智能科技有限公司 增强现实ar场景的展示方法及装置
CN114445600A (zh) * 2022-01-28 2022-05-06 北京字跳网络技术有限公司 一种特效道具的展示方法、装置、设备及存储介质
CN114612637A (zh) * 2022-03-15 2022-06-10 北京字跳网络技术有限公司 一种场景画面显示方法、装置、计算机设备及存储介质
CN117643725A (zh) * 2022-08-12 2024-03-05 腾讯科技（深圳）有限公司 形象处理方法、装置、电子设备、存储介质及程序产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911235B2 (en) * 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
CN108553888A (zh) * 2018-03-29 2018-09-21 广州汉智网络科技有限公司 增强现实交互方法及装置
CN108553889A (zh) * 2018-03-29 2018-09-21 广州汉智网络科技有限公司 虚拟模型交互方法及装置
CN109002162B (zh) * 2018-06-21 2021-06-22 北京字节跳动网络技术有限公司 场景切换方法、装置、终端和计算机存储介质
CN109782901A (zh) * 2018-12-06 2019-05-21 网易（杭州）网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
CN110124305B (zh) * 2019-05-15 2023-05-12 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
CN110941337A (zh) * 2019-11-25 2020-03-31 深圳传音控股股份有限公司 虚拟形象的控制方法、终端设备及计算机可读存储介质
CN111882674A (zh) * 2020-07-30 2020-11-03 北京市商汤科技开发有限公司 虚拟对象的调整方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111882674A (zh) 2020-11-03
WO2022021965A1 (zh) 2022-02-03
TW202205060A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
JP2022545598A (ja) 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
JP2020042802A (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
CN110554770A (zh) 静态遮挡物
US11620792B2 (en) Fast hand meshing for dynamic occlusion
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
US10984607B1 (en) Displaying 3D content shared from other devices
CN115917474A (zh) 在三维环境中呈现化身
CN112074800A (zh) 用于在沉浸水平之间切换的技术
JP2022537861A (ja) Ａｒシーンコンテンツの生成方法、表示方法、装置及び記憶媒体
CN112020731A (zh) 3d模型的多设备编辑
WO2022252688A1 (zh) 增强现实数据呈现方法、装置、电子设备及存储介质
CN112987914A (zh) 用于内容放置的方法和设备
CN111599292A (zh) 一种历史场景的呈现方法、装置、电子设备及存储介质
CN110349269A (zh) 一种目标穿戴物试戴方法及系统
GB2574487A (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN114942737A (zh) 显示方法、装置、显示设备、头戴式设备及存储介质
WO2020173222A1 (zh) 物品虚拟化处理方法、装置、电子设备及存储介质
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US20240078743A1 (en) Stereo Depth Markers
US10964056B1 (en) Dense-based object tracking using multiple reference images
CN109716395A (zh) 在虚拟现实中保持对象稳定性
JP7378960B2 (ja) 画像処理装置、画像処理システム、画像生成方法、および、プログラム
CN112465988A (zh) 具有实例检测的对象检测以及一般场景理解

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230116