JP2023501642A - 仮想表示方法、装置、デバイス及びコンピュータ可読記憶媒体 - Google Patents

Abstract

本開示の実施例は、仮想表示方法、装置、デバイス及びコンピュータ可読記憶媒体を提供する。前記方法は、制御情報を取得することと、前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御することと、前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得ることと、前記ディスプレイスクリーンに前記仮想効果画像を表示させることと、を含む。本開示により、表示の柔軟性が高くなり、表示効果が向上する。【選択図】図３ａ

Description

（関連出願への相互参照）
本出願は、出願番号が２０２０１０７６３２２１．Ｘであり、出願日が２０２０年７月３１日である中国特許に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。

本開示は、画像処理技術に関し、特に仮想表示方法、装置、デバイス及びコンピュータ可読記憶媒体に関する。

現在、幾つかの大型展示会、例えば歴史的文物展示、自動車展示、工事地ビル展示又は建築計画用サンドテーブル展示などの場面では、展示物を展示し、展示物等の他の物品を解説することが常に必要となる。関連技術では、解説録音を再生しながらスクリーンに仮想人物を表示させるという方策が提案されている。しかしながら、関連技術では、展示物の解説又は他の実場面において、仮想人物及び展示物の表示モードが単一であり、表示方式が十分に柔軟ではない。

本開示の実施例は、仮想表示方法、装置、デバイス及びコンピュータ可読記憶媒体を提供する。

本開示の技術的手段は、以下のように実現される。

本開示の実施例による移動可能なディスプレイスクリーンを含む表示デバイスに適用される仮想表示方法は、
制御情報を取得することと、前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御することと、前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得ることと、前記ディスプレイスクリーンに前記仮想効果画像を表示させることと、を含む。

上記方法では、前記制御情報を取得することは、端末へのタッチ操作を受けることと、前記タッチ操作に基づいて、前記制御情報を生成することと、を含む。

上記方法では、前記制御情報を取得することは、第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集することと、前記マルチフレームインタラクション画像に基づいて、前記マルチフレームインタラクション画像における目標インタラクション対象の第２移動情報を決定することであって、前記第２移動情報は、前記制御情報とされることと、を含む。

上記方法では、前記第２移動情報は、前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方を含み、前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御することは、前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方に基づいて、第１移動方向及び第１移動速度のうちの少なくとも一方を決定することであって、前記第１移動方向及び前記第１移動速度のうちの少なくとも一方は、前記第１移動情報であり、前記実際の移動速度は、前記第１移動速度に正比例することと、前記第１移動方向及び前記第１移動速度のうちの少なくとも一方に従って、前記ディスプレイスクリーンを移動させるように制御することと、を含む。

上記方法では、前記第１移動情報は、前記ディスプレイスクリーンの第１移動速度を含み、前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得ることは、前記第１移動速度に基づいて、前記仮想対象の第１動作データを決定することであって、異なる第１移動速度は、異なる第１動作データに対応することと、前記第１動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第１動作効果を得ることであって、前記仮想効果画像は、前記第１動作効果を含むことと、含む。

上記方法では、前記第１動作データは、仮想対象のステップの長さ、仮想対象のケイデンス、仮想対象の肢体の振り幅、仮想対象の肢体の振り周波数、及び仮想対象のプリセット指示動作データのうちの少なくとも１種を含む。

上記方法では、前記第１移動情報は、ディスプレイスクリーンの第１移動方向を含み、前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得ることは、前記第１移動方向に基づいて、前記仮想対象の第２動作データを決定することと、前記第２動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第２動作効果を得ることであって、前記仮想効果画像には、前記第２動作効果が含まれることと、を含む。

上記方法では、前記第２動作効果は、前記仮想対象の振り向き動作を含み、前記第１移動方向に基づいて、前記仮想対象の第２動作データを決定することは、前記第１移動方向に基づいて、前記仮想対象の目標向きを決定することであって、前記目標向きは、前記第１移動方向と同じであることと、前記仮想対象の現在の向きが前記目標向きと異なる場合、前記現在の向きを目標向きに切り替えて、前記仮想対象の向き切り替え情報を得ることと、前記向き切り替え情報に基づいて、前記第２動作データを決定することと、を含む。

上記方法では、前記方法は、前記ディスプレイスクリーンが静止にある場合、第２画像収集装置を介して実場面画像を収集することと、前記実場面画像の画像コンテンツを識別して、目標展示対象を得ることと、前記目標展示対象の仮想展示データを取得し、前記仮想展示データ及び仮想対象をレンダリングして仮想展示画像を得ることと、前記ディスプレイスクリーンに、前記仮想展示画像と前記実場面とを重ね合わせた拡張現実効果を表示させることと、をさらに含む。

上記方法では、前記第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集することは、第１画像収集装置を介して、実場面のマルチフレーム画像を収集することと、前記マルチフレーム画像から複数のインタラクション対象を識別することと、前記複数のインタラクション対象から前記目標インタラクション対象を決定することと、前記マルチフレーム画像のうち、前記目標インタラクション対象を含む画像を前記マルチフレームインタラクション画像とすることと、を含む。

上記方法では、前記ディスプレイスクリーンは、透明のディスプレイスクリーン又は不透明のディスプレイスクリーンである。

本開示の実施例による仮想表示装置は、
制御情報を取得するように構成される取得部と、
前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御するように構成される制御部と、
前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得るように構成されるレンダリング部と、
前記ディスプレイスクリーンに前記仮想効果画像を表示させるように構成される表示部と、を備える。

上記装置では、前記取得部は、端末へのタッチ操作を受け、前記タッチ操作に基づいて、前記制御情報を生成するスように構成される。

上記装置では、前記取得部は、第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集し、前記マルチフレームインタラクション画像に基づいて、前記マルチフレームインタラクション画像における目標インタラクション対象の第２移動情報を決定するように構成され、前記第２移動情報は、前記制御情報とされる。

上記装置では、前記第２移動情報は、前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方を含み、前記制御部は、さらに前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方に基づいて、第１移動方向及び第１移動速度のうちの少なくとも一方を決定し、前記第１移動方向及び前記第１移動速度のうちの少なくとも一方が前記第１移動情報であり、前記実際の移動速度が前記第１移動速度に正比例し、前記第１移動方向及び前記第１移動速度のうちの少なくとも一方に従って、前記ディスプレイスクリーンを移動させるように制御するように構成される。

上記装置では、前記第１移動情報は、前記ディスプレイスクリーンの第１移動速度を含み、前記レンダリング部は、前記第１移動速度に基づいて、前記仮想対象の第１動作データを決定し、異なる第１移動速度が異なる第１動作データに対応し、前記第１動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第１動作効果を得るように構成される。

上記装置では、前記第１動作データは、仮想対象のステップの長さ、仮想対象のケイデンス、仮想対象の肢体の振り幅、仮想対象の肢体の振り周波数、及び仮想対象のプリセット指示動作データのうちの少なくとも１種を含む。

上記装置では、前記第１移動情報は、ディスプレイスクリーンの第１移動方向を含み、前記レンダリング部は、さらに前記第１移動方向に基づいて、前記仮想対象の第２動作データを決定し、前記第２動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第２動作効果を得るように構成され、前記仮想効果画像には、前記第２動作効果が含まれる。

上記装置では、前記第２動作効果は、前記仮想対象の振り向き動作を含み、前記レンダリング部は、さらに前記第１移動方向に基づいて、前記仮想対象の目標向きを決定し、前記目標向きが前記第１移動方向と同じであり、前記仮想対象の現在の向きが前記目標向きと異なる場合、前記現在の向きを目標向きに切り替えて、前記仮想対象の向き切り替え情報を得て、前記向き切り替え情報に基づいて、前記第２動作データを決定するように構成される。

上記装置では、前記ディスプレイスクリーンが静止にある場合、第２画像収集装置を介して実場面画像を収集するように構成される収集部と、前記実場面画像の画像コンテンツを識別して、目標展示対象を得るように構成される識別部と、をさらに備え、前記レンダリング部は、さらに前記目標展示対象の仮想展示データを取得し、前記仮想展示データ及び仮想対象をレンダリングして仮想展示画像を得て、前記ディスプレイスクリーンに、前記仮想展示画像と前記実場面とを重ね合わせた拡張現実効果を表示させるように構成される。

上記装置では、前記収集部は、さらに第１画像収集装置を介して、実場面のマルチフレーム画像を収集し、前記マルチフレーム画像から複数のインタラクション対象を識別し、前記複数のインタラクション対象から前記目標インタラクション対象を決定し、前記マルチフレーム画像のうち、前記目標インタラクション対象を含む画像を前記マルチフレームインタラクション画像とするように構成される。

上記装置では、前記ディスプレイスクリーンは、透明のディスプレイスクリーン又は不透明のディスプレイスクリーンである。

本開示の実施例による表示デバイスは、
前記表示デバイスに仮想効果画像を表示させるように構成されるディスプレイスクリーンと、
コンピュータプログラムを記憶するように構成されるメモリと、
前記メモリに記憶されたコンピュータプログラムを実行する場合、前記ディスプレイスクリーンと組み合わせて、上記仮想表示方法を実現するように構成されるプロセッサと、を備える。

本開示の実施例は、プロセッサによって実行される場合、上記仮想表示方法を実現するためのコンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供する。

本開示の実施例は、コンピュータ可読コードを含み、前記コンピュータコードが表示デバイスで実行される場合、前記表示デバイスにおけるプロセッサが上記仮想表示方法を実現する、コンピュータプログラムを提供する。

本開示の実施例は、以下の有益な効果を有する。

本開示の実施例は、仮想表示方法、装置、デバイス及びコンピュータ可読記憶媒体を提供する。前記方法では、制御情報を取得し、制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、ディスプレイスクリーンを第１移動情報に従って移動させるように制御し、ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得て、ディスプレイスクリーンに仮想効果画像を表示させ、つまり、制御情報に基づいて、ディスプレイスクリーンを移動させるように制御することにより、仮想対象がディスプレイスクリーンに対して移動することを対応する仮想効果画像として提示させることができ、これにより、表示の柔軟性が高くなり、表示効果が向上する。

本開示の実施例による１つの選択可能な仮想表示システムアーキテクチャの概略構成図である。 本開示の実施例による１つの選択可能な適用場面の概略図である。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想対象のステップの長さの概略図である。 本開示の実施例による１つの選択可能な仮想対象のステップの長さの概略図である。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な仮想対象の向きの概略図である。 本開示の実施例による１つの選択可能な仮想対象の向きの概略図である。 本開示の実施例による１つの選択可能な仮想表示方法のフローチャートである。 本開示の実施例による１つの選択可能な表示効果の概略図である。 本開示の実施例による１つの選択可能な表示効果の概略図である。 本開示の実施例による仮想表示装置の概略構成図である。 本開示の実施例による表示デバイスの概略構成図である。

ここでの添付図面は、本明細書に組み込まれて本明細書の一部を構成し、これらの添付図面は、本開示に一致する実施例を示し、明細書と共に本開示の実施例の技術的手段を説明するために用いられる。

本開示の目的、技術的手段及び利点をより明確にするために、以下に添付図面を参照して本開示をさらに詳しく説明する。説明される実施例は、本開示を限定するためのものと見なすべきではなく、当業者が創造的な労働をせずに得られた他のすべての実施例は、本開示の保護範囲に属する。

本開示の実施例は、表示方式の柔軟性を向上させることができる仮想表示方法、装置、デバイス及びコンピュータ可読記憶媒体を提供する。本開示の実施例によって提供される仮想表示方法は、表示デバイスに適用され、以下では、本開示の実施例によって提供される表示デバイスの例示的な適用を説明する。本開示の実施例によって提供される表示デバイスは、ＡＲメガネ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、セットトップボックス、モバイルデバイス（例えば、携帯電話、ポータブル音楽プレーヤー、パーソナルディジタルアシスタント、専用メッセージングデバイス、ポータブルゲームデバイス）などの様々なタイプのデバイスとして実施されてもよい。開示された実施例では、表示デバイスは、ディスプレイスクリーンを含み、ここで、ディスプレイスクリーンは、移動可能なディスプレイスクリーンとして実施され、例えば、ディスプレイスクリーンは、プリセットスライドレール上に移動することができ、又は、移動可能なスライドブラケット上に移動を実現し、又は、ユーザがディスプレイデバイスを手で持つことにより、ディスプレイスクリーンの移動が実現されてもよい。

例示的に、本開示の実施例では、仮想表示システムは、展示ホールにおける展示物の前に設けられてディスプレイスクリーンを備えた表示デバイス、及び展示ホールの側面に設けられて制御に用いられる端末を含み、表示デバイスと端末は、情報インタラクションを行うことができる。仮想表示システムは、端末とそのバックエンドサーバーで構成されてもよく、端末は、展示ホールにおける展示物の前に設けられてもよく、又はユーザが手で持って移動して、展示物の展示を行うことができる。この時の端末は、先の表示デバイス及び端末の機能を一体化したものである。

つまり、端末は、表示デバイス自体であってもよいし、表示デバイスとの接続関係を確立することにより、表示デバイスが端末へのユーザのタッチ操作を受けることを可能にする端末であってもよく、これに対して、本開示の実施例は限定しない。

ここで、端末は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、パーソナルデジタルアシスタント、ポータブルメディアプレーヤー、スマートブレスレットなどのウェアラブルデバイス、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）デバイス、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイス、ペドメーターなどであってもよく、これに対して、本開示の実施例は限定しない。

以下、表示デバイスの例示的な適用を説明する。表示デバイスがディスプレイスクリーンを備えた端末である場合、ディスプレイスクリーンを第１移動情報に従って移動させるように制御し、第１移動情報に基づいて仮想対象をレンダリングし、仮想効果画像を得ることができ、表示デバイスは、クラウドサーバーとのインタラクションを行い、第１移動情報に基づいて、クラウドサーバーに予め記憶された、プリセット仮想効果画像データベースから仮想効果データを決定することもできる。

図１を参照すると、図１は本開示の実施例による仮想表示システム１００の１つの選択可能なアーキテクチャの概略図である。１つの仮想表示アプリケーションへのサポートを実現するために、端末４００（端末４００－１及び端末４００－２が例示的に示される）は、ネットワーク３００を介してサーバー２００に接続され、ネットワーク３００は、広域ネットワーク又はローカルエリアネットワークであってもよく、又は両者の組み合わせであってもよい。端末４００は、移動可能なディスプレイスクリーンであってもよく、移動可能なディスプレイスクリーンは、プリセットラック上に移動することができる。

端末４００は、制御情報を取得し、制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、ディスプレイスクリーンを第１移動情報に従って移動させるように制御し、ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得て、ディスプレイスクリーン４１０に仮想効果画像を表示させるように構成される（ディスプレイスクリーン４１０－１及びディスプレイスクリーン４１０－２が例示的に示される）。

例示的に、端末４００が携帯電話として実施される場合、携帯電話におけるプリセット表示アプリケーションを起動し、プリセット表示アプリケーションを介して制御情報を取得し、さらに第１移動情報を決定し、第１移動情報に基づいてサーバー２００にデータ要求を開始することができ、サーバー２００は、データ要求を受け取った後、データベース５００に予め記憶された、プリセット仮想効果画像から第１移動情報とマッチングする仮想効果データを決定し、仮想効果データを端末４００に送り返す。端末４００は、サーバーによってフィードバックされた仮想効果データを得た後、レンダリングツールを介して仮想効果データに基づいて仮想効果画像をレンダリングし、仮想効果画像を端末４００のグラフィカルインターフェースに提示する。

幾つかの実施例では、サーバー２００は、独立した物理サーバーであってもよいし、複数の物理サーバーで構成されるサーバークラスター又は分散システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、ＣＤＮ、及びビックデータ及び人工知能プラットフォームなどの基本的なクラウドコンピューティングサービスを提供するためのクラウドサーバーであってもよい。端末４００は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、スマートスピーカー、スマートウォッチなどであってもよいが、これらに限定されない。端末とサーバーは、有線又は無線通信により直接又は間接的に接続されてもよく、本開示の実施例において限定されない。

以下の実施例では、表示デバイス及び端末が異なるデバイスであることを例として仮想表示方法の実現を説明する。

図２は本開示の実施例による適用場面の概略図である。図２に示すように、表示デバイスは、移動可能なディスプレイスクリーン２０１を含むことができ、当該移動可能なディスプレイスクリーン２０１は、展示会の複数の展示物の周りに設けられてもよく、移動可能なディスプレイスクリーン２０１には、展示物を撮影するように構成され得るリアカメラが配置され、移動可能なディスプレイスクリーン２０１には、展示物、展示物に関する仮想効果及び仮想対象が表示されてもよい。展示物の仮想効果は、展示物の紹介情報、展示物の内部詳細展示情報、展示物の輪郭線、展示物の仮想解説者のうちの少なくとも１種であってもよい。移動可能なディスプレイスクリーン２０１には、移動可能なディスプレイスクリーン２０１の前に位置する目標インタラクション対象（例えば出展者）を撮影するように構成されたフロントカメラも配置され、これにより、移動可能なディスプレイスクリーン２０１は、撮影された画像における目標インタラクション対象によって発信した命令を識別することができ、これにより、目標インタラクション対象に対してディスプレイスクリーンを移動させるように制御し、目標インタラクション対象の命令に従って仮想対象とのインタラクションを行い、展示物を展示するという効果を達成する。

本開示の実施例は、移動可能なディスプレイスクリーンを含む表示デバイスに適用される仮想表示方法を提供する。図３ａを参照すると、図３ａは本開示の実施例による１つの選択可能な仮想表示方法のフローチャートであり、図３ａに示すステップを参照して説明する。

Ｓ３０１において、制御情報を取得する。

本開示の実施例では、表示デバイスは、制御情報を取得し、制御情報に基づいて、ディスプレイスクリーンを移動させるように制御することができる。

ここで、制御情報の形態は、例えば、端末によって端末に設けられたディスプレイスクリーンに作用する操作情報、例えば左移動、右移動、加速、減速、停止などを含むことができ、制御情報は、検出された表示デバイスのディスプレイスクリーンの周りにおけるユーザの歩行、静止、腕の振りなどのユーザの移動情報も含むことができ、これに対して、本開示の実施例は限定しない。

本開示の実施例では、制御情報を取得する方式は、１）センサーによりユーザの移動情報をセンシングすることと、２）カメラでユーザの移動情報をキャプチャすることと、３）ユーザが端末で操作する操作情報を受信することとを含むことができ、これに対して、本開示の実施例は限定しない。

ここで、表示デバイス及び端末の機能が一体化した場合、表示デバイスは、ユーザがユーザ自分に設けられたディスプレイスクリーンで行う操作により、制御情報を取得することもできる。

Ｓ３０２において、制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、ディスプレイスクリーンを第１移動情報に従って移動させるように制御する。

本開示の実施例では、表示デバイスは、制御情報を取得した後、制御情報に基づいて第１移動情報を決定することができ、第１移動情報は、ディスプレイスクリーンの移動状況を表し、第１移動情報は、ディスプレイスクリーンの第１移動方向、及びディスプレイスクリーンの第１移動速度のうちの少なくとも一方を含むことができる。第１移動情報が決定された後、ディスプレイスクリーンを第１移動情報に従って移動させるように制御する。

例示的に、制御情報が、ユーザが端末で左移動操作を行うものである場合、第１移動情報は、ディスプレイスクリーンが左に移動するものであってもよく、そこで、表示デバイスのディスプレイスクリーンは、プリセット速度に従って左に移動し、又は、制御情報が、ユーザの腕が左を指す動作である場合、第１移動情報は、ディスプレイスクリーンが左に移動し、プリセット速度で移動するものであってもよく、又は、制御情報が、ユーザが左に歩くものである場合、第１移動情報は、ディスプレイスクリーンが左に移動し、ユーザの速度に追従して移動するものであってもよい。

ここで、表示デバイス及び端末の機能が一体化した場合、制御情報は、ユーザが表示デバイスに設けられたディスプレイスクリーンで左移動操作を行うことにより得られるものであってもよく、この場合、制御情報に基づいて、ディスプレイスクリーンの第１移動情報が、ディスプレイスクリーンが左に移動するという情報であることを決定する。

Ｓ３０３において、ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得る。

本開示の実施例では、ディスプレイスクリーンに仮想対象が表示され、第１移動情報に基づいて仮想対象をレンダリングすることにより、仮想効果画像を提示し、仮想効果画像により、ディスプレイスクリーンの第１移動情報に対応する仮想対象の応答状況を実現する。

本開示の実施例では、仮想対象は、仮想人物、仮想動物、仮想物品、仮想アバターなどを含むことができ、これに対して、本開示の実施例は限定しない。

本開示の実施例では、表示デバイスは、ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングすることができ、これにより、異なるディスプレイスクリーンの第１移動情報は、異なる仮想効果画像に対応することができ、即ち、第１移動情報は、仮想効果画像とマッチングすることができる。

例示的に、ディスプレイスクリーンが第１移動情報に従って静止する場合、仮想効果画像は、仮想対象が静止する画像であってもよく、ディスプレイスクリーンが第１移動情報に従って移動する場合、仮想効果画像は、仮想対象がディスプレイスクリーンの方向及び速度に追従して移動する画像であってもよく、つまり、ユーザがディスプレイスクリーンを静止させるように制御する場合、仮想対象は、静止し、ユーザがディスプレイスクリーンを移動させるように制御する場合、仮想対象は、ディスプレイスクリーンに追従して移動する。

Ｓ３０４において、ディスプレイスクリーンに仮想効果画像を表示させる。

本開示の実施例では、仮想効果画像が得られた後、仮想効果画像をディスプレイスクリーンに表示させ、このようにして、ユーザは、ディスプレイスクリーンを介して、ディスプレイスクリーンの第１移動情報に対する仮想対象の応答状況を見ることができる。

表示デバイスは、制御情報を取得した後、制御情報に基づいて、ディスプレイスクリーンを第１移動情報に従って移動させるように制御し、さらに第１移動情報とマッチングする仮想対象の仮想効果画像をディスプレイスクリーンに表示させることができることが理解でき、それにより、表示の柔軟性が高くなり、表示効果が向上する。

本開示の幾つかの実施例では、制御情報を取得するＳ３０１は、図３ｂに示すように、以下のステップを含むことができる。

Ｓ４０１において、端末へのタッチ操作を受ける。

本開示の実施例では、端末でのユーザのタッチ操作を受け、タッチ操作により、表示デバイスのディスプレイスクリーンを移動させるように制御することができる。

ここで、表示デバイス及び端末の機能が一体化した場合、表示デバイスは、表示デバイスのディスプレイスクリーンでのユーザのタッチ操作を受け、タッチ操作により、表示デバイスのディスプレイスクリーンを移動させるように制御することもでき、本開示の実施例は限定しない。

Ｓ４０２において、タッチ操作に基づいて、制御情報を生成する。

本開示の実施例では、表示デバイスは、ユーザのタッチ操作を受けると、タッチ操作に基づいて対応する制御情報を生成することができる。

本開示の実施例では、表示デバイスは、ユーザの第１タッチ操作を受ける場合、左に移動するようにディスプレイスクリーンに指示する制御情報を生成し、表示デバイスは、ユーザの第２タッチ操作を受ける場合、右に移動するようにディスプレイスクリーンに指示する制御情報を生成し、表示デバイスは、ユーザの第３タッチ操作を受ける場合、静止するようにディスプレイスクリーンに指示する制御情報を生成し、移動プロセスにおいて、表示デバイスは、ユーザの第４タッチ操作を受ける場合、加速するようにディスプレイスクリーンに指示する制御情報を生成し、表示デバイスは、ユーザの第５タッチ操作を受ける場合、減速するようにディスプレイスクリーンに指示する制御情報を生成する。

ここで、第１タッチ操作、第２タッチ操作、第３タッチ操作、第４タッチ操作及び第５タッチ操作は、いずれもニーズに応じて設定されてもよく、ここで、本開示の実施例は限定しない。

例示的に、表示デバイスは、ユーザが携帯電話において左にスライドする操作を受ける場合、左に移動するようにディスプレイスクリーンに指示する制御情報を生成し、さらにディスプレイスクリーンの第１移動情報が、初期のプリセット速度０．２ｍ／ｓで左に移動するものであることを決定し、ディスプレイスクリーンが左に移動するプロセスにおいて、ユーザが左にスライドする操作を再度受ける場合、移動を加速するようにディスプレイスクリーンに指示する制御情報を生成し、さらにディスプレイスクリーンの第１移動情報が第２プリセット速度０．４ｍ／ｓで左に移動するものであることを決定し、ここで、第２プリセット速度は、初期のプリセット速度を基にしてプリセット速度ステップ０．２ｍ／ｓ上げるものであってもよく、幾つかの実施例では、速度の上限を０．８ｍ／ｓに設定することもでき、このようにして、ユーザが携帯電話に左に複数回スライドする場合でも、ディスプレイスクリーンの最大移動速度は、０．８ｍ／ｓを超えない。

表示デバイスは、端末へのユーザのタッチ操作に基づいて、ディスプレイスクリーンを第１移動情報に従って移動させるように制御し、さらに第１移動情報に基づいて仮想対象をレンダリングし、第１移動情報とマッチングする仮想効果画像をディスプレイスクリーンに表示させることができ、それにより、表示の柔軟性が高くなり、表示効果が向上することが理解できる。

本開示の幾つかの実施例では、制御情報を取得するＳ３０１の実現は、図３ｃに示すように、以下のステップを含むことができる。

Ｓ５０１において、第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集する。

本開示の実施例では、ユーザの移動情報を取得するために、ユーザの移動情報を、ディスプレイスクリーンを移動させるように制御する制御情報とする。表示デバイスに第１画像収集装置を設けて、第１画像収集装置に対する実場面画像を撮影し、ユーザを、ディスプレイスクリーンを移動させるように制御する目標インタラクション対象とし、目標インタラクション対象を含むマルチフレームインタラクション画像を収集し、マルチフレームインタラクション画像における目標インタラクション対象の画面における動作変化状況を比較して、目標インタラクション対象の移動情報を得ることができる。

本開示の幾つかの実施例では、第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集するＳ５０１の実現は、図３ｄに示すように、以下のステップを含むことができる。

Ｓ５０１１において、第１画像収集装置を介して、実場面のマルチフレーム画像を収集する。

本開示の実施例では、表示デバイスは、第１画像収集デバイスを介して実場面画像を撮影した後、マルチフレーム画像を得ることができ、マルチフレーム画像における各フレームの画像には、目標インタラクション対象が含まれる可能性があり、目標インタラクション対象が含まれない可能性もある。

ここで、第１画像収集装置は、ディスプレイスクリーンにおける、ディスプレイスクリーンの移動に追随して目標インタラクション対象の移動動作をリアルタイムで収集するカメラであってもよいし、目標インタラクション対象が静止する場合での腕の動作を収集する固定カメラであってもよく、これに対して、本開示の実施例は限定しない。

Ｓ５０１２において、マルチフレーム画像から複数のインタラクション対象を識別する。

Ｓ５０１３において、複数のインタラクション対象から目標インタラクション対象を決定する。

本開示の実施例では、表示デバイスは、まずマルチフレーム画像におけるインタラクション対象を識別することができる。マルチフレーム画像における各フレームの画像には、インタラクション対象が含まれる可能性があり、インタラクション対象が含まれない可能性もあり、インタラクション対象が含まれる場合、目標インタラクション対象を選択してインタラクションプロセスを行うことができる。

本開示の実施例では、表示デバイスは、複数のインタラクション対象を識別することができ、表示デバイスは、複数のインタラクション対象から目標インタラクション対象を決定することができる。

本開示の実施例では、表示デバイスは、プリセット選択条件に従って複数のインタラクション対象から目標インタラクション対象を決定することができ、例えば、表示デバイスは、複数のインタラクション対象のうち、ディスプレイスクリーンに最も近いインタラクション対象を目標インタラクション対象として決定することができ、表示デバイスは、目標インタラクション対象と表示デバイスとの間の関連関係を予め確立することもでき、このようにして、表示デバイスは、複数のインタラクション対象から目標インタラクション対象を決定することができ、表示デバイスは、複数のインタラクション対象のうち、受けた視線の数量が最も多いインタラクション対象を目標インタラクション対象とすることもでき、例えば、複数の視聴者が解説者を注視し、解説者を目標インタラクション対象と見なすことができ、ここで、プリセット選択条件は、必要に応じて設定されてもよく、これに対して、本開示の実施例は限定しない。

Ｓ５０１４において、マルチフレーム画像のうち、目標インタラクション対象を含む画像をマルチフレームインタラクション画像とする。

本開示の実施例では、表示デバイスは、複数の識別対象から目標インタラクション対象を決定した後、目標インタラクション対象を含むマルチフレーム画像をマルチフレームインタラクション画像とすることができ、マルチフレームインタラクション画像の各フレームの画像には目標インタラクション対象が含まれる。

表示デバイスは、第１画像収集装置を介して実場面画像を撮影し、それによってマルチフレーム画像を取得し、マルチフレーム画像からインタラクション対象を識別した後、続いてインタラクション対象から目標インタラクション対象を決定し、さらにマルチフレームインタラクション画像を取得することが理解できる。

Ｓ５０２において、マルチフレームインタラクション画像に基づいて、マルチフレームインタラクション画像における目標インタラクション対象の第２移動情報を決定し、ここで、第２移動情報は制御情報とされる。

本開示の実施例では、表示デバイスは、マルチフレームインタラクション画像を取得した後、マルチフレームインタラクション画像に基づいて目標インタラクション対象の移動情報、即ち第２移動情報を決定し、第２移動情報を制御情報とすることができる。

ここで、第２移動情報は、目標インタラクション対象の移動方向、移動速度、腕の移動方向、腕の移動速度などを含むことができ、これに対して、本開示の実施例は限定しない。

本開示の幾つかの実施例では、表示デバイスは、マルチフレームインタラクション画像における画面での目標インタラクション対象の変化に基づいて、第２移動情報を決定することができる。

例示的に、ディスプレイスクリーンにフロントカメラが設けられ、フロントカメラによって目標インタラクション対象の歩行プロセスを撮影し、画像での目標インタラクション対象の位置を比較することにより、目標インタラクション対象とディスプレイスクリーンとの間の距離を決定し、続いてマルチフレームインタラクション画像における画像での目標インタラクション対象の位置の変化及びマルチフレームインタラクション画像の時間情報により、目標インタラクション対象の実際の移動方向及び実際の移動速度を第２移動情報として決定する。

本開示の幾つかの実施例では、表示デバイスは、実場面画像に基づいて３次元空間を確立し、マルチフレームインタラクション画像における画像での目標インタラクション対象の位置に基づいて３次元空間における目標インタラクション対象の座標を決定し、さらに３次元空間における目標インタラクション対象の座標の変化状況に応じて、第２移動情報を決定することができる。

本開示の幾つかの実施例では、第２移動情報は、目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方を含み、制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、ディスプレイスクリーンを第１移動情報に従って移動させるように制御するＳ３０２は、図３ｅに示すように、以下のステップを含むことができる。

Ｓ６０１において、目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方に基づいて、第１移動方向及び第１移動速度のうちの少なくとも一方を決定し、ここで、第１移動方向及び第１移動速度のうちの少なくとも一方は、第１移動情報である。

本開示の実施例では、ディスプレイスクリーンは、目標インタラクション対象の移動に追随して移動し、第２移動情報は、目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方を含み、このようにして、表示デバイスは、第２移動情報を取得した後、目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方に基づいて、ディスプレイスクリーンの第１移動情報を決定することができ、第１移動情報は、第１移動方向及び第１移動速度のうちの少なくとも一方を含む。

本開示の幾つかの実施例では、目標インタラクション対象の移動方向に基づいてディスプレイスクリーンの第１移動方向を決定し、第１移動方向を第１移動情報とすることができる。

本開示の実施例では、表示デバイスは、目標インタラクション対象の移動方向がディスプレイスクリーンのスライドレールに投影する方向を第１移動方向とし、例えば、ディスプレイスクリーンのスライドレールの方向は、左右方向の延在であり、目標インタラクション対象の移動方向が左方向である場合、第１移動方向は左方向であり、目標インタラクション対象の移動方向が左前方向である場合、スライドレールに投影する方向は、左方向であり、第１移動方向は、左方向であり、目標インタラクション対象が静止する場合、目標インタラクション対象の実際の移動方向がなく、ディスプレイスクリーンの第１移動方向もなく、即ちディスプレイスクリーンも静止する。

本開示の幾つかの実施例では、表示デバイスは、目標インタラクション対象の移動速度に基づいてディスプレイスクリーンの第１移動速度を決定し、第１移動速度を第１移動情報とすることができ、ここで、第１移動速度は、実際の移動速度に正比例する。

本開示の実施例では、実際の移動速度を第１移動速度とすることができ、実際の移動速度をプリセット複数の速度範囲に分けることもでき、各範囲が１つのディスプレイスクリーンの移動速度に対応し、それによって実際の移動速度の属する速度範囲が決定された後、対応する第１移動速度を決定することができ、実際の移動速度に基づいて第１移動速度を決定する方式に対して、ニーズに応じて設定することができ、これに対して、本開示の実施例は限定しない。

本開示の幾つかの実施例では、目標インタラクション対象の移動方向に基づいてディスプレイスクリーンの第１移動方向を決定し、目標インタラクション対象の移動速度に基づいてディスプレイスクリーンの第１移動速度を決定し、それによってディスプレイスクリーンの第１移動情報を決定し、第１移動方向及び第１移動速度を第１移動情報とすることができる。

Ｓ６０２において、第１移動方向及び第１移動速度のうちの少なくとも一方に従って、ディスプレイスクリーンを移動させるように制御する。

本開示の実施例では、第１移動方向及び第１移動速度のうちの少なくとも一方が決定された後、第１移動方向及び第１移動速度のうちの少なくとも一方に従ってディスプレイスクリーンを移動させるように制御する。

本開示の幾つかの実施例では、第１移動情報は、第１移動方向であり、表示デバイスは、ディスプレイスクリーンを第１移動方向及びプリセット移動速度に従って移動させるように制御し、つまり、目標インタラクション対象が移動する場合、ディスプレイスクリーンは、第１移動方向及びプリセット移動速度に従って移動し、目標インタラクション対象が静止する場合、ディスプレイスクリーンは、静止する。

本開示の幾つかの実施例では、第１移動情報は、第１移動速度であり、表示デバイスは、ディスプレイスクリーンをプリセット移動方向及び第１移動速度に従って移動させるように制御する。

例示的に、目標インタラクション対象が左から右に移動して各展示物が順番に見られることができる場合、ディスプレイスクリーンの第１移動方向は、左から右に移動するように予め設定されてもよく、最も左側は、ディスプレイスクリーンが移動する初期位置であり、このようにして、表示デバイスがディスプレイスクリーンの第１移動速度を決定した場合、ディスプレイスクリーンは、第１移動速度に従って右に移動し、目標インタラクション対象が第１画像収集装置の撮影範囲を超える場合、ディスプレイスクリーンは、静止し、又は、初期位置に移動する。

本開示の幾つかの実施例では、第１移動情報は、第１移動方向及び第１移動速度であり、表示デバイスは、ディスプレイスクリーンを第１移動方向及び第１移動速度に従って移動させるように制御する。実際の移動速度が第１移動速度に正比例するため、目標インタラクション対象の移動速度が速いほど、ディスプレイスクリーンの速度が速くなり、目標インタラクション対象の移動速度が遅いほど、ディスプレイスクリーンの移動速度も遅くなる。

例示的に、目標インタラクション対象の実際の移動方向は、左方向であり、実際の移動速度は、０．３ｍ／ｓであり、これにより、第１移動方向が左方向であり、第１移動速度が０．３ｍ／ｓであることを決定し、実際の移動速度を０．４ｍ／ｓに上げる場合、第１移動速度も０．４ｍ／ｓであり、これにより、ディスプレイスクリーンと目標インタラクション対象は、左に同期して移動する。

本開示の幾つかの実施例では、第１移動情報は、ディスプレイスクリーンの第１移動速度を含む。ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得るＳ３０３の実現は、図３ｆに示すように、以下のステップを含むことができる。

Ｓ７０１において、第１移動情報に基づいて、仮想対象の第１動作データを決定し、ここで、異なる第１移動速度は、異なる第１動作データに対応する。

本開示の実施例では、ディスプレイスクリーンの第１移動速度が決定された後、第１移動速度に基づいて仮想対象の第１動作データを決定することができ、第１動作データは、仮想対象が移動する状態を表す。ディスプレイスクリーンが速く移動する場合、第１動作データは、仮想対象が速く移動することを示し、ディスプレイスクリーンが遅く移動する場合、第１動作データは、仮想対象が遅く移動することを示し、ディスプレイスクリーンが静止する場合、第１動作データは、仮想対象がアイドル状態にあることを示す。

本開示の幾つかの実施例では、第１動作データは、仮想対象のステップの長さ、仮想対象のケイデンス、仮想対象の肢体の振り幅、仮想対象の肢体の振り周波数、及び仮想対象のプリセット指示動作データのうちの少なくとも１種を含む。

本開示の実施例では、第１動作データごとについて複数のデータを設定することができ、各データは、仮想対象の異なる移動速度を表し、ディスプレイスクリーンの第１移動速度と第１動作データとの対応関係を設定し、対応関係によって第１動作データを決定する。

ここで、第１移動速度は、１種類の第１動作に対応することができ、複数種類の第１動作データに対応することもでき、これに対して、本開示の実施例は限定しない。

例示的に、第１移動速度を異なる速度範囲に従って分類することができ、各種類は、１つの第１動作データに対応し、第１動作データがステップの長さであることを例として、第１移動速度が（０．１－０．３）ｍ／ｓである場合、対応するステップの長さは０．２ｍであり、第１移動速度が（０．３－０．５）ｍ／ｓである場合、対応するステップの長さは０．４ｍである。

なお、ディスプレイスクリーンが静止する場合、即ち第１移動速度が０である場合、第１動作データがプリセット指示動作データであることを決定し、プリセット指示動作データは、仮想対象がアイドル状態にあることを示し、プリセット指示動作データは、仮想対象が手を振る動作データ、仮想対象が自由に歩く動作データ、仮想対象が歓迎するために腕を伸ばす動作データなどを含むことができ、プリセット指示動作データは、ニーズに応じて設定されてもよく、これに対して、本開示の実施例は限定しない。

Ｓ７０２において、第１動作データに基づいて、仮想対象をレンダリングして仮想対象の第１動作効果を得て、仮想効果画像には、第１動作効果が含まれる。

本開示の実施例では、第１動作データが決定された後、第１動作データに基づいて、仮想対象をレンダリングして仮想対象の第１動作効果を得て、異なる第１動作データによって異なる第１動作効果を得ることができる。

例示的に、異なるステップの長さで仮想対象をレンダリングすることにより、得られた第１動作効果が異なり、ステップの長さ０．２ｍとステップの長さ０．４ｍとを比較すると、対応する仮想対象の第１動作効果において異なるステップサイズが提示され、ステップの長さ０．２ｍに対応する第１動作効果について図４ａを参照し、ステップの長さ０．４ｍに対応する第１動作効果について図４ｂを参照し、図４ｂにおける仮想対象のステップの長さが図４ａにおけるステップの長さよりも大きく、つまり、異なるステップサイズに対応する異なるステップの長さを設定し、ステップサイズによって仮想対象の移動速度を体現することができる。

ここで、プリセット指示動作データによって仮想対象をレンダリングすることにより、プリセット指示動作、例えば、仮想対象が手を振る動作、仮想対象が自由に歩く動作などを得ることができる。

ディスプレイスクリーンの第１移動速度に基づいて仮想対象をレンダリングし、第１動作効果を得て、第１動作効果によって第１移動速度の差異を体現することが理解でき、つまり、目標インタラクション対象の移動速度が速いほど、ディスプレイスクリーンの移動速度が速くなり、第１動作効果によって提示される仮想対象の移動速度は速くなり、それによって表示の柔軟性が高くなり、表示効果が向上する。

本開示の幾つかの実施例では、第１移動情報は、ディスプレイスクリーンの第１移動方向を含む。ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得るＳ３０３の実現は、図５ａに示すように、以下のステップを含むことができる。

Ｓ８０１において、第１移動方向に基づいて、仮想対象の第２動作データを決定する。

本開示の実施例では、ディスプレイスクリーンの第１移動方向が決定された後、第１移動方向に基づいて仮想対象の第２動作データを決定することができ、第２動作データは、仮想対象の目標向きの切り替えプロセスを示す。

本開示の実施例では、ディスプレイスクリーンが静止する場合、仮想対象は、目標インタラクション対象を向くことができ、プリセット指示動作を実行することもでき、ディスプレイスクリーンが移動し始める場合、仮想対象は、現在の向きから移動方向に切り替え、続いて移動方向に従って移動することができる。

ここで、第２動作データは、仮想対象の振り向き方向を含むことができ、仮想対象の振り向きによって、仮想対象の移動方向が変化することを示し、第２動作データは、仮想対象の左側／右側の腕の持ち上げであってもよく、仮想対象の左側の腕の持ち上げによって、仮想対象の移動方向が左方向であることを示し、ここで、第２動作データは、ニーズに応じて設定されてもよく、これに対して、本開示の実施例は限定しない。

本開示の幾つかの実施例では、第２動作効果は、仮想対象の振り向き動作を含み、第１移動方向に基づいて、仮想対象の第２動作データを決定するＳ８０１の実現は、図５ｂに示すように、以下のステップを含むことができる。

Ｓ８０１１において、第１移動方向に基づいて、仮想対象の目標向きを決定し、目標向きが第１移動方向と同じである。

本開示の実施例では、ディスプレイスクリーンの第１移動方向を仮想対象の目標向きとして決定することができ、例えば、第１移動方向が左方向である場合、仮想対象の目標向きが左方向であることを決定し、第１移動方向が右方向である場合、仮想対象の目標向きが右方向であることを決定し、ディスプレイスクリーンが静止する場合、仮想対象の目標向きがディスプレイスクリーンの真ん前であることを決定する。

Ｓ８０１２において、仮想対象の現在の向きが目標向きと異なる場合、現在の向きを目標向きに切り替えて、仮想対象の向き切り替え情報を得る。

本開示の実施例では、ディスプレイスクリーンの第１移動方向が変化する場合、仮想対象の現在の向きが目標向きと異なり、仮想対象を現在の向きから目標向きに切り替えて、仮想対象の向き切り替え情報を得ることができる。

例示的に、ディスプレイスクリーンが静止状態から移動する場合、仮想対象の現在の向きがディスプレイスクリーンの真ん前であり、目標向きが右方向である場合、向き切り替え情報は、ディスプレイスクリーンの真ん前から右方向に切り替えるものである。

図６ａを参照すると、図６ａには、ィスプレイスクリーンが静止する状態における仮想対象の現在の向きは、ディスプレイスクリーンの真ん前であり、ディスプレイスクリーンが静止状態から右に移動する場合、仮想対象は、右に振り向き、振り向いた後の仮想対象の向きは右方向であり、図６ｂに示される。

Ｓ８０１３において、向き切り替え情報に基づいて、第２動作データを決定する。

本開示の実施例では、向き切り替え情報を確認した後、第２動作データが、仮想対象が現在の方向から目標向きを向くように振り向くものであることを決定することができる。

本開示の実施例では、ディスプレイスクリーンが一方向に移動し続けているプロセスにおいて、仮想対象の現在の向きが目標向きと同じであり、仮想対象の向きを切り替える必要がないため、仮想対象の目標向きを決定しなくてもよい。

Ｓ８０２において、第２動作データに基づいて、仮想対象をレンダリングして仮想対象の第２動作効果を得て、仮想効果画像には第２動作効果が含まれる。

本開示の実施例では、第２動作データが決定された後、第２動作データに基づいて仮想対象をレンダリングして、仮想対象の第２動作効果を得て、異なる第２動作データによって異なる第２動作効果を得ることができる。

例示的に、ディスプレイスクリーンが静止する場合、目標インタラクション対象は、ディスプレイスクリーンの真ん前に位置し、仮想対象は、ディスプレイスクリーンの真ん前を向け、ディスプレイスクリーンの第１移動方向が左方向である場合、第２動作効果は、仮想対象が左に振り向くものであり、ディスプレイスクリーンの第１移動方向が右方向である場合、第２動作効果は、仮想対象が右に振り向くものであり、ディスプレイスクリーンが右に移動してから停止する場合、第２動作効果は、仮想対象が右側を向けてから、ディスプレイスクリーンの真ん前を向くように振り向くものである。

第１移動方向によって第２動作データを決定し、さらに仮想対象をレンダリングして第２動作効果を得て、第２動作効果によってディスプレイスクリーンの移動方向の変化を表示し、それにより、表示の柔軟性が高くなり、表示効果が向上することが理解できる。

上記実施例に基づいて、本開示の実施例は、仮想表示方法を提供する。図７に示すように、当該方法は、以下のステップを含むことができる。

Ｓ９０１において、ディスプレイスクリーンが静止にある場合、第２画像収集装置を介して、実場面画像を収集する。

Ｓ９０２において、実場面画像の画像コンテンツを識別して、目標展示対象を得る。

本開示の実施例では、表示デバイスには、実場面画像を収集するように構成される第２画像収集装置も設けられ、ここで、実場面は、建物の屋内場面、街路場面、具体的な物体などが仮想対象を重ね合わせることができる場面であってもよく、実場面において仮想対象を重ね合わせることで、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の効果を提示し、これに対して、本開示の実施例は限定しない。

ＡＲ技術は、仮想情報と現実世界を巧みに融合する技術であり、ユーザは、ＡＲデバイスを介して、実際のキャンパスの遊び場に重ね合わせられた仮想樹木、空に重ね合わせられた仮想の飛ぶ鳥などの実場面に重ね合わせられた仮想対象を見ることができ、拡張現実場面における仮想対象の提示効果を達成する。

本開示の実施例では、ディスプレイスクリーンが静止する場合、表示デバイスは、収集された実場面画像に基づいて識別し、実場面における目標展示対象を得て、そうすると、表示デバイスは、目標展示対象及び仮想対象をレンダリングし、仮想展示対象を得る必要がある。

例示的に、ディスプレイスクリーンが静止する場合、表示デバイスは、実場面画像に基づいて目標展示対象を識別しない場合、ディスプレイスクリーンに仮想対象のプリセット指示動作を表示させることができる。

Ｓ９０３において、目標展示対象の仮想展示データを取得し、仮想展示データ及び仮想対象をレンダリングして仮想展示画像を得る。

本開示の実施例では、目標展示対象が識別された後、表示デバイスは、目標展示対象の仮想展示データを取得し、仮想展示データ及び仮想対象をレンダリングして、仮想展示画像を得る必要がある。

例示的に、目標展示対象は、文物であり、文物の仮想展示データは、文物の名前、サイズ、出土年代、文物の説明、仮想的な詳細などを含むことができ、この際に、仮想対象は、文物への解説者として展示してもよく、したがって、表示デバイスは、仮想対象をレンダリングすることにより、仮想対象にプリセット説明動作を提示させ、仮想対象の表示位置と表示サイズのうちの少なくとも一方を調整して、仮想対象による文物の遮蔽を回避することもできる。

Ｓ９０４において、ディスプレイスクリーンに、仮想展示画像と実場面とを重ね合わせた拡張現実効果を表示させる。

本開示の実施例では、レンダリングした後に仮想展示対象が得られた後、仮想展示対象及び収集された実場面画像を重ね合わせて、拡張現実効果を表示する。

図８は表示効果を示す図である。図８に示すように、ディスプレイスクリーン８００が静止する場合、決定された目標展示対象は、文物８０４であり、且つ、文物８０４は、実場面画像において画像の右側に位置する場合、ディスプレイスクリーンに表示される仮想対象８０５は、ディスプレイスクリーン８００の左側に位置し、文物８０４は、ディスプレイスクリーンの右側に位置し、文物８０４の仮想展示データは、文物説明８０４１及び文物の仮想的な詳細８０４２を含み、ここで、文物説明８０４１は、「口径７５．６ｃｍ」であってもよい。

上記の実施例に基づいて、本開示の幾つかの実施例では、表示デバイスのディスプレイスクリーンは、透明のディスプレイスクリーン又は不透明のディスプレイスクリーンであってもよい。ここで、透明ディスプレイスクリーンは、ＯＬＥＤディスプレイスクリーンであってもよい。

表示デバイスのディスプレイスクリーンが不透明のディスプレイスクリーンである場合、不透明のディスプレイスクリーンの裏面（即ち、ディスプレイスクリーンが設けられない面）には、不透明のディスプレイスクリーンの裏面に面している目標展示対象を収集するとともに不透明のディスプレイスクリーンの前面にあるディスプレイを介して目標展示対象に対応する実場面画像と仮想展示画像とを重ね合わせた拡張現実ＡＲ効果を表示させるように構成される単眼カメラ又は双眼カメラが設けられてもよい。このようにして、目標インタラクション対象は、不透明のディスプレイスクリーンの正面に位置し、実場面画像と仮想展示画像とを重ね合わせた拡張現実ＡＲ効果を見ることができる。

表示デバイスのディスプレイスクリーンが透明のディスプレイスクリーンである場合、透明のディスプレイスクリーンの一側には、透明のディスプレイスクリーンの一側に位置する展示物を収集するように構成される単眼カメラ又は双眼カメラが設けられてもよい。表示デバイスは、収集された目標展示対象を識別することにより、透明のスクリーンに、目標展示対象に対応する実場面画像と仮想展示画像とを重ね合わせた拡張現実ＡＲ効果を表示させる。これに基づいて、図９に示す表示効果の概略図を参照すると、目標インタラクション対象は、透明のディスプレイスクリーンを透過して透明のディスプレイスクリーンの後に位置する目標展示対象を見て、透明のディスプレイスクリーンから上記拡張表示ＡＲ効果を見ることができる。

本開示の実施例は、仮想表示装置を提供する。図１０は、本開示の実施例による仮想表示装置の１つの選択可能な構成構造である。図１０に示すように、当該仮想表示装置１０は、
制御情報を取得するように構成される取得部１００１と、
前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御するように構成される制御部１００２と、
前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得るように構成されるレンダリング部１００３と、
前記ディスプレイスクリーンに前記仮想効果画像を表示させるように構成される表示部１００４と、を備える。

幾つかの実施例では、前記取得部１００１はさらに、端末へのタッチ操作を受け、前記タッチ操作に基づいて、前記制御情報を生成するスように構成される。

幾つかの実施例では、前記取得部１００１はさらに、第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集し、前記マルチフレームインタラクション画像に基づいて、前記マルチフレームインタラクション画像における目標インタラクション対象の第２移動情報を決定するように構成され、前記第２移動情報は、前記制御情報とされる。

幾つかの実施例では、前記第２移動情報は、前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方を含み、前記制御部１００２はさらに、前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方に基づいて、第１移動方向及び第１移動速度のうちの少なくとも一方を決定し、前記第１移動方向及び前記第１移動速度のうちの少なくとも一方が前記第１移動情報であり、前記実際の移動速度が前記第１移動速度に正比例し、前記第１移動方向及び前記第１移動速度のうちの少なくとも一方に従って、前記ディスプレイスクリーンを移動させるように制御するように構成される。

幾つかの実施例では、前記第１移動情報は、前記ディスプレイスクリーンの第１移動速度を含み、前記レンダリング部１００３はさらに、前記第１移動速度に基づいて、前記仮想対象の第１動作データを決定し、異なる第１移動速度が異なる第１動作データに対応し、前記第１動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第１動作効果を得るように構成され、前記仮想効果画像は、前記第１動作効果を含む。

幾つかの実施例では、前記第１動作データは、仮想対象のステップの長さ、仮想対象のケイデンス、仮想対象の肢体の振り幅、仮想対象の肢体の振り周波数、及び仮想対象のプリセット指示動作データのうちの少なくとも１種を含む。

幾つかの実施例では、前記第１移動情報は、ディスプレイスクリーンの第１移動方向を含み、前記レンダリング部１００３はさらに、前記第１移動方向に基づいて、前記仮想対象の第２動作データを決定し、前記第２動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第２動作効果を得るように構成され、前記仮想効果画像には、前記第２動作効果が含まれる。

幾つかの実施例では、前記第２動作効果は、前記仮想対象の振り向き動作を含み、前記レンダリング部１００３はさらに、前記第１移動方向に基づいて、前記仮想対象の目標向きを決定し、前記目標向きが前記第１移動方向と同じであり、前記仮想対象の現在の向きが前記目標向きと異なる場合、前記現在の向きを目標向きに切り替えて、前記仮想対象の向き切り替え情報を得て、前記向き切り替え情報に基づいて、前記第２動作データを決定するように構成される。

幾つかの実施例では、前記ディスプレイスクリーンが静止する場合、第２画像収集装置を介して実場面画像を収集するように構成される収集部１００５（図示せず）と、前記実場面画像の画像コンテンツを識別して、目標展示対象を得るように構成される識別部１００６（図示せず）と、をさらに備え、前記レンダリング部１００３はさらに、前記目標展示対象の仮想展示データを取得し、前記仮想展示データ及び仮想対象をレンダリングして仮想展示画像を得て、前記ディスプレイスクリーンに、前記仮想展示画像と前記実場面とを重ね合わせた拡張現実効果を表示させるように構成される。

幾つかの実施例では、前記収集部１００５はさらに、第１画像収集装置を介して、実場面のマルチフレーム画像を収集し、前記マルチフレーム画像から複数のインタラクション対象を識別し、前記複数のインタラクション対象から前記目標インタラクション対象を決定し、前記マルチフレーム画像のうち、前記目標インタラクション対象を含む画像を前記マルチフレームインタラクション画像とするように構成される。

幾つかの実施例では、前記ディスプレイスクリーンは、透明のディスプレイスクリーン又は不透明のディスプレイスクリーンである。

本開示の実施例及び他の実施例では、「部」は、一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェアなどであってもよく、当然、ユニットであってもよく、また、モジュールであってもよいし、モジュール化されないものであってもよい。

本開示の実施例は、表示デバイスをさらに提供する。図１１は、本開示の実施例による表示デバイスの１つの選択可能な概略構成図である。図１１に示すように、当該表示デバイス１１は、
前記表示デバイスに仮想効果画像を表示させるように構成されるディスプレイスクリーン１１０１と、
コンピュータプログラムを記憶するように構成されるメモリ１１０２と、
前記メモリ１１０２に記憶されたコンピュータプログラムを実行する場合、前記ディスプレイスクリーン１１０１と組み合わせて、上記の実施例によって提供される仮想表示方法のステップを実現するように構成されるプロセッサ１１０３と、を備える。

表示デバイス１１は、通信バス１１０４をさらに備える。通信バス１１０４は、上記コンポーネント間の接続通信を実現するように構成される。

メモリ１１０２は、プロセッサ１１０３によって実行されるコンピュータプログラム及びアプリケーションを記憶するように構成され、プロセッサ１１０３及び表示デバイスの各モジュールによって処理されるデータ又は処理されたデータ（例えば、画像データ、オーディオデータ、音声通信データ及びビデオ通信データ）をキャッシュすることもでき、フラッシュメモリ（ＦＬＡＳＨ（登録商標））又はランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により実現されてもよい。

プロセッサ１１０３がプログラムを実行する場合、上記のいずれかの仮想表示方法のステップを実現する。プロセッサ１１０３は、通常、表示デバイス１１の全体的な動作を制御する。

上記プロセッサは、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１種であってもよい。上記プロセッサ機能を実現する電子デバイスは、他のものであってもよいことが理解でき、本開示の実施例は限定しない。

本開示の実施例は、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサに実行される場合、上記方法の実施例に記載される仮想表示方法のステップを実行する。

上記コンピュータ可読記憶媒体／メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ（登録商標）：ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気表面メモリ、光ディスク、又は読み取り専用光ディスク（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などのメモリであってもよく、携帯電話、コンピュータ、タブレットデバイス、パーソナルデジタルアシスタントなどの、上記メモリの１つの又は任意の組み合わせを含む様々な端末であってもよい。

上記の記憶媒体及びデバイスの実施例の説明が上記の方法の実施例の説明と同様であり、方法の実施例と同様の有益な効果を有することを指摘する必要がある。本開示の記憶媒体及びデバイスの実施例に開示されない技術的詳細について、本開示の方法の実施例の説明を参照して理解する。

本開示の実施例は、コンピュータ可読コードを含み、前記コンピュータコードが表示デバイスで実行される場合、前記表示デバイスにおけるプロセッサが上記仮想表示方法を実現する、コンピュータプログラムを提供する。

明細書全体にわたって言及する「１つの実施例」又は「一実施例」が実施例と関連する特定特徴、構造又は特性が本発明の少なくとも１つの実施例に含まれることを意味することを理解すべきである。したがって、本明細書を通して様々な箇所に現れる「１つの実施例において」又は「一実施形態で」は、必ずしも同じ実施例を意味するわけではない。また、これらの特定の特徴、構造又は特性は、１つ又は複数の実施例に任意の適切な方式で組合わせられてもよい。本開示の様々な実施例では、上記の各プロセスの番号の大きさが実行順序を意味せず、各プロセスの実行順序は、その機能と内部論理で決定されるべきであり、本開示の実施例の実施プロセスのいかなる限定を構成すべきではないことを理解すべきである。上記の本開示の実施例番号は、説明のためのものだけであり、実施例の優劣を表したものではない。

本開示で提供される幾つかの実施例では、開示されるデバイス及び方法が他の方式により実現されてもよいことを理解すべきである。上述したデバイスの実施例は、例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的区分だけであり、実際に実現する場合他の区分方式もあり得て、例えば複数のユニット又はコンポーネントは、組み合わせられてもよく、又は他のシステムに統合されてもよく、又は幾つかの特徴は、無視されてもよく、又は実行されなくてもよい。また、示され又は議論される各コンポーネントの間の相互結合、又は直接結合、又は通信接続は、幾つかのインターフェース、デバイス又はユニットを介す間接的結合又は通信接続であってもよいし、電気的、機械的又は他の形態であってもよい。

分離部材として説明された前記ユニットは、物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は物理的ユニットであってもよく又は物理的ユニットでなくてもよく、即ち１つの箇所に位置してもよいし、複数のネットワークユニットに分布してもよく、実際のニーズに応じて一部又は全てのユニットを選択して本開示の実施例の案の目的を達成することができる。

また、本開示の各実施例における各機能ユニットは、全て１つの処理ユニットに統合されてもよいし、個々のユニットは、それぞれ単独で1つのユニットとして機能してもよく、２つ又は２つ以上のユニットは、１つのユニットに統合されてもよく、上記の統合されたユニットは、ハードウェアの形で実現されてもよいし、ハードウェアとソフトウェア機能の組み合わせの形で実現されてもよい。

又は、本開示では上記の統合されたユニットは、ソフトウェア機能モジュールの形で実現され且つ独立した製品として販売又は使用される場合に、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の実施例における技術的手段は本質的に又は関連技術に寄与する部分がソフトウェア製品の形で具現化されてもよく、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、機器自動テストラインに本開示の各実施例に記載の方法の全て又は一部を実行させるための幾つかの命令を含む。前記記憶媒体は、モバイルストレージデバイス、ＲＯＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。

本開示よって提供される幾つかの方法の実施例で開示される方法を衝突せずに任意に組み合わせて、新しい方法の実施例を得ることができる。

本開示によって提供される幾つかの方法又はデバイスの実施例で開示される特徴を衝突せずに任意に組み合わせて、新しい方法の実施例又はデバイスの実施例を得ることができる。

上記は、本開示の実施形態だけであるが、本開示の保護範囲は、これに制限されず、当業者が本開示で開示された技術範囲内で容易に想到し得る変化又は入れ替わりは、全て本開示の保護範囲内に含まれるべきである。したがって、本開示の保護範囲は、前記特許請求の保護範囲に準拠するべきである。

本開示の実施例では、制御情報に基づいて、ディスプレイスクリーンを移動させるように制御することにより、仮想対象がディスプレイスクリーンに対して移動することを対応する仮想効果画像として提示させることができ、これにより、表示の柔軟性が高くなり、表示効果が向上する。

Claims (15)

1. 移動可能なディスプレイスクリーンを含む表示デバイスに適用される仮想表示方法であって、
   制御情報を取得することと、
   前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御することと、
   前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得ることと、
   前記ディスプレイスクリーンに前記仮想効果画像を表示させることと、を含む、仮想表示方法。
2. 前記制御情報を取得することは、
   端末へのタッチ操作を受けることと、
   前記タッチ操作に基づいて、前記制御情報を生成することと、を含むことを特徴とする
   請求項１に記載の方法。
3. 前記制御情報を取得することは、
   第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集することと、
   前記マルチフレームインタラクション画像に基づいて、前記マルチフレームインタラクション画像における目標インタラクション対象の第２移動情報を決定することであって、前記第２移動情報は、前記制御情報とされることと、を含むことを特徴とする
   請求項１に記載の方法。
4. 前記第２移動情報は、前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方を含み、
   前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御することは、
   前記目標インタラクション対象の実際の移動方向及び実際の移動速度のうちの少なくとも一方に基づいて、第１移動方向及び第１移動速度のうちの少なくとも一方を決定することであって、前記第１移動方向及び前記第１移動速度のうちの少なくとも一方は前記第１移動情報であり、前記実際の移動速度は、前記第１移動速度に正比例することと、
   前記第１移動方向及び前記第１移動速度のうちの少なくとも一方に基づいて、前記ディスプレイスクリーンを移動させるように制御することと、を含むことを特徴とする
   請求項３に記載の方法。
5. 前記第１移動情報は、前記ディスプレイスクリーンの第１移動速度を含み、
   前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得ることは、
   前記第１移動速度に基づいて、前記仮想対象の第１動作データを決定することであって、異なる第１移動速度は、異なる第１動作データに対応することと、
   前記第１動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第１動作効果を得ることであって、前記仮想効果画像には、前記第１動作効果が含まれることと、を含むことを特徴とする
   請求項１～４のいずれか一項に記載の方法。
6. 前記第１動作データは、仮想対象のステップの長さ、仮想対象のケイデンス、仮想対象の肢体の振り幅、仮想対象の肢体の振り周波数、及び仮想対象のプリセット指示動作データのうちの少なくとも１種を含むことを特徴とする
   請求項５に記載の方法。
7. 前記第１移動情報は、ディスプレイスクリーンの第１移動方向を含み、
   前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得ることは、
   前記第１移動方向に基づいて、前記仮想対象の第２動作データを決定することと、
   前記第２動作データに基づいて、前記仮想対象をレンダリングして前記仮想対象の第２動作効果を得ることであって、前記仮想効果画像には、前記第２動作効果が含まれることと、を含むことを特徴とする
   請求項１～６のいずれか一項に記載の方法。
8. 前記第２動作効果は、前記仮想対象の振り向き動作を含み、
   前記第１移動方向に基づいて、前記仮想対象の第２動作データを決定することは、
   前記第１移動方向に基づいて、前記仮想対象の目標向きを決定することであって、前記目標向きは、前記第１移動方向と同じであることと、
   前記仮想対象の現在の向きが前記目標向きと異なる場合、前記現在の向きを目標向きに切り替えて、前記仮想対象の向き切り替え情報を得ることと、
   前記向き切り替え情報に基づいて、前記第２動作データを決定することと、を含むことを特徴とする
   請求項７に記載の方法。
9. 前記方法は、
   前記ディスプレイスクリーンが静止にある場合、第２画像収集装置を介して、実場面画像を収集することと、
   前記実場面画像の画像コンテンツを識別して、目標展示対象を得ることと、
   前記目標展示対象の仮想展示データを取得し、前記仮想展示データ及び仮想対象をレンダリングして仮想展示画像を得ることと、
   前記ディスプレイスクリーンに、前記仮想展示画像と前記実場面とを重ね合わせた拡張現実効果を表示させることと、をさらに含むことを特徴とする
   請求項１～８に記載の方法。
10. 前記第１画像収集装置を介して、実場面における目標インタラクション対象のマルチフレームインタラクション画像を収集することは、
    第１画像収集装置を介して、実場面のマルチフレーム画像を収集することと、
    前記マルチフレーム画像から複数のインタラクション対象を識別することと、
    前記複数のインタラクション対象から前記目標インタラクション対象を決定することと、
    前記マルチフレーム画像のうち、前記目標インタラクション対象を含む画像を前記マルチフレームインタラクション画像とすることと、を含むことを特徴とする
    請求項３に記載の方法。
11. 前記ディスプレイスクリーンは、透明のディスプレイスクリーン又は不透明のディスプレイスクリーンであることを特徴とする
    請求項１～１０のいずれか一項に記載の方法。
12. 仮想表示装置であって、
    制御情報を取得するように構成される取得部と、
    前記制御情報に基づいて、ディスプレイスクリーンの第１移動情報を決定し、前記ディスプレイスクリーンを前記第１移動情報に従って移動させるように制御するように構成される制御部と、
    前記ディスプレイスクリーンの第１移動情報に基づいて、仮想対象をレンダリングして仮想効果画像を得るように構成されるレンダリング部と、
    前記ディスプレイスクリーンに前記仮想効果画像を表示させるように構成される表示部と、を備える、仮想表示装置。
13. 表示デバイスであって、
    前記表示デバイスに仮想効果画像を表示させるように構成されるディスプレイスクリーンと、
    コンピュータプログラムを記憶するように構成されるメモリと、
    前記メモリに記憶されたコンピュータプログラムを実行する場合、前記ディスプレイスクリーンと組み合わせて、請求項１～１１のいずれか一項に記載の方法を実現するように構成されるプロセッサと、を備える、表示デバイス。
14. プロセッサによって実行される場合、請求項１～１１のいずれか一項に記載の方法を実現するためのコンピュータプログラムを記憶するコンピュータ可読記憶媒体。
15. コンピュータ可読コードを含み、
    前記コンピュータ可読コードがコンピュータデバイスで実行される場合、前記コンピュータデバイスにおけるプロセッサが請求項１～１１のいずれか一項に記載の方法を実行するコンピュータプログラム。

Images