JP2022545851A - 仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体 - Google Patents

Abstract

本願の実施例は、仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体を開示する。該方法は、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集することと、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することと、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定することと、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、前記仮想効果画像を含む拡張現実効果を展示することと、を含む。

Description

（関連出願の相互参照）
本願は、２０２０年０７月３１日に提出された、出願番号が２０２０１０７６１７３４．７である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、画像処理技術に関し、特に仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体に関する。

現在では、いくつかの大型展示会、例えば歴史的文物展示、自動車展示、工事現場での建物展示又は建築計画砂盤展示などの場面において、展示品を展示する必要があり、展示品などの物品に対して解説を行うことが多い。関連技術において、解説の録音を再生すると同時に、ディスプレイにデジタルヒューマンを表示するという案が既に出現した。しかしながら、関連技術において、展示品の解説又は他の実際の場面において、デジタルヒューマンの展示モードが単一であり、展示方式の柔軟性が不十分であるため、解説効果に影響を与えてしまう。それと同時に、関連技術において、展示品の展示方式も単一であり、柔軟性が不十分であり、展示効果の豊さが不十分である。

本願の実施例は、仮想対象及び展示対象の展示の柔軟性を向上させ、仮想対象及び展示対象の展示効果を豊かにすることができる仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体を提供する。

本願の実施例の技術的解決手段は以下のように実現する。

本願の実施例は、仮想対象制御方法を提供する。前記方法は、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集することと、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することと、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定することと、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、前記仮想効果画像を含む拡張現実効果を展示することと、を含む。

本願の実施例は、仮想対象制御装置を提供する。前記装置は、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集するように構成される収集コンポーネントと、前記複数フレームのインタラクション画像に基づいて、前記実場面におけるインタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を制御し、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定するように構成される決定コンポーネントと、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得るように構成されるレンダリングコンポーネントと、前記仮想効果画像を含む拡張現実効果を展示するように構成される表示コンポーネントと、を備える。

本願の実施例は、表示機器を提供する。前記表示機器は、ディスプレイと、カメラと、メモリと、プロセッサと、を備え、前記メモリは、実行可能なコンピュータプログラムを記憶するように構成され、前記プロセッサは、前記メモリに記憶されている実行可能なコンピュータプログラムを実行する時に、前記カメラ及びディスプレイと共に、上記方法を実現するように構成される。

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、プロセッサにより実行される時、上記方法を実現するように構成される。

本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される場合、前記電子機器におけるプロセッサが実行する時に、上記方法を実現する。

本願の実施例において、実場面におけるインタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定するため、仮想対象の姿勢情報は、インタラクション対象の状態情報に伴って変わることができ、仮想対象とインタラクション対象とのインタラクションを実現することができ、仮想対象の展示の柔軟性を向上させ、仮想対象の展示効果を豊かにする。それと同時に、目標展示対象の展示画像に基づいて、目標展示対象の仮想効果データを得て、仮想効果データに基づいてレンダリングを行い、仮想効果画像を得る。従って、実場面における展示対象に対応する仮想効果を展示することができ、それにより展示対象の展示方式を増加させ、展示対象の展示の柔軟性を向上させ、展示対象の展示効果を豊かにする。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の実施例による展示システムの１つの選択可能なアーキテクチャを示す概略図である。 本願の実施例による適用場面を示す概略図である。 本願の実施例による表示機器を示す第１概略図である。 本願の実施例による表示機器を示す第２概略図である。 本願の実施例による仮想対象制御方法を示す１つの選択可能なフローチャートである。 本願の実施例による例示的な表示機器の表示インタフェースを示す概略図である。 本願の実施例による別の例示的な表示機器の表示インタフェースを示す概略図である。 本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。 本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。 本願の実施例による仮想対象制御方法を示すまた１つの選択可能なフローチャートである。 本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。 本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。 本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。 本願の実施例による例示的な表示機器により展示される仮想対象の効果を示す概略図である。 本願の実施例による別の例示的な表示機器により展示される仮想対象の効果を示す概略図である。 本願の実施例による仮想対象制御方法を示すまた１つの選択可能なフローチャートである。 本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。 本願の実施例による例示的な表示機器の表示インタフェースを示す概略図である。 本願の実施例による別の例示的な表示機器の表示インタフェースを示す概略図である。 本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。 本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。 本願の実施例による仮想対象制御装置の構造を示す概略図である。 本願の実施例による表示機器の構造を示す概略図である。

ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈するために用いられる。

本願の目的、技術的解決手段及び利点をより明確にするために、以下、図面を参照しながら、本願を更に詳しく説明する。記述される実施例は、本願を限定するものと見なされるべきではない。当業者が創造的な労力なしに得られる全ての他の実施例は、いずれも本願の保護範囲に含まれる。

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術は、仮想情報と実世界を巧みに融合させる技術である。ユーザは、ＡＲ機器により、実場面に重畳される仮想対象を見ることができる。例えば、実の学校の運動場に重畳される仮想大樹を見ることができ、空に重畳される仮想な飛んでいる鳥を見ることができる。拡張現実場面における仮想対象に対する表示効果を実現するために、仮想大樹及び仮想な飛んでいる鳥のような仮想対象と、実場面と、を如何により好適に融合させるかは、本願の実施例において検討しようとする内容である。以下では、具体的な実施例を参照しながら、説明する。

本願の実施例は、仮想対象及び展示対象の展示の柔軟性を向上させ、仮想対象及び展示対象の展示効果を豊かにすることができる仮想対象制御方法を提供する。本願の実施例で提供される仮想対象制御方法は、仮想対象制御機器に適用される。該仮想対象制御機器は、表示機器であってもよい。

以下では、本願の実施例で提供される表示機器の例示的な適用を提供する。本願の実施例で提供される表示機器は、ＡＲメガネ、ノートパソコン、タブレット、デスクトップコンピュータ、セットトップボックス、移動機器（例えば、携帯電話、携帯型音楽プレーヤ、パーソナルデジタルアシスタント、専用メッセージング機器、携帯型ゲーム機器）などの種々のタイプのユーザ端末（以下、端末と略称される）として実施されてもよく、サーバとして実施されてもよい。以下では、表示機器が端末として実施される場合の例示的な適用を説明する。表示機器が端末として実施される場合、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集し、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定し、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定することができる。端末は、クラウドサーバとインタラクションを行うこともでき、クラウドサーバとのインタラクションにより、前記インタラクション対象の状態情報に対応する仮想対象の姿勢情報を取得し、目標展示対象の仮想効果データを取得し、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、前記仮想効果画像を含む拡張現実効果を展示する。

以下では、目標展示対象及びインタラクション対象を含む実場面において、端末がサーバとインタラクションを行うという方式により、前記インタラクション対象の状態情報に対応する仮想対象の姿勢情報を取得し、目標展示対象の仮想効果データを取得し、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、前記仮想効果画像を含む拡張現実画像を展示することを例として、展示システムを説明する。図１を参照すると、図１は、本願の実施例による展示システムの１つの選択可能なアーキテクチャを示す概略図である。仮想対象制御アプリケーションをサポートするために、展示システム１００において、端末４００（表示機器：端末４００－１及び端末４００－２が例示的に示される）は、ネットワーク３００を介してサーバ２００に接続される。ネットワーク３００は、ワイドエリアネットワーク又はローカルエリアネットワークであってもよく、又は両者の組み合わせであってもよい。実展示場面において、例えば、文物展示、砂盤展示及び工事現場でのビル展示などの場合、端末４００は、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集し、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定し、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定し、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、グラフィックインタフェース４０１（図面において、グラフィックインタフェース４０１－１及びグラフィックインタフェース４０１－２が例示的に示される）に、前記仮想効果画像を含む拡張現実効果を展示するように構成される。

例示的に、端末４００が携帯電話として実施される場合、携帯電話における所定の展示アプリケーションを起動し、所定の展示アプリケーションによりカメラを起動し、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集し、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定し、前記展示画像に基づいて、前記目標展示対象を決定し、サーバ２００に対してデータ要求を行うことができる。サーバ２００は、データ要求を受信した後、データベース５００に予め記憶された仮想対象の姿勢データから、インタラクション対象の状態情報に対応する仮想対象の姿勢情報を決定し、データベース５００に予め記憶された仮想効果データから、目標展示対象に対応する仮想効果データを決定し、決定された仮想対象の姿勢情報及び仮想効果データを端末４００に返信する。端末４００は、サーバからフィードバックされた仮想対象の姿勢情報及び仮想効果データを得た後、仮想対象の姿勢データ及び仮想効果データを利用してレンダリングを行い、仮想効果画像を得て、端末４００のグラフィックインタフェース４０１に、前記仮想効果画像を含む拡張現実効果を展示する。

幾つかの実施例において、サーバ２００は、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウド記憶、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、ＣＤＮ、及びビッグデータと人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末４００は、スマートフォン、タブレット、ノートパソコン、デスクトップコンピュータ、スマートスピーカー、スマートウォッチなどであってもよいが、これらに限定されない。端末とサーバは、有線又は無線通信方式によって直接的又は間接的に接続されてもよく、本願の実施例はこれを限定しない。

例示的に、以下では、本願の実施例の適用可能な適用場面を例示的に説明する。

図２は、本願の実施例による適用場面を示す概略図である。図２に示すように、表示機器に、移動可能なディスプレイ１９１が含まれてもよい。該移動可能なディスプレイ１０１は、展示会の複数の展示品の周辺に設置されてもよい。移動可能なディスプレイ１０１上にリアカメラが配置され、該リアカメラは、展示品を撮影するように構成されてもよい。移動可能なディスプレイ１０１に、展示品、展示品に関わる仮想効果、及び仮想対象などを表示することができる。展示品の仮想効果は、展示品の紹介情報、展示品の内部詳細展示情報、展示品の輪郭線、展示品仮想モデル、展示品の役割に関わる物体、及び展示品に元々存在する情報又は部材のうちの少なくとも１つであってもよい。例えば、展示品が酒器という文物である場合、該展示品に対応する仮想効果は、酒器の役割に関わる物体であってもよく、例えば、酒器中の美酒である。展示品が鼎という文物である場合、該展示品に対応する仮想効果は、展示品に元々存在する情報であってもよく、例えば、鼎の外壁に元々存在する文字情報である。移動可能なディスプレイ１０１上にフロントカメラが更に配置され、該フロントカメラは、移動可能なディスプレイ１０１の前に位置するインタラクション対象（例えば、出品者）を撮影するように構成される。更に、移動可能なディスプレイ１０１は、撮影された画像におけるインタラクション対象から出された命令（例えば、インタラクション対象の視線の注視方向、インタラクション対象の移動方向及びインタラクション対象のジェスチャー動作など）を認識し、展示品の仮想効果に対する表示及び調整を実現することができる。

本願の幾つかの実施例において、表示機器のディスプレイは、移動可能なディスプレイである。そのうち、表示機器のディスプレイは、図３に示すように、所定のスライドレール上で移動してもよく、図４に示すように、移動可能なスライドホルダに固定されることによってスライドを実現してもよい。ディスプレイの移動プロセスにおいて、ディスプレイは、異なる内容を表示して、ユーザによる閲覧及びクリックのうちの少なくとも１つの操作に供することができる。ディスプレイは、タッチパネル又は非タッチパネルであってもよい。

上記展示システム及び適用場面に基づいて、以下では、本願の実施例で提供される仮想対象制御方法を説明する。

図５は、本願の実施例による仮想対象制御方法を示す１つの選択可能なフローチャートである。図５に示すステップを参照しながら、説明する。

Ｓ１０１において、実場面におけるインタラクション対象の複数フレームのインタラクション画像及び実場面における目標展示対象の展示画像をそれぞれ収集する。

本願の実施例において、表示機器は、第１画像収集装置を用いて実場面におけるインタラクション対象の複数フレームのインタラクション画像を収集し、第２画像収集装置を用いて実場面における展示対象の展示画像を収集することができる。インタラクション対象は、実場面における複数の展示対象のうちのいずれか１つの展示対象であってもよく、複数の展示対象のうち、特定の種類又は特定の属性に属する１つの展示対象であってもよく、条件マッチングなどの他の方法により選択された１つの展示対象であってもよく、本願の実施例はこれを限定しない。

本願の幾つかの実施例において、第１画像収集装置と第２画像収集装置は、表示機器の同一側面に位置する。又は、第１画像収集装置と第２画像収集装置はそれぞれ、表示機器の２つの対向又は隣接する側面に位置する。例示的に、第１画像収集装置は、表示機器のフロントカメラであってもよく、第２画像収集装置は、表示機器のリアカメラであってもよい。

本願の幾つかの実施例において、インタラクション対象は、実場面における実人物である。展示対象は、展示会における展示品などであってもよく、例えば、博物館に展示される文物、科学技術館に展示されるハイテック製品などである。

Ｓ１０２において、複数フレームのインタラクション画像に基づいて、インタラクション対象の状態情報を決定し、インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定する。

本願の実施例において、表示機器は、収集された、インタラクション対象の複数フレームのインタラクション画像に対して画像認識と分析を行うことによって、実場面におけるインタラクション対象の状態情報を得ることができる。本願の幾つかの実施例において、インタラクション対象の状態情報は、実人物の動き状態情報、肢体動作情報及び視線情報のうちの少なくとも１つを含む。

例示的に、本願の幾つかの実施例において、仮想対象は、仮想人物であってもよい。本願の幾つかの実施例において、仮想対象は、他のタイプの対象であってもよく、本願の実施例はこれを限定しない。

本願の実施例において、表示機器は、インタラクション画像に基づいて、インタラクション対象の状態情報を決定した後、インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することができる。本願の幾つかの実施例において、仮想対象の姿勢情報は、仮想対象の肢体動作及び視線方向のうちの少なくとも１つを含む。このように、仮想対象と実人物とのインタラクションを実現することができる。本願の実施例において、仮想対象は、表示機器に表示される仮想解説対象、例えば仮想解説者、仮想ロボットなどであってもよい。例えば、図６は、本願の実施例による例示的な表示機器の表示インタフェースを示す概略図である。図６に示すように、仮想対象４０２は、表示機器４００に表示される仮想解説者であってもよい。

Ｓ１０３において、展示画像に基づいて、目標展示対象の仮想効果データを決定する。

本願の実施例において、表示機器は、目標展示対象の展示画像を収集した後、得られた展示対象に基づいて、目標展示対象の仮想効果データを決定することができる。仮想効果データは、目標展示対象の仮想モデルデータであってもよく、展示対象に対応する仮想展示内容データであってもよく、本願の実施例はこれを限定しない。例示的に、仮想モデルは、仮想詳細モデル、仮想展示対象モデル、仮想対象の役割に関わる物体モデル及び展示品に元々存在する部材モデルなどのうちの少なくとも１つであってもよい。例示的に、仮想展示内容は、該展示対象の仮想紹介内容及び該展示対象の仮想輪郭線などのうちの少なくとも１つ（例えば、図６に示す、展示対象４０３の周辺に位置する仮想輪郭線４０４）であってもよい。例えば、展示対象が「鼎」である場合、仮想展示内容は、「鼎」の表面に彫られる文字を拡大した効果であってもよく、鼎の口径寸法、及び鼎壁の厚さなどの内容であってもよい。

Ｓ１０４において、仮想対象の姿勢情報及び仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、仮想効果画像を含む拡張現実効果を展示する。

本願の実施例において、表示機器は、仮想対象の姿勢情報及び目標展示対象の仮想効果データを得た後、仮想対象及び目標展示対象の仮想展示効果を含む仮想効果画像をレンダリングにより得ることができる。例えば、仮想効果データが目標展示対象の仮想モデルデータである場合、表示機器は、仮想対象及び目標展示対象の仮想モデルを含む仮想効果画像をレンダリングにより得ることができる。仮想効果データが目標展示対象に対応する仮想展示内容データである場合、表示機器は、仮想対象及び目標展示対象の仮想展示内容を含む仮想効果画像をレンダリングにより得ることができる。

例示的に、図７は、本願の実施例による別の例示的な表示機器の表示インタフェースを示す概略図である。図７に示すように、仮想効果画像は、表示機器４００に表示される、仮想対象４０２と、目標展示対象４０３の仮想展示内容４０４及び仮想モデル４０５と、を含む画像である。そのうち、仮想展示内容は、「口径７５．６センチメートル」であってもよく、仮想モデルは、展示対象の仮想内部詳細モデルであってもよい。

本願の実施例において、表示機器のディスプレイは、透明ディスプレイ又は非透明ディスプレイである。透明ディスプレイの材質は、ＯＬＥＤディスプレイ又はＡＭＯＬＥＤディスプレイであってもよく、非透明ディスプレイの材質は、ＳＴＮディスプレイ又はＩＰＳ硬質ディスプレイなどであってもよい。表示機器は、仮想効果画像を得た後、仮想効果画像を含むＡＲ効果を展示することができる。例えば、表示機器のディスプレイが透明ディスプレイであり、且つ該透明ディスプレイを透過して目標展示対象を見ることができる場合、表示機器は、ディスプレイに、仮想効果画像と目標展示対象を重畳するＡＲ効果を表示することができる。表示機器が非透明ディスプレイであるか又は該透明ディスプレイを透過して該目標展示対象を見ることができない場合、表示機器は、ディスプレイに、仮想効果画像と該目標展示対象の展示画像を重畳するＡＲ効果を表示することができる。

本願の実施例において、表示機器は、実場面におけるインタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定するため、仮想対象の姿勢情報は、インタラクション対象の状態情報に伴って変わることができ、仮想対象とインタラクション対象とのインタラクションを実現することができ、仮想対象の展示の柔軟性を向上させ、仮想対象の展示効果を豊かにする。それと同時に、目標展示対象の展示画像に基づいて、目標展示対象の仮想効果データを得て、仮想効果データに基づいてレンダリングを行い、仮想効果画像を得る。従って、実場面における展示対象に対応する仮想効果を展示することができ、それにより展示対象の展示方式を増加させ、展示対象の展示の柔軟性を向上させ、展示対象の展示効果を豊かにする。

本願の幾つかの実施例において、インタラクション対象は、実人物を含み、インタラクション対象の状態情報は、実人物の動き状態情報を含む。図８は、本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。上記Ｓ１０２における複数フレームのインタラクション画像に基づいて、インタラクション対象の状態情報を決定することは、Ｓ１０２１－Ｓ１０２２により実現されてもよい。図８に示すステップを参照しながら、説明する。

Ｓ１０２１において、複数フレームのインタラクション画像における実人物の画面内容を認識することによって、実人物の移動方向及び移動距離を決定する。

本願の実施例において、表示機器は、第１画像収集装置により、インタラクション対象の連続した複数フレームのインタラクション画像を収集し、各フレームのインタラクション画像から実人物を認識し、連続フレーム画像における実人物の所在位置を比較することによって、実人物の、画像における移動方向及び移動距離を決定する。更に、得られた実人物の、画像における移動方向及び移動距離を実場面における移動方向及び移動距離に換算し、換算された移動方向及び移動距離を実人物の移動方向及び移動距離とする。

本願の別の幾つかの実施例において、表示機器は、座標系を予め構築し、収集されたインタラクション対象の複数フレームのインタラクション画像を分析することによって、インタラクション対象の、座標系における位置座標を決定することもでき、それによりインタラクション対象の、座標系における位置座標に基づいて、インタラクション対象の移動方向及び移動距離を決定する。座標系は、三次元座標系であってもよく、ワールド座標系であってもよく、本願の実施例はこれを限定しないことに留意されたい。

Ｓ１０２２において、移動方向及び移動距離を実人物の動き状態情報として決定する。

本願の実施例において、表示機器は、実人物の移動距離及び移動方向を決定した後、実人物の移動距離及び移動方向を実人物の動き状態情報とすることができる。

本願の実施例において、表示機器は、実人物の移動距離及び移動方向を決定し、実人物の移動距離及び移動方向を実人物の動き状態情報とすることによって、実人物の移動距離及び移動方向に基づいて、展示される仮想対象の姿勢及び展示対象の仮想効果の展示を制御し、仮想対象及び展示対象と実人物とのインタラクションを実現することができる。

本願の幾つかの実施例において、インタラクション対象は、実人物を含み、インタラクション対象の状態情報は、実人物の動き状態情報を含む。図９は、本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。上記Ｓ１０２は、Ｓ１０２３又はＳ１０２４により実現されてもよい。図９に示すステップを参照しながら、説明する。

Ｓ１０２３において、実場面に複数の実人物が存在することを検出した場合、複数フレームのインタラクション画像における実人物の画面内容を認識することによって、複数の実人物のうちの各実人物の移動方向を決定し、所定の数の実人物の移動方向が同一の方向に属する場合、所定の数の実人物の移動方向を実人物の動き状態情報として決定し、インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定する。

本願の実施例において、表示機器は、収集された複数フレームのインタラクション画像における実人物を認識することによって、実場面に存在する実人物の数を検出し、実場面に複数の実人物が存在することを検出した場合、各フレームのインタラクション画像における各実人物を認識し、連続フレームのインタラクション画像における各実人物の位置を比較することによって、各実人物の移動方向を得る。ここで、表示機器は、他の方式で各実人物の移動方向を決定することもでき、本願の実施例はこれを限定しない。本願に記載の「複数」は、２つ又は２つ以上であることに留意されたい。

本願の実施例において、表示機器は、各実人物の移動方向を比較し、所定の数の実人物の移動方向が同一の方向に属すると決定した場合、該所定の数の実人物の移動方向を決定される移動方向とし、該移動方向を実人物の動き状態情報として決定する。所定の数は、表示機器が検出された実人物の数及び所定のスコア値に基づいて得られたものであってもよい。例えば、所定のスコア値は、９０％又は四分の三などであってもよい。例えば、表示機器が実場面に１０個の実人物が存在することを検出しており、且つ所定のスコア値が９０％である場合、表示機器は、所定の数が９であることを決定することができ、それにより、９個の実人物の移動方向が同一の方向に属すると決定した場合、該９個の実人物の移動方向を決定される移動方向とすることができる。

本願の実施例において、表示機器は、実場面に複数の実人物が存在することを検出した場合、所定の数の実人物の移動方向を実人物の動き状態情報とすることによって、群衆の移動方向に基づいて仮想対象の姿勢及び展示対象の展示を制御することを実現することができる。

Ｓ１０２４において、実場面に複数の実人物が存在することを検出した場合、複数フレームのインタラクション画像における実人物の画面内容を認識することによって、複数の実人物から、所定の条件に合致する目標人物を決定し、目標人物に基づいて、前記実人物の動き状態情報を決定し、インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定する。

本願の別の幾つかの実施例において、表示機器は、収集された複数フレームのインタラクション画像における実人物を認識することによって、実場面に存在する実人物の数を検出することができ、実場面に複数の実人物が存在することを検出した場合、各フレームのインタラクション画像における各実人物を認識し、各実人物が所定の条件を満たすかどうかを判定し、所定の条件に合致する目標人物を決定した場合、該目標人物の移動方向を実人物の動き状態情報として決定することができる。

例示的に、目標人物は、案内者、教師又は上司などであってもよい。これに対応して、所定の条件は、マイクロホンが装着されているかどうか、又は、複数の実人物の注視方向に位置するかどうかなどであってもよい。例えば、所定の条件がマイクロホンが装着されているかどうかであり、且つ表示機器が複数の実人物のうちのある実人物がマイクロホンを装着していることを決定した場合、該マイクロホンが装着されている実人物を目標人物として決定することができる。

本願の幾つかの実施例において、インタラクション対象は、実人物を含み、インタラクション対象の状態情報は、実人物の視線情報を含む。図１０は、本願の実施例による仮想対象制御方法を示すまた１つの選択可能なフローチャートである。上記Ｓ１０２における複数フレームのインタラクション画像に基づいてインタラクション対象の状態情報を決定することは、Ｓ２０１－Ｓ２０２により実現されてもよい。図１０に示すステップを参照しながら、説明する。

Ｓ２０１において、複数フレームのインタラクション画像における実人物に対する顔認識により、実人物の眼部の視線方向を決定する。

本願の実施例において、表示機器は、複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して眼部視線認識を行い、連続フレームのインタラクション画像における実人物の眼部視線を比較することによって、実人物の眼部視線方向を決定することができる。例えば、収集された複数フレームのインタラクション画像が同一の実人物の複数フレームのインタラクション画像である場合、表示機器は、複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して眼部視線認識を行うことができ、連続フレームのインタラクション画像における実人物の画部視線領域を比較することによって、該実人物の眼部視線方向を最終的に得ることができる。例えば、実人物の眼部視線方向は、表示機器の左側を見る方向であってもよく、又は表示機器のディスプレイ上の左下を見る方向などであってもよく、本願の実施例は、これを限定しない。

Ｓ２０２において、視線方向を実人物の視線情報として決定する。

本願の実施例において、表示機器は、実人物の眼部の視線方向を決定した後、実人物の眼部の視線方向を実人物の視線情報として決定することができる。

本願の実施例において、表示機器は、実人物の視線方向を決定し、実人物の視線方向を実人物の状態として決定することによって、実人物の視線方向に基づいて仮想対象の姿勢及び展示対象の仮想効果の展示を制御することを実現することができ、それにより仮想対象及び展示対象と実人物とのインタラクションを実現することができる。

本願の幾つかの実施例において、図１１は、本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。図１１に示すように、上記Ｓ２０１は、Ｓ２０１１－２０１４により実現されてもよい。図１１に示すステップを参照しながら、説明する。

Ｓ２０１１において、実場面に複数の実人物が存在することを検出した場合、複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して顔認識を行い、重要人物を認識する。

本願の実施例において、表示機器は、収集された複数フレームのインタラクション画像における実人物を認識することによって、実場面に存在する実人物の数を検出することができ、実場面に複数の実人物が存在することを検出した場合、顔認識により、複数の実人物のうちの重要人物を認識することができる。

本願の幾つかの実施例において、重要人物は、ＶＩＰ顧客、案内者及び教師などであってもよく、本願の実施例はこれを限定しない。例えば、重要人物がＶＩＰ顧客である場合、表示機器に、複数の顧客の顔画像が予め記憶されてもよい。表示機器は、各ＶＩＰ顧客の顔画像と複数フレームのインタラクション画像から認識された各実人物の顔画像を比較することによって、複数の実人物にＶＩＰ顧客が存在するかどうかを決定することができる。ここで、本願は、重要人物がＶＩＰ顧客であることを決定する方法を限定しない。例えば、重要人物が教師である場合、表示機器は、複数フレームのインタラクション画像から認識された各実人物の位置関係及び視線方向のうちの少なくとも１つを分析し、１つの実人物が複数の実人物の中間に位置するというシナリオと、複数の実人物の視線が該実人物を注視するというシナリオと、のうちの少なくとも１つのシナリオが出現した場合、該実人物が教師であることを決定することができる。ここで、本願は、重要人物が教師であることを決定する方法を限定しない。例えば、重要人物が案内者である場合、案内者が一般的にはマイクロホンなどの機器を装着しているため、表示機器は、実人物がマイクロホンを装着しているかどうかを認識することによって、実人物が案内者であるかどうかを決定し、複数の実人物から案内者を認識することができる。ここで、本願は、重要人物が案内であることを決定する方法を限定しない。

Ｓ２０１２において、複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における重要人物の眼部画像領域を比較し、比較結果を得る。

本願の実施例において、表示機器は、重要人物を決定した後、複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における重要人物の眼部画像領域を比較し、少なくとも１つの比較結果を得ることができる。例えば、該比較結果は、重要人物の眼球の、眼窩における位置変動プロセス及び実人物の眼の、インタラクション画像における位置変動プロセスなどのうちの少なくとも１つであってもよく、本願の実施例はこれを限定しない。比較結果が実人物の眼球の、眼窩における位置変動プロセス及び実人物の眼の、インタラクション画像における位置変動プロセスのうちの少なくとも１つであってもよい場合、表示機器は、まず、複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における重要人物の頭部領域を比較することによって、重要人物の頭部の位置が変動したかどうかを決定することができ、重要人物の頭部の位置が変動していない場合、複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における重要人物の眼部画像領域を比較し、重要人物の眼球の、眼窩における位置変動プロセス及び実人物の眼の、インタラクション画像における位置変動プロセスのうちの少なくとも１つを得ることができる。それにより、ユーザの頭部が僅かに回転したか又はユーザの視線が僅かに変動した場合の仮想対象の姿勢の不必要な変動を避ける。

Ｓ２０１３において、比較結果に基づいて、重要人物の眼部の視線方向を決定する。

本願の実施例において、表示機器は、比較結果を得た後、比較結果に基づいて、重要人物の眼部の視線方向を決定することができる。比較結果が重要人物の眼球の、眼窩における位置変動プロセスである場合、表示機器は、重要人物の眼球の、眼窩における位置変動プロセスに基づいて、重要人物の眼部の視線方向を決定することができる。例えば、重要人物の眼球の、眼窩における初期位置が眼窩の中央であり、且つ最終位置が眼窩の左側である場合、重要人物の視線方向が左側方向であることを決定することができる。

Ｓ２０１４において、重要人物の眼部の視線方向を実人物の眼部の視線方向として決定する。

本願の実施例において、表示機器は、重要人物の眼部の視線方向を決定した後、重要人物の眼部の視線方向を複数の実人物の視線方向として決定することができる。

本願の実施例において、表示機器は、実場面に複数の実人物が存在することを検出した場合、複数の実人物のうちの重要人物の視線方向を該複数の実人物の視線方向として決定し、対応する仮想対象の姿勢及び展示対象の仮想効果の展示を行うことによって、仮想対象のインタラクション効果及び展示対象の仮想効果の展示に、より高い目的性を持たせることができ、それにより仮想対象のインタラクション効果及び展示対象の仮想効果の展示効果を向上させることができる。

本願の幾つかの実施例において、図１２は、本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。上記Ｓ２０１は、Ｓ２００１－Ｓ２００３により実現されてもよい。図１２に示すステップを参照しながら、説明する。

Ｓ２００１において、実場面に複数の実人物が存在することを検出した場合、複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して顔認識を行い、各実人物を決定する。

本願の実施例において、表示機器は、収集された複数フレームのインタラクション画像における実人物を認識することによって、実場面に存在する実人物の数を検出することができ、実場面に複数の実人物が存在することを検出した場合、各フレームのインタラクション画像における各実人物を認識し、それにより複数フレームの画像における各実人物を決定する。

Ｓ２００２において、複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における各実人物の眼部画像領域をそれぞれ比較し、各実人物の眼部の視線方向を得る。

本願の実施例において、各実人物に対して、表示機器は、複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における該実人物の眼部画像領域を比較し、比較結果に基づいて、該実人物の眼部の視線方向を得ることができる。例えば、該比較結果は、該実人物の眼球の、眼窩における位置変動プロセス及び該実人物の眼の、インタラクション画像における位置変動プロセスなどのうちの少なくとも１つであってもよい。それにより、各実人物の眼部の視線方向を得る。

Ｓ２００３において、所定の数の実人物の眼部の視線方向が同一の方向に属する場合、所定の数の実人物の眼部の視線方向を実人物の眼部の視線方向として決定する。

本願の実施例において、表示機器は、各実人物の眼部の視線方向を決定した後、各実人物の眼部の視線方向を比較し、所定の数の実人物の眼部の視線方向が同一の方向に属する場合、所定の数の実人物の眼部の視線方向を決定される実人物の眼部の視線方向とすることができる。所定の数は、表示機器が検出された実人物の数及び所定のスコア値（上記所定のスコア値と同じであってもことなってもよい）に基づいて得たものであってもよい。例えば、所定のスコア値は、８０％又は五分の三などであってもよい。例えば、表示機器が実場面に１０個の実人物が存在することを検出しており、且つ所定のスコア値が８０％である場合、表示機器は、所定の数が８であることを決定することができ、それにより、８個の実人物の眼部の視線が同一の方向に属すると決定した場合、該８個の実人物の視線方向を決定される視線方向とすることができる。

本願の幾つかの実施例において、表示機器により決定される実人物の眼部の視線方向は、表示機器の左側、表示機器の右側、表示機器のディスプレイの左上、表示機器のディスプレイの左下、表示機器のディスプレイの右上、表示機器のディスプレイの右下などを含んでもよく、本願の実施例はこれを限定しない。

本願の幾つかの実施例において、インタラクション対象の状態情報は、実人物の動き状態情報を含み、仮想対象の姿勢情報は、仮想対象の肢体動作及び視線方向を含み、仮想対象の肢体動作は、仮想対象の頭部動作を含む。図１３は、本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。上記図８に示すＳ１０２におけるインタラクション対象の状態情報に基づいて仮想対象の姿勢情報を決定することは、Ｓ３０１－Ｓ３０２により実現されてもよい。図１３に示すステップを参照しながら、説明する。

Ｓ３０１において、実人物の移動距離が所定の距離以下であると決定した場合、仮想対象の頭部を目標角度で回転することを決定し、仮想対象の頭部動作を得る。

本願の実施例において、表示機器は、実人物の移動距離を得た後、まず、実人物の移動距離が所定の距離以下であるかどうかを判定し、実人物の移動距離が所定の距離以下であると決定した場合、仮想対象の頭部を目標角度で回転することを決定し、仮想対象の頭部を目標角度で回転することによって、仮想対象に、対応する頭部動作を展示させる。

Ｓ３０１において、仮想対象の視線方向を目標視線方向に調整することを決定し、目標角度及び目標視線方向は、仮想対象の現在の体の向き、実人物の移動距離と移動方向、及び実人物の現在の位置によって決定される。

本願の実施例において、表示機器は、実人物の移動距離が所定の距離以下であると決定した場合、得られた実人物の移動距離に基づいて、実人物の現在の位置を決定し、仮想対象の現在の体の向きを取得し、得られた仮想対象の体の向き、決定された実人物の現在の位置、及び実人物の移動距離と移動方向に基づいて、仮想対象の頭部が回転すべき角度を決定し、決定された角度をターゲットとすることができる。また、得られた仮想対象の体の向き、決定された実人物の現在の位置、及び実人物の移動方向に基づいて、仮想対象の眼部が注視すべき方向を決定し、決定された方向を目標視線方向とすることができる。例えば、実人物が表示機器の左側へ１メートル移動して停止した場合、表示機器は、まず、実人物の移動方向が左側であり、且つ移動距離が１メートルであると決定することができ、続いて、１メートルが所定の距離以下であるかどうかを判定し、１メートルが所定の距離以下である場合、仮想対象の現在の体の向きが表示機器の直前であると決定することができる。また、実人物が現在、表示機器の左前３５°に位置する場合、仮想対象の頭部が左へ３５°回転する必要があると決定し、仮想対象の眼部の視線方向が表示機器の左前３５°方向であると決定する。それにより、仮想対象の視線に、該実人物を注視させる。本願の実施例において、上記ステップＳ３０１とＳ３０２は同時に実行されてもよい。それにより、仮想対象の頭部の回転に伴い、仮想対象の視線が自然に実人物に追従するという効果を実現する。

例示的に、図１４Ａは、本願の実施例による例示的な表示機器により展示される仮想対象の効果を示す概略図である。図１４Ｂは、本願の実施例による別の例示的な表示機器により展示される仮想対象の効果を示す概略図である。表示機器は、実人物の、左側への移動距離が１メートル未満であり、且つ実人物が現在、表示機器の左前３５°に位置すると決定した場合、図１４Ａにおける仮想対象の頭部を、左へ３５°回転するように制御し、仮想対象の眼部の視線方向が表示機器の左前３５°方向であると決定することができ、それにより仮想対象が図１４Ｂに示す姿勢を展示することができ、仮想対象の実人物とのインタラクションを実現する。

本願の幾つかの実施例において、設定された所定の距離が大きい場合、該所定の距離を、実人物がディスプレイから離れるというケースに対応させることができる。設定された所定の距離が小さい場合、該所定の距離を、実人物がディスプレイに近いというケースに対応させることができる。所定の距離の数値は、実際の需要に応じて自ら設定されてもよく、本願の実施例はこれを限定しない。

本願の実施例において、表示機器は、実場面における実人物の移動方向及び移動距離に基づいて、仮想対象の頭部動作及び眼部の視線方向を制御することができ、それにより表示機器に展示される仮想対象と実場面における実人物とのインタラクションを実現する。

本願の幾つかの実施例において、インタラクション対象の状態情報は、実人物の肢体動作情報を含み、仮想対象の姿勢情報は、仮想対象の肢体動作を含む。図１５は、本願の実施例による仮想対象制御方法を示すまた１つの選択可能なフローチャートである。図１５に示すように、上記Ｓ１０２は、Ｓ４０１により実現されてもよい。具体的には以下のとおりである。

Ｓ４０１において、複数フレームのインタラクション画像に基づいて、インタラクション対象の状態情報を決定し、実人物の肢体動作情報が、実人物が所定の動作を行うことを表すことを検出した場合、仮想対象が所定の動作に対応する肢体動作を展示することを決定する。

本願の実施例において、表示機器は、収集された複数フレームのインタラクション画像を分析することによって、実人物の肢体動作を得て、実人物の肢体動作が所定の動作であるかどうかを判定し、実人物の肢体動作がある所定の動作であると決定した場合、実人物の肢体動作と仮想対象の肢体動作との所定の対応関係に基づいて、該所定の動作に対応する仮想対象の肢体動作を決定し、決定された該仮想対象の肢体動作を仮想対象が展示しようとする動作とすることができる。例えば、表示機器は、実人物の肢体動作が直立からしゃがみに変更したと決定した場合、しゃがみ動作に対応する仮想対象の肢体動作がうつむきであることを決定することができる。この場合、表示機器は、うつむきを仮想対象が展示しようとする肢体動作として決定し、仮想対象を、うつむいて解説するように制御することができる。

本願の実施例において、表示機器は、実場面における実人物の肢体動作に基づいて、仮想対象の肢体動作を制御することができ、それにより表示機器に展示される仮想対象と実場面における実人物とのインタラクションを実現する。

本願の幾つかの実施例において、インタラクション対象の状態情報は、実人物の視線情報を含み、仮想対象の姿勢情報は、仮想対象の肢体動作を含む。図１６は、本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。上記Ｓ１０２におけるインタラクション対象の状態情報に基づいて仮想対象の姿勢情報を決定することは、Ｓ５０１－Ｓ５０２により実現されてもよい。図１０に示すＳ１０２におけるインタラクション対象の状態情報に基づいて仮想対象の姿勢情報を決定することがＳ５０１－Ｓ５０２により実現されてもよいことを例として、図１６に示すステップを参照しながら、説明する。

Ｓ５０１において、視線方向に基づいて、実人物の、表示機器上での注視位置を決定する。

本願の実施例において、表示機器は、実人物の視線方向を決定した後、実人物の視線方向が表示機器のディスプレイの所在位置に対応するかどうかを決定することができ、実人物の視線方向が表示機器のディスプレイの所在位置に対応する場合、実人物の、ディスプレイ上での注視位置を決定する。例えば、実人物がディスプレイのどの領域を注視しているかなどを決定する。

Ｓ５０２において、仮想対象が注視位置に対応する肢体動作を展示することを決定する。

本願の実施例において、表示機器は、実人物の注視位置を決定した後、該注視位置を透過して見える内容又は該注視位置に展示される内容に基づいて、仮想対象を、注視位置に対応する肢体動作を展示するように制御することができる。例えば、表示機器は、実人物がディスプレイの左下を注視しており、且つディスプレイの左下に「鼎」の１つの脚が表示されていると決定した場合、仮想対象の肢体動作が該脚の所在位置を指すことであることを決定し、仮想対象を、該脚の所在位置を指さして該脚を解説するように制御する。また例えば、表示機器は、実人物がディスプレイにおける領域１を注視しており、且つディスプレイの領域１により「鼎」の１つの脚を見ることができると決定した場合、仮想対象の肢体動作が該脚の所在位置を指すことであることを決定し、仮想対象を、該脚の所在位置を指さして該脚を解説するように制御する。

例示的に、図１７Ａは、本願の実施例による例示的な表示機器の表示インタフェースを示す概略図である。図１７Ｂは、本願の実施例による別の例示的な表示機器の表示インタフェースを示す概略図である。表示機器は、実人物が注視している位置に「鼎」の１つの耳が表示されていると決定した場合、仮想対象の肢体動作が該耳の所在位置を指して該耳を解説することであることを決定することができる。それにより、表示機器は、表示インタフェース上での仮想対象の姿勢を図１７Ａに示す姿勢から図１７Ｂに示す姿勢に変更するように制御することができる。

本願の実施例において、表示機器は、実人物の、表示機器上での注視位置に基づいて、仮想対象が展示する肢体動作を決定し、表示機器に展示される仮想対象と実場面における実人物とのインタラクションを実現することができる。

本願の幾つかの実施例において、前記方法はＳ１０５を更に含む。図１８は、本願の実施例による仮想対象制御方法を示す別の選択可能なフローチャートである。図１８に示すように、例示的に、Ｓ１０２の後に、Ｓ１０５を実行してもよく、且つＳ１０５と上記ステップＳ１０３－Ｓ１０４は同時に実行されてもよい。以下、図１８に示すステップを参照しながら、説明する。

Ｓ１０５において、インタラクション対象の状態情報に基づいて、表示機器の移動を制御する。

本願の実施例において、表示機器は、インタラクション対象の動き状態情報、視線情報及び肢体情報のうちの少なくとも１つに基づいて、表示機器の移動を制御することができる。例えば、表示機器は、実人物が左側へ移動することを検出した場合、ディスプレイを、左側へ移動するように制御することができる。表示機器は、実人物の視線方向が１つの展示対象に集中することを検出した場合、ディスプレイを、該展示対象の所在位置に移動するように制御することができる。表示機器は、実人物が１つの展示対象を指さしていることを検出した場合、ディスプレイを、該展示対象の所在位置に移動するように制御することができる。

本願の幾つかの実施例において、実場面に少なくとも１つの展示対象が含まれ、インタラクション対象の状態情報は、実人物の視線情報を含み、仮想対象の姿勢情報は、仮想対象の肢体動作を含む。図１９は、本願の実施例による仮想対象制御方法を示すもう１つの選択可能なフローチャートである。図１９に示すように、上記Ｓ１０５は、Ｓ１０５１により実現されてもよく、且つＳ１０５１の後に、Ｓ１０６を更に含んでもよい。以下、図１９に示すステップを参照しながら、説明する。

Ｓ１０５１において、視線情報が少なくとも１つの展示対象のうちのいずれか１つの展示対象の位置方向である場合、表示機器のディスプレイを、展示対象の位置に移動するように制御する。

本願の実施例において、表示機器は、実人物の視線情報を得た後、該視線情報に基づいて、実人物が注視している位置を決定し、実人物が注視している位置が実場面における複数の展示対象のうちのいずれか１つの展示対象であると決定した場合、該展示対象の所在位置をターゲット位置として決定し、表示機器を、該ターゲット位置に移動するように制御する。本願の実施例において、実人物の視線情報は、実人物の視線方向であってもよい。

Ｓ１０６において、仮想対象を、展示対象に対応する肢体動作を展示するように制御する。

本願の実施例において、表示機器は、該展示対象の所在位置に到着したと決定した後、仮想対象を、該展示対象に対応する肢体動作を展示するように制御することができる。仮想対象により展示される肢体動作は、予め設定されており、且つ該展示対象と所定の対応関係を有する肢体動作であってもよい。例えば、展示対象が１つのウェアラブル物品である場合、仮想対象により展示される肢体動作は、該展示対象（該展示対象の仮想モデル）を装着して該物品の解説を行うことであってもよい。

本願の実施例において、表示機器は、実場面における実人物の視線情報に基づいて、表示機器のディスプレイの移動及び仮想対象による対応する肢体動作の展示を制御し、表示機器に展示される仮想対象と実場面における実人物とのインタラクションを実現することができる。

本願の実施例は、仮想対象制御装置を更に提供する。図２０は、本願の実施例による仮想対象制御装置の構造を示す概略図である。図２０に示すように、仮想対象制御装置１は、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集するように構成される収集コンポーネント１１と、前記複数フレームのインタラクション画像に基づいて、前記実場面におけるインタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を制御し、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定するように構成される決定コンポーネント１２と、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得るように構成されるレンダリングコンポーネント１３と、前記仮想効果画像を含む拡張現実効果を展示するように構成される表示コンポーネント１４と、を備える。

本願の幾つかの実施例において、前記インタラクション対象は、実人物を含み、前記インタラクション対象の状態情報は、前記実人物の動き状態情報、肢体動作情報及び視線情報のうちの少なくとも１つを含む。

本願の幾つかの実施例において、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作及び視線方向のうちの少なくとも１つを含む。

本願の幾つかの実施例において、前記インタラクション対象の状態情報は、前記実人物の動き状態情報を含み、決定コンポーネント１２は更に、前記複数フレームのインタラクション画像における実人物の画面内容を認識することによって、前記実人物の移動方向及び移動距離を決定し、前記移動方向及び移動距離を前記実人物の動き状態情報として決定するように構成される。

本願の幾つかの実施例において、前記インタラクション対象の状態情報は、前記実人物の動き状態情報を含み、決定コンポーネント１２は更に、前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像における実人物の画面内容を認識することによって、前記複数の実人物のうちの各実人物の移動方向を決定し、所定の数の実人物の移動方向が同一の方向に属する場合、前記所定の数の実人物の移動方向を前記実人物の動き状態情報として決定するか、又は、前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像における実人物の画面内容を認識することによって、前記複数の実人物から、所定の条件に合致する目標人物を決定し、前記目標人物に基づいて、前記実人物の動き状態情報を決定するように構成される。

本願の幾つかの実施例において、前記インタラクション対象の状態情報は、前記実人物の視線情報を含み、決定コンポーネント１２は更に、前記複数フレームのインタラクション画像における実人物に対する顔認識により、前記実人物の眼部の視線方向を決定し、前記視線方向を前記実人物の視線情報として決定するように構成される。

本願の幾つかの実施例において、決定コンポーネント１２は更に、前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して顔認識を行い、重要人物を認識し、前記複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における前記重要人物の眼部画像領域を比較し、比較結果を得て、前記比較結果に基づいて、前記重要人物の眼部の視線方向を決定し、前記重要人物の眼部の視線方向を前記実人物の眼部の視線方向として決定するように構成される。

本願の幾つかの実施例において、決定コンポーネント１２は更に、前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して顔認識を行い、各実人物を決定し、前記複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における各実人物の眼部画像領域をそれぞれ比較し、各実人物の眼部の視線方向を得て、所定の数の実人物の眼部の視線方向が同一の方向に属する場合、前記所定の数の実人物の眼部の視線方向を前記実人物の眼部の視線方向として決定するように構成される。

本願の幾つかの実施例において、前記インタラクション対象の状態情報は、前記実人物の動き状態情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作及び視線方向を含み、前記仮想対象の肢体動作は、前記仮想対象の頭部動作を含み、決定コンポーネント１２は更に、前記実人物の移動距離が所定の距離以下であると決定した場合、前記仮想対象の頭部を目標角度で回転することを決定し、前記仮想対象の頭部動作を得て、前記仮想対象の視線方向を目標視線方向に調整することを決定するように構成され、前記目標角度及び前記目標視線方向は、前記仮想対象の現在の体の向き、前記実人物の移動距離と移動方向、及び前記実人物の現在の位置によって決定される。

本願の幾つかの実施例において、前記インタラクション対象の状態情報は、前記実人物の肢体動作情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作を含み、決定コンポーネント１２は更に、前記実人物の肢体動作情報が、前記実人物が所定の動作を行うことを表すことを検出した場合、前記仮想対象が前記所定の動作に対応する肢体動作を展示することを決定するように構成される。

本願の幾つかの実施例において、前記インタラクション対象の状態情報は、前記実人物の視線情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作を含み、決定コンポーネント１２は更に、前記視線方向に基づいて、前記実人物の、前記表示機器上での注視位置を決定し、仮想対象が前記注視位置に対応する肢体動作を展示することを決定するように構成される。

本願の幾つかの実施例において、上記装置は、前記インタラクション対象の状態情報に基づいて、前記表示機器の移動を制御するように構成される制御コンポーネント１５（図２０に示されず）を更に備える。

本願の幾つかの実施例において、前記実場面に少なくとも１つの展示対象が含まれ、前記インタラクション対象の状態情報は、前記実人物の視線情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作を含み、制御コンポーネント１５は更に、前記視線情報が前記少なくとも１つの展示対象のうちのいずれか１つの展示対象の位置方向である場合、前記表示機器のディスプレイを、前記展示対象の位置に移動するように制御し、前記仮想対象を、前記展示対象に対応する肢体動作を展示するように制御するように構成される。

本願の幾つかの実施例において、収集コンポーネント１１は更に、前記表示機器の第１画像収集装置を用いて、実場面におけるインタラクション対象の前記複数フレームのインタラクション画像を収集し、前記表示機器の第２画像収集装置を用いて、前記実場面における展示対象の前記展示画像を収集するように構成され、そのうち、前記第１画像収集装置と前記第２画像収集装置は、前記表示機器の同一側面に位置するか、又は、前記第１画像収集装置と前記第２画像収集装置はそれぞれ、前記表示機器の２つの対向又は隣接する側面に位置する。

本願の幾つかの実施例において、前記表示機器のディスプレイは、所定のスライドレール上で移動する。

本願の幾つかの実施例において、前記表示機器のディスプレイは、透明ディスプレイ又は非透明ディスプレイである。

本願の実施例及び他の実施例において、「コンポーネント」は、一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェアなどであってもよく、無論、ユニットであってもよく、モジュールであってもよく、非モジュール化のものであってもよい。

本願の実施例は、表示機器を更に提供する。図２１は、本願の実施例による表示機器の構造を示す概略図である。図２１に示すように、表示機器２は、ディスプレイ２１と、カメラ２２と、メモリ２３と、プロセッサ２４と、を備え、そのうち、ディスプレイ２１、カメラ２２、メモリ２３及びプロセッサ２４は、通信バス２５を介して接続され、メモリ２３は、実行可能なコンピュータプログラムを記憶するように構成され、プロセッサ２４は、メモリ２３に記憶されている実行可能なコンピュータプログラムを実行する時に、ディスプレイ２１及びカメラ２２と共に、本願の実施例で提供される方法、例えば本願の実施例で提供される仮想対象制御方法を実現するように構成される。

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、プロセッサ２４により実行される時、本願の実施例で提供される方法、例えば本願の実施例で提供される仮想対象制御方法を実現するように構成される。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよく、揮発性記憶媒体又は不揮発性記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＲＯＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

本願の幾つかの実施例において、コンピュータ可読記憶媒体は、ＦＲＡＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気面メモリ、光ディスクなどのメモリであってもよく、上記メモリのうちの１つ又は任意の組み合わせを含む種々の機器であってもよい。

本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムがプロセッサ２４により実行される場合、本願の実施例で提供される方法、例えば本願の実施例で提供される仮想対象制御方法を実現する。

本願の幾つかの実施例において、実行可能なコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト又はコードの形式で、任意の形式のプログラミング言語（コンパイル又はインタプリタ型言語、宣言型又は手続き型言語を含む）で書かれ、任意の形式で配置されてもよい。独立したプログラムとして配置されてもよく、モジュール、ユニット、サブルーチン又はコンピューティング環境に適用される他のユニットとして配置されてもよい。

例として、実行可能なコンピュータプログラムは、ファイルシステムにおけるファイルに対応してもよいが、これに限定されない。他のプログラム又はデータを記憶するファイルの一部に記憶されてもよい。例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ：Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメントにおける１つ又は複数のスクリプトに記憶され、検討されるプログラム専用の単一のファイルに記憶され、又は、複数のコラボレーションファイル（例えば、１つ又は複数のモジュール、サブプログラム又はコードコンポーネントを記憶するファイル）に記憶される。

例として、実行可能なコンピュータプログラムは、１つのコンピューティング機器で実行されてもよく、１つのサイトに位置する複数のコンピューティング機器で実行されてもよく、又は、複数のサイトに分布して通信ネットワークを介して相互接続される複数のコンピューティング機器で実行されてもよい。

要するに、本技術を利用して提案を実現すれば、実場面におけるインタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定するため、仮想対象の姿勢情報は、インタラクション対象の状態情報に伴って変わることができ、仮想対象とインタラクション対象とのインタラクションを実現することができ、仮想対象の展示の柔軟性を向上させ、仮想対象の展示効果を豊かにする。それと同時に、目標展示対象の展示画像に基づいて、目標展示対象の仮想効果データを得て、仮想効果データに基づいてレンダリングを行い、仮想効果画像を得る。従って、実場面における展示対象に対応する仮想効果を展示することができ、それにより展示対象の展示方式を増加させ、展示対象の展示の柔軟性を向上させ、展示対象の展示効果を豊かにする。

以上は本願の実施例に過ぎず、本願の保護範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる修正、均等物による置き換え及び改良などはいずれも、本願の保護範囲内に含まれるべきである。

本願の実施例は、仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体を開示する。該方法は、実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集することと、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することと、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定することと、前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、前記仮想効果画像を含む拡張現実効果を展示することと、を含む。本願により、仮想対象及び展示対象の展示の柔軟性を向上させ、仮想対象及び展示対象の展示効果を豊かにすることができる。

Claims (20)

1. 仮想対象制御方法であって、
   実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集することと、
   前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することと、
   前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定することと、
   前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得て、前記仮想効果画像を含む拡張現実効果を展示することと、を含む、仮想対象制御方法。
2. 前記インタラクション対象は、実人物を含み、前記インタラクション対象の状態情報は、前記実人物の動き状態情報、肢体動作情報及び視線情報のうちの少なくとも１つを含むことを特徴とする
   請求項１に記載の方法。
3. 前記仮想対象の姿勢情報は、前記仮想対象の肢体動作及び視線方向のうちの少なくとも１つを含むことを特徴とする
   請求項２に記載の方法。
4. 前記インタラクション対象の状態情報は、前記実人物の動き状態情報を含み、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定することは、
   前記複数フレームのインタラクション画像における実人物の画面内容を認識することによって、前記実人物の移動方向及び移動距離を決定することと、
   前記移動方向及び移動距離を前記実人物の動き状態情報として決定することと、を含むことを特徴とする
   請求項２又は３に記載の方法。
5. 前記インタラクション対象の状態情報は、前記実人物の動き状態情報を含み、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定することは、
   前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像における実人物の画面内容を認識することによって、前記複数の実人物のうちの各実人物の移動方向を決定し、所定の数の実人物の移動方向が同一の方向に属する場合、前記所定の数の実人物の移動方向を前記実人物の動き状態情報として決定すること、又は、
   前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像における実人物の画面内容を認識することによって、前記複数の実人物から、所定の条件に合致する目標人物を決定し、前記目標人物に基づいて、前記実人物の動き状態情報を決定することを含むことを特徴とする
   請求項２－４のいずれか一項に記載の方法。
6. 前記インタラクション対象の状態情報は、前記実人物の視線情報を含み、前記複数フレームのインタラクション画像に基づいて、前記インタラクション対象の状態情報を決定することは、
   前記複数フレームのインタラクション画像における実人物に対する顔認識により、前記実人物の眼部の視線方向を決定することと、
   前記視線方向を前記実人物の視線情報として決定することと、含むことを特徴とする
   請求項２－５のいずれか一項に記載の方法。
7. 前記複数フレームのインタラクション画像における実人物に対する顔認識により、前記実人物の眼部の視線方向を決定することは、
   前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して顔認識を行い、重要人物を認識することと、
   前記複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における前記重要人物の眼部画像領域を比較し、比較結果を得ることと、
   前記比較結果に基づいて、前記重要人物の眼部の視線方向を決定することと、
   前記重要人物の眼部の視線方向を前記実人物の眼部の視線方向として決定することと、を含むことを特徴とする
   請求項６に記載の方法。
8. 前記複数フレームのインタラクション画像における実人物に対する顔認識により、前記実人物の眼部の視線方向を決定することは、
   前記実場面に複数の実人物が存在することを検出した場合、前記複数フレームのインタラクション画像のうちの各フレームのインタラクション画像に対して顔認識を行い、各実人物を決定することと、
   前記複数フレームのインタラクション画像のうちの連続フレームのインタラクション画像における各実人物の眼部画像領域をそれぞれ比較し、各実人物の眼部の視線方向を得ることと、
   所定の数の実人物の眼部の視線方向が同一の方向に属する場合、前記所定の数の実人物の眼部の視線方向を前記実人物の眼部の視線方向として決定することと、を含むことを特徴とする
   請求項６に記載の方法。
9. 前記インタラクション対象の状態情報は、前記実人物の動き状態情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作及び視線方向を含み、前記仮想対象の肢体動作は、前記仮想対象の頭部動作を含み、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することは、
   前記実人物の移動距離が所定の距離以下であると決定した場合、前記仮想対象の頭部を目標角度で回転することを決定し、前記仮想対象の頭部動作を得ることと、
   前記仮想対象の視線方向を目標視線方向に調整することを決定することであって、前記目標角度及び前記目標視線方向は、前記仮想対象の現在の体の向き、前記実人物の移動距離と移動方向、及び前記実人物の現在の位置によって決定される、ことと、を含むことを特徴とする
   請求項４に記載の方法。
10. 前記インタラクション対象の状態情報は、前記実人物の肢体動作情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作を含み、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することは、
    前記実人物の肢体動作情報が、前記実人物が所定の動作を行うことを表すことを検出した場合、前記仮想対象が前記所定の動作に対応する肢体動作を展示することを決定することを含むことを特徴とする
    請求項２－８のいずれか一項に記載の方法。
11. 前記インタラクション対象の状態情報は、前記実人物の視線情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作を含み、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を決定することは、
    前記視線方向に基づいて、前記実人物の、前記表示機器上での注視位置を決定することと、
    前記仮想対象が前記注視位置に対応する肢体動作を展示することを決定することと、を含むことを特徴とする
    請求項６－８のいずれか一項に記載の方法。
12. 前記方法は、
    前記インタラクション対象の状態情報に基づいて、前記表示機器の移動を制御することを更に含むことを特徴とする
    請求項１－１１のいずれか一項に記載の方法。
13. 前記実場面に少なくとも１つの展示対象が含まれ、前記インタラクション対象の状態情報は、前記実人物の視線情報を含み、前記仮想対象の姿勢情報は、前記仮想対象の肢体動作を含み、前記インタラクション対象の状態情報に基づいて、前記表示機器の移動を制御することは、
    前記視線情報が前記少なくとも１つの展示対象のうちのいずれか１つの展示対象の位置方向である場合、前記表示機器のディスプレイを、前記展示対象の位置に移動するように制御することを含み、
    前記方法は、
    前記仮想対象を、前記展示対象に対応する肢体動作を展示するように制御することを更に含むことを特徴とする
    請求項１２に記載の方法。
14. 実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集することは、
    前記表示機器の第１画像収集装置を用いて、実場面におけるインタラクション対象の前記複数フレームのインタラクション画像を収集することと、
    前記表示機器の第２画像収集装置を用いて、前記実場面における展示対象の前記展示画像を収集することと、を含み、
    前記第１画像収集装置と前記第２画像収集装置は、前記表示機器の同一側面に位置するか、又は、前記第１画像収集装置と前記第２画像収集装置はそれぞれ、前記表示機器の２つの対向又は隣接する側面に位置することを特徴とする
    請求項１－１３のいずれか一項に記載の方法。
15. 前記表示機器のディスプレイは、所定のスライドレール上で移動することを特徴とする
    請求項１－１４のいずれか一項に記載の方法。
16. 前記表示機器のディスプレイは、透明ディスプレイ又は非透明ディスプレイであることを特徴とする
    請求項１－１５のいずれか一項に記載の方法。
17. 仮想対象制御装置であって、
    実場面におけるインタラクション対象の複数フレームのインタラクション画像、及び前記実場面における目標展示対象の展示画像をそれぞれ収集するように構成される収集コンポーネントと、
    前記複数フレームのインタラクション画像に基づいて、前記実場面におけるインタラクション対象の状態情報を決定し、前記インタラクション対象の状態情報に基づいて、仮想対象の姿勢情報を制御し、前記展示画像に基づいて、前記目標展示対象の仮想効果データを決定するように構成される決定コンポーネントと、
    前記仮想対象の姿勢情報及び前記仮想効果データを用いてレンダリングを行い、仮想効果画像を得るように構成されるレンダリングコンポーネントと、
    前記仮想効果画像を含む拡張現実効果を展示するように構成される表示コンポーネントと、を備える、仮想対象制御装置。
18. 表示機器であって、ディスプレイと、カメラと、メモリと、プロセッサと、を備え、前記メモリは、実行可能なコンピュータプログラムを記憶するように構成され、前記プロセッサは、前記メモリに記憶されている実行可能なコンピュータプログラムを実行する時に、前記カメラ及びディスプレイと共に、請求項１から１６のいずれか一項に記載の方法を実現するように構成される、表示機器。
19. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、プロセッサにより実行される時、請求項１から１６のいずれか一項に記載の方法を実現するように構成される、コンピュータ可読記憶媒体。
20. コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される場合、前記電子機器におけるプロセッサが実行する時に、請求項１から１６のいずれか一項に記載の方法を実現する、コンピュータプログラム。

Images