JP2022526512A - インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体 - Google Patents

インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体 Download PDF

Info

Publication number
JP2022526512A
JP2022526512A JP2021556969A JP2021556969A JP2022526512A JP 2022526512 A JP2022526512 A JP 2022526512A JP 2021556969 A JP2021556969 A JP 2021556969A JP 2021556969 A JP2021556969 A JP 2021556969A JP 2022526512 A JP2022526512 A JP 2022526512A
Authority
JP
Japan
Prior art keywords
interactive object
image
virtual space
target
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021556969A
Other languages
English (en)
Inventor
林 ▲孫▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2022526512A publication Critical patent/JP2022526512A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

本発明は、インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体に関する。前記方法は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第１画像を取得するステップと、目標オブジェクトの前記第１画像における第１位置を取得するステップと、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定するステップと、前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップと、を含む。【選択図】図２

Description

本発明は、コンピュータ技術分野に関し、具体的にインタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体に関する。
ほとんどの人間とコンピュータのインタラクティブの方式は、ユーザにより、ボタンクリック、タッチ、音声を利用して入力を実行し、デバイスにより、表示スクリーン上に表示された画像、テキスト、または、仮想人物を利用して応答する方式である。現在、ほとんどの仮想人物は、音声アシスタントの基礎で改良されたものであり、デバイスに入力された音声のみに対して出力を実行し、ユーザと仮想人物との間のインタラクティブはまだ表面上に停滞している。
本発明の実施例は、インタラクティブオブジェクトの駆動案を提供する。
本発明の一態様は、インタラクティブオブジェクト駆動方法を提供する。前記方法は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第１画像を取得するステップと、目標オブジェクトの前記第１画像における第１位置を取得するステップと、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定するステップと、前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップと、を含む。
本発明に係る何れか１つの実施形態を参照すると、前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、前記マッピング関係に基づいて、前記第１位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第２位置を取得することと、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む。
本発明に係る何れか１つの実施形態を参照すると、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記第２位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第１相対角度を確定することと、前記インタラクティブオブジェクトの１つ又は複数の身体部位が動作を実行する重みを確定することと、前記第１相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにすることと、を含む。
本発明に係る何れか１つの実施形態を参照すると、前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される。
本発明に係る何れか１つの実施形態を参照すると、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記仮想撮像機器の仮想空間における位置を前記第２位置に移動させることと、前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにすることと、を含む。
本発明に係る何れか１つの実施形態を参照すると、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記インタラクティブオブジェクトを駆動して視線を前記第２位置に移動させる動作を実行するようにすることを含む。
本発明に係る何れか１つの実施形態を参照すると、前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、前記マッピング関係に基づいて、前記第１画像を前記仮想空間にマッピングして第２画像を取得することと、前記第１画像を複数の第１サブ領域に分割し、前記第２画像を前記複数の第１サブ領域にそれぞれ対応する複数の第２サブ領域に分割することと、前記第１画像の前記複数の第１サブ領域のうち、前記目標オブジェクトの所在する目標第１サブ領域を確定し、前記目標第１サブ領域に基づいて前記第２画像の前記複数の第２サブ領域のうちの目標第２サブ領域を確定することと、前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む。
本発明に係る何れか１つの実施形態を参照すると、前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記インタラクティブオブジェクトと前記目標第２サブ領域との間の第２相対角度を確定することと、前記インタラクティブオブジェクトを駆動して前記第２相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第２サブ領域を向うようにすることとを含む。
本発明に係る何れか１つの実施形態を参照すると、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定するステップは、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、前記第１画像の画素平面の前記仮想空間における対応するマッピング平面を確定することと、前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定することと、を含み、前記マッピング平面は、前記第１画像の画素平面を前記仮想空間にマッピングして得られたものである。
本発明に係る何れか１つの実施形態を参照すると、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することは、前記第１画像の単位画素距離と実空間の単位距離との間の第１比例関係を確定することと、実空間の単位距離と仮想空間の単位距離との間の第２比例関係を確定することと、前記第１比例関係及び前記第２比例関係に基づいて、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、を含む。
本発明に係る何れか１つの実施形態を参照すると、前記目標オブジェクトの前記第１画像における第１位置は、目標オブジェクトの顔部の位置及び／又は目標オブジェクトの身体の位置を含む。
本発明の一態様は、インタラクティブオブジェクト駆動装置を提供する。前記装置は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第１画像を取得するための第１取得ユニットと、目標オブジェクトの前記第１画像における第１位置を取得するための第２取得ユニットと、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定するための確定ユニットと、前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするための駆動ユニットと、を備える。
本発明の一態様は、表示機器を提供する。前記表示機器には、透明ディスプレイスクリーンが配置され、前記透明ディスプレイスクリーンは、インタラクティブオブジェクトを表示し、前記表示機器は、前記透明ディスプレイスクリーンに表示されたインタラクティブオブジェクトを駆動して動作を実行するようにするように、本発明に係る何れか１つの実施形態に記載の方法を実行する。
本発明の一態様は、電子機器を提供する。前記電子機器は、記憶媒体と、プロセッサとを備え、前記記憶媒体は、プロセッサで運転され得るコンピュータ指令を記憶し、前記プロセッサは、前記コンピュータ指令を実行したときに本発明に係る何れか１つの実施形態に記載のインタラクティブオブジェクト駆動方法を実施する。
本発明の一態様は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供する。前記プログラムがプロセッサによって実行されたときに、本発明に係る何れか１つの実施形態に記載のインタラクティブオブジェクト駆動方法は、実施される。
本発明の１つ又は複数の実施例のインタラクティブオブジェクト駆動方法、装置、機器及びコンピュータ可読記憶媒体によると、表示機器の周辺の第１画像を取得し、インタラクティブオブジェクトとインタラクティブを行う目標オブジェクトの前記第１画像における第１位置、及び、前記第１画像と表示機器に表示された仮想空間とのマッピング関係を取得し、当該第１位置及び当該マッピング関係に基づいてインタラクティブオブジェクトを駆動して動作を実行するようにすることによって、前記インタラクティブオブジェクトが目標オブジェクトと対向するように維持することができ、目標オブジェクトとインタラクティブオブジェクトとのインタラクティブをよりリアルにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
本明細書の１つ又は複数の実施例または従来技術における技術案がより明瞭に説明されるように、以下では、実施例或いは従来技術の記述に使用必要な図面を簡単に紹介する。明らかに、以下の記述に係る図面が単に本明細書の１つ又は複数の実施例に記載の幾つかの実施例に過ぎず、当業者であれば、進歩性に値する労働を掛けずにこれらの図面から他の図面を取得可能である。
本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動方法における表示機器の模式図を示す。
本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
本発明の少なくとも１つの実施例に係る第２位置とインタラクティブオブジェクトとの相対位置の模式図を示す。
本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動装置の構造模式図を示す。
本発明の少なくとも１つの実施例に係る電子機器の構造模式図を示す。
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
本文における用語「及び／又は」は、単に関連対象の関連関係を記述するものであり、３種の関係が存在可能であることを示す。例えば、Ａ及び／又はＢは、Ａが単独に存在することと、Ａ及びＢが同時に存在することと、Ｂが単独に存在することという３種の場合を表せる。また、本文における用語「少なくとも１種」は、複数種のうちの何れか１種又は複数種のうちの少なくとも２種の任意の組み合わせを示す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むことは、Ａ、Ｂ及びＣによって構成された集合から、何れか１つ又は複数の要素を選択することを示してもよい。
本発明の少なくとも１つの実施例は、インタラクティブオブジェクト駆動方法を提供する。前記駆動方法は、端末機器又はサーバ等の電子機器によって実行されてもよい。前記端末機器は、固定端末又はモバイル端末、例えば、携帯電話、タブレットＰＣ、ゲーム機、デスクトップＰＣ、広告機、一体型ＰＣ、車載端末等であってもよい。前記方法は、プロセッサがメモリに記憶されたコンピュータ可読指令を呼び出すことで実施されてもよい。
本発明の実施例において、インタラクティブオブジェクトは、目標オブジェクトとインタラクティブを行うことができる何れか１種のインタラクティブオブジェクトであってもよい。それは、仮想人物であってもよく、仮想動物、仮想物品、漫画キャラクタ等のインタラクティブ機能を実現可能な他の仮想オブジェクトであってもよい。前記目標オブジェクトは、ユーザ、ロボット、又は他のスマート機器であってもよい。前記目標オブジェクトと前記インタラクティブオブジェクトとの間のインタラクティブ方式は、能動的なインタラクティブ方式であってもよく、受動的なインタラクティブ方式であってもよい。一例示において、目標オブジェクトは、ジェスチャ又は肢体動作を行って要求を発して、能動的なインタラクティブの方式でインタラクティブオブジェクトがそれにインタラクティブを行うようトリガしてもよい。別の例示において、インタラクティブオブジェクトは、能動的に挨拶したり、目標オブジェクトが動作等を行うよう提示したりすることにより、目標オブジェクトに受動的な方式でインタラクティブオブジェクトとインタラクティブを行わせてもよい。
前記インタラクティブオブジェクトは、表示機器を介してディスプレイされてもよい。前記表示機器は、表示機能を持つ電子機器、例えば、ディスプレイスクリーンを有する一体型ＰＣ、プロジェクタ、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）機器、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）機器であってもよく、特殊な表示効果を有する表示機器であってもよい。
図１は、本発明の少なくとも１つの実施例に係る表示機器を示す。図１に示すように、当該表示機器は、ディスプレイスクリーンに立体画面を表示することにより、立体効果を有する仮想シナリオ及びインタラクティブオブジェクトを呈してもよい。図１では、ディスプレイスクリーンに表示されたインタラクティブオブジェクトは、例えば、仮想漫画人物を含む。当該ディスプレイスクリーンは、透明ディスプレイスクリーンであってもよい。幾つかの実施例において、本発明における前記端末機器は、上記ディスプレイスクリーンを有する表示機器であってもよい。表示機器には、メモリ及びプロセッサが配置され、メモリは、プロセッサで運転され得るコンピュータ指令を記憶し、前記プロセッサは、前記コンピュータ指令を実行したときに本発明に係るインタラクティブオブジェクト駆動方法を実施することにより、ディスプレイスクリーンに表示されたインタラクティブオブジェクトを駆動して動作を実行するようにする。
幾つかの実施例において、インタラクティブオブジェクトが動作を行ったり、表情を表したり、音声を出力するように駆動するための駆動データが表示機器によって受信されたことに応じて、インタラクティブオブジェクトは、目標オブジェクトへ向かって、指定の動作、表情を行い、又は指定の音声を発してもよい。表示機器の周辺に位置する目標オブジェクトの動作、表情、身分、嗜好等に基づいて駆動データを生成することにより、インタラクティブオブジェクトを駆動して応答させ、目標オブジェクトへ擬人化のサービスを提供する。インタラクティブオブジェクトと目標オブジェクトとのインタラクティブ過程に、インタラクティブオブジェクトが前記目標オブジェクトの位置を正確に把握することができない可能性があるため、前記目標オブジェクトとのフェース・トゥ・フェースの交流を維持することができず、インタラクティブオブジェクトと目標オブジェクトとの間のインタラクティブが硬くて不自然になる。これに鑑みて、本発明の少なくとも１つの実施例は、目標オブジェクトがインタラクティブオブジェクトとのインタラクティブを行う体験を向上させることができるためのインタラクティブオブジェクト駆動方法を提出する。
図２は、本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。図２に示すように、前記方法は、ステップＳ２０１～ステップＳ２０４を含む。
ステップＳ２０１では、表示機器の周辺（ｓｕｒｒｏｕｎｄｉｎｇｓ）の第１画像を取得する。前記表示機器は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示する。
前記表示機器の周辺は、前記表示機器の任意方向における設定範囲を含み、任意方向は、例えば、前記表示機器の前方向、横方向、後方向、上方向のうちの１つ又は複数の方向を含んでもよい。
画像収集機器を利用して第１画像を収集してもよい。前記画像収集機器は、表示機器に内蔵されたカメラヘッドであってもよく、表示機器とは独立するカメラヘッドであってもよい。前記画像収集機器の数は、１つ又は複数であってもよい。
好ましくは、第１画像は、ビデオストリームにおける１フレームであってもよく、リアルタイムで取得された画像であってもよい。
本発明の実施例において、前記仮想空間は、表示機器のスクリーンにディスプレイされた仮想シナリオであってもよく、前記インタラクティブオブジェクトは、当該仮想シナリオに現れる仮想人物、仮想物品、漫画キャラクタ等の、目標オブジェクトとのインタラクティブを行うことができる仮想オブジェクトであってもよい。
ステップＳ２０２では、目標オブジェクトの前記第１画像における第１位置を取得する。
本発明の実施例において、前記第１画像を予めトレーニングされたニューラルネットワークモデルに入力し、前記第１画像に対して人顔及び／又は人体検出を行うことにより、前記第１画像に目標オブジェクトが含まれるか否かを検出してもよい。ただし、前記目標オブジェクトは、前記インタラクティブオブジェクトとインタラクティブを行うユーザ対象、例えば、人、動物又は動作、指令を実行可能な物体等を指す。本発明では、目標オブジェクトのタイプについて制限することを意図しない。
前記第１画像の検出結果が人顔及び／又は人体（例えば、人顔検出枠及び／又は人体検出枠の形式）を含むことに応じて、人顔及び／又は人体の第１画像における位置を把握することで前記目標オブジェクトの第１画像における第１位置を確定する。当業者であれば理解できるように、他の方式で目標オブジェクトの第１画像における第１位置を把握してもよく、本発明では、これについて限定しない。
ステップＳ２０３では、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定する。
第１画像と仮想空間との間のマッピング関係は、第１画像を仮想空間にマッピングしたときに、前記第１画像が前記仮想空間に対して現れる大きさ及び所在する位置を指す。前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として当該マッピング関係を確定することは、前記インタラクティブオブジェクトの視角で、仮想空間にマッピングされた第１画像が現れる大きさ及び所在する位置を指す。
ステップＳ２０４では、前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
目標オブジェクトの前記第１画像における第１位置、及び前記第１画像と仮想空間との間のマッピング関係に基づいて、インタラクティブオブジェクトの視角で、仮想空間にマッピングされた目標オブジェクトとインタラクティブオブジェクトとの間の相対位置を確定することができる。当該相対位置に基づいて前記インタラクティブオブジェクトを駆動して動作を実行するようにし（例えば、前記インタラクティブオブジェクトを駆動して身を振り向かせ、身を横にさせ、頭を振り向かせる等）、前記インタラクティブオブジェクトが目標オブジェクトと対向するように維持することができ、目標オブジェクトとインタラクティブオブジェクトとのインタラクティブをよりリアルにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
本発明の実施例では、表示機器の周辺の第１画像を取得可能であり、インタラクティブオブジェクトとインタラクティブを行う目標オブジェクトの前記第１画像における第１位置、及び前記第１画像と表示機器に表示された仮想空間とのマッピング関係を取得し、当該第１位置及び当該マッピング関係に基づいてインタラクティブオブジェクトを駆動して動作を実行するようにすることによって、前記インタラクティブオブジェクトが目標オブジェクトと対向するように維持することができ、目標オブジェクトとインタラクティブオブジェクトとのインタラクティブをよりリアルにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
本発明の実施例において、前記仮想空間及び前記インタラクティブオブジェクトは、仮想撮像機器で取得された画像データを前記表示機器のスクリーンに表示して得られたものである。前記仮想空間の画像データ及び前記インタラクティブオブジェクトの画像データは、仮想撮像機器で取得されたものであってもよく、仮想撮像機器によって呼び出されたものであってもよい。仮想撮像機器は、３Ｄソフトウェアに用いられ、スクリーンに３Ｄ画像を表示するカメラアプリ又はカメラユニットであり、仮想空間は、前記仮想撮像機器で取得された３Ｄ画像をスクリーンに表示して得られたものである。したがって、目標オブジェクトの視角は、３Ｄソフトウェアにおける仮想撮像機器の視角として理解され得る。
目標オブジェクトと画像収集機器の所在する空間は、実空間と理解されてもよく、目標オブジェクトを含む第１画像は、画素空間に対応するものとして理解されてもよく、インタラクティブオブジェクト、仮想撮像機器に対応するのは、仮想空間である。画素空間と実空間との対応関係は、目標オブジェクトと画像収集機器との距離、及び、画像収集機器のパラメータに基づいて特定されてもよい。実空間と仮想空間との対応関係は、表示機器のパラメータ及び仮想撮像機器のパラメータに基づいて特定されてもよい。画素空間と実空間との対応関係、及び実空間と仮想空間との対応関係が特定された後、画素空間と仮想空間との対応関係を確定してもよい。つまり、第１画像と前記仮想空間との間のマッピング関係を確定してもよい。
幾つかの実施例において、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定してもよい。
まず、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係ｎを確定する。
ただし、単位画素距離とは、各画素に対応するサイズ又は長さを指し、仮想空間の単位距離とは、仮想空間における単位サイズ又は単位長さを指す。
一例示では、第１画像の単位画素距離と実空間の単位距離との間の第１比例関係ｎ１、及び実空間の単位距離と仮想空間の単位距離との間の第２比例関係ｎ２を確定することにより、比例関係ｎを確定してもよい。ただし、実空間の単位距離とは、実空間における単位サイズ又は単位長さを指す。ここで、単位画素距離、仮想空間の単位距離、実空間の単位距離の大きさは、予め設置されてもよく、且つ変更されてもよい。
第１比例関係ｎ１は、数式（１）で算出されてもよい。
Figure 2022526512000002
 ただし、ｄは、目標オブジェクトと画像収集機器との間の距離を示し、例示的に、目標オブジェクトの顔部と画像収集機器との間の距離を採用してもよく、ａは、第１画像の幅を示し、ｂは、第１画像の高さを示し、
Figure 2022526512000003
 である。ただし、ＦＯＶ１は、画像収集機器の鉛直方向における視野角を示し、ｃｏｎは、角度からラジアンへ変換の定数である。
第２比例関係ｎ２は、数式（２）で算出されてもよい。
ｎ２＝ｈｓ／ｈｖ （２）
ただし、ｈｓは、表示機器のスクリーンの高さを示し、ｈｖは、仮想撮像機器の高さを示し、ｈｖ＝ｔａｎ((ＦＯＶ２／２)*ｃｏｎ*ｄｚ*２)である。ただし、ＦＯＶ２は、仮想撮像機器の鉛直方向における視野角を示し、ｃｏｎは、角度からラジアンへ変換の定数であり、ｄｚは、インタラクティブオブジェクトと仮想撮像機器との間の軸方向距離を示す。
前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係ｎは、数式（３）で算出されてもよい。
ｎ＝ｎ１／ｎ２ （３）
次に、前記第１画像の画素平面の前記仮想空間における対応するマッピング平面、及び前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離ｆｚを確定する。
前記マッピング平面と前記インタラクティブオブジェクトとの間の軸方向距離ｆｚは、数式（４）で算出されてもよい。
ｆｚ＝ｃ＊ｎ１／ｎ２ （４）
前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係ｎ、及び仮想空間におけるマッピング平面とインタラクティブオブジェクトとの間の軸方向距離ｆｚが特定された場合に、第１画像と仮想空間との間のマッピング関係を確定してもよい。
幾つかの実施例において、前記マッピング関係に基づいて、前記第１位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第２位置を取得し、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
前記第２位置の仮想空間における座標（ｆｘ、ｆｙ、ｆｚ）は、以下の数式で算出される。
ｆｘ＝ｒｘ＊ｎ１／ｎ２
ｆｙ＝ｒｙ＊ｎ１／ｎ２ （５）
ｆｚ＝ｃ＊ｎ１／ｎ２
ただし、ｒｘ、ｒｙは、目標オブジェクトの第１画像における第１位置の、ｘ方向とｙ方向とにおける座標である。
目標オブジェクトの第１画像における第１位置を仮想空間にマッピングして目標オブジェクトの仮想空間における対応する第２位置を取得することにより、仮想空間における、目標オブジェクトとインタラクティブオブジェクトとの間の相対位置関係を確定してもよい。当該相対位置関係によってインタラクティブオブジェクトを駆動して動作を実行するようにすることにより、前記インタラクティブオブジェクトが目標オブジェクトの位置変換に対して動作フィードバックを発生するようにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
一例示では、図４に示すように、以下の方式でインタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
まず、ステップＳ４０１では、前記第２位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第１相対角度を確定する。前記第１相対角度とは、インタラクティブオブジェクトの正面向き（人体の矢状断面に対応する方向）と第２位置との間の角度を示す。図３に示すように、３１０は、インタラクティブオブジェクトを示し、その正面が図３における点線に示す方向へ向かい、３２０は、第２位置に対応する座標点（第２位置点）を示す。第２位置点とインタラクティブオブジェクトの所在する位置点（例えば、インタラクティブオブジェクトの横方向断面における重心をインタラクティブオブジェクトの所在する位置点として確定してもよい）との間の連結線と、インタラクティブオブジェクトの正面向きとの間の角度θ１は、第１相対角度そのものである。
次に、ステップＳ４０２では、前記インタラクティブオブジェクトの１つ又は複数の身体部位がそれぞれ動作を実行する重みを確定する。インタラクティブオブジェクトの１つ又は複数の身体部位とは、動作の実行に係る身体部位を指す。インタラクティブオブジェクトが１つの動作を完成することは、例えば、身を９０度回転させてあるオブジェクトへ向かせることは、下半身、上半身、頭部にて共同して完成されてもよい。例えば、下半身が３０度回転し、上半身が６０度回転し、頭部が９０度回転すると、インタラクティブオブジェクトが９０度回転することは、実現可能である。ただし、各身体部位が回転する幅比例は、動作を実行する重みそのものである。必要に応じて、その中の１つの身体部位が動作を実行する重みを高く設定してもよい。こうして、動作を実行するときに、当該身体部位の運動幅が大きくて他の身体部位の運動幅が小さいように、共同して所定の動作を完成する。当業者であれば理解できるように、当該ステップに含まれる身体部位、及び各身体部位に対応する重みは、実行する動作、及び動作効果に対する要求に応じて具体的に設定されてもよく、又は、レンダラやソフトウェア内部で自動的に設定されてもよい。
最後に、ステップＳ４０３では、前記第１相対角度と前記インタラクティブオブジェクトの各部位にそれぞれ対応する重みとに応じて、前記インタラクティブオブジェクトの各部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにする。
本発明の実施例において、仮想空間にマッピングされた目標オブジェクトとインタラクティブオブジェクトとの間の相対角度、及びインタラクティブオブジェクトの各身体部位が動作を実行する重みに基づいて、インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにする。これにより、インタラクティブオブジェクトが異なる身体部位に応じて異なる幅の運動をすることで、インタラクティブオブジェクトの身体が自然且つ生き生きと追跡する目標オブジェクトへ向かう効果は実現され、目標オブジェクトのインタラクティブ体験を向上させることができる。
幾つかの実施例において、インタラクティブオブジェクトの視線を仮想撮像機器に整列させるように設置してもよい。目標オブジェクトの仮想空間における対応する第２位置が特定された後、前記仮想撮像機器の仮想空間における位置を前記第２位置に移動させる。インタラクティブオブジェクトの視線が仮想撮像機器に常に整列するように設置されるため、目標オブジェクトにとって、インタラクティブオブジェクトの視線が常に自分にフォローする感じがするようにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
幾つかの実施例において、インタラクティブオブジェクトを駆動して視線を前記第２位置に移動させる動作を実行するようにしてもよい。こうして、インタラクティブオブジェクトの視線が目標オブジェクトにフォローし、目標オブジェクトのインタラクティブ体験を向上させることができる。
本発明の実施例において、図５に示すように、以下の方式で、前記インタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
まず、ステップＳ５０１では、前記第１画像と仮想空間との間のマッピング関係に基づいて、前記第１画像を前記仮想空間にマッピングして第２画像を取得する。上記マッピング関係がインタラクティブオブジェクトの前記仮想空間における位置を参照点とし、即ち、インタラクティブオブジェクトの視角で成り立つため、前記第１画像を前記仮想空間にマッピングして得られた第２画像の範囲は、インタラクティブオブジェクトの視野範囲とされてもよい。
次に、ステップＳ５０２では、前記第１画像を複数の第１サブ領域に分割し、前記第２画像を前記複数の第１サブ領域に対応する複数の第２サブ領域に分割してもよい。ここでの対応とは、前記第１サブ領域の数が前記第２サブ領域の数に等しく、各第１サブ領域と各第２サブ領域との大きさが同じ比例関係を呈し、且つ各第１サブ領域が第２画像において対応する第２サブ領域を有することを指す。
仮想空間にマッピングされた第２画像の範囲がインタラクティブオブジェクトの視野範囲とされるため、第２画像に対する分割は、インタラクティブオブジェクトの視野範囲に対する分割に相当する。インタラクティブオブジェクトの視線は、視野範囲における各第２サブ領域に合わせられてもよい。
その後、ステップＳ５０３では、前記第１画像の前記複数の第１サブ領域のうち、前記目標オブジェクトの所在する目標第１サブ領域を確定し、前記目標第１サブ領域に基づいて前記第２画像の前記複数の第２サブ領域のうちの目標第２サブ領域を確定する。前記目標オブジェクトの顔の所在する第１サブ領域を目標第１サブ領域としてもよく、目標オブジェクトの身体の所在する第１サブ領域を目標第１サブ領域としてもよく、目標オブジェクトの顔と身体との所在する第１サブ領域を共同して目標第１サブ領域としてもよい。前記目標第１サブ領域には、複数の第１サブ領域が含まれてもよい。
次に、ステップＳ５０４では、目標第２サブ領域が特定された後、目標第２サブ領域の所在する位置に応じて、インタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
本発明の実施例において、インタラクティブオブジェクトの視野範囲を分割し、目標オブジェクトの第１画像における位置に基づいて、当該目標オブジェクトの、インタラクティブオブジェクトの視野範囲における対応する位置領域を確定するため、快速且つ効果的にインタラクティブオブジェクトを駆動して動作を実行させることができる。
図６に示すように、図５のステップＳ５０１～Ｓ５０４に加えて、ステップＳ５０５も含む。ステップＳ５０５では、目標第２サブ領域が特定された場合に、インタラクティブオブジェクトと前記目標第２サブ領域との間の第２相対角度を確定してもよい。インタラクティブオブジェクトを駆動して当該第２相対角度を回動するようにすることにより、インタラクティブオブジェクトが目標第２サブ領域を向うようにする。このような方式により、インタラクティブオブジェクトが目標オブジェクトの移動とともに常に目標オブジェクトとの対面を維持する効果は、実現される。当該第２相対角度の特定方式は、第１相対角度の特定方式に類似する。例えば、目標第２サブ領域の中心及びインタラクティブオブジェクトの所在する位置点の間の連結線と、インタラクティブオブジェクトの正面向きとの間の角度を第２相対角度として確定する。当該第２相対角度の特定方式は、これに限定されない。
一例示では、インタラクティブオブジェクト全体を駆動して当該第２相対角度を回動するようにすることにより、前記インタラクティブオブジェクトを目標第２サブ領域へ向かわせてもよく、上述した通り、前記第２相対角度及び前記インタラクティブオブジェクトの各部位に対応する重みに応じて、前記インタラクティブオブジェクトの各部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトを前記目標第２サブ領域に向かわせてもよい。
幾つかの実施例において、前記表示機器は、透明なディスプレイスクリーンであってもよく、それに表示されたインタラクティブオブジェクトは、立体効果を持つ仮想キャラクタを含む。目標オブジェクトが表示機器の裏面、即ち、インタラクティブオブジェクトの後ろに現れるときに、目標オブジェクトの第１画像における第１位置の、仮想空間にマッピングされた第２位置は、インタラクティブオブジェクトの後にある。インタラクティブオブジェクトの正面方向とマッピングされた第２位置との間の第１相対角度で前記インタラクティブオブジェクトを駆動して動作を実行するようにすることにより、インタラクティブオブジェクトが身を振り向いて前記目標オブジェクトに対面するようにすることができる。
図７は、本発明の少なくとも１つの実施例に係るインタラクティブオブジェクト駆動装置の構造模式図を示す。図７に示すように、当該装置は、第１取得ユニット７０１、第２取得ユニット７０２、確定ユニット７０３及び駆動ユニット７０４を備えてもよい。
ただし、第１取得ユニット７０１は、表示機器の周辺の第１画像を取得し、前記表示機器は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示し、第２取得ユニット７０２は、目標オブジェクトの前記第１画像における第１位置を取得し、確定ユニット７０３は、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定し、駆動ユニット７０４は、前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
幾つかの実施例において、駆動ユニット７０４は、具体的に、前記マッピング関係に基づいて、前記第１位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第２位置を取得し、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
幾つかの実施例において、駆動ユニット７０４は、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記第２位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第１相対角度を確定し、前記インタラクティブオブジェクトの１つ又は複数の身体部位が動作を実行する重みを確定し、前記第１相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにする。
幾つかの実施例において、前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される。
幾つかの実施例において、駆動ユニット７０４は、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記仮想撮像機器の仮想空間における位置を前記第２位置に移動させ、前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにする。
幾つかの実施例において、駆動ユニット７０４は、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記インタラクティブオブジェクトを駆動して視線を前記第２位置に移動させる動作を実行するようにする。
幾つかの実施例において、駆動ユニット７０４は、具体的に、前記マッピング関係に基づいて、前記第１画像を前記仮想空間にマッピングして第２画像を取得し、前記第１画像を複数の第１サブ領域に分割し、前記第２画像を前記複数の第１サブ領域にそれぞれ対応する複数の第２サブ領域に分割し、前記第１画像において前記目標オブジェクトの所在する目標第１サブ領域を確定し、前記目標第１サブ領域に基づいて対応する目標第２サブ領域を確定し、前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
幾つかの実施例において、駆動ユニット７０４は、前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記インタラクティブオブジェクトと前記目標第２サブ領域との間の第２相対角度を確定し、前記インタラクティブオブジェクトを駆動して前記第２相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第２サブ領域を向うようにする。
幾つかの実施例において、確定ユニット７０３は、具体的に、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定し、前記第１画像の画素平面の前記仮想空間における対応するマッピング平面を確定し、前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定する。前記マッピング平面は、前記第１画像の画素平面を前記仮想空間にマッピングして得られたものである。
幾つかの実施例において、確定ユニット７０３は、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定するときに、具体的に、前記第１画像の単位画素距離と実空間の単位距離との間の第１比例関係を確定し、実空間の単位距離と仮想空間の単位距離との間の第２比例関係を確定し、前記第１比例関係及び前記第２比例関係に基づいて、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定する。
幾つかの実施例において、前記目標オブジェクトの前記第１画像における第１位置は、目標オブジェクトの顔部の位置及び／又は目標オブジェクトの身体の位置を含む。
本明細書の少なくとも１つの実施例は、電子機器を更に提供する。図８に示すように、前記機器は、記憶媒体８０１、プロセッサ８０２、ネットワークインターフェース８０３を備える。記憶媒体８０１は、プロセッサで運転され得るコンピュータ指令を記憶し、プロセッサは、前記コンピュータ指令を実行したときに本発明の何れか１つの実施例に記載のインタラクティブオブジェクト駆動方法を実施する。本明細書の少なくとも１つの実施例は、コンピュータ可読記憶媒体を更に提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記プログラムがプロセッサによって実行されたときに、本発明の何れか１つの実施例に記載のインタラクティブオブジェクト駆動方法は、実施される。
当業者であれば理解できるように、本明細書の１つ又は複数の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよい。したがって、本明細書の１つ又は複数の実施は、１００％ハードウェアの実施例、１００％ソフトウェアの実施例、又はソフトウェアとハードウェアとを組み合わせた態様の実施例の形式を採用してもよい。また、本明細書の１つ又は複数の実施例は、１つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形式を採用してもよい。
本明細書における各実施例は、何れも漸進の方式で記述され、各実施例は、他の実施例との相違点を重点的に説明し、各実施例同士の同じ又は類似する部分が互いに参照すればよい。特にデータ処理機器の実施例は、方法実施例に基本的に類似するため、記述が相対的に簡単であり、関連箇所が方法実施例の部分の説明を参照すればよい。
以上は、本明細書の特定の実施例について記述した。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の挙動又はステップは、実施例における順番と異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた手順は、示された特定の順番又は連続順番でないと所望の結果を得られないことを要求するとは限らない。幾つかの実施形態において、マルチタスク処理及び並行処理も、実行可能であり、又は有利なものである。
本明細書に記述されたテーマ及び機能操作の実施例は、デジタル電子回路、有形的に体現されたコンピュータソフトウェア若しくはファームウェア、本発明に開示された構造及びその構造的均等物を含むコンピュータハードウェア、又はそれらのうちの１つ又は複数の組み合わせにおいて実現され得る。本発明に記述されたテーマの実施例は、１つ又は複数のコンピュータプログラム、即ち、有形の非一時的なプログラムキャリア上にコーディングされることでデータ処理装置によって実行され又はデータ処理装置の操作を制御されるコンピュータプログラム指令における１つ又は複数のモジュールとして実現され得る。代替的に又は追加的に、プログラム指令は、人工で生成された伝送信号、例えば機器で生成された電気、光又は電磁的信号にコーディングされてもよい。当該信号は、生成されることで情報を符号化して適切な受信機装置へ伝送されてデータ処理装置に実行させる。コンピュータ記憶媒体は、機器読み取り可能な記憶機器、機器読み取り可能な記憶基板、ランダム若しくはシリアルアクセスメモリ機器、又はそれらのうちの１つ又は複数の組み合わせであってもよい。
本明細書に記述された処理及び論理フローは、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータによって実施されて、入力データに応じて操作を行って出力を生成して対応する機能を実行させてもよい。前記処理及び論理フローは、専用論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行されてもよく、装置も専用論理回路として実現されてもよい。
コンピュータプログラムの実行に適するコンピュータは、例えば、汎用及び／又は専用マイクロプロセッサ、又は如何なる他のタイプの中央処理装置を含む。通常、中央処理装置は、読み出し専用メモリ及び／又はランダムアクセスメモリから指令及びデータを受信する。コンピュータの基本ユニットは、指令を実施や実行するための中央処理装置と、指令及びデータを記憶するための１つ又は複数のメモリ機器とを備える。通常、コンピュータは、更に、データを記憶するための１つ又は複数の大容量記憶機器、例えば、磁気ディスク、磁光ディスク又は光ディスク等を含み、又は、コンピュータは、この大容量記憶機器に操作可能にカップリングされてそれからデータを受信したりそれへデータを伝送したりし、又は、２種の状況を兼ね備える。しかし、コンピュータは、このような機器を必ず有するとは限らない。また、コンピュータは、別の機器、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又は、例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリドライバの携帯型記憶機器に組み込まれてもよい。以上は、単に幾つかの例である。
コンピュータプログラム指令及びデータを記憶するのに適するコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、メディアとメモリ機器を含み、例えば、半導体メモリ機器（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭとフラッシュメモリ機器）、磁気ディスク（例えば、内部ハードディスク又はリムーバブルディスク）、磁光ディスク及びＣＤ ＲＯＭとＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補充され又は専用論理回路に統合されてもよい。
本明細書が大量の具体的な実施詳細を含むが、これらの詳細は、如何なる発明の範囲又は保護請求される範囲を制限するとは解釈されるべきではなく、主に特定の開示された具体的な実施例の特徴を記述するために用いられる。本明細書の複数の実施例に記述された幾つかの特徴は、単一の実施例において組み合わせて実施されてもよい。その一方、単一の実施例に記述された各種の特徴は、複数の実施例に分けて実施され、又は、如何なる適切なサブ組み合わせとして実施されてもよい。また、特徴が上記のように幾つかの組み合わせにおいて役割を果たし、ひいてはこのように保護するように要求されてもよいが、保護請求される組み合わせからの１つ又は複数の特徴は、幾つかの場合において当該組み合わせから除去されてもよく、更に、保護請求される組み合わせは、サブ組み合わせ又はサブ組み合わせの変形を指してもよい。
類似的に、図面に特定の順番で操作が描かれたが、これらの操作が示された特定の順番で実行され又は順に実行され又は全ての例示の操作が実行されて所望の結果を得ることを要求するとして理解されるべきではない。幾つかの場合に、マルチタスク及び並行処理は、有利である可能性がある。また、上記実施例における各種のシステムモジュールとユニットの分離は、全ての実施例においてこのような分離を必要とすると理解されるべきではない。更に、理解できるように、記述されるプログラムユニット及びシステムは、通常、単一のソフトウェア製品に統合されてもよく、又は複数のソフトウェア製品としてカプセル化されてもよい。
このように、テーマの特定実施例が記述された。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の動作は、異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた処理が必ずしも示された特定の順番又は連続順番で所望の結果を得るとは限らない。幾つかの実施形態において、マルチタスク処理及び並行処理は、有利である可能性がある。
上述したのは、本明細書の１つ又は複数の実施例の好適な実施例に過ぎず、本明細書の１つ又は複数の実施例を制限するためのものではない。本明細書の１つ又は複数の実施例の精神及び原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の１つ又は複数の実施例の保護範囲内に含まれるべきである。

Claims (25)

  1. インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第１画像を取得するステップと、
    目標オブジェクトの前記第１画像における第１位置を取得するステップと、
    前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定するステップと、
    前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップと、を含む
    ことを特徴とするインタラクティブオブジェクト駆動方法。
  2. 前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、
    前記マッピング関係に基づいて、前記第１位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第２位置を取得することと、
    前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む
    ことを特徴とする請求項１に記載のインタラクティブオブジェクト駆動方法。
  3. 前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
    前記第２位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第１相対角度を確定することと、
    前記インタラクティブオブジェクトの１つ又は複数の身体部位が動作を実行する重みを確定することと、
    前記第１相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにすることと、を含む
    ことを特徴とする請求項２に記載のインタラクティブオブジェクト駆動方法。
  4. 前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される
    ことを特徴とする請求項１から３の何れか一項に記載のインタラクティブオブジェクト駆動方法。
  5. 前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
    前記仮想撮像機器の前記仮想空間における位置を前記第２位置に移動させることと、
    前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにすることと、を含む
    ことを特徴とする請求項４に記載のインタラクティブオブジェクト駆動方法。
  6. 前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
    前記インタラクティブオブジェクトを駆動して視線を前記第２位置に移動させる動作を実行するようにすることを含む
    ことを特徴とする請求項２から４の何れか一項に記載のインタラクティブオブジェクト駆動方法。
  7. 前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、
    前記マッピング関係に基づいて、前記第１画像を前記仮想空間にマッピングして第２画像を取得することと、
    前記第１画像を複数の第１サブ領域に分割し、前記第２画像を前記複数の第１サブ領域にそれぞれ対応する複数の第２サブ領域に分割することと、
    前記第１画像の前記複数の第１サブ領域のうち、前記目標オブジェクトの所在する目標第１サブ領域を確定し、前記目標第１サブ領域に基づいて前記第２画像の前記複数の第２サブ領域のうちの目標第２サブ領域を確定することと、
    前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む
    ことを特徴とする請求項１に記載のインタラクティブオブジェクト駆動方法。
  8. 前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
    前記インタラクティブオブジェクトと前記目標第２サブ領域との間の第２相対角度を確定することと、
    前記インタラクティブオブジェクトを駆動して前記第２相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第２サブ領域を向うようにすることと、を含む
    ことを特徴とする請求項７に記載のインタラクティブオブジェクト駆動方法。
  9. 前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定するステップは、
    前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、
    前記第１画像の画素平面の前記仮想空間における対応するマッピング平面を確定することと、
    前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定することと、を含み、
    前記マッピング平面は、前記第１画像の画素平面を前記仮想空間にマッピングして得られたものである
    ことを特徴とする請求項１から８の何れか一項に記載のインタラクティブオブジェクト駆動方法。
  10. 前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することは、
    前記第１画像の単位画素距離と実空間の単位距離との間の第１比例関係を確定することと、
    実空間の単位距離と仮想空間の単位距離との間の第２比例関係を確定することと、
    前記第１比例関係及び前記第２比例関係に基づいて、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、を含む
    ことを特徴とする請求項９に記載のインタラクティブオブジェクト駆動方法。
  11. 前記目標オブジェクトの前記第１画像における第１位置は、目標オブジェクトの顔部の位置及び／又は目標オブジェクトの身体の位置を含む
    ことを特徴とする請求項１から１０の何れか一項に記載のインタラクティブオブジェクト駆動方法。
  12. インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第１画像を取得するための第１取得ユニットと、
    目標オブジェクトの前記第１画像における第１位置を取得するための第２取得ユニットと、
    前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第１画像と前記仮想空間との間のマッピング関係を確定するための確定ユニットと、
    前記第１位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするための駆動ユニットと、を備える
    ことを特徴とするインタラクティブオブジェクト駆動装置。
  13. 前記駆動ユニットは、
    前記マッピング関係に基づいて、前記第１位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第２位置を取得し、
    前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする
    ことを特徴とする請求項１２に記載のインタラクティブオブジェクト駆動装置。
  14. 前記駆動ユニットは、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
    前記第２位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第１相対角度を確定し、
    前記インタラクティブオブジェクトの１つ又は複数の身体部位が動作を実行する重みを確定し、
    前記第１相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにする
    ことを特徴とする請求項１３に記載のインタラクティブオブジェクト駆動装置。
  15. 前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される
    ことを特徴とする請求項１２から１４の何れか一項に記載のインタラクティブオブジェクト駆動装置。
  16. 前記駆動ユニットは、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
    前記仮想撮像機器の前記仮想空間における位置を前記第２位置に移動させ、
    前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにする
    ことを特徴とする請求項１５に記載のインタラクティブオブジェクト駆動装置。
  17. 前記駆動ユニットは、前記第２位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
    前記インタラクティブオブジェクトを駆動して視線を前記第２位置に移動させる動作を実行するようにする
    ことを特徴とする請求項１３から１５の何れか一項インタラクティブオブジェクト駆動装置。
  18. 前記駆動ユニットは、
    前記マッピング関係に基づいて、前記第１画像を前記仮想空間にマッピングして第２画像を取得し、
    前記第１画像を複数の第１サブ領域に分割し、前記第２画像を前記複数の第１サブ領域にそれぞれ対応する複数の第２サブ領域に分割し、
    前記第１画像の前記複数の第１サブ領域のうち、前記目標オブジェクトの所在する目標第１サブ領域を確定し、前記目標第１サブ領域に基づいて前記第２画像の前記複数の第２サブ領域のうちの目標第２サブ領域を確定し、
    前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする
    ことを特徴とする請求項１２に記載のインタラクティブオブジェクト駆動装置。
  19. 前記駆動ユニットは、前記目標第２サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
    前記インタラクティブオブジェクトと前記目標第２サブ領域との間の第２相対角度を確定し、
    前記インタラクティブオブジェクトを駆動して前記第２相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第２サブ領域を向うようにする
    ことを特徴とする請求項１８に記載のインタラクティブオブジェクト駆動装置。
  20. 前記確定ユニットは、
    前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定し、
    前記第１画像の画素平面の前記仮想空間における対応するマッピング平面を確定し、
    前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定し、
    前記マッピング平面は、前記第１画像の画素平面を前記仮想空間にマッピングして得られたものである
    ことを特徴とする請求項１２から１９の何れか一項に記載のインタラクティブオブジェクト駆動装置。
  21. 前記確定ユニットは、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定するときに、
    前記第１画像の単位画素距離と実空間の単位距離との間の第１比例関係を確定し、
    実空間の単位距離と仮想空間の単位距離との間の第２比例関係を確定し、
    前記第１比例関係及び前記第２比例関係に基づいて、前記第１画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定する
    ことを特徴とする請求項２０に記載のインタラクティブオブジェクト駆動装置。
  22. 前記目標オブジェクトの前記第１画像における第１位置は、目標オブジェクトの顔部の位置及び／又は目標オブジェクトの身体の位置を含む
    ことを特徴とする請求項１２から２１の何れか一項に記載のインタラクティブオブジェクト駆動装置。
  23. 表示機器であって、
    前記表示機器には、透明ディスプレイスクリーンが配置され、前記透明ディスプレイスクリーンは、インタラクティブオブジェクトを表示し、前記表示機器は、前記透明ディスプレイスクリーンに表示されたインタラクティブオブジェクトを駆動して動作を実行するようにするようにして、請求項１から１１の何れか一項に記載の方法を実行する
    ことを特徴とする表示機器。
  24. 電子機器であって、
    前記電子機器は、記憶媒体と、プロセッサとを備え、前記記憶媒体は、プロセッサで運転され得るコンピュータ指令を記憶し、前記プロセッサは、前記コンピュータ指令を実行したときに請求項１から１１の何れか一項に記載の方法を実施する
    ことを特徴とする電子機器。
  25. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
    前記プログラムがプロセッサによって実行されたときに、請求項１から１１の何れか一項に記載の方法は、実施される
    ことを特徴とするコンピュータ可読記憶媒体。
JP2021556969A 2019-11-28 2020-07-24 インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体 Pending JP2022526512A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911193989.1A CN110968194A (zh) 2019-11-28 2019-11-28 交互对象的驱动方法、装置、设备以及存储介质
CN201911193989.1 2019-11-28
PCT/CN2020/104593 WO2021103613A1 (zh) 2019-11-28 2020-07-24 交互对象的驱动方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
JP2022526512A true JP2022526512A (ja) 2022-05-25

Family

ID=70032085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021556969A Pending JP2022526512A (ja) 2019-11-28 2020-07-24 インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体

Country Status (6)

Country Link
US (1) US20220215607A1 (ja)
JP (1) JP2022526512A (ja)
KR (1) KR20210131414A (ja)
CN (1) CN110968194A (ja)
TW (1) TWI758869B (ja)
WO (1) WO2021103613A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111488090A (zh) * 2020-04-13 2020-08-04 北京市商汤科技开发有限公司 交互方法、装置、交互系统、电子设备及存储介质
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质
CN114385002B (zh) * 2021-12-07 2023-05-12 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244322A (ja) * 2009-04-07 2010-10-28 Bitto Design Kk コミュニケーションキャラクター装置、及びそのプログラム
US20120092475A1 (en) * 2009-06-23 2012-04-19 Tencent Technology (Shenzhen) Company Limited Method, Apparatus And System For Implementing Interaction Between A Video And A Virtual Network Scene
JP2018116684A (ja) * 2017-10-23 2018-07-26 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2019130992A1 (ja) * 2017-12-26 2019-07-04 株式会社Ｎｔｔドコモ 情報処理装置
JP2019139425A (ja) * 2018-02-08 2019-08-22 株式会社バンダイナムコスタジオ シミュレーションシステム及びプログラム
JP2019197499A (ja) * 2018-05-11 2019-11-14 株式会社スクウェア・エニックス プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004840B (zh) * 2009-08-28 2013-09-11 深圳泰山在线科技有限公司 一种基于计算机实现虚拟拳击的方法和系统
TWI423114B (zh) * 2011-02-25 2014-01-11 Liao Li Shih 互動式裝置及其運作方法
TWM440803U (en) * 2011-11-11 2012-11-11 Yu-Chieh Lin Somatosensory deivice and application system thereof
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
EP3062219A1 (en) * 2015-02-25 2016-08-31 BAE Systems PLC A mixed reality system and method for displaying data therein
CN105183154B (zh) * 2015-08-28 2017-10-24 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示方法
WO2017100821A1 (en) * 2015-12-17 2017-06-22 Lyrebird Interactive Holdings Pty Ltd Apparatus and method for an interactive entertainment media device
US10282912B1 (en) * 2017-05-26 2019-05-07 Meta View, Inc. Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和系统
US20190196690A1 (en) * 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality
CN107341829A (zh) * 2017-06-27 2017-11-10 歌尔科技有限公司 虚拟现实交互部件的定位方法和装置
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、系统、程序和存储介质
CN108805989B (zh) * 2018-06-28 2022-11-11 百度在线网络技术（北京）有限公司 场景穿越的方法、装置、存储介质和终端设备
CN109658573A (zh) * 2018-12-24 2019-04-19 上海爱观视觉科技有限公司 一种智能门锁系统
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244322A (ja) * 2009-04-07 2010-10-28 Bitto Design Kk コミュニケーションキャラクター装置、及びそのプログラム
US20120092475A1 (en) * 2009-06-23 2012-04-19 Tencent Technology (Shenzhen) Company Limited Method, Apparatus And System For Implementing Interaction Between A Video And A Virtual Network Scene
JP2018116684A (ja) * 2017-10-23 2018-07-26 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2019130992A1 (ja) * 2017-12-26 2019-07-04 株式会社Ｎｔｔドコモ 情報処理装置
JP2019139425A (ja) * 2018-02-08 2019-08-22 株式会社バンダイナムコスタジオ シミュレーションシステム及びプログラム
JP2019197499A (ja) * 2018-05-11 2019-11-14 株式会社スクウェア・エニックス プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法

Also Published As

Publication number Publication date
US20220215607A1 (en) 2022-07-07
CN110968194A (zh) 2020-04-07
KR20210131414A (ko) 2021-11-02
TWI758869B (zh) 2022-03-21
WO2021103613A1 (zh) 2021-06-03
TW202121155A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
JP2022526512A (ja) インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
US9952820B2 (en) Augmented reality representations across multiple devices
WO2017199206A1 (en) System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
CN112148118A (zh) 生成物理环境中的人的姿势信息
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
EP3740849B1 (en) Hybrid placement of objects in an augmented reality environment
JP7238143B2 (ja) 仮想対象の移動制御方法及びその装置、端末並びにコンピュータプログラム
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
JP2022519975A (ja) 複数の関与モードを有する人工現実システム
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
CN106980378B (zh) 虚拟显示方法和系统
CN108553895A (zh) 用户界面元素与三维空间模型关联的方法和装置
EP4172862A1 (en) Object recognition neural network for amodal center prediction
EP3680753B1 (en) An apparatus and associated methods for presentation of a virtual reality space
JP2017086542A (ja) 画像変更システム、方法、及びプログラム
CN109716395A (zh) 在虚拟现实中保持对象稳定性
JP7414139B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20190188910A1 (en) Systems and methods for teleporting a virtual position of a user in a virtual environment to a teleportable point of a virtual object
Tecchia et al. Addressing the problem of Interaction in fully Immersive Virtual Environments: from raw sensor data to effective devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230602