JP2022526772A - インタラクティブ方法、装置、デバイス、及び記憶媒体 - Google Patents

インタラクティブ方法、装置、デバイス、及び記憶媒体 Download PDF

Info

Publication number
JP2022526772A
JP2022526772A JP2021556968A JP2021556968A JP2022526772A JP 2022526772 A JP2022526772 A JP 2022526772A JP 2021556968 A JP2021556968 A JP 2021556968A JP 2021556968 A JP2021556968 A JP 2021556968A JP 2022526772 A JP2022526772 A JP 2022526772A
Authority
JP
Japan
Prior art keywords
interactive
objects
information
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021556968A
Other languages
English (en)
Other versions
JP7224488B2 (ja
Inventor
子隆 ▲張▼
林 ▲孫▼
青 ▲欒▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2022526772A publication Critical patent/JP2022526772A/ja
Application granted granted Critical
Publication of JP7224488B2 publication Critical patent/JP7224488B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Holo Graphy (AREA)

Abstract

Figure 2022526772000001
本発明は、インタラクティブ方法、装置、デバイス、及び記憶媒体に関する。前記方法は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するステップと、前記画像内の関連する１つまたは複数のオブジェクトに対して検出を実行するステップと、前記画像内の関連する少なくとも２つのオブジェクトが検出されたことに応答して、検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップと、前記目標オブジェクトに対する検出結果に基づいて、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して応答を実行するようにするステップと、を含む。
【選択図】図１

Description

本発明は、コンピュータビジョン技術分野に関し、具体的に、インタラクティブ方法、装置、デバイス、及び記憶媒体に関する。
ほとんどの人間とコンピュータとの間のインタラクティブ方法は、ユーザにより、ボタンクリック、タッチ、音声を利用して入力を実行し、デバイスにより、表示スクリーン上に画像およびテキストを表示して応答を実行する。現在、ほとんどの仮想人物は、音声アシスタントの基礎で改良して得られたものであり、デバイスの音声のみを出力し、ユーザと仮想人物との間のインタラクティブはまだ表面上に停滞している。
本発明の実施例は、インタラクティブ解決策を提供する。
第１の態様によると、インタラクティブ方法を提供し、前記方法は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するステップと、前記画像内の関連する１つまたは複数のオブジェクトに対して検出を実行するステップと、前記画像内の関連する少なくとも２つのオブジェクトが検出されたことに応答して、検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップと、前記目標オブジェクトに対する検出結果に基づいて、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して応答を実行するようにするステップと、を含む。
表示デバイスの周辺の画像に対してオブジェクト検出を実行し、オブジェクトの特徴情報に基づいて目標オブジェクトを選択し、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して応答を実行するようにすることによって、複数のオブジェクトがあるシーンで適切な目標オブジェクトを選択してインタラクティブを実行することができ、インタラクティブ効率を改善し、インタラクティブ体験も改善することができる。
１例において、前記特徴情報は、オブジェクト姿勢情報および／またはオブジェクト属性情報を含む。
１例において、前記検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップは、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報と所定の姿勢特徴との間の姿勢マッチング程度、または、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト属性情報と所定の属性特徴との間の属性マッチング程度に基づいて、前記少なくとも２つのオブジェクトの中から前記目標オブジェクトを選択するステップを含む。
各オブジェクトのオブジェクト姿勢情報、オブジェクト属性情報などの特徴情報に基づいて複数のオブジェクトの中から目標オブジェクトを選択することによって、適切なオブジェクトを、インタラクティブを実行する目標オブジェクトとして選択することができ、インタラクティブ効率とサービス体験を改善することができる。
１例において、前記検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップは、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択するステップと、前記第１オブジェクトが少なくとも２つある場合、前記インタラクティブオブジェクトを駆動して前記少なくとも２つの第１オブジェクトを案内してそれぞれ所定の情報を出力するようにし、検出された前記第１オブジェクトが前記所定の情報をそれぞれ出力する順序に基づいて、前記目標オブジェクトを確定するステップと、を含む。
第１オブジェクトを案内して所定の情報を出力するようにして、所定の姿勢特徴を満たすオブジェクトの中から、協力する意欲が高い目標オブジェクトを選択することができて、インタラクティブ効率とサービス体験を改善することができる。
１例において、前記検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップは、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択するステップと、前記第１オブジェクトが少なくとも２つある場合、前記少なくとも２つの第１オブジェクトのそれぞれのオブジェクト属性情報に基づいて、前記少なくとも２つの第１オブジェクトのそれぞれのインタラクティブ応答優先レベルを確定し、前記インタラクティブ応答優先レベルに基づいて前記目標オブジェクトを確定するステップと、を含む。
オブジェクト属性情報、オブジェクト姿勢情報、および、適用シーンと結合して、複数の検出されたオブジェクトの中から目標オブジェクトを選択し、異なるインタラクティブ応答優先レベルを設定して目標オブジェクトに対して該当するサービスを提供することによって、適切なオブジェクトを、インタラクティブを実行する目標オブジェクトとして選択することができ、インタラクティブ効率とサービス体験を改善することができる。
１例において、前記方法は、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択した後に、前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して確認情報を出力するようにするステップをさらに含む。
目標オブジェクトに確認情報を出力することによって、オブジェクトが現在インタラクティブ状態にいることを明確にすることができ、インタラクティブ効率を改善した。
１例において、前記方法は、現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されなかったし、かつ、オブジェクトが追跡されなかったことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが空であると確定し、前記表示デバイスがオブジェクト待ち状態になるようにするステップをさらに含む。
１例において、前記方法は、現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されたかまたはオブジェクトが追跡されたことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが最近の１回のインタラクティブを実行したオブジェクトであると確定するステップをされに含む。
インタラクティブオブジェクトとインタラクティブを実行するオブジェクトがない場合、デバイスが現在オブジェクト待ち状態またはオブジェクト離れ状態にあることを確定して、前記インタラクティブオブジェクトを駆動して異なる応答を実行するようにすることによって、前記インタラクティブオブジェクトの展示状態が実際のインタラクティブ要件にいっそう符合されるようにし、狙いがいっそうはっきりである。
１例において、前記表示デバイスは、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する。
透明表示スクリーン上で立体画面を表示し、透明表示スクリーンまたは底板上で倒影を形成することで、立体効果を実現することによって、表示されたインタラクティブオブジェクトがいっそう立体で鮮やかになるようにすることができる。
１例において、前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む。
立体効果を有する仮想人物を利用してオブジェクトとインタラクティブを実行することによって、インタラクティブ過程がいっそう自然になるようにすることができて、オブジェクトのインタラクティブエクスペリエンスを改善することができる。
第２の態様によると、インタラクティブ装置を提供し、前記装置は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するための画像取得ユニットと、前記画像内の関連する１つまたは複数のオブジェクトに対して検出を実行するための検出ユニットと、前記検出ユニットによって前記画像内の関連する少なくとも２つのオブジェクトが検出されたことに応答して、検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するためのオブジェクト選択ユニットと、前記目標オブジェクトに対する検出結果に基づいて、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して応答を実行するようにするための駆動ユニットと、を備える。
１例において、前記特徴情報は、オブジェクト姿勢情報および／またはオブジェクト属性情報を含む。
１例において、前記オブジェクト選択ユニットは、具体的に、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報と所定の姿勢特徴との間の姿勢マッチング程度、または、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト属性情報と所定の属性特徴との間の属性マッチング程度に基づいて、前記少なくとも２つのオブジェクトの中から前記目標オブジェクトを選択する。
１例において、前記オブジェクト選択ユニットは、具体的に、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択し、前記第１オブジェクトが少なくとも２つある場合、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して前記少なくとも２つの第１オブジェクトを案内してそれぞれ所定の情報を出力するようにし、検出された前記第１オブジェクトが前記所定の情報をそれぞれ出力する順序に基づいて、前記目標オブジェクトを確定する。
１例において、前記オブジェクト選択ユニットは、具体的に、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択し、前記第１オブジェクトが少なくとも２つある場合、前記少なくとも２つの第１オブジェクトのそれぞれのオブジェクト属性情報に基づいて、前記少なくとも２つの第１オブジェクトのそれぞれのインタラクティブ応答優先レベルを確定し、前記インタラクティブ応答優先レベルに基づいて前記目標オブジェクトを確定する。
１例において、前記装置は、確認ユニットをさらに備え、前記確認ユニットは、前記オブジェクト選択ユニットが前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択したことに応答して、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して確認情報を出力するようにする。
１例において、前記装置は、待ち状態ユニットをさらに備え、前記待ち状態ユニットは、前記検出ユニットによって、現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されなかったし、かつ、オブジェクトが追跡されなかったことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが空であると確定し、前記表示デバイスがオブジェクト待ち状態になるようにする。
１例において、前記装置は、終了状態ユニットをさらに備え、前記終了状態ユニットは、前記検出ユニットによって、現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されたかまたはオブジェクトが追跡されたことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが最近の１回のインタラクティブを実行したオブジェクトであると確定する。
１例において、前記表示デバイスは、さらに、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、前記表示デバイスは、さらに、底板上に前記インタラクティブオブジェクトの倒影を表示する。
１例において、前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む。
第３の態様によると、インタラクティブデバイスを提供し、前記デバイスは、プロセッサと、プロセッサによって実行できる命令を記憶するためのメモリと、を備え、前記命令が実行されるときに、前記プロセッサが本発明によって提供される任意の実施形態に記載のインタラクティブ方法を実現するようにする。
第４の態様によると、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサが本発明によって提供される任意の実施形態に記載のインタラクティブ方法を実現するようにする。
本発明の少なくとも１つの実施例に係るインタラクティブ方法を示すフローチャートである。 本発明の少なくとも１つの実施例に係る表示インタラクティブオブジェクトを示す模式図である 本発明の少なくとも１つの実施例に係るインタラクティブ装置の構成を示す模式図である。 本発明の少なくとも１つの実施例に係るインタラクティブデバイスの構成を示す模式図である。
ここで例示的な実施例を詳細に説明し、その例を図面に示す。以下の説明が図面を言及している場合、特に明記しない限り、異なる図面における同一の数字は、同一または類似な要素を示す。以下の例示的な実施例で叙述される実施形態は、本発明と一致するすべての実施形態を代表しない。逆に、それらは、添付された特許請求の範囲に記載された、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
本明細書中の「および／または」という用語は、ただ、１種の関連オブジェクトの関連関係を叙述し、例えば、Ａおよび／またはＢは、Ａが単独的に存在すること、ＡとＢが同時に存在すること、および、Ｂが単独的に存在することのような、３種の関係が存在することができることを意味する。また、本明細書中の「少なくとも１種」という用語は、複数種の中の任意の１種、または、複数種の中の少なくとも２種の任意の組み合わせを意味し、例えば、Ａ、Ｂ、Ｃの中の少なくとも１種を含むことは、Ａ、Ｂ、および、Ｃから構成されたセットの中から選択した任意１つまたは複数の要素を意味する。
図１は、本発明の少なくとも１つの実施例に係るインタラクティブ方法を示すフローチャートであり、図１に示すように、前記方法は、ステップ１０１～ステップ１０４を含む。
ステップ１０１において、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得する。
前記表示デバイスの周辺は、前記表示デバイスの所定の範囲内の任意の方向を含み、例えば、前記表示デバイスの前方、側方、後方、上方中の１つまたは複数の方向を含んでもよい。
画像を収集するためのカメラは、表示デバイス上に配置されてもよいし、表示デバイスから独立された外部デバイスであってもよい。また、前記カメラが収集した画像は、表示デバイスの透明表示スクリーン上に表示されることができる。前記カメラの数は、複数であり得る。
選択的に、カメラが収集する画像は、ビデオストリーム中の１つのフレームであってもよいし、リアルタイムに取得された画像であってもよい。
ステップ１０２において、前記画像内の関連する１つまたは複数のユーザに対して検出を実行する。本明細書に記載の画像における１つまたは複数のユーザとは、画像の検出過程で関わる１つまたは複数のオブジェクトを指す。下記の説明において、「オブジェクト」と「ユーザ」は、互換的に使用されることができ、説明の便利のために、「ユーザ」として総称する。
表示デバイスの周辺の画像におけるユーザに対して検出を実行することによって、例えば、前記表示デバイスの周辺にユーザがあるか否か、何人のユーザがあるかのような、検出結果を得ることができ、さらに、例えば、画像識別技術を利用して前記画像から取得した特徴情報、または、前記ユーザの顔および／または人体画像に基づいて表示デバイス側またはクラウド側で検索を実行して得た特徴情報などの、検出されたユーザに関する情報をえることができる。当業者は、前記検出結果は他の情報をさらに含んでもよいことを理解すべきである。
ステップ１０３において、前記画像内の関連する少なくとも２人のユーザが検出されたことに応答して、検出された前記少なくとも２人のユーザの特徴情報に基づいて、前記少なくとも２人のユーザの中から目標ユーザを選択する。
異なる適用シーンに対して、該当する特徴情報に基づいてユーザを選択することができる。
ステップ１０４において、前記目標ユーザに対する検出結果に基づいて、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにする。
異なる目標ユーザに対する検出結果に応答して、前記インタラクティブオブジェクトを駆動して前記異なる目標ユーザに対して該当する応答を実行する。
本発明の実施例において、表示デバイスの周辺の画像に対してユーザ検出を実行し、ユーザの特徴情報に基づいて目標ユーザを選択し、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにすることによって、複数のユーザのシーンで現在シーンに適した目標ユーザを選択してインタラクティブを実行することができ、インタラクティブ効率とサービス体験を改善した。
いくつかの実施例において、前記表示デバイスの透明表示スクリーンに表示されるインタラクティブオブジェクトは、立体効果を有する仮想人物を含む。
立体効果を有する仮想人物を利用してユーザとインタラクティブを実行することによって、インタラクティブ過程がいっそう自然になるようにすることができて、ユーザのインタラクティブエクスペリエンスを向上させた。
当業者は、インタラクティブオブジェクトは、立体効果を有する仮想人物に限られず、仮想動物、仮想物品、漫画キャラクターなどの、インタラクティブ機能を実現できる他の仮想イメージであってもよいことを理解すべきである。
いくつかの実施例において、以下の方法によって透明表示スクリーンに表示されるインタラクティブオブジェクトの立体効果を実現することができる。
人間の目が物体を立体で見るかどうかは、一般的に、物体自体の形状および物体の光と影の効果によって決められる。当該光と影の効果は、例えば、物体の異なる領域でのハイライトとダークライト、および、光の物体に照射された後の地面での投影（すなわち、倒影）である。
上記の原理を利用すると、１例において、透明表示スクリーン上にインタラクティブオブジェクトの立体ビデオまたは画像の画面を表示する同時に、透明表示スクリーン上に当該インタラクティブオブジェクトの倒影をさらに表示することによって、人間の目が立体効果を有するインタラクティブオブジェクトを見ることができるようにする。
もう１例において、前記透明表示スクリーンの下方には、底板が配置されており、また前記透明表示スクリーンは前記底板に対して垂直または傾斜している。透明表示スクリーンにインタラクティブオブジェクトの立体ビデオまたは画像の画面を表示する同時に、前記底板上に前記インタラクティブオブジェクトの倒影を表示することによって、人間の目が立体効果を有するインタラクティブオブジェクトを見ることができるようにする。
いくつかの実施例において、前記表示デバイスは、箱本体をさらに含み、また、前記箱本体の正面は、透明に設計され、例えば、ガラス、プラスチックなどの材料で透明設計を実現する。箱本体の正面から、透明表示スクリーンの画面と透明表示スクリーンまたは底板上の画面の倒影を見ることができ、人間の目が立体効果を有するインタラクティブオブジェクトを見ることができるようにし、図２に示したとおりである。
いくつかの実施例において、箱本体内には、１つまたは複数の光源がさらに配置されており、透明表示スクリーンに対して光を提供する。
本発明の実施例において、透明表示スクリーン上にインタラクティブオブジェクトの立体ビデオまたは画像の画面を表示し、透明表示スクリーンまたは底板上に当該インタラクティブオブジェクトの倒影を形成して立体効果を実現することによって、表示されたインタラクティブオブジェクトがいっそう立体で鮮やかになるようにすることができて、ユーザのインタラクティブエクスペリエンスを向上させた。
いくつかの実施例において、前記特徴情報は、ユーザ姿勢情報および／またはユーザ属性情報を含み、ユーザ姿勢情報および／またはユーザ属性情報に基づいて検出された少なくとも２人のユーザの中から目標ユーザを選択することができる。
ここで、前記ユーザ姿勢情報とは、画像において影像識別を実行して得られた、ユーザの動作、ジェスチャーなどの特徴情報を指す。ユーザ属性情報とは、ユーザ自身に関する特徴情報を指し、前記ユーザの身分（たとえばＶＩＰユーザであるか否か）、サービス記録、現在の場所に到達する時間などを含む。前記属性特徴情報は、表示デバイス側またはクラウド側に記憶されているユーザ履歴記録から得ることができ、前記ユーザ履歴記録は、前記表示デバイス側またはクラウド側において前記ユーザの顔および／または人体の特徴情報にマッチングされる記録を検索することで得ることができる。
いくつかの実施例において、前記少なくとも２人のユーザの中の各々のユーザのユーザ姿勢情報と所定の姿勢特徴との間の姿勢マッチング程度に基づいて、前記少なくとも２人のユーザの中から目標ユーザを選択することができる。
例えば、所定の姿勢特徴が手の挙げ動作であると仮定すると、前記少なくとも２人のユーザのユーザ姿勢情報と手の挙げ動作とに対してマッチングを実行し、前記少なくとも２人のユーザのマッチング結果の中の姿勢マッチング程度がいちばん高いユーザを目標ユーザとして確定することができる。
いくつかの実施例において、前記少なくとも２人のユーザの中の各々のユーザのユーザ属性情報と所定の属性特徴との間の属性マッチング程度に基づいて、前記少なくとも２人のユーザの中から目標ユーザを選択することができる。
例えば、所定の属性特徴がＶＩＰユーザでありかつ女性であると仮定すると、前記少なくとも２人のユーザのユーザ属性情報と前記所定の属性特徴とに対してマッチングを実行し、前記少なくとも２人のユーザのマッチング結果の中の属性マッチング程度がいちばん高いユーザをインタラクティブオブジェクトとして確定することができる。
本発明の実施例において、各ユーザのユーザ姿勢情報、ユーザ属性情報などの特徴情報に基づいて検出された少なくとも２人のユーザの中から目標ユーザを選択することによって、現在の適用シーンに適したユーザを、インタラクティブを実行する目標ユーザとして選択することができ、インタラクティブ効率とサービス体験を改善することができる。
いくつかの実施例において、以下の方式によって前記少なくとも２人のユーザの中から目標ユーザを選択することができる。
まず、前記少なくとも２人のユーザのユーザ姿勢情報に基づいて、所定の姿勢特徴を満たす第１ユーザを選択する。ここで、所定の姿勢特徴に符合することとは、ユーザ姿勢情報と前記所定の姿勢特徴との間の姿勢マッチング程度が８０％などの所定の値よりも大きいことを指す。
例を挙げて説明すると、所定の姿勢特徴が手の挙げ動作であると仮定すると、まず、画像において、ユーザ姿勢情報と手の挙げ動作との姿勢マッチング程度が８０％（当該ユーザが手の挙げ動作を実行したとして見なす）よりも高い第１ユーザを選択し、すなわち、手の挙げ動作を実行したすべてのユーザを選択する。
第１ユーザが少なくとも２人いる場合、さらに以下の方法によって目標ユーザを確定することができ、すなわち、前記インタラクティブオブジェクトを駆動して前記少なくとも２人の第１ユーザを案内してそれぞれ所定の情報を出力するようにし、検出された前記第１ユーザが前記所定の情報をそれぞれ出力する順序に基づいて、前記目標ユーザを確定する。
１例において、第１ユーザによって出力される所定の情報は、動作、表情、音声中の１項または複数項であり得る。例えば、少なくとも２人の第１ユーザを案内してジャンプ動作を実行するようにし、最と早くジャンプ動作を実行する第１ユーザを目標ユーザとして確定する。
本発明の実施例において、第１ユーザを案内して所定の情報を出力するようにして、所定の姿勢特徴を満たすユーザの中から、協力する意欲が高い目標ユーザを選択することによって、インタラクティブ効率とサービス体験を改善することができる。
第１ユーザが少なくとも２人いる場合、さらに、以下の方法によって目標ユーザを確定することができる。
前記第１ユーザが少なくとも２人いる場合、前記少なくとも２人の第１ユーザそれぞれのユーザ属性情報に基づいて、前記少なくとも２人の第１ユーザそれぞれのインタラクティブ応答優先レベルを確定し、前記インタラクティブ応答優先レベルに基づいて前記目標ユーザを確定する。
例えば、手の挙げ動作を実行した第１ユーザが１人を超えると、これら手を挙げた第１ユーザの中から、各第１ユーザのユーザ属性情報に基づいてインタラクティブ応答優先レベルを確定し、優先レベルがいちばん高い第１ユーザを目標ユーザとして確定する。ここで、選択する依拠となるユーザ属性情報は、ユーザの現在のニーズと実際のシーンをと結合して総合的に判断することができる。例えば、列に並んでチケットを購入するシーンでは、現在の場所に到達する時間を依拠するユーザ属性情報として、インタラクティブ優先レベルを確定することができる。最も早く到達するユーザがいちばん高いインタラクティブ応答優先レベルを有し、当該ユーザを目標ユーザとして確定することができる。他のサービス場所では、他のユーザ属性情報に基づいて目標ユーザを確定することができ、例えば、ユーザの当該場所におけるポイントに基づいてインタラクティブ優先レベルを確定することができ、ポイントがいちばん高いユーザがいちばん高いインタラクティブ応答優先レベルを有するようにする。
１例において、前記少なくとも２人の第１ユーザのインタラクティブ応答優先レベルを確定した後、さらに、各ユーザを案内して所定の情報を出力するようにすることができる。たとえば、所定の情報を出力する第１ユーザの数が依然として１人よりも多いと、ここでのインタラクティブ応答優先レベルがいちばん高いユーザを目標ユーザとして確定することができる。
本発明の実施例において、ユーザ属性情報、ユーザ姿勢情報、および、適用シーンと結合して、検出された複数のユーザの中から目標ユーザを選択し、異なるインタラクティブ応答優先レベルを設定することによって目標ユーザに対して該当するサービスを提供することによって、適切なユーザを、インタラクティブを実行する目標ユーザとして選択することができ、インタラクティブ効率とサービス体験を改善した。
特定のユーザを、インタラクティブを実行する目標ユーザとして確定した後、当該ユーザに対して確認情報を出力することによって、当該ユーザが選択されたことを通知することができる。例えば、前記インタラクティブオブジェクトを駆動して手で当該ユーザを指すようにするか、または、前記インタラクティブオブジェクトを駆動してカメラプレビュー画面で選択された当該ユーザを強調表示するか、または、他の方式によって確認情報を出力することができる。
本発明の実施例において、目標ユーザに確認情報を出力することによって、ユーザが現在インタラクティブ状態にいることを明確にすることができ、インタラクティブ効率を改善した。
特定のユーザがインタラクティブを実行する目標ユーザとして選択された後に、前記インタラクティブオブジェクトは、当該目標ユーザがカメラの撮影範囲から離れるまで、当該目標ユーザの命令にのみ応答するか、または、当該目標ユーザの命令に優先的に応答する。
デバイスの周辺の画像においてユーザが検出されなかった場合は、前記表示デバイスの周辺にユーザがないことを表し、すなわち、当該デバイスが現在ユーザとインタラクティブを実行する状態にいないことを表す。このような状態は、現在タイミングの前の所定の時間帯内でずっとデバイスとインタラクティブを実行したユーザがない状態、すなわちユーザ待ち状態を含み、さらに、現在タイミングの前の所定の時間帯内でユーザとインタラクティブを実行した状態、すなわちユーザ離れ状態も含む。この２種の異なる状態に対して、前記インタラクティブオブジェクトを駆動して異なる応答を実行するべきである。例えば、ユーザ待ち状態に対しては、前記インタラクティブオブジェクトを駆動して現在環境と結合してユーザを歓迎する応答を実行することができ、ユーザ離れ状態に対しては、インタラクティブオブジェクトを駆動して最近の１回のインタラクティブを実行したユーザに対して終了サービスの応答を実行することができる。
いくつかの実施例において、現在タイミングで前記画像からユーザが検出されなかったし、かつ、現在タイミングの前の５秒などの所定の時間帯内で前記画像からユーザが検出されなかったし、かつ、ユーザが追跡されなかったことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちユーザが空であるとして確定し、前記表示デバイス上の前記インタラクティブオブジェクトを駆動してユーザ待ち状態になるようにする。
いくつかの実施例において、現在タイミングで前記画像からユーザが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からユーザが検出されたかまたはユーザが追跡されたことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちユーザが最近の１回のインタラクティブを実行したユーザであると確定する。
本発明の実施例において、インタラクティブオブジェクトとインタラクティブを実行するユーザがない場合、デバイスが現在ユーザ待ち状態またはユーザ離れ状態にいることを確定して、前記インタラクティブオブジェクトを駆動して異なる応答を実行するようにすることによって、前記インタラクティブオブジェクトの展示状態がインタラクティブ要件にいっそう符合されるようにすることができ、狙いがいっそうはっきりである。
いくつかの実施例において、前記検出結果は、前記デバイスの現在サービス状態をさらに含んでもよい。前記現在サービス状態は、ユーザ待ち状態とユーザ離れ状態に加えて、ユーザ発見状態などをさらに含んでもよい。当業者は、前記デバイスの現在サービス状態は、他の状態をさらに含んでもよく、上記に限定されないことを理解すべきである。
デバイスの周辺の画像から顔および／または人体が検出された場合には、前記表示デバイスの周辺にユーザが存在することを表し、ユーザが検出されたこの一タイミングの状態をユーザ発見状態として確定することができる。
ユーザ発見状態の場合、検出されたユーザに対して、さらに、前記表示デバイスに記憶されているユーザ履歴操作情報を取得し、および／または、クラウド側に記憶されているユーザ履歴操作情報を取得して、当該ユーザが、常連客であるか否か、または、ＶＩＰ客であるか否かを確定することができる。前記ユーザ履歴操作情報は、前記ユーザの姓名、性別、年齢、サービス記録、備考などをさらに含んでもよい。当該ユーザ履歴操作情報は、前記ユーザが自ら入力した情報を含んでもよいし、前記表示デバイスおよび／またはクラウド側で記録した情報を含んでもよい。ユーザ履歴操作情報を取得することによって、前記インタラクティブオブジェクトを駆動して狙いをつけて前記ユーザに対して応答を実行するようにすることができる。
１例において、検出されたユーザの顔および／または人体の特徴情報に基づいて前記ユーザとマッチングされるユーザ履歴操作情報を検索することができる。
表示デバイスがユーザ発見状態にいる場合、前記表示デバイスの現在サービス状態、および、前記画像から取得したユーザ属性情報に基づいて、取得したユーザ履歴操作情報を検索することによって、前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができる。１人のユーザが始めて検出された場合、前記ユーザ履歴操作情報が空であり、前記現在サービス状態、前記ユーザ属性情報、および、前記環境情報に基づいて前記インタラクティブオブジェクトを駆動する。
表示デバイスの周辺の画像から１人のユーザが検出された場合、まず、画像を利用して当該ユーザに対して顔および／または人体の識別を実行して、前記ユーザに関するユーザ属性情報を得、たとえば当該ユーザが女性であり、年齢が２０才～３０才である。この後、当該ユーザの顔および／または人体の特徴情報に基づいて、表示デバイスおよび／またはクラウド側で検索を実行して、前記特徴情報にマッチングされるユーザ履歴操作情報を検索することができ、例えば、当該ユーザの姓名、サービス記録などを検索する。その後に、ユーザ発見状態において、前記インタラクティブオブジェクトを駆動して当該女性のユーザに対して狙いがはっきりした歓迎の動作を実行し、また当該女性ユーザに対して提供するサービスを展示する。ユーザ履歴操作情報に含まれた当該ユーザが以前に使用したことがあるサービス項目に基づいて、提供するサービスの順序を調整することによって、ユーザが興味のあるサービス項目をいっそう速く発見するようにすることができる。
デバイスの周辺の画像から少なくとも２人のユーザが検出された場合、まず、前記少なくとも２人のユーザの特徴情報を得ることができる。当該特徴情報は、ユーザ姿勢情報、ユーザ属性情報の中の少なくとも１項を含んでもよく、また、前記特徴情報ユーザは、履歴操作情報に対応され、ここで、前記ユーザ姿勢情報は、前記画像における前記ユーザの動作に対して識別を実行することで得ることができる。
続いて、得られた前記少なくとも２人のユーザの特徴情報に基づいて前記少なくとも２人のユーザの中の目標ユーザを確定する。実際のシーンと結合して各ユーザの特徴情報を総合的に評価することによって、インタラクティブ待ちの目標ユーザを確定することができる。
目標ユーザを確定した後には、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにすることができる。
いくつかの実施例において、ユーザ発見状態において、前記インタラクティブオブジェクトを駆動して応答を実行するようにした後に、表示デバイスの周辺の画像において検出されたユーザを追跡することによって、例えば、前記ユーザの顔の表情および／または前記ユーザの動作などを追跡することができ、また前記ユーザに自発的なインタラクティブの表情および／または動作があるか否かを判断することによって、前記表示デバイスがサービスアクティベーション状態になるようにする必要があるか否かを判断することができる。
１例において、前記ユーザを追跡する過程で、指定されたトリガー情報を設定し、例えば、ブリンク、うなずき、手の振り、手の挙げ、平手打ちなどの、一般的な人と人の間の挨拶の表情および／または動作を設定することができる。以下と区別するために、ここで設定した指定されたトリガー情報を第１トリガー情報と呼ぶことができる。前記ユーザが出力した前記第１トリガー情報が検出された場合、前記表示デバイスがサービスアクティベーション状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにし、例えば、言語を利用して展示してもよいし、スクリーン上に表示された文字情報を利用して展示してもよい。
現在一般的な体性感覚のインタラクティブは、ユーザによってまず手を一定の時間挙げていることでサービスをアクティベーションさせる必要があり、サービスを選択した後には手部の位置を動かずに数秒維持してこそアクティベーションを完成させることができる。本発明の実施例によって提供されるインタラクティブ方法によると、ユーザがまず手を一定の時間挙げていることでサービスをアクティベーションする必要がなく、さらに、手部の位置を動かずに維持して選択を完成させる必要もない。ユーザの指定されたトリガー情報を自動的に判断することによって、サービスを自動的にアクティベーションすることができて、デバイスがサービスアクティベーション状態にいるようにして、ユーザが手の挙げて一定の時間待つことを回避して、ユーザ体験を改善した。
いくつかの実施例において、サービスアクティベーション状態において、指定されたトリガー情報を設定し、例えば、特定のジェスチャー動作および／または特定の音声命令などを設定することができる。上記と区別するために、ここで設定した指定されたトリガー情報称を第２トリガー情報と呼ぶことができる。前記ユーザが出力した前記第２トリガー情報が検出された場合、前記表示デバイスがサービス中状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第２トリガー情報とマッチングされるサービスを展示するようにすることができる。
１例において、ユーザが出力した第２トリガー情報に基づいて該当するサービスを実行する。例えば、ユーザのために提供するサービスは、第１サービスオプション、第２サービスオプション、第３サービスオプションなどであり得、また、第１サービスオプションのために該当する第２トリガー情報を設定することができる。例えば、「一」の音声を第１サービスオプションに対応する第２トリガー情報として設定し、「二」の音声を第２サービスオプションに対応する第２トリガー情報として設定し、…。前記ユーザがその中の１つの音声が出力したことが検出されると、前記表示デバイスが第２トリガー情報に対応するサービスオプションになり、前記インタラクティブオブジェクトを駆動して当該サービスオプションに対して設定した内容に基づいてサービスを提供するようにする。
本発明の実施例において、前記表示デバイスがユーザ発見状態になった後に、２種の粒度の識別方式を提供する。第１粒度（粗い粒度）の識別方式は、ユーザが出力した第１トリガー情報が検出された場合、デバイスがサービスアクティベーション状態になるようにして、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにし、第２粒度（細い粒度）の識別方式は、ユーザが出力した第２トリガー情報が検出された場合、デバイスがサービス中状態になるようにして、前記インタラクティブオブジェクトを駆動して該当するサービスを提供するようにする。上記の２種の粒度の識別方式によって、ユーザとインタラクティブオブジェクトとのインタラクティブがいっそうスムーズでいっそう自然になるようにすることができる。
本発明の実施例によって提供されるインタラクティブ方法によると、ユーザが、ボタンクリック、タッチ、または、音声入力を実行する必要なしに、表示デバイスの周辺に立っているだけで、表示デバイスに表示されているインタラクティブオブジェクトによって、狙いをつけて歓迎の動作を実行し、ユーザの要件または興味に従ってサービス項目を展示することができ、ユーザの使用エクスペリエンスを改善した。
いくつかの実施例において、前記表示デバイスの環境情報を取得し、前記検出結果および前記環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができる。
前記表示デバイスの環境情報は、前記表示デバイスの地理位置および／または前記表示デバイスの適用シーンに基づいて取得することができる。前記環境情報は、例えば、前記表示デバイスの地理位置、インターネットプロトコル（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、ＩＰ）アドレスであり得、さらに、前記表示デバイスが位置する領域の天気、日付などであり得る。当業者は、上記の環境情報は、例に過ぎず、他の環境情報をさらに含んでもよいことを理解すべきである。
例を挙げて説明すると、表示デバイスがユーザ待ち状態とユーザ離れ状態にいる場合、前記表示デバイスの現在サービス状態および環境情報に基づいて、前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができる。例えば、前記表示デバイスがユーザ待ち状態にいる場合、環境情報は、時間、場所、および、天気情況を含むことができる。表示デバイスに表示されたインタラクティブオブジェクトを駆動して歓迎の動作とジェスチャーを行うようにするか、または、いくつかのおもしろい動作を行うようにすることができ、また「現在は、Ｘ年Ｘ月Ｘ日ＸＸ時であり、天気は、ＸＸであり、ＸＸ市のＸＸショッピングモールにようこそ、ご奉仕させていただきます」という音声を出力することができる。一般的な歓迎の動作、ジェスチャー、および、音声に加えて、さらに、現在時間、場所、および、天気情況を追加することで、いっそう多いニュースを提供しただけでなく、さらに、インタラクティブオブジェクトの応答がインタラクティブ要件にいっそう符合されるようにすることができ、狙いがいっそうはっきりである。
表示デバイスの周辺の画像に対してユーザ検出を実行し、検出結果および前記表示デバイスの環境情報に基づいて、前記表示デバイスに表示されているインタラクティブオブジェクトを駆動して応答を実行するようにすることによって、インタラクティブオブジェクトの応答がインタラクティブ要件にいっそう符合されるようにすることができ、ユーザとインタラクティブオブジェクトとの間のインタラクティブがいっそうリアルで鮮やかになるようにすることができ、ユーザ体験を改善した。
いくつかの実施例において、前記検出結果および前記環境情報に基づいて、マッチングされる所定の応答ラベルを得、その後、前記応答ラベルに基づいて前記インタラクティブオブジェクトを駆動して該当する応答を行うようにすることができる。本発明は、これに対して限定しない。
前記応答ラベルは、前記インタラクティブオブジェクトの動作、表情、ジェスチャー、言語の中の１項または複数項の駆動テキストに対応することができる。異なる検出結果および環境情報に基づいて、確定した応答ラベルに基づいて該当する駆動テキストを得ることによって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることができる。
例えば、現在サービス状態がユーザ待ち状態であり、また環境情報が表す場所が上海であると、対応する応答ラベルは、動作は歓迎の動作であり、音声は「上海にようこそ」であり得る。
また、たとえば、現在サービス状態がユーザ発見状態であり、環境情報が表す時間が午前であり、ユーザ属性情報が女性を表し、またユーザ履歴記録が表す姓が張であると、対応する応答ラベルは、動作は歓迎の動作であり、音声は、「張女史、おはようございます！ようこそ、ご奉仕させていただきます」であり得る。
異なる検出結果および異なる環境情報の組み合わせに対して、該当する応答ラベルを設定し、前記応答ラベルに基づいてインタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることによって、インタラクティブオブジェクトを駆動してデバイスの異なる状態および異なるシーンに基づいて異なる応答を実行するようにすることができ、前記インタラクティブオブジェクトの応答がいっそう多様化になるようにした。
いくつかの実施例において、前記応答ラベルを予めトレーニングしたニューラルネットワークに入力し、前記応答ラベルに対応する駆動テキストを出力することによって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることができる。
ここで、前記ニューラルネットワークは、サンプル応答ラベルセットを利用してトレーニングを実行することができ、ここで、前記サンプル応答ラベルには、対応する駆動テキストがラベリングされている。前記ニューラルネットワークは、トレーニングを通じた後、出力する応答ラベルに対して、該当する駆動テキストを出力することができ、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることができる。表示デバイス側またはクラウド側で直接対応する駆動テキストを検索することと比較すると、予めトレーニングしたニューラルネットワークを使用して、駆動テキストを予め設定したことがない応答ラベルに対しても、駆動テキストを生成して、前記インタラクティブオブジェクトを駆動して適当の応答を実行するようにすることができる。
いくつかの実施例において、頻度が高くかつ重要なシーンに対しては、手動で設定する方式で最適化を実行することもできる。すなわち、出現頻度より高い検出結果と環境情報の組み合わせに対しては、対応する応答ラベルに対して駆動テキストを手動で設定することができる。当該シーンが出現されると、該当する駆動テキストを自動的に呼び出して前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができ、インタラクティブオブジェクトの動作と表情がいっそう自然になるようにする。
１実施例において、前記表示デバイスがユーザ発見状態にいることに応答して、前記ユーザの前記画像における位置に基づいて、前記ユーザの前記透明表示スクリーンで展示している前記インタラクティブオブジェクトに対する位置情報を得、前記インタラクティブオブジェクトが前記ユーザを向くように、前記位置情報に基づいて前記インタラクティブオブジェクトの向きを調整する。
いくつかの実施例において、前記インタラクティブオブジェクトの画像は、仮想カメラによって収集されたものである。仮想カメラは、３Ｄソフトウェア、および、画像を収集するための仮想ソフトウェアカメラに適用され、インタラクティブオブジェクトは、前記仮想カメラによって収集された３Ｄ画像をスクリーン上に表示されたものである。したがって、ユーザの視角は、３Ｄソフトウェア中の仮想カメラの視角として理解することができ、これにより、インタラクティブオブジェクトがユーザとアイコンタクトを実現できないという問題が発生する。
上記の問題を解決するために、本発明の少なくとも１つの実施例において、インタラクティブオブジェクトの体の向きを調整する同時に、前記インタラクティブオブジェクトの視線も前記仮想カメラと位置合わせて維持するようにする。インタラクティブオブジェクトがインタラクティブ過程でユーザを向いており、また視線も仮想カメラと位置合わせて維持しているため、インタラクティブオブジェクトが自分を見ているように、ユーザに見せることができ、ユーザのインタラクティブオブジェクトとのインタラクティブの快適性を向上させることができる。
図３は、本発明の少なくとも１つの実施例に係るインタラクティブ装置の構成を示す模式図であり、図３に示すように、当該装置は、画像取得ユニット３０１と、検出ユニット３０２と、ユーザ選択ユニット３０３と、駆動ユニット３０４と、備えてもよい。
ここで、画像取得ユニット３０１は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得し、検出ユニット３０２は、前記画像内の関連する１つまたは複数のユーザに対して検出を実行し、ユーザ選択ユニット３０３は、前記検出ユニット３０２によって前記画像内の関連する少なくとも２人のユーザが検出されたことに応答して、検出された前記少なくとも２人のユーザの特徴情報に基づいて、前記少なくとも２人のユーザの中から目標ユーザを選択し、駆動ユニット３０４は、前記目標ユーザに対する検出結果に基づいて、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにする。本明細書に記載の画像における１つまたは複数のユーザとは、画像の検出過程で関わる１つまたは複数のオブジェクトを指す。下記の説明において、「オブジェクト」と「ユーザ」は、互換的に使用されることができ、説明の便利のために、「ユーザ」として総称する。
いくつかの実施例において、前記特徴情報は、ユーザ姿勢情報および／またはユーザ属性情報を含む。
いくつかの実施例において、前記ユーザ選択ユニット３０３は、具体的に、前記少なくとも２人のユーザの中の各々のユーザのユーザ姿勢情報と所定の姿勢特徴との間の姿勢マッチング程度、または、前記少なくとも２人のユーザの中の各々のユーザのユーザ属性情報と所定の属性特徴との間の属性マッチング程度に基づいて、前記少なくとも２人のユーザの中から目標ユーザを選択する。
いくつかの実施例において、前記ユーザ選択ユニット３０３は、具体的に、前記少なくとも２人のユーザの中の各々のユーザのユーザ姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１ユーザを選択し、前記第１ユーザが少なくとも２人いる場合、前記駆動ユニット３０４が前記インタラクティブオブジェクトを駆動して前記少なくとも２人の第１ユーザを案内してそれぞれ所定の情報を出力するようにし、検出された前記第１ユーザが前記所定の情報をそれぞれ出力する順序に基づいて、前記目標ユーザを確定する。
いくつかの実施例において、前記ユーザ選択ユニット３０３は、具体的に、前記少なくとも２人のユーザの中の各々のユーザのユーザ姿勢情報に基づいて、前記所定の姿勢特徴を満たす１つまたは複数の第１ユーザを選択し、前記第１ユーザが少なくとも２人いる場合、前記少なくとも２人の第１ユーザそれぞれのユーザ属性情報に基づいて、前記少なくとも２人の第１ユーザそれぞれのインタラクティブ応答優先レベルを確定し、前記インタラクティブ応答優先レベルに基づいて前記目標ユーザを確定する。
いくつかの実施例において、前記装置は、確認ユニットをさらに備え、前記確認ユニットは、前記ユーザ選択ユニット３０３が前記少なくとも２人のユーザの中から目標ユーザを選択したことに応答して、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して対前記目標ユーザ確認情報を出力するようにする。
いくつかの実施例において、前記装置は、待ち状態ユニットをさらに備え、前記待ち状態ユニットは、前記検出ユニット３０２によって、現在タイミングで前記画像からユーザが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からユーザが検出されなかったし、かつ、ユーザが追跡されなかったことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちユーザが空であるとして確定し、前記表示デバイスがユーザ待ち状態になるようにする。
いくつかの実施例において、前記装置は、終了状態ユニットをさらに備え、前記終了状態ユニットは、前記検出ユニット３０２によって、現在タイミングで前記画像からユーザが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からユーザが検出されたかまたはユーザが追跡されたことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちユーザが最近の１回のインタラクティブを実行したユーザであると確定する。
いくつかの実施例において、前記表示デバイスは、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する。
いくつかの実施例において、前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む。
本発明の少なくとも１つの実施例は、インタラクティブデバイスをさらに提供し、図４に示すように、前記デバイスは、メモリ４０１とプロセッサ４０２とを備える。メモリ４０１は、プロセッサによって実行できる命令を記憶し、前記命令が実行されるときに、プロセッサ４０２が本発明の任意の１実施例に記載のインタラクティブ方法を実現するようにする。
本発明の少なくとも１つの実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサが本発明の任意の１実施例に記載のインタラクティブ方法を実現するようにする。
当業者は、本発明の１つまたは複数の実施例は、方法、システム、または、コンピュータプログラム製品として提供することができることを了解すべきである。したがって、本発明の１つまたは複数の実施例は、完全なハードウェアの実施例、完全なソフトウェアの実施例、または、ソフトウェアとハードウェアを組み合わせる実施例の形式を使用することができる。また、本発明の１つまたは複数の実施例は、コンピュータ利用可能なプログラムコードを含む１つまたは複数のコンピュータ利用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形式を使用することができる。
本発明における各実施例は、いずれも、漸進的な方式を使用して叙述され、各実施例同士の間の同一または類似な部分は互いに参照することができ、各々の実施例では他の実施例との異なるところに焦点を合わせて説明した。特に、データ処理デバイスの実施例の場合、基本的に方法の実施例と類似であるため、相対的に簡単に叙述したが、関連するところは方法の実施例の部分の説明を参照すればよい。
上記で本発明の特定の実施例を叙述した。他の実施例は、添付する「特許請求の範囲」の範囲内にいる。いくつかの場合、特許請求の範囲に記載の行為またはステップは、実施例と異なる順序に従って実行されることができ、このときにも依然として期待する結果が実現されることができる。また、図面で描かれた過程は、期待する結果するために、必ずとしても、示された特定の順序または連続的な順序を必要としない。いくつかの実施形態において、マルチタスク処理および並列処理も可能であるか、または、有利であり得る。
本発明における主題および機能操作の実施例は、デジタル電子回路、有形コンピュータソフトウェアまたはファームウェア、本発明に開示される構成およびその構造的同等物を含むコンピュータハードウェア、または、それらの１つまたは複数の組み合わせで、実現されることができる。本発明における主題の実施例は、１つまたは複数のコンピュータプログラムとして実現されることができ、すなわち、有形の非一時的プログラムキャリア上に符号化されて、データ処理装置によって実行されるか、または、データ処理装置の操作を制御するための、コンピュータプログラム命令中の１つまたは複数のモジュールとして実現されることができる。代替的または追加的に、プログラム命令は、手動で生成する伝播信号上に符号化されることができ、例えば、機械が生成する電気信号、光信号、または、電磁信号に符号化されることができる。当該信号は、情報を符号化して適切な受信機装置に伝送して、データ処理装置によって実行されるようにするために、生成される。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムにまたはシリアルアクセスメモリデバイス、または、それらの１つまたは複数の組み合わせであり得る。
本発明における処理と論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なコンピュータによって実行されることができ、入力データに基づいて操作を実行して出力を生成することによって該当する機能を実行する。前記処理と論理フローは、さらに、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（専用集積回路）などの専用論理回路によって実行されることができ、また、装置も専用論理回路として実現されることができる。
コンピュータプログラムの実行に適したコンピュータは、例えば、汎用、および／または、専用マイクロプロセッサ、または、いかなる他の種類の中央処理ユニットを含む。一般的に、中央処理ユニットは、読み取り専用メモリ、および／または、ランダムアクセスメモリから、命令とデータを受信することになる。コンピュータの基本コンポーネントは、命令を実施または実行するための中央処理ユニット、および、命令とデータを記憶するための１つまたは複数のメモリデバイスを含む。一般的に、コンピュータは、磁気ディスク、磁気光学ディスク、または、光ディスクなどの、データを記憶するための１つまたは複数の大容量記憶デバイスをさらに含むか、または、操作可能に当該大容量記憶デバイスと結合されてデータを受信するかまたはデータを伝送するか、または、その両方を兼有する。しかしながら、コンピュータは、必ずとして、このようなデバイスを有するわけではない。なお、コンピュータは、もう１デバイスに埋め込まれることができ、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオまたはビデオおプレーヤー、ゲームコンソール、グローバルポジショニングシステム（ＧＰＳ）レジーバー、または、汎用シリアルバス（ＵＳＢ）フラッシュドライブなどのポータブル記憶デバイスに埋め込まれることができ、これらデバイスはいくつかの例に過ぎない。
コンピュータプログラム命令とデータの記憶に適したコンピュータ可読媒体は、すべての形式の不揮発性メモリ、媒介、および、メモリデバイスを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、および、フラッシュデバイス）、磁気ディスク（例えば、内部ハードディスクまたは移動可能ディスク）、磁気光学ディスク、および、ＣＤ ＲＯＭ、および、ＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補完されるかまたは専用論理回路に組み込まれることができる。
本発明は、多くの具体的な実施の細部を含むが、これらを本発明の範囲または保護しようとする範囲を限定するものとして解釈すべきではなく、主に本発明のいくつかの実施例の特徴を叙述するために使用される。本発明の複数の実施例中の特定の特徴は、単一の実施例に組み合わせて実施されることもできる。他方、単一の実施例中の各種の特徴は、複数の実施例で別々に実施されるかまたはいかなる適切なサブ組み合わせで実施されることもできる。なお、特徴が上記のように特定の組み合わせで役割を果たし、また最初からこのように保護すると主張したが、保護すると主張した組み合わせからの１つまたは複数の特徴は、場合によって当該組み合わせから除外されることができ、また保護すると主張した組み合わせはサブ組み合わせるまたはサブ組み合わせの変形に向けることができる。
類似的に、図面で特定の順序に従って操作を描いたが、これはこれら操作を示した特定の順序にしたがって実行するかまたは順次に実行するように要求するか、または、例示したすべての操作が実行されることによって期待する結果が実現されると要求することであると理解すべきではない。場合によっては、マルチタスクおよび並列処理が有利である可能性がある。なお、上記の実施例中の各種のシステムモジュールとコンポーネントの分離は、すべての実施例でいずれもこのように分離されなければならないと理解すべきではないし、また、叙述したプログラムコンポーネントとシステムは、一般的に、一緒に単一のソフトウェア製品に統合されるか、または、複数のソフトウェア製品にパッケージされることができることを理解すべきである。
したがって、主題の特定の実施例がすでに叙述された。他の実施例は、添付する「特許請求の範囲」の範囲内にある。場合によっては、特許請求の範囲に記載されている動作は、異なる順序によって実行されても、依然として期待する結果が実現されることができる。なお、図面で描かれた処理は、期待する結果を実現するために、必ずとして、示めされた特定の順序または順次を必要としない。一部の実現において、マルチタスクおよび並列処理が有利である可能性がある。
上記は、本発明のいくつかの実施例に過ぎず、本発明を限定するために使用されるものではない。本発明の精神と原則の範囲内で行われたいかなる修正、同等の置換、改良などは、いずれも本発明の範囲に含まれるべきである。

Claims (22)

  1. インタラクティブ方法であって、
    カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するステップと、
    前記画像内の関連する１つまたは複数のオブジェクトに対して検出を実行するステップと、
    前記画像内の関連する少なくとも２つのオブジェクトが検出されたことに応答して、検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップと、
    前記目標オブジェクトに対する検出結果に基づいて、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して応答を実行するようにするステップと、を含む
    ことを特徴とするインタラクティブ方法。
  2. 前記特徴情報は、オブジェクト姿勢情報および／またはオブジェクト属性情報を含む
    ことを特徴とする請求項１に記載のインタラクティブ方法。
  3. 前記検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップは、
    前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報と所定の姿勢特徴との間の姿勢マッチング程度、または、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト属性情報と所定の属性特徴との間の属性マッチング程度に基づいて、前記少なくとも２つのオブジェクトの中から前記目標オブジェクトを選択するステップを含む
    ことを特徴とする請求項２に記載のインタラクティブ方法。
  4. 前記検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップは、
    前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択するステップと、
    前記第１オブジェクトが少なくとも２つある場合、前記インタラクティブオブジェクトを駆動して前記少なくとも２つの第１オブジェクトを案内してそれぞれ所定の情報を出力するようにし、検出された前記第１オブジェクトが前記所定の情報をそれぞれ出力する順序に基づいて、前記目標オブジェクトを確定するステップと、を含む
    ことを特徴とする請求項２に記載のインタラクティブ方法。
  5. 前記検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するステップは、
    前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択するステップと、
    前記第１オブジェクトが少なくとも２つある場合、前記少なくとも２つの第１オブジェクトのそれぞれのオブジェクト属性情報に基づいて、前記少なくとも２つの第１オブジェクトのそれぞれのインタラクティブ応答優先レベルを確定し、前記インタラクティブ応答優先レベルに基づいて前記目標オブジェクトを確定するステップと、を含む
    ことを特徴とする請求項２に記載のインタラクティブ方法。
  6. 前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択した後に、前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して確認情報を出力するようにするステップをさらに含む
    ことを特徴とする請求項１乃至５の何れか１項に記載のインタラクティブ方法。
  7. 現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されなかったし、かつ、オブジェクトが追跡されなかったことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが空であると確定し、前記表示デバイスがオブジェクト待ち状態になるようにするステップをさらに含む
    ことを特徴とする請求項１乃至６の何れか１項に記載のインタラクティブ方法。
  8. 現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されたかまたはオブジェクトが追跡されたことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが最近の１回のインタラクティブを実行したオブジェクトであると確定するステップをされに含む
    ことを特徴とする請求項１乃至６の何れか１項に記載のインタラクティブ方法。
  9. 前記表示デバイスは、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する
    ことを特徴とする請求項１乃至８の何れか１項に記載のインタラクティブ方法。
  10. 前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む
    ことを特徴とする請求項１乃至９の何れか１項に記載のインタラクティブ方法。
  11. インタラクティブ装置であって、
    カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するための画像取得ユニットと、
    前記画像内の関連する１つまたは複数のオブジェクトに対して検出を実行するための検出ユニットと、
    前記検出ユニットによって前記画像内の関連する少なくとも２つのオブジェクトが検出されたことに応答して、検出された前記少なくとも２つのオブジェクトの特徴情報に基づいて、前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択するためのオブジェクト選択ユニットと、
    前記目標オブジェクトに対する検出結果に基づいて、前記表示デバイスの透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して応答を実行するようにするための駆動ユニットと、を備える
    ことを特徴とする請求項に記載のインタラクティブ装置。
  12. 前記特徴情報は、オブジェクト姿勢情報および／またはオブジェクト属性情報を含む
    ことを特徴とする請求項１１に記載のインタラクティブ装置。
  13. 前記オブジェクト選択ユニットは、さらに、
    前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報と所定の姿勢特徴との間の姿勢マッチング程度、または、前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト属性情報と所定の属性特徴との間の属性マッチング程度に基づいて、前記少なくとも２つのオブジェクトの中から前記目標オブジェクトを選択する
    ことを特徴とする請求項１２に記載のインタラクティブ装置。
  14. 前記オブジェクト選択ユニットは、さらに、
    前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択し、
    前記第１オブジェクトが少なくとも２つある場合、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して前記少なくとも２つの第１オブジェクトを案内してそれぞれ所定の情報を出力するようにし、検出された前記第１オブジェクトが前記所定の情報をそれぞれ出力する順序に基づいて、前記目標オブジェクトを確定する
    ことを特徴とする請求項１２に記載のインタラクティブ装置。
  15. 前記オブジェクト選択ユニットは、さらに、
    前記少なくとも２つのオブジェクトの中の各々のオブジェクトのオブジェクト姿勢情報に基づいて、所定の姿勢特徴を満たす１つまたは複数の第１オブジェクトを選択し、
    前記第１オブジェクトが少なくとも２つある場合、前記少なくとも２つの第１オブジェクトのそれぞれのオブジェクト属性情報に基づいて、前記少なくとも２つの第１オブジェクトのそれぞれのインタラクティブ応答優先レベルを確定し、前記インタラクティブ応答優先レベルに基づいて前記目標オブジェクトを確定する
    ことを特徴とする請求項１２に記載のインタラクティブ装置。
  16. 確認ユニットをさらに備え、
    前記確認ユニットは、
    前記オブジェクト選択ユニットが前記少なくとも２つのオブジェクトの中から目標オブジェクトを選択したことに応答して、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して確認情報を出力するようにする
    ことを特徴とする請求項１１乃至１５の何れか１項に記載のインタラクティブ装置。
  17. 待ち状態ユニットをさらに備え、
    前記待ち状態ユニットは、
    前記検出ユニットによって、現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されなかったし、かつ、オブジェクトが追跡されなかったことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが空であると確定し、前記表示デバイスがオブジェクト待ち状態になるようにする
    ことを特徴とする請求項１１乃至１６の何れか１項に記載のインタラクティブ装置。
  18. 終了状態ユニットをさらに備え、
    前記終了状態ユニットは、
    前記検出ユニットによって、現在タイミングで前記画像からオブジェクトが検出されなかったし、かつ、現在タイミングの前の所定の時間帯内で前記画像からオブジェクトが検出されたかまたはオブジェクトが追跡されたことに応答して、前記インタラクティブオブジェクトのインタラクティブ待ちオブジェクトが最近の１回のインタラクティブを実行したオブジェクトであると確定する
    ことを特徴とする請求項１１乃至１６の何れか１項に記載のインタラクティブ装置。
  19. 前記表示デバイスは、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する
    ことを特徴とする請求項１１乃至１８の何れか１項に記載のインタラクティブ装置。
  20. 前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む
    ことを特徴とする請求項１１乃至１９の何れか１項に記載のインタラクティブ装置。
  21. インタラクティブデバイスであって、
    プロセッサと、
    前記プロセッサによって実行できる命令を記憶するためのメモリと、備え、
    前記命令が実行されるときに、前記プロセッサが請求項１乃至１０の何れか１項に記載のインタラクティブ方法を実現するようにする
    ことを特徴とするインタラクティブデバイス。
  22. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
    ここで、前記コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサが請求項１乃至１０の何れか１項に記載のインタラクティブ方法を実現するようにする
    ことを特徴とするコンピュータ可読記憶媒体。
JP2021556968A 2019-08-28 2020-07-24 インタラクティブ方法、装置、デバイス、及び記憶媒体 Active JP7224488B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910803899.3A CN110716634A (zh) 2019-08-28 2019-08-28 交互方法、装置、设备以及显示设备
CN201910803899.3 2019-08-28
PCT/CN2020/104466 WO2021036624A1 (zh) 2019-08-28 2020-07-24 交互方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
JP2022526772A true JP2022526772A (ja) 2022-05-26
JP7224488B2 JP7224488B2 (ja) 2023-02-17

Family

ID=69209574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021556968A Active JP7224488B2 (ja) 2019-08-28 2020-07-24 インタラクティブ方法、装置、デバイス、及び記憶媒体

Country Status (6)

Country Link
US (1) US20220179609A1 (ja)
JP (1) JP7224488B2 (ja)
KR (1) KR102707660B1 (ja)
CN (1) CN110716634A (ja)
TW (1) TWI775134B (ja)
WO (1) WO2021036624A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716641B (zh) * 2019-08-28 2021-07-23 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
CN110716634A (zh) * 2019-08-28 2020-01-21 北京市商汤科技开发有限公司 交互方法、装置、设备以及显示设备
CN111443801B (zh) * 2020-03-25 2023-10-13 北京百度网讯科技有限公司 人机交互方法、装置、设备及存储介质
CN111459452B (zh) * 2020-03-31 2023-07-18 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111627097B (zh) * 2020-06-01 2023-12-01 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN111640197A (zh) * 2020-06-09 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效控制方法、装置及设备
CN114466128B (zh) * 2020-11-09 2023-05-12 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005189426A (ja) * 2003-12-25 2005-07-14 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置および情報入出力装置
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
US20140267311A1 (en) * 2010-06-11 2014-09-18 Microsoft Corporation Interacting with user interface via avatar
JP2015036915A (ja) * 2013-08-14 2015-02-23 富士通株式会社 インタラクション装置、インタラクションプログラムおよびインタラクション方法
WO2017086108A1 (ja) * 2015-11-16 2017-05-26 大日本印刷株式会社 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
KR101370897B1 (ko) * 2007-03-19 2014-03-11 엘지전자 주식회사 이미지 제어 방법 및 그를 위한 단말기
EP2919094A1 (en) * 2014-03-10 2015-09-16 BAE Systems PLC Interactive information display
TW201614423A (en) * 2014-10-03 2016-04-16 Univ Southern Taiwan Sci & Tec Operation system for somatosensory device
CN104978029B (zh) * 2015-06-30 2018-11-23 北京嘿哈科技有限公司 一种屏幕操控方法及装置
KR20170029320A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106056989B (zh) * 2016-06-23 2018-10-16 广东小天才科技有限公司 一种语言学习方法及装置、终端设备
CN106203364B (zh) * 2016-07-14 2019-05-24 广州帕克西软件开发有限公司 一种3d眼镜互动试戴系统及方法
CN106325517A (zh) * 2016-08-29 2017-01-11 袁超 一种基于虚拟现实的目标对象触发方法、系统和穿戴设备
JP6768597B2 (ja) * 2017-06-08 2020-10-14 株式会社日立製作所 対話システム、対話システムの制御方法、及び装置
CN107728780B (zh) * 2017-09-18 2021-04-27 北京光年无限科技有限公司 一种基于虚拟机器人的人机交互方法及装置
CN107728782A (zh) * 2017-09-21 2018-02-23 广州数娱信息科技有限公司 交互方法及交互系统、服务器
CN108153425A (zh) * 2018-01-25 2018-06-12 余方 一种基于全息投影的互动娱乐系统和方法
WO2019148491A1 (zh) * 2018-02-05 2019-08-08 深圳前海达闼云端智能科技有限公司 人机交互方法、装置、机器人及计算机可读存储介质
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
CN108470205A (zh) * 2018-02-11 2018-08-31 北京光年无限科技有限公司 基于虚拟人的头部交互方法及系统
CN108415561A (zh) * 2018-02-11 2018-08-17 北京光年无限科技有限公司 基于虚拟人的手势交互方法及系统
CN108363492B (zh) * 2018-03-09 2021-06-25 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN108682202A (zh) * 2018-04-27 2018-10-19 伍伟权 一种文科用全息投影教学设备
CN109522790A (zh) * 2018-10-08 2019-03-26 百度在线网络技术（北京）有限公司 人体属性识别方法、装置、存储介质及电子设备
CN109739350A (zh) * 2018-12-24 2019-05-10 武汉西山艺创文化有限公司 基于透明液晶显示屏的ai智能助理设备及其交互方法
CN110119197A (zh) * 2019-01-08 2019-08-13 佛山市磁眼科技有限公司 一种全息互动系统
CN110288682B (zh) * 2019-06-28 2023-09-26 北京百度网讯科技有限公司 用于控制三维虚拟人像口型变化的方法和装置
CN110716634A (zh) * 2019-08-28 2020-01-21 北京市商汤科技开发有限公司 交互方法、装置、设备以及显示设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005189426A (ja) * 2003-12-25 2005-07-14 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置および情報入出力装置
JP2011513847A (ja) * 2008-02-27 2011-04-28 ジェスチャー テック，インコーポレイテッド 認識されたジェスチャーを用いた高機能化入力
US20140267311A1 (en) * 2010-06-11 2014-09-18 Microsoft Corporation Interacting with user interface via avatar
JP2015036915A (ja) * 2013-08-14 2015-02-23 富士通株式会社 インタラクション装置、インタラクションプログラムおよびインタラクション方法
WO2017086108A1 (ja) * 2015-11-16 2017-05-26 大日本印刷株式会社 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム

Also Published As

Publication number Publication date
WO2021036624A1 (zh) 2021-03-04
KR102707660B1 (ko) 2024-09-19
TW202109246A (zh) 2021-03-01
CN110716634A (zh) 2020-01-21
US20220179609A1 (en) 2022-06-09
JP7224488B2 (ja) 2023-02-17
KR20210131415A (ko) 2021-11-02
TWI775134B (zh) 2022-08-21

Similar Documents

Publication Publication Date Title
JP2022526772A (ja) インタラクティブ方法、装置、デバイス、及び記憶媒体
US9836889B2 (en) Executable virtual objects associated with real objects
JP2022526511A (ja) インタラクティブ方法、装置、デバイス、及び記憶媒体
US9412201B2 (en) Mixed reality filtering
US9977492B2 (en) Mixed reality presentation
CN102999160B (zh) 混合现实显示器中用户控制的现实对象的消失
US9429912B2 (en) Mixed reality holographic object development
WO2022022036A1 (zh) 一种展示方法、装置、设备、存储介质及计算机程序
EP2887322B1 (en) Mixed reality holographic object development
US20130342568A1 (en) Low light scene augmentation
US20140173504A1 (en) Scrollable user interface control
US11062140B2 (en) Display method, electronic device and storage medium having the same
CN112333498A (zh) 一种展示控制方法、装置、计算机设备及存储介质
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
US11321927B1 (en) Temporal segmentation
CN114063785A (zh) 信息输出方法、头戴式显示设备及可读存储介质
CN111915737A (zh) 一种基于增强现实的人与物交互系统
Ahad et al. Action Datasets

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230207

R150 Certificate of patent or registration of utility model

Ref document number: 7224488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150