JP2020067999A - ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置 - Google Patents

ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置 Download PDF

Info

Publication number
JP2020067999A
JP2020067999A JP2018226573A JP2018226573A JP2020067999A JP 2020067999 A JP2020067999 A JP 2020067999A JP 2018226573 A JP2018226573 A JP 2018226573A JP 2018226573 A JP2018226573 A JP 2018226573A JP 2020067999 A JP2020067999 A JP 2020067999A
Authority
JP
Japan
Prior art keywords
hand
gesture
open
user interface
tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018226573A
Other languages
English (en)
Inventor
永明 周
yong ming Zhou
永明 周
峰森 朱
feng sen Zhu
峰森 朱
▲彦▼宏 林
yan hong Lin
▲彦▼宏 林
士豪 柯
Shi Hao Ke
士豪 柯
瑞傑 陳
Rui Jie Chen
瑞傑 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XRspace Co Ltd
Original Assignee
XRspace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XRspace Co Ltd filed Critical XRspace Co Ltd
Publication of JP2020067999A publication Critical patent/JP2020067999A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および装置を提供する。【解決手段】複数の画像において二つの手を検出し、それぞれの手のジェスチャーを認識し、一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、オープン・ジェスチャーの手の上に仮想ユーザー・インターフェースを投影し、ポイント・ジェスチャーの手の人差し指の先端を追跡し、ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則内でオープン・ジェスチャーの手に近いかどうかを判定し、ポイント・ジェスチャーの手の人差し指の先端がオープン・ジェスチャーの手に近いとき、ポイント・ジェスチャーの手の人差し指の先端の動きをクリック・コマンドとして解釈し、仮想ユーザー・インターフェース・オブジェクトのキャラクター・オブジェクトをもつ画像データを生成する。【選択図】図２

Description

本発明は、ユーザー・インターフェース・ディスプレイの方法および装置に、より詳細にはジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および装置に関する。
たいていの仮想現実感（VR）システムは、ユーザーの動きを、ユーザーが携行するヒューマン・インターフェース装置から追跡できる。ヒューマン・インターフェース装置（たとえばジョイスティック、コントローラー、タッチパッドなど）は、ユーザーが、コンピューティング装置によって実行されるソフトウェア・システム、たとえばVRゲームと対話するために使われる。さらに、ユーザーが装着するヘッドマウントディスプレイ（HMD）が、コンピューティング装置によって生成された対話用画像をVR経験のためにユーザーに対して表示するために使われる。
ユーザーがますます進んでVR没入を経験するよう、新たなユーザー経験を作り出すための仮想ユーザー・インターフェースが提案されている。しかしながら、ジェスチャー認識による仮想キーボード対話のための規格はない。よって、通常の人間用ユーザー・インターフェースはいまだ、リモコンまたはジョイスティックにより実装されている。
よって、対話システムのためのジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および装置を提供することが、本発明の目的である。
本発明は、対話システムのためのジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法を開示する。本方法は、複数の画像において二つの手を検出し、該二つの手が検出されるときにそれぞれの手のジェスチャーを認識し、一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、オープン・ジェスチャーの手の上に仮想ユーザー・インターフェース・オブジェクトを投影し、ポイント・ジェスチャーの手の人差し指の先端およびオープン・ジェスチャーの手の相対位置を得るためにポイント・ジェスチャーの手の人差し指の先端を追跡し、ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則内でオープン・ジェスチャーの手に近いかどうかを判定し、ポイント・ジェスチャーの手の人差し指の先端が前記あらかじめ定義された規則内でオープン・ジェスチャーの手に近いとき、ポイント・ジェスチャーの手の人差し指の先端の動きをクリック・コマンドとして解釈し、該クリック・コマンドに応答して、前記相対位置に基づいて仮想ユーザー・インターフェース・オブジェクトのキャラクター・オブジェクトをもつ画像データを生成することを含む。
本発明は、ジェスチャー認識に基づく仮想ユーザー・インターフェース対話のための対話システムの電子装置を開示する。本電子装置は、プログラムを実行するための処理装置と、前記プログラムを記憶するための前記処理装置に結合されたメモリ装置とを有しており；前記プログラムは、前記処理装置に下記の段階を実行するよう命令する：複数の画像において二つの手を検出し、該二つの手が検出されるときにそれぞれの手のジェスチャーを認識し、一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、オープン・ジェスチャーの手の上に仮想ユーザー・インターフェース・オブジェクトを投影し、ポイント・ジェスチャーの手の人差し指の先端およびオープン・ジェスチャーの手の相対位置を得るためにポイント・ジェスチャーの手の人差し指の先端を追跡し、ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則内でオープン・ジェスチャーの手に近いかどうかを判定し、ポイント・ジェスチャーの手の人差し指の先端が前記あらかじめ定義された規則内でオープン・ジェスチャーの手に近いとき、ポイント・ジェスチャーの手の人差し指の先端の動きをクリック・コマンドとして解釈し、該クリック・コマンドに応答して、前記相対位置に基づいて仮想ユーザー・インターフェース・オブジェクトのキャラクター・オブジェクトをもつ画像データを生成する。
本発明のこれらおよび他の目的は、さまざまな図面に示される好ましい実施形態の下記の詳細な説明を読んだあとには、当業者には明白となるに違いない。
本開示のある実施形態に基づく対話システムの概略図である。
本開示のある実施形態に基づく対話プロセスのフローチャートである。
本開示のある実施形態に基づく手のジェスチャーの検出をもつ画像の概略図である。
本開示のある実施形態に基づく対話ディスプレイ画像の概略図である。
図１は、本開示のある実施形態に基づく対話システム１の概略図である。対話システム１は、電子装置１０，イメージセンサー１０００および表示装置２０００を含む。電子装置１０は処理ユニット１００、たとえばマイクロプロセッサまたは特定用途向け集積回路（ASIC）、記憶ユニット１１０および通信インターフェース・ユニット１２０を含む。記憶ユニット１１０は、処理ユニット１００によるアクセスのためにプログラム・コード１１４を記憶できるいかなるデータ記憶装置であってもよい。記憶ユニット１１０の例は、加入者識別情報モジュール（SIM）、読み出し専用メモリ（ROM）、フラッシュメモリ、ランダムアクセスメモリ（RAM）、CD-ROM、磁気テープ、ハードディスクおよび光データ記憶デバイスを含むがそれに限られない。通信インターフェース・ユニット１２０は、対話システム１の他の装置（たとえばイメージセンサー１０００）と信号を交換するために有線または無線通信を適用される。
図２を参照する。本開示のある実施形態に基づく対話プロセス２０のフローチャートが示されている。対話プロセス２０は、図１の電子装置１０において利用されることができる。対話プロセス２０は、記憶ユニット１１０に記憶されるプログラム・コード１１４にコンパイルされてもよく、以下の段階を含んでいてもよい。
段階２０１：複数の画像において二つの手を検出する。
段階２０２：該二つの手が検出されるときにそれぞれの手のジェスチャーを認識する。
段階２０３：一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、オープン・ジェスチャーの手の上に仮想ユーザー・インターフェース・オブジェクトを投影する。
段階２０４：ポイント・ジェスチャーの手の人差し指の先端およびオープン・ジェスチャーの手の相対位置を得るためにポイント・ジェスチャーの手の人差し指の先端を追跡する。
段階２０５：ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則内でオープン・ジェスチャーの手に近いかどうかを判定する。
段階２０６：ポイント・ジェスチャーの手の人差し指の先端が前記あらかじめ定義された規則内でオープン・ジェスチャーの手に近いとき、ポイント・ジェスチャーの手の人差し指の先端の動きをクリック・コマンドとして解釈する。
段階２０７：該クリック・コマンドに応答して、前記相対位置に基づいて仮想ユーザー・インターフェース・オブジェクトのキャラクター・オブジェクトをもつ画像データを生成する。
対話プロセス２０によれば、電子装置１０は、図３に示されるように画像IMG0〜IMGnにおいて二つの手を検出し、次いで、画像IMG0〜IMGnにおいて手のジェスチャーを判別する。ある実施形態では、前記複数の画像IMG0〜IMGnは、構造化光（SL: structured light）カメラまたは飛行時間（ToF: time of flight）カメラでありうるイメージセンサー１０００によって生成され、処理ユニット２００が処理して対話のために表示装置２０００に対して処理結果を生成するために、通信インターフェース・ユニット２２０によって受領される。
詳細には、手の検出は以下の段階によって実現される：
１．画像IMG0〜IMGnの、ある作業距離をもつ奥行きピクセルを抽出する；
２．すべての上記ピクセルを可能な左手グループおよび右手グループに分類するためにランダム決定フォレスト（RDF: Random Decision Forest）を使う。
３．調べられるピクセルのまわりの奥行きコンテキストの集合をRDFでの入力参照として取り、調べられるピクセルの可能なグループを出力する。
４．左／右手のグループをフレームにおける接続されたオブジェクトにマッチさせる。
５．左／右手の輪郭半径（contour radius）を計算する。
６．左／右手のシルエットをクロッピングする。
７．左／右手のシルエットに従って左／右手の奥行き情報を抽出する。
手が検出されないまたは図３の画像IMG0に示されるように一つの手しか検出されない場合には、電子装置１０は、二つの手が検出されるまで、手の検出を実行し続けるべきである。他方、図３の画像IMGrに示されるように二つの手が両方とも検出される場合、電子装置１０は下記の段階によってジェスチャー認識を実行する：
１．手のサブフレームを抽出し；
２．RDFを使ってサブフレーム・ピクセルをジェスチャー・グループに分類し；
３．多数派グループをジェスチャー結果として設定し、二次グループをジェスチャー参照として使う。
ジェスチャー認識は、画像のデータセットによってトレーニングされる機械学習によって実行されてもよいことを注意しておく。当業者にはよく知られているので、ここでは割愛する。さらに、二つの手のジェスチャーが認識された後、電子装置１０は一方の手（たとえば右手）がポイント・ジェスチャーにあり、他方の手（たとえば左手）がオープン・ジェスチャーにあるかどうかを判定するべきである。図３の画像IMGxに示されるようにポイント・ジェスチャーの手およびオープン・ジェスチャーの手が検出される場合、電子装置はさらに、オープン・ジェスチャーの手があらかじめ定義された角度内である（たとえばてのひらが内側を向いている、まっすぐである）かどうかおよび／またはオープン・ジェスチャーの手がポイント・ジェスチャーの手の横にあるかどうかを判定する。オープン・ジェスチャーの手が電子装置１０の記憶ユニット１１０において定義されている何らかの所定の規則に合致する場合、電子装置１０はオープン・ジェスチャーの手を、不動のオブジェクトと考える。所定の規則については、当業者はしかるべく修正および変更を行なってもよく、それは限定されない。
オープン・ジェスチャーの手を不動のオブジェクトと考える際、電子装置は、オープン・ジェスチャーの手の位置に投影された仮想ユーザー・インターフェース（UI）オブジェクトをもつ画像データを生成する。それは、図４の画像IMGm'およびIMGn'に示されるように、ユーザーのために表示装置２０００によって表示される。ある実施形態では、仮想UIオブジェクトは仮想キーボードまたは仮想数字パッドであってもよい。一方、電子装置１０は、ポイント・ジェスチャーの手の人差し指の先端とオープン・ジェスチャーの手との相対位置を得るために、図３の画像IMGyに示されるように、ポイント・ジェスチャーの手の人差し指の先端の動きを追跡する。そのようにして、電子装置１０は、ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則（たとえばあらかじめ定義された距離）内でオープン・ジェスチャーの手に近いかどうかを判定することができる。図３の画像IMGnに示されるようにポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された距離内でオープン・ジェスチャーの手に近ければ、電子装置１０はポイント・ジェスチャーの手の人差し指の先端の動きを「クリック」コマンドとして解釈する。このようにして、電子装置１０は、前記相対位置に基づいて仮想UIオブジェクトのキャラクター・オブジェクトをもつ画像データを生成し、該キャラクター・オブジェクトをユーザーに対して表示するために該画像データを表示装置２０００に送信する。
電子装置１０がオープン・ジェスチャーの手が動くことを検出する場合、仮想UIオブジェクト投影は取り消されることを注意しておく。すなわち、電子装置１０は、イメージセンサー１０００から受領された画像に基づく仮想UIオブジェクトなしに画像データを、表示装置２０００が表示するために、生成する。
図４は、本発明のある実施形態に基づく、対話表示画像を示している。表示装置２０００によって表示される画像IMGMは、仮想UIオブジェクトがオープン・ジェスチャーの手に投影されることを示している。該オブジェクトは、認識されたジェスチャーに基づいて電子装置１０の処理ユニット１００によって生成される。すなわち、上述したように、電子装置１０がポイント・ジェスチャーをもつ一方の手およびオープン・ジェスチャーをもつ他方の手を判別した後、電子装置１０は仮想UIオブジェクトをもつ画像データを生成し、画像IMGm'をユーザーに対して表示するために、該画像データを表示装置１３に送信する。画像IMGn'は、ポイント・ジェスチャーの手のクリック動きを示している。画像IMGは、ポイント・ジェスチャーの手によってクリックされる諸キャラクター・オブジェクト（たとえば数字「2」、「3」、「8」、「0」）を示している。したがって、ユーザーは、いかなるユーザー入力装置への物理的な接触もなしに、仮想UIオブジェクトと対話しうる。
提案される段階を含むプロセスの上述された段階は、ハードウェア、ハードウェア装置とコンピュータ命令の組み合わせとして知られているファームウェアおよび前記ハードウェア装置または電子システム上の読み出し専用ソフトウェアとして存在するデータでありうる手段によって実現されることができる。ハードウェアの例は、アナログ、デジタルおよび混合回路を含むことができる。これらはマイクロ回路、マイクロチップまたはシリコンチップとして知られている。電子システムの例はシステムオンチップ（SOC）、システムインパッケージ（SiP）、コンピュータオンモジュール（COM）および電子装置１０を含むことができる。
まとめると、本発明は、ユーザーが仮想UIオブジェクト投影を介して対話システムと対話するための対話プロセスであって、ジェスチャー認識およびジェスチャー動き検出によって実現されるものを提案する。
当業者は、本発明の教示を保持しつつ装置および方法の数多くの修正および変更がなされうることを容易に観察するであろう。よって、上記の開示は、付属の請求項の外縁によってのみ限定されると解釈されるべきである。
１００ 処理ユニット
１１０ 記憶ユニット
１１４ プログラム・コード
１２０ 通信インターフェース・ユニット
１０００ イメージセンサー
２０００ 表示装置

２０１ 複数の画像において二つの手を検出
２０２ 該二つの手が検出されるときにそれぞれの手のジェスチャーを認識
２０３ 一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、オープン・ジェスチャーの手の上に仮想ユーザー・インターフェースを投影
２０４ ポイント・ジェスチャーの手の人差し指の先端およびオープン・ジェスチャーの手の相対位置を得るためにポイント・ジェスチャーの手の人差し指の先端の動きを追跡
２０５ ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則内でオープン・ジェスチャーの手に近いかどうかを判定
２０６ ポイント・ジェスチャーの手の人差し指の先端が前記あらかじめ定義された規則内でオープン・ジェスチャーの手に近いとき、ポイント・ジェスチャーの手の人差し指の先端の動きをクリック・コマンドとして解釈
２０７ 該クリック・コマンドに応答して、前記相対位置に対応する仮想ユーザー・インターフェースのキャラクターをもつ画像を生成

Claims (16)

  1. 対話システムのためのジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法であって：
    複数の画像において二つの手を検出し；
    該二つの手が検出されるときにそれぞれの手のジェスチャーを認識し；
    一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、オープン・ジェスチャーの手の上に仮想ユーザー・インターフェースを投影し；
    ポイント・ジェスチャーの手の人差し指の先端およびオープン・ジェスチャーの手の相対位置を得るためにポイント・ジェスチャーの手の人差し指の先端を追跡し；
    ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則内でオープン・ジェスチャーの手に近いかどうかを判定し；
    ポイント・ジェスチャーの手の人差し指の先端が前記あらかじめ定義された規則内でオープン・ジェスチャーの手に近いとき、ポイント・ジェスチャーの手の人差し指の先端の動きをクリック・コマンドとして解釈し；
    該クリック・コマンドに応答して、前記相対位置に基づいて前記仮想ユーザー・インターフェース・オブジェクトのキャラクター・オブジェクトをもつ画像データを生成することを含む、
    方法。
  2. 前記あらかじめ定義された規則は、あらかじめ決定された角度またはあらかじめ決定された距離を含む、請求項１記載の方法。
  3. 前記オープン・ジェスチャーの手を不動のオブジェクトと考え；
    前記オープン・ジェスチャーの手が動く場合に、前記仮想キーボード投影をキャンセルすることをさらに含む、
    請求項１記載の方法。
  4. 前記オープン・ジェスチャーの手があらかじめ定義された角度内にあるかどうかまたは前記オープン・ジェスチャーの手が前記ポイント・ジェスチャーの手の或る側にあるかどうかを判定することをさらに含む、
    請求項１記載の方法。
  5. 前記オープン・ジェスチャーの手が前記あらかじめ定義された角度内にあるまたは前記オープン・ジェスチャーの手が前記ポイント・ジェスチャーの手の前記側にあると判定するときに、前記オープン・ジェスチャーの手を不動のオブジェクトと考えることをさらに含み、
    前記投影する段階が、一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、前記仮想ユーザー・インターフェースを、前記不動のオブジェクトに対応する位置に投影することを含む、
    請求項４記載の方法。
  6. 前記検出する段階が：
    ある作業距離以内にユーザーの手がある画像の奥行きピクセルを抽出し；
    ランダム決定フォレスト（RDF）を用いて前記奥行きピクセルを可能な左手グループおよび右手グループに分類し；
    調べられるピクセルのまわりの奥行きコンテキストの集合を前記RDFによる入力参照として取り、前記調べられるピクセルの前記可能なグループを出力し；
    前記左／右手のグループをフレームにおける接続されたオブジェクトにマッチさせ；
    左／右手の輪郭半径を計算し；
    左／右手のシルエットをクロッピングし；
    前記左／右手のシルエットに従って左／右手の奥行き情報を抽出することを含む、
    請求項１記載の方法。
  7. 前記認識する段階が：
    手のサブフレームを抽出し；
    前記RDFを用いて前記手のサブフレームのピクセルをジェスチャー・グループに分類し；
    多数派グループをジェスチャー結果として設定し；
    二次グループをジェスチャー参照として使うことを含む、
    請求項６記載の方法。
  8. 前記仮想ユーザー・インターフェースが仮想キーボードまたは仮想数字パッドを含む、請求項１記載の方法。
  9. ジェスチャー認識に基づく仮想ユーザー・インターフェース対話のための対話システムの電子装置であって、当該装置は：
    プログラムを実行するための処理装置と；
    前記プログラムを記憶するための前記処理装置に結合されたメモリ装置とを有しており；前記プログラムは、前記処理装置に下記の段階、すなわち：
    複数の画像において二つの手を検出する段階と；
    該二つの手が検出されるときにそれぞれの手のジェスチャーを認識する段階と；
    一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、オープン・ジェスチャーの手の上に仮想ユーザー・インターフェースを投影する段階と；
    ポイント・ジェスチャーの手の人差し指の先端およびオープン・ジェスチャーの手の相対位置を得るためにポイント・ジェスチャーの手の人差し指の先端を追跡する段階と；
    ポイント・ジェスチャーの手の人差し指の先端があらかじめ定義された規則内でオープン・ジェスチャーの手に近いかどうかを判定する段階と；
    ポイント・ジェスチャーの手の人差し指の先端が前記あらかじめ定義された規則内でオープン・ジェスチャーの手に近いとき、ポイント・ジェスチャーの手の人差し指の先端の動きをクリック・コマンドとして解釈する段階と；
    該クリック・コマンドに応答して、前記相対位置に基づいて前記仮想ユーザー・インターフェース・オブジェクトのキャラクター・オブジェクトをもつ画像データを生成する段階とを実行するよう命令するものである、
    装置。
  10. 前記あらかじめ定義された規則は、あらかじめ決定された角度またはあらかじめ決定された距離を含む、請求項９記載の装置。
  11. 前記プログラムがさらに前記処理手段に、下記の段階、すなわち：
    前記オープン・ジェスチャーの手を不動のオブジェクトと考える段階と；
    前記オープン・ジェスチャーの手が動く場合に、前記仮想キーボード投影をキャンセルする段階とを実行するよう命令するものである、
    請求項９記載の装置。
  12. 前記プログラムがさらに前記処理手段に、下記の段階、すなわち：
    前記オープン・ジェスチャーの手があらかじめ定義された角度内にあるかどうかまたは前記オープン・ジェスチャーの手が前記ポイント・ジェスチャーの手の或る側にあるかどうかを判定する段階を実行するよう命令するものである、
    請求項９記載の装置。
  13. 前記プログラムがさらに前記処理手段に、下記の段階、すなわち：
    前記オープン・ジェスチャーの手が前記あらかじめ定義された角度内にあるまたは前記オープン・ジェスチャーの手が前記ポイント・ジェスチャーの手の前記側にあると判定するときに、前記オープン・ジェスチャーの手を不動のオブジェクトと考える段階を実行するよう命令するものであり、
    前記投影する段階が、一方の手がポイント・ジェスチャーをもって認識され、他方の手がオープン・ジェスチャーをもって認識されるときに、前記仮想ユーザー・インターフェースを、前記不動のオブジェクトに対応する位置に投影することを含む、
    請求項１２記載の装置。
  14. 前記検出する段階が：
    ある作業距離以内にユーザーの手がある画像の奥行きピクセルを抽出し；
    ランダム決定フォレスト（RDF）を用いて前記奥行きピクセルを可能な左手グループおよび右手グループに分類し；
    調べられるピクセルのまわりの奥行きコンテキストの集合を前記RDFによる入力参照として取り、前記調べられるピクセルの前記可能なグループを出力し；
    前記左／右手のグループをフレームにおける接続されたオブジェクトにマッチさせ；
    左／右手の輪郭半径を計算し；
    左／右手のシルエットをクロッピングし；
    前記左／右手のシルエットに従って左／右手の奥行き情報を抽出することを含む、
    請求項９記載の装置。
  15. 前記認識する段階が：
    手のサブフレームを抽出し；
    前記RDFを用いて前記手のサブフレームのピクセルをジェスチャー・グループに分類し；
    多数派グループをジェスチャー結果として設定し；
    二次グループをジェスチャー参照として使うことを含む、
    請求項１４記載の装置。
  16. 前記仮想ユーザー・インターフェースが仮想キーボードまたは仮想数字パッドを含む、請求項９記載の装置。
JP2018226573A 2018-10-21 2018-12-03 ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置 Pending JP2020067999A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/166130 2018-10-21
US16/166,130 US10678342B2 (en) 2018-10-21 2018-10-21 Method of virtual user interface interaction based on gesture recognition and related device

Publications (1)

Publication Number Publication Date
JP2020067999A true JP2020067999A (ja) 2020-04-30

Family

ID=64664079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018226573A Pending JP2020067999A (ja) 2018-10-21 2018-12-03 ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置

Country Status (5)

Country Link
US (1) US10678342B2 (ja)
EP (1) EP3640768A1 (ja)
JP (1) JP2020067999A (ja)
CN (1) CN111077987A (ja)
TW (1) TWI694357B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639573B (zh) * 2020-05-22 2023-07-07 广州宇中网络科技有限公司 基于orb算法的手势识别方法、存储介质及电子设备
CN111858855A (zh) * 2020-07-20 2020-10-30 百度在线网络技术（北京）有限公司 信息查询方法、装置、系统、电子设备及存储介质
TWI757872B (zh) * 2020-09-16 2022-03-11 宏碁股份有限公司 整合動作感測器的擴增實境系統與擴增實境顯示方法
CN114253389B (zh) * 2020-09-25 2023-05-23 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
CN112488059B (zh) * 2020-12-18 2022-10-04 哈尔滨拓博科技有限公司 一种基于深度学习模型级联的空间手势控制方法
CN113359995B (zh) * 2021-07-02 2022-07-29 北京百度网讯科技有限公司 人机交互方法、装置、设备以及存储介质
US11775077B2 (en) 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium
CN114596582B (zh) * 2022-02-28 2023-03-17 北京伊园未来科技有限公司 一种带视觉和力反馈的增强现实交互方法及系统
CN117111873B (zh) * 2023-10-23 2024-01-09 南昌市一境信息技术有限公司 一种基于cave环境的沉浸交互系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016005157A (ja) * 2014-06-18 2016-01-12 トヨタ紡織株式会社 操作装置
JP2016504652A (ja) * 2012-11-12 2016-02-12 オブロング・インダストリーズ・インコーポレーテッド ジェスチャ制御と、複数クライアント装置、ディスプレイ、及び、ユーザを有する動作環境
JP2017091186A (ja) * 2015-11-10 2017-05-25 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) 1999-12-29 2004-08-03 Petri Pulli User interface
JP4989383B2 (ja) 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US9880619B2 (en) 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
US9619035B2 (en) * 2011-03-04 2017-04-11 Microsoft Technology Licensing, Llc Gesture detection and recognition
WO2012124844A1 (en) * 2011-03-16 2012-09-20 Lg Electronics Inc. Method and electronic device for gesture-based key input
TWI536259B (zh) * 2012-12-28 2016-06-01 緯創資通股份有限公司 手勢辨識模組及手勢辨識方法
US20140204013A1 (en) 2013-01-18 2014-07-24 Microsoft Corporation Part and state detection for gesture recognition
WO2014145166A2 (en) 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US20150089453A1 (en) * 2013-09-25 2015-03-26 Aquifi, Inc. Systems and Methods for Interacting with a Projected User Interface
US10013083B2 (en) 2014-04-28 2018-07-03 Qualcomm Incorporated Utilizing real world objects for user input
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
CN108431761B (zh) * 2015-12-22 2022-04-01 英特尔公司 用于在可穿戴设备中识别姿势的系统、方法、介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016504652A (ja) * 2012-11-12 2016-02-12 オブロング・インダストリーズ・インコーポレーテッド ジェスチャ制御と、複数クライアント装置、ディスプレイ、及び、ユーザを有する動作環境
JP2016005157A (ja) * 2014-06-18 2016-01-12 トヨタ紡織株式会社 操作装置
JP2017091186A (ja) * 2015-11-10 2017-05-25 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法

Also Published As

Publication number Publication date
TWI694357B (zh) 2020-05-21
CN111077987A (zh) 2020-04-28
EP3640768A1 (en) 2020-04-22
US20200125176A1 (en) 2020-04-23
TW202016696A (zh) 2020-05-01
US10678342B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
JP2020067999A (ja) ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
KR102230630B1 (ko) 빠른 제스처 재접속
US8958631B2 (en) System and method for automatically defining and identifying a gesture
US20130044912A1 (en) Use of association of an object detected in an image to obtain information to display to a user
CN110622219B (zh) 交互式增强现实
US20110254765A1 (en) Remote text input using handwriting
CN103914138A (zh) 接近传感器的手势的识别和用途
WO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US11709593B2 (en) Electronic apparatus for providing a virtual keyboard and controlling method thereof
CN105700727B (zh) 与透明层以下的应用层的交互方法及信息处理系统
US10146375B2 (en) Feature characterization from infrared radiation
US20150123901A1 (en) Gesture disambiguation using orientation information
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111782041A (zh) 打字方法及装置、设备、存储介质
US20100245266A1 (en) Handwriting processing apparatus, computer program product, and method
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
CN110291495B (zh) 信息处理系统、信息处理方法及程序
WO2021075103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11789543B2 (en) Information processing apparatus and information processing method
Chen Universal Motion-based control and motion recognition
CN112698739B (zh) 一种控制方法及装置
Asgarov Check for updates 3D-CNNs-Based Touchless Human-Machine Interface
CN117435059A (zh) 用于虚拟键盘的显示方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201027