JP2021527896A - 仮想現実の手のジェスチャ生成 - Google Patents
仮想現実の手のジェスチャ生成 Download PDFInfo
- Publication number
- JP2021527896A JP2021527896A JP2020570736A JP2020570736A JP2021527896A JP 2021527896 A JP2021527896 A JP 2021527896A JP 2020570736 A JP2020570736 A JP 2020570736A JP 2020570736 A JP2020570736 A JP 2020570736A JP 2021527896 A JP2021527896 A JP 2021527896A
- Authority
- JP
- Japan
- Prior art keywords
- data
- controller
- touch
- hand
- force
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims description 176
- 238000000034 method Methods 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 2
- 210000003811 finger Anatomy 0.000 description 87
- 230000000875 corresponding effect Effects 0.000 description 63
- 239000000758 substrate Substances 0.000 description 52
- 230000008569 process Effects 0.000 description 50
- 239000000463 material Substances 0.000 description 25
- 230000015654 memory Effects 0.000 description 15
- 239000010410 layer Substances 0.000 description 14
- 239000003550 marker Substances 0.000 description 14
- 239000002184 metal Substances 0.000 description 11
- 229910052751 metal Inorganic materials 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 210000003813 thumb Anatomy 0.000 description 11
- 239000004020 conductor Substances 0.000 description 9
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 8
- 229910052802 copper Inorganic materials 0.000 description 8
- 239000010949 copper Substances 0.000 description 8
- 210000004247 hand Anatomy 0.000 description 8
- 230000005670 electromagnetic radiation Effects 0.000 description 7
- 238000007747 plating Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000004642 Polyimide Substances 0.000 description 5
- 230000027455 binding Effects 0.000 description 5
- 238000009739 binding Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000004932 little finger Anatomy 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 229920001721 polyimide Polymers 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 229920002799 BoPET Polymers 0.000 description 4
- 239000005041 Mylar™ Substances 0.000 description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 239000010931 gold Substances 0.000 description 4
- 229910052737 gold Inorganic materials 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 239000004820 Pressure-sensitive adhesive Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 125000006850 spacer group Chemical group 0.000 description 3
- 239000012790 adhesive layer Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 102100029272 5-demethoxyubiquinone hydroxylase, mitochondrial Human genes 0.000 description 1
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 101000770593 Homo sapiens 5-demethoxyubiquinone hydroxylase, mitochondrial Proteins 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012777 electrically insulating material Substances 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 229920001084 poly(chloroprene) Polymers 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【選択図】図1
Description
図1は、モーションキャプチャシステム(複数可)102およびユーザ104が存在する例示的な環境100を示す。モーションキャプチャシステム(複数可)102は、環境100の壁に取り付けられた状態で示されているが、場合によっては、モーションキャプチャシステム(複数可)102は、環境100内の他の場所(例えば、天井、床など)に取り付けてもよい。さらに、図1は4つのモーションキャプチャシステム(複数可)102を示しているが、環境100は、4つよりも多い、または少ないモーションキャプチャシステム(複数可)102を含んでもよい。
図2は、コントローラ110を保持しているユーザ104を示す(これは、図1のコントローラ110を表し、かつ/またはそれと同様であってもよい)。コントローラ110は、ハンドル、ストラップ、把持部など、コントローラ110の任意の部分に結合および/または装着してもよいマーカ200を備えてもよい。同様に、ユーザ104の一部分には、指先、指関節、指関節、手首など、ユーザ104の手におよび/またはそれに沿って装着するマーカ202を含んでもよい。場合によっては、マーカ200、202は、粘着剤を使用して、それぞれ、ユーザ104および/またはコントローラ110に装着してもよい。
図9A〜図9Cは、本開示の例示的な実施形態による、力感知抵抗器(FSR)900の異なる図を示す。図9CのFSR900の断面に示すように、FSR900は、場合によってはポリイミドを含み得る第1の基板902を含んでもよい。FSR900は、第1の基板902上(または上方)に配置された第2の基板904をさらに含んでもよい。第1の基板902および第2の基板904は、FSR900の2つの一次基板(または層)(すなわち、2層のFSR900)を含んでもよい。ただし、FSR900には、追加の層が含まれ得ることを理解されたい。場合によっては、第1の基板902は、FSR900の2つの一次基板に対して「底部」または「ベース」基板を表してもよいが、場合によっては、第1の基板902の後ろ(または下)に(すなわち、図9Cに示すように、負のZ方向に)材料の層があってもよい。
図10A〜図10Fは、(図1および図2のコントローラ110、図3〜図7のコントローラ300、および/または図8のコントローラ800を表す、かつ/またはそれらと同様であってもよい)コントローラ1002を保持しているユーザ1000の異なる変形例を示す。一般に、上記の開示に沿って、コントローラ1002上のユーザ1000のタッチ入力の場所および力を感知することにより(例えば、近接センサおよび/またはFSR900のアレイを使用して)、リモートコンピューティングリソース(複数可)112は、VRヘッドセット108上に表示するためのアニメーション(例えば、アニメーション128)を生成してもよい。アニメーションは、図10A〜図10Fに示す手のジェスチャにそれぞれ似ていてもよい。すなわち、予め訓練されたモデル(複数可)120を使用して、リモートコンピューティングリソース(複数可)112は、コントローラ(複数可)1002から受信されたタッチデータ124および/または力データ126に基づいて、手の画像を生成してもよい。
図11〜図13は、本出願の実施形態による、様々なプロセスを示す。本明細書で説明されるプロセスは、一連の動作を表す論理フロー図内のブロックの集合として示され、それらのいくつかまたはすべては、ハードウェア、ソフトウェア、またはそれらの組み合わせの中で実施されてもよい。ソフトウェアの文脈では、ブロックは、1つまたは複数のプロセッサによって実行されたとき、列挙された動作を実施するようにプロセッサをプログラムする、1つまたは複数のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表してもよい。一般に、コンピュータ実行可能命令は、特定の機能を実施するかまたは特定のデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。ブロックが記載されている順序は、特に記載されていない限り、限定として解釈されるべきではない。記載されたブロックのうちの任意の数は、プロセス、または代替プロセスを実施するために、任意の順序および/または並列に組み合わせてもよく、すべてのブロックが実行される必要はない。説明のために、プロセスは、本明細書の例で説明されている、例えば、図1〜図10に関して説明されている環境、アーキテクチャ、およびシステムを参照して説明されているが、プロセスは、多種多様な他の環境、アーキテクチャ、およびシステムで実施されてもよい。
前述の本発明は、特定の例に関して説明されているが、本発明の範囲は、これらの特定の例に限定されないことを理解されたい。特定の動作要件および環境に適合するように変化する他の修正および変更は、当業者には明らかであるため、本発明は、開示の目的のために選択された例に限定されるものとは見なされず、本発明の真の精神および範囲から逸脱しないすべての変更および修正を対象にする。
1.1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
1つまたは複数のセンサを介して、1つまたは複数のコントローラを操作するユーザの手の第1の動きに対応する第1のモーションデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第1のタッチに対応する第1のタッチデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の前記第1のタッチに対応する第1の力データを受信することと、
前記第1のモーションデータを前記第1のタッチデータおよび前記第1の力データに関連付けることと、
前記第1のモーションデータ、前記第1のタッチデータ、および前記第1の力データに少なくとも部分的に基づいて、前記手のジェスチャに対応するモデルを生成することと、
前記1つまたは複数のセンサを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第2の動きに対応する第2のモーションデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第2のタッチに対応する第2のタッチデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の前記第2のタッチに対応する第2の力データを受信することと、
前記第2のモーションデータを前記第2のタッチデータおよび前記第2の力データに関連付けることと、
前記第2のモーションデータ、前記第2のタッチデータ、および前記第2の力データに少なくとも部分的に基づいて、前記手の前記ジェスチャに対応する前記モデルを訓練することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第3のタッチに対応する第3のタッチデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の前記第3のタッチに対応する第3の力データを受信することと、
前記ジェスチャおよび前記第3の力データに対応する前記モデルに少なくとも部分的に基づいて、前記手の表現に対応する画像データを生成することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
2.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、前記手の前記表現に対応する前記画像データを仮想現実ディスプレイに送信することを含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項1に記載のシステム。
3.前記1つまたは複数のセンサが、深度センサを含む、請求項1に記載のシステム。
4.前記第1のモーションデータを前記第1のタッチデータおよび前記第1の力データに関連付けることが、前記第1のモーションデータの第1のタイムスタンプを前記第1のタッチデータの第1のタイムスタンプおよび前記第1の力データの第1のタイムスタンプと照合することを含み、
前記第2のモーションデータを前記第2のタッチデータおよび第2の力データに関連付けることが、前記第2のモーションデータの第2のタイムスタンプを前記第2のタッチデータの第2のタイムスタンプおよび前記第2の力データの第2のタイムスタンプと照合することを含む、請求項1に記載のシステム。
5.システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、1つまたは複数のプロセッサによって実施されたとき、1つまたは複数のプロセッサに、
コントローラを操作する手の動きに対応するモーションデータを受信することと、
前記コントローラを操作する前記手のタッチ入力に対応するタッチデータを受信することと、
前記モーションデータと前記タッチデータとを関連付けることと、
前記モーションデータと前記タッチデータとを前記関連付けることに少なくとも部分的に基づいて、前記手のジェスチャに対応する訓練モデルを生成することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
6.前記モーションデータが、第1のモーションデータを含み、前記タッチデータが、第1のタッチデータを含み、前記手の前記動きが、第1の動きを含み、前記手の前記タッチ入力が、第1のタッチ入力を含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラを操作する前記ユーザの前記手の第2の動きに対応する第2のモーションデータを受信することと、
前記コントローラを操作する前記手の第2のタッチ入力に対応する第2のタッチデータを受信することと、
前記第2のモーションデータおよび前記第2のタッチデータに少なくとも部分的に基づいて、前記手の前記ジェスチャに対応する更新された訓練モデルを生成することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項5に記載のシステム。
7.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記更新された訓練モデルを使用して、前記手の表現に対応する画像データを生成することと、
前記手の前記表現に対応する前記画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項6に記載のシステム。
8.前記画像データを送信することが、遠隔装置に前記手の表現を表示させる、請求項7に記載のシステム。
9.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、前記タッチ入力に関連付けられた力の量に対応する力データを受信することを含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記手の前記ジェスチャに対応する前記訓練モデルを前記生成することが、前記力データに少なくとも部分的にさらに基づいている、請求項5に記載のシステム。
10.前記タッチデータが、前記タッチ入力を受信する前記コントローラ上の1つまたは複数の場所を示す、請求項5に記載のシステム。
11.前記モーションデータと前記タッチデータとを関連付けることが、前記モーションデータのタイムスタンプを前記タッチデータのタイムスタンプと関連付けることを含む、請求項5に記載のシステム。
12.前記モーションデータを受信することが、前記システムに通信可能に結合されたカメラから前記モーションデータを受信することを含み、
前記タッチデータを受信することが、前記システムに通信可能に結合されたコントローラから前記タッチデータを受信することを含む、請求項5に記載のシステム。
13.システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
コントローラから、
前記コントローラで受信されたタッチ入力を示すタッチデータ、または
前記タッチ入力に関連付けられた力の量を示す力データのうちの少なくとも1つを受信することと、
手のジェスチャに関連付けられている訓練されたモデルに対して、前記タッチデータまたは前記力のうちの少なくとも1つを分析することと、
前記分析に少なくとも部分的に基づいて、前記タッチデータまたは前記力データのうちの少なくとも1つが前記手のジェスチャに対応していることを判定することと、
前記手のジェスチャを表す画像データを生成することと、
表示のために前記画像データを送信することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
14.前記タッチデータは、前記タッチ入力に対応する前記コントローラ上の場所を示す、請求項13に記載のシステム。
15.前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記訓練されたモデルが、第1の訓練されたモデルを含み、前記タッチ入力が、第1のタッチ入力を含み、前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラから、
前記コントローラで受信された第2のタッチ入力を表す第2のタッチデータ、または
前記第2のタッチ入力に関連付けられた力の量を示す第2の力データのうちの少なくとも1つを受信することと、
第2の手のジェスチャに関連付けられている第2の訓練されたモデルに対して、前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つを分析することと、
前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つが、第2の手のジェスチャに対応していることを判定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項13に記載のシステム。
16.前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
少なくとも1つまたは複数の予測モデリング技術を使用し、かつ、前記第1の手のジェスチャに少なくとも部分的に基づいて、第2の手のジェスチャを決定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項13に記載のシステム。
17.前記訓練されたモデルが、
第1の期間中に1つまたは複数のコントローラから受信された以前のタッチデータ、
前記第1の期間中に前記1つまたは複数のコントローラから受信された以前の力データ、または
前記第1の期間中に1つまたは複数のカメラから受信された以前の画像データのうちの少なくとも1つを使用して前もって訓練されたモデルを含む、請求項13に記載のシステム。
18.前記コントローラが、第1のコントローラを含み、前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記画像データが、第1の画像データを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
第2のコントローラから、
前記第2のコントローラで受信されたタッチ入力を示す第2のタッチデータ、または
前記第2のコントローラで受信された前記タッチ入力に関連付けられた力の量を示す第2の力データのうちの少なくとも1つを受信することと、
1つまたは複数の手のジェスチャに関連付けられている1つまたは複数の訓練されたモデルに対して、前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つを分析することと、
前記第2のコントローラで受信された手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項13に記載のシステム。
19.前記画像データが、前記手のジェスチャの3次元(3D)表現を含む、請求項13に記載のシステム。
20.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記タッチデータまたは前記力データのうちの少なくとも1つを1つまたは複数の訓練されたモデルと比較することであって、前記1つまたは複数の訓練されたモデルが、前記訓練されたモデルを含み、前記1つまたは複数の訓練されたモデルの個々の訓練されたモデルが、1つまたは複数の手のジェスチャに関連付けられる、比較することを含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記訓練されたモデルに対して、前記タッチデータまたは前記力データのうちの少なくとも1つを分析することが、前記比較に少なくとも部分的に基づいている、請求項13に記載のシステム。
Claims (15)
- システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
コントローラを操作する手の動きに対応するモーションデータを受信することと、
前記コントローラを操作する前記手のタッチ入力に対応するタッチデータを受信することと、
前記モーションデータと前記タッチデータとを関連付けることと、
前記モーションデータと前記タッチデータとを前記関連付けることに少なくとも部分的に基づいて、前記手のジェスチャに対応する訓練モデルを生成することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。 - 前記モーションデータが、第1のモーションデータを含み、前記タッチデータが、第1のタッチデータを含み、前記手の前記動きが、第1の動きを含み、前記手の前記タッチ入力が、第1のタッチ入力を含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラを操作するユーザの前記手の第2の動きに対応する第2のモーションデータを受信することと、
前記コントローラを操作する前記手の第2のタッチ入力に対応する第2のタッチデータを受信することと、
前記第2のモーションデータおよび前記第2のタッチデータに少なくとも部分的に基づいて、前記手の前記ジェスチャに対応する更新された訓練モデルを生成することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項1に記載のシステム。 - 前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記更新された訓練モデルを使用して、前記手の表現に対応する画像データを生成することと、
前記手の前記表現に対応する前記画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項2に記載のシステム。 - 前記画像データを送信することが、遠隔装置に前記手の表現を表示させる、請求項3に記載のシステム。
- 前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、前記タッチ入力に関連付けられた力の量に対応する力データを受信することを含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記手の前記ジェスチャに対応する前記訓練モデルを前記生成することが、前記力データに少なくとも部分的にさらに基づいている、請求項1〜4のいずれかに記載のシステム。 - 前記タッチデータが、前記タッチ入力を受信する前記コントローラ上の1つまたは複数の場所を示す、請求項1〜5のいずれか一項に記載のシステム。
- 前記モーションデータと前記タッチデータとを関連付けることが、前記モーションデータのタイムスタンプを前記タッチデータのタイムスタンプと関連付けることを含む、請求項1〜6のいずれかに記載のシステム。
- 前記モーションデータを受信することが、前記システムに通信可能に結合されたカメラから前記モーションデータを受信することを含み、
前記タッチデータを受信することが、前記システムに通信可能に結合されたコントローラから前記タッチデータを受信することを含む、請求項1〜7のいずれかに記載のシステム。 - システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
コントローラから、
前記コントローラで受信されたタッチ入力を示すタッチデータ、または
前記タッチ入力に関連付けられた力の量を示す力データのうちの少なくとも1つを受信することと、
手のジェスチャに関連付けられている訓練されたモデルに対して、前記タッチデータまたは前記力のうちの少なくとも1つを分析することと、
前記分析に少なくとも部分的に基づいて、前記タッチデータまたは前記力データのうちの少なくとも1つが前記手のジェスチャに対応していることを判定することと、
前記手のジェスチャを表す画像データを生成することと、
表示のために前記画像データを送信することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。 - 前記タッチデータが、前記タッチ入力に対応する前記コントローラ上の場所を示す、請求項9に記載のシステム。
- 前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記訓練されたモデルが、第1の訓練されたモデルを含み、前記タッチ入力が、第1のタッチ入力を含み、前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラから、
前記コントローラで受信された第2のタッチ入力を表す第2のタッチデータ、または
前記第2のタッチ入力に関連付けられた力の量を示す第2の力データのうちの少なくとも1つを受信することと、
第2の手のジェスチャに関連付けられている第2の訓練されたモデルに対して、前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つを分析することと、
前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つが、第2の手のジェスチャに対応していることを判定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項9または10のいずれかに記載のシステム。 - 前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
少なくとも1つまたは複数の予測モデリング技術を使用し、かつ、前記第1の手のジェスチャに少なくとも部分的に基づいて、第2の手のジェスチャを決定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項9または10のいずれかに記載のシステム。 - 前記訓練されたモデルが、
第1の期間中に1つまたは複数のコントローラから受信された以前のタッチデータ、
前記第1の期間中に前記1つまたは複数のコントローラから受信された以前の力データ、または
前記第1の期間中に1つまたは複数のカメラから受信された以前の画像データのうちの少なくとも1つを使用して前もって訓練されたモデルを含む、請求項9〜12のいずれかに記載のシステム。 - 前記コントローラが、第1のコントローラを含み、前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記画像データが、第1の画像データを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
第2のコントローラから、
前記第2のコントローラで受信されたタッチ入力を示す第2のタッチデータ、または
前記第2のコントローラで受信された前記タッチ入力に関連付けられた力の量を示す第2の力データのうちの少なくとも1つを受信することと、
1つまたは複数の手のジェスチャに関連付けられている1つまたは複数の訓練されたモデルに対して、前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つを分析することと、
前記第2のコントローラで受信された手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項9、10、または13のいずれかに記載のシステム。 - 前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記タッチデータまたは前記力データのうちの少なくとも1つを1つまたは複数の訓練されたモデルと比較することであって、前記1つまたは複数の訓練されたモデルが、前記訓練されたモデルを含み、前記1つまたは複数の訓練されたモデルの個々の訓練されたモデルが、1つまたは複数の手のジェスチャに関連付けられる、比較すること、を含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記訓練されたモデルに対して、前記タッチデータまたは前記力データのうちの少なくとも1つを分析することが、前記比較に少なくとも部分的に基づいている、請求項9〜14のいずれかに記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862687780P | 2018-06-20 | 2018-06-20 | |
US62/687,780 | 2018-06-20 | ||
US16/195,718 | 2018-11-19 | ||
US16/195,718 US10987573B2 (en) | 2016-10-11 | 2018-11-19 | Virtual reality hand gesture generation |
PCT/US2019/032928 WO2019245681A1 (en) | 2018-06-20 | 2019-05-17 | Virtual reality hand gesture generation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021527896A true JP2021527896A (ja) | 2021-10-14 |
JPWO2019245681A5 JPWO2019245681A5 (ja) | 2022-05-09 |
JP7337857B2 JP7337857B2 (ja) | 2023-09-04 |
Family
ID=68982963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570736A Active JP7337857B2 (ja) | 2018-06-20 | 2019-05-17 | 仮想現実の手のジェスチャ生成 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3807747A4 (ja) |
JP (1) | JP7337857B2 (ja) |
KR (1) | KR20210021533A (ja) |
CN (1) | CN112437909A (ja) |
WO (1) | WO2019245681A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024085829A1 (en) * | 2022-10-17 | 2024-04-25 | İstanbul Geli̇şi̇m Üni̇versi̇tesi̇ | A system for learning to play old in a meta verse environment using virtual reality technology |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
CN116650950B (zh) * | 2023-06-08 | 2024-02-06 | 廊坊市珍圭谷科技有限公司 | 一种用于vr游戏的控制系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142329A1 (ja) * | 2018-01-19 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8717291B2 (en) * | 2009-10-07 | 2014-05-06 | AFA Micro Co. | Motion sensitive gesture device |
US9529523B2 (en) * | 2010-04-23 | 2016-12-27 | Handscape Inc. | Method using a finger above a touchpad for controlling a computerized system |
US8761437B2 (en) * | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
US20130154952A1 (en) * | 2011-12-16 | 2013-06-20 | Microsoft Corporation | Gesture combining multi-touch and movement |
WO2014100045A1 (en) * | 2012-12-17 | 2014-06-26 | Qi2 ELEMENTS II, LLC | Foot-mounted sensor systems for tracking body movement |
US9864461B2 (en) * | 2014-09-26 | 2018-01-09 | Sensel, Inc. | Systems and methods for manipulating a virtual environment |
EP3262486A4 (en) * | 2015-02-27 | 2018-10-24 | Hewlett-Packard Development Company, L.P. | Detecting finger movements |
US9898091B2 (en) * | 2015-06-03 | 2018-02-20 | Oculus Vr, Llc | Virtual reality system with head-mounted display, camera and hand-held controllers |
US10514766B2 (en) * | 2015-06-09 | 2019-12-24 | Dell Products L.P. | Systems and methods for determining emotions based on user gestures |
US10307669B2 (en) * | 2016-10-11 | 2019-06-04 | Valve Corporation | Electronic controller with finger sensing and an adjustable hand retainer |
US10549183B2 (en) * | 2016-10-11 | 2020-02-04 | Valve Corporation | Electronic controller with a hand retainer, outer shell, and finger sensing |
-
2019
- 2019-05-17 CN CN201980041061.3A patent/CN112437909A/zh active Pending
- 2019-05-17 EP EP19822879.3A patent/EP3807747A4/en active Pending
- 2019-05-17 WO PCT/US2019/032928 patent/WO2019245681A1/en unknown
- 2019-05-17 KR KR1020217001241A patent/KR20210021533A/ko not_active Application Discontinuation
- 2019-05-17 JP JP2020570736A patent/JP7337857B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142329A1 (ja) * | 2018-01-19 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7337857B2 (ja) | 2023-09-04 |
EP3807747A1 (en) | 2021-04-21 |
WO2019245681A1 (en) | 2019-12-26 |
KR20210021533A (ko) | 2021-02-26 |
CN112437909A (zh) | 2021-03-02 |
EP3807747A4 (en) | 2022-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11992751B2 (en) | Virtual reality hand gesture generation | |
US11625898B2 (en) | Holding and releasing virtual objects | |
US11294485B2 (en) | Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR) | |
US11465041B2 (en) | Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof | |
US11185763B2 (en) | Holding and releasing virtual objects | |
JP7337857B2 (ja) | 仮想現実の手のジェスチャ生成 | |
CN113825548A (zh) | 使用手指的存在激活手持式控制器的运动控制功能 | |
KR20210100627A (ko) | 동적 센서 할당 | |
US10649583B1 (en) | Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR) | |
JP7358408B2 (ja) | 仮想物体の保持および解放 | |
CN112219246B (zh) | 具有聚酰亚胺衬底的力感测电阻器(fsr)、系统和其方法 | |
JP7383647B2 (ja) | 仮想物体の保持および解放 | |
JP7361725B2 (ja) | 力検知抵抗器(fsr)を含むハンドヘルドコントローラのセンサ融合アルゴリズム | |
CN113474748B (zh) | 用于包括力感测电阻器(fsr)的手持式控制器的传感器融合算法 | |
JP2024079737A (ja) | 動的センサ割当 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |