JP6155448B2 - 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 - Google Patents
3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 Download PDFInfo
- Publication number
- JP6155448B2 JP6155448B2 JP2015540837A JP2015540837A JP6155448B2 JP 6155448 B2 JP6155448 B2 JP 6155448B2 JP 2015540837 A JP2015540837 A JP 2015540837A JP 2015540837 A JP2015540837 A JP 2015540837A JP 6155448 B2 JP6155448 B2 JP 6155448B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- wrist
- computing device
- hand
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000707 wrist Anatomy 0.000 title claims description 205
- 238000013507 mapping Methods 0.000 title claims description 70
- 238000003384 imaging method Methods 0.000 title claims description 57
- 238000000034 method Methods 0.000 title claims description 41
- 230000006855 networking Effects 0.000 title description 9
- 230000033001 locomotion Effects 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000012634 optical imaging Methods 0.000 claims description 16
- 210000004247 hand Anatomy 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 150000001875 compounds Chemical class 0.000 claims description 7
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 6
- 239000008103 glucose Substances 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 230000036541 health Effects 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000005057 finger movement Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 210000002435 tendon Anatomy 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims 4
- 239000008280 blood Substances 0.000 claims 3
- 210000004369 blood Anatomy 0.000 claims 3
- 230000026058 directional locomotion Effects 0.000 claims 3
- 230000003993 interaction Effects 0.000 claims 3
- 230000004913 activation Effects 0.000 claims 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims 2
- 230000002500 effect on skin Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 claims 2
- 238000005259 measurement Methods 0.000 claims 2
- 229910052760 oxygen Inorganic materials 0.000 claims 2
- 239000001301 oxygen Substances 0.000 claims 2
- 238000004611 spectroscopical analysis Methods 0.000 claims 2
- 244000062793 Sorghum vulgare Species 0.000 claims 1
- 230000002457 bidirectional effect Effects 0.000 claims 1
- 230000036760 body temperature Effects 0.000 claims 1
- 238000010304 firing Methods 0.000 claims 1
- 230000000977 initiatory effect Effects 0.000 claims 1
- 235000019713 millet Nutrition 0.000 claims 1
- 238000003333 near-infrared imaging Methods 0.000 claims 1
- 230000010399 physical interaction Effects 0.000 claims 1
- 238000003825 pressing Methods 0.000 claims 1
- 230000009467 reduction Effects 0.000 claims 1
- 230000035807 sensation Effects 0.000 claims 1
- 238000005094 computer simulation Methods 0.000 description 15
- 210000003484 anatomy Anatomy 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- MBXCVSANAPSXKM-LURJTMIESA-N C[C@@H]1C#CCC1 Chemical compound C[C@@H]1C#CCC1 MBXCVSANAPSXKM-LURJTMIESA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000004324 lymphatic system Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 210000004994 reproductive system Anatomy 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
- A61B5/1125—Grasping motions of hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明の実施形態は、狭いまたは広いビーム発光素子、または構造化された光撮像システムを、ユーザが着用する手首コンソールの上部と下部に組み込むことに関する。実施態様において、デバイスは、手と指、体の上部および下部、および手または光撮像システムのフィールド内のいかなるオブジェクトも走査する。
実施態様において、恒常的な運動、位置および方位データを組み込むことが、必要である。光と光学奥行マッピングおよび3Dカラー撮像が実行されるときに、手首コンソールの空間位置、方向性の運動および方位は、搭載加速度計、高度計、コンパスおよびジャイロスコープ、並びにGPSおよび無線周波(RF)の方向性信号および場所データの任意の組合せによって、得られ、これにより、反射されかつ撮像された表面に対する手首コンソール・カメラ、発光素子およびセンサの正確な相対位置が連続的に識別され、このデータは奥行およびカラー・マップ内の各光位置およびカラー・ピクセルに割り当てられる。
実施態様において、奥行マッピングおよび3D撮像は、立体または複眼(plenoptic)マルチ・レンズ・アレイを使用して達成される。これらのアレイは、手首コンソールの上部および下部モジュールが、手、体、周囲のオブジェクトおよび環境のフィールド・カラー撮像の3Dまたは4Dマルチ奥行を動的に捕えることを可能にする。
オブジェクトを光走査しかつ3D撮像した後、対応する奥行マップは、ポイント・クラウドに変換され、頂点のマップは、各ポイントにはx−yおよびz(奥行)座標が割り当てられている対応するベクトルを有する。この処理は、光走査処理またはオブジェクトの3D撮像によって発生するグレイ・スケール奥行マップを、画像内の各ポイントまたはピクセルが、メートル単位系に変換させることができるx−yおよびz座標として特定される頂点に、変える。
実施態様において、手首コンソールは、連続的に体全体の動きをリアルタイムでマップするために使用され、かつ外界センサを、その3Dマッピングおよびインタフェース・システムに組み込む。これは、体、衣類および遠隔ワイヤレス器材センサを含む。四肢および関節の各々の体または衣類にマイクロ・センサを取付けることによって、または衣類、靴および器材内の組込形センサとネットワークすることによって、手首コンソールは、一つ以上の無線センサの空間位置を識別し、かつこれらのセンサを、人、器材、そして環境のマップされた3次元モデルに割り当てることができる。
画像を外面に投影するためのピコ・プロジェクタが組み込まれている実施態様では、光および画像マッピング・システムおよび方位システムは、表面を奥行きマップするため、つまり、手及び指の空間位置並びに手首コンソール及びプロジェクタのターゲット表面に対する相対位置を動的にマップするために使用される。これらの方法は、手首コンソールが、投影されたディスプレイおよびグラフィック・ユーザ・インタフェースをいかなる表面にもマップすることを可能にする。この光および光学マッピング・システムは、手と指の動きおよびジェスチャを動的にモニタするためにも使用され、これにより、ユーザが、タッチおよびジェスチャのインターフェーシングを実行して、投影されたインタフェースをコントロールすることが可能になる。
実施態様では、手首コンソールは、格納されているコンテンツをストリーム配信しかつデバイスで再生する、および/またはインターネットからのコンテンツを一つ以上のネットワーク接続されているデバイスのスクリーンにストリーム配信し、および/またはネットワーク接続されているTV、ゲーム機、PCまたは他のネットワーク接続されているデバイスから一つ以上の他のデバイスまたはディスプレイに、マルチメディア・コンテンツをストリーム配信することが出来る。このピア・ツー・ピア・ネットワーク、コンテンツ管理、配信およびストリーミングは、多くの異なる無線ネットワークを使用して達成することができる。これらのいくつかは、WiFi、ブルートゥース、セルラ、赤外/光、無線周波数(RF)並びに迅速な支払い及び処理のためのNFCを含む。この視界内にある全てのディスプレイおよびデバイスを接続する1つの方法は、単一のWiFiピア・ツー・ピア・ネットワークによることである。この場合、各デバイスは、独立型WiFiホットスポットおよびルータとして作動するマルチチャネル・ワイヤレスで直接的に接続するプラットフォームにより、ワイヤレスで接続されていて、手首コントローラは、一つ以上の無線および/またはインターネット対応デバイスと特別ピア・ツー・ピア・ネットワークを構築し、かつ遠隔の着用可能なビデオゲームおよびコンピュータ・コンソールおよび無線ハブとして作動する。手首コンソールは、一つ以上のデバイスと通信するために、ネットワークのいかなる組合せも使用することができる。
図1Aは、デバイスの内部のコンポーネントのためのモジュールを収容するものとして機能する上部手首モジュール102および下部手首モジュール103を表す手首コンソール101の実施態様の斜視図である。これらの手首モジュールは、実施態様では、2台の手首モジュールの間の通信ケーブルを収容する調節可能な手首ストラップ104に接続されている。このデバイスは、更に、手首ストラップ・リリース及び固定システム105、前方に向いている発光素子106及びセンサ107並びにマルチ・カメラ・レンズ・アレイ108を有する。図1Aは、発光素子とセンサ109、電気皮膚レスポンス・システム(Galvanic Skin Response System (GSR))110、そして触覚フィードバック・アレイ(触覚アレイ)111、ディスプレイ114の一部分、マイクロホン115、スピーカ116、そして上に向いているカメラ117を含む、下部モジュール体センサの内部を示す。
本出願は、2013年11月1日に出願された米国特許出願、シリアル番号14/070,425および2012年11月1日に出願された仮出願、シリアル番号61/796,056の優先権を主張する。そして、これらの出願は、全体がそれぞれこの参照によって本願明細書に組み込まれている。
Claims (41)
- ・収容モジュールと、
・プロセッサ、1つ以上の発光素子、および1つ以上のマルチレンズ・アレイを備え、かつ
当該収容モジュール内に収容されている、
光マッピング、走査、撮像、投影および光学インタフェーシング・システムと、
を備える、手首にマウントされるコンピューティング・デバイスであって、
当該プロセッサが、当該発光素子および当該マルチレンズ・アレイと通信し、
当該プロセッサが、当該発光素子および当該マルチレンズ・アレイをコントロールして、ユーザの体の表面を走査し、そして前記ユーザの手、指、体、及び周囲のオブジェクト並びに環境の何れかのフィールドのカラー画像の、当該走査された体の表面の奥行およびカラー・マップおよび画像に対する、3Dまたは4Dマルチ奥行を動的に捕え、
当該マルチレンズ・アレイが、
シーンの2つ以上の焦点ポイントの奥行を決定することによってステレオ三角測量を実行し、かつ1つの画像内のポイントおよび特徴を他の画像内の対応するポイントおよび特徴にマッチングさせることによって他の画像内の対応するポイントの前記奥行を決定する立体的アレイ、または
同時にフィールドの複数の奥行を捕えることによって捕えられた画像のすべてのポイントに奥行を割り当て、マルチプル・レンズを単一のセンサに割り当て、そして、各レンズがフィールドの異なる奥行を捕えると共に、ビューの全体のフィールドから光および色を捕える複眼アレイ
の何れかを備える、
手首にマウントされるコンピューティング・デバイス。 - 一つ以上のカメラを更に備える、請求項1に記載の手首にマウントされるコンピューティング・デバイス。
- 当該カメラが、ユーザの近傍にあるオブジェクトを走査するように機能し、そして、
当該プロセッサが、当該カメラから受信されたデータを処理して、走査されたオブジェクトのマップを作成する、請求項2に記載の手首にマウントされるコンピューティング・デバイス。 - 当該カメラが、前記ユーザの近傍のマルチプル・オブジェクトおよび表面を走査するように機能し、そして、
当該プロセッサが、当該1つ以上のカメラから受信された日付を処理して、前記ユーザの回りの前記環境のマップを作成する、請求項3に記載の手首にマウントされるコンピューティング・デバイス。 - 前記手首にマウントされるコンピューティング・デバイスの正確な場所を決定することができる場所決定モジュールを更に備え、
当該プロセッサが、当該カメラから受信されたデータに関連させて前記場所決定モジュールから受信されたデータを処理して、前記ユーザの回りの前記環境のマップを作成する、請求項4に記載の手首にマウントされるコンピューティング・デバイス。 - 前記ユーザの体表面、前記ユーザの体内、または外部オブジェクトにマウントされているセンサからのデータおよび位置信号を受信する信号受信モジュールを、更に、備える、請求項1に記載の手首にマウントされるコンピューティング・デバイス。
- 前記手首の内部方向に向いていて、かつ前記ユーザの前記心拍数、前記ユーザの血液の前記酸素含有量または前記ユーザの手首の範囲内の腱運動を検出するように機能する赤外線発光素子および感知モジュールを、更に、備える、請求項1に記載の手首にマウントされるコンピューティング・デバイス。
- グラフィカル・ユーザ・インタフェースを表面に投影するプロジェクタを、更に、備え、
前記プロセッサが、投影されたユーザ・インタフェースにより前記体の表面の前記マップとのユーザの対話を決定する、請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - コンピューティング・デバイスを他のデバイスとインターフェースさせる、コンピュータにより実行される方法であって、
手首にマウントされるコンピューティング・デバイスを提供するステップを備え、
当該手首にマウントされるコンピューティング・デバイスが、プロセッサを含み、
当該プロセッサが、当該手首にマウントされるコンピューティング・デバイスが、以下のステップ、
(a)1つ以上の発光素子、および
シーンの2つ以上の焦点ポイントの奥行を決定することによってステレオ三角測量を実行し、かつ1つの画像内のポイントおよび特徴を他の画像内の対応するポイントおよび特徴にマッチングさせることによって他の画像内の対応するポイントの前記奥行を決定する立体的アレイ、または、
同時にフィールドの複数の奥行を捕えることによって捕えられた画像のすべてのポイントに奥行を割り当て、マルチプル・レンズを単一のセンサに割り当て、そして、各レンズがフィールドの異なる奥行を捕えると共に、ビューの全体のフィールドから光および色を捕える複眼アレイ、
の何れかを備えるマルチレンズ・アレイ、
によりユーザの体の一部の表面を走査するステップ、
(b)前記ユーザの手、体、周囲のオブジェクトおよび環境の何れかのフィールドのカラー画像の3Dまたは4Dマルチ奥行を動的に捕え、当該走査された体の表面の1つ以上のマップを作成するために、当該走査により得られたデータを処理するステップ、および
(c)前記体の前記表面の1つ以上のマップを使用して外部デバイスとインタフェースするステップ、
を実行することにより、前記ユーザの体の一部をマップする命令を実行する、
コンピュータにより実行される方法。 - 外部デバイスとインタフェースする前記ステップが、
前記手首にマウントされるコンピューティング・デバイス内のプロジェクタによりグラフィカル・ユーザ・インタフェースを表面に投影するステップと、
前記プロセッサにより形成された前記体の表面の前記マップを使用して、前記グラフィカル・ユーザ・インタフェースとのユーザの対話を決定するステップと
を備える、請求項9に記載の方法。 - 外部デバイスとインタフェースする前記ステップが、
前記プロセッサにより生成された、走査された前記体の前記表面のマップを使用することにより、前記ユーザにより実行されたジェスチャを決定するステップと、
前記決定されたジェスチャに基づいて、既定の信号を外部デバイスに転送するステップとを
備える、請求項9に記載の方法。 - 外部デバイスとインタフェースする前記ステップが、場所決定モジュールを使用して前記手首にマウントされるコンピューティング・デバイスの場所を決定するステップと、
前記手首にマウントされるコンピューティング・デバイスの場所および前記プロセッサにより作成された走査された体の表面のマップに基づいて、インタフェースする複数の可能なデバイスの中から特定のデバイスを決定するステップと
を備える、請求項9に記載の方法。 - 前記手首にマウントされるコンピューティング・デバイスの場所を決定するステップが、更に、
前記ユーザの近傍の表面とオブジェクトを走査するステップと、
前記手首にマウントされるコンピューティング・デバイスのプロセッサ内での前記表面とオブジェクトを走査するステップで受信されたデータを処理して前記ユーザの周りの前記環境のマップを作成するステップと
を備える、請求項12に記載の方法。 - 当該ユーザの体の表面を走査しかつ撮像した後、当該プロセッサが、対応する奥行マップを作成し、かつ当該奥行マップを、各ポイントがx、yおよびz(奥行)座標で指定されている対応するベクトルの頂点を備えるポイント・クラウドに変換するステップと、
当該プロセッサが、当該ポイント・クラウドを、当該ユーザの体の表面上のポイントが接続されている表面メッシュに変換するステップであって、当該メッシュが、当該ユーザの体の表面の形状、テクスチャ、輪郭をフォローしている、ステップと、
前記ユーザの関節をマップし、関節の位置を当該マッピングのマッチした領域に割当て、内部モデルを生成し、当該リギングを当該メッシュおよびモデルに付着させ、そして前記モデルの前記メッシュと表面への影響領域を、当該デバイスを着用したときの前記ユーザの体の動きと類似するように、割当てることにより、当該プロセッサが、当該デバイスを着用したときの当該ユーザの動きを写すために動画化されている機能キャラクタ・モデルに、当該表面メッシュを変換するステップと、
を備える請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - 当該ユーザの体の表面を走査しかつ撮像した後、当該プロセッサが、対応する奥行マップを作成し、かつ当該奥行マップを、各ポイントがx、yおよびz(奥行)座標で指定されている対応するベクトルの頂点を備えるポイント・クラウドに変換するステップと、
当該プロセッサが、当該ポイント・クラウドを、当該ユーザの体の表面上のポイントが接続されている表面メッシュに変換するステップであって、当該メッシュが、当該ユーザの体の表面の形状、テクスチャ、輪郭をフォローしている、ステップと、
前記ユーザの関節をマップし、関節の位置を当該マッピングのマッチした領域に割当て、内部モデルを生成し、当該リギングを当該メッシュおよびモデルに付着させ、そして前記モデルの前記メッシュと表面への影響領域を、当該デバイスを着用したときの前記ユーザの体の動きと類似するように、割当てることにより、当該プロセッサが、当該デバイスを着用したときの当該ユーザの動きを写すために動画化されている機能キャラクタ・モデルに、当該表面メッシュを変換するステップと、
を備える請求項9に記載の方法。 - 1つ以上の光線の焦点ポイントを、手、体、周囲の対象物および表面を走査して、xおよびy軸グリッドに渡って上下および前後に移動するよう割り当てることができる狭いまたは広いビーム発光素子、
ユーザの手、体、周囲のオブジェクトおよび表面の上部および下部に渡って光スペックル・パターンを生成する1つ以上の発光素子およびディフューザを有する立体光撮像システム、
連続的に、ユーザの生物測定データを撮像し、記録しかつモニタするために1つ以上の赤外(IR)および近赤外線発光素子およびセンサを有する赤外光撮像および分光システム、
ユーザの手、指、体および周囲のオブジェクトと表面にフルカラーの画像、ビデオおよび/または双方向グラフィック・ユーザ・インタフェースを投影するための1つ以上の発光素子を有する投影システム、
の何れかを備える、1つ以上の発光素子を有する光撮像システムを更に備える、請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - 前記手首にマウントされるコンピューティング・デバイスの中の狭いまたは広いビーム発光素子および走査システムが、走査プロセスの間、1つ以上の光ビームの焦点ポイントを、xおよびy軸のグリッド構造に渡って上下そして前後に移動させるように構成することができる、請求項16に記載の手首にマウントされるコンピューティング・デバイス。
- 前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像システムが、ユーザの手、体、周囲のオブジェクトおよび表面上に、光スペックル・パターンを生成し、かつ前記手首にマウントされるコンピューティング・デバイスの中の1つ以上のカメラ・センサが、前記パターンを認識し、
ターゲット表面から離れた各ドットの方向性反射は、カメラ・センサの範囲内で異なる画素に到達し、かつ各光のビームは、ターゲット表面の位置、奥行および形状を決定するために、三角に分けられる、
請求項16に記載の手首にマウントされるコンピューティング・デバイス。 - 前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像システムは、手、体、周囲のオブジェクトおよび環境の奥行マッピングおよびモデリングルのために使用される、請求項16に記載の手首にマウントされるコンピューティング・デバイス。
- 赤外(IR)および近赤外撮像およびセンサ・システムに向いている上部および下部の二重手首モジュールが、同時のおよび連続する、心拍数モニタ、パルス・オキシメータ、グルコース計、温度計、心電計(ECG)およびガルバーニ電気応答システムを可能にし、
手首の両側の2つの変調波長撮像およびセンサ・システムが、ユーザの心拍数、血液酸素、血糖、体温、電気的活性、皮膚コンダクタンス、体のストレスおよび就眠パターンを測定するために、同一または異なるIRおよび近赤外波長を使用して、同じまたは異なる作業を、同時に、遂行することが可能であり、
上部および下部モジュールの手首撮像システムが、より正確な測定を成し遂げかつ検証するために同じまたは類似の読取を達成するまで、両方のモジュールが、異なる波長を使用して、協働して、光波長をシフトさせる同じ作業を遂行するように作動することが、可能であり、かつ
これに代えて、各モジュールが、機能性および効率を拡張するために、同じまたは異なる作業を遂行することができる、
請求項16に記載の手首にマウントされるコンピューティング・デバイス。 - 前記手首コンピューティング・コンソールの範囲内のレーザー・プロジェクタまたは他の光撮像システムが、カラー画像、ビデオおよび/または双方向グラフィック・ユーザ・インタフェースをユーザの手、指、体および/または周囲のオブジェクトおよび表面に、投影しかつマップし、
手首にマウントされるコンピューティング・デバイスの中の前記プロセッサおよびプロジェクタが、投影された画像、ビデオおよび/または双方向グラフィック・ユーザ・インタフェースの角度、サイズ、形状およびコンテンツを、ユーザの手および指または他の周囲の静止または動くオブジェクトのサイズ、形状、位置および表面に適合するおよび輪郭を合わせるように、連続的に調整する、
請求項16に記載の手首にマウントされるコンピューティング・デバイス。 - 2Dまたは3Dコンピューティングまたは物理的環境でのインタフェーシングのためにユーザの手、指、体および外部オブジェクトを取り込む、バーチャルの又は物理的なユーザ・インタフェースのマルチポイント・コントロールのための3Dジェスチャ・インタフェーシング・システムを、更に、備え、
3Dジェスチャ・インタフェース・システムが、
当該手首にマウントされるコンピューティング・デバイス、周囲の対象物および表面、遠隔のデバイスまたは2Dまたは3D仮想オブジェクトまたはコンピューティング環境に対する、ユーザの手および指の空間位置を、連続的にマップしかつ識別し、かつ
ユーザの手、指、周囲のオブジェクトおよび表面上に投影された、手首に表示されたグラフィック・ユーザ・インタフェース、仮想オブジェクトまたは環境をインタフェースしかつコントロールする目的のために、1つ以上のコントロールおよび/または機能性のポイントを、各指の先端におよび/またはユーザの手および指の他のポイントに割り当て、
および/または遠隔のネットワーク化されたデバイス、ヘッドアップ・ディスプレイまたは他の実または仮想インタフェース、オブジェクトまたはコンピューティング環境をコントロールする、
ことができる、請求項16に記載の手首にマウントされるコンピューティング・デバイス。 - マルチレンズ・アレイを備えている1つ以上の光学センサが、手、体、周囲の対象物および環境の奥行およびカラー・マッピング、モデリングおよび撮像のために、独立して、または前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像および走査システムと結合して使用される、請求項1に記載の手首にマウントされるコンピューティング・デバイス。
- マルチレンズ・アレイを備えている1つ以上の光学センサが、独立して、またはユーザの手、指、体およびその視野の周囲の対象物の位置および動きを、動的にかつ連続的に、識別し、モニタしそしてマップするために、前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像および走査システム、センサ・マッピング・システムおよび位置および方位モジュールと協働して、使用され、
前記手首にマウントされているコンピューティング・デバイス内の当該プロセッサが、前記カメラ視野での前記ユーザの手、指、体および周囲のオブジェクトの前記正確なx、yおよびz空間および奥行座標を計算するために、前記光学光撮像および撮像データ、ネットワーク化されたセンサデータおよび場所および方向データを処理し、
前記マップされたオブジェクトの3次元モデルを生成し、前記マップされたオブジェクト上の関節およびコントロール・ポイントおよびネットワーク化されているセンサを識別し、かつそれらを前記3次元モデルに割り当て、
前記マップされたオブジェクトの前記動きおよび位置を、動的かつ連続的に、更新しかつ記録し、かつマップされたオブジェクトおよび表面の前記動きおよび位置を反映するために、前記3次元モデルを動画化させる、
請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - 当該ユーザの体表面を走査しかつ撮像しかつ対応する奥行きマップを作成した後、当該プロセッサが、当該奥行きマップを、各ポイントにx、yおよびz(奥行)座標が割り当てられている対応するベクトルを有する頂点のマップを備えるポイント・クラウドに、変換することができ、
当該プロセッサが、次いで、当該ポイントを、当該ユーザの体表面上のポイントが接続されている表面メッシュに変換し、当該メッシュが、当該ユーザの体表面の形状、テクスチャおよび輪郭をフォローしていて、
当該プロセッサは、次いで、ユーザの関節をマッピングし、関節位置を当該モデル上のマッチしている領域に割り当て、ユーザの骨および関節をシミュレーションしている内部リギングを生成し、そして、当該メッシュおよびモデルに当該リギングを付着させ、そして、当該モデルが、当該デバイスを着用しているときのユーザの体の動きの効果に類似させて移動しかつコントロールされることが可能となるように、影響の領域を当該メッシュおよび前記モデルの表面に割り当てることにより、当該表面メッシュを、当該デバイスを着用しているときの当該ユーザの動きを反映させるために動画にされる機能キャラクタ・モデルに、変換することができる、
請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - 周囲のオブジェクトに対する、前記手首にマウントされるコンピューティング・デバイスの正確な高度、空間位置、方向運動および方位を決定するための動きおよび方位モジュールを備え、
当該プロセッサが、光学および構造光撮像および走査システムに関連して方位モジュールから受信されたデータを処理して、連続的に前記マップを更新しかつ前記ユーザの手、指および体の前記モデルを動画にし、かつ前記周囲のオブジェクトおよび環境に対して前記手首にマウントされるコンピューティング・デバイスの空間位置を特定する、
請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - GPS、ワイド、ローカルおよびパーソナル・エリア・ネットワーク、近フィールド通信(NFC)無線周波数(RF)および赤外(IR)ネットワーク、そして連続的に前記手首にマウントされるコンピューティング・デバイスのための屋内および屋外の位置データを集め、そしてマップされおよび撮像されたオブジェクトおよび環境および捕えられ、記録されおよび/または送信されたデータに位置データを割り当てるためのワイヤレス・センサ・ネットワーク(WSN)を備える場所決定モジュールを、更に、備え、
当該プロセッサが、光学および構造光撮像および走査システムに関連して方位モジュールから受信されたデータを処理して、連続的に前記手首にマウントされるコンピューティング・デバイスの前記位置を更新し、そして前記マップされてかつ物理的な周囲のオブジェクトへの前記正確な距離および前記手首にマウントされるコンピューティング・デバイスの相対位置を算出する、
請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - 当該手首にマウントされるコンピューティング・デバイスと他のネットワーク化されたデバイスとセンサとの間に、そして手首にマウントされるコンピューティング・デバイスとインターネット、VPNまたは他のネットワーク化されたたデータおよび/または媒体ハブとの間に、双方向、マルチ・フィード、マルチチャネルおよび同時マルチ・ネットワーク、リアルタイム音声、データおよびオーディオ・ビデオ通信を、確立するように構成されている、ワイド、ローカルおよびパーソナル・エリア・ネットワーク、近フィールド通信(NFC)無線周波数(RF)および赤外(IR)ネットワークワイヤレス・センサ・ネットワーク(WSN)を備える場所決定モジュールを、更に、備える、請求項1に記載の手首にマウントされるコンピューティング・デバイス。
- 当該手首にマウントされるコンピューティング・デバイスと、体に着用され、付着され、および/または挿入されたセンサ、および/またはリモートセンサおよび無線ネットワーク化されたデバイスと間のピア・ツー・ピア・ネットワークのための網目状ネットワークを作動させるように、構成されているセンサ・ハブおよびワイヤレス・センサ・ネットワーク(WSN)を、更に、備え、
手首コンピューティング・コンソールが、各センサと直接、および/または各センサが、前記ネットワーク内の前記他のセンサへ/からデータを送受信するノードとして作動する網目状ネットワークを介して通信する、
請求項27に記載の手首にマウントされるコンピューティング・デバイス。 - 1つ以上の体に着用され、付着されおよび/または挿入されたセンサの前記位置および空間位置を連続的にマップし、そして、前記3D位置、速度および各センサおよび前記ユーザの体上または内部の関係位置の加速度を特定することによって、体の動きを記録するように構成されている体センサを更に備え、前記体の3次元モデルを生成することが、動いている体の将来の位置を算出するために、x、yおよびzの距離座標、vx、vyおよびvzの速度座標、ax、ayおよびazの加速度座標により、数学的に記載することができるように構成されている、体センサ・マッピング・システムを更に備え、
当該プロセッサが、個々のセンサおよび/またはメッシュセンサ・グループを特定しかつネットワーク化し、前記手首コンソールが、連続データ・ストリームとして全体の体の動きおよび加速を捕えることを可能とするように、各センサの前記正確な位置を前記ユーザの3Dキャラクタ・モデルにマップし、そして、そのデータを前記ユーザの3Dリッグされた仮想モデルに割り当てて、仮想環境および体全体の3D動きで前記ユーザの体のリアルタイム・アニメーションおよび物理的な環境でのジェスチャ・インタフェーシングを提供することが可能である、
請求項29に記載の手首にマウントされるコンピューティング・デバイス。 - 1つ以上の遠隔ワイヤレス・センサおよび/またはワイヤレス・ネットワーク化されたデバイスへ/から連続的に信号を送受信し、それらの位置、3D空間および関係位置を特定するように構成されているリモートセンサ・マッピングシステムを、更に、備え、
当該プロセッサが、信号識別、方向位置、信号強度および前記信号受信モジュールによって受信された他の信号データを処理して、前記正確なx、yおよびz座標および1つ以上のセンサの空間位置を決定し、ネットワーク化されたセンサの3Dマップを構築する、
請求項29に記載の手首にマウントされるコンピューティング・デバイス。 - 1以上の能動タッチスクリーン・ディスプレイ、画像プロジェクタ、マイクロホン、スピーカ、ビデオカメラ、を撮像し、そして、光学の、光および方位センサ、かつ触覚の(触覚型)センサアレイを含むように構成されているソフトウェアおよびハードウェア・コンポーネントを、当該ハウジングの中に更に備え、
当該プロセッサが、音声コマンド、ステレオ音響システム、オーディオ−ビデオ通信、タッチスクリーン・インタフェース、投影インタフェース、動きジェスチャ・インタフェースおよび触覚フィードバックを含むインタフェースの広いアレイを動作させる、
請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - 単一のまたはステレオのマイクロホン、カスタマイズ可能でかつプログラム可能な音声アクチベーション、音声認識および音声コマンド・システムを備える音声コマンド・モジュールを更に備える、請求項31に記載の手首にマウントされるコンピューティング・デバイス。
- 組込形単一またはステレオ・スピーカおよび有線または無線ヘッドホンのためのステレオ音響システムを備えるオーディオ・システムを更に備える、請求項31に記載の手首にマウントされるコンピューティング・デバイス。
- 搭載のまたは遠隔の格納のため、送信、および1以上のネットワーク化されたデバイスとのリアルタイム音声、データおよびオーディオ・ビデオ通信、および/または前記インターネット、VPN、または他のネットワーク化されたデータおよび/またはメディア・ハブへの通信のために、2D、3Dまたは4Dの静止画像および動きビデオを、捕え、編集し、処理し、表示しかつストリーム配信するように構成されているソフトウェアおよびハードウェア・コンポーネントを、更に、備える、請求項31に記載の手首にマウントされるコンピューティング・デバイス。
- コンテンツ及びグラフィック・ユーザ・インタフェースに表示された、個人化された画像ディスプレイのためのタッチスクリーン・ディスプレイ及びデバイス機能のタッチスクリーン・コントロールを、更に、備える、請求項31に記載の手首にマウントされるコンピューティング・デバイス。
- 任意の表面に投影された2Dまたは3Dのインタフェースのマルチポイント・コントロールのための投影インタフェーシング・システムを更に備え、
前記ユーザの手および指、体および/または周囲のオブジェクトおよび/または表面にマップされた双方向2Dまたは3Dグラフィック・ユーザ・インタフェース・ディスプレイに対する、前記ユーザ・コントロールの手および指の前記位置を、光マッピングしおよび/または光学的に撮像することにより、当該プロセッサが、投影されたユーザ・インタフェースとのユーザの対話処理を決定する、請求項31に記載の手首にマウントされるコンピューティング・デバイス。 - 2Dまたは3Dユーザ・インタフェース、ディスプレイ、仮想または物理オブジェクトおよび/またはコンピューティング環境のマルチポイント・コントロールのための連結している動きジェスチャ・インタフェーシング・システムを、更に、備え、
当該プロセッサ、光マッピング、光学撮像、動き及び方位、位置及び通信システムが、協働して機能して、前記ユーザの手、指、体および周囲のオブジェクトと環境を動的に奥行きマップしかつ撮像し、そして周囲のオブジェクト、ディスプレイ、インタフェース及びコンピューティング環境に対する、前記手首コンピューティング・コンソール及び前記ユーザの手、指及び体の位置、空間位置、方向の動き及び方位を特定し、
前記動きジェスチャ・インタフェーシング・システムが、
前記ユーザの手、指、体及び周囲のオブジェクト及び前記ユーザの指の各々の先端のような表面に、ユーザが選択したコントロール・ポイントを割り当て、そして次に、1以上の周囲の物理ディスプレイ、インタフェース、仮想または物理オブジェクトおよび/またはコンピューティング環境に対する、各々のコントロール・ポイントの前記x、y及びz空間位置を、動的に特定しかつマップすることによって、前記選択されたコントロール・ポイントの1以上のものを用いた2Dまたは3Dオブジェクトおよび/またはインタフェースをコントロールすることが可能であり、
指定されたタスク、デバイス機能、またはアプリケーションを遂行するために、ユーザは、機能性を、手と指の動き、1以上の指を、前記ユーザの手、指、体および/または周囲のマップされたオブジェクト及び表面上の他の任意の指、または指定されたポイントまたは領域にタッチする、ジェスチャおよび/またはタッチのいかなる組合せにも割り当てることを使用することができる、
請求項31に記載の手首にマウントされるコンピューティング・デバイス。 - プログラム可能な触覚の応答システムのための触覚フィードバック・アレイを更に備え、
手首コンピューティング・コンソールが、前記上部及び下部手首ユニット上に触覚センサのアレイを含み、
ボタンを押すまたは投影されたキーボード・ディスプレイの物理キーをタイピングするまたはヘッドアップ・ディスプレイ上の仮想インタフェースをコントロールするまたは動いているまたはマルチ方向振動性応答を生成する感覚のような幅広い物理対話及びアプリケーションに対し、前記手首にマウントされるコンピューティング・デバイスが、微小な指、手、手首及び体の動きに対する複雑な振動性応答及び目標とされた位置的振動性応答を生成して、ステアリング・ホイールを回し、ボールを打ち、または仮想コンピューティングまたはビデオゲーム環境で銃を発砲するような仮想の物理アクションをシミュレートすることが出来、
前記触覚応答システムが、入呼または出呼、テキストまたは他の物理またはコンテクストのイベントまたは健康、フィットネスまたは緊急警報システムを示し、前記手首コンピューティング・コンソールが、不安定な心拍数、グルコース・レベルの低下またはスパイク、またはモニタされている生物測定情報の他の急変化を認識すると、装着者に警告するためにも使用することができる、
請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - ユーザ識別及び認証のためのセキュリティ・モジュールを更に備える、手首にマウントされるコンピューティング・デバイスであって、前記セキュリティ・モジュールが、
連続する、ユーザが開始させた、および/またはイベント型のユーザ識別及び認証のための手掌及び指プリント走査及び撮像のための当該プロセッサ及び光学センサ及び光撮像システムを備える手掌及び指紋検証システムと、
連続する、ユーザにより開始される、および/またはイベント型のユーザ識別及び認証に対しユーザの手及び指のサイズをマップしかつ計測する、当該プロセッサ及び光学センサ及び光撮像システムを備える手及び指マッピングシステムと、
心電計(ECG)リズム識別(RhythmIdentification)を実行して、前記ユーザの固有の心拍変動性を特定する、および/または連続する、ユーザにより開始されたおよび/またはイベント型のユーザ識別及び認証のために熱表皮効果撮像及び静電表皮効果伝導の測定のような他のバイオメトリック認証処理を実行する、当該プロセッサ、並びに赤外(IR)及び近赤外線波長撮像、分光及び生物測定センサーシステムの上部及び下部手首変調ユニットを備える生物測定検証システムと、
前記ユーザの手及び指の3D奥行きマップを生成し、かつ前記ユーザの手及び指の空間位置、方向動き及び方位を動的にマップして、3Dマルチポイント・ジェスチャ・インタフェーシング・システムを稼働させる、当該プロセッサ並びに光学センサ、光撮像システム及び動き及び方位センサを備えるジェスチャ認識及び認証システムであって、ユーザが、手及び指の動き、1本以上の指の、前記ユーザの手及び指上の指定されたポイントまたは領域へのジェスチャおよび/またはタッチのいかなる組合せをも生成しかつ記録して、ユーザ検証かつ認証のためのジェスチャに基づいて、セキュリティ・パスワードを生成することができるジェスチャ認識及び認証システムと、
当該プロセッサ、画像投影器及び光学センサ、及び画像、ビデオおよび/または双方向性のグラフィック・ユーザ・インタフェースを、前記ユーザの手、指、体および/または周囲のオブジェクトまたは表面に、投影しかつマップするための光撮像システムを備え、かつ前記ユーザの手、指、体または他のマップされたオブジェクトを使用して、当該投影された画像、ビデオおよび/またはユーザ・インタフェースとインタフェースして、ユーザの検証及び認証のために、ユーザにより割り当てられた英数字または他のパスワードまたはグラフィック・タッチまたはジェスチャ入力システムまたはアプリケーションを入力する、投影インタフェース・パスワードまたはグラフィック・ユーザ・インタフェース検証及び認証システムと、
独立して、または1つ以上の当該手掌及び指紋識別、手及び指マッピング識別および/または生物測定ユーザ検証及び認証システムと結合させて、実行されるユーザの検証及び認証に対し、ユーザにより割当てられた英数字または他のパスワードまたはグラフィック・タッチスクリーン・インタフェース・セキュリティ・システムまたはアプリケーションを入力する、当該プロセッサ及びタッチスクリーン・ディスプレイを備える、タッチスクリーン・インタフェース・パスワードまたはグラフィック・ユーザ・インタフェース入力識別及び認証システムと、
を、備える、請求項1に記載の手首にマウントされるコンピューティング・デバイス。 - イベント、トランザクション、位置および/またはコンテクストに基づいて自動化されおよび/またはユーザにより開始されたユーザ識別、検証及び認証システムを、更に、備え、
当該プロセッサ及びセキュリティ・モジュールは、前記ユーザによる直接の開始または活性化を伴いまたは伴わずに、かつ前記通信、位置及び方位モジュールと協働して、前記手掌及び指のプリント識別、手及び指のマッピング識別および/または生物測定識別システムの1つ以上を実行することによって、前記ユーザを自動的に特定しかつ検証して、
前記ユーザが、無線支払処理、ファイルの暗号化または解読、遠隔アクセスのようなタスクを遂行する、および/または、動作しているコンピューティング・システム、インターネット、VPNまたは他のユーザが認証したネットワーク、データまたはメディア・ハブにサインインする、または鍵無での家または車両へのエントリおよび/または1つ以上のユーザが認証したネットワーク化されたデバイスにアクセスしかつコントロールすることを可能にする、
請求項40に記載の手首にマウントされるコンピューティング・デバイス。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261796056P | 2012-11-01 | 2012-11-01 | |
US61/796,056 | 2012-11-01 | ||
US14/070,425 | 2013-11-01 | ||
PCT/US2013/068167 WO2014071254A1 (en) | 2012-11-01 | 2013-11-01 | Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing |
US14/070,425 US9690376B2 (en) | 2012-11-01 | 2013-11-01 | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016508241A JP2016508241A (ja) | 2016-03-17 |
JP6155448B2 true JP6155448B2 (ja) | 2017-07-05 |
Family
ID=50147529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015540837A Active JP6155448B2 (ja) | 2012-11-01 | 2013-11-01 | 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9690376B2 (ja) |
EP (1) | EP2915025B8 (ja) |
JP (1) | JP6155448B2 (ja) |
KR (2) | KR102065687B1 (ja) |
CN (2) | CN109799900B (ja) |
WO (1) | WO2014071254A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11314399B2 (en) | 2017-10-21 | 2022-04-26 | Eyecam, Inc. | Adaptive graphic user interfacing system |
US11573648B2 (en) | 2018-03-12 | 2023-02-07 | Sony Corporation | Information processing apparatus and information processing method to identify gesture operation of a user |
Families Citing this family (148)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7771320B2 (en) | 2006-09-07 | 2010-08-10 | Nike, Inc. | Athletic performance sensing and/or tracking systems and methods |
JP5926184B2 (ja) * | 2009-09-22 | 2016-05-25 | ペブルステック リミテッド | コンピュータ装置の遠隔制御 |
US10209771B2 (en) * | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
US10691219B2 (en) * | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9690376B2 (en) | 2012-11-01 | 2017-06-27 | Eyecam, Inc. | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing |
US9137524B2 (en) * | 2012-11-27 | 2015-09-15 | Qualcomm Incorporated | System and method for generating 3-D plenoptic video images |
US20140230019A1 (en) * | 2013-02-14 | 2014-08-14 | Google Inc. | Authentication to a first device using a second device |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US9609062B2 (en) * | 2013-06-26 | 2017-03-28 | Qualcomm Incorporated | Semantic mappings from human readable messages to programmatic interfaces |
US10408613B2 (en) | 2013-07-12 | 2019-09-10 | Magic Leap, Inc. | Method and system for rendering virtual content |
WO2015039050A1 (en) * | 2013-09-13 | 2015-03-19 | Nod, Inc | Using the human body as an input device |
US10585478B2 (en) | 2013-09-13 | 2020-03-10 | Nod, Inc. | Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices |
US9230430B2 (en) | 2013-11-27 | 2016-01-05 | Google Inc. | Detecting removal of wearable authentication device |
WO2015081568A1 (en) * | 2013-12-06 | 2015-06-11 | Nokia Technologies Oy | Apparatus and method for user input |
US20150177947A1 (en) * | 2013-12-20 | 2015-06-25 | Motorola Mobility Llc | Enhanced User Interface Systems and Methods for Electronic Devices |
KR101700817B1 (ko) * | 2014-01-10 | 2017-02-13 | 한국전자통신연구원 | 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 |
KR102135586B1 (ko) * | 2014-01-24 | 2020-07-20 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
US9823749B2 (en) | 2014-02-21 | 2017-11-21 | Nod, Inc. | Location determination and registration methodology for smart devices based on direction and proximity and usage of the same |
CN104866079B (zh) * | 2014-02-24 | 2018-11-09 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
EP3126932A1 (en) * | 2014-04-01 | 2017-02-08 | Sony Corporation | Harmonizing a projected user interface |
CN103984437B (zh) | 2014-04-28 | 2017-09-29 | 京东方科技集团股份有限公司 | 一种穿戴式触控装置和穿戴式触控方法 |
CN103995621B (zh) | 2014-04-28 | 2017-02-15 | 京东方科技集团股份有限公司 | 一种穿戴式触控装置和穿戴式触控方法 |
US20150323998A1 (en) * | 2014-05-06 | 2015-11-12 | Qualcomm Incorporated | Enhanced user interface for a wearable electronic device |
CN106687885B (zh) | 2014-05-15 | 2020-03-03 | 联邦快递公司 | 用于信使处理的可穿戴设备及其使用方法 |
CN105094301A (zh) * | 2014-05-16 | 2015-11-25 | 中兴通讯股份有限公司 | 一种控制方法、装置及电子设备 |
US9830781B2 (en) | 2014-06-13 | 2017-11-28 | Verily Life Sciences Llc | Multipurpose contacts for delivering electro-haptic feedback to a wearer |
CN105204613B (zh) * | 2014-06-27 | 2019-02-05 | 联想(北京)有限公司 | 一种信息处理方法及穿戴式设备 |
US10537821B2 (en) | 2014-06-30 | 2020-01-21 | Microsoft Technology Licensing, Llc | Interactive play sets |
US10518188B2 (en) | 2014-06-30 | 2019-12-31 | Microsoft Technology Licensing, Llc | Controlling physical toys using a physics engine |
US10478723B2 (en) | 2014-06-30 | 2019-11-19 | Microsoft Technology Licensing, Llc | Track based play systems |
US9363640B2 (en) * | 2014-08-05 | 2016-06-07 | Samsung Electronics Co., Ltd. | Electronic system with transformable mode mechanism and method of operation thereof |
KR102343657B1 (ko) | 2014-08-28 | 2021-12-24 | 삼성전자주식회사 | 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들 |
US20180101277A9 (en) * | 2014-09-24 | 2018-04-12 | Evan John Kaye | Skin Touchpad |
US10369477B2 (en) | 2014-10-08 | 2019-08-06 | Microsoft Technology Licensing, Llc | Management of resources within a virtual world |
US9696757B2 (en) | 2014-10-08 | 2017-07-04 | Microsoft Corporation | Transfer of attributes between generations of characters |
US20160109953A1 (en) * | 2014-10-17 | 2016-04-21 | Chetan Desh | Holographic Wristband |
KR101909540B1 (ko) | 2014-10-23 | 2018-10-18 | 삼성전자주식회사 | 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법 |
KR101632007B1 (ko) * | 2014-10-29 | 2016-06-21 | 엘지전자 주식회사 | 와치 타입의 제어 디바이스 |
US9721141B2 (en) * | 2014-10-30 | 2017-08-01 | Polar Electro Oy | Wrist-worn apparatus control with fingerprint data |
KR102029756B1 (ko) * | 2014-11-03 | 2019-10-08 | 삼성전자주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
KR20160055577A (ko) | 2014-11-10 | 2016-05-18 | 엘지전자 주식회사 | 웨어러블 디바이스 |
US9606697B1 (en) | 2014-11-11 | 2017-03-28 | Google Inc. | Display cursor for motion controller |
WO2016079774A1 (en) * | 2014-11-21 | 2016-05-26 | Johri Abhishek | System and method for data and command input |
US20160147304A1 (en) * | 2014-11-24 | 2016-05-26 | General Electric Company | Haptic feedback on the density of virtual 3d objects |
KR102347248B1 (ko) | 2014-11-26 | 2022-01-04 | 삼성전자주식회사 | 터치 제스쳐 인식 방법 및 장치 |
KR102364841B1 (ko) | 2014-12-04 | 2022-02-18 | 삼성전자주식회사 | 휴대용 헬스 케어 장치 및 그 동작 방법 |
US20160178906A1 (en) * | 2014-12-19 | 2016-06-23 | Intel Corporation | Virtual wearables |
NL2014037B1 (en) | 2014-12-22 | 2016-10-12 | Meyn Food Proc Technology Bv | Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass. |
KR20160085613A (ko) * | 2015-01-08 | 2016-07-18 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US11119565B2 (en) | 2015-01-19 | 2021-09-14 | Samsung Electronics Company, Ltd. | Optical detection and analysis of bone |
FR3034889B1 (fr) * | 2015-04-10 | 2017-04-28 | Cn2P Sas | Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras |
US10285627B2 (en) * | 2015-04-15 | 2019-05-14 | Pixart Imaging Inc. | Action recognition system and method thereof |
US9713871B2 (en) | 2015-04-27 | 2017-07-25 | Microsoft Technology Licensing, Llc | Enhanced configuration and control of robots |
US10007413B2 (en) | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
CN106293025A (zh) * | 2015-05-22 | 2017-01-04 | 上海中兴思秸通讯有限公司 | 终端设备的控制方法及系统 |
KR20160138806A (ko) * | 2015-05-26 | 2016-12-06 | 엘지전자 주식회사 | 글래스타입 단말기 및 그 제어방법 |
US10021527B2 (en) | 2015-06-08 | 2018-07-10 | Microsoft Technology Licensing, Llc | GPS sensor control |
US10166123B2 (en) * | 2015-06-29 | 2019-01-01 | International Business Machines Corporation | Controlling prosthetic devices with smart wearable technology |
EP3118762B1 (en) * | 2015-07-15 | 2020-03-11 | Biowatch SA | Method, device and computer program for authenticating a user |
US10092203B2 (en) | 2015-08-21 | 2018-10-09 | Verily Life Sciences Llc | Using skin resistance measurements to determine timing of bio-telemetry measurements |
US10398328B2 (en) * | 2015-08-25 | 2019-09-03 | Koninklijke Philips N.V. | Device and system for monitoring of pulse-related information of a subject |
US20180243155A1 (en) * | 2015-09-09 | 2018-08-30 | Ekso Bionics, Inc. | Systems and Methods for Creating Custom-Fit Exoskeletons |
US10234990B2 (en) * | 2015-09-29 | 2019-03-19 | Microchip Technology Incorporated | Mapping of position measurements to objects using a movement model |
JP6144743B2 (ja) * | 2015-09-30 | 2017-06-07 | 京セラ株式会社 | ウェアラブル装置 |
US11036318B2 (en) * | 2015-09-30 | 2021-06-15 | Apple Inc. | Capacitive touch or proximity detection for crown |
US11609427B2 (en) | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
US20170115737A1 (en) * | 2015-10-26 | 2017-04-27 | Lenovo (Singapore) Pte. Ltd. | Gesture control using depth data |
US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
EP3182328A1 (en) | 2015-12-17 | 2017-06-21 | Nokia Technologies Oy | A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image |
US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
US10289206B2 (en) * | 2015-12-18 | 2019-05-14 | Intel Corporation | Free-form drawing and health applications |
US10578882B2 (en) | 2015-12-28 | 2020-03-03 | Ostendo Technologies, Inc. | Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof |
CN106933340B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 手势动作识别方法、控制方法和装置以及腕式设备 |
CN106933341B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 一种在图像中确定手指所处区域的方法、装置及腕式设备 |
WO2017127451A1 (en) * | 2016-01-18 | 2017-07-27 | Anoop Molly Joseph | Multipurpose computer mouse |
CN105759999A (zh) * | 2016-02-29 | 2016-07-13 | 苌晨阳 | 加速度延时控制健康鼠标 |
US20170269697A1 (en) * | 2016-03-21 | 2017-09-21 | Intel Corporation | Under-wrist mounted gesturing |
US10353203B2 (en) | 2016-04-05 | 2019-07-16 | Ostendo Technologies, Inc. | Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices |
US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
US10638316B2 (en) * | 2016-05-25 | 2020-04-28 | Intel Corporation | Wearable computer apparatus with same hand user authentication |
CN107526430A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 一种在虚拟场景下进行三维建模的方法及装置 |
US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
EP3526775A4 (en) * | 2016-10-17 | 2021-01-06 | Muzik Inc. | INTEGRATED PROJECTOR AUDIO / VIDEO CLOTHING COMPUTER SYSTEM |
BR112019004847A2 (pt) * | 2016-10-25 | 2019-06-04 | Ericsson Telefon Ab L M | dispositivo usado no corpo do usuário, dispositivo sensível ao toque, métodos realizados por um dispositivo usado em corpo de usuário e por um dispositivo sensível ao toque, programa de computador, e, produto de programa de computador |
US10545219B2 (en) * | 2016-11-23 | 2020-01-28 | Chirp Microsystems | Three dimensional object-localization and tracking using ultrasonic pulses |
KR101908803B1 (ko) | 2016-12-20 | 2018-10-16 | 주식회사 포스코 | 열병합 발전 시스템 |
US10444908B2 (en) * | 2016-12-31 | 2019-10-15 | Innoventions, Inc. | Virtual touchpads for wearable and portable devices |
US10845885B2 (en) * | 2017-02-27 | 2020-11-24 | International Business Machines Corporation | Object scrolling and selection on a wearable computing device |
CN110573917B (zh) * | 2017-04-24 | 2022-08-23 | 奇跃公司 | 跟踪反向散射的激光斑点图案的光流 |
US10444865B2 (en) * | 2017-05-01 | 2019-10-15 | Google Llc | Tracking of position and orientation of objects in virtual reality systems |
US10033978B1 (en) | 2017-05-08 | 2018-07-24 | International Business Machines Corporation | Projecting obstructed content over touch screen obstructions |
US20210117680A1 (en) * | 2017-05-10 | 2021-04-22 | Humane, Inc. | Wearable multimedia device and cloud computing platform with laser projection system |
KR20180129133A (ko) * | 2017-05-25 | 2018-12-05 | 전자부품연구원 | 3차원 msp 기반 생체인식 장치 및 방법 |
KR101904085B1 (ko) * | 2017-06-07 | 2018-11-22 | 울산과학기술원 | 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 |
US10997649B2 (en) * | 2017-06-12 | 2021-05-04 | Disney Enterprises, Inc. | Interactive retail venue |
DE102017007856A1 (de) * | 2017-07-06 | 2019-01-10 | Davide Giusti | Gerät zur Wiedergabe von Inhalte Aus Endgeräte Mittels ein berührbare und beweglicher Freischwebender 3D Projektion |
US10682491B2 (en) | 2017-07-20 | 2020-06-16 | Bose Corporation | Earphones for measuring and entraining respiration |
US10481699B2 (en) * | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
CN107632699B (zh) * | 2017-08-01 | 2019-10-11 | 东南大学 | 基于多感知数据融合的人机自然交互系统 |
CN107633853B (zh) * | 2017-08-03 | 2020-07-03 | 广东小天才科技有限公司 | 一种播放音视频文件的控制方法及用户终端 |
RU2678494C1 (ru) | 2017-08-24 | 2019-01-29 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для биометрической идентификации пользователя с использованием рч (радиочастотного) радара |
US10591730B2 (en) * | 2017-08-25 | 2020-03-17 | II Jonathan M. Rodriguez | Wristwatch based interface for augmented reality eyewear |
JP6991022B2 (ja) * | 2017-09-12 | 2022-02-03 | オムロンヘルスケア株式会社 | 表示制御装置およびプログラム |
US10386938B2 (en) * | 2017-09-18 | 2019-08-20 | Google Llc | Tracking of location and orientation of a virtual controller in a virtual reality system |
US10460512B2 (en) * | 2017-11-07 | 2019-10-29 | Microsoft Technology Licensing, Llc | 3D skeletonization using truncated epipolar lines |
US20190187875A1 (en) * | 2017-12-15 | 2019-06-20 | International Business Machines Corporation | Remote control incorporating holographic displays |
CN109934065B (zh) * | 2017-12-18 | 2021-11-09 | 虹软科技股份有限公司 | 一种用于手势识别的方法和装置 |
EP3732672A4 (en) * | 2017-12-27 | 2021-09-15 | Adesanya, Olaoluwa O. | PORTABLE COMPUTER DEVICE FOR AUGMENTED REALITY, VIRTUAL REALITY AND ARTIFICIAL INTELLIGENCE INTERACTIONS, AND RELATED PROCESSES |
US11150746B2 (en) * | 2018-06-28 | 2021-10-19 | Google Llc | Wearable electronic devices having user interface mirroring based on device position |
US11099647B2 (en) * | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
US10802598B2 (en) | 2018-08-05 | 2020-10-13 | Pison Technology, Inc. | User interface control of responsive devices |
KR102067377B1 (ko) * | 2018-08-06 | 2020-02-11 | 최기은 | 배터리가 구비된 스트랩을 가지는 착용 가능한 휴대용 단말기 |
WO2020053858A1 (en) * | 2018-09-14 | 2020-03-19 | ChroniSense Medical Ltd. | System and method for monitoring respiratory rate and oxygen saturation |
US11244080B2 (en) | 2018-10-09 | 2022-02-08 | International Business Machines Corporation | Project content from flexible display touch device to eliminate obstruction created by finger |
EP3653120A1 (en) * | 2018-11-15 | 2020-05-20 | Koninklijke Philips N.V. | A rehabilitation device and a method of monitoring hand positions |
CN109299394A (zh) * | 2018-11-26 | 2019-02-01 | Oppo广东移动通信有限公司 | 信息推送方法及相关产品 |
US11093041B2 (en) * | 2018-11-30 | 2021-08-17 | International Business Machines Corporation | Computer system gesture-based graphical user interface control |
US10963103B1 (en) * | 2018-12-24 | 2021-03-30 | Facebook Technologies, Llc | Display system with integrated depth detection |
CN111383345B (zh) * | 2018-12-29 | 2022-11-22 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
EP3931676A4 (en) * | 2019-04-11 | 2022-04-13 | Samsung Electronics Co., Ltd. | HEAD MOUNTED DISPLAY DEVICE AND METHOD OF OPERATION THEREOF |
US11486961B2 (en) * | 2019-06-14 | 2022-11-01 | Chirp Microsystems | Object-localization and tracking using ultrasonic pulses with reflection rejection |
JP2021002288A (ja) * | 2019-06-24 | 2021-01-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、コンテンツ処理システム、および画像処理方法 |
US10965914B2 (en) * | 2019-07-08 | 2021-03-30 | Andrae T. D'Acquisto | Trail camera |
CN110558935B (zh) * | 2019-08-05 | 2022-02-01 | 南京阿尔法医学有限公司 | 医用局部麻醉平面监护仪的前端保护电路及方法 |
KR102306392B1 (ko) | 2019-08-19 | 2021-09-30 | 한국과학기술연구원 | 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치 |
US11467668B2 (en) * | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
US11308744B1 (en) * | 2019-12-27 | 2022-04-19 | Jimcy Exantus | Wrist-wearable tracking and monitoring device |
US11157086B2 (en) | 2020-01-28 | 2021-10-26 | Pison Technology, Inc. | Determining a geographical location based on human gestures |
US11199908B2 (en) | 2020-01-28 | 2021-12-14 | Pison Technology, Inc. | Wrist-worn device-based inputs for an operating system |
WO2021217142A1 (en) * | 2020-04-24 | 2021-10-28 | Cornell University | Deep continuous 3d hand pose tracking |
WO2021236170A1 (en) * | 2020-05-18 | 2021-11-25 | Google Llc | Low-power semi-passive relative six-degree-of-freedom tracking |
US11801434B2 (en) * | 2020-05-20 | 2023-10-31 | Mark Greenberg | Racquet sport scoring system |
WO2022030968A1 (ko) * | 2020-08-04 | 2022-02-10 | 삼성전자 주식회사 | 제스처를 인식하는 전자 장치 및 그 동작 방법 |
US11301041B1 (en) * | 2020-09-30 | 2022-04-12 | International Business Machines Corporation | Hand tremor accessible using augmented reality user interface |
US11592907B2 (en) * | 2020-10-20 | 2023-02-28 | Google Llc | Gesture-triggered augmented-reality |
CN113238650B (zh) * | 2021-04-15 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
US11619097B2 (en) | 2021-05-24 | 2023-04-04 | Saudi Arabian Oil Company | System and method for laser downhole extended sensing |
US11725504B2 (en) | 2021-05-24 | 2023-08-15 | Saudi Arabian Oil Company | Contactless real-time 3D mapping of surface equipment |
WO2022266122A1 (en) * | 2021-06-14 | 2022-12-22 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for an environment-aware predictive modeling framework for human-robot symbiotic walking |
US20230004229A1 (en) * | 2021-06-30 | 2023-01-05 | International Business Machines Corporation | Item selection with smart device monitoring of gestures |
KR20230018925A (ko) * | 2021-07-30 | 2023-02-07 | 삼성전자주식회사 | 프로젝션 디스플레이를 포함하는 웨어러블 전자 장치 |
US11995240B2 (en) | 2021-11-16 | 2024-05-28 | Neosensory, Inc. | Method and system for conveying digital texture information to a user |
US11847256B2 (en) * | 2022-03-04 | 2023-12-19 | Humane, Inc. | Presenting and aligning laser projected virtual interfaces |
US11797100B1 (en) * | 2022-09-23 | 2023-10-24 | Huawei Technologies Co., Ltd. | Systems and methods for classifying touch events based on relative orientation |
CN117459663B (zh) * | 2023-12-22 | 2024-02-27 | 北京天图万境科技有限公司 | 一种投射光自校正拟合与多色彩重定位方法及装置 |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US580726A (en) * | 1897-04-13 | Spindle | ||
US591372A (en) * | 1897-10-05 | Paper-binder | ||
US3541541A (en) | 1967-06-21 | 1970-11-17 | Stanford Research Inst | X-y position indicator for a display system |
JPS602134A (ja) | 1983-06-17 | 1985-01-08 | 早川 英雄 | 有害動物の威嚇装置 |
US5807267A (en) * | 1994-06-01 | 1998-09-15 | Advanced Body Metrics Corporation | Heart pulse monitor |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
AU3954997A (en) | 1996-08-14 | 1998-03-06 | Nurakhmed Nurislamovich Latypov | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
US7298360B2 (en) * | 1997-03-06 | 2007-11-20 | Harmonic Research, Inc. | Body-mounted selective control device |
US6747632B2 (en) | 1997-03-06 | 2004-06-08 | Harmonic Research, Inc. | Wireless control device |
US6778850B1 (en) * | 1999-03-16 | 2004-08-17 | Accuray, Inc. | Frameless radiosurgery treatment system and method |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
TW528881B (en) | 2001-02-05 | 2003-04-21 | Hitachi Int Electric Inc | Position measuring apparatus |
US6898517B1 (en) | 2001-07-24 | 2005-05-24 | Trimble Navigation Limited | Vehicle-based dynamic advertising |
US7134080B2 (en) | 2002-08-23 | 2006-11-07 | International Business Machines Corporation | Method and system for a user-following interface |
JP4007899B2 (ja) * | 2002-11-07 | 2007-11-14 | オリンパス株式会社 | 運動検出装置 |
US7242394B2 (en) | 2003-06-02 | 2007-07-10 | Polyvision Corp. | Slidable electronic whiteboard system |
CN100458910C (zh) | 2003-10-28 | 2009-02-04 | 松下电器产业株式会社 | 图像显示装置及图像显示方法 |
US20100289655A1 (en) | 2004-12-21 | 2010-11-18 | Elrod Scott A | Detecting descented material |
US20070052672A1 (en) * | 2005-09-08 | 2007-03-08 | Swisscom Mobile Ag | Communication device, system and method |
US8390821B2 (en) | 2005-10-11 | 2013-03-05 | Primesense Ltd. | Three-dimensional sensing using speckle patterns |
US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
US20090046140A1 (en) * | 2005-12-06 | 2009-02-19 | Microvision, Inc. | Mobile Virtual Reality Projector |
US7810504B2 (en) | 2005-12-28 | 2010-10-12 | Depuy Products, Inc. | System and method for wearable user interface in computer assisted surgery |
WO2008052006A2 (en) * | 2006-10-23 | 2008-05-02 | Xenogen Corporation | Apparatus and methods for fluorescence guided surgery |
KR20090061179A (ko) * | 2007-12-11 | 2009-06-16 | 한국전자통신연구원 | 데이터 입력 장치 및 이를 이용한 데이터 처리 방법 |
US20110183751A1 (en) * | 2008-01-22 | 2011-07-28 | Hiromu Ueshima | Imaging device, online game system, operation object, input method, image analysis device, image analysis method, and recording medium |
KR20100008322A (ko) | 2008-07-15 | 2010-01-25 | 엘지전자 주식회사 | 가변 포맷의 메시지를 이용한 대역 요청 방법 |
KR101284797B1 (ko) * | 2008-10-29 | 2013-07-10 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
US20100110264A1 (en) * | 2008-10-31 | 2010-05-06 | Lucent Technologies, Inc. | Image projection system |
GB2466497B (en) * | 2008-12-24 | 2011-09-14 | Light Blue Optics Ltd | Touch sensitive holographic displays |
JP2010244484A (ja) * | 2009-04-10 | 2010-10-28 | Funai Electric Co Ltd | 画像表示装置、画像表示方法および画像表示プログラム |
WO2011013079A1 (en) | 2009-07-30 | 2011-02-03 | Primesense Ltd. | Depth mapping based on pattern matching and stereoscopic information |
JP4988016B2 (ja) | 2009-08-27 | 2012-08-01 | 韓國電子通信研究院 | 指の動き検出装置およびその方法 |
US8421811B2 (en) | 2009-09-15 | 2013-04-16 | David Odland | Customized vehicle body |
US8717291B2 (en) | 2009-10-07 | 2014-05-06 | AFA Micro Co. | Motion sensitive gesture device |
CN101702103A (zh) * | 2009-11-19 | 2010-05-05 | 上海思佗科自动化科技有限公司 | 光学式轨迹捕捉输入装置 |
KR101302138B1 (ko) * | 2009-12-18 | 2013-08-30 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
JP2011146835A (ja) * | 2010-01-13 | 2011-07-28 | Seiko Epson Corp | 光学読取装置、光学読取装置の制御方法、及び、プログラム |
JP2013518673A (ja) | 2010-02-02 | 2013-05-23 | ネルコー ピューリタン ベネット エルエルシー | 連続発光の光音響分光法 |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
US9377850B2 (en) * | 2010-03-15 | 2016-06-28 | Nec Corporation | Input device, input method and medium |
US8749557B2 (en) * | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
CN101882012A (zh) * | 2010-06-12 | 2010-11-10 | 北京理工大学 | 基于投影跟踪的笔式交互系统 |
US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
EP2403234A1 (en) | 2010-06-29 | 2012-01-04 | Koninklijke Philips Electronics N.V. | Method and system for constructing a compound image from data obtained by an array of image capturing devices |
US9261526B2 (en) | 2010-08-26 | 2016-02-16 | Blast Motion Inc. | Fitting system for sporting equipment |
JP5672862B2 (ja) | 2010-08-27 | 2015-02-18 | ソニー株式会社 | 撮像装置、撮像システム及び撮像方法 |
US9270807B2 (en) | 2011-02-23 | 2016-02-23 | Digimarc Corporation | Audio localization using audio signal encoding and recognition |
KR101818024B1 (ko) | 2011-03-29 | 2018-01-12 | 퀄컴 인코포레이티드 | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 |
US10061387B2 (en) | 2011-03-31 | 2018-08-28 | Nokia Technologies Oy | Method and apparatus for providing user interfaces |
US8228315B1 (en) * | 2011-07-12 | 2012-07-24 | Google Inc. | Methods and systems for a virtual input device |
US8733939B2 (en) | 2012-07-26 | 2014-05-27 | Cloudcar, Inc. | Vehicle content projection |
US9019267B2 (en) * | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
US9690376B2 (en) * | 2012-11-01 | 2017-06-27 | Eyecam, Inc. | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing |
JP5847058B2 (ja) | 2012-11-08 | 2016-01-20 | 本田技研工業株式会社 | 車両表示装置 |
WO2014197507A1 (en) | 2013-06-03 | 2014-12-11 | Points Lab Co. | Robotic smart sign system and methods |
US9609262B2 (en) | 2013-06-27 | 2017-03-28 | Intel Corporation | Device for adaptive projection |
US20150227164A1 (en) | 2014-02-07 | 2015-08-13 | Larry R. Laycock | Display and sensing systems |
CN106687885B (zh) * | 2014-05-15 | 2020-03-03 | 联邦快递公司 | 用于信使处理的可穿戴设备及其使用方法 |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US11314399B2 (en) | 2017-10-21 | 2022-04-26 | Eyecam, Inc. | Adaptive graphic user interfacing system |
-
2013
- 2013-11-01 US US14/070,425 patent/US9690376B2/en active Active
- 2013-11-01 JP JP2015540837A patent/JP6155448B2/ja active Active
- 2013-11-01 KR KR1020167036418A patent/KR102065687B1/ko active IP Right Grant
- 2013-11-01 EP EP13850844.5A patent/EP2915025B8/en active Active
- 2013-11-01 WO PCT/US2013/068167 patent/WO2014071254A1/en active Application Filing
- 2013-11-01 CN CN201811121347.6A patent/CN109799900B/zh active Active
- 2013-11-01 KR KR1020157011111A patent/KR101691633B1/ko active IP Right Grant
- 2013-11-01 CN CN201380069115.XA patent/CN105027030B/zh active Active
-
2017
- 2017-06-26 US US15/633,286 patent/US11262841B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11314399B2 (en) | 2017-10-21 | 2022-04-26 | Eyecam, Inc. | Adaptive graphic user interfacing system |
US11573648B2 (en) | 2018-03-12 | 2023-02-07 | Sony Corporation | Information processing apparatus and information processing method to identify gesture operation of a user |
Also Published As
Publication number | Publication date |
---|---|
KR102065687B1 (ko) | 2020-02-11 |
WO2014071254A1 (en) | 2014-05-08 |
EP2915025B8 (en) | 2021-06-02 |
CN105027030B (zh) | 2018-10-23 |
CN109799900A (zh) | 2019-05-24 |
KR20170003713A (ko) | 2017-01-09 |
WO2014071254A4 (en) | 2014-07-10 |
US11262841B2 (en) | 2022-03-01 |
CN105027030A (zh) | 2015-11-04 |
US9690376B2 (en) | 2017-06-27 |
EP2915025A1 (en) | 2015-09-09 |
CN109799900B (zh) | 2023-02-28 |
KR101691633B1 (ko) | 2017-01-09 |
EP2915025A4 (en) | 2016-11-02 |
US20180129284A1 (en) | 2018-05-10 |
EP2915025B1 (en) | 2021-04-07 |
US20140055352A1 (en) | 2014-02-27 |
KR20150099510A (ko) | 2015-08-31 |
JP2016508241A (ja) | 2016-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6155448B2 (ja) | 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 | |
US20230401743A1 (en) | Systems and methods for augmented reality | |
CN106575164B (zh) | 检测装置、检测方法、控制装置和控制方法 | |
IL290002B2 (en) | Automatic control of a wearable display device based on external conditions | |
US11907423B2 (en) | Systems and methods for contextualized interactions with an environment | |
KR20150129621A (ko) | 원격 상호 작용을 위한 햅틱 피드백을 제공하는 시스템 및 방법 | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
US11086392B1 (en) | Devices, systems, and methods for virtual representation of user interface devices | |
US20180095532A1 (en) | Virtual Reality Head-Mounted Device | |
Hu et al. | StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
WO2020116233A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
US20230195401A1 (en) | Information processing apparatus and information processing method | |
JP2019207572A (ja) | 情報処理装置及びプログラム | |
JP2018190196A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
TW201816545A (zh) | 虛擬實境頭戴式裝置 | |
Zhao | Human Point-to-point Reaching and Swarm-teaming Performance in Mixed Reality | |
WO2023244579A1 (en) | Virtual remote tele-physical examination systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6155448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |