CN109799900B - 手腕可安装计算通信和控制设备及其执行的方法 - Google Patents
手腕可安装计算通信和控制设备及其执行的方法 Download PDFInfo
- Publication number
- CN109799900B CN109799900B CN201811121347.6A CN201811121347A CN109799900B CN 109799900 B CN109799900 B CN 109799900B CN 201811121347 A CN201811121347 A CN 201811121347A CN 109799900 B CN109799900 B CN 109799900B
- Authority
- CN
- China
- Prior art keywords
- user
- wrist
- map
- data
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004891 communication Methods 0.000 title claims description 11
- 238000013507 mapping Methods 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 56
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 230000006855 networking Effects 0.000 claims abstract description 13
- 210000000707 wrist Anatomy 0.000 claims description 120
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 10
- 210000004369 blood Anatomy 0.000 claims description 7
- 239000008280 blood Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000036541 health Effects 0.000 claims description 6
- 210000004247 hand Anatomy 0.000 claims description 5
- 210000002216 heart Anatomy 0.000 claims description 5
- 210000002435 tendon Anatomy 0.000 claims description 5
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 claims description 4
- 210000003414 extremity Anatomy 0.000 claims description 4
- 239000008103 glucose Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 claims description 2
- 230000000747 cardiac effect Effects 0.000 claims description 2
- 210000003205 muscle Anatomy 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims 15
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims 3
- 229910052760 oxygen Inorganic materials 0.000 claims 3
- 239000001301 oxygen Substances 0.000 claims 3
- 230000026058 directional locomotion Effects 0.000 claims 2
- 230000002452 interceptive effect Effects 0.000 claims 2
- 230000036760 body temperature Effects 0.000 claims 1
- 210000003811 finger Anatomy 0.000 claims 1
- 210000002478 hand joint Anatomy 0.000 claims 1
- 230000003862 health status Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 230000003183 myoelectrical effect Effects 0.000 claims 1
- 210000003491 skin Anatomy 0.000 claims 1
- 210000003462 vein Anatomy 0.000 claims 1
- 238000005094 computer simulation Methods 0.000 description 13
- 238000003491 array Methods 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 210000001613 integumentary system Anatomy 0.000 description 1
- 210000004324 lymphatic system Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 210000004994 reproductive system Anatomy 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
- A61B5/1125—Grasping motions of hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
机载和远程设备的自主化、智能化、可穿戴的无线手腕装载的计算、显示和控制系统上的光和光学深度映射、三维(3D)成像、建模、建网和界面连接的装置和方法以及图形用户界面控制。本发明的实施例通过它的无线多媒体流和多界面显示以及投影系统使人、对象、设备和空间增强到虚拟环境以及使虚拟对象和界面增强到物理世界。
Description
本申请为2013年递交的,题为用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法的中国专利申请201380069115.X的分案申请。
对相关申请的交互引用
本申请要求2013年11月1号提交的美国专利申请号为14/070,425和2012年11月1号提交的临时申请号为61/796,056的优先权,其每一个都通过引用被全部合并于此。
技术领域
本发明设计可穿戴式计算领域。具体地说,本发明涉及用于3D映射、成像、建网、通信和多界面远程控制的设备和方法。
相关技术领域说明
现有的控制设备包括手持式有线x-y位置性输入设备形式的早期鼠标技术,如美国专利号3,541,541中的传感器和空间定位系统,如美国专利号6,005,548中的可穿戴式手、手指和对象空间定位系统,其纳入了手势、语音识别和触摸屏界面连接控制。
现有技术,如美国专利6,647,632,介绍了戴在手腕上的无线控制设备,光发射器和传感器被置于手的内部以确定用户的手和手指的位置,识别预分配的手势和语音命令并将数据中继到受控设备,以及美国专利8,292,833B2介绍了一种手腕戴式手指运动检测装置,其使用监测穿戴者肌腱的光学和超声波信号来识别他们的手和手指的位置和移动并将数据中继到受控设备。美国专利申请2009/0096783A1介绍了一种室内的三维结构成像系统和身体动作和手势界面连接系统,其使用光斑点图案来3D映射被照对象,以及美国专利申请2011/0025827介绍了一种立体深度映射,其使用光投影和三维色彩成像的组合,这两个系统都被限制为从固定的位置深度映射、建模和界面连接。
鼠标和其它手持和可穿戴界面连接设备的一个共同的属性是被定位为控制器是对于远程受控设备和计算系统的外围设备和位置数据输入附件。因此,现有技术下,已知技术有很多问题。
发明内容
机载和远程设备的自主化、智能化、可穿戴的无线手腕装载的计算、显示和控制系统上的光和光学深度映射、三维成像、建模、建网、界面连接的装置和方法以及图形用户界面控制。本发明的实施例通过它的无线多媒体流和多界面显示以及投影系统使人、对象、设备和空间增强到虚拟环境以及使虚拟对象和界面增强到物理世界。
附图说明
图1A是手腕控制器的实施例的立体图。
图1B是图1A中所示实施例的立体图。
图1C是图1A中所示实施例的立体图。
图1D是图1A中所示实施例的俯视图。
图2A是图1A中所示实施例描绘了扩展模块的立体图。
图2B是图1A中所示实施例描绘了分离的扩展模块的立体图。
图2C是图1A中所示实施例描绘了扩展的立体图。
图2D是图1A中所示实施例的扩展模块分离的立体图。
图3A和3B是展示包含一个或多个移动光束的手腕控制器的实施例的立体图。
图3C和3D是描绘包含结构光成像的发明的实施例的立体图。
图3E和3F是展示生成深度和色彩映射手的手腕控制器的立体图。
图3G和3H是展示识别手的关节和皱纹的精确位置的手腕控制器的立体图。
图3I和3J是展示生成手的功能性操纵的手腕控制器的立体图。
图3K和3L是展示将手装备结合进3D映射的手的实施例的立体图。
图4A和4B是展示用户的手和手指被用来组合手势和运动的立体图。
图4C是展示用户使用涉及多个手指的执行和选择手势界面控制功能的立体图。
图4D是展示用户执行和选择涉及一根的手指的手势界面控制功能的立体图。
图4E是展示用户执行和选择涉及用指定的手指触摸手上的被识别点或区域的手势界面控制的立体图。
图4F是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指的手势界面控制的立体图。
图5A是展示在使用单个手指作为控制器的外部联网设备上的2D或3D技术设备的单点控制的立体图。
图5B是展示在使用多个手指作为控制器外部联网设备上的2D或3D计算设备的多点控制的立体图。
图6A是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。
图6B是展示用户执行触摸和手势界面来控制在用户手和手指上的投射的图形用户界面的立体图。
图6C是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。
图6D是展示用户在投影到用户的手上的键盘输入的立体图。
图7是展示用户通过左手和右手的手腕控制器在映射到外部平面上的被投影的键盘上输入的立体图。
图8A是展示用户界面连接两个联网设备,且使用手腕控制器来将扫描到的物理对象映射、成像和建模至位于外部联网设备上的虚拟计算环境的立体图。
图8B是展示用户操作左手和右手手腕控制器作为两个手势界面控制器来界面连接和操控由手腕控制器扫描和成型并被无线上传到外部联网设备的3D计算机模型的立体图。
图8C是展示用户在外部联网设备上选择文档、文件或程序的立体图。
图8D是展示用户在手腕控制器触摸屏界面上操作和控制3D扫描和建模的对象的立体图。
图9A是展示用户无线地界面连接和控制远程设备和交通工具的立体图。
图9B是展示用户无线地向远程设备发送和从远程设备接收实时声音、数据、视频和多媒体内容的立体图。
图10A和10B是展示的手腕控制器全身扫描、深度映射和成像过程的立体图,该过程中用户执行全身扫描和用户的3D计算机模型被生成。
图10C和10D是展示用户在不同的位置、执行不同的身体动作,使手腕控制器在多个位置映射和成像身体,并分析用户的灵活性和活动性,以更准确地为3D计算模型生成身体操纵并在虚拟计算环境复制用户运动的立体图。
图10E和10F是展示用户的3D映射和成像以及带有衣服的3D计算机模型的立体图。
图11A和11B是从手腕控制器的顶部模块描绘摄像机视图的立体图。
图11C和11D是从手腕控制器的底部模块描绘摄像机视图的立体图。
图12A和12B是从手腕控制器的顶部模块描绘摄像机视图的立体图。
图12C和12D是从手腕控制器的底部模块描绘摄像机视图的立体图。
图13A-13C是展示身体操纵过程的立体图。
图14A和14B是展示在映射物理环境中的用户3D计算机模型的空间地点和位置的立体图。
图15是展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射的立体图。
图16A和16B是展示手腕控制器空间、对象和环境3D光和图像映射过程的立体图。
图17A和17B是用户站在居住生活空间的立体图。
图18是用户和手腕腕控制器为了在居住生活空间中的所有联网设备,识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面选项的俯视图。
图19A和19B是戴着手腕控制器的职业网球选手的立体图。
图20A、20B和20C是职业高尔夫球手映射他的挥杆、球和实时虚拟高尔夫玩家的整个游戏的立体图。
图21是展示职业高尔夫球选手在高尔夫球课程上的立体图。
图22是手腕控制器的原理图。
具体实施方式
装置和方法描述了自主的、智能的可穿戴无线语音、数据和视频通信系统,其结合了机载计算和多界面手腕控制器、远程设备和图形用户界面(GUI)控制器。装置和方法还描述了3维(3D)光学手、身体、对象、传感器和环境成像、映射、建模、建网和界面连接。此外,装置和方法描述了将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象和界面增强到物理环境中的。
被描述的装置和方法是在可穿戴计算光学和界面连接方面比现有技术进步,从手、手指、和对象定位到3D扫描、映射、成型、成像、投影和无线界面连接系统均通过一种手腕计算和控制控制器涉及、呈现和操作。
装置和方法被描述为实施光发射器和传感器的组合,传感器包括身体、动作、方向和位置传感器。这些设备和方法可以进一步包括光学、立体或全光透镜阵列以通过在室内或室外,白天或夜晚使用一个或多个深度测量和成像方法动态扫描和成像手、身体、对象和环境来产生深度映像和3D成像模型,以及虚拟计算、界面连接和建网平台。
此外,装置和方法被描述用于在板载和远程设备的在自主的、智能的可穿戴无线手腕计算、显示和控制系统上的移动光与光学深度映射成像、建模、建网和界面连接以及图形用户界面(GUI)控制。也描述了通过无线多媒体流和多界面显示和投影系统将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象、界面和环境增强到真实世界。
光映射
本发明的实施例涉及将窄或宽光束的光发射器,或结构光成像系统结合到由用户佩戴的手腕控制器的顶部和底部。在实施方案中,设备扫描手和手指、身体和任何在手上或在光成像系统领域的对象的顶部和底部。
当使用窄或宽的光束发射器和传感器阵列,该发射器阵列可以被分配来在扫描过程中沿着X和Y轴网格构造上下和来回移动光束的焦点,然后被分配一固定位置来监测手和手指运动。发射器形成x-y阵列用于检测空间的x和y维度的手和手指,以及传感器检测反射是否存在。在实施例中,深度(z)距离由从目标表面到光传感器的光束反射的三角测量,其要么当光束在运动和对象是静止时,映射目标表面深度;要么或当光束被固定并且被扫描对象是运动时,动态确定被扫描对象的位置。
在使用结构化的光成像系统的实施例中,发射器和扩散器被结合以在手的顶部和底部产生光散斑图案并覆盖周围对象和环境。在实施例中,手腕控制器上的指定照相机传感器识别光散斑图案以及偏离目标平面的每个点的方向反射落在照相机传感器内的不同的像素上,以三角测量光束并确定目标表面的位置、深度和形状。
固定结构光成像系统给投影光图案提供源的连续点,唯一变量是在它的投影域的目标对象的位置、深度和表面形状。手腕控制器介绍了可穿戴式结构光成像系统,其大部分时间处于运动状态。甚至当一个人保持他们的手臂和手稳定,轻微的身体动作可以改变光发射器和投影光图案的位置和方向,并因此改变照相机传感器的位置和视线。
在实施例中,该光映射系统被用于手、身体、对象和环境的初始映射和建模,且被用来为了手势界面连接和控制动态地监视手、手指、身体和对象运动,且被用来在设备登录时立即执行无钥用户验证和授权,以及执行用于支付的即时用户验证和其他与安全的交易和安全有关的功能,如无钥进入家庭和汽车,以及访问独特的用户帐户和设备上的用户特定功能和应用。
位置和方向映射
在实施例中,有必要结合不断的运动、位置和方向数据。当光和光学深度映射和3D色彩映射被执行,手腕控制器的空间位置、定向运动和方向由机载上加速度计、高度计、罗盘和陀螺仪以及全球定位系统和射频(RF)定向信号和位置数据的任何组合获得,来连续识别手腕控制器相机、光发射器和传感器与反射和成像表面的精确相关位置,来在深度和色彩映像中将该数据分配给每个光点和色彩像素。
光映射和成像
在实施例中,深度映射和3D成像通过使用立体或全光多透镜阵列来实现。这些阵列使得手腕控制器的顶部和底部的模块能够动态捕捉手、身体、周围对象和环境的3D或4D多视野深度色彩成像。
在实施方案中,当结合一个或多个立体透镜阵列时,手腕控制器通过确定场景中的两个或多个焦点的深度,以及通过将一个图像的点和特征匹配到在其它图像中的相应点和特征确定在其他图像中的相应的点的深度,来执行立体三角。为了克服相应的问题,立体成像系统可以选择结合光成像系统来将一个或多个光点投射到投射到目标表面上,从而使成像系统验证在图像中的精确对应点。一旦相应点已经确定,该成像系统便确定场景中的所有其他的点的聚焦深度。
在实施例中,当结合光域全光微透镜阵列时,手腕控制器同时捕捉多个视野深度。尽管立体透镜阵列被限制为两个或多个的单独透镜阵列和传感器,每个从单个视野深度捕捉光线和色彩,使得相应的图像分析在两个或更多个图像中匹配点,全光微透镜阵列分配多个透镜到单个传感器并捕获来自整个视野的光和色,而每个透镜捕获不同的视野深度,从而使照像机将深度分配给捕获图像中的所有点。
在实施例中,该光成像系统被用于手、身体、对象和环境的初始成像、深度和色彩映射以及建模,且被用来动态地成像手势和投射界面连接的手、手指、身体和对象运动,且被用来执行用户验证和授权,以及其他与安全有关的功能,以及在2D和3D或4D视频中捕获视频和实时流用户活动并执行其他成像应用。
建模和操纵
光扫描和三维成像对象后,相应的深度映像被转换为点云,具有相应矢量的顶点映像,在其中每个点被分配一个x、y和z(深度)坐标。该过程将由光扫描过程或对象3D成像产生的灰度深度映像变成顶点,在其中每个点或图像的像素被识别为x、y和z坐标,其可以被转换成公制单位。
在实施例中,当光扫描深度映像通过识别每个表面点的精确深度和方向位置被转换为顶点和矢量映像时,色彩映射过程被启用,其中相应的深度映射颜色像素被分配给在三维顶点和矢量映像上的每个点。这种方法将点云转换成网状,在其中邻接表面上的点被连接并确定,例如,一个手指在另一个后面,并且它们不是单个表面。该网格跟随3D映射对象的表面形状、纹理和轮廓。
将人的手或身体的表面网格和3D映像转换成成一个功能角色模型,其可以被设置来映出穿戴者的动作,结合了一系列映射人的关节并将关节位置分配到3D模型上的匹配区域,以及产生类似于人体内的骨架结构的内部模型操纵的过程。接着将操纵添加到3D网格和模型,将影响区域分配到3D模型的网格和平面,其类似于肌肉和肌腱对身体运动和皮肤的影响。
在实施例中,当现有的功能角色操纵存在,而不是为每一个新模型生成装备时,现有的装备被缩放并符合所映射的人的尺寸、形状和身体特征。这可以基于被映射的人的身体类型、性别、尺寸、重量、年龄、健康、健身、活动性和其他参数来结合用于确定身体柔韧性和运动的程序,以更准确地符合装备和模型,从而模仿人的自然身体运动和活动性。
在三维光映像和成像过程中,手腕控制器可以提示穿戴者执行大量的手和身体的运动、手势和位置以识别该人的关节、骨骼结构和活动性。可能需要捕获人的多个三维扫描和成像,然后调整该操纵来复制精确的身体结构和活动性。
传感器映射与界面连接
在实施例中,手腕控制器被用来连续地实时映射全身运动,并将外部传感器结合到它的三维映射和界面连接系统。这包括身体、衣服和远程无线器件传感器。通过将微传感器附着到在每个肢体和关节的身体或衣服上,或与在衣服、鞋子和器件中的嵌入式传感器进行联网,手腕控制器可以识别一个或多个无线传感器的空间位置,并将这些传感器分配到人、器件和环境的映射的三维模型。
在实施例中,手腕控制器可以使用用于本地和远程传感器和设备界面连接和控制的一个联网方法或联网方法的组合,其包括射频(RF)、光/红外、近场通信(NFC)、蓝牙、WiFi和蜂窝网络。该传感器网络使得通过手腕控制器发送和接收数据用于远程传感器的无线操作和控制,以及网络数据的动态映射、界面连接和流动和映射数据的机载或远程存储。
在实施例中,当手腕控制器作为无线传感器网络(WSN)的传感器集成器操作时,手腕控制器直接或通过网状网络与每个传感器联网,其中每个传感器作为一个节点操作,不仅捕获并发送数据,而且充当继电器将数据传递到网络中的其他节点。
在实施例中,当通过识别每个关节或身体部分的三维位置、速度和加速度来监测身体运动时,一个完整的直角坐标三维模型可以在数学上用距离坐标x,y和z速度坐标vx,vy,和vz以及加速度坐标ax,ay,和az来描述,来计算运动中的对象的未来位置。一旦手腕控制器识别并联网独立传感器或网状传感器组,手腕控制器便能够将传感器的精确位置映射在3D角色模型上。该过程使手腕控制器能够捕获全身运动和加速度作为连续的数据流,并将该数据分配给穿戴者的3D操纵的虚拟模型,以在虚拟环境中提供身体和全身界面连接的实时动画。
在实施例中,当手腕控制器被用于映射内部身体解剖结构和与内部体传感器、设备和假肢界面连接时,该手腕控制器结合映射、建模、联网内部身体和与内部身体界面连接的类似方法,如其和外部机构一样。在实施例中,当手腕控制器使用光和光学映射和外部传感器映射外部机构时,手腕控制器也进行内部映射,其结合了手腕控制器的机载健康和身体传感器,然后扩展到所有联网的内部身体传感器,包括摄入和植入传感器、设备、假肢和任何身体或大脑机器界面连接系统。
在实施例中,手腕控制器结合了机载身体健康和健身传感器,包括顶部和底部模块手腕朝向红外(IR)光谱和脉搏血氧仪、心脏监测仪、温度计、电响应系统、脑电图(EEG)、心电图(ECG)、肌电信号(EMG)和血糖仪。
投影映射和界面连接
在实施例中,结合用于将图像投影到外部表面上的微型投影仪,,该光和图像映射系统和方向系统被用于深度映射表面,动态地映射手和手指的空间位置和手腕控制器和投影仪的相对位置到目标平面。这些过程使得手腕控制器将投影显示和图形用户界面映射到任何表面。该光和光学映射系统也被用来动态地监视手和手指的运动和手势,使得用户能够执行触摸和手势界面连接来控制被投影的界面。
进一步的的实施例包括动态触摸屏显示、麦克风、扬声器、触觉反馈(触觉)传感器阵列以及前置摄像头。这些实施例通过机载图形用户界面实现了触摸、语音和手势界面和语音命令、视频会议和动态触摸屏显示。
在实施例中,手腕控制器结合了触摸屏显示器、一个或多个麦克风、扬声器和触觉反馈(触觉)传感器阵列。这些实施例为用户提供了触摸、语音和手势界面连接选项,使得用户能够在手腕控制器或者一个或多个联网设备上选择显示图形用户界面和与图形用户界面界面连接的最有效方法。
在实施例中,用户可以将特定用户界面,如语言命令或者手势界面连接映射或分配到特定的功能、应用或设备。例如,如果用户正在使用手腕控制器来与个人计算机和电视机进行界面连接,用户可以在计算机上使用手势和触摸时,将语音命令分配给电视。
在实施例中,手腕控制器在手腕单元的顶部和底部的内侧结合触觉传感器条和/或触觉传感器上的环。手腕控制器给微小的手指、手、手腕和身体动作产生非常复杂的位置、振动和压力响应。触觉响应也可以被结合到手势命令、触摸屏、设备控制和其他用户界面应用中以在投影键盘上模拟按钮,或在虚拟2D或3D环境中给对象和/或应用选择和控制提供触觉更真实的响应。触觉响应系统也可以用于指示呼入或呼出电话、短信或其他事件、对于被识别对象和人的位置和/或相关距离,或任何其他被分配上下文应用、报警或被监测的健康状况事件,如,当他们的心脏速率上升到高于指定速率的水平或葡萄糖水平高于或低于一个指定的水平时提醒使用者,或告知使用者潜在的到来的癫痫发作。不同类型的振动和/或电刺激的响应可被产生并分配给不同的呼叫者、事件和应用。
设备映射和界面连接
在实施例中,手腕控制器能够流动在设备上存储和播放的内容,或向手腕控制器从英特网向一个或多个联网设备的屏幕流出,和/或从联网电视、游戏机、PC或其他联网设备将多媒体内容向一个或多个其他设备或显示器流出。该对等网络、内容管理、分发和流可使用许多不同的无线网络来实现。其中一些包括WiFi、蓝牙、蜂窝、红外/光、射频(RF)和用于快速支付和交易的NFC。一种用于连接在其视野内的所有显示器和设备的方法是通过一个单一的WiFi对等网络,其中每个设备通过作为一个独立的WiFi热点和路由器操作的多渠道WiFi直接连接平台无线地连接,手腕控制器用一个或多个无线和/或因特网启用设备创建了一个特别的对等网络,并作为远程可穿戴视频游戏和计算控制器和无线集线器操作。该手腕控制器也可以使用网络的任意组合来与一个或多个设备通信。
在实施例中,手腕控制器基于室内的显示器位置和显示器与手腕控制器和用户的关系,跨多个联网设备和监视器管理内容。手腕控制器能够使用多种方法、网络和信道连接多个设备。
附图实施例详述
图1A是手腕控制器101的一种实施例的立体图,描绘了顶部手腕模块102和底部手腕模块103,其作为设备的内部组件的壳体模块。该手腕模块与可调腕带104连接,在实施例中,其包含在两个手腕模块之间的通信电缆。该设备还具有腕带释放和锁定系统105、前置光发射器106和传感器107以及多相机透镜阵列108。图1A展示了底部模块体传感器的内部视图,包括光发射器和传感器109、皮电反应系统(GSR)110、以及触觉反馈阵列(触觉阵列)111、显示器114的局部视图、麦克风115、扬声器116和顶置相机117。
图1B是图1A中所示实施例的立体图,描绘了顶部模块102体传感器的视图,包括光发射器和传感器109、GSR110和触觉阵列111。
图1C是图1A中所示实施例的立体图,描绘了后置光发射器106和传感器107、后置多照相机镜头阵列108、电源和数据端口112和对接端口113的俯视图。
图1D是图1A中所示实施例的俯视图,描绘了显示屏114、麦克风115、扬声器116和前置摄像头117。
图2A是图1A中所示实施例的立体图,描绘了具有显示器202和释放按钮203的扩展模块201,其附连到手腕控制器101的顶部模块102。这个扩展模块可以作为用于设备的附加功率和数据存储、处理和/或通信系统和/或扩展显示器和界面连接系统,并且也可以执行扩展的服务,例如在血糖仪或其它应用中的插件。
图2B是图1A中所示实施例的立体图,其描绘了具有释放按钮对接片204和电源以及数据插头204的分离扩展模块201,以及在顶部模块102的后部上的和按钮阵列206。
图2C是图1A中所示实施例的立体图,描绘了扩展模块201附连到底部模块103。
图2D是图1A中所示实施例的立体图,扩展模块201从底部模块103分离。
图3A-3L是立体图,其展示了手腕控制器101执行深度映射和3D成像手和手指301,识别关节,然后操纵手的完全功能计算机模型(手模型)307。
图3A和3B是展示手腕控制器101的一种实施例的立体图,其如深度映射的方法一样结合一个或多个移动光束302,执行手和手指301的顶部和底部的光扫描。当光束302垂直和水平移动穿过手和手指301的两侧的表面,三角由手腕控制器101光发射器104和传感器106确定。
图3C和3D是立体图,描绘了发明的另一种实施例,其通过用斑点光图案照亮手和手指301的顶部和底部,将结构光成像303结合到深度映射过程以一次光映射303整个手301。
图3E和3F是立体图,展示手腕控制器101生成深度和色彩映射手304,执行使用3D摄像机108的光映射和成像的组合或执行使用在手腕控制器101的顶部模块和底部上的全光多透镜阵列照相机108四维成像。
图3G和3H是立体图,展示了手腕控制器101识别在手和手指301的顶部和底部上的关节和皱纹305的精确位置,其目的在于产生用于3D映射手304的装备。
图3I和3J是立体图,展示了手腕控制器101从顶部和底部角度生成手的功能性操纵(手装备)306。
图3K和3L是立体图,展示发明将手装备306结合进3D映射手304来创建手的完全功能操纵计算机模型(手模型)307,其能够实时地动画和复制用户手和手指301的运动。
图4A-4F和图5A和5B是立体图,展示了本发明的一个应用,其中用户执行并选择不同的手势的控制功能。手腕控制器101将这些控制分配给手模型307,其被用来在二维或三维计算环境中,执行用户手势输入和命令。图4A-4F和图5A和5B仅表示对于潜在的无限的定制界面编程系统的手势界面连接控制选项的几个例子。
图4A和4B是立体图,展示用户的手和手指301被用来组合手势(做出拳头)和运动(转向和移动手腕)以分配一个定制手势界面控制功能。该手势被手腕控制器101映射和记录。
图4C是立体图,展示用户使用执行和选择手势界面输入和控制功能,其涉及多个手指301。
图4D是立体图,展示用户执行和选择手势界面控制功能,其涉及一根指头301。
图4E是展示用户执行和选择涉及用指定的手指触摸手301上的被识别点或区域的手势界面控制的立体图。
图4F是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指301的手势界面控制的立体图。
图5A是展示在外部联网设备802上的用于2D或3D的单点控制使用单个手指作为控制器301的立体图。
图5B是展示在外部联网设备802上的用于2D或3D的多点控制使用多个手指作为控制器301的立体图。
图6A是展示手腕控制器101将图形用户界面601投影到用户的手和手指301上的立体图。该被投影界面用光映射和3D成像系统被映射到手上。
图6B是展示用户执行触摸和手势界面连接来控制在用户手和手指301上的被投射的图形用户界面601的立体图。
图6C是展示手腕控制器101将图形用户界面601投影到用户的手和手指的立体图。在图6C中,用户展开了他们的手和手指,且被投射界面动态地与手和手指301的新位置一致。用户选择在手腕控制器101上运行或通过网络连接远程运行的代表主动程序或应用的被投影图标的一个。
图6D是展示用户在用户的手301上的被投影的键盘601上进行输入的立体图。
图7是展示用户通过左手和右手手腕控制器101在映射到外部平面上的投影键盘701上进行输入的立体图。图7描绘了具有协调双投影界面的实施例,其中左手和右手手腕控制器在投影表面上映射和投影动态界面中协作地运作。图7描绘了用户在投影键盘上输入文档,其被显示在外部设备803上。左手和右手手腕控制器要么作为单个输入设备并将数据无线中继到控制设备803,或者手腕控制器101作为主操作和控制设备并将数据流到远程显示器803。
图8A-8D和9A和9B是立体图,其描绘了手腕控制器无线地与外部设备界面连接。在各图中,手腕控制器101被显示在两个手腕上,虽然一对控制器可作为单个设备或设备对操作,每个手腕控制器101还可以自主操作,并且不需要第二控制器执行双手手势界面控制。单个手腕控制器101能够为双手界面近距离监测第二只手,或者与第二手腕控制器101协作地操作以启用扩展功能,如多功能两手控制、双投影、扩粘网络、处理、界面连接、电源和数据存储。
图8A是展示用户与两个联网设备界面连接,且使用手腕控制器101来将扫描到的物理对象映射、成像和建模至位于外部联网设备802上的虚拟计算环境的立体图。
图8B是展示用户操作左手和右手手腕控制器101作为两个手势界面控制器来界面连接和操控由手腕控制器101扫描和建模并被无线上传到外部联网设备802的3D计算机模型的立体图。
图8C是立体图,展示用户在外部联网设备802上选择文档、文件或程序,并以手势、语音或其他用户界面命令使用手腕控制器作为两个网络设备之间的数据桥无线传输文件、文档或程序到第二网络设备803。
图8D是展示用户在手腕控制器101触摸屏界面上操作和控制3D扫描和建模的对象的立体图。
图9A是立体图,展示用户使用广域或本地区域的对等无线网络或通过互联网使用广域或本地区域的互联网连接无线地界面连接和控制远程设备和交通工具901。
图9B是立体图,展示用户无线地向远程设备发送和从远程设备901接收实时声音、数据、视频和多媒体内容,将3D中的数据和多媒体内容流向左显示器904、右显示器903和双目平视显示器902。
图10A和10B是展示手腕控制器101全身扫描、深度映射和成像过程的立体图,在其中用户1001执行身体扫描且用户的3D计算机模型1002被生成。
图10C和10D是立体图,展示用户在不同的位置且执行不同的身体动作,使手腕控制器101能在多个位置映射和成像身体1002,并分析用户的灵活性和活动性,以更准确地为3D计算机模型生成身体操纵并在虚拟计算环境复制用户运动。
图10E和10F是立体图,展示用户1001的3D映射和成像以及带有衣服的3D计算机模型1003。这可以通过光映射和3D成像用户1001的物理服装或通过将虚拟服装映射到在计算环境中的三维模型1003被实现。
图11A-11D是立体图,展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程,图11A和11B描绘了从顶部模块的照相机视图,图11C和11D描绘了从底部模块103的照相机视图。手腕控制器101没有在图11A-11D中示出,因为图描述了照相机的视角。
图12A-12D是立体图,展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程,图12A和12B描绘了从顶部模块102的照相机视图,图12C和12D描绘了从底部模块103的照相机视图。在图12A-12D中,用户的胳膊和手都伸出高于用户头的位置,使照相机能够扫描使用者身体的不同部位。
图13A-13C是展示身体操纵过程的立体图,图13A展示了用户1002深度和色彩映射的模型的表面网格。图13B展示了完整身体角色操纵(装备),其符合用户1002的映射计算机模型精确尺寸和特征。图13C展示了角色装备的结合。
图14A和14B是立体图,展示在映射物理环境1301中的用户1001和用户3D计算机模型1002的空间地点和位置,其在3D身体映射和成像过程中被识别和成像。
图15是立体图,展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射1201,所有都通过手腕控制器101被映射和无线地控制。在图15中,手腕控制器101使用机载的、外部的、被植入的或摄入的联网的身体传感器来映射每个的用户身体系统;神经系统1202、内分泌系统1203、骨骼系统1207、肌肉系统1208、外皮系统1209、心血管系统1210、呼吸系统1211、淋巴系统1212、消化系统1213、泌尿系统1214、生殖系统1215。该手腕控制器101还与所有内部数据和多媒体界面连接系统进行联网和界面连接,在图15中被描绘为脑机界面(BMI)1204,假肢在图15中被描绘为义眼1205,以及其他植入设备在图15中被描绘为起搏器1206。
图16A和16B是展示手腕控制器101空间、对象和环境3D光和图像映射过程的立体图,其在图16A和16B中被示为居住生活空间1301。图16A描绘用户1001 3D映射和成像生活和就餐部分1306,而图16B描绘用户1001成像居住生活空间1301的厨房部分1304。
图17A和17B是用户站在居住生活空间1301中的立体图。图17A展示了用户站在物理居住生活空间1301中,提供了潜在的3D映射环境的例子。图17B展示了3D映射用户1003和环境1302的俯视立体图,所有映射的人、物、设备和环境的都安全地存储在手腕控制器上,或无线上传到在因特网上或其它网络或数据库上的用户授权的帐户。
图18是用户1001和手腕腕控制器101为了在居住生活空间1301中的所有联网设备,识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面连接选项的俯视图。
图19A和19B是一个职业网球选手戴着手腕控制器101、在真正的室外网球场1404打网球的的立体图,而用户1001实时地在用户1001电视机或其它显示器1405上的虚拟游戏环境里,通过尝试由网球运动员击回网球1403,正在家里测试他的技能。
图20A-20C是职业高尔夫球手1501映射他的挥杆、球1504和实时虚拟高尔夫玩家的整个游戏的立体图。图20A是立体图,展示了一个专业的高尔夫球手在向高尔夫球1504挥杆。高尔夫球手将传感器置于他的衣服和鞋子1502和器件1503之上或嵌入他的衣服和鞋子1502和器件1503,使得手腕控制器101能够在挥杆过程中映射高尔夫球手的身体运动的每一个细节。
图21是立体图,展示职业高尔夫球选手1501在高尔夫球课程上映射他的挥杆,以及在手腕控制器101上远程映射和监测传感器启用的联网高尔夫球的高度、速度、轨迹、着陆和静止位置。
图22是设想作为手腕控制器设备的一部分的各种部件连接的示意图。
尽管本发明参考优选实施例在本说明书中被描述,本领域技术人员将会理解,其他的应用在不偏离本发明的精神和范围下,可以替代本说明书中描述的应用。相应地,本发明只应由以下所包括的权利要求来限制。
Claims (45)
1.一种多透镜阵列手腕可安装计算通信和控制设备(101),包括:光映射、扫描、成像系统(2002)和投影系统(2004),所述设备(101)包括:
壳体模块(102,103),其内装有处理器(2001)、光发射器(106)和光学传感器(107,108,2003),其中,所述处理器(2001)被配置为与所述光发射器(106)和所述光学传感器(107,108,2003)通信;
其中,所述处理器(2001)被配置为控制所述光发射器(106)和所述光学传感器(107、108、2003),以动态扫描用户(1001)身体、对象或环境的至少一部分的表面,并创建所扫描表面的深度图;
其中,所述光学传感器包括全光多透镜阵列照相机(108)或全光多照相机透镜阵列(108),被配置为动态捕获所述表面的3D或4D多视野深度色彩成像;其中,所述设备(101)被配置为通过机载上加速度计、高度计、罗盘和陀螺仪以及全球定位系统和射频方向信号射频定向信号和位置数据的任何组合获得所述设备(101)的空间位置、定向运动和方向,以连续识别所述设备(101)照相机、光发射器和传感器与反射和成像表面的相关位置,从在深度映像和色彩映像中将该数据分配给每个光点和色彩像素;
其中,所述投影系统(2004)包括投影仪,其被配置为将图形用户界面(601,2011)投影到所述扫描表面上,使所述图形用户界面(601,2011)动态地符合所述扫描表面,其中,所述设备(101)被配置为动态映射所述扫描表面的空间位置和所述投影仪到所述扫描表面的相关位置;以及
其中,所述光学传感器(107,2003)被配置为对所述用户(1001)的手势输入进行动态成像,以在所述扫描表面上控制所投影的图形用户界面(601,2011)。
2.根据权利要求1所述的设备(101),其中,所述照相机用于扫描所述用户(1001)周围的多个对象和表面;以及
其中,所述处理器(2001)处理从所述一个或多个照相机接收的数据,以创建关于所述用户(1001)周围的环境的地图。
3.根据权利要求1或2所述的设备(101),还包括:
位置确定模块(2005),用于确定所述手腕可安装设备(101)的精确位置;
其中,所述处理器(2001)处理从所述位置确定模块(2005)接收的数据,并与从所述照相机接收的数据相结合,以创建关于所述用户(1001)周围的环境的地图。
4.根据权利要求1或2所述的设备(101),其中,
所述处理器(2001)被配置为控制所述光发射器(106)和所述光学传感器(107,2003),以动态扫描所述用户(1001)身体的表面,以及
所述投影仪被配置为将所述图形用户界面(601,2011)投影到所述用户(1001)身体的所述扫描表面上。
5.根据权利要求1或2所述的设备(101),还包括:
信号接收模块,用于从安装在所述用户(1001)的身体表面、用户(1001)身体内部或外部物体上的传感器(2006)接收数据和位置信号。
6.根据权利要求1或2所述的设备(101),还包括:
红外线发射器和传感模块,指向手腕内侧,用于检测所述用户(1001)的心率、该用户的血液中的含氧量或该用户的手腕内的肌腱运动。
7.根据权利要求1或2所述的设备(101),其中,所述处理器(2001)被配置为利用所扫描的身体表面和周围表面的地图,确定所述用户(1001)与所述投影图形用户界面(601,2011)的交互。
8.根据权利要求2所述的设备,其中在所述用户周围被扫描的多个对象和表面包括以下任一者:
与所述用户相关的衣物;
用户配戴的装置;
用户手持的装置;以及
与所述用户周围环境相关的装置、对象或表面。
9.根据权利要求1所述的设备,还包括:
传感模块,被配置成确定所述用户的健康参数或健身参数中任一者。
10.根据权利要求9所述的设备,其中所述健康参数或健身参数包括以下任一者:
心脏速率;
心电活动;
脑电活动;
肌电活动;
皮肤导电反应;
血液氧气含量;
血糖水平;
体温;
身体运动;或
肢体移动。
11.根据权利要求1所述的设备,其中所述处理器被配置成确定用户与所述投影图形用户界面的交互。
12.根据权利要求11所述的设备,其中至少一个所述投影仪被配置成在所述被扫描表面投射图片、视频或多媒体内容中任一者,其中所述用户控制所述图片、视频、多媒体内容或图形用户界面,或与所述图片、视频、多媒体内容或图形用户界面进行交互。
13.根据权利要求12所述的设备,还包括:
其中两个或更多个所述投影仪被配置成独立地或共同地操作以将一个或多个图形用户界面投影到一个或多个表面上并且使用户能够利用一个或多个交互设备来连接并控制一个或多个图形用户界面与另一个图形用户界面的交互。
14.根据权利要求1所述的设备,还包括:
交互模块,包括一个或多个交互系统,该交互系统用于控制装置、投影图形用户界面、或另一设备、对象、表面或界面。
15.根据权利要求14所述的设备,其中一个或多个所述交互系统能够由用户分配以控制一个或多个任务、功能、设备或应用。
16.根据权利要求14所述的设备,还包括:
触摸和手势交互系统,被配置为:
确定用户在任何物理或虚拟设备、对象、表面或界面上的触摸;
基于所确定的触摸,确定所述用户执行的手势;和
基于所确定的手势,将信号发送到外部设备。
17.根据权利要求14所述的设备,还包括:
麦克风,配置为捕获来自用户的音频和语音输入命令。
18.根据权利要求14所述的设备,还包括:
触觉交互模块,被配置为:
感知所述用户的手指、手、手腕和肢体移动中的任意者;以及
利用感知到的移动,为所述用户产生触觉反馈。
19.根据权利要求18所述的设备,其中所述感知到的移动用于以下任意者:
为触摸屏、设备控制、投影界面和其他用户界面应用中的任何一个提供触摸和手势命令;
为物理或虚拟2D或3D环境中的任何对象或应用选择和控制提供触觉响应和更真实性;
与投影在表面上的界面进行交互;
与被分配给或合并给任何设备、对象或表面的虚拟或物理界面进行交互;
将位置距离、空间距离或者相对距离中的任意者指示给以下任意者:所识别的对象、人、所分配的上下文应用;或者
指示以下任意者:来电、拨出电话、文本警报、健康状态或其他事件或应用。
20.根据权利要求14所述的设备,还包括:
插件交互模块,被配置用于向所述交互模块添加额外的交互系统。
21.根据权利要求1所述的设备,还包括:
无线联网和通信模块,被配置用于通过无线网络进行无线语音、数据、视频和多媒体进行交互式联网、通信、流传输和交互中的任何一者。
22.根据权利要求1所述的设备,还包括:
位置确定模块,被配置为利用无线网络确定装置的精确位置。
23.根据权利要求22所述的设备,还包括:
相对位置和位置确定系统,被配置为使用方向信号、信号强度和联网设备位置和空间位置数据中的任意者来识别所述装置相对于一个或多个无线连接的设备、传感器、对象或位置中的任意者的精确位置和相对位置。
24.根据权利要求21所述的设备,其中装置能够在因特网或其他有线或无线网络上上传、下载和流式传输语音、数据、视频和多媒体内容以及进行实时计算和交互。
25.根据权利要求24所述的设备,其中所述装置被配置为用于进行以下任意者:
作为移动热点,使一个或多个有线或无线联网设备能够连接到因特网或其他有线或无线网络;
作为点对点无线多媒体中心,用于以下任意者:
将语音、数据、视频和其他多媒体内容流式传输到一个或多个联网设备;
从联网设备接收语音、数据、视频和其他多媒体内容;以及
将内容流式传输到一个或多个其他联网设备、传感器或接口;或者
用作网络集线器和路由器,用于将一个或多个设备连接到用于共享数据,多媒体内容和/或接口的设备网络。
26.根据权利要求21所述的设备,还包括:
信号接收模块,用于从一个或多个传感器接收数据和位置信号,所述传感器被进行以下任意者的安装:安装在所述用户的身体表面上、安装在所述用户的身体内部、安装在与所述用户相关联的衣服或设备上或嵌入在衣物或器件中、安装在与所述用户相关联的手持设备或对象上、安装在在与所述用户相关联的周围环境中的外部人、设备、车辆、对象或表面上、或者安装在与所述用户相关联的远程联网人、设备、车辆、对象或表面上。
27.根据权利要求26所述的设备,其中所述信号接收模块被配置为用于以下任意者:
从安装在人体、衣服、器件、设备、车辆或其他对象或表面上、嵌入其中、或安装在其内部的多个传感器接收数据和位置信号,装置可以生成人、物体或其他表面的3D地图和映射每个表面的空间位置、定向运动、速度和加速度,并捕获其他收集的传感器数据;以及
捕获全身运动和加速作为连续数据流,并将该数据分配给用户的虚拟模型以提供身体的实时动画,从而在虚拟和/或物理环境中实现全面的身体交互。
28.根据权利要求26所述的设备,还包括:
网状传感器联网和映射系统;
其中,装置被配置为作为用于无线传感器网络(WSN)的传感器集线器进行操作,手腕控制台与每个传感器直接或经由网状网络进行网络连接,其中在所述网状网络中,每个传感器被配置为作为节点或作为传递数据到网络中的其他节点的中继进行工作;以及
其中,所述装置被配置为基于其被分配的表面识别每个传感器,并映射由每个传感器收集的三维空间位置、定向运动、速度、加速度和其他数据中的任意者。
29.根据权利要求21所述的设备,还包括:
联网设备交互系统,其中任何装置和所述用户均能够可以连接和控制一个或多个远程联网设备、车辆、对象或界面中的任意者。
30.根据权利要求1所述的设备,还包括:
用户验证模块,包括以下任意者:
装置上的或者与所述装置联网的光发射器、光学传感器、运动传感器、方向传感器、位置传感器、无线传感器、电活动传感器和其他传感器,用于识别和验证用户,其中该装置被配置为通过使用关于手、手指及其他身体表面的光及光学映射以及建模及成像来识别和验证所述用户,并根据他们独特的关节、手或身体测量、成像的手、手指和其他内部和外部体表数据、电活动、心跳和其他标识符来验证所述用户;或者
监视或检测与所述用户相关联的一个或多个可识别特征。
31.根据权利要求30所述的设备,其中与所述用户相关联的所述可识别特征包括以下任意者:手、手指、皮肤、肌肉、静脉、肌腱、血液、心率、电活动、身体映射、建模、成像、手部运动、身体运动、手势、植入传感器、摄入的传感器或假肢。
32.根据权利要求30所述的设备,其中所述用户验证模块被配置为执行以下任意者:
设备登录时,即时无密钥用户验证和授权;
即时用户验证,以进行付款和其他安全交易中的任意者;
无钥匙进入家庭和车辆;以及
访问设备上的以下任意者:唯一用户帐户、用户特定功能和应用;或
访问一个或多个联网设备、因特网或其他网络。
33.一种通过多透镜阵列手腕可安装计算通信和控制设备(101)执行的方法,该设备包括:光映射、扫描、成像系统(2002)和投影系统(2004),所述方法包括:
与在所述设备的壳体模块(102,103)内的光发射器(106)和光学传感器(107,108,2003)通信;
通过装在所述壳体模块内处理器(2001)控制所述光发射器(106)和所述光学传感器(107、108、2003),其中,所述处理器(2001)控制所述光发射器(106)和所述光学传感器(107、108、2003)包括:动态扫描用户(1001)身体、对象或环境的至少一部分的表面,并创建所扫描表面的深度图;
其中,动态扫描用户(1001)身体、对象或环境的至少一部分的表面,并创建所扫描表面的深度图包括:通过所述光学传感器动态捕获所述表面的3D或4D多视野深度色彩成像;所述光学传感器包括全光多透镜阵列照相机(108)或全光多照相机透镜阵列(108);
由所述设备(101)通过机载上加速度计、高度计、罗盘和陀螺仪以及全球定位系统和射频方向信号射频定向信号和位置数据的任何组合获取所述设备(101)的空间位置、定向运动和方向,以连续识别所述设备(101)相机、光发射器和传感器与反射和成像表面的相关位置,从而在深度映像和色彩映像中将该数据分配给每个光点和色彩像素;
通过所述投影系统(2004)的投影仪,将图形用户界面(601,2011)投影到所述扫描表面上,使所述图形用户界面(601,2011)动态地符合所述扫描表面,其中,通过所述投影系统(2004)的投影仪,将图形用户界面(601,2011)投影到所述扫描表面上,使所述图形用户界面(601,2011)动态地符合所述扫描表面包括:通过所述设备动态映射所述扫描表面的空间位置和所述投影仪到所述扫描表面的相关位置;
通过所述光学传感器(107,2003)对所述用户(1001)的手势输入进行动态成像,在所述扫描表面上控制所投影的图形用户界面(601,2011)。
34.根据权利要求33所述的方法,还包括:
通过所述照相机扫描所述用户(1001)周围的多个对象和表面;以及
通过所述处理器(2001)处理从所述一个或多个照相机接收的数据,以创建关于所述用户(1001)周围的环境的地图。
35.根据权利要求33或34所述的方法,还包括:
通过位置确定模块(2005)确定所述手腕可安装设备(101)的精确位置;
通过所述处理器(2001)处理从所述位置确定模块(2005)接收的数据,并与从所述照相机接收的数据相结合,以创建关于所述用户(1001)周围的环境的地图。
36.根据权利要求33或34所述的方法,还包括:
通过所述处理器(2001)控制所述光发射器(106)和所述光学传感器(107,2003),以动态扫描所述用户(1001)身体的表面;以及
通过所述投影仪将所述图形用户界面(601,2011)投影到所述用户(1001)身体的所述扫描表面上。
37.根据权利要求33或34所述的方法,还包括:
通过信号接收模块从安装在所述用户(1001)的身体表面、用户(1001)身体内部或外部物体上的传感器(2006)接收数据和位置信号。
38.根据权利要求33或34所述的方法,还包括:
将红外线发射器和传感模块指向手腕内侧,并通过该红外线发射器和传感模块检测所述用户(1001)的心率、该用户的血液中的含氧量或该用户的手腕内的肌腱运动。
39.根据权利要求33或34所述的方法,还包括:
通过所述处理器(2001)利用所扫描的身体表面和周围表面的地图,确定所述用户(1001)与所述投影图形用户界面(601,2011)的交互。
40.根据权利要求33所述的方法,所述方法还包括通过所述处理器与外部设备、对象或表面中的任意者进行交互,其中所述交互包括:
使用身体扫描的表面的地图,确定由所述用户执行的触摸和手势中的任意者;和
基于所确定的手势,将预定信号发送到外部设备。
41.根据权利要求40所述的方法,其中与所述外部设备连接进行交互包括:
使用位置确定模块,确定装置的位置;以及
基于所述装置的所述位置和由所述处理器创建的扫描的身体表面的地图,确定多个可能设备中的特定设备以与之交互。
42.根据权利要求41所述的方法,其中所述确定所述装置的位置包括:
扫描靠近所述用户的表面、设备和对象;以及
处理在扫描表面和对象时接收的数据,以创建关于所述用户周围的环境的地图。
43.根据权利要求42所述的方法,其中靠近所述用户的扫描表面、设备和对象包括以下任意者:与所述用户相关的身体表面;摄入、植入或在所述用户内部、分配给、附着至或者整合到与所述用户相关联的衣物或器件上或内的设备、对象或表面;与所述用户相关联的可穿戴设备;与所述用户相关联的手持设备或对象;与所述用户周围的环境相关联的设备、对象或其他表面。
44.根据权利要求43所述的方法,其中用户界面能够被分配给以下任意者:与所述用户和所述用户的环境相关联的设备、对象或其他扫描表面。
45.根据权利要求44所述的方法,所述方法还包括通过所述用户界面控制以下任意者:
投影显示;
所述装置;或
配对或联网的设备、对象、表面、屏幕或界面和/或软件程序、或在任何联网设备上或通过网络运行的应用。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261796056P | 2012-11-01 | 2012-11-01 | |
US61/796,056 | 2012-11-01 | ||
CN201380069115.XA CN105027030B (zh) | 2012-11-01 | 2013-11-01 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
PCT/US2013/068167 WO2014071254A1 (en) | 2012-11-01 | 2013-11-01 | Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing |
US14/070,425 US9690376B2 (en) | 2012-11-01 | 2013-11-01 | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380069115.XA Division CN105027030B (zh) | 2012-11-01 | 2013-11-01 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109799900A CN109799900A (zh) | 2019-05-24 |
CN109799900B true CN109799900B (zh) | 2023-02-28 |
Family
ID=50147529
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380069115.XA Active CN105027030B (zh) | 2012-11-01 | 2013-11-01 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
CN201811121347.6A Active CN109799900B (zh) | 2012-11-01 | 2013-11-01 | 手腕可安装计算通信和控制设备及其执行的方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380069115.XA Active CN105027030B (zh) | 2012-11-01 | 2013-11-01 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9690376B2 (zh) |
EP (1) | EP2915025B8 (zh) |
JP (1) | JP6155448B2 (zh) |
KR (2) | KR102065687B1 (zh) |
CN (2) | CN105027030B (zh) |
WO (1) | WO2014071254A1 (zh) |
Families Citing this family (150)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7771320B2 (en) | 2006-09-07 | 2010-08-10 | Nike, Inc. | Athletic performance sensing and/or tracking systems and methods |
EP2480955B1 (en) * | 2009-09-22 | 2018-05-16 | Facebook Inc. | Remote control of computer devices |
US10209771B2 (en) * | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US10691219B2 (en) * | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
KR102065687B1 (ko) | 2012-11-01 | 2020-02-11 | 아이캠, 엘엘씨 | 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법 |
US9137524B2 (en) * | 2012-11-27 | 2015-09-15 | Qualcomm Incorporated | System and method for generating 3-D plenoptic video images |
US20140230019A1 (en) * | 2013-02-14 | 2014-08-14 | Google Inc. | Authentication to a first device using a second device |
US9609062B2 (en) * | 2013-06-26 | 2017-03-28 | Qualcomm Incorporated | Semantic mappings from human readable messages to programmatic interfaces |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
WO2015039050A1 (en) * | 2013-09-13 | 2015-03-19 | Nod, Inc | Using the human body as an input device |
US10585478B2 (en) | 2013-09-13 | 2020-03-10 | Nod, Inc. | Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices |
US9230430B2 (en) | 2013-11-27 | 2016-01-05 | Google Inc. | Detecting removal of wearable authentication device |
WO2015081568A1 (en) * | 2013-12-06 | 2015-06-11 | Nokia Technologies Oy | Apparatus and method for user input |
US20150177947A1 (en) * | 2013-12-20 | 2015-06-25 | Motorola Mobility Llc | Enhanced User Interface Systems and Methods for Electronic Devices |
KR101700817B1 (ko) * | 2014-01-10 | 2017-02-13 | 한국전자통신연구원 | 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 |
KR102135586B1 (ko) * | 2014-01-24 | 2020-07-20 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
US9823749B2 (en) | 2014-02-21 | 2017-11-21 | Nod, Inc. | Location determination and registration methodology for smart devices based on direction and proximity and usage of the same |
CN104866079B (zh) * | 2014-02-24 | 2018-11-09 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
EP3126932A1 (en) * | 2014-04-01 | 2017-02-08 | Sony Corporation | Harmonizing a projected user interface |
CN103995621B (zh) * | 2014-04-28 | 2017-02-15 | 京东方科技集团股份有限公司 | 一种穿戴式触控装置和穿戴式触控方法 |
CN103984437B (zh) * | 2014-04-28 | 2017-09-29 | 京东方科技集团股份有限公司 | 一种穿戴式触控装置和穿戴式触控方法 |
US20150323998A1 (en) * | 2014-05-06 | 2015-11-12 | Qualcomm Incorporated | Enhanced user interface for a wearable electronic device |
EP3757718B1 (en) * | 2014-05-15 | 2022-03-30 | Federal Express Corporation | Wearable devices for courier processing and methods of use thereof |
CN105094301A (zh) * | 2014-05-16 | 2015-11-25 | 中兴通讯股份有限公司 | 一种控制方法、装置及电子设备 |
US9830781B2 (en) | 2014-06-13 | 2017-11-28 | Verily Life Sciences Llc | Multipurpose contacts for delivering electro-haptic feedback to a wearer |
CN105204613B (zh) * | 2014-06-27 | 2019-02-05 | 联想(北京)有限公司 | 一种信息处理方法及穿戴式设备 |
US10478723B2 (en) | 2014-06-30 | 2019-11-19 | Microsoft Technology Licensing, Llc | Track based play systems |
US10518188B2 (en) | 2014-06-30 | 2019-12-31 | Microsoft Technology Licensing, Llc | Controlling physical toys using a physics engine |
US10537821B2 (en) | 2014-06-30 | 2020-01-21 | Microsoft Technology Licensing, Llc | Interactive play sets |
US9363640B2 (en) * | 2014-08-05 | 2016-06-07 | Samsung Electronics Co., Ltd. | Electronic system with transformable mode mechanism and method of operation thereof |
KR102343657B1 (ko) | 2014-08-28 | 2021-12-24 | 삼성전자주식회사 | 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들 |
US20180101277A9 (en) * | 2014-09-24 | 2018-04-12 | Evan John Kaye | Skin Touchpad |
US10369477B2 (en) | 2014-10-08 | 2019-08-06 | Microsoft Technology Licensing, Llc | Management of resources within a virtual world |
US9696757B2 (en) | 2014-10-08 | 2017-07-04 | Microsoft Corporation | Transfer of attributes between generations of characters |
US20160109953A1 (en) * | 2014-10-17 | 2016-04-21 | Chetan Desh | Holographic Wristband |
KR101909540B1 (ko) | 2014-10-23 | 2018-10-18 | 삼성전자주식회사 | 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법 |
KR101632007B1 (ko) * | 2014-10-29 | 2016-06-21 | 엘지전자 주식회사 | 와치 타입의 제어 디바이스 |
US9721141B2 (en) * | 2014-10-30 | 2017-08-01 | Polar Electro Oy | Wrist-worn apparatus control with fingerprint data |
KR102029756B1 (ko) * | 2014-11-03 | 2019-10-08 | 삼성전자주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
KR20160055577A (ko) | 2014-11-10 | 2016-05-18 | 엘지전자 주식회사 | 웨어러블 디바이스 |
US9606697B1 (en) | 2014-11-11 | 2017-03-28 | Google Inc. | Display cursor for motion controller |
WO2016079774A1 (en) * | 2014-11-21 | 2016-05-26 | Johri Abhishek | System and method for data and command input |
US20160147304A1 (en) * | 2014-11-24 | 2016-05-26 | General Electric Company | Haptic feedback on the density of virtual 3d objects |
KR102347248B1 (ko) * | 2014-11-26 | 2022-01-04 | 삼성전자주식회사 | 터치 제스쳐 인식 방법 및 장치 |
KR102364841B1 (ko) | 2014-12-04 | 2022-02-18 | 삼성전자주식회사 | 휴대용 헬스 케어 장치 및 그 동작 방법 |
US20160178906A1 (en) * | 2014-12-19 | 2016-06-23 | Intel Corporation | Virtual wearables |
NL2014037B1 (en) | 2014-12-22 | 2016-10-12 | Meyn Food Proc Technology Bv | Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass. |
KR20160085613A (ko) * | 2015-01-08 | 2016-07-18 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US10362944B2 (en) | 2015-01-19 | 2019-07-30 | Samsung Electronics Company, Ltd. | Optical detection and analysis of internal body tissues |
FR3034889B1 (fr) * | 2015-04-10 | 2017-04-28 | Cn2P Sas | Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras |
US10285627B2 (en) * | 2015-04-15 | 2019-05-14 | Pixart Imaging Inc. | Action recognition system and method thereof |
US10099382B2 (en) | 2015-04-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Mixed environment display of robotic actions |
US10007413B2 (en) | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
CN106293025A (zh) * | 2015-05-22 | 2017-01-04 | 上海中兴思秸通讯有限公司 | 终端设备的控制方法及系统 |
KR20160138806A (ko) * | 2015-05-26 | 2016-12-06 | 엘지전자 주식회사 | 글래스타입 단말기 및 그 제어방법 |
US10097961B2 (en) | 2015-06-08 | 2018-10-09 | Microsoft Technology Licensing, Llc | Golf shot detection |
US10166123B2 (en) * | 2015-06-29 | 2019-01-01 | International Business Machines Corporation | Controlling prosthetic devices with smart wearable technology |
EP3118762B1 (en) * | 2015-07-15 | 2020-03-11 | Biowatch SA | Method, device and computer program for authenticating a user |
US10092203B2 (en) | 2015-08-21 | 2018-10-09 | Verily Life Sciences Llc | Using skin resistance measurements to determine timing of bio-telemetry measurements |
US10398328B2 (en) * | 2015-08-25 | 2019-09-03 | Koninklijke Philips N.V. | Device and system for monitoring of pulse-related information of a subject |
US20180243155A1 (en) * | 2015-09-09 | 2018-08-30 | Ekso Bionics, Inc. | Systems and Methods for Creating Custom-Fit Exoskeletons |
US10234990B2 (en) * | 2015-09-29 | 2019-03-19 | Microchip Technology Incorporated | Mapping of position measurements to objects using a movement model |
US11036318B2 (en) * | 2015-09-30 | 2021-06-15 | Apple Inc. | Capacitive touch or proximity detection for crown |
JP6144743B2 (ja) * | 2015-09-30 | 2017-06-07 | 京セラ株式会社 | ウェアラブル装置 |
US11609427B2 (en) | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
US20170115737A1 (en) * | 2015-10-26 | 2017-04-27 | Lenovo (Singapore) Pte. Ltd. | Gesture control using depth data |
US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
EP3182328A1 (en) | 2015-12-17 | 2017-06-21 | Nokia Technologies Oy | A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image |
US10289206B2 (en) * | 2015-12-18 | 2019-05-14 | Intel Corporation | Free-form drawing and health applications |
US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
US10578882B2 (en) | 2015-12-28 | 2020-03-03 | Ostendo Technologies, Inc. | Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof |
CN106933340B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 手势动作识别方法、控制方法和装置以及腕式设备 |
CN106933341B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 一种在图像中确定手指所处区域的方法、装置及腕式设备 |
US9798387B2 (en) * | 2016-01-18 | 2017-10-24 | Anoop Molly JOSEPH | Multipurpose computer mouse |
CN105759999A (zh) * | 2016-02-29 | 2016-07-13 | 苌晨阳 | 加速度延时控制健康鼠标 |
US20170269697A1 (en) * | 2016-03-21 | 2017-09-21 | Intel Corporation | Under-wrist mounted gesturing |
US10353203B2 (en) | 2016-04-05 | 2019-07-16 | Ostendo Technologies, Inc. | Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices |
US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
US10638316B2 (en) * | 2016-05-25 | 2020-04-28 | Intel Corporation | Wearable computer apparatus with same hand user authentication |
CN107526430A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 一种在虚拟场景下进行三维建模的方法及装置 |
US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
EP3526775A4 (en) * | 2016-10-17 | 2021-01-06 | Muzik Inc. | INTEGRATED PROJECTOR AUDIO / VIDEO CLOTHING COMPUTER SYSTEM |
ES2828727T3 (es) * | 2016-10-25 | 2021-05-27 | Ericsson Telefon Ab L M | Dispositivo llevado por usuario y dispositivo táctil para la transmisión de datos ultrasónica |
US10545219B2 (en) | 2016-11-23 | 2020-01-28 | Chirp Microsystems | Three dimensional object-localization and tracking using ultrasonic pulses |
KR101908803B1 (ko) | 2016-12-20 | 2018-10-16 | 주식회사 포스코 | 열병합 발전 시스템 |
US10444908B2 (en) * | 2016-12-31 | 2019-10-15 | Innoventions, Inc. | Virtual touchpads for wearable and portable devices |
US10845885B2 (en) * | 2017-02-27 | 2020-11-24 | International Business Machines Corporation | Object scrolling and selection on a wearable computing device |
US10649523B2 (en) * | 2017-04-24 | 2020-05-12 | Magic Leap, Inc. | System for detecting six degrees of freedom of movement by tracking optical flow of backscattered laser speckle patterns |
US10444865B2 (en) * | 2017-05-01 | 2019-10-15 | Google Llc | Tracking of position and orientation of objects in virtual reality systems |
US10033978B1 (en) | 2017-05-08 | 2018-07-24 | International Business Machines Corporation | Projecting obstructed content over touch screen obstructions |
US20210117680A1 (en) * | 2017-05-10 | 2021-04-22 | Humane, Inc. | Wearable multimedia device and cloud computing platform with laser projection system |
KR20180129133A (ko) * | 2017-05-25 | 2018-12-05 | 전자부품연구원 | 3차원 msp 기반 생체인식 장치 및 방법 |
KR101904085B1 (ko) * | 2017-06-07 | 2018-11-22 | 울산과학기술원 | 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 |
US10997649B2 (en) * | 2017-06-12 | 2021-05-04 | Disney Enterprises, Inc. | Interactive retail venue |
DE102017007856A1 (de) * | 2017-07-06 | 2019-01-10 | Davide Giusti | Gerät zur Wiedergabe von Inhalte Aus Endgeräte Mittels ein berührbare und beweglicher Freischwebender 3D Projektion |
US10682491B2 (en) * | 2017-07-20 | 2020-06-16 | Bose Corporation | Earphones for measuring and entraining respiration |
US10481699B2 (en) * | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
CN107632699B (zh) * | 2017-08-01 | 2019-10-11 | 东南大学 | 基于多感知数据融合的人机自然交互系统 |
CN107633853B (zh) * | 2017-08-03 | 2020-07-03 | 广东小天才科技有限公司 | 一种播放音视频文件的控制方法及用户终端 |
RU2678494C1 (ru) | 2017-08-24 | 2019-01-29 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для биометрической идентификации пользователя с использованием рч (радиочастотного) радара |
US10591730B2 (en) * | 2017-08-25 | 2020-03-17 | II Jonathan M. Rodriguez | Wristwatch based interface for augmented reality eyewear |
JP6991022B2 (ja) * | 2017-09-12 | 2022-02-03 | オムロンヘルスケア株式会社 | 表示制御装置およびプログラム |
US10386938B2 (en) * | 2017-09-18 | 2019-08-20 | Google Llc | Tracking of location and orientation of a virtual controller in a virtual reality system |
WO2019079790A1 (en) * | 2017-10-21 | 2019-04-25 | Eyecam, Inc | ADAPTIVE GRAPHIC USER INTERFACE SYSTEM |
US10460512B2 (en) * | 2017-11-07 | 2019-10-29 | Microsoft Technology Licensing, Llc | 3D skeletonization using truncated epipolar lines |
US20190187875A1 (en) * | 2017-12-15 | 2019-06-20 | International Business Machines Corporation | Remote control incorporating holographic displays |
CN109934065B (zh) * | 2017-12-18 | 2021-11-09 | 虹软科技股份有限公司 | 一种用于手势识别的方法和装置 |
WO2019133521A1 (en) | 2017-12-27 | 2019-07-04 | Adesanya Olaoluwa O | Wearable computing apparatus for augmented reality, virtual reality and artificial intelligence interactions, and methods relating thereto |
EP3767433A4 (en) * | 2018-03-12 | 2021-07-28 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND PROGRAM |
US11150746B2 (en) * | 2018-06-28 | 2021-10-19 | Google Llc | Wearable electronic devices having user interface mirroring based on device position |
US11099647B2 (en) * | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
US10802598B2 (en) * | 2018-08-05 | 2020-10-13 | Pison Technology, Inc. | User interface control of responsive devices |
KR102067377B1 (ko) * | 2018-08-06 | 2020-02-11 | 최기은 | 배터리가 구비된 스트랩을 가지는 착용 가능한 휴대용 단말기 |
WO2020053858A1 (en) * | 2018-09-14 | 2020-03-19 | ChroniSense Medical Ltd. | System and method for monitoring respiratory rate and oxygen saturation |
US11244080B2 (en) | 2018-10-09 | 2022-02-08 | International Business Machines Corporation | Project content from flexible display touch device to eliminate obstruction created by finger |
EP3653120A1 (en) * | 2018-11-15 | 2020-05-20 | Koninklijke Philips N.V. | A rehabilitation device and a method of monitoring hand positions |
CN109299394A (zh) * | 2018-11-26 | 2019-02-01 | Oppo广东移动通信有限公司 | 信息推送方法及相关产品 |
US11093041B2 (en) * | 2018-11-30 | 2021-08-17 | International Business Machines Corporation | Computer system gesture-based graphical user interface control |
US10963103B1 (en) | 2018-12-24 | 2021-03-30 | Facebook Technologies, Llc | Display system with integrated depth detection |
CN111383345B (zh) * | 2018-12-29 | 2022-11-22 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
US11520409B2 (en) * | 2019-04-11 | 2022-12-06 | Samsung Electronics Co., Ltd. | Head mounted display device and operating method thereof |
US11486961B2 (en) * | 2019-06-14 | 2022-11-01 | Chirp Microsystems | Object-localization and tracking using ultrasonic pulses with reflection rejection |
JP2021002288A (ja) * | 2019-06-24 | 2021-01-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、コンテンツ処理システム、および画像処理方法 |
US10965914B2 (en) * | 2019-07-08 | 2021-03-30 | Andrae T. D'Acquisto | Trail camera |
CN110558935B (zh) * | 2019-08-05 | 2022-02-01 | 南京阿尔法医学有限公司 | 医用局部麻醉平面监护仪的前端保护电路及方法 |
KR102306392B1 (ko) | 2019-08-19 | 2021-09-30 | 한국과학기술연구원 | 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치 |
US11467668B2 (en) * | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
US11308744B1 (en) * | 2019-12-27 | 2022-04-19 | Jimcy Exantus | Wrist-wearable tracking and monitoring device |
US11157086B2 (en) | 2020-01-28 | 2021-10-26 | Pison Technology, Inc. | Determining a geographical location based on human gestures |
US11199908B2 (en) | 2020-01-28 | 2021-12-14 | Pison Technology, Inc. | Wrist-worn device-based inputs for an operating system |
WO2021217142A1 (en) * | 2020-04-24 | 2021-10-28 | Cornell University | Deep continuous 3d hand pose tracking |
WO2021236170A1 (en) | 2020-05-18 | 2021-11-25 | Google Llc | Low-power semi-passive relative six-degree-of-freedom tracking |
US11801434B2 (en) * | 2020-05-20 | 2023-10-31 | Mark Greenberg | Racquet sport scoring system |
US11899845B2 (en) | 2020-08-04 | 2024-02-13 | Samsung Electronics Co., Ltd. | Electronic device for recognizing gesture and method for operating the same |
US11301041B1 (en) * | 2020-09-30 | 2022-04-12 | International Business Machines Corporation | Hand tremor accessible using augmented reality user interface |
US11592907B2 (en) * | 2020-10-20 | 2023-02-28 | Google Llc | Gesture-triggered augmented-reality |
CN113238650B (zh) * | 2021-04-15 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
US11619097B2 (en) | 2021-05-24 | 2023-04-04 | Saudi Arabian Oil Company | System and method for laser downhole extended sensing |
US11725504B2 (en) | 2021-05-24 | 2023-08-15 | Saudi Arabian Oil Company | Contactless real-time 3D mapping of surface equipment |
WO2022266122A1 (en) * | 2021-06-14 | 2022-12-22 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for an environment-aware predictive modeling framework for human-robot symbiotic walking |
US20230004229A1 (en) * | 2021-06-30 | 2023-01-05 | International Business Machines Corporation | Item selection with smart device monitoring of gestures |
KR20230018925A (ko) * | 2021-07-30 | 2023-02-07 | 삼성전자주식회사 | 프로젝션 디스플레이를 포함하는 웨어러블 전자 장치 |
US11995240B2 (en) | 2021-11-16 | 2024-05-28 | Neosensory, Inc. | Method and system for conveying digital texture information to a user |
US11847256B2 (en) * | 2022-03-04 | 2023-12-19 | Humane, Inc. | Presenting and aligning laser projected virtual interfaces |
US11797100B1 (en) * | 2022-09-23 | 2023-10-24 | Huawei Technologies Co., Ltd. | Systems and methods for classifying touch events based on relative orientation |
CN117459663B (zh) * | 2023-12-22 | 2024-02-27 | 北京天图万境科技有限公司 | 一种投射光自校正拟合与多色彩重定位方法及装置 |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US591372A (en) * | 1897-10-05 | Paper-binder | ||
US580726A (en) * | 1897-04-13 | Spindle | ||
US3541541A (en) | 1967-06-21 | 1970-11-17 | Stanford Research Inst | X-y position indicator for a display system |
JPS602134A (ja) | 1983-06-17 | 1985-01-08 | 早川 英雄 | 有害動物の威嚇装置 |
US5807267A (en) * | 1994-06-01 | 1998-09-15 | Advanced Body Metrics Corporation | Heart pulse monitor |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
CN1168057C (zh) | 1996-08-14 | 2004-09-22 | 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 | 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统 |
US7298360B2 (en) | 1997-03-06 | 2007-11-20 | Harmonic Research, Inc. | Body-mounted selective control device |
US6747632B2 (en) | 1997-03-06 | 2004-06-08 | Harmonic Research, Inc. | Wireless control device |
US6778850B1 (en) * | 1999-03-16 | 2004-08-17 | Accuray, Inc. | Frameless radiosurgery treatment system and method |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
TW528881B (en) | 2001-02-05 | 2003-04-21 | Hitachi Int Electric Inc | Position measuring apparatus |
US6898517B1 (en) | 2001-07-24 | 2005-05-24 | Trimble Navigation Limited | Vehicle-based dynamic advertising |
US7134080B2 (en) | 2002-08-23 | 2006-11-07 | International Business Machines Corporation | Method and system for a user-following interface |
JP4007899B2 (ja) * | 2002-11-07 | 2007-11-14 | オリンパス株式会社 | 運動検出装置 |
US7242394B2 (en) | 2003-06-02 | 2007-07-10 | Polyvision Corp. | Slidable electronic whiteboard system |
EP1679689B1 (en) | 2003-10-28 | 2014-01-01 | Panasonic Corporation | Image display device and image display method |
US20100289655A1 (en) | 2004-12-21 | 2010-11-18 | Elrod Scott A | Detecting descented material |
US20070052672A1 (en) * | 2005-09-08 | 2007-03-08 | Swisscom Mobile Ag | Communication device, system and method |
US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
US20090046140A1 (en) * | 2005-12-06 | 2009-02-19 | Microvision, Inc. | Mobile Virtual Reality Projector |
US7810504B2 (en) | 2005-12-28 | 2010-10-12 | Depuy Products, Inc. | System and method for wearable user interface in computer assisted surgery |
KR101331543B1 (ko) | 2006-03-14 | 2013-11-20 | 프라임센스 엘티디. | 스페클 패턴을 이용한 3차원 센싱 |
WO2008052006A2 (en) * | 2006-10-23 | 2008-05-02 | Xenogen Corporation | Apparatus and methods for fluorescence guided surgery |
KR20090061179A (ko) * | 2007-12-11 | 2009-06-16 | 한국전자통신연구원 | 데이터 입력 장치 및 이를 이용한 데이터 처리 방법 |
US20110183751A1 (en) * | 2008-01-22 | 2011-07-28 | Hiromu Ueshima | Imaging device, online game system, operation object, input method, image analysis device, image analysis method, and recording medium |
KR20100008322A (ko) | 2008-07-15 | 2010-01-25 | 엘지전자 주식회사 | 가변 포맷의 메시지를 이용한 대역 요청 방법 |
KR101284797B1 (ko) | 2008-10-29 | 2013-07-10 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
US20100110264A1 (en) * | 2008-10-31 | 2010-05-06 | Lucent Technologies, Inc. | Image projection system |
GB2466497B (en) * | 2008-12-24 | 2011-09-14 | Light Blue Optics Ltd | Touch sensitive holographic displays |
JP2010244484A (ja) * | 2009-04-10 | 2010-10-28 | Funai Electric Co Ltd | 画像表示装置、画像表示方法および画像表示プログラム |
US9582889B2 (en) * | 2009-07-30 | 2017-02-28 | Apple Inc. | Depth mapping based on pattern matching and stereoscopic information |
JP4988016B2 (ja) | 2009-08-27 | 2012-08-01 | 韓國電子通信研究院 | 指の動き検出装置およびその方法 |
US8421811B2 (en) | 2009-09-15 | 2013-04-16 | David Odland | Customized vehicle body |
US8717291B2 (en) * | 2009-10-07 | 2014-05-06 | AFA Micro Co. | Motion sensitive gesture device |
CN101702103A (zh) * | 2009-11-19 | 2010-05-05 | 上海思佗科自动化科技有限公司 | 光学式轨迹捕捉输入装置 |
KR101302138B1 (ko) * | 2009-12-18 | 2013-08-30 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
JP2011146835A (ja) | 2010-01-13 | 2011-07-28 | Seiko Epson Corp | 光学読取装置、光学読取装置の制御方法、及び、プログラム |
EP2531093A1 (en) | 2010-02-02 | 2012-12-12 | Nellcor Puritan Bennett LLC | Continuous light emission photoacoustic spectroscopy |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
US9377850B2 (en) * | 2010-03-15 | 2016-06-28 | Nec Corporation | Input device, input method and medium |
US8749557B2 (en) * | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
CN101882012A (zh) * | 2010-06-12 | 2010-11-10 | 北京理工大学 | 基于投影跟踪的笔式交互系统 |
US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
EP2403234A1 (en) | 2010-06-29 | 2012-01-04 | Koninklijke Philips Electronics N.V. | Method and system for constructing a compound image from data obtained by an array of image capturing devices |
US9261526B2 (en) | 2010-08-26 | 2016-02-16 | Blast Motion Inc. | Fitting system for sporting equipment |
JP5672862B2 (ja) | 2010-08-27 | 2015-02-18 | ソニー株式会社 | 撮像装置、撮像システム及び撮像方法 |
US9270807B2 (en) | 2011-02-23 | 2016-02-23 | Digimarc Corporation | Audio localization using audio signal encoding and recognition |
US20120249416A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Modular mobile connected pico projectors for a local multi-user collaboration |
US10061387B2 (en) | 2011-03-31 | 2018-08-28 | Nokia Technologies Oy | Method and apparatus for providing user interfaces |
US8228315B1 (en) | 2011-07-12 | 2012-07-24 | Google Inc. | Methods and systems for a virtual input device |
US8733939B2 (en) | 2012-07-26 | 2014-05-27 | Cloudcar, Inc. | Vehicle content projection |
US9019267B2 (en) * | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
KR102065687B1 (ko) | 2012-11-01 | 2020-02-11 | 아이캠, 엘엘씨 | 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법 |
JP5847058B2 (ja) | 2012-11-08 | 2016-01-20 | 本田技研工業株式会社 | 車両表示装置 |
CN105452567B (zh) | 2013-06-03 | 2017-09-12 | 波因茨实验室公司 | 机器人智能标志系统和方法 |
WO2014209328A1 (en) | 2013-06-27 | 2014-12-31 | Intel Corporation | Device for adaptive projection |
US20150227164A1 (en) | 2014-02-07 | 2015-08-13 | Larry R. Laycock | Display and sensing systems |
EP3757718B1 (en) * | 2014-05-15 | 2022-03-30 | Federal Express Corporation | Wearable devices for courier processing and methods of use thereof |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
WO2019079790A1 (en) | 2017-10-21 | 2019-04-25 | Eyecam, Inc | ADAPTIVE GRAPHIC USER INTERFACE SYSTEM |
-
2013
- 2013-11-01 KR KR1020167036418A patent/KR102065687B1/ko active IP Right Grant
- 2013-11-01 EP EP13850844.5A patent/EP2915025B8/en active Active
- 2013-11-01 CN CN201380069115.XA patent/CN105027030B/zh active Active
- 2013-11-01 WO PCT/US2013/068167 patent/WO2014071254A1/en active Application Filing
- 2013-11-01 CN CN201811121347.6A patent/CN109799900B/zh active Active
- 2013-11-01 US US14/070,425 patent/US9690376B2/en active Active
- 2013-11-01 KR KR1020157011111A patent/KR101691633B1/ko active IP Right Grant
- 2013-11-01 JP JP2015540837A patent/JP6155448B2/ja active Active
-
2017
- 2017-06-26 US US15/633,286 patent/US11262841B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR102065687B1 (ko) | 2020-02-11 |
WO2014071254A1 (en) | 2014-05-08 |
CN105027030A (zh) | 2015-11-04 |
JP2016508241A (ja) | 2016-03-17 |
CN109799900A (zh) | 2019-05-24 |
EP2915025B1 (en) | 2021-04-07 |
EP2915025B8 (en) | 2021-06-02 |
CN105027030B (zh) | 2018-10-23 |
US9690376B2 (en) | 2017-06-27 |
US11262841B2 (en) | 2022-03-01 |
KR101691633B1 (ko) | 2017-01-09 |
KR20170003713A (ko) | 2017-01-09 |
WO2014071254A4 (en) | 2014-07-10 |
US20180129284A1 (en) | 2018-05-10 |
US20140055352A1 (en) | 2014-02-27 |
EP2915025A1 (en) | 2015-09-09 |
KR20150099510A (ko) | 2015-08-31 |
JP6155448B2 (ja) | 2017-07-05 |
EP2915025A4 (en) | 2016-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109799900B (zh) | 手腕可安装计算通信和控制设备及其执行的方法 | |
US11790554B2 (en) | Systems and methods for augmented reality | |
JP6276882B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US20240005808A1 (en) | Individual viewing in a shared space | |
JP2020091904A (ja) | システムおよびコントローラ | |
JP7095602B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
JP6392911B2 (ja) | 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
US20180095532A1 (en) | Virtual Reality Head-Mounted Device | |
JP7160669B2 (ja) | プログラム、情報処理装置、および方法 | |
CN103785169A (zh) | 混合现实的竞技场 | |
US20190339768A1 (en) | Virtual reality interaction system and method | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
Mihaľov et al. | Potential of low cost motion sensors compared to programming environments | |
GB2575299A (en) | Method and system for directing and monitoring exercise | |
JP2018190196A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6718933B2 (ja) | プログラム、情報処理装置、および方法 | |
TW201816545A (zh) | 虛擬實境頭戴式裝置 | |
Murgia et al. | Low-cost optical tracking for immersive collaboration in the CAVE using the Wii Remote | |
JP2018190397A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US20200360803A1 (en) | Spatial entertainment platform for interconnected gaming | |
WO2023244579A1 (en) | Virtual remote tele-physical examination systems | |
NAN | DEVELOPMENT OF A COMPUTER PROGRAM TO ASSIST UPPER LIMB REHABILITATION USING KINECT | |
JP2020184344A (ja) | プログラム、情報処理装置、および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40009363 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |