CN105027030B - 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 - Google Patents
用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 Download PDFInfo
- Publication number
- CN105027030B CN105027030B CN201380069115.XA CN201380069115A CN105027030B CN 105027030 B CN105027030 B CN 105027030B CN 201380069115 A CN201380069115 A CN 201380069115A CN 105027030 B CN105027030 B CN 105027030B
- Authority
- CN
- China
- Prior art keywords
- user
- wrist
- computing device
- loads
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000707 wrist Anatomy 0.000 title claims abstract description 201
- 238000013507 mapping Methods 0.000 title claims abstract description 68
- 238000003384 imaging method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006855 networking Effects 0.000 title abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000008280 blood Substances 0.000 claims description 8
- 210000004369 blood Anatomy 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 claims description 5
- 239000008103 glucose Substances 0.000 claims description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000002513 implantation Methods 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 210000002435 tendon Anatomy 0.000 claims description 3
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 230000003862 health status Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 2
- 238000013475 authorization Methods 0.000 claims 2
- 230000000977 initiatory effect Effects 0.000 claims 2
- 238000004566 IR spectroscopy Methods 0.000 claims 1
- 230000036760 body temperature Effects 0.000 claims 1
- 210000000988 bone and bone Anatomy 0.000 claims 1
- 239000000571 coke Substances 0.000 claims 1
- 230000026058 directional locomotion Effects 0.000 claims 1
- 238000005315 distribution function Methods 0.000 claims 1
- 230000005057 finger movement Effects 0.000 claims 1
- 238000003331 infrared imaging Methods 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 238000003333 near-infrared imaging Methods 0.000 claims 1
- 230000033764 rhythmic process Effects 0.000 claims 1
- 238000004088 simulation Methods 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000005094 computer simulation Methods 0.000 description 7
- 210000003414 extremity Anatomy 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 230000001037 epileptic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000001613 integumentary system Anatomy 0.000 description 1
- 210000004324 lymphatic system Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 210000004994 reproductive system Anatomy 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
- A61B5/1125—Grasping motions of hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
机载和远程设备的自主化、智能化、可穿戴的无线手腕装载的计算、显示和控制系统上的光和光学深度映射、三维(3D)成像、建模、建网和界面连接的装置和方法以及图形用户界面控制。本发明的实施例通过它的无线多媒体流和多界面显示以及投影系统使人、对象、设备和空间增强到虚拟环境以及使虚拟对象和界面增强到物理世界。
Description
对相关申请的交互引用
本申请要求2013年11月1号提交的美国专利申请号为14/070,425和2012年11月1号提交的临时申请号为61/796,056的优先权,其每一个都通过引用被全部合并于此。
技术领域
本发明设计可穿戴式计算领域。具体地说,本发明涉及用于3D映射、成像、建网、通信和多界面远程控制的设备和方法。
相关技术领域说明
现有的控制设备包括手持式有线x-y位置性输入设备形式的早期鼠标技术,如美国专利号3,541,541中的传感器和空间定位系统,如美国专利号6,005,548中的可穿戴式手、手指和对象空间定位系统,其纳入了手势、语音识别和触摸屏界面连接控制。
现有技术,如美国专利6,647,632,介绍了戴在手腕上的无线控制设备,光发射器和传感器被置于手的内部以确定用户的手和手指的位置,识别预分配的手势和语音命令并将数据中继到受控设备,以及美国专利8,292,833 B2介绍了一种手腕戴式手指运动检测装置,其使用监测穿戴者肌腱的光学和超声波信号来识别他们的手和手指的位置和移动并将数据中继到受控设备。美国专利申请2009/0096783 A1介绍了一种室内的三维结构成像系统和身体动作和手势界面连接系统,其使用光斑点图案来3D映射被照对象,以及美国专利申请2011/0025827介绍了一种立体深度映射,其使用光投影和三维色彩成像的组合,这两个系统都被限制为从固定的位置深度映射、建模和界面连接。
鼠标和其它手持和可穿戴界面连接设备的一个共同的属性是被定位为控制器是对于远程受控设备和计算系统的外围设备和位置数据输入附件。因此,现有技术下,已知技术有很多问题。
发明内容
机载和远程设备的自主化、智能化、可穿戴的无线手腕装载的计算、显示和控制系统上的光和光学深度映射、三维成像、建模、建网、界面连接的装置和方法以及图形用户界面控制。本发明的实施例通过它的无线多媒体流和多界面显示以及投影系统使人、对象、设备和空间增强到虚拟环境以及使虚拟对象和界面增强到物理世界。
附图说明
图1A是手腕控制器的实施例的立体图。
图1B是图1A中所示实施例的立体图。
图1C是图1A中所示实施例的立体图。
图1D是图1A中所示实施例的俯视图。
图2A是图1A中所示实施例描绘了扩展模块的立体图。
图2B是图1A中所示实施例描绘了分离的扩展模块的立体图。
图2C是图1A中所示实施例描绘了扩展的立体图。
图2D是图1A中所示实施例的扩展模块分离的立体图。
图3A和3B是展示包含一个或多个移动光束的手腕控制器的实施例的立体图。
图3C和3D是描绘包含结构光成像的发明的实施例的立体图。
图3E和3F是展示生成深度和色彩映射手的手腕控制器的立体图。
图3G和3H是展示识别手的关节和皱纹的精确位置的手腕控制器的立体图。
图3I和3J是展示生成手的功能性操纵的手腕控制器的立体图。
图3K和3L是展示将手装备结合进3D映射的手的实施例的立体图。
图4A和4B是展示用户的手和手指被用来组合手势和运动的立体图。
图4C是展示用户使用涉及多个手指的执行和选择手势界面控制功能的立体图。
图4D是展示用户执行和选择涉及一根的手指的手势界面控制功能的立体图。
图4E是展示用户执行和选择涉及用指定的手指触摸手上的被识别点或区域的手势界面控制的立体图。
图4F是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指的手势界面控制的立体图。
图5A是展示在使用单个手指作为控制器的外部联网设备上的2D或3D技术设备的单点控制的立体图。
图5B是展示在使用多个手指作为控制器外部联网设备上的2D或3D计算设备的多点控制的立体图。
图6A是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。
图6B是展示用户执行触摸和手势界面来控制在用户手和手指上的投射的图形用户界面的立体图。
图6C是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。
图6D是展示用户在投影到用户的手上的键盘输入的立体图。
图7是展示用户通过左手和右手的手腕控制器在映射到外部平面上的被投影的键盘上输入的立体图。
图8A是展示用户界面连接两个联网设备,且使用手腕控制器来将扫描到的物理对象映射、成像和建模至位于外部联网设备上的虚拟计算环境的立体图。
图8B是展示用户操作左手和右手手腕控制器作为两个手势界面控制器来界面连接和操控由手腕控制器扫描和成型并被无线上传到外部联网设备的3D计算机模型的立体图。
图8C是展示用户在外部联网设备上选择文档、文件或程序的立体图。
图8D是展示用户在手腕控制器触摸屏界面上操作和控制3D扫描和建模的对象的立体图。
图9A是展示用户无线地界面连接和控制远程设备和交通工具的立体图。
图9B是展示用户无线地向远程设备发送和从远程设备接收实时声音、数据、视频和多媒体内容的立体图。
图10A和10B是展示的手腕控制器全身扫描、深度映射和成像过程的立体图,该过程中用户执行全身扫描和用户的3D计算机模型被生成。
图10C和10D是展示用户在不同的位置、执行不同的身体动作,使手腕控制器在多个位置映射和成像身体,并分析用户的灵活性和活动性,以更准确地为3D计算模型生成身体操纵并在虚拟计算环境复制用户运动的立体图。
图10E和10F是展示用户的3D映射和成像以及带有衣服的3D计算机模型的立体图。
图11A和11B是从手腕控制器的顶部模块描绘摄像机视图的立体图。
图11C和11D是从手腕控制器的底部模块描绘摄像机视图的立体图。
图12A和12B是从手腕控制器的顶部模块描绘摄像机视图的立体图。
图12C和12D是从手腕控制器的底部模块描绘摄像机视图的立体图。
图13A-13C是展示身体操纵过程的立体图。
图14A和14B是展示在映射物理环境中的用户3D计算机模型的空间地点和位置的立体图。
图15是展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射的立体图。
图16A和16B是展示手腕控制器空间、对象和环境3D光和图像映射过程的立体图。
图17A和17B是用户站在居住生活空间的立体图。
图18是用户和手腕腕控制器为了在居住生活空间中的所有联网设备,识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面选项的俯视图。
图19A和19B是戴着手腕控制器的职业网球选手的立体图。
图20A、20B和20C是职业高尔夫球手映射他的挥杆、球和实时虚拟高尔夫玩家的整个游戏的立体图。
图21是展示职业高尔夫球选手在高尔夫球课程上的立体图。
图22是手腕控制器的原理图。
具体实施方式
装置和方法描述了自主的、智能的可穿戴无线语音、数据和视频通信系统,其结合了机载计算和多界面手腕控制器、远程设备和图形用户界面(GUI)控制器。装置和方法还描述了3维(3D)光学手、身体、对象、传感器和环境成像、映射、建模、建网和界面连接。此外,装置和方法描述了将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象和界面增强到物理环境中的。
被描述的装置和方法是在可穿戴计算光学和界面连接方面比现有技术进步,从手、手指、和对象定位到3D扫描、映射、成型、成像、投影和无线界面连接系统均通过一种手腕计算和控制控制器涉及、呈现和操作。
装置和方法被描述为实施光发射器和传感器的组合,传感器包括身体、动作、方向和位置传感器。这些设备和方法可以进一步包括光学、立体或全光透镜阵列以通过在室内或室外,白天或夜晚使用一个或多个深度测量和成像方法动态扫描和成像手、身体、对象和环境来产生深度映像和3D成像模型,以及虚拟计算、界面连接和建网平台。
此外,装置和方法被描述用于在板载和远程设备的在自主的、智能的可穿戴无线手腕计算、显示和控制系统上的移动光与光学深度映射成像、建模、建网和界面连接以及图形用户界面(GUI)控制。也描述了通过无线多媒体流和多界面显示和投影系统将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象、界面和环境增强到真实世界。
光映射
本发明的实施例涉及将窄或宽光束的光发射器,或结构光成像系统结合到由用户佩戴的手腕控制器的顶部和底部。在实施方案中,设备扫描手和手指、身体和任何在手上或在光成像系统领域的对象的顶部和底部。
当使用窄或宽的光束发射器和传感器阵列,该发射器阵列可以被分配来在扫描过程中沿着X和Y轴网格构造上下和来回移动光束的焦点,然后被分配一固定位置来监测手和手指运动。发射器形成x-y阵列用于检测空间的x和y维度的手和手指,以及传感器检测反射是否存在。在实施例中,深度(z)距离由从目标表面到光传感器的光束反射的三角测量,其要么当光束在运动和对象是静止时,映射目标表面深度;要么或当光束被固定并且被扫描对象是运动时,动态确定被扫描对象的位置。
在使用结构化的光成像系统的实施例中,发射器和扩散器被结合以在手的顶部和底部产生光散斑图案并覆盖周围对象和环境。在实施例中,手腕控制器上的指定照相机传感器识别光散斑图案以及偏离目标平面的每个点的方向反射落在照相机传感器内的不同的像素上,以三角测量光束并确定目标表面的位置、深度和形状。
固定结构光成像系统给投影光图案提供源的连续点,唯一变量是在它的投影域的目标对象的位置、深度和表面形状。手腕控制器介绍了可穿戴式结构光成像系统,其大部分时间处于运动状态。甚至当一个人保持他们的手臂和手稳定,轻微的身体动作可以改变光发射器和投影光图案的位置和方向,并因此改变照相机传感器的位置和视线。
在实施例中,该光映射系统被用于手、身体、对象和环境的初始映射和建模,且被用来为了手势界面连接和控制动态地监视手、手指、身体和对象运动,且被用来在设备登录时立即执行无钥用户验证和授权,以及执行用于支付的即时用户验证和其他与安全的交易和安全有关的功能,如无钥进入家庭和汽车,以及访问独特的用户帐户和设备上的用户特定功能和应用。
位置和方向映射
在实施例中,有必要结合不断的运动、位置和方向数据。当光和光学深度映射和3D色彩映射被执行,手腕控制器的空间位置、定向运动和方向由机载上加速度计、高度计、罗盘和陀螺仪以及全球定位系统和射频(RF)定向信号和位置数据的任何组合获得,来连续识别手腕控制器相机、光发射器和传感器与反射和成像表面的精确相关位置,来在深度和色彩映像中将该数据分配给每个光点和色彩像素。
光映射和成像
在实施例中,深度映射和3D成像通过使用立体或全光多透镜阵列来实现。这些阵列使得手腕控制器的顶部和底部的模块能够动态捕捉手、身体、周围对象和环境的3D或4D多视野深度色彩成像。
在实施方案中,当结合一个或多个立体透镜阵列时,手腕控制器通过确定场景中的两个或多个焦点的深度,以及通过将一个图像的点和特征匹配到在其它图像中的相应点和特征确定在其他图像中的相应的点的深度,来执行立体三角。为了克服相应的问题,立体成像系统可以选择结合光成像系统来将一个或多个光点投射到投射到目标表面上,从而使成像系统验证在图像中的精确对应点。一旦相应点已经确定,该成像系统便确定场景中的所有其他的点的聚焦深度。
在实施例中,当结合光域全光微透镜阵列时,手腕控制器同时捕捉多个视野深度。尽管立体透镜阵列被限制为两个或多个的单独透镜阵列和传感器,每个从单个视野深度捕捉光线和色彩,使得相应的图像分析在两个或更多个图像中匹配点,全光微透镜阵列分配多个透镜到单个传感器并捕获来自整个视野的光和色,而每个透镜捕获不同的视野深度,从而使照像机将深度分配给捕获图像中的所有点。
在实施例中,该光成像系统被用于手、身体、对象和环境的初始成像、深度和色彩映射以及建模,且被用来动态地成像手势和投射界面连接的手、手指、身体和对象运动,且被用来执行用户验证和授权,以及其他与安全有关的功能,以及在2D和3D或4D视频中捕获视频和实时流用户活动并执行其他成像应用。
建模和操纵
光扫描和三维成像对象后,相应的深度映像被转换为点云,具有相应矢量的顶点映像,在其中每个点被分配一个x、y和z(深度)坐标。该过程将由光扫描过程或对象3D成像产生的灰度深度映像变成顶点,在其中每个点或图像的像素被识别为x、y和z坐标,其可以被转换成公制单位。
在实施例中,当光扫描深度映像通过识别每个表面点的精确深度和方向位置被转换为顶点和矢量映像时,色彩映射过程被启用,其中相应的深度映射颜色像素被分配给在三维顶点和矢量映像上的每个点。这种方法将点云转换成网状,在其中邻接表面上的点被连接并确定,例如,一个手指在另一个后面,并且它们不是单个表面。该网格跟随3D映射对象的表面形状、纹理和轮廓。
将人的手或身体的表面网格和3D映像转换成成一个功能角色模型,其可以被设置来映出穿戴者的动作,结合了一系列映射人的关节并将关节位置分配到3D模型上的匹配区域,以及产生类似于人体内的骨架结构的内部模型操纵的过程。接着将操纵添加到3D网格和模型,将影响区域分配到3D模型的网格和平面,其类似于肌肉和肌腱对身体运动和皮肤的影响。
在实施例中,当现有的功能角色操纵存在,而不是为每一个新模型生成装备时,现有的装备被缩放并符合所映射的人的尺寸、形状和身体特征。这可以基于被映射的人的身体类型、性别、尺寸、重量、年龄、健康、健身、活动性和其他参数来结合用于确定身体柔韧性和运动的程序,以更准确地符合装备和模型,从而模仿人的自然身体运动和活动性。
在三维光映像和成像过程中,手腕控制器可以提示穿戴者执行大量的手和身体的运动、手势和位置以识别该人的关节、骨骼结构和活动性。可能需要捕获人的多个三维扫描和成像,然后调整该操纵来复制精确的身体结构和活动性。
传感器映射与界面连接
在实施例中,手腕控制器被用来连续地实时映射全身运动,并将外部传感器结合到它的三维映射和界面连接系统。这包括身体、衣服和远程无线设备传感器。通过将微传感器附着到在每个肢体和关节的身体或衣服上,或与在衣服、鞋子和设备中的嵌入式传感器进行联网,手腕控制器可以识别一个或多个无线传感器的空间位置,并将这些传感器分配到人、设备和环境的映射的三维模型。
在实施例中,手腕控制器可以使用用于本地和远程传感器和设备界面连接和控制的一个联网方法或联网方法的组合,其包括射频(RF)、光/红外、近场通信(NFC)、蓝牙、WiFi和蜂窝网络。该传感器网络使得通过手腕控制器发送和接收数据用于远程传感器的无线操作和控制,以及网络数据的动态映射、界面连接和流动和映射数据的机载或远程存储。
在实施例中,当手腕控制器作为无线传感器网络(WSN)的传感器集成器操作时,手腕控制器直接或通过网状网络与每个传感器联网,其中每个传感器作为一个节点操作,不仅捕获并发送数据,而且充当继电器将数据传递到网络中的其他节点。
在实施例中,当通过识别每个关节或身体部分的三维位置、速度和加速度来监测身体运动时,一个完整的直角坐标三维模型可以在数学上用距离坐标x,y和z速度坐标vx,vy,和vz以及加速度坐标ax,ay,和az来描述,来计算运动中的对象的未来位置。一旦手腕控制器识别并联网独立传感器或网状传感器组,手腕控制器便能够将传感器的精确位置映射在3D角色模型上。该过程使手腕控制器能够捕获全身运动和加速度作为连续的数据流,并将该数据分配给穿戴者的3D操纵的虚拟模型,以在虚拟环境中提供身体和全身界面连接的实时动画。
在实施例中,当手腕控制器被用于映射内部身体解剖结构和与内部体传感器、设备和假肢界面连接时,该手腕控制器结合映射、建模、联网内部身体和与内部身体界面连接的类似方法,如其和外部机构一样。在实施例中,当手腕控制器使用光和光学映射和外部传感器映射外部机构时,手腕控制器也进行内部映射,其结合了手腕控制器的机载健康和身体传感器,然后扩展到所有联网的内部身体传感器,包括摄入和植入传感器、设备、假肢和任何身体或大脑机器界面连接系统。
在实施例中,手腕控制器结合了机载身体健康和健身传感器,包括顶部和底部模块手腕朝向红外(IR)光谱和脉搏血氧仪、心脏监测仪、温度计、电响应系统、脑电图(EEG)、心电图(ECG)、肌电信号(EMG)和血糖仪。
投影映射和界面连接
在实施例中,结合用于将图像投影到外部表面上的微型投影仪,,该光和图像映射系统和方向系统被用于深度映射表面,动态地映射手和手指的空间位置和手腕控制器和投影仪的相对位置到目标平面。这些过程使得手腕控制器将投影显示和图形用户界面映射到任何表面。该光和光学映射系统也被用来动态地监视手和手指的运动和手势,使得用户能够执行触摸和手势界面连接来控制被投影的界面。
进一步的的实施例包括动态触摸屏显示、麦克风、扬声器、触觉反馈(触觉)传感器阵列以及前置摄像头。这些实施例通过机载图形用户界面实现了触摸、语音和手势界面和语音命令、视频会议和动态触摸屏显示。
在实施例中,手腕控制器结合了触摸屏显示器、一个或多个麦克风、扬声器和触觉反馈(触觉)传感器阵列。这些实施例为用户提供了触摸、语音和手势界面连接选项,使得用户能够在手腕控制器或者一个或多个联网设备上选择显示图形用户界面和与图形用户界面界面连接的最有效方法。
在实施例中,用户可以将特定用户界面,如语言命令或者手势界面连接映射或分配到特定的功能、应用或设备。例如,如果用户正在使用手腕控制器来与个人计算机和电视机进行界面连接,用户可以在计算机上使用手势和触摸时,将语音命令分配给电视。
在实施例中,手腕控制器在手腕单元的顶部和底部的内侧结合触觉传感器条和/或触觉传感器上的环。手腕控制器给微小的手指、手、手腕和身体动作产生非常复杂的位置、振动和压力响应。触觉响应也可以被结合到手势命令、触摸屏、设备控制和其他用户界面应用中以在投影键盘上模拟按钮,或在虚拟2D或3D环境中给对象和/或应用选择和控制提供触觉更真实的响应。触觉响应系统也可以用于指示呼入或呼出电话、短信或其他事件、对于被识别对象和人的位置和/或相关距离,或任何其他被分配上下文应用、报警或被监测的健康状况事件,如,当他们的心脏速率上升到高于指定速率的水平或葡萄糖水平高于或低于一个指定的水平时提醒使用者,或告知使用者潜在的到来的癫痫发作。不同类型的振动和/或电刺激的响应可被产生并分配给不同的呼叫者、事件和应用。
设备映射和界面连接
在实施例中,手腕控制器能够流动在设备上存储和播放的内容,或向手腕控制器从英特网向一个或多个联网设备的屏幕流出,和/或从联网电视、游戏机、PC或其他联网设备将多媒体内容向一个或多个其他设备或显示器流出。该对等网络、内容管理、分发和流可使用许多不同的无线网络来实现。其中一些包括WiFi、蓝牙、蜂窝、红外/光、射频(RF)和用于快速支付和交易的NFC。一种用于连接在其视野内的所有显示器和设备的方法是通过一个单一的WiFi对等网络,其中每个设备通过作为一个独立的WiFi热点和路由器操作的多渠道WiFi直接连接平台无线地连接,手腕控制器用一个或多个无线和/或因特网启用设备创建了一个特别的对等网络,并作为远程可穿戴视频游戏和计算控制器和无线集线器操作。该手腕控制器也可以使用网络的任意组合来与一个或多个设备通信。
在实施例中,手腕控制器基于室内的显示器位置和显示器与手腕控制器和用户的关系,跨多个联网设备和监视器管理内容。手腕控制器能够使用多种方法、网络和信道连接多个设备。
附图实施例详述
图1A是手腕控制器101的一种实施例的立体图,描绘了顶部手腕模块102和底部手腕模块103,其作为设备的内部组件的壳体模块。该手腕模块与可调腕带104连接,在实施例中,其包含在两个手腕模块之间的通信电缆。该设备还具有腕带释放和锁定系统105、前置光发射器106和传感器107以及多相机透镜阵列108。图1A展示了底部模块体传感器的内部视图,包括光发射器和传感器109、皮电反应系统(GSR)110、以及触觉反馈阵列(触觉阵列)111、显示器114的局部视图、麦克风115、扬声器116和顶置相机117。
图1B是图1A中所示实施例的立体图,描绘了顶部模块102体传感器的视图,包括光发射器和传感器109、GSR110和触觉阵列111。
图1C是图1A中所示实施例的立体图,描绘了后置光发射器106和传感器107、后置多照相机镜头阵列108、电源和数据端口112和对接端口113的俯视图。
图1D是图1A中所示实施例的俯视图,描绘了显示屏114、麦克风115、扬声器116和前置摄像头117。
图2A是图1A中所示实施例的立体图,描绘了具有显示器202和释放按钮203的扩展模块201,其附连到手腕控制器101的顶部模块102。这个扩展模块可以作为用于设备的附加功率和数据存储、处理和/或通信系统和/或扩展显示器和界面连接系统,并且也可以执行扩展的服务,例如在血糖仪或其它应用中的插件。
图2B是图1A中所示实施例的立体图,其描绘了具有释放按钮对接片204和电源以及数据插头204的分离扩展模块201,以及在顶部模块102的后部上的和按钮阵列206。
图2C是图1A中所示实施例的立体图,描绘了扩展模块201附连到底部模块103。
图2D是图1A中所示实施例的立体图,扩展模块201从底部模块103分离。
图3A-3L是立体图,其展示了手腕控制器101执行深度映射和3D成像手和手指301,识别关节,然后操纵手的完全功能计算机模型(手模型)307。
图3A和3B是展示手腕控制器101的一种实施例的立体图,其如深度映射的方法一样结合一个或多个移动光束302,执行手和手指301的顶部和底部的光扫描。当光束302垂直和水平移动穿过手和手指301的两侧的表面,三角由手腕控制器101光发射器104和传感器106确定。
图3C和3D是立体图,描绘了发明的另一种实施例,其通过用斑点光图案照亮手和手指301的顶部和底部,将结构光成像303结合到深度映射过程以一次光映射303整个手301。
图3E和3F是立体图,展示手腕控制器101生成深度和色彩映射手304,执行使用3D摄像机108的光映射和成像的组合或执行使用在手腕控制器101的顶部模块和底部上的全光多透镜阵列照相机108四维成像。
图3G和3H是立体图,展示了手腕控制器101识别在手和手指301的顶部和底部上的关节和皱纹305的精确位置,其目的在于产生用于3D映射手304的装备。
图3I和3J是立体图,展示了手腕控制器101从顶部和底部角度生成手的功能性操纵(手装备)306。
图3K和3L是立体图,展示发明将手装备306结合进3D映射手304来创建手的完全功能操纵计算机模型(手模型)307,其能够实时地动画和复制用户手和手指301的运动。
图4A-4F和图5A和5B是立体图,展示了本发明的一个应用,其中用户执行并选择不同的手势的控制功能。手腕控制器101将这些控制分配给手模型307,其被用来在二维或三维计算环境中,执行用户手势输入和命令。图4A-4F和图5A和5B仅表示对于潜在的无限的定制界面编程系统的手势界面连接控制选项的几个例子。
图4A和4B是立体图,展示用户的手和手指301被用来组合手势(做出拳头)和运动(转向和移动手腕)以分配一个定制手势界面控制功能。该手势被手腕控制器101映射和记录。
图4C是立体图,展示用户使用执行和选择手势界面输入和控制功能,其涉及多个手指301。
图4D是立体图,展示用户执行和选择手势界面控制功能,其涉及一根指头301。
图4E是展示用户执行和选择涉及用指定的手指触摸手301上的被识别点或区域的手势界面控制的立体图。
图4F是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指301的手势界面控制的立体图。
图5A是展示在外部联网设备802上的用于2D或3D的单点控制使用单个手指作为控制器301的立体图。
图5B是展示在外部联网设备802上的用于2D或3D的多点控制使用多个手指作为控制器301的立体图。
图6A是展示手腕控制器101将图形用户界面601投影到用户的手和手指301上的立体图。该被投影界面用光映射和3D成像系统被映射到手上。
图6B是展示用户执行触摸和手势界面连接来控制在用户手和手指301上的被投射的图形用户界面601的立体图。
图6C是展示手腕控制器101将图形用户界面601投影到用户的手和手指的立体图。在图6C中,用户展开了他们的手和手指,且被投射界面动态地与手和手指301的新位置一致。用户选择在手腕控制器101上运行或通过网络连接远程运行的代表主动程序或应用的被投影图标的一个。
图6D是展示用户在用户的手301上的被投影的键盘601上进行输入的立体图。
图7是展示用户通过左手和右手手腕控制器101在映射到外部平面上的投影键盘701上进行输入的立体图。图7描绘了具有协调双投影界面的实施例,其中左手和右手手腕控制器在投影表面上映射和投影动态界面中协作地运作。图7描绘了用户在投影键盘上输入文档,其被显示在外部设备803上。左手和右手手腕控制器要么作为单个输入设备并将数据无线中继到控制设备803,或者手腕控制器101作为主操作和控制设备并将数据流到远程显示器803。
图8A-8D和9A和9B是立体图,其描绘了手腕控制器无线地与外部设备界面连接。在各图中,手腕控制器101被显示在两个手腕上,虽然一对控制器可作为单个设备或设备对操作,每个手腕控制器101还可以自主操作,并且不需要第二控制器执行双手手势界面控制。单个手腕控制器101能够为双手界面近距离监测第二只手,或者与第二手腕控制器101协作地操作以启用扩展功能,如多功能两手控制、双投影、扩粘网络、处理、界面连接、电源和数据存储。
图8A是展示用户与两个联网设备界面连接,且使用手腕控制器101来将扫描到的物理对象映射、成像和建模至位于外部联网设备802上的虚拟计算环境的立体图。
图8B是展示用户操作左手和右手手腕控制器101作为两个手势界面控制器来界面连接和操控由手腕控制器101扫描和建模并被无线上传到外部联网设备802的3D计算机模型的立体图。
图8C是立体图,展示用户在外部联网设备802上选择文档、文件或程序,并以手势、语音或其他用户界面命令使用手腕控制器作为两个网络设备之间的数据桥无线传输文件、文档或程序到第二网络设备803。
图8D是展示用户在手腕控制器101触摸屏界面上操作和控制3D扫描和建模的对象的立体图。
图9A是立体图,展示用户使用广域或本地区域的对等无线网络或通过互联网使用广域或本地区域的互联网连接无线地界面连接和控制远程设备和交通工具901。
图9B是立体图,展示用户无线地向远程设备发送和从远程设备901接收实时声音、数据、视频和多媒体内容,将3D中的数据和多媒体内容流向左显示器904、右显示器903和双目平视显示器902。
图10A和10B是展示手腕控制器101全身扫描、深度映射和成像过程的立体图,在其中用户1001执行身体扫描且用户的3D计算机模型1002被生成。
图10C和10D是立体图,展示用户在不同的位置且执行不同的身体动作,使手腕控制器101能在多个位置映射和成像身体1002,并分析用户的灵活性和活动性,以更准确地为3D计算机模型生成身体操纵并在虚拟计算环境复制用户运动。
图10E和10F是立体图,展示用户1001的3D映射和成像以及带有衣服的3D计算机模型1003。这可以通过光映射和3D成像用户1001的物理服装或通过将虚拟服装映射到在计算环境中的三维模型1003被实现。
图11A-11D是立体图,展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程,图11A和11B描绘了从顶部模块的照相机视图,图11C和11D描绘了从底部模块103的照相机视图。手腕控制器101没有在图11A-11D中示出,因为图描述了照相机的视角。
图12A-12D是立体图,展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程,图12A和12B描绘了从顶部模块102的照相机视图,图12C和12D描绘了从底部模块103的照相机视图。在图12A-12D中,用户的胳膊和手都伸出高于用户头的位置,使照相机能够扫描使用者身体的不同部位。
图13A-13C是展示身体操纵过程的立体图,图13A展示了用户1002深度和色彩映射的模型的表面网格。图13B展示了完整身体角色操纵(装备),其符合用户1002的映射计算机模型精确尺寸和特征。图13C展示了角色装备的结合。
图14A和14B是立体图,展示在映射物理环境1301中的用户1001和用户3D计算机模型1002的空间地点和位置,其在3D身体映射和成像过程中被识别和成像。
图15是立体图,展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射1201,所有都通过手腕控制器101被映射和无线地控制。在图15中,手腕控制器101使用机载的、外部的、被植入的或摄入的联网的身体传感器来映射每个的用户身体系统;神经系统1202、内分泌系统1203、骨骼系统1207、肌肉系统1208、外皮系统1209、心血管系统1210、呼吸系统1211、淋巴系统1212、消化系统1213、泌尿系统1214、生殖系统1215。该手腕控制器101还与所有内部数据和多媒体界面连接系统进行联网和界面连接,在图15中被描绘为脑机界面(BMI)1204,假肢在图15中被描绘为义眼1205,以及其他植入设备在图15中被描绘为起搏器1206。
图16A和16B是展示手腕控制器101空间、对象和环境3D光和图像映射过程的立体图,其在图16A和16B中被示为居住生活空间1301。图16A描绘用户10013D映射和成像生活和就餐部分1306,而图16B描绘用户1001成像居住生活空间1301的厨房部分1304。
图17A和17B是用户站在居住生活空间1301中的立体图。图17A展示了用户站在物理居住生活空间1301中,提供了潜在的3D映射环境的例子。图17B展示了3D映射用户1003和环境1302的俯视立体图,所有映射的人、物、设备和环境的都安全地存储在手腕控制器上,或无线上传到在因特网上或其它网络或数据库上的用户授权的帐户。
图18是用户1001和手腕腕控制器101为了在居住生活空间1301中的所有联网设备,识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面连接选项的俯视图。
图19A和19B是一个职业网球选手戴着手腕控制器101、在真正的室外网球场1404打网球的的立体图,而用户1001实时地在用户1001电视机或其它显示器1405上的虚拟游戏环境里,通过尝试由网球运动员击回网球1403,正在家里测试他的技能。
图20A-20C是职业高尔夫球手1501映射他的挥杆、球1504和实时虚拟高尔夫玩家的整个游戏的立体图。图20A是立体图,展示了一个专业的高尔夫球手在向高尔夫球1504挥杆。高尔夫球手将传感器置于他的衣服和鞋子1502和设备1503之上或嵌入他的衣服和鞋子1502和设备1503,使得手腕控制器101能够在挥杆过程中映射高尔夫球手的身体运动的每一个细节。
图21是立体图,展示职业高尔夫球选手1501在高尔夫球课程上映射他的挥杆,以及在手腕控制器101上远程映射和监测传感器启用的联网高尔夫球的高度、速度、轨迹、着陆和静止位置。
图22是设想作为手腕控制器设备的一部分的各种部件连接的示意图。
尽管本发明参考优选实施例在本说明书中被描述,本领域技术人员将会理解,其他的应用在不偏离本发明的精神和范围下,可以替代本说明书中描述的应用。相应地,本发明只应由以下所包括的权利要求来限制。
Claims (41)
1.一种手腕装载的计算设备,包括:
壳体模块;
光映射、扫描、成像、投影和光学界面连接系统,其被包含在所述壳体模块之内,所述光映射、扫描、成像、投影和光学界面连接系统包括
处理器,
一个或多个光发射器,
和一个或多个多透镜阵列;
所述处理器与所述光发射器和所述多透镜阵列通信;所述处理器控制所述光发射器和多透镜阵列以扫描用户身体的表面并动态捕获任何的用户的手、身体以及周围对象和环境的3D或4D多视野深度色彩成像至所述扫描的表面的深度和色彩映像和图像;
其中所述多透镜阵列包括任一的:
立体阵列,其通过确定场景中的两个或多个焦点的深度以及通过将一个图像的点和特征匹配到在其它图像中的相应点和特征确定在其他图像中的相应的点的深度来执行立体三角;
全光阵列,其通过同时捕获多个视野深度、分配多个透镜至单个传感器并捕获来自整个视野的光和色,而每个透镜捕获不同的视野深度,从而将深度分配给捕获图像中的所有点。
2.如权利要求1所述的手腕装载的计算设备,进一步包括一个或多个照相机。
3.如权利要求2所述的手腕装载的计算设备,其中所述照相机运作以扫描一个或多个的所述周围对象;以及
其中所述处理器处理从所述照相机接收的数据以创建被扫描的一个或多个的周围对象的映像。
4.如权利要求3所述的手腕装载的计算设备,其中所述照相机运作以扫描多个所述表面和周围对象;以及
其中所述处理器处理从所述一个或多个照相机接收的数据以创建用户周围的环境的映像。
5.如权利要求4所述的手腕装载的计算设备,还包括:
位置确定模块,其能够确定所述手腕装载的计算设备的精确位置;
其中所述处理器处理从所述位置确定模块接收的数据和从所述照相机接收的数据,以创建所述用户周围的所述环境的所述映像。
6.如权利要求1所述的手腕装载的计算设备,还包括:
信号接收模块,其用来从传感器接收数据和位置信号,所述传感器安装在所述用户的身体表面上、所述用户的所述身体内或者外界对象上。
7.如权利要求1所述的手腕装载的计算设备,还包括:
红外发射器和传感模块,其被定位朝向所述手腕的内侧并运作来检测所述用户的心脏速率、所述用户的血液中的氧含量或所述用户手腕内的肌腱运动。
8.如权利要求1所述的手腕装载的计算设备,还包括:
投影仪,其用于在表面上投射图形用户界面;
其中所述处理器以所述身体表面的所述映像确定用户和被投射的用户界面的交互。
9.根据权利要求1所述的手腕装载的计算设备,进一步包括:
在扫描和成像所述用户的身体表面之后,所述处理器创建相应的深度映像并且将所述深度映像转换为点云,其包括具有相应的矢量的顶点的映像,在其中每个点被分配一x,y和z(深度)坐标;
所述处理器将所述点云转换成表面网格,在其中所述用户的身体表面上的点被连接,所述网格跟随所述用户的身体表面形状、纹理和轮廓;
当穿戴所述设备时,通过映射所述用户的关节、分配关节位置至在所述映射上的匹配区域、生成内部模型操纵、附接所述内部模型操纵到所述网格和模型,以及分配影响的区域到所述网格和所述模型的表面,所述处理器将所述表面网格转换成功能角色模型,其动画地反映所述用户的运动。
10.根据权利要求1所述的手腕装载的计算设备,进一步包括光成像系统,其具有一个或多个光发射器,其包括以下任一个:
一个或多个窄的光束发射器或一个或多个宽的光束发射器可以被分配以沿着X和Y轴网格上下和来回移动一个或多个光束的焦点,扫描所述手、身体、周围对象和表面;
结构化的光成像系统,其具有一个或多个光发射器和扩散器,其在所述用户的手、身体、周围的对象和表面的顶部和底部产生光散斑图案;
红外光成像和光谱学系统,其具有一个或多个红外(IR)和近红外光发射器和传感器,用于连续成像、监视和记录所述用户的生物统计数据;或
投影系统,其具有一个或多个光发射器,用于投射全色图像、视频和/或交互的图形用户界面到所述用户的手、手指、身体和周围对象和表面上。
11.根据权利要求10所述的手腕装载的计算设备,其中在所述手腕装载的计算设备内的所述一个或多个窄的光束发射器或所述一个或多个宽的光束发射器和扫描系统可以被分配以在所述扫描过程中沿着X和Y轴网格构造上下和来回移动一个或多个光束的所述焦点。
12.根据权利要求10所述的手腕装载的计算设备,其中所述手腕装载的计算设备内的结构化的光成像系统在所述用户的手、身体、周围对象和表面上产生光散斑图案,其中所述手腕装载的计算设备内的一个或多个相机传感器识别所述光散斑图案,其中偏离目标平面的每个点的方向反射落在照相机传感器内的不同的像素上,并且其中每一光束被三角化来确定所述目标表面的位置、深度和形状。
13.根据权利要求10所述的手腕装载的计算设备,其中所述手腕装载的计算设备内的结构化的光成像系统被用于深度映射所述手、身体、周围对象和环境。
14.根据权利要求10的所述的手腕装载的计算设备,其中顶部和底部模块双手腕朝向红外(IR)以及近红外成像以及传感器系统启动心脏监测仪、脉搏血氧仪、血糖仪、温度计、心电图(ECG)和电响应系统;
其中在所述手腕的两侧上的两个调制波长成像和传感器系统能够使用相同或不同的IR和近IR波长同时执行相同或不同的任务来测量所述用户的心脏速率、血氧、血糖、体温、电活动、皮肤电导、身体压力和睡眠模式;
其中,顶部和底部模块手腕成像系统通过使用不同波长执行相同的任务能够协作地操作,并且两个模块转移所述不同波长直到两个模块实现相同或类似的读数,以实现并验证更准确的测量;以及
其中每一模块可以独立地执行相同或不同的任务以扩大功能和效率。
15.根据权利要求10所述的手腕装载的计算设备,其中所述手腕计算控制器内的激光投影仪或其他光成像系统投射和映射彩色图像、视频和/或交互的图像用户界面到所述用户的手、手指、身体和/或其他周围对象和表面上;
其中基于所述手腕装载的计算设备和投影仪到所述用户的手和手指或所述其他周围对象和表面的表面的位置、角度和距离,所述手腕装载的计算设备内的所述处理器和投影仪连续地调整所投射的图像、视频和/或交互的图像用户界面的角度、大小、形状和内容,以适应并勾勒出所述用户的手和手指或所述其他周围对象和表面的大小、形状、位置和表面的轮廓。
16.根据权利要求10所述的手腕装载的计算设备,进一步包括:
3D手势界面连接系统,其用于虚拟或物理用户界面的多点控制,结合所述用户的手、手指、身体和外部对象以用于在2D或3D虚拟或物理环境中的界面连接;
其中为了界面连接和控制被显示在所述手腕上显示的、被投射到所述用户的手、手指、周围对象和表面上的图形用户界面、虚拟对象或环境,和/或控制远程联网设备、平视显示器,界面,对象或计算环境的目的,所述3D手势界面连接系统能够连续地映射并识别所述用户的手和手指相对于所述手腕装载的设备、周围对象和表面、远程设备和/或所述2D或3D虚拟或物理环境的空间位置,并且分配一个或多个控制和/或功能的点到每个手指的指尖和/或到所述用户的手和手指上的其他点。
17.根据权利要求1所述的手腕装载的计算设备,其中一个或多个光学传感器进一步包括多透镜阵列,其被独立地使用或与所述手腕装载的计算设备内的结构化的光成像及扫描系统组合地使用以用于所述手、身体、周围对象和环境的深度和色彩映射、建模和成像。
18.根据权利要求1所述的手腕装载的计算设备,进一步包括:
具有视野的照相机;
其中一个或多个光学传感器进一步包括多透镜阵列,其被独立地使用或与所述手腕装载的计算设备内的结构化的光成像及扫描系统、传感器映射系统以及位置和定向模块协作地使用以动态地和连续地识别、监测和映射所述用户的手、手指、身体和在其视野内的周围对象的位置和运动;
其中所述手腕装载的计算设备内的所述处理器处理所述光学的和光成像和扫描数据、网络传感器数据和位置和定向数据来计算在所述照相机的视野内的所述用户的手、手指、身体和周围对象的精确的x,y和z空间和深度坐标,生成映射对象的3D模型,识别在所述映射对象上的关节和控制点以及网络传感器,以及将他们分配给所述3D模型,动态地和连续地更新并记录所述映射对象的所述运动和位置并且把所述3D模型制成动画以反应映射对象和表面的所述运动和位置。
19.根据权利要求1所述的手腕装载的计算设备,其中在扫描和成像所述用户的身体表面并且创建相应的深度映射之后,所述处理器可将所述相应的深度映像转换为点云,其包括具有相应的矢量的顶点的映像,在其中每个点被分配一x,y和z(深度)坐标;
然后所述处理器将所述点云转换成表面网格,在其中所述用户的身体表面上的点被连接,所述网格跟随用户的身体表面形状、纹理和轮廓;
然后,所述处理器将所述表面网格转换成功能角色模型,当穿戴所述手腕装载的计算设备时,通过映射所述用户的关节、分配关节位置至在所述功能角色模型上的匹配区域、生成模拟所述用户的骨骼和关节的内部操纵并附接所述内部操纵到所述网格和所述功能角色模型,以及分配影响的区域到所述网格和所述功能角色模型使得所述功能角色模型能够移动并被控制,其动画地反映所述用户的运动。
20.根据权利要求1所述的手腕装载的计算设备,进一步包括:
运动和定向模块,其用于确定相对于周围对象的所述手腕装载的计算设备的精确的高度、空间位置,方向性运动和定向;
其中所述处理器处理从与所述光学的和结构化光成像和扫描系统连接的所述定向模块接收的数据,以连续地更新映射并制成所述用户的手、手指和身体的模型的动画,并识别所述手腕装载的计算设备相对于所述周围的对象和环境的空间位置。
21.根据权利要求1所述的手腕装载的计算设备,进一步包括:
位置确定模块,其包括GPS、广域、局域和个人区域网、近场通信(NFC)射频(RF)和红外(IR)网络以及无线传感器网络(WSN),用于连续收集用于所述手腕装载的计算设备的室内和室外的位置数据并将位置数据分配给映射和成像的对象与环境,以及捕获的、记录的和/或传输的数据;
其中所述处理器处理从所述位置确定模块接收的与光映射、扫描、成像、投影和光学界面连接系统有关的数据,来连续更新所述手腕装载的计算设备的位置并计算所述手腕装载的计算设备在映射和物理环境中与周围对象之间的精确距离和相对位置。
22.根据权利要求1所述的手腕装载的计算设备,进一步包括:
通信模块,其包括配置成在所述手腕装载的计算设备与其它网络设备和传感器之间以及在所述手腕装载的计算设备与互联网、VPN或其它网络数据和/或媒体中心之间建立双向、多反馈、多通道和同步的多网、实时语音、数据和音视频通信的广域、局域和个人区域网、近场通信(NFC)、射频(RF)和红外(IR)网络以及无线传感器网络(WSN)。
23.根据权利要求21所述的手腕装载的计算设备,进一步包括:
传感器集成器和无线传感器网络(WSN),配置为在所述手腕装载的计算设备与一个或多个可穿戴、附着和/或移植在身上的传感器之间、或与远程传感器和无线网络设备之间操作对等网络的网状网络;
其中所述手腕计算控制器直接和/或通过网状网络与每个传感器通信,在所述网状网络中每个传感器作为一个节点操作,其中继数据到所述网络中的其它传感器或从所述网络中的其它传感器中继数据。
24.根据权利要求23所述的手腕装载的计算设备,进一步包括:
身体传感器映射系统,其为了计算运动中的身体的未来位置,被配置成通过识别每个传感器的3D位置、速度和加速度以及在用户身体上或内部的相关位置,产生可以在数学上用距离坐标x、y和z,速度坐标vx,vy和vz以及加速度坐标ax,ay和az来描述的身体的三维模型,来连续映射一个或多个身体穿戴的、附着的和/或植入的传感器的位置和空间位置以及来记录身体运动;
其中所述处理器识别并联网每个独立传感器和/或网状传感器组,所述手腕控制器能够将每个传感器的精确位置映射在所述用户的3D角色模型上,使所述手腕控制器能够捕获全身运动和加速度作为连续的数据流,并将该数据分配给所述用户的3D操纵的虚拟模型,以在虚拟环境中提供所述用户的身体的实时动画以及在物理环境中提供全身3D运动和手势界面连接。
25.根据权利要求23所述的手腕装载的计算设备,进一步包括:
远程传感器映射系统,其被配置成连续发送信号到一个或多个远程无线传感器和/或无线网络设备并从其接收信号,识别它们的位置、3D空间位置和方向;
其中所述处理器处理由信号接收模块接收的信号识别、方向定位、信号强度和其它信号数据,以确定一个或多个传感器的精确的x、y和z坐标以及空间位置,来建立网络传感器的3D映像。
26.根据权利要求1所述的手腕装载的计算设备,进一步包括:
在所述壳体模块之内的,配置成包括一个或多个动态触摸屏显示器、图像投影仪、麦克风、扬声器、摄影机、光学、运动和方向传感器、以及触觉(触觉)传感器阵列的软件和硬件组件;以及
其中所述处理器操作包括语音命令、立体声系统、音视频通信、触摸屏界面、投影界面、运动手势界面和触觉反馈的大量界面连接阵列;以及
其中用户可分配一个或多个界面连接系统以控制在所述手腕计算设备上的或在远程网络设备、界面、平台或计算环境上的具体任务、工作、应用或事件和/或对其作出响应。
27.根据权利要求25所述的手腕装载的计算设备,进一步包括:
语音命令模块,包括单声道或立体声麦克风、可定制可编程语音激活、语音识别和语音命令系统。
28.根据权利要求25所述的手腕装载的计算设备,进一步包括:
音频系统,包括嵌入式单声道或立体声扬声器和有线或无线耳机的立体声系统。
29.根据权利要求25所述的手腕装载的计算设备,进一步包括:
被配置成捕获、编辑、处理、显示和流动2D、3D或4D静态图像和动态视频的软件和硬件组件,具有机载或远程存储的音频,语音、映射和位置数据,传输和实时的语音数据和音频视频,其与一个或多个网络设备和/或因特网,VPN或其它网络数据和/或媒体中心通信。
30.根据权利要求25所述的手腕装载的计算设备,进一步包括:
用于个性化的图像显示的触摸屏显示和设备功能、显示内容和图形用户界面的触摸屏控制。
31.根据权利要求25所述的手腕装载的计算设备,进一步包括:
用于在任何表面的2D或3D投射界面的多点控制的投射界面连接系统;
其中所述处理器通过光映射和/或光学成像用户控制手和手指相对被映射到用户手和手指、身体和/或周围对象和/或表面上的互动式2D或3D图形用户界面显示的位置确定用户和被投射的用户界面的交互。
32.根据权利要求25所述的手腕装载的计算设备,进一步包括:
用于2D或3D用户界面、显示、虚拟或物理对象和/或计算环境的多点控制的动作手势界面连接系统;
其中所述处理器、光映射、光学成像、运动和定向、位置以及通信系统协同工作,以对所述用户的手、手指、身体和周围对象和环境进行动态地深映射和成像,并识别所述手腕计算控制器和所述用户的手、手指和身体相对周围对象、显示、界面和计算环境的位置、空间位置、方向运动和定位;
其中所述动作手势界面连接系统能够分配用户选择的控制点给所述用户的手、手指、身体和周围对象和表面,接着通过动态地识别和映射每个控制点相对一个或多个周围对象显示、界面、虚拟或物理物体和/或计算环境的x、y和z空间位置,使用一个或多个所述选择的控制点控制2D或3D对象和/或界面;以及
其中用户可对手和手指运动、手势的任何组合使用分配功能,和/或使一个或多个手指触碰到在用户手、手指、身体和/或周围映射对象和表面上的任何其它的手指或指定的点或区域,以执行指定的任务、设备功能或应用。
33.根据权利要求1所述的手腕装载的计算设备,进一步包括:
用于可编程触觉响应系统的触觉反馈阵列,其中手腕计算控制器包括在顶部和底部手腕单元上的触觉传感器的阵列,能使所述手腕装载的计算设备对微小的手指、手、手腕和身体动作产生复杂的振动响应和对各种物理交互和应用;
其中所述触觉响应系统也可用于表明进入的或发出的电话、文字或其它物理的或上下文的事件、到被识别的对象或个人的距离、分配的上下文应用、警报或监控的健康状态事件。
34.根据权利要求1所述的手腕装载的计算设备,进一步包括:
用于用户识别和授权的安全模块,其中所述安全模块包括下列中的至少一个:
手掌和指纹验证系统,其包括所述处理器和光学传感器和光成像系统,以用于连续的、用户发起的和/或基于事件的用户识别和授权的手掌和指纹扫描和成像;
手和手指映射系统,其包括所述处理器和光学传感器和光成像系统,以为连续的、用户发起的和/或基于事件的用户识别和授权映射和测量用户手和手指的尺寸;
生物验证系统,其包括所述处理器,顶部和底部手腕单元,调制红外(IR)和近红外波长的光成像、光谱和生物识别传感器系统,以为连续的、用户发起的和/或基于事件的用户识别和授权执行至少一个的:心电图(ECG)节律识别来识别用户独特的心脏速率变化,热皮肤成像和静电皮肤导电测量;
手势识别和授权系统,其包括所述处理器和所述光学传感器、光成像系统和运动和定位传感器,以产生所述用户手和手指的3D深度映射,并动态地映射用户手和手指的空间位置、方向运动和定位,启用3D多点手势界面连接系统,其中用户可产生并记录任何手和手指运动、手势的组合,或使一个或多个手指触碰到在用户手和手指上的任何其它的手指或指定的点或区域以产生用于用户识别和授权的基于手势的安全密码;
语音识别用户验证和授权系统;
投射界面密码或图形用户界面用户验证和识别系统,其包括所述处理器、图像投影仪和光学传感器和光成像系统,用于投射并映射图像、视频和/或交互的图形用户界面到用户手、手指、身体和/或周围对象或表面上,并利用所述用户的手、手指、身体或对象与所述投射图像、视频和/或用户界面进行界面连接以输入用户指定的密码,或者图形触摸或手势输入系统或应用,以用于用户验证和授权;以及
触摸屏界面密码或图形用户界面输入识别和授权系统,其包括所述处理器和触摸屏显示器,以输入用户指定的密码,或者图形触摸屏界面安全系统或应用,用于用户验证和授权,其可被单独执行,或与一个或多个所述手掌和指纹识别、手和手指映射识别和/或生物统计的用户验证和授权系统组合执行。
35.根据权利要求34所述的手腕装载的计算设备,进一步包括:
事件、交易、位置和/或基于上下文的自动的和/或用户发起的用户识别、验证和授权系统,其中所述处理器和安全模块,通过执行一个或多个的手掌和指纹识别、手和手指映射识别和/或生物识别系统,需要或不需要用户直接发起或激活,来自动识别并验证用户,以及与所述通信、位置和定位模块协同使用户能够执行文件加密或解密、远程访问和/或注册到操作计算系统、互联网、用户授权的网络、数据或媒体中心的任务,或执行物理的、位置或环境特定的动作。
36.一种用来界面连接计算设备和另一设备的计算机可执行方法,包括:
提供手腕装载的计算设备,其包括:
处理器执行指令用于以所述手腕装载的计算设备映射用户的身体的一部分,通过:
以一个或多个光发射器和多透镜阵列扫描所述用户的身体的表面,其中所述多透镜阵列包括立体阵列或全光阵列中的一个:
所述立体阵列通过确定场景中的两个或多个焦点的深度以及通过将一个图像的点和特征匹配到在其它图像中的相应点和特征确定在其他图像中的相应的点的深度来执行立体三角;或
所述全光阵列通过同时捕获多个视野深度、分配多个透镜至单个传感器并捕获来自整个视野的光和色,而每个透镜捕获不同的视野深度,从而将深度分配给捕获图像中的所有点;
处理经由所述扫描接收的数据以动态捕获任何的所述用户的手、身体、周围对象和环境的3D或4D多视野深度色彩成像,以创建所述用户的身体的所述表面的一个或多个映像;以及
用所述身体的所述表面的所述一个或多个映像界面连接外部设备。
37.如权利要求36所述的方法,其中与外部设备界面连接包括:
以所述手腕装载的计算设备中的投影仪投射图形用户界面至表面上;以及
使用由所述处理器创建的所述身体的所述表面的映像,确定用户和所述图形用户界面的交互。
38.如权利要求36所述的方法,其中界面连接外部设备包括:
使用由所述传感器创建的被扫描的身体的所述表面的映像,确定由所述用户执行的手势;以及
基于所述被确定的手势,发送预定信号至外部设备。
39.如权利要求36所述的方法,其中界面连接外部设备包括:
使用位置确定模块确定所述手腕装载的计算设备的位置;以及
基于所述手腕装载的计算设备的所述位置和由所述处理器创建的被扫描的身体的所述表面的所述映像,从多个可能的设备中确定特定的设备来界面连接。
40.如权利要求39所述的方法,其中确定所述手腕装载的计算设备的所述位置还包括:
扫描表面和所述周围对象;以及
处理所述手腕装载的计算设备中的处理器在所述扫描表面和所述周围对象步骤中接收的数据,以创建所述用户周围的环境的映像。
41.根据权利要求36所述的方法,进一步包括:
在扫描和成像所述用户的身体表面之后,所述处理器创建相应的深度映像并且将所述深度映像转换为点云,其包括具有相应的矢量的顶点的映像,在其中每个点被分配一x,y和z(深度)坐标;
所述处理器将所述点云转换成表面网格,在其中所述用户的身体表面上的点被连接,所述网格跟随所述用户的身体表面形状、纹理和轮廓;
当穿戴所述设备时,通过映射所述用户的关节、分配关节位置至在所述映射上的匹配区域、生成内部模型操纵、附接所述内部模型操纵到所述网格和模型,以及分配影响的区域到所述网格和所述模型的表面,所述处理器将所述表面网格转换成功能角色模型,其动画地反映所述用户的运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811121347.6A CN109799900B (zh) | 2012-11-01 | 2013-11-01 | 手腕可安装计算通信和控制设备及其执行的方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261796056P | 2012-11-01 | 2012-11-01 | |
US61/796,056 | 2012-11-01 | ||
US14/070,425 US9690376B2 (en) | 2012-11-01 | 2013-11-01 | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing |
PCT/US2013/068167 WO2014071254A1 (en) | 2012-11-01 | 2013-11-01 | Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing |
US14/070,425 | 2013-11-01 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811121347.6A Division CN109799900B (zh) | 2012-11-01 | 2013-11-01 | 手腕可安装计算通信和控制设备及其执行的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105027030A CN105027030A (zh) | 2015-11-04 |
CN105027030B true CN105027030B (zh) | 2018-10-23 |
Family
ID=50147529
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811121347.6A Active CN109799900B (zh) | 2012-11-01 | 2013-11-01 | 手腕可安装计算通信和控制设备及其执行的方法 |
CN201380069115.XA Active CN105027030B (zh) | 2012-11-01 | 2013-11-01 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811121347.6A Active CN109799900B (zh) | 2012-11-01 | 2013-11-01 | 手腕可安装计算通信和控制设备及其执行的方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9690376B2 (zh) |
EP (1) | EP2915025B8 (zh) |
JP (1) | JP6155448B2 (zh) |
KR (2) | KR101691633B1 (zh) |
CN (2) | CN109799900B (zh) |
WO (1) | WO2014071254A1 (zh) |
Families Citing this family (150)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7771320B2 (en) * | 2006-09-07 | 2010-08-10 | Nike, Inc. | Athletic performance sensing and/or tracking systems and methods |
KR101809636B1 (ko) * | 2009-09-22 | 2018-01-18 | 페이스북, 인크. | 컴퓨터 장치의 원격 제어 |
US10209771B2 (en) * | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
US10691219B2 (en) * | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
JP6155448B2 (ja) | 2012-11-01 | 2017-07-05 | アイカム エルエルシー | 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 |
US9137524B2 (en) * | 2012-11-27 | 2015-09-15 | Qualcomm Incorporated | System and method for generating 3-D plenoptic video images |
US20140230019A1 (en) * | 2013-02-14 | 2014-08-14 | Google Inc. | Authentication to a first device using a second device |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US9609062B2 (en) * | 2013-06-26 | 2017-03-28 | Qualcomm Incorporated | Semantic mappings from human readable messages to programmatic interfaces |
US9952042B2 (en) | 2013-07-12 | 2018-04-24 | Magic Leap, Inc. | Method and system for identifying a user location |
WO2015039050A1 (en) * | 2013-09-13 | 2015-03-19 | Nod, Inc | Using the human body as an input device |
US10585478B2 (en) | 2013-09-13 | 2020-03-10 | Nod, Inc. | Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices |
US9230430B2 (en) | 2013-11-27 | 2016-01-05 | Google Inc. | Detecting removal of wearable authentication device |
MX2016007349A (es) * | 2013-12-06 | 2016-08-19 | Nokia Technologies Oy | Aparato y metodo de entrada de usuario. |
US20150177947A1 (en) * | 2013-12-20 | 2015-06-25 | Motorola Mobility Llc | Enhanced User Interface Systems and Methods for Electronic Devices |
KR101700817B1 (ko) * | 2014-01-10 | 2017-02-13 | 한국전자통신연구원 | 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 |
KR102135586B1 (ko) * | 2014-01-24 | 2020-07-20 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
US9823749B2 (en) | 2014-02-21 | 2017-11-21 | Nod, Inc. | Location determination and registration methodology for smart devices based on direction and proximity and usage of the same |
CN104866079B (zh) * | 2014-02-24 | 2018-11-09 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
US10122978B2 (en) * | 2014-04-01 | 2018-11-06 | Sony Corporation | Harmonizing a projected user interface |
CN103984437B (zh) | 2014-04-28 | 2017-09-29 | 京东方科技集团股份有限公司 | 一种穿戴式触控装置和穿戴式触控方法 |
CN103995621B (zh) * | 2014-04-28 | 2017-02-15 | 京东方科技集团股份有限公司 | 一种穿戴式触控装置和穿戴式触控方法 |
US20150323998A1 (en) * | 2014-05-06 | 2015-11-12 | Qualcomm Incorporated | Enhanced user interface for a wearable electronic device |
US10198030B2 (en) * | 2014-05-15 | 2019-02-05 | Federal Express Corporation | Wearable devices for courier processing and methods of use thereof |
CN105094301A (zh) * | 2014-05-16 | 2015-11-25 | 中兴通讯股份有限公司 | 一种控制方法、装置及电子设备 |
US9830781B2 (en) | 2014-06-13 | 2017-11-28 | Verily Life Sciences Llc | Multipurpose contacts for delivering electro-haptic feedback to a wearer |
CN105204613B (zh) * | 2014-06-27 | 2019-02-05 | 联想(北京)有限公司 | 一种信息处理方法及穿戴式设备 |
US10537821B2 (en) | 2014-06-30 | 2020-01-21 | Microsoft Technology Licensing, Llc | Interactive play sets |
US10518188B2 (en) | 2014-06-30 | 2019-12-31 | Microsoft Technology Licensing, Llc | Controlling physical toys using a physics engine |
US10478723B2 (en) | 2014-06-30 | 2019-11-19 | Microsoft Technology Licensing, Llc | Track based play systems |
US9363640B2 (en) * | 2014-08-05 | 2016-06-07 | Samsung Electronics Co., Ltd. | Electronic system with transformable mode mechanism and method of operation thereof |
KR102343657B1 (ko) | 2014-08-28 | 2021-12-24 | 삼성전자주식회사 | 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들 |
US20180101277A9 (en) * | 2014-09-24 | 2018-04-12 | Evan John Kaye | Skin Touchpad |
US9696757B2 (en) | 2014-10-08 | 2017-07-04 | Microsoft Corporation | Transfer of attributes between generations of characters |
US10369477B2 (en) | 2014-10-08 | 2019-08-06 | Microsoft Technology Licensing, Llc | Management of resources within a virtual world |
US20160109953A1 (en) * | 2014-10-17 | 2016-04-21 | Chetan Desh | Holographic Wristband |
KR101909540B1 (ko) | 2014-10-23 | 2018-10-18 | 삼성전자주식회사 | 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법 |
KR101632007B1 (ko) * | 2014-10-29 | 2016-06-21 | 엘지전자 주식회사 | 와치 타입의 제어 디바이스 |
US9721141B2 (en) * | 2014-10-30 | 2017-08-01 | Polar Electro Oy | Wrist-worn apparatus control with fingerprint data |
KR102029756B1 (ko) * | 2014-11-03 | 2019-10-08 | 삼성전자주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
KR20160055577A (ko) * | 2014-11-10 | 2016-05-18 | 엘지전자 주식회사 | 웨어러블 디바이스 |
US9606697B1 (en) | 2014-11-11 | 2017-03-28 | Google Inc. | Display cursor for motion controller |
WO2016079774A1 (en) * | 2014-11-21 | 2016-05-26 | Johri Abhishek | System and method for data and command input |
US20160147304A1 (en) * | 2014-11-24 | 2016-05-26 | General Electric Company | Haptic feedback on the density of virtual 3d objects |
KR102347248B1 (ko) * | 2014-11-26 | 2022-01-04 | 삼성전자주식회사 | 터치 제스쳐 인식 방법 및 장치 |
KR102364841B1 (ko) | 2014-12-04 | 2022-02-18 | 삼성전자주식회사 | 휴대용 헬스 케어 장치 및 그 동작 방법 |
US20160178906A1 (en) * | 2014-12-19 | 2016-06-23 | Intel Corporation | Virtual wearables |
NL2014037B1 (en) | 2014-12-22 | 2016-10-12 | Meyn Food Proc Technology Bv | Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass. |
KR20160085613A (ko) * | 2015-01-08 | 2016-07-18 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US11119565B2 (en) | 2015-01-19 | 2021-09-14 | Samsung Electronics Company, Ltd. | Optical detection and analysis of bone |
FR3034889B1 (fr) * | 2015-04-10 | 2017-04-28 | Cn2P Sas | Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras |
US10285627B2 (en) * | 2015-04-15 | 2019-05-14 | Pixart Imaging Inc. | Action recognition system and method thereof |
US10007413B2 (en) | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
US10099382B2 (en) | 2015-04-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Mixed environment display of robotic actions |
CN106293025A (zh) * | 2015-05-22 | 2017-01-04 | 上海中兴思秸通讯有限公司 | 终端设备的控制方法及系统 |
KR20160138806A (ko) * | 2015-05-26 | 2016-12-06 | 엘지전자 주식회사 | 글래스타입 단말기 및 그 제어방법 |
US10021527B2 (en) | 2015-06-08 | 2018-07-10 | Microsoft Technology Licensing, Llc | GPS sensor control |
US10166123B2 (en) * | 2015-06-29 | 2019-01-01 | International Business Machines Corporation | Controlling prosthetic devices with smart wearable technology |
EP3118762B1 (en) * | 2015-07-15 | 2020-03-11 | Biowatch SA | Method, device and computer program for authenticating a user |
US10092203B2 (en) | 2015-08-21 | 2018-10-09 | Verily Life Sciences Llc | Using skin resistance measurements to determine timing of bio-telemetry measurements |
US10398328B2 (en) * | 2015-08-25 | 2019-09-03 | Koninklijke Philips N.V. | Device and system for monitoring of pulse-related information of a subject |
WO2017044093A1 (en) * | 2015-09-09 | 2017-03-16 | Ekso Bionics, Inc. | Systems and methods for creating custom-fit exoskeletons |
US10234990B2 (en) * | 2015-09-29 | 2019-03-19 | Microchip Technology Incorporated | Mapping of position measurements to objects using a movement model |
JP6144743B2 (ja) * | 2015-09-30 | 2017-06-07 | 京セラ株式会社 | ウェアラブル装置 |
US11036318B2 (en) * | 2015-09-30 | 2021-06-15 | Apple Inc. | Capacitive touch or proximity detection for crown |
US11609427B2 (en) | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
US20170115737A1 (en) * | 2015-10-26 | 2017-04-27 | Lenovo (Singapore) Pte. Ltd. | Gesture control using depth data |
US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
EP3182328A1 (en) | 2015-12-17 | 2017-06-21 | Nokia Technologies Oy | A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image |
US10289206B2 (en) * | 2015-12-18 | 2019-05-14 | Intel Corporation | Free-form drawing and health applications |
US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
US10578882B2 (en) | 2015-12-28 | 2020-03-03 | Ostendo Technologies, Inc. | Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof |
CN106933340B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 手势动作识别方法、控制方法和装置以及腕式设备 |
CN106933341B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 一种在图像中确定手指所处区域的方法、装置及腕式设备 |
US9798387B2 (en) * | 2016-01-18 | 2017-10-24 | Anoop Molly JOSEPH | Multipurpose computer mouse |
CN105759999A (zh) * | 2016-02-29 | 2016-07-13 | 苌晨阳 | 加速度延时控制健康鼠标 |
US20170269697A1 (en) * | 2016-03-21 | 2017-09-21 | Intel Corporation | Under-wrist mounted gesturing |
US10353203B2 (en) | 2016-04-05 | 2019-07-16 | Ostendo Technologies, Inc. | Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices |
US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
US10638316B2 (en) * | 2016-05-25 | 2020-04-28 | Intel Corporation | Wearable computer apparatus with same hand user authentication |
CN107526430A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 一种在虚拟场景下进行三维建模的方法及装置 |
US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
CN110178159A (zh) * | 2016-10-17 | 2019-08-27 | 沐择歌公司 | 具有集成式投影仪的音频/视频可穿戴式计算机系统 |
BR112019004847A2 (pt) * | 2016-10-25 | 2019-06-04 | Ericsson Telefon Ab L M | dispositivo usado no corpo do usuário, dispositivo sensível ao toque, métodos realizados por um dispositivo usado em corpo de usuário e por um dispositivo sensível ao toque, programa de computador, e, produto de programa de computador |
US10545219B2 (en) * | 2016-11-23 | 2020-01-28 | Chirp Microsystems | Three dimensional object-localization and tracking using ultrasonic pulses |
KR101908803B1 (ko) | 2016-12-20 | 2018-10-16 | 주식회사 포스코 | 열병합 발전 시스템 |
US10444908B2 (en) * | 2016-12-31 | 2019-10-15 | Innoventions, Inc. | Virtual touchpads for wearable and portable devices |
US10845885B2 (en) * | 2017-02-27 | 2020-11-24 | International Business Machines Corporation | Object scrolling and selection on a wearable computing device |
CA3059373A1 (en) * | 2017-04-24 | 2018-11-01 | Magic Leap, Inc. | Tracking optical flow of backscattered laser speckle patterns |
US10444865B2 (en) * | 2017-05-01 | 2019-10-15 | Google Llc | Tracking of position and orientation of objects in virtual reality systems |
US10033978B1 (en) | 2017-05-08 | 2018-07-24 | International Business Machines Corporation | Projecting obstructed content over touch screen obstructions |
US20210117680A1 (en) * | 2017-05-10 | 2021-04-22 | Humane, Inc. | Wearable multimedia device and cloud computing platform with laser projection system |
KR20180129133A (ko) * | 2017-05-25 | 2018-12-05 | 전자부품연구원 | 3차원 msp 기반 생체인식 장치 및 방법 |
KR101904085B1 (ko) | 2017-06-07 | 2018-11-22 | 울산과학기술원 | 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 |
US10997649B2 (en) * | 2017-06-12 | 2021-05-04 | Disney Enterprises, Inc. | Interactive retail venue |
DE102017007856A1 (de) * | 2017-07-06 | 2019-01-10 | Davide Giusti | Gerät zur Wiedergabe von Inhalte Aus Endgeräte Mittels ein berührbare und beweglicher Freischwebender 3D Projektion |
US10682491B2 (en) | 2017-07-20 | 2020-06-16 | Bose Corporation | Earphones for measuring and entraining respiration |
US10481699B2 (en) * | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
CN107632699B (zh) * | 2017-08-01 | 2019-10-11 | 东南大学 | 基于多感知数据融合的人机自然交互系统 |
CN107633853B (zh) * | 2017-08-03 | 2020-07-03 | 广东小天才科技有限公司 | 一种播放音视频文件的控制方法及用户终端 |
RU2678494C1 (ru) | 2017-08-24 | 2019-01-29 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для биометрической идентификации пользователя с использованием рч (радиочастотного) радара |
US10591730B2 (en) * | 2017-08-25 | 2020-03-17 | II Jonathan M. Rodriguez | Wristwatch based interface for augmented reality eyewear |
JP6991022B2 (ja) * | 2017-09-12 | 2022-02-03 | オムロンヘルスケア株式会社 | 表示制御装置およびプログラム |
US10386938B2 (en) * | 2017-09-18 | 2019-08-20 | Google Llc | Tracking of location and orientation of a virtual controller in a virtual reality system |
US11314399B2 (en) | 2017-10-21 | 2022-04-26 | Eyecam, Inc. | Adaptive graphic user interfacing system |
US10460512B2 (en) * | 2017-11-07 | 2019-10-29 | Microsoft Technology Licensing, Llc | 3D skeletonization using truncated epipolar lines |
US20190187875A1 (en) * | 2017-12-15 | 2019-06-20 | International Business Machines Corporation | Remote control incorporating holographic displays |
CN109934065B (zh) * | 2017-12-18 | 2021-11-09 | 虹软科技股份有限公司 | 一种用于手势识别的方法和装置 |
EP3732672A4 (en) | 2017-12-27 | 2021-09-15 | Adesanya, Olaoluwa O. | PORTABLE COMPUTER DEVICE FOR AUGMENTED REALITY, VIRTUAL REALITY AND ARTIFICIAL INTELLIGENCE INTERACTIONS, AND RELATED PROCESSES |
WO2019176273A1 (ja) | 2018-03-12 | 2019-09-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11150746B2 (en) * | 2018-06-28 | 2021-10-19 | Google Llc | Wearable electronic devices having user interface mirroring based on device position |
US10802598B2 (en) | 2018-08-05 | 2020-10-13 | Pison Technology, Inc. | User interface control of responsive devices |
US11099647B2 (en) * | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
KR102067377B1 (ko) * | 2018-08-06 | 2020-02-11 | 최기은 | 배터리가 구비된 스트랩을 가지는 착용 가능한 휴대용 단말기 |
WO2020053858A1 (en) * | 2018-09-14 | 2020-03-19 | ChroniSense Medical Ltd. | System and method for monitoring respiratory rate and oxygen saturation |
US11244080B2 (en) | 2018-10-09 | 2022-02-08 | International Business Machines Corporation | Project content from flexible display touch device to eliminate obstruction created by finger |
EP3653120A1 (en) * | 2018-11-15 | 2020-05-20 | Koninklijke Philips N.V. | A rehabilitation device and a method of monitoring hand positions |
CN109299394A (zh) * | 2018-11-26 | 2019-02-01 | Oppo广东移动通信有限公司 | 信息推送方法及相关产品 |
US11093041B2 (en) * | 2018-11-30 | 2021-08-17 | International Business Machines Corporation | Computer system gesture-based graphical user interface control |
US10963103B1 (en) * | 2018-12-24 | 2021-03-30 | Facebook Technologies, Llc | Display system with integrated depth detection |
CN111383345B (zh) * | 2018-12-29 | 2022-11-22 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
EP3931676A4 (en) * | 2019-04-11 | 2022-04-13 | Samsung Electronics Co., Ltd. | HEAD MOUNTED DISPLAY DEVICE AND METHOD OF OPERATION THEREOF |
US11486961B2 (en) * | 2019-06-14 | 2022-11-01 | Chirp Microsystems | Object-localization and tracking using ultrasonic pulses with reflection rejection |
JP2021002288A (ja) * | 2019-06-24 | 2021-01-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、コンテンツ処理システム、および画像処理方法 |
US10965914B2 (en) * | 2019-07-08 | 2021-03-30 | Andrae T. D'Acquisto | Trail camera |
CN110558935B (zh) * | 2019-08-05 | 2022-02-01 | 南京阿尔法医学有限公司 | 医用局部麻醉平面监护仪的前端保护电路及方法 |
KR102306392B1 (ko) | 2019-08-19 | 2021-09-30 | 한국과학기술연구원 | 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치 |
US11467668B2 (en) * | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
US11308744B1 (en) * | 2019-12-27 | 2022-04-19 | Jimcy Exantus | Wrist-wearable tracking and monitoring device |
US11199908B2 (en) | 2020-01-28 | 2021-12-14 | Pison Technology, Inc. | Wrist-worn device-based inputs for an operating system |
US11157086B2 (en) | 2020-01-28 | 2021-10-26 | Pison Technology, Inc. | Determining a geographical location based on human gestures |
US20230260155A1 (en) * | 2020-04-24 | 2023-08-17 | Cornell University | Deep continuous 3d hand pose tracking |
WO2021236170A1 (en) * | 2020-05-18 | 2021-11-25 | Google Llc | Low-power semi-passive relative six-degree-of-freedom tracking |
US11801434B2 (en) * | 2020-05-20 | 2023-10-31 | Mark Greenberg | Racquet sport scoring system |
US11899845B2 (en) | 2020-08-04 | 2024-02-13 | Samsung Electronics Co., Ltd. | Electronic device for recognizing gesture and method for operating the same |
US11301041B1 (en) * | 2020-09-30 | 2022-04-12 | International Business Machines Corporation | Hand tremor accessible using augmented reality user interface |
US11592907B2 (en) * | 2020-10-20 | 2023-02-28 | Google Llc | Gesture-triggered augmented-reality |
CN113238650B (zh) * | 2021-04-15 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
US11725504B2 (en) | 2021-05-24 | 2023-08-15 | Saudi Arabian Oil Company | Contactless real-time 3D mapping of surface equipment |
US11619097B2 (en) | 2021-05-24 | 2023-04-04 | Saudi Arabian Oil Company | System and method for laser downhole extended sensing |
WO2022266122A1 (en) * | 2021-06-14 | 2022-12-22 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for an environment-aware predictive modeling framework for human-robot symbiotic walking |
US20230004229A1 (en) * | 2021-06-30 | 2023-01-05 | International Business Machines Corporation | Item selection with smart device monitoring of gestures |
KR20230018925A (ko) * | 2021-07-30 | 2023-02-07 | 삼성전자주식회사 | 프로젝션 디스플레이를 포함하는 웨어러블 전자 장치 |
US11995240B2 (en) | 2021-11-16 | 2024-05-28 | Neosensory, Inc. | Method and system for conveying digital texture information to a user |
US11847256B2 (en) * | 2022-03-04 | 2023-12-19 | Humane, Inc. | Presenting and aligning laser projected virtual interfaces |
US11797100B1 (en) * | 2022-09-23 | 2023-10-24 | Huawei Technologies Co., Ltd. | Systems and methods for classifying touch events based on relative orientation |
CN117459663B (zh) * | 2023-12-22 | 2024-02-27 | 北京天图万境科技有限公司 | 一种投射光自校正拟合与多色彩重定位方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1711516A (zh) * | 2002-11-07 | 2005-12-21 | 奥林巴斯株式会社 | 运动检测装置 |
CN101702103A (zh) * | 2009-11-19 | 2010-05-05 | 上海思佗科自动化科技有限公司 | 光学式轨迹捕捉输入装置 |
CN101882012A (zh) * | 2010-06-12 | 2010-11-10 | 北京理工大学 | 基于投影跟踪的笔式交互系统 |
CN102129152A (zh) * | 2009-12-21 | 2011-07-20 | 微软公司 | 具有集成vcsel阵列的深度投影仪系统 |
CN102231037A (zh) * | 2010-06-16 | 2011-11-02 | 微软公司 | 带有超辐射发光二极管的深度照像机照明器 |
CN102387344A (zh) * | 2010-08-27 | 2012-03-21 | 索尼公司 | 成像装置、成像系统和成像方法 |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US591372A (en) * | 1897-10-05 | Paper-binder | ||
US580726A (en) * | 1897-04-13 | Spindle | ||
US3541541A (en) | 1967-06-21 | 1970-11-17 | Stanford Research Inst | X-y position indicator for a display system |
JPS602134A (ja) | 1983-06-17 | 1985-01-08 | 早川 英雄 | 有害動物の威嚇装置 |
US5807267A (en) | 1994-06-01 | 1998-09-15 | Advanced Body Metrics Corporation | Heart pulse monitor |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
CN1168057C (zh) | 1996-08-14 | 2004-09-22 | 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 | 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统 |
US6747632B2 (en) | 1997-03-06 | 2004-06-08 | Harmonic Research, Inc. | Wireless control device |
US7298360B2 (en) | 1997-03-06 | 2007-11-20 | Harmonic Research, Inc. | Body-mounted selective control device |
US6778850B1 (en) * | 1999-03-16 | 2004-08-17 | Accuray, Inc. | Frameless radiosurgery treatment system and method |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
TW528881B (en) | 2001-02-05 | 2003-04-21 | Hitachi Int Electric Inc | Position measuring apparatus |
US6898517B1 (en) | 2001-07-24 | 2005-05-24 | Trimble Navigation Limited | Vehicle-based dynamic advertising |
US7134080B2 (en) | 2002-08-23 | 2006-11-07 | International Business Machines Corporation | Method and system for a user-following interface |
US7242394B2 (en) | 2003-06-02 | 2007-07-10 | Polyvision Corp. | Slidable electronic whiteboard system |
CN100458910C (zh) | 2003-10-28 | 2009-02-04 | 松下电器产业株式会社 | 图像显示装置及图像显示方法 |
US20100289655A1 (en) | 2004-12-21 | 2010-11-18 | Elrod Scott A | Detecting descented material |
US20070052672A1 (en) * | 2005-09-08 | 2007-03-08 | Swisscom Mobile Ag | Communication device, system and method |
US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
US20090046140A1 (en) * | 2005-12-06 | 2009-02-19 | Microvision, Inc. | Mobile Virtual Reality Projector |
US7810504B2 (en) | 2005-12-28 | 2010-10-12 | Depuy Products, Inc. | System and method for wearable user interface in computer assisted surgery |
JP5174684B2 (ja) | 2006-03-14 | 2013-04-03 | プライムセンス リミテッド | スペックル・パターンを用いた三次元検出 |
US9080977B2 (en) * | 2006-10-23 | 2015-07-14 | Xenogen Corporation | Apparatus and methods for fluorescence guided surgery |
KR20090061179A (ko) * | 2007-12-11 | 2009-06-16 | 한국전자통신연구원 | 데이터 입력 장치 및 이를 이용한 데이터 처리 방법 |
WO2009093461A1 (ja) | 2008-01-22 | 2009-07-30 | Ssd Company Limited | 撮像装置、オンラインゲームシステム、操作物、入力方法、画像解析装置、画像解析方法、及び記録媒体 |
KR20100008322A (ko) | 2008-07-15 | 2010-01-25 | 엘지전자 주식회사 | 가변 포맷의 메시지를 이용한 대역 요청 방법 |
KR101284797B1 (ko) * | 2008-10-29 | 2013-07-10 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
US20100110264A1 (en) * | 2008-10-31 | 2010-05-06 | Lucent Technologies, Inc. | Image projection system |
GB2466497B (en) * | 2008-12-24 | 2011-09-14 | Light Blue Optics Ltd | Touch sensitive holographic displays |
JP2010244484A (ja) * | 2009-04-10 | 2010-10-28 | Funai Electric Co Ltd | 画像表示装置、画像表示方法および画像表示プログラム |
WO2011013079A1 (en) | 2009-07-30 | 2011-02-03 | Primesense Ltd. | Depth mapping based on pattern matching and stereoscopic information |
JP4988016B2 (ja) | 2009-08-27 | 2012-08-01 | 韓國電子通信研究院 | 指の動き検出装置およびその方法 |
US8421811B2 (en) | 2009-09-15 | 2013-04-16 | David Odland | Customized vehicle body |
US8717291B2 (en) | 2009-10-07 | 2014-05-06 | AFA Micro Co. | Motion sensitive gesture device |
KR101302138B1 (ko) * | 2009-12-18 | 2013-08-30 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
JP2011146835A (ja) * | 2010-01-13 | 2011-07-28 | Seiko Epson Corp | 光学読取装置、光学読取装置の制御方法、及び、プログラム |
WO2011097291A1 (en) | 2010-02-02 | 2011-08-11 | Nellcor Puritan Bennett Llc | Continuous light emission photoacoustic spectroscopy |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
WO2011115035A1 (ja) * | 2010-03-15 | 2011-09-22 | 日本電気株式会社 | 入力装置、入力方法及びプログラム |
US8749557B2 (en) * | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
EP2403234A1 (en) | 2010-06-29 | 2012-01-04 | Koninklijke Philips Electronics N.V. | Method and system for constructing a compound image from data obtained by an array of image capturing devices |
US9261526B2 (en) | 2010-08-26 | 2016-02-16 | Blast Motion Inc. | Fitting system for sporting equipment |
US9270807B2 (en) | 2011-02-23 | 2016-02-23 | Digimarc Corporation | Audio localization using audio signal encoding and recognition |
EP2691936A1 (en) | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | Modular mobile connected pico projectors for a local multi-user collaboration |
US10061387B2 (en) * | 2011-03-31 | 2018-08-28 | Nokia Technologies Oy | Method and apparatus for providing user interfaces |
US8228315B1 (en) | 2011-07-12 | 2012-07-24 | Google Inc. | Methods and systems for a virtual input device |
US8733939B2 (en) | 2012-07-26 | 2014-05-27 | Cloudcar, Inc. | Vehicle content projection |
US9019267B2 (en) * | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
JP6155448B2 (ja) | 2012-11-01 | 2017-07-05 | アイカム エルエルシー | 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 |
JP5847058B2 (ja) | 2012-11-08 | 2016-01-20 | 本田技研工業株式会社 | 車両表示装置 |
CN105452567B (zh) | 2013-06-03 | 2017-09-12 | 波因茨实验室公司 | 机器人智能标志系统和方法 |
WO2014209328A1 (en) | 2013-06-27 | 2014-12-31 | Intel Corporation | Device for adaptive projection |
US20150227164A1 (en) | 2014-02-07 | 2015-08-13 | Larry R. Laycock | Display and sensing systems |
US10198030B2 (en) * | 2014-05-15 | 2019-02-05 | Federal Express Corporation | Wearable devices for courier processing and methods of use thereof |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US11314399B2 (en) | 2017-10-21 | 2022-04-26 | Eyecam, Inc. | Adaptive graphic user interfacing system |
-
2013
- 2013-11-01 JP JP2015540837A patent/JP6155448B2/ja active Active
- 2013-11-01 KR KR1020157011111A patent/KR101691633B1/ko active IP Right Grant
- 2013-11-01 WO PCT/US2013/068167 patent/WO2014071254A1/en active Application Filing
- 2013-11-01 EP EP13850844.5A patent/EP2915025B8/en active Active
- 2013-11-01 KR KR1020167036418A patent/KR102065687B1/ko active IP Right Grant
- 2013-11-01 CN CN201811121347.6A patent/CN109799900B/zh active Active
- 2013-11-01 US US14/070,425 patent/US9690376B2/en active Active
- 2013-11-01 CN CN201380069115.XA patent/CN105027030B/zh active Active
-
2017
- 2017-06-26 US US15/633,286 patent/US11262841B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1711516A (zh) * | 2002-11-07 | 2005-12-21 | 奥林巴斯株式会社 | 运动检测装置 |
CN101702103A (zh) * | 2009-11-19 | 2010-05-05 | 上海思佗科自动化科技有限公司 | 光学式轨迹捕捉输入装置 |
CN102129152A (zh) * | 2009-12-21 | 2011-07-20 | 微软公司 | 具有集成vcsel阵列的深度投影仪系统 |
CN101882012A (zh) * | 2010-06-12 | 2010-11-10 | 北京理工大学 | 基于投影跟踪的笔式交互系统 |
CN102231037A (zh) * | 2010-06-16 | 2011-11-02 | 微软公司 | 带有超辐射发光二极管的深度照像机照明器 |
CN102387344A (zh) * | 2010-08-27 | 2012-03-21 | 索尼公司 | 成像装置、成像系统和成像方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2915025A4 (en) | 2016-11-02 |
WO2014071254A1 (en) | 2014-05-08 |
CN109799900A (zh) | 2019-05-24 |
US11262841B2 (en) | 2022-03-01 |
EP2915025B1 (en) | 2021-04-07 |
JP6155448B2 (ja) | 2017-07-05 |
EP2915025B8 (en) | 2021-06-02 |
US9690376B2 (en) | 2017-06-27 |
KR20150099510A (ko) | 2015-08-31 |
KR20170003713A (ko) | 2017-01-09 |
KR101691633B1 (ko) | 2017-01-09 |
CN105027030A (zh) | 2015-11-04 |
WO2014071254A4 (en) | 2014-07-10 |
EP2915025A1 (en) | 2015-09-09 |
JP2016508241A (ja) | 2016-03-17 |
US20180129284A1 (en) | 2018-05-10 |
CN109799900B (zh) | 2023-02-28 |
KR102065687B1 (ko) | 2020-02-11 |
US20140055352A1 (en) | 2014-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105027030B (zh) | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 | |
JP6276882B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US20240005808A1 (en) | Individual viewing in a shared space | |
CN105608746B (zh) | 一种将现实进行虚拟实现的方法 | |
JP6263252B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
CN107656615A (zh) | 大量同时远程数字呈现世界 | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6392911B2 (ja) | 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
CN105264460A (zh) | 全息图对象反馈 | |
JP6321263B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US20140045593A1 (en) | Virtual joint orientation in virtual skeleton | |
JP7160669B2 (ja) | プログラム、情報処理装置、および方法 | |
Hu et al. | StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6554139B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018192238A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6856572B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6718933B2 (ja) | プログラム、情報処理装置、および方法 | |
Zhao | Human Point-to-point Reaching and Swarm-teaming Performance in Mixed Reality | |
JP2020184344A (ja) | プログラム、情報処理装置、および方法 | |
JP2018195287A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Davis Bryan Jonathan Inventor after: Fisher James Inventor after: Fisher Ronald Eugene Inventor after: White Norman Mccarey Inventor after: Stuart Gregory Tyrrell Inventor before: Davis Bryan Jonathan Inventor before: Fisher James Inventor before: Fisher Ronald Eugene |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |