CN109799900A - 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 - Google Patents

用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 Download PDF

Info

Publication number
CN109799900A
CN109799900A CN201811121347.6A CN201811121347A CN109799900A CN 109799900 A CN109799900 A CN 109799900A CN 201811121347 A CN201811121347 A CN 201811121347A CN 109799900 A CN109799900 A CN 109799900A
Authority
CN
China
Prior art keywords
user
wrist
interface
hand
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811121347.6A
Other languages
English (en)
Other versions
CN109799900B (zh
Inventor
布赖恩·乔纳森·戴维斯
詹姆斯·费歇尔
罗纳德·尤金·费歇尔
怀特·诺曼·麦卡雷
斯图尔特·格雷格里·蒂勒尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyecam LLC
Original Assignee
Eyecam LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyecam LLC filed Critical Eyecam LLC
Publication of CN109799900A publication Critical patent/CN109799900A/zh
Application granted granted Critical
Publication of CN109799900B publication Critical patent/CN109799900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A61B5/1125—Grasping motions of hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

机载和远程设备的自主化、智能化、可穿戴的无线手腕装载的计算、显示和控制系统上的光和光学深度映射、三维(3D)成像、建模、建网和界面连接的装置和方法以及图形用户界面控制。本发明的实施例通过它的无线多媒体流和多界面显示以及投影系统使人、对象、设备和空间增强到虚拟环境以及使虚拟对象和界面增强到物理世界。

Description

用于三维成像、映射、建网和界面连接的无线腕式计算和控制 设备和方法
本申请为2013年递交的，题为用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法的中国专利申请201380069115.X的分案申请。
对相关申请的交互引用
本申请要求2013年11月1号提交的美国专利申请号为14/070,425和2012年11月1号提交的临时申请号为61/796,056的优先权，其每一个都通过引用被全部合并于此。
技术领域
本发明设计可穿戴式计算领域。具体地说，本发明涉及用于3D映射、成像、建网、通信和多界面远程控制的设备和方法。
相关技术领域说明
现有的控制设备包括手持式有线x-y位置性输入设备形式的早期鼠标技术，如美国专利号3,541,541中的传感器和空间定位系统，如美国专利号6,005,548中的可穿戴式手、手指和对象空间定位系统，其纳入了手势、语音识别和触摸屏界面连接控制。
现有技术，如美国专利6,647,632，介绍了戴在手腕上的无线控制设备，光发射器和传感器被置于手的内部以确定用户的手和手指的位置，识别预分配的手势和语音命令并将数据中继到受控设备，以及美国专利8,292,833 B2介绍了一种手腕戴式手指运动检测装置，其使用监测穿戴者肌腱的光学和超声波信号来识别他们的手和手指的位置和移动并将数据中继到受控设备。美国专利申请2009/0096783 A1介绍了一种室内的三维结构成像系统和身体动作和手势界面连接系统，其使用光斑点图案来3D映射被照对象，以及美国专利申请2011/0025827介绍了一种立体深度映射，其使用光投影和三维色彩成像的组合，这两个系统都被限制为从固定的位置深度映射、建模和界面连接。
鼠标和其它手持和可穿戴界面连接设备的一个共同的属性是被定位为控制器是对于远程受控设备和计算系统的外围设备和位置数据输入附件。因此，现有技术下，已知技术有很多问题。
发明内容
机载和远程设备的自主化、智能化、可穿戴的无线手腕装载的计算、显示和控制系统上的光和光学深度映射、三维成像、建模、建网、界面连接的装置和方法以及图形用户界面控制。本发明的实施例通过它的无线多媒体流和多界面显示以及投影系统使人、对象、设备和空间增强到虚拟环境以及使虚拟对象和界面增强到物理世界。
附图说明
图1A是手腕控制器的实施例的立体图。
图1B是图1A中所示实施例的立体图。
图1C是图1A中所示实施例的立体图。
图1D是图1A中所示实施例的俯视图。
图2A是图1A中所示实施例描绘了扩展模块的立体图。
图2B是图1A中所示实施例描绘了分离的扩展模块的立体图。
图2C是图1A中所示实施例描绘了扩展的立体图。
图2D是图1A中所示实施例的扩展模块分离的立体图。
图3A和3B是展示包含一个或多个移动光束的手腕控制器的实施例的立体图。
图3C和3D是描绘包含结构光成像的发明的实施例的立体图。
图3E和3F是展示生成深度和色彩映射手的手腕控制器的立体图。
图3G和3H是展示识别手的关节和皱纹的精确位置的手腕控制器的立体图。
图3I和3J是展示生成手的功能性操纵的手腕控制器的立体图。
图3K和3L是展示将手装备结合进3D映射的手的实施例的立体图。
图4A和4B是展示用户的手和手指被用来组合手势和运动的立体图。
图4C是展示用户使用涉及多个手指的执行和选择手势界面控制功能的立体图。
图4D是展示用户执行和选择涉及一根的手指的手势界面控制功能的立体图。
图4E是展示用户执行和选择涉及用指定的手指触摸手上的被识别点或区域的手势界面控制的立体图。
图4F是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指的手势界面控制的立体图。
图5A是展示在使用单个手指作为控制器的外部联网设备上的2D或3D技术设备的单点控制的立体图。
图5B是展示在使用多个手指作为控制器外部联网设备上的2D或3D计算设备的多点控制的立体图。
图6A是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。
图6B是展示用户执行触摸和手势界面来控制在用户手和手指上的投射的图形用户界面的立体图。
图6C是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。
图6D是展示用户在投影到用户的手上的键盘输入的立体图。
图7是展示用户通过左手和右手的手腕控制器在映射到外部平面上的被投影的键盘上输入的立体图。
图8A是展示用户界面连接两个联网设备，且使用手腕控制器来将扫描到的物理对象映射、成像和建模至位于外部联网设备上的虚拟计算环境的立体图。
图8B是展示用户操作左手和右手手腕控制器作为两个手势界面控制器来界面连接和操控由手腕控制器扫描和成型并被无线上传到外部联网设备的3D计算机模型的立体图。
图8C是展示用户在外部联网设备上选择文档、文件或程序的立体图。
图8D是展示用户在手腕控制器触摸屏界面上操作和控制3D扫描和建模的对象的立体图。
图9A是展示用户无线地界面连接和控制远程设备和交通工具的立体图。
图9B是展示用户无线地向远程设备发送和从远程设备接收实时声音、数据、视频和多媒体内容的立体图。
图10A和10B是展示的手腕控制器全身扫描、深度映射和成像过程的立体图，该过程中用户执行全身扫描和用户的3D计算机模型被生成。
图10C和10D是展示用户在不同的位置、执行不同的身体动作，使手腕控制器在多个位置映射和成像身体，并分析用户的灵活性和活动性，以更准确地为3D计算模型生成身体操纵并在虚拟计算环境复制用户运动的立体图。
图10E和10F是展示用户的3D映射和成像以及带有衣服的3D计算机模型的立体图。
图11A和11B是从手腕控制器的顶部模块描绘摄像机视图的立体图。
图11C和11D是从手腕控制器的底部模块描绘摄像机视图的立体图。
图12A和12B是从手腕控制器的顶部模块描绘摄像机视图的立体图。
图12C和12D是从手腕控制器的底部模块描绘摄像机视图的立体图。
图13A-13C是展示身体操纵过程的立体图。
图14A和14B是展示在映射物理环境中的用户3D计算机模型的空间地点和位置的立体图。
图15是展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射的立体图。
图16A和16B是展示手腕控制器空间、对象和环境3D光和图像映射过程的立体图。
图17A和17B是用户站在居住生活空间的立体图。
图18是用户和手腕腕控制器为了在居住生活空间中的所有联网设备，识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面选项的俯视图。
图19A和19B是戴着手腕控制器的职业网球选手的立体图。
图20A、20B和20C是职业高尔夫球手映射他的挥杆、球和实时虚拟高尔夫玩家的整个游戏的立体图。
图21是展示职业高尔夫球选手在高尔夫球课程上的立体图。
图22是手腕控制器的原理图。
具体实施方式
装置和方法描述了自主的、智能的可穿戴无线语音、数据和视频通信系统，其结合了机载计算和多界面手腕控制器、远程设备和图形用户界面(GUI)控制器。装置和方法还描述了3维(3D)光学手、身体、对象、传感器和环境成像、映射、建模、建网和界面连接。此外，装置和方法描述了将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象和界面增强到物理环境中的。
被描述的装置和方法是在可穿戴计算光学和界面连接方面比现有技术进步，从手、手指、和对象定位到3D扫描、映射、成型、成像、投影和无线界面连接系统均通过一种手腕计算和控制控制器涉及、呈现和操作。
装置和方法被描述为实施光发射器和传感器的组合，传感器包括身体、动作、方向和位置传感器。这些设备和方法可以进一步包括光学、立体或全光透镜阵列以通过在室内或室外，白天或夜晚使用一个或多个深度测量和成像方法动态扫描和成像手、身体、对象和环境来产生深度映像和3D成像模型，以及虚拟计算、界面连接和建网平台。
此外，装置和方法被描述用于在板载和远程设备的在自主的、智能的可穿戴无线手腕计算、显示和控制系统上的移动光与光学深度映射成像、建模、建网和界面连接以及图形用户界面(GUI)控制。也描述了通过无线多媒体流和多界面显示和投影系统将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象、界面和环境增强到真实世界。
光映射
本发明的实施例涉及将窄或宽光束的光发射器，或结构光成像系统结合到由用户佩戴的手腕控制器的顶部和底部。在实施方案中，设备扫描手和手指、身体和任何在手上或在光成像系统领域的对象的顶部和底部。
当使用窄或宽的光束发射器和传感器阵列，该发射器阵列可以被分配来在扫描过程中沿着X和Y轴网格构造上下和来回移动光束的焦点，然后被分配一固定位置来监测手和手指运动。发射器形成x-y阵列用于检测空间的x和y维度的手和手指，以及传感器检测反射是否存在。在实施例中，深度(z)距离由从目标表面到光传感器的光束反射的三角测量，其要么当光束在运动和对象是静止时，映射目标表面深度；要么或当光束被固定并且被扫描对象是运动时，动态确定被扫描对象的位置。
在使用结构化的光成像系统的实施例中，发射器和扩散器被结合以在手的顶部和底部产生光散斑图案并覆盖周围对象和环境。在实施例中，手腕控制器上的指定照相机传感器识别光散斑图案以及偏离目标平面的每个点的方向反射落在照相机传感器内的不同的像素上，以三角测量光束并确定目标表面的位置、深度和形状。
固定结构光成像系统给投影光图案提供源的连续点，唯一变量是在它的投影域的目标对象的位置、深度和表面形状。手腕控制器介绍了可穿戴式结构光成像系统，其大部分时间处于运动状态。甚至当一个人保持他们的手臂和手稳定，轻微的身体动作可以改变光发射器和投影光图案的位置和方向，并因此改变照相机传感器的位置和视线。
在实施例中，该光映射系统被用于手、身体、对象和环境的初始映射和建模，且被用来为了手势界面连接和控制动态地监视手、手指、身体和对象运动，且被用来在设备登录时立即执行无钥用户验证和授权，以及执行用于支付的即时用户验证和其他与安全的交易和安全有关的功能，如无钥进入家庭和汽车，以及访问独特的用户帐户和设备上的用户特定功能和应用。
位置和方向映射
在实施例中，有必要结合不断的运动、位置和方向数据。当光和光学深度映射和3D色彩映射被执行，手腕控制器的空间位置、定向运动和方向由机载上加速度计、高度计、罗盘和陀螺仪以及全球定位系统和射频(RF)定向信号和位置数据的任何组合获得，来连续识别手腕控制器相机、光发射器和传感器与反射和成像表面的精确相关位置，来在深度和色彩映像中将该数据分配给每个光点和色彩像素。
光映射和成像
在实施例中，深度映射和3D成像通过使用立体或全光多透镜阵列来实现。这些阵列使得手腕控制器的顶部和底部的模块能够动态捕捉手、身体、周围对象和环境的3D或4D多视野深度色彩成像。
在实施方案中，当结合一个或多个立体透镜阵列时，手腕控制器通过确定场景中的两个或多个焦点的深度，以及通过将一个图像的点和特征匹配到在其它图像中的相应点和特征确定在其他图像中的相应的点的深度，来执行立体三角。为了克服相应的问题，立体成像系统可以选择结合光成像系统来将一个或多个光点投射到投射到目标表面上，从而使成像系统验证在图像中的精确对应点。一旦相应点已经确定，该成像系统便确定场景中的所有其他的点的聚焦深度。
在实施例中，当结合光域全光微透镜阵列时，手腕控制器同时捕捉多个视野深度。尽管立体透镜阵列被限制为两个或多个的单独透镜阵列和传感器，每个从单个视野深度捕捉光线和色彩，使得相应的图像分析在两个或更多个图像中匹配点，全光微透镜阵列分配多个透镜到单个传感器并捕获来自整个视野的光和色，而每个透镜捕获不同的视野深度，从而使照像机将深度分配给捕获图像中的所有点。
在实施例中，该光成像系统被用于手、身体、对象和环境的初始成像、深度和色彩映射以及建模，且被用来动态地成像手势和投射界面连接的手、手指、身体和对象运动，且被用来执行用户验证和授权，以及其他与安全有关的功能，以及在2D和3D或4D视频中捕获视频和实时流用户活动并执行其他成像应用。
建模和操纵
光扫描和三维成像对象后，相应的深度映像被转换为点云，具有相应矢量的顶点映像，在其中每个点被分配一个x、y和z(深度)坐标。该过程将由光扫描过程或对象3D成像产生的灰度深度映像变成顶点，在其中每个点或图像的像素被识别为x、y和z坐标，其可以被转换成公制单位。
在实施例中，当光扫描深度映像通过识别每个表面点的精确深度和方向位置被转换为顶点和矢量映像时，色彩映射过程被启用，其中相应的深度映射颜色像素被分配给在三维顶点和矢量映像上的每个点。这种方法将点云转换成网状，在其中邻接表面上的点被连接并确定，例如，一个手指在另一个后面，并且它们不是单个表面。该网格跟随3D映射对象的表面形状、纹理和轮廓。
将人的手或身体的表面网格和3D映像转换成成一个功能角色模型，其可以被设置来映出穿戴者的动作，结合了一系列映射人的关节并将关节位置分配到3D模型上的匹配区域，以及产生类似于人体内的骨架结构的内部模型操纵的过程。接着将操纵添加到3D网格和模型，将影响区域分配到3D模型的网格和平面，其类似于肌肉和肌腱对身体运动和皮肤的影响。
在实施例中，当现有的功能角色操纵存在，而不是为每一个新模型生成装备时，现有的装备被缩放并符合所映射的人的尺寸、形状和身体特征。这可以基于被映射的人的身体类型、性别、尺寸、重量、年龄、健康、健身、活动性和其他参数来结合用于确定身体柔韧性和运动的程序，以更准确地符合装备和模型，从而模仿人的自然身体运动和活动性。
在三维光映像和成像过程中，手腕控制器可以提示穿戴者执行大量的手和身体的运动、手势和位置以识别该人的关节、骨骼结构和活动性。可能需要捕获人的多个三维扫描和成像，然后调整该操纵来复制精确的身体结构和活动性。
传感器映射与界面连接
在实施例中，手腕控制器被用来连续地实时映射全身运动，并将外部传感器结合到它的三维映射和界面连接系统。这包括身体、衣服和远程无线设备传感器。通过将微传感器附着到在每个肢体和关节的身体或衣服上，或与在衣服、鞋子和设备中的嵌入式传感器进行联网，手腕控制器可以识别一个或多个无线传感器的空间位置，并将这些传感器分配到人、设备和环境的映射的三维模型。
在实施例中，手腕控制器可以使用用于本地和远程传感器和设备界面连接和控制的一个联网方法或联网方法的组合，其包括射频(RF)、光/红外、近场通信(NFC)、蓝牙、WiFi和蜂窝网络。该传感器网络使得通过手腕控制器发送和接收数据用于远程传感器的无线操作和控制，以及网络数据的动态映射、界面连接和流动和映射数据的机载或远程存储。
在实施例中，当手腕控制器作为无线传感器网络(WSN)的传感器集成器操作时，手腕控制器直接或通过网状网络与每个传感器联网，其中每个传感器作为一个节点操作，不仅捕获并发送数据，而且充当继电器将数据传递到网络中的其他节点。
在实施例中，当通过识别每个关节或身体部分的三维位置、速度和加速度来监测身体运动时，一个完整的直角坐标三维模型可以在数学上用距离坐标x，y和z速度坐标vx，vy，和vz以及加速度坐标ax，ay，和az来描述，来计算运动中的对象的未来位置。一旦手腕控制器识别并联网独立传感器或网状传感器组，手腕控制器便能够将传感器的精确位置映射在3D角色模型上。该过程使手腕控制器能够捕获全身运动和加速度作为连续的数据流，并将该数据分配给穿戴者的3D操纵的虚拟模型，以在虚拟环境中提供身体和全身界面连接的实时动画。
在实施例中，当手腕控制器被用于映射内部身体解剖结构和与内部体传感器、设备和假肢界面连接时，该手腕控制器结合映射、建模、联网内部身体和与内部身体界面连接的类似方法，如其和外部机构一样。在实施例中，当手腕控制器使用光和光学映射和外部传感器映射外部机构时，手腕控制器也进行内部映射，其结合了手腕控制器的机载健康和身体传感器，然后扩展到所有联网的内部身体传感器，包括摄入和植入传感器、设备、假肢和任何身体或大脑机器界面连接系统。
在实施例中，手腕控制器结合了机载身体健康和健身传感器，包括顶部和底部模块手腕朝向红外(IR)光谱和脉搏血氧仪、心脏监测仪、温度计、电响应系统、脑电图(EEG)、心电图(ECG)、肌电信号(EMG)和血糖仪。
投影映射和界面连接
在实施例中，结合用于将图像投影到外部表面上的微型投影仪，，该光和图像映射系统和方向系统被用于深度映射表面，动态地映射手和手指的空间位置和手腕控制器和投影仪的相对位置到目标平面。这些过程使得手腕控制器将投影显示和图形用户界面映射到任何表面。该光和光学映射系统也被用来动态地监视手和手指的运动和手势，使得用户能够执行触摸和手势界面连接来控制被投影的界面。
进一步的的实施例包括动态触摸屏显示、麦克风、扬声器、触觉反馈(触觉)传感器阵列以及前置摄像头。这些实施例通过机载图形用户界面实现了触摸、语音和手势界面和语音命令、视频会议和动态触摸屏显示。
在实施例中，手腕控制器结合了触摸屏显示器、一个或多个麦克风、扬声器和触觉反馈(触觉)传感器阵列。这些实施例为用户提供了触摸、语音和手势界面连接选项，使得用户能够在手腕控制器或者一个或多个联网设备上选择显示图形用户界面和与图形用户界面界面连接的最有效方法。
在实施例中，用户可以将特定用户界面，如语言命令或者手势界面连接映射或分配到特定的功能、应用或设备。例如，如果用户正在使用手腕控制器来与个人计算机和电视机进行界面连接，用户可以在计算机上使用手势和触摸时，将语音命令分配给电视。
在实施例中，手腕控制器在手腕单元的顶部和底部的内侧结合触觉传感器条和/或触觉传感器上的环。手腕控制器给微小的手指、手、手腕和身体动作产生非常复杂的位置、振动和压力响应。触觉响应也可以被结合到手势命令、触摸屏、设备控制和其他用户界面应用中以在投影键盘上模拟按钮，或在虚拟2D或3D环境中给对象和/或应用选择和控制提供触觉更真实的响应。触觉响应系统也可以用于指示呼入或呼出电话、短信或其他事件、对于被识别对象和人的位置和/或相关距离，或任何其他被分配上下文应用、报警或被监测的健康状况事件，如，当他们的心脏速率上升到高于指定速率的水平或葡萄糖水平高于或低于一个指定的水平时提醒使用者，或告知使用者潜在的到来的癫痫发作。不同类型的振动和/或电刺激的响应可被产生并分配给不同的呼叫者、事件和应用。
设备映射和界面连接
在实施例中，手腕控制器能够流动在设备上存储和播放的内容，或向手腕控制器从英特网向一个或多个联网设备的屏幕流出，和/或从联网电视、游戏机、PC或其他联网设备将多媒体内容向一个或多个其他设备或显示器流出。该对等网络、内容管理、分发和流可使用许多不同的无线网络来实现。其中一些包括WiFi、蓝牙、蜂窝、红外/光、射频(RF)和用于快速支付和交易的NFC。一种用于连接在其视野内的所有显示器和设备的方法是通过一个单一的WiFi对等网络，其中每个设备通过作为一个独立的WiFi热点和路由器操作的多渠道WiFi直接连接平台无线地连接，手腕控制器用一个或多个无线和/或因特网启用设备创建了一个特别的对等网络，并作为远程可穿戴视频游戏和计算控制器和无线集线器操作。该手腕控制器也可以使用网络的任意组合来与一个或多个设备通信。
在实施例中，手腕控制器基于室内的显示器位置和显示器与手腕控制器和用户的关系，跨多个联网设备和监视器管理内容。手腕控制器能够使用多种方法、网络和信道连接多个设备。
附图实施例详述
图1A是手腕控制器101的一种实施例的立体图，描绘了顶部手腕模块102和底部手腕模块103，其作为设备的内部组件的壳体模块。该手腕模块与可调腕带104连接，在实施例中，其包含在两个手腕模块之间的通信电缆。该设备还具有腕带释放和锁定系统105、前置光发射器106和传感器107以及多相机透镜阵列108。图1A展示了底部模块体传感器的内部视图，包括光发射器和传感器109、皮电反应系统(GSR)110、以及触觉反馈阵列(触觉阵列)111、显示器114的局部视图、麦克风115、扬声器116和顶置相机117。
图1B是图1A中所示实施例的立体图，描绘了顶部模块102体传感器的视图，包括光发射器和传感器109、GSR110和触觉阵列111。
图1C是图1A中所示实施例的立体图，描绘了后置光发射器106和传感器107、后置多照相机镜头阵列108、电源和数据端口112和对接端口113的俯视图。
图1D是图1A中所示实施例的俯视图，描绘了显示屏114、麦克风115、扬声器116和前置摄像头117。
图2A是图1A中所示实施例的立体图，描绘了具有显示器202和释放按钮203的扩展模块201，其附连到手腕控制器101的顶部模块102。这个扩展模块可以作为用于设备的附加功率和数据存储、处理和/或通信系统和/或扩展显示器和界面连接系统，并且也可以执行扩展的服务，例如在血糖仪或其它应用中的插件。
图2B是图1A中所示实施例的立体图，其描绘了具有释放按钮对接片204和电源以及数据插头204的分离扩展模块201，以及在顶部模块102的后部上的和按钮阵列206。
图2C是图1A中所示实施例的立体图，描绘了扩展模块201附连到底部模块103。
图2D是图1A中所示实施例的立体图，扩展模块201从底部模块103分离。
图3A-3L是立体图，其展示了手腕控制器101执行深度映射和3D成像手和手指301，识别关节，然后操纵手的完全功能计算机模型(手模型)307。
图3A和3B是展示手腕控制器101的一种实施例的立体图，其如深度映射的方法一样结合一个或多个移动光束302，执行手和手指301的顶部和底部的光扫描。当光束302垂直和水平移动穿过手和手指301的两侧的表面，三角由手腕控制器101光发射器104和传感器106确定。
图3C和3D是立体图，描绘了发明的另一种实施例，其通过用斑点光图案照亮手和手指301的顶部和底部，将结构光成像303结合到深度映射过程以一次光映射303整个手301。
图3E和3F是立体图，展示手腕控制器101生成深度和色彩映射手304，执行使用3D摄像机108的光映射和成像的组合或执行使用在手腕控制器101的顶部模块和底部上的全光多透镜阵列照相机108四维成像。
图3G和3H是立体图，展示了手腕控制器101识别在手和手指301的顶部和底部上的关节和皱纹305的精确位置，其目的在于产生用于3D映射手304的装备。
图3I和3J是立体图，展示了手腕控制器101从顶部和底部角度生成手的功能性操纵(手装备)306。
图3K和3L是立体图，展示发明将手装备306结合进3D映射手304来创建手的完全功能操纵计算机模型(手模型)307，其能够实时地动画和复制用户手和手指301的运动。
图4A-4F和图5A和5B是立体图，展示了本发明的一个应用，其中用户执行并选择不同的手势的控制功能。手腕控制器101将这些控制分配给手模型307，其被用来在二维或三维计算环境中，执行用户手势输入和命令。图4A-4F和图5A和5B仅表示对于潜在的无限的定制界面编程系统的手势界面连接控制选项的几个例子。
图4A和4B是立体图，展示用户的手和手指301被用来组合手势(做出拳头)和运动(转向和移动手腕)以分配一个定制手势界面控制功能。该手势被手腕控制器101映射和记录。
图4C是立体图，展示用户使用执行和选择手势界面输入和控制功能，其涉及多个手指301。
图4D是立体图，展示用户执行和选择手势界面控制功能，其涉及一根指头301。
图4E是展示用户执行和选择涉及用指定的手指触摸手301上的被识别点或区域的手势界面控制的立体图。
图4F是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指301的手势界面控制的立体图。
图5A是展示在外部联网设备802上的用于2D或3D的单点控制使用单个手指作为控制器301的立体图。
图5B是展示在外部联网设备802上的用于2D或3D的多点控制使用多个手指作为控制器301的立体图。
图6A是展示手腕控制器101将图形用户界面601投影到用户的手和手指301上的立体图。该被投影界面用光映射和3D成像系统被映射到手上。
图6B是展示用户执行触摸和手势界面连接来控制在用户手和手指301上的被投射的图形用户界面601的立体图。
图6C是展示手腕控制器101将图形用户界面601投影到用户的手和手指的立体图。在图6C中，用户展开了他们的手和手指，且被投射界面动态地与手和手指301的新位置一致。用户选择在手腕控制器101上运行或通过网络连接远程运行的代表主动程序或应用的被投影图标的一个。
图6D是展示用户在用户的手301上的被投影的键盘601上进行输入的立体图。
图7是展示用户通过左手和右手手腕控制器101在映射到外部平面上的投影键盘701上进行输入的立体图。图7描绘了具有协调双投影界面的实施例，其中左手和右手手腕控制器在投影表面上映射和投影动态界面中协作地运作。图7描绘了用户在投影键盘上输入文档，其被显示在外部设备803上。左手和右手手腕控制器要么作为单个输入设备并将数据无线中继到控制设备803，或者手腕控制器101作为主操作和控制设备并将数据流到远程显示器803。
图8A-8D和9A和9B是立体图，其描绘了手腕控制器无线地与外部设备界面连接。在各图中，手腕控制器101被显示在两个手腕上，虽然一对控制器可作为单个设备或设备对操作，每个手腕控制器101还可以自主操作，并且不需要第二控制器执行双手手势界面控制。单个手腕控制器101能够为双手界面近距离监测第二只手，或者与第二手腕控制器101协作地操作以启用扩展功能，如多功能两手控制、双投影、扩粘网络、处理、界面连接、电源和数据存储。
图8A是展示用户与两个联网设备界面连接，且使用手腕控制器101来将扫描到的物理对象映射、成像和建模至位于外部联网设备802上的虚拟计算环境的立体图。
图8B是展示用户操作左手和右手手腕控制器101作为两个手势界面控制器来界面连接和操控由手腕控制器101扫描和建模并被无线上传到外部联网设备802的3D计算机模型的立体图。
图8C是立体图，展示用户在外部联网设备802上选择文档、文件或程序，并以手势、语音或其他用户界面命令使用手腕控制器作为两个网络设备之间的数据桥无线传输文件、文档或程序到第二网络设备803。
图8D是展示用户在手腕控制器101触摸屏界面上操作和控制3D扫描和建模的对象的立体图。
图9A是立体图，展示用户使用广域或本地区域的对等无线网络或通过互联网使用广域或本地区域的互联网连接无线地界面连接和控制远程设备和交通工具901。
图9B是立体图，展示用户无线地向远程设备发送和从远程设备901接收实时声音、数据、视频和多媒体内容，将3D中的数据和多媒体内容流向左显示器904、右显示器903和双目平视显示器902。
图10A和10B是展示手腕控制器101全身扫描、深度映射和成像过程的立体图，在其中用户1001执行身体扫描且用户的3D计算机模型1002被生成。
图10C和10D是立体图，展示用户在不同的位置且执行不同的身体动作，使手腕控制器101能在多个位置映射和成像身体1002，并分析用户的灵活性和活动性，以更准确地为3D计算机模型生成身体操纵并在虚拟计算环境复制用户运动。
图10E和10F是立体图，展示用户1001的3D映射和成像以及带有衣服的3D计算机模型1003。这可以通过光映射和3D成像用户1001的物理服装或通过将虚拟服装映射到在计算环境中的三维模型1003被实现。
图11A-11D是立体图，展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程，图11A和11B描绘了从顶部模块的照相机视图，图11C和11D描绘了从底部模块103的照相机视图。手腕控制器101没有在图11A-11D中示出，因为图描述了照相机的视角。
图12A-12D是立体图，展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程，图12A和12B描绘了从顶部模块102的照相机视图，图12C和12D描绘了从底部模块103的照相机视图。在图12A-12D中，用户的胳膊和手都伸出高于用户头的位置，使照相机能够扫描使用者身体的不同部位。
图13A-13C是展示身体操纵过程的立体图，图13A展示了用户1002深度和色彩映射的模型的表面网格。图13B展示了完整身体角色操纵(装备)，其符合用户1002的映射计算机模型精确尺寸和特征。图13C展示了角色装备的结合。
图14A和14B是立体图，展示在映射物理环境1301中的用户1001和用户3D计算机模型1002的空间地点和位置，其在3D身体映射和成像过程中被识别和成像。
图15是立体图，展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射1201，所有都通过手腕控制器101被映射和无线地控制。在图15中，手腕控制器101使用机载的、外部的、被植入的或摄入的联网的身体传感器来映射每个的用户身体系统；神经系统1202、内分泌系统1203、骨骼系统1207、肌肉系统1208、外皮系统1209、心血管系统1210、呼吸系统1211、淋巴系统1212、消化系统1213、泌尿系统1214、生殖系统1215。该手腕控制器101还与所有内部数据和多媒体界面连接系统进行联网和界面连接，在图15中被描绘为脑机界面(BMI)1204，假肢在图15中被描绘为义眼1205，以及其他植入设备在图15中被描绘为起搏器1206。
图16A和16B是展示手腕控制器101空间、对象和环境3D光和图像映射过程的立体图，其在图16A和16B中被示为居住生活空间1301。图16A描绘用户10013D映射和成像生活和就餐部分1306，而图16B描绘用户1001成像居住生活空间1301的厨房部分1304。
图17A和17B是用户站在居住生活空间1301中的立体图。图17A展示了用户站在物理居住生活空间1301中，提供了潜在的3D映射环境的例子。图17B展示了3D映射用户1003和环境1302的俯视立体图，所有映射的人、物、设备和环境的都安全地存储在手腕控制器上，或无线上传到在因特网上或其它网络或数据库上的用户授权的帐户。
图18是用户1001和手腕腕控制器101为了在居住生活空间1301中的所有联网设备，识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面连接选项的俯视图。
图19A和19B是一个职业网球选手戴着手腕控制器101、在真正的室外网球场1404打网球的的立体图，而用户1001实时地在用户1001电视机或其它显示器1405上的虚拟游戏环境里，通过尝试由网球运动员击回网球1403，正在家里测试他的技能。
图20A-20C是职业高尔夫球手1501映射他的挥杆、球1504和实时虚拟高尔夫玩家的整个游戏的立体图。图20A是立体图，展示了一个专业的高尔夫球手在向高尔夫球1504挥杆。高尔夫球手将传感器置于他的衣服和鞋子1502和设备1503之上或嵌入他的衣服和鞋子1502和设备1503，使得手腕控制器101能够在挥杆过程中映射高尔夫球手的身体运动的每一个细节。
图21是立体图，展示职业高尔夫球选手1501在高尔夫球课程上映射他的挥杆，以及在手腕控制器101上远程映射和监测传感器启用的联网高尔夫球的高度、速度、轨迹、着陆和静止位置。
图22是设想作为手腕控制器设备的一部分的各种部件连接的示意图。
尽管本发明参考优选实施例在本说明书中被描述，本领域技术人员将会理解，其他的应用在不偏离本发明的精神和范围下，可以替代本说明书中描述的应用。相应地，本发明只应由以下所包括的权利要求来限制。

Claims (10)

1.一种手腕装载的计算设备，包括：
壳体模块；
光映射、扫描、成像、投影和光学界面连接系统，其被包含在所述壳体模块之内，所述光映射、扫描、成像、投影和光学界面连接系统包括
处理器，
一个或多个光发射器，
和一个或多个多透镜阵列；
所述处理器与所述光发射器和所述多透镜阵列通信；所述处理器控制所述光发射器和多透镜阵列以扫描用户身体的表面并动态捕获任何的用户的手、身体以及周围对象和环境的3D或4D多视野深度色彩成像至所述扫描的表面的深度和色彩映像和图像；
其中所述多透镜阵列包括任一的：
立体阵列，其通过确定场景中的两个或多个焦点的深度以及通过将一个图像的点和特征匹配到在其它图像中的相应点和特征确定在其他图像中的相应的点的深度来执行立体三角；
全光阵列，其通过同时捕获多个视野深度、分配多个透镜至单个传感器并捕获来自整个视野的光和色，而每个透镜捕获不同的视野深度，从而将深度分配给捕获图像中的所有点。
2.如权利要求1所述的手腕装载的计算设备，进一步包括一个或多个照相机。
3.如权利要求2所述的手腕装载的计算设备，其中所述照相机运作以扫描一个或多个的所述周围对象；以及
其中所述处理器处理从所述照相机接收的数据以创建被扫描的一个或多个的周围对象的映像。
4.如权利要求3所述的手腕装载的计算设备，其中所述照相机运作以扫描多个所述表面和周围对象；以及
其中所述处理器处理从所述一个或多个照相机接收的数据以创建用户周围的环境的映像。
5.如权利要求4所述的手腕装载的计算设备，还包括：
位置确定模块，其能够确定所述手腕装载的计算设备的精确位置；
其中所述处理器处理从所述位置确定模块接收的数据和从所述照相机接收的数据，以创建所述用户周围的所述环境的所述映像。
6.如权利要求1所述的手腕装载的计算设备，还包括：
信号接收模块，其用来从传感器接收数据和位置信号，所述传感器安装在所述用户的身体表面上、所述用户的所述身体内或者外界对象上。
7.如权利要求1所述的手腕装载的计算设备，还包括：
红外发射器和传感模块，其被定位朝向所述手腕的内侧并运作来检测所述用户的心脏速率、所述用户的血液中的氧含量或所述用户手腕内的肌腱运动。
8.如权利要求1所述的手腕装载的计算设备，还包括：
投影仪，其用于在表面上投射图形用户界面；
其中所述处理器以所述身体表面的所述映像确定用户和被投射的用户界面的交互。
9.根据权利要求1所述的手腕装载的计算设备，进一步包括：
在扫描和成像所述用户的身体表面之后，所述处理器创建相应的深度映像并且将所述深度映像转换为点云，其包括具有相应的矢量的顶点的映像，在其中每个点被分配一x，y和z(深度)坐标；
所述处理器将所述点云转换成表面网格，在其中所述用户的身体表面上的点被连接，所述网格跟随所述用户的身体表面形状、纹理和轮廓；
当穿戴所述设备时，通过映射所述用户的关节、分配关节位置至在所述映射上的匹配区域、生成内部模型操纵、附接所述内部模型操纵到所述网格和模型，以及分配影响的区域到所述网格和所述模型的表面，所述处理器将所述表面网格转换成功能角色模型，其动画地反映所述用户的运动。
10.根据权利要求1所述的手腕装载的计算设备，进一步包括光成像系统，其具有一个或多个光发射器，其包括以下任一个：
一个或多个窄的光束发射器或一个或多个宽的光束发射器可以被分配以沿着X和Y轴网格上下和来回移动一个或多个光束的焦点，扫描所述手、身体、周围对象和表面；
结构化的光成像系统，其具有一个或多个光发射器和扩散器，其在所述用户的手、身体、周围的对象和表面的顶部和底部产生光散斑图案；
红外光成像和光谱学系统，其具有一个或多个红外(IR)和近红外光发射器和传感器，用于连续成像、监视和记录所述用户的生物统计数据；或
投影系统，其具有一个或多个光发射器，用于投射全色图像、视频和/或交互的图形用户界面到所述用户的手、手指、身体和周围对象和表面上。
CN201811121347.6A 2012-11-01 2013-11-01 手腕可安装计算通信和控制设备及其执行的方法 Active CN109799900B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261796056P 2012-11-01 2012-11-01
US61/796,056 2012-11-01
PCT/US2013/068167 WO2014071254A1 (en) 2012-11-01 2013-11-01 Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
CN201380069115.XA CN105027030B (zh) 2012-11-01 2013-11-01 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
US14/070,425 US9690376B2 (en) 2012-11-01 2013-11-01 Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380069115.XA Division CN105027030B (zh) 2012-11-01 2013-11-01 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法

Publications (2)

Publication Number Publication Date
CN109799900A true CN109799900A (zh) 2019-05-24
CN109799900B CN109799900B (zh) 2023-02-28

Family

ID=50147529

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380069115.XA Active CN105027030B (zh) 2012-11-01 2013-11-01 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
CN201811121347.6A Active CN109799900B (zh) 2012-11-01 2013-11-01 手腕可安装计算通信和控制设备及其执行的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380069115.XA Active CN105027030B (zh) 2012-11-01 2013-11-01 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法

Country Status (6)

Country Link
US (2) US9690376B2 (zh)
EP (1) EP2915025B8 (zh)
JP (1) JP6155448B2 (zh)
KR (2) KR101691633B1 (zh)
CN (2) CN105027030B (zh)
WO (1) WO2014071254A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262841B2 (en) 2012-11-01 2022-03-01 Eyecam Llc Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
US11573648B2 (en) 2018-03-12 2023-02-07 Sony Corporation Information processing apparatus and information processing method to identify gesture operation of a user

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7771320B2 (en) 2006-09-07 2010-08-10 Nike, Inc. Athletic performance sensing and/or tracking systems and methods
JP5926184B2 (ja) * 2009-09-22 2016-05-25 ペブルステック リミテッド コンピュータ装置の遠隔制御
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10691219B2 (en) * 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
US20140230019A1 (en) * 2013-02-14 2014-08-14 Google Inc. Authentication to a first device using a second device
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9609062B2 (en) * 2013-06-26 2017-03-28 Qualcomm Incorporated Semantic mappings from human readable messages to programmatic interfaces
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US10139914B2 (en) * 2013-09-13 2018-11-27 Nod, Inc. Methods and apparatus for using the human body as an input device
US10585478B2 (en) 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
US9230430B2 (en) 2013-11-27 2016-01-05 Google Inc. Detecting removal of wearable authentication device
WO2015081568A1 (en) * 2013-12-06 2015-06-11 Nokia Technologies Oy Apparatus and method for user input
US20150177947A1 (en) * 2013-12-20 2015-06-25 Motorola Mobility Llc Enhanced User Interface Systems and Methods for Electronic Devices
KR101700817B1 (ko) * 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
KR102135586B1 (ko) * 2014-01-24 2020-07-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9823749B2 (en) 2014-02-21 2017-11-21 Nod, Inc. Location determination and registration methodology for smart devices based on direction and proximity and usage of the same
CN104866079B (zh) * 2014-02-24 2018-11-09 联想(北京)有限公司 一种信息处理方法及电子设备
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
EP3126932A1 (en) * 2014-04-01 2017-02-08 Sony Corporation Harmonizing a projected user interface
CN103995621B (zh) 2014-04-28 2017-02-15 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
CN103984437B (zh) 2014-04-28 2017-09-29 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
US20150323998A1 (en) * 2014-05-06 2015-11-12 Qualcomm Incorporated Enhanced user interface for a wearable electronic device
ES2826476T3 (es) * 2014-05-15 2021-05-18 Federal Express Corp Dispositivos portátiles para el procesamiento de mensajería y métodos de uso de los mismos
CN105094301A (zh) * 2014-05-16 2015-11-25 中兴通讯股份有限公司 一种控制方法、装置及电子设备
US9830781B2 (en) 2014-06-13 2017-11-28 Verily Life Sciences Llc Multipurpose contacts for delivering electro-haptic feedback to a wearer
CN105204613B (zh) * 2014-06-27 2019-02-05 联想(北京)有限公司 一种信息处理方法及穿戴式设备
US10537821B2 (en) 2014-06-30 2020-01-21 Microsoft Technology Licensing, Llc Interactive play sets
US10478723B2 (en) 2014-06-30 2019-11-19 Microsoft Technology Licensing, Llc Track based play systems
US10518188B2 (en) 2014-06-30 2019-12-31 Microsoft Technology Licensing, Llc Controlling physical toys using a physics engine
US9363640B2 (en) * 2014-08-05 2016-06-07 Samsung Electronics Co., Ltd. Electronic system with transformable mode mechanism and method of operation thereof
KR102343657B1 (ko) 2014-08-28 2021-12-24 삼성전자주식회사 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들
US20180101277A9 (en) * 2014-09-24 2018-04-12 Evan John Kaye Skin Touchpad
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
US20160109953A1 (en) * 2014-10-17 2016-04-21 Chetan Desh Holographic Wristband
KR101909540B1 (ko) 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
KR101632007B1 (ko) * 2014-10-29 2016-06-21 엘지전자 주식회사 와치 타입의 제어 디바이스
US9721141B2 (en) * 2014-10-30 2017-08-01 Polar Electro Oy Wrist-worn apparatus control with fingerprint data
KR102029756B1 (ko) * 2014-11-03 2019-10-08 삼성전자주식회사 웨어러블 디바이스 및 그 제어 방법
KR20160055577A (ko) * 2014-11-10 2016-05-18 엘지전자 주식회사 웨어러블 디바이스
US9606697B1 (en) 2014-11-11 2017-03-28 Google Inc. Display cursor for motion controller
US10705619B2 (en) * 2014-11-21 2020-07-07 Abhishek Johri System and method for gesture based data and command input via a wearable device
US20160147304A1 (en) * 2014-11-24 2016-05-26 General Electric Company Haptic feedback on the density of virtual 3d objects
KR102347248B1 (ko) * 2014-11-26 2022-01-04 삼성전자주식회사 터치 제스쳐 인식 방법 및 장치
KR102364841B1 (ko) 2014-12-04 2022-02-18 삼성전자주식회사 휴대용 헬스 케어 장치 및 그 동작 방법
US20160178906A1 (en) 2014-12-19 2016-06-23 Intel Corporation Virtual wearables
NL2014037B1 (en) 2014-12-22 2016-10-12 Meyn Food Proc Technology Bv Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass.
KR20160085613A (ko) * 2015-01-08 2016-07-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US11119565B2 (en) 2015-01-19 2021-09-14 Samsung Electronics Company, Ltd. Optical detection and analysis of bone
FR3034889B1 (fr) * 2015-04-10 2017-04-28 Cn2P Sas Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
US10285627B2 (en) * 2015-04-15 2019-05-14 Pixart Imaging Inc. Action recognition system and method thereof
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US20160314621A1 (en) 2015-04-27 2016-10-27 David M. Hill Mixed environment display of attached data
CN106293025A (zh) * 2015-05-22 2017-01-04 上海中兴思秸通讯有限公司 终端设备的控制方法及系统
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
US10097961B2 (en) 2015-06-08 2018-10-09 Microsoft Technology Licensing, Llc Golf shot detection
US10166123B2 (en) * 2015-06-29 2019-01-01 International Business Machines Corporation Controlling prosthetic devices with smart wearable technology
EP3118762B1 (en) * 2015-07-15 2020-03-11 Biowatch SA Method, device and computer program for authenticating a user
US10092203B2 (en) 2015-08-21 2018-10-09 Verily Life Sciences Llc Using skin resistance measurements to determine timing of bio-telemetry measurements
US10398328B2 (en) * 2015-08-25 2019-09-03 Koninklijke Philips N.V. Device and system for monitoring of pulse-related information of a subject
EP3346956A4 (en) * 2015-09-09 2019-05-15 Ekso Bionics, Inc. SYSTEMS AND METHOD FOR PRODUCING TAILOR-MADE EXOSKELETTES
US10234990B2 (en) * 2015-09-29 2019-03-19 Microchip Technology Incorporated Mapping of position measurements to objects using a movement model
US11036318B2 (en) * 2015-09-30 2021-06-15 Apple Inc. Capacitive touch or proximity detection for crown
JP6144743B2 (ja) * 2015-09-30 2017-06-07 京セラ株式会社 ウェアラブル装置
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
EP3182328A1 (en) 2015-12-17 2017-06-21 Nokia Technologies Oy A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
CN106933341B (zh) * 2015-12-31 2024-04-26 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
CN106933340B (zh) * 2015-12-31 2024-04-26 北京体基科技有限公司 手势动作识别方法、控制方法和装置以及腕式设备
US10782781B2 (en) * 2016-01-18 2020-09-22 Magnima Llc Multipurpose computer mouse
CN105759999A (zh) * 2016-02-29 2016-07-13 苌晨阳 加速度延时控制健康鼠标
US20170269697A1 (en) * 2016-03-21 2017-09-21 Intel Corporation Under-wrist mounted gesturing
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
US10638316B2 (en) * 2016-05-25 2020-04-28 Intel Corporation Wearable computer apparatus with same hand user authentication
CN107526430A (zh) * 2016-06-21 2017-12-29 中兴通讯股份有限公司 一种在虚拟场景下进行三维建模的方法及装置
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
EP3526775A4 (en) * 2016-10-17 2021-01-06 Muzik Inc. INTEGRATED PROJECTOR AUDIO / VIDEO CLOTHING COMPUTER SYSTEM
WO2018077382A1 (en) * 2016-10-25 2018-05-03 Telefonaktiebolaget Lm Ericsson (Publ) User-worn device and touch-device for ultrasonic data transmission
US10545219B2 (en) * 2016-11-23 2020-01-28 Chirp Microsystems Three dimensional object-localization and tracking using ultrasonic pulses
KR101908803B1 (ko) 2016-12-20 2018-10-16 주식회사 포스코 열병합 발전 시스템
US10444908B2 (en) * 2016-12-31 2019-10-15 Innoventions, Inc. Virtual touchpads for wearable and portable devices
US10845885B2 (en) * 2017-02-27 2020-11-24 International Business Machines Corporation Object scrolling and selection on a wearable computing device
CN115327775A (zh) * 2017-04-24 2022-11-11 奇跃公司 跟踪反向散射的激光斑点图案的光流
US10444865B2 (en) * 2017-05-01 2019-10-15 Google Llc Tracking of position and orientation of objects in virtual reality systems
US10033978B1 (en) 2017-05-08 2018-07-24 International Business Machines Corporation Projecting obstructed content over touch screen obstructions
US20210117680A1 (en) * 2017-05-10 2021-04-22 Humane, Inc. Wearable multimedia device and cloud computing platform with laser projection system
KR20180129133A (ko) * 2017-05-25 2018-12-05 전자부품연구원 3차원 msp 기반 생체인식 장치 및 방법
KR101904085B1 (ko) * 2017-06-07 2018-11-22 울산과학기술원 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법
US10997649B2 (en) * 2017-06-12 2021-05-04 Disney Enterprises, Inc. Interactive retail venue
DE102017007856A1 (de) * 2017-07-06 2019-01-10 Davide Giusti Gerät zur Wiedergabe von Inhalte Aus Endgeräte Mittels ein berührbare und beweglicher Freischwebender 3D Projektion
US10682491B2 (en) * 2017-07-20 2020-06-16 Bose Corporation Earphones for measuring and entraining respiration
US10481699B2 (en) * 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
CN107632699B (zh) * 2017-08-01 2019-10-11 东南大学 基于多感知数据融合的人机自然交互系统
CN107633853B (zh) * 2017-08-03 2020-07-03 广东小天才科技有限公司 一种播放音视频文件的控制方法及用户终端
RU2678494C1 (ru) 2017-08-24 2019-01-29 Самсунг Электроникс Ко., Лтд. Устройство и способ для биометрической идентификации пользователя с использованием рч (радиочастотного) радара
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
JP6991022B2 (ja) * 2017-09-12 2022-02-03 オムロンヘルスケア株式会社 表示制御装置およびプログラム
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US20190187875A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Remote control incorporating holographic displays
CN109934065B (zh) * 2017-12-18 2021-11-09 虹软科技股份有限公司 一种用于手势识别的方法和装置
EP3732672A4 (en) * 2017-12-27 2021-09-15 Adesanya, Olaoluwa O. PORTABLE COMPUTER DEVICE FOR AUGMENTED REALITY, VIRTUAL REALITY AND ARTIFICIAL INTELLIGENCE INTERACTIONS, AND RELATED PROCESSES
US11150746B2 (en) * 2018-06-28 2021-10-19 Google Llc Wearable electronic devices having user interface mirroring based on device position
US10802598B2 (en) * 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
US11099647B2 (en) * 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
KR102067377B1 (ko) * 2018-08-06 2020-02-11 최기은 배터리가 구비된 스트랩을 가지는 착용 가능한 휴대용 단말기
WO2020053858A1 (en) * 2018-09-14 2020-03-19 ChroniSense Medical Ltd. System and method for monitoring respiratory rate and oxygen saturation
US11244080B2 (en) 2018-10-09 2022-02-08 International Business Machines Corporation Project content from flexible display touch device to eliminate obstruction created by finger
EP3653120A1 (en) * 2018-11-15 2020-05-20 Koninklijke Philips N.V. A rehabilitation device and a method of monitoring hand positions
CN109299394A (zh) * 2018-11-26 2019-02-01 Oppo广东移动通信有限公司 信息推送方法及相关产品
US11093041B2 (en) * 2018-11-30 2021-08-17 International Business Machines Corporation Computer system gesture-based graphical user interface control
US10963103B1 (en) * 2018-12-24 2021-03-30 Facebook Technologies, Llc Display system with integrated depth detection
CN111383345B (zh) * 2018-12-29 2022-11-22 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
WO2020209624A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection
JP2021002288A (ja) * 2019-06-24 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理システム、および画像処理方法
US10965914B2 (en) * 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
CN110558935B (zh) * 2019-08-05 2022-02-01 南京阿尔法医学有限公司 医用局部麻醉平面监护仪的前端保护电路及方法
KR102306392B1 (ko) 2019-08-19 2021-09-30 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
US11467668B2 (en) * 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11308744B1 (en) * 2019-12-27 2022-04-19 Jimcy Exantus Wrist-wearable tracking and monitoring device
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US20230260155A1 (en) * 2020-04-24 2023-08-17 Cornell University Deep continuous 3d hand pose tracking
WO2021236170A1 (en) * 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
US11801434B2 (en) * 2020-05-20 2023-10-31 Mark Greenberg Racquet sport scoring system
US11899845B2 (en) 2020-08-04 2024-02-13 Samsung Electronics Co., Ltd. Electronic device for recognizing gesture and method for operating the same
US11301041B1 (en) * 2020-09-30 2022-04-12 International Business Machines Corporation Hand tremor accessible using augmented reality user interface
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality
CN113238650B (zh) * 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
US11619097B2 (en) 2021-05-24 2023-04-04 Saudi Arabian Oil Company System and method for laser downhole extended sensing
US11725504B2 (en) 2021-05-24 2023-08-15 Saudi Arabian Oil Company Contactless real-time 3D mapping of surface equipment
WO2022266122A1 (en) * 2021-06-14 2022-12-22 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for an environment-aware predictive modeling framework for human-robot symbiotic walking
US20230004229A1 (en) * 2021-06-30 2023-01-05 International Business Machines Corporation Item selection with smart device monitoring of gestures
KR20230018925A (ko) * 2021-07-30 2023-02-07 삼성전자주식회사 프로젝션 디스플레이를 포함하는 웨어러블 전자 장치
US11847256B2 (en) * 2022-03-04 2023-12-19 Humane, Inc. Presenting and aligning laser projected virtual interfaces
US11797100B1 (en) * 2022-09-23 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for classifying touch events based on relative orientation
CN117459663B (zh) * 2023-12-22 2024-02-27 北京天图万境科技有限公司 一种投射光自校正拟合与多色彩重定位方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US20090046140A1 (en) * 2005-12-06 2009-02-19 Microvision, Inc. Mobile Virtual Reality Projector
CN101859208A (zh) * 2009-04-10 2010-10-13 船井电机株式会社 图像显示装置、图像显示方法和存储有图像显示程序的记录介质
US20110248963A1 (en) * 2008-12-24 2011-10-13 Lawrence Nicholas A Touch Sensitive Image Display
US20120249409A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for providing user interfaces

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US591372A (en) * 1897-10-05 Paper-binder
US580726A (en) * 1897-04-13 Spindle
US3541541A (en) 1967-06-21 1970-11-17 Stanford Research Inst X-y position indicator for a display system
JPS602134A (ja) 1983-06-17 1985-01-08 早川　英雄 有害動物の威嚇装置
US5807267A (en) * 1994-06-01 1998-09-15 Advanced Body Metrics Corporation Heart pulse monitor
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
US7298360B2 (en) * 1997-03-06 2007-11-20 Harmonic Research, Inc. Body-mounted selective control device
US6747632B2 (en) 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
US6778850B1 (en) * 1999-03-16 2004-08-17 Accuray, Inc. Frameless radiosurgery treatment system and method
TW528881B (en) 2001-02-05 2003-04-21 Hitachi Int Electric Inc Position measuring apparatus
US6898517B1 (en) 2001-07-24 2005-05-24 Trimble Navigation Limited Vehicle-based dynamic advertising
US7134080B2 (en) 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
US7242394B2 (en) 2003-06-02 2007-07-10 Polyvision Corp. Slidable electronic whiteboard system
CN100458910C (zh) 2003-10-28 2009-02-04 松下电器产业株式会社 图像显示装置及图像显示方法
US20100289655A1 (en) 2004-12-21 2010-11-18 Elrod Scott A Detecting descented material
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US7810504B2 (en) 2005-12-28 2010-10-12 Depuy Products, Inc. System and method for wearable user interface in computer assisted surgery
US9080977B2 (en) * 2006-10-23 2015-07-14 Xenogen Corporation Apparatus and methods for fluorescence guided surgery
KR20090061179A (ko) * 2007-12-11 2009-06-16 한국전자통신연구원 데이터 입력 장치 및 이를 이용한 데이터 처리 방법
CN102124423A (zh) 2008-01-22 2011-07-13 新世代株式会社 摄像装置、在线游戏系统、操作物、输入方法、图像解析装置、图像解析方法以及记录媒体
KR20100008322A (ko) 2008-07-15 2010-01-25 엘지전자 주식회사 가변 포맷의 메시지를 이용한 대역 요청 방법
KR101284797B1 (ko) * 2008-10-29 2013-07-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US20100110264A1 (en) * 2008-10-31 2010-05-06 Lucent Technologies, Inc. Image projection system
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US8421811B2 (en) 2009-09-15 2013-04-16 David Odland Customized vehicle body
US8717291B2 (en) * 2009-10-07 2014-05-06 AFA Micro Co. Motion sensitive gesture device
CN101702103A (zh) * 2009-11-19 2010-05-05 上海思佗科自动化科技有限公司 光学式轨迹捕捉输入装置
KR101302138B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
JP2011146835A (ja) 2010-01-13 2011-07-28 Seiko Epson Corp 光学読取装置、光学読取装置の制御方法、及び、プログラム
AU2011213036B2 (en) 2010-02-02 2013-11-14 Covidien Lp Continuous light emission photoacoustic spectroscopy
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
WO2011115035A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
CN101882012A (zh) * 2010-06-12 2010-11-10 北京理工大学 基于投影跟踪的笔式交互系统
US8670029B2 (en) * 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
EP2403234A1 (en) 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US9261526B2 (en) 2010-08-26 2016-02-16 Blast Motion Inc. Fitting system for sporting equipment
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US9270807B2 (en) 2011-02-23 2016-02-23 Digimarc Corporation Audio localization using audio signal encoding and recognition
US20120249544A1 (en) 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US8733939B2 (en) 2012-07-26 2014-05-27 Cloudcar, Inc. Vehicle content projection
US9019267B2 (en) * 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
JP6155448B2 (ja) 2012-11-01 2017-07-05 アイカム エルエルシー ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
JP5847058B2 (ja) 2012-11-08 2016-01-20 本田技研工業株式会社 車両表示装置
US9142151B2 (en) 2013-06-03 2015-09-22 Points Lab Co. Robotic smart sign system and methods
WO2014209328A1 (en) 2013-06-27 2014-12-31 Intel Corporation Device for adaptive projection
US20150227164A1 (en) 2014-02-07 2015-08-13 Larry R. Laycock Display and sensing systems
ES2826476T3 (es) * 2014-05-15 2021-05-18 Federal Express Corp Dispositivos portátiles para el procesamiento de mensajería y métodos de uso de los mismos
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
WO2019079790A1 (en) 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US20090046140A1 (en) * 2005-12-06 2009-02-19 Microvision, Inc. Mobile Virtual Reality Projector
US20110248963A1 (en) * 2008-12-24 2011-10-13 Lawrence Nicholas A Touch Sensitive Image Display
CN101859208A (zh) * 2009-04-10 2010-10-13 船井电机株式会社 图像显示装置、图像显示方法和存储有图像显示程序的记录介质
US20120249409A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for providing user interfaces

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262841B2 (en) 2012-11-01 2022-03-01 Eyecam Llc Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
US11573648B2 (en) 2018-03-12 2023-02-07 Sony Corporation Information processing apparatus and information processing method to identify gesture operation of a user

Also Published As

Publication number Publication date
KR20170003713A (ko) 2017-01-09
WO2014071254A1 (en) 2014-05-08
KR102065687B1 (ko) 2020-02-11
EP2915025B8 (en) 2021-06-02
US20140055352A1 (en) 2014-02-27
US9690376B2 (en) 2017-06-27
KR20150099510A (ko) 2015-08-31
EP2915025B1 (en) 2021-04-07
CN109799900B (zh) 2023-02-28
JP2016508241A (ja) 2016-03-17
EP2915025A1 (en) 2015-09-09
WO2014071254A4 (en) 2014-07-10
EP2915025A4 (en) 2016-11-02
CN105027030A (zh) 2015-11-04
CN105027030B (zh) 2018-10-23
US11262841B2 (en) 2022-03-01
KR101691633B1 (ko) 2017-01-09
JP6155448B2 (ja) 2017-07-05
US20180129284A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
US11262841B2 (en) Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US20230401743A1 (en) Systems and methods for augmented reality
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20240005808A1 (en) Individual viewing in a shared space
CN105229571B (zh) 自然用户接口滚动和瞄准
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
CN102622774B (zh) 起居室电影创建
CN107656615A (zh) 大量同时远程数字呈现世界
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP7160669B2 (ja) プログラム、情報処理装置、および方法
Hu et al. StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering
CN103785169A (zh) 混合现实的竞技场
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
Mihaľov et al. Potential of low cost motion sensors compared to programming environments
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6718933B2 (ja) プログラム、情報処理装置、および方法
JP6856572B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20200360803A1 (en) Spatial entertainment platform for interconnected gaming
Zhao Human Point-to-point Reaching and Swarm-teaming Performance in Mixed Reality
Bernardos et al. A system for multimodal interaction with Kinect-enabled virtual windows
NAN DEVELOPMENT OF A COMPUTER PROGRAM TO ASSIST UPPER LIMB REHABILITATION USING KINECT
JP2020184344A (ja) プログラム、情報処理装置、および方法
JP2018195287A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40009363

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant