CN204537054U - 可嵌入运动感测控制设备 - Google Patents

可嵌入运动感测控制设备 Download PDF

Info

Publication number
CN204537054U
CN204537054U CN201420521132.4U CN201420521132U CN204537054U CN 204537054 U CN204537054 U CN 204537054U CN 201420521132 U CN201420521132 U CN 201420521132U CN 204537054 U CN204537054 U CN 204537054U
Authority
CN
China
Prior art keywords
equipment according
information
image
light source
imaging sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201420521132.4U
Other languages
English (en)
Inventor
D·S·霍尔茨
J·舒尼克
N·罗伊
郑晨
W·特拉维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LMI Clearing Co.,Ltd.
Ultrahaptics IP Ltd
Original Assignee
Leap Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leap Motion Inc filed Critical Leap Motion Inc
Application granted granted Critical
Publication of CN204537054U publication Critical patent/CN204537054U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本实用新型公开了一种可嵌入运动感测控制设备。该设备包括：多个成像传感器，布置于第一部分上以提供用于正在查看的景物的立体成像信息；一个或者多个照明源，布置于第二部分上；以及控制器，耦合到所述成像传感器和所述照明源以控制所述成像传感器和所述照明源的操作从而获取景物的成像信息并且向在控制之下的系统或者设备提供所述成像信息的至少接近实时流。

Description

可嵌入运动感测控制设备
技术领域
公开的本技术涉及用于在汽车和工业控制系统中使用的能够捕获和向检测在三维(3D)感测空间中的手势的运动捕获系统提供图像的高度地功能/高度地准确的运动感测控制设备。
背景技术
最初的挡泥板由放置于马车的驾驶员前面以遮挡从马蹄抛射的碎屑的板构成。随着车辆变得更复杂并且机械发动动力取代马匹，用于各种系统(环境、安全、娱乐等)的控制激增。挡泥板被保持作为用于各种控制的方便地方。操作者的注意力必须从道路(或者跑道、轨道或者航道)被移动以“猎取”希望用他或者她自己的语言标注的旋钮或者开关。在20世纪70年代，用国际符号替换英语标记使挡泥板同样无法可为各地每个人所理解。需要更简化的接口变得明显，并且操纵杆、键盘或者键区、玻璃座舱等被用来应急。但是复杂性——和混淆——激增。
一些人已经考虑捕获操作者的手部的运动(手势)并且解释运动以提供命令。SoftKinetic等人的一些初步努力包括从在简单光检测器传感器之上通过的阴影推断运动。遗憾的是，这样的系统往往易有误判。传感器不能区别操作者的首部与家犬的尾部的摇摆。可变和失控照明情形、背景对象、闪光、反射等给使用光学部件带来进一步挑战。迄今为止，这样的考虑已经使在车辆车厢中部署和使用运动捕获技术限于略多于非功能幻想(pipe dream)。
实用新型内容
公开的本技术的实现方式通过提供一种能够获取景物的成像信 息并且向运动捕获或者图像分析器提供成像信息的至少接近实时信息流(即充分地快速使得在景物改变与系统的响应之间的任何残留滞后不可察觉或者实际上不显著)的可嵌入运动感测控制设备来解决这些和其它问题，该运动捕获或者图像分析器检测在三维(3D)感测空间中的手势、解释手势作为去往在控制之下的系统或者机器的命令并且在适当时发布该命令。该设备可以被嵌入于广泛多种机器或者系统中。
在一个有代表性的实现方式中，提供一种包括在第一部分上布置的多个成像传感器的可嵌入运动感测控制设备，这些成像传感器提供用于正在查看的景物的立体成像信息。也包括在第二部分上布置的一个或者多个照明源。控制器耦合到成像传感器和照明源以控制其操作从而获取景物的成像信息并且向在控制之下的系统或者设备提供成像信息的至少接近实时流。
有利地，一些实现方式可以提供改进的用户体验、更大安全性和改进的功能。一些实现方式可以使运动捕获或者图像分析系统能够识别手势、由此使操作者能够通过直观手势集合来控制设备或者系统、比如车辆或者车辆子系统。一些实现方式可以提供例如与多种机器(例如飞行器或者汽车、火车、飞机、叉式升运机、船只等)的改进的对接和/或控制。设备可以被嵌入于在控制之下的机器内并且可以与代理或者支持设备(智能电话、便携式计算系统、包括膝上型、写字板计算设备、个人数据助理、专用可视化计算机器、包括头戴显示器(HUD)、可佩戴式虚拟和/或增强现实系统、包括Google Glass等、图形处理器、嵌入式微控制器、游戏控制台等；前述各项中的一项或者多项的有线或者无线地耦合的网络和/或其组合)协作地工作。设备实现方式可以回避或者减少对于基于接触的输入设备、比如鼠标、操纵杆、触板或者触屏的需要。一些实现方式可以提供比迄今已知的技术将可能有的接口改进的与计算和/或其它机器的接口。在一些实现方式中，可以提供更丰富的人机接口体验。
可以在回顾以下附图、具体实施方式和权利要求时了解本技术的其它方面和优点。
附图说明
图1示出示例运动感测和成像设备。
图2示出基于运动感测和成像设备的示例感测系统。
图3示出计算机系统的简化框图。
图4示出参与运动捕获和图像分析的基本操作和功能单元。
图5示出由能够运动感测和成像的设备呈现的示例增强现实。
具体实施方式
图1示出示例运动感测设备100，该运动感测设备包括用螺纹紧固器或者以别的方式可耦合到照明板172(第二部分)的主板182(第一部分)。在照明板172与主板182之间的电互连允许交换信号和功率流并且可以由板装配连接器、线缆连接或者其组合实现。一个或者多个紧固器可以将设备100紧固到主机设备(例如车辆(有或者无抬头显示器(HUD)、电器或者便携式电子设备(比如智能电话或者写字板计算机)或者与车辆或者别的设备对接的可佩带设备(比如头戴显示器(HMD)、头戴式耳机等))的装配表面A。装配表面A可以是主机设备的任何表面(内部或者外部)。备选地，该设备可以使用摩擦相配、紧固器或者其任何组合来设置于主机设备的空腔或者接受器内。设备100可以被嵌入于多种装备中的任何装备中以满足广泛多种应用的设计要求。
照明板172具有在其上嵌入的可以是LED或者其它源的多个个别地可控的照明源108、110。两个相机102、104提供基于立体图像的感测并且在所示实现方式中驻留于设备100的主板182上。主板182也可以包括进行基本图像处理、相机102、104和源108、110的控制的处理器。
相机102、104提供的立体成像信息可以借助呈现设备(HUD)、 挡泥板/控制台装配显示设备、向与便携式设备关联的显示器的无线传输或者可佩戴式电器(HMD)被有选择地或者连续地提供给用户。设备100可以提供来自相机的实况实时信息或者接近实时图像信息、计算机生成的图形增强的实时或者接近实时成像信息、正在查看的景物的信息、图标或者其它虚拟化的呈现、虚拟化的表示和/或从中选择的随时间变化的组合。用户产生的手势由感测设备100的相机102、104感测，并且所得成像信息可以被提供给运动捕获或者图像分析系统以标识和确定去往系统的命令。有利地，将扫描与成像能力集成到单个运动感测设备100中提供一种与在具有有限空间的机器、如比如车辆、电器、便携式或者可佩戴式电子设备等中安装相适合的高度地功能、灵活而又近程的设备。
照明源108、110中的一些照明源可以具有关联聚焦光学器件。在这一示例中，六个LED 108(其中四个被布置于中心并且其中两个在侧面与板172相接)具有聚焦透镜，并且十个附加LED 110(分别布置于两个、三个、三个和两个LED的列中)无聚焦透镜。板172也可以包括用于耦合光检测器(或者其它传感器)的插座178。信息来自光检测器，该光检测器感测反射率改变，该反射率改变指示对象存在或者未存在于空间区域内，照明源108、110在“扫描”该空间区域期间向该空间区域中发射光。
图1中所示设计的各种修改是可能的；例如根据特定应用的要求，LED、光检测器和相机数目和排列可以变化、照明和成像硬件可以被集成于单个板上、其它修改或者其组合。
现在参照图2，示出在汽车车厢中部署为识别手势的示例感测系统200。系统200优选地在前座位区域、后座位区域、其它放置或者组合中被实施于汽车车厢201内。如图2中所示，感测系统200的全部或者部分可以被附着到或者嵌入于挡泥板216内，在前座位乘客之间的控制台、例如传感器200-1为车厢顶部、例如传感器200-2在前座位的背部、例如传感器200-3在其它位置或者其组合。系统200包括耦合到感测分析系统206的任何数目的相机102、104。相 机102、104可以是任何类型的相机、包括跨越可见光谱(例如红绿蓝或者RGB)感测或者更通常为对局限的波长波段(例如红外线(IR)或者紫外线(UV)波段)具有增强的灵敏度的相机或者其组合。更一般而言，术语“相机”这里是指能够捕获对象的图像并且以数字数据的形式表示该图像的任何设备(或者设备组合)。尽管使用两相机实现方式的示例来举例说明，但是使用不同数目的相机或者非相机光敏图像传感器或者其组合的其它实现方式是容易地可设想的。例如可以运用除了捕获二维(2D)图像的常规设备之外的线传感器或者线相机。术语“光”这里一般用来表示可以在或者可以未在可见光谱内并且可以是宽带(例如白光)或者窄带(例如单波长或者窄带波长)的任何电磁辐射。
在一些实现方式中，感测系统200能够分离从相机102、104的对IR光灵敏的像素接收的信息与从对可见光、例如RGB(红、绿和蓝)灵敏的像素接收的信息并且分离地处理这两个类型的图像信息。例如IR(红外线)图像可以用于手势识别，而RGB(可见光)图像可以用于经由呈现接口的实况视频馈送。在这一示例中，可以使用具有RGB像素集合和IR像素集合的相机来捕获包括真实世界景物的图像序列的视频流。分离来自对IR灵敏的像素的信息用于处理以识别手势。向主机设备的呈现接口(HUD、HMD等)提供来自RGB灵敏像素的信息作为向呈现输出的实况视频馈送。呈现输出被显示给用户。一个或者多个虚拟对象可以与视频流图像集成以形成呈现输出。因而，感测系统200可以提供手势识别、真实世界对象经由直通视频馈送的真实世界呈现和/或包括与真实世界视图集成的虚拟对象的增强现实中的任何一项。
相机102、104优选地能够捕获视频图像(即在每秒至少15帧的恒定速率的连续图像帧)；但是无需特定帧速率。相机102、104的能力对公开的本技术并不关键，并且相机可以关于帧速率、图像分辨率(例如每图像的像素)、颜色或者强度分辨率(例如每像素的强度数据的位数)、透镜的焦距、景深等变化。一般而言，对于 特定应用，可以使用能够聚焦于在兴趣空间体积内的对象上的任何相机。例如为了捕获其它部分静止的人的手部的运动，可以定义兴趣体积为在一边上近似为一米的立方体。在一些实现方式中，如传感器200-1所示，相机102、104与待检测的运动——例如预计手部214移动的地方——相反设置。在这一位置，记录的关于手部的信息量与它在相机图像中占据的像素数目成比例，并且手部将在相机相对于手部的“指向方向”的角度尽可能接近垂直时占用更多像素。在传感器200-3所示备选实现方式中，传感器沿着检测到的运动——例如预计手部214移动的地方——被设置。
在一些实现方式中，一个或者多个源108、110可以被设置为照射兴趣区域212，在该兴趣区域中，操作者(占有者)的身体的可以可选地保持工具或者其它兴趣对象和相机102、104的一个或者多个部分(在这一示例中为手部214)朝着区域212被定向以捕获手部214的视频图像。光源108、110和相机102、104的操作由感测分析系统206控制，该感测分析系统可以是在硬件和/或软件或者其组合中实施的计算机系统、控制逻辑。基于捕获的图像，感测分析系统206确定对象214的位置和/或运动。
在一个实现方式中，源108、110是红外线光源。例如光源可以例如是红外线发光二极管(LED)，并且相机102、104可以对红外线光灵敏。使用红外线光可以允许系统200在广泛照明条件之下操作并且可以避免可以与将可见光引向其中人正在移动的区域中关联的各种不便或者分心。然而无需电磁光谱的特定波长或者区域。在一个实现方式中，滤波器221、222被放置于相机102、104前面以滤除外来光，从而仅源108、110提供的光在相机102、104捕获的图像中被配准。在一个实现方式中，系统有选择地选择不同地、分离地或者相互结合处理来自相机102、104的可见光(RGB)信息或者红外线(IR)信息以调整系统200的操作适应可变环境条件。
在另一实现方式中，一个或者多个声换能器215、217是结合或者取代相机102、104和光源108、110使用的发送声能并且检测反 射的声能的声源。声源向用户发送声波；用户阻止(或者“声遮蔽”)或者更改(或者“声偏转”)在她上撞击的声波。这样的声遮蔽和/或偏转也可以用来检测用户的手势和/或使用在本领域中已知的测距技术来提供存在信息和/或距离信息。在一些实现方式中，声波例如是对人不可听的声波。备选地，激光器或者其它辐射发射器件可以用来检测手部214的位置、存在或者二者。
所示系统200可以单独或者在各种组合中包括为了清楚而在图2中未示出的其它传感器中的任何传感器以增强向车辆201的操作者提供的体验。例如在其中不能用充分程度的可靠性光学地识别自由形式手势的低光情形中，系统206可以切换成其中基于声或者振动传感器识别触摸手势的触摸模式。备选地，系统206可以在感测到来自声或者振动传感器的信号时切换成触摸模式或者用触摸感测补充图像捕获和处理。在更多另一操作模式中，敲击或者触摸手势可以充当用于将图像和音频分析系统206从待命模式带到操作模式的“唤醒”信号。例如如果来自相机102、104的光信号不存在持续比门限间隔更长则系统206可以进入待命模式。
应当强调图2中所示布置有代表性而非限制。例如可以使用激光器或者其它光源取代LED。可以使用可见光(RGB)取代红外线(IR)光。另外，来自一个类型的光源的信息可以用来澄清、补充、确认或者拒绝来自分析使用第二类型的光源而收集的信息的结果。在包括激光器的实现方式中，可以运用附加光学器件(例如透镜或者扩散器)以加宽激光束(并且使它的视野与相机的视野相似)。有用布置也可以包括用于不同范围的短和宽角度照明。光源通常为扩散而不是镜面点源；例如具有光扩展封包的封装LED是适合的。
图3是用于实施根据公开的该技术的实现方式的感测分析系统206(也称为图像分析器)的全部或者部分的计算机系统300的简化框图。感测分析系统206可以包括能够捕获和处理图像数据的任何设备或者设备部件或者由该设备或者设备部件构成。在一些实现方式中，计算机系统300包括处理器342、存储器334、传感器接口336、 呈现I/F 238——该呈现I/F可以包括显示器或者其它呈现机制(例如用于乘员/后座位植入的全息投影系统、头戴显示器(HUD)、可佩戴式Google Glass或者其它头装显示器(HMD)、其它可视呈现机制或者其组合)——、扬声器339、麦克风340和可选无线接口341。存储器334可以用来存储将由处理器342执行的指令以及与指令的执行关联的输入和/或输出数据。具体而言，存储器334包含在概念上作为以下更具体描述的一组模块而举例说明的指令，这些指令控制处理器342的操作及其与其它硬件部件的交互。操作系统指引低级、基本系统功能、比如海量存储设备的存储器分配、文件管理和操作的执行。操作系统可以是或者包括多种操作系统、比如Microsoft WINDOWS操作系统、Unix操作系统、Linux操作系统、Xenix操作系统、IBM AIX操作系统、Hewlett Packard UX操作系统、Novell NETWARE操作系统、Sun Microsystems SOLARIS操作系统、OS/2操作系统、BeOS操作系统、MAC OS操作系统、APACHE操作系统、OPENACTION操作系统、iOS、Android或者其它移动操作系统或者另一操作系统或者平台。
计算环境也可以包括其它可去除/非可去除、易失性/非易失性计算机存储介质。例如硬盘驱动可以读取或者向非可去除、非易失性磁介质写入。磁盘驱动可以从可去除、非易失性磁盘读取或者向它写入，并且光盘驱动可以从可去除、非易失性光盘、比如CD-ROM或者其它光介质读取或者向它写入。可以在示例操作环境中使用的其它可去除/非可去除、易失性/非易失性计算机存储介质包括但不限于磁带盒、闪存卡、数字万用盘、数字视频盘、固态RAM、固态ROM等。存储介质通常通过可去除或者非可去除存储器接口连接到系统总线。
处理器342可以是通用微处理器、但是根据实现方式可以备选地是微控制器、外围集成电路元件、CSIC(客户专用集成电路)、ASIC(专用集成电路)、逻辑电路、数字信号处理器、可编程逻辑器件、比如FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)。 PLA(可编程逻辑阵列)、RFID处理器、智能芯片或者能够实施公开的该技术的过程的动作的任何其它设备或者设备布置。
传感器接口336可以包括实现在计算机系统300与图1中所示相机102、104以及关联光源108、110之间通信的硬件、固件和/或软件。因此例如传感器接口336可以包括相机102、104可以连接到的一个或者多个数据端口346、348以及用于在向在处理器342上执行的运动捕获(“mocap”)程序344提供从相机接收的数据信号作为输入之前修改信号(以例如减少噪声或者重新格式化数据)的硬件、固件和/或软件信号处理器。在一些实现方式中，传感器接口336也可以发送信号到相机以例如激活或者去激活相机、控制相机设置(帧速率、图像质量、灵敏度等)和/或其它可选传感器以控制传感器设置(校准、灵敏度水平等)等。可以例如响应于来自处理器342的控制信号发送这样的信号，这些控制信号又可以响应于用户输入或者其它检测到的事件来生成。
传感器接口336也可以包括光源(例如光源108、110)可以连接到的控制器347、349。在一些实现方式中，控制器347、349例如响应于来自执行mocap程序344的处理器342的指令向光源提供操作电流。在其它实现方式中，光源可以从外部功率供应汲取操作电流，并且控制器347、349可以生成用于光源的控制信号，这些控制信号例如指令光源被接通或者关断或者改变亮度。在一些实现方式中，单个控制器可以用来控制多个光源。
定义mocap程序344的指令存储于存储器334中，并且这些指令在被执行时对从连接到传感器接口336的相机供应的图像执行运动捕获分析。在一个实现方式中，mocap程序344包括各种模块、比如对象检测模块352、对象分析模块354和手势识别模块356。对象检测模块352可以分析图像(例如经由传感器接口336捕获的图像)以检测其中的对象的边缘和/或关于对象的位置的其它信息。对象分析模块354可以分析对象检测模块352提供的对象信息以确定对象(例如用户的手部)的3D位置和/或运动。在一些实现方式中， 对象分析模块354也可以分析音频信号(例如经由接口336捕获的音频信号)以例如通过到达时间距离、多边测量等对对象进行定位。(“多边测量是一种基于与在已知时间广播信号的在已知位置的两个或者更多站的距离差的测量的导航技术”。参见维基百科http://en.wikipedia.org/w/index.php？title＝Multilateration&oldid＝523281858，于2012年11月16日，06:07UTC)。以下描述可以在mocap程序344的代码模块中实施的操作的示例。存储器334也可以包括mocap程序344使用的其它信息和/或代码模块、比如应用平台366，该应用平台允许用户使用不同应用、比如应用1(App1)、应用2(App2)和应用N(AppN)来与mocap程序344交互。
呈现I/F 238、扬声器339、麦克风340和可选无线接口341可以用来有助于用户或者系统与计算机系统300交互。在一些实现方式中，可以解释使用传感器接口336和mocap程序344的手势捕获的结果作为用户输入。例如用户可以执行使用mocap程序344来分析的手部手势，并且可以解释这一分析的结果作为去往在处理器342上执行的某个其它程序(例如web浏览器、GPS应用、命令程序或者其它应用)的指令。因此，举例而言，用户可以使用向上或者向下挥动手势以“滚动”当前经由呈现I/F 238显示的网页以使用旋转手势增加或者减少从扬声器339输出的音频的音量等。
将认识计算机系统300为示例并且变化和修改是可能的。具体实现方式可以包括这里未描述的其它功能、例如有线和/或无线网络接口、媒体播放和/或记录系统接口等。在一些实现方式中，一个或者多个相机可以被构建到传感器200被嵌入于其中的车辆或者装备中而不是作为分离部件来供应。另外，可以仅使用计算机系统部件的子集来实施图像分析器(例如作为执行程序代码的处理器、ASIC或者固定功能的数字信号处理器而适当I/O接口接收图像数据并且输出分析结果)。
尽管这里参照具体块描述计算机系统300，但是将理解块是为了便于描述而定义的并且未旨在于暗示部件部分的特定物理布置。另 外，块无需对应于物理上不同的部件。在使用物理上不同的部件这一程度上，在部件之间的连接(例如用于数据通信)可以如希望的那样是有线和/或无线。
参照图2和3，用户(例如车辆操作者、乘员)执行相机102、104捕获的手势作为系列时间连续图像。在其它实现方式中，相机102、104可以捕获用户的任何可观测姿态或者部分。例如如果用户将他们的身体的大部分放入在相机102、104附近的视野中，则相机102、104可以不仅捕获既定的手部手势，而且用户的整个身体可以在相机的视野内。手部214的运动可以被对象分析模块354区分并且被mocap 344的手势识别模块356分析。手势识别模块356向车辆或者其它受控装备的一个或者多个系统或者子系统提供输入从而允许用户遥控那些系统或者子系统和/或虚拟地操控在经由呈现I/F238显示的虚拟环境中的对象、比如虚拟化的量具、指示器、按钮、杠杆或者其它控件。用户可以使用她的身体的任何部分、比如手指、手部或者手臂或者其组合来执行手势。作为手势识别的部分或者独立地，感测分析系统206可以确定用户的手部的形状和在3D空间中的位置并且实时使用以下算法，该算法被描述如下以及更具体地被描述在例如分别提交于2012年1月17日、2012年3月7日、2012年11月8日、2012年12月21日和2013年1月16日的美国申请号61/587,554、13/414,485、61/724,091、13/724,357和13/742,953中，通过引用将其全部公开内容结合于此。
作为结果，感测分析系统206不仅可以出于向电子设备提供输入而识别手势，而且也可以捕获在连续视频图像中的用户的手部的位置和形状以便在3D空间中表征手部手势并且例如经由呈现I/F238在显示屏幕上再现它例如作为操纵的手部99。从包括操纵的手部叠加94的模型手部98确定操纵的手部99，该操纵的手部叠加覆盖对象检测模块352从图像构建的一个或者多个盒形元素97。
在一个实现方式中并且参照图5，操纵的手部表示599可以根据公开的本技术的一个实现方式作为增强的车辆环境的部分被投影到 (半)透明或者其它表面——也可以透过该表面查看一个或者多个实际对象——、例如挡风玻璃516上。例如继续参照图5，耦合到呈现I/F 238的视频投影仪504可以投影在用户直接地查看(或者在操作者远离(例如操作无人驾驶飞机或者无驾驶员车辆)车辆或者车辆缺乏挡风玻璃的情况下经由实况视频馈送向用户显示)的(半)透明表面、例如挡风玻璃516上叠加的来自GPS应用的箭头(例如虚拟设备523)的图像；由此在操作车辆时产生增强的环境体验。可选触觉投影仪506可以投影点击或者按压物理控件的压力感。可选音频投影仪502可以投影虚拟“速度颠簸”的声音从而向小汽车的驾驶员指示应当注意路线改变、迎面障碍物或者车辆的速度。
在一个实现方式中，手势识别模块356比较检测到的手势的一个或者多个原语与在感测分析系统206、电子设备中或者在外部存储系统上实施的数据库中作为记录而电子存储的手势原语库。(如这里所用，术语“电子存储”包括在易失性或者非易失性存储装置中存储，后者包括盘、闪存等并且延伸至任何计算可寻址存储介质(例如包括光存储装置)。)例如可以存储手势为矢量、即数学指定的空间轨迹、其它原语或者其组合，并且手势记录可以具有字段，该字段指定用户的身体的产生手势的相关部分；因此，用户的手部和头部执行的相似轨迹可以在数据库中存储为不同手势，从而应用可以不同地解释它们。
图4描绘参与根据公开的本技术的实现方式的运动捕获和图像分析的基本操作和功能单元400。如图4中所示，相机402、404记录景物的数字图像410。每个数字图像被关联相机的图像传感器捕获作为像素值数组，并且数字图像被传送——以“原始”格式或者在常规预处理之后——到一个或者多个帧缓冲器415。帧缓冲器是存储与如记录图像的相机输出的图像的像素值对应的“位图化”图像帧420的易失性存储器分区或者专用段。位图一般在概念上被组织为网格而每个像素一到一或者以别的方式映射到显示器的输出元件。然而应当强调如何在帧缓冲器415内物理地组织存储器单元无关紧要并且 无需直接地符合概念组织。
在系统中包括的帧缓冲器数目一般反映以下更具体描述的分析系统或者模块430同时分析的图像的数目。简言之，分析模块430分析在图像帧序列420中的每个图像帧中的像素数据以对其中的对象进行定位并且跟踪它们随时间的移动(如在440指示的那样)。这一分析可以采用各种形式，并且执行分析的算法规定如何处置在图像帧420中的像素。例如分析模块430实施的算法可以在按线基础上——即相继地分析像素网格的每行——处理每个帧缓冲器的像素。其它算法可以按列、瓦片区域或者其它组织格式来分析像素。
在各种实现方式中，在系列相机图像中捕获的运动用来计算对应系列输出图像用于经由呈现I/F 238显示。例如移动手部的相机图像可以被处理器342转化成手部的线框或者其它图形描绘。备选地，手部手势可以被解释为用来控制分离可视输出的输入；举例而言，用户可以能够使用向上或者向下挥动手势以“滚动”当前显示的网页或者其它文档或者张开和闭合她的手部以放大和缩小页面。在任何情况下，输出图像一般以像素数据的形式存储于帧缓冲器、例如帧缓冲器415之一中。视频显示控制器读出帧缓冲器以生成数据流和关联控制信号以经由呈现I/F 238输出图像。视频显示控制器可以与处理器342和存储器334一起在计算机300的母板上被提供并且可以与处理器342集成或者被实施为操控分离视频存储器的协同处理器。如指出的那样，计算机300可以被配备有辅助生成用于呈现I/F238的输出图像馈送的分离图形或者视频卡。视频卡一般包括图形处理单元(GPU)和视频存储器并且具体用于复杂并且计算成本高的图像处理和渲染。图形卡可以包括帧缓冲器和视频显示控制器的功能(并且可以停用板上视频显示控制器)。一般而言，可以用各种方式在GPU与主处理器342之间分布系统的图像处理和运动捕获功能。
用于运动捕获程序344的适当算法被描述如下，以及更具体地被描述在分别提交于2012年1月17日、2012年3月7日、2012年 11月8日、2012年12月21日和2013年1月16日的美国申请号61/587,554、13/414,485、61/724,091、13/724,357和13/742,953中，其通过完全引用而结合于此。可以用任何适当编程语言、包括而不限于C、C++、C#、OpenGL、Ada、Basic、Cobra、FORTRAN、Java、Lisp、Perl、Python、Ruby或者Object Pascal对各种模块进行编程。
再次参照图4，配备有运动感测控制设备的设备的操作模式可以根据在性能数据库中的条目确定向图像分析模块430提供的数据的粗糙度、它的分析的粗糙度或者二者。例如在广域操作模式期间，图像分析模块430可以对每个图像帧和对在帧内的所有数据操作，容量限制可以规定每帧的减少数量的图像数据(即分辨率)的分析或者如果帧缓冲器415中的每个帧缓冲器被组织为数据线系列则完全丢弃一些帧。根据分析丢弃数据的方式可以依赖于图像分析算法或者运动捕获输出被投入的用途。在一些实现方式中，以对称或者统一方式丢弃数据——例如丢弃每隔一条线、每第三条线等上至图像分析算法或者利用它的输出的应用的容差限制。在其它实现方式中，线丢弃频率可以朝着帧的边缘增加。可以变化的更多其它图像采集参数包括帧大小、帧分辨率和每秒采集的帧数目。具体而言，帧大小可以例如通过丢弃边缘像素或者通过重新采样至更低分辨率(并且仅利用帧缓冲器容量的部分)来减小。与图像数据采集相关的参数(例如大小和帧速率以及特性)统称为“采集参数”，而与图像分析模块430(例如在定义对象的轮廓时)的操作相关的参数统称为“图像分析参数”。采集参数和图像分析参数的前述示例仅为代表而非限制。
采集参数可以应用于相机402、404和/或帧缓冲器415。相机402、404例如可以在操作相机402、404时响应于采集参数以命令的速率采集图像或者可以代之以限制向帧缓冲器415传递(每单位时间)的采集的帧数目。图像分析参数可以应用于图像分析模块430作为影响轮廓定义算法的操作的数值数量。
用于采集参数的希望值和适合于给定的可用资源水平的图像分 析参数可以例如依赖于图像分析模块430的特性、利用mocap输出的应用的性质和设计偏好。一些图像处理算法可以能够在宽范围内使轮廓近似分辨率与输入帧分辨率折衷，而其它算法可能完全未表现大量容差——例如需要最小图像分辨率，算法在该最小图像分辨率以下完全失败。
在一个实现方式中并且参照图5，该图图示根据公开的本技术的一个实现方式的用于向(半)透明或者其它表面——可以透过该表面查看一个或者多个实际对象——、例如挡风玻璃516上投影增强的车辆环境501的系统500。系统500包括控制多种传感器和投影仪、如比如一个或者多个相机102、104(或者其它图像传感器)并且可选地控制包括成像系统的一些照明源108、110的感测处理系统206。可选地，可以包括被定位用于感测与表面(例如为了清楚而在图5中未示出的触屏显示器等)的接触的多个振动(或者声)传感器508、510。可选地，投影仪在系统206的控制之下可以渲染虚拟对象以提供增强的车辆环境501、比如用于提供音频反馈(例如在按压虚拟按钮或者操控虚拟控件时“点击”、敲打、话音反馈)的可选音频投影仪502、可选视频投影仪504、用于向增强的车辆环境501的用户提供触觉反馈(例如按钮压力、指示已经掌握物理对象的压力等)的可选触觉投影仪506。对于关于投影仪的更多信息，可以参照“Visio-Tactile Projector”Youtube(https://www.youtube.com/watch？v＝Bb0hNMxxewg(访问于2014年1月15日))。在操作中，系统500的传感器和投影仪可以被全部或者部分地并入于传感器设备500-1中或者以别的方式被方便地朝着兴趣区域112设置以便感测沿着指示的路径118移动以通过做手势向系统500给出命令的手部114的运动和存在。可以提供一个或者多个应用522、523作为向增强现实113的显示器中集成的虚拟对象。因而，用户(例如手部114的所有者)能够在相同环境501中例如透过挡风玻璃516查看实际对象、向增强显示113中虚拟化的应用521、522的输出。
投影可以包括用户的手部599和一个或者多个可选对象的图像或者其它可视表示。对象可以包括(与应用522、523、524关联的对象、代表车辆521的操作参数的对象、广告对象517、代表更抽象事物515的对象、其它类型的对象和组合对象)。例如图5的虚拟投影机制504可以投影来自操作者的联系人列表的人的图标622。GPS应用可以计划用于在联系人列表中的人的去往选择的位置的路线并且向操作者提供也作为虚拟化的对象向增强的车辆环境501上投影的向导信息523。与状态监视器关联的各种对象521提供关于车辆的系统的信息。广告应用搜索与用于拜访联系人522的先前旅途近邻产生的旅途的先前目的地并且显示适当广告对象517。例如如果操作者拜访好友(联系人522)并且他们已经去过汉堡王三次，则用于麦当劳的广告图标可以出现。车辆“幸福”图标524显示从多种参数(例如环境控制的改变频率、娱乐选择的改变频率、环境光数量、温度、湿度等)确定的占有者的总幸福水平。
备选地，表面516可以是可佩带式计算设备、比如Google GlassTM或者等效无线或者有线可连接到感测系统500。
用于增强的车辆环境的投影可以例如对于在汽车中的前和后座位乘客有区别。前座位乘客可以体验响应于乘员的手势的点击、敲打和/或话音反馈。后座位乘客可以体验在通向后座位乘客使用的头戴式电话或者HMD的分离音频信道上的点击、敲打和/或话音反馈(以避免让驾驶员分心)。
备选地，在无驾驶员汽车实现方式中，“驾驶员”不再驾驶车辆。没有让“驾驶员”分心的显著代价。在一个这样的实现方式中，可以扩展手势用于所有前座位乘客控制车辆(子)系统。无驾驶员车辆可以包括更大、更交互HUD(上至整个挡风玻璃)。手势控制非安全有关导航判决(例如不考虑确定的路线设置、在移动地图显示上的路途点、出于重新路线设置的目的而选择休息停站(例如盥洗室休息)等)。

Claims (21)

1.一种可嵌入运动感测控制设备，包括：
多个成像传感器，布置于第一部分上以提供用于正在查看的景物的立体成像信息；
一个或者多个照明源，布置于第二部分上；以及
控制器，耦合到所述成像传感器和所述照明源以控制所述成像传感器和所述照明源的操作从而获取景物的成像信息并且向在控制之下的系统或者设备提供所述成像信息的至少接近实时流。
2.根据权利要求1所述的设备，其中所述控制器还提供：
捕获用于在所述成像传感器的视点内的控制对象的成像信息；其中用于兴趣控制对象的所述成像信息用来确定向在控制之下的机器指示命令的手势信息。
3.根据权利要求2所述的设备，其中所述捕获还包括：
分离从对IR光灵敏的像素接收的信息与从对可见光灵敏的像素接收的信息；
处理来自IR传感器的图像信息以用于手势识别；以及
处理来自RGB传感器的图像信息以经由呈现接口作为视频馈送来提供。
4.根据权利要求3所述的设备，其中所述处理来自RGB传感器的图像信息还包括：
使用分别捕获在所述景物中的红色照明分量、绿色照明分量和蓝色照明分量的RGB像素来提取兴趣区域的特征。
5.根据权利要求3所述的设备，其中所述处理来自IR传感器的图像信息还包括：
使用捕获在所述景物中的红外线照明分量的IR像素来提取兴趣区域的特征。
6.根据权利要求3所述的设备，其中所述可见光是RGB。
7.根据权利要求1所述的设备，其中所述第二部分从多个配置 可选择，由此实现对于应用而定制所述设备。
8.根据权利要求1所述的设备，还包括：
用于从感测反射率改变的光检测器接收信息的端口，所述反射率改变指示对象存在或者未存在于所述照明源向其中发射光的空间区域。
9.根据权利要求1所述的设备，还包括：
一个或者多个紧固器，相互紧固所述第一部分和所述第二部分。
10.根据权利要求1所述的设备，还包括：
一个或者多个紧固器，将所述成像传感器和所述照明源紧固到主机设备的装配表面。
11.根据权利要求1所述的设备，还包括：
一个或者多个紧固器，将所述成像传感器和所述照明源紧固到在主机设备中的空腔。
12.根据权利要求1所述的设备，还包括：
一个或者多个紧固器，将所述成像传感器和所述照明源紧固到车辆的装配表面。
13.根据权利要求1所述的设备，还包括：
一个或者多个紧固器，将所述成像传感器和所述照明源紧固到在车辆中的空腔。
14.根据权利要求1所述的设备，还包括：
一个或者多个紧固器，将所述成像传感器和所述照明源紧固到与车辆对接的便携式设备的装配表面。
15.根据权利要求1所述的设备，还包括：
一个或者多个紧固器，将所述成像传感器和所述照明源紧固到在与车辆对接的便携式设备中的空腔。
16.根据权利要求1所述的设备，还包括：
呈现接口，提供部分根据由所述成像传感器捕获的图像而产生的增强现实呈现。
17.根据权利要求16所述的设备，其中所述提供还包括：
用计算机生成的信息增强景物的图像序列。
18.根据权利要求17所述的设备，其中所述增强还包括：
添加从关于所述图像序列的信息选择的图标。
19.根据权利要求18所述的设备，其中所述添加还包括：
选择代表与根据所述图像序列和由操作者录入或者使用的信息中的至少一个而确定的目的地信息相关的广告的图标。
20.根据权利要求16所述的设备，其中所述呈现接口还包括：
抬头显示器。
21.根据权利要求1所述的设备，还包括：
触觉投影仪，用于向车辆的乘员提供感觉。
CN201420521132.4U 2014-08-15 2014-09-11 可嵌入运动感测控制设备 Active CN204537054U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462038112P 2014-08-15 2014-08-15
US62/038,112 2014-08-15

Publications (1)

Publication Number Publication Date
CN204537054U true CN204537054U (zh) 2015-08-05

Family

ID=51946162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201420521132.4U Active CN204537054U (zh) 2014-08-15 2014-09-11 可嵌入运动感测控制设备

Country Status (4)

Country Link
US (3) US11386711B2 (zh)
JP (1) JP3194297U (zh)
CN (1) CN204537054U (zh)
DE (1) DE202014104297U1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106468947A (zh) * 2015-08-19 2017-03-01 台北科技大学 扩增实境互动系统及其动态信息互动显示方法
CN108762478A (zh) * 2017-03-31 2018-11-06 斑马网络技术有限公司 手势识别装置以及识别区域的设置方法
CN110023884A (zh) * 2016-11-25 2019-07-16 森索里克斯股份公司 可穿戴运动跟踪系统
US11507190B2 (en) 2016-07-26 2022-11-22 Huawei Technologies Co., Ltd. Gesture control method applied to VR device, and apparatus

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9533551B2 (en) 2015-03-16 2017-01-03 Thunder Power Hong Kong Ltd. Electric vehicle thermal management system with series and parallel structure
US9550406B2 (en) * 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
CN110769149B (zh) 2015-04-23 2021-05-11 苹果公司 用于处理来自多相机的内容的方法、电子设备和存储介质
EP3091510B1 (en) * 2015-05-06 2021-07-07 Reactive Reality AG Method and system for producing output images
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9994317B2 (en) * 2015-06-02 2018-06-12 Airbus Group India Private Limited Aviation mask
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20180091733A1 (en) * 2015-07-31 2018-03-29 Hewlett-Packard Development Company, L.P. Capturing images provided by users
EP3138607A1 (en) * 2015-09-04 2017-03-08 Airbus Group India Private Limited Aviation mask
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) * 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
DE102016204027A1 (de) 2016-03-11 2017-09-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung einer Vortriebseinheit eines elektrischen Zweirads
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US9996980B1 (en) * 2016-11-18 2018-06-12 Toyota Jidosha Kabushiki Kaisha Augmented reality for providing vehicle functionality through virtual features
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11587419B2 (en) * 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
TWM579743U (zh) * 2019-02-01 2019-06-21 帷享科技股份有限公司 Multi-functional photography system
DE102019106683B4 (de) * 2019-03-15 2020-12-24 Technische Universität Dresden Verfahren und System zum Herstellen eines Kontaktes zwischen einer Nutzerhand und einem Bedienelement einer Vorrichtung
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN112887586B (zh) * 2019-05-06 2022-05-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11354867B2 (en) 2020-03-04 2022-06-07 Apple Inc. Environment application model
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US20020140633A1 (en) * 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
KR100575906B1 (ko) 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP3752246B2 (ja) 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
JP4115467B2 (ja) 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
US7454136B2 (en) 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
EP1983402A4 (en) * 2006-02-03 2013-06-26 Panasonic Corp INPUT DEVICE AND ITS METHOD
US20090278915A1 (en) 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
JP5243070B2 (ja) * 2008-03-14 2013-07-24 ソニー株式会社 情報提供装置、受信端末、情報提供システム、情報提供方法、およびプログラム
US20100013613A1 (en) * 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US20120041344A1 (en) * 2009-03-20 2012-02-16 Carl-Erik Flodmark Apparatus and method for estimating body fat mass
US8666672B2 (en) * 2009-11-21 2014-03-04 Radial Comm Research L.L.C. System and method for interpreting a user's psychological state from sensed biometric information and communicating that state to a social networking site
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8766162B2 (en) 2012-01-12 2014-07-01 Maxim Integrated Products, Inc. Ambient light based gesture detection
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20130204457A1 (en) 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US20140309813A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Guest vehicle user reporting
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9239624B2 (en) 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
US9571818B2 (en) 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014018836A1 (en) * 2012-07-26 2014-01-30 Leap Motion, Inc. Object detection and tracking
WO2014020604A1 (en) * 2012-07-31 2014-02-06 Inuitive Ltd. Multiple sensors processing system for natural user interface applications
US8819812B1 (en) 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US8982261B2 (en) * 2012-10-13 2015-03-17 Hewlett-Packard Development Company, L.P. Imaging with interleaved detection accumulations
US8781171B2 (en) 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions
US20140118257A1 (en) 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US8744645B1 (en) 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
US10037474B2 (en) * 2013-03-15 2018-07-31 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
JP6440692B2 (ja) * 2013-05-23 2018-12-19 アイフィノタイプ エルエルシー 個人、製品提供者および／またはサービス提供者を支援する方法およびシステム
US9477314B2 (en) 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9348419B2 (en) 2014-01-24 2016-05-24 Leap Motion, Inc. Method for synchronizing operation of systems
US10627904B2 (en) 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
US9495762B2 (en) 2014-05-14 2016-11-15 Qualcomm Incorporated Detecting and compensating for motion between a flash and a no-flash image
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN110716759B (zh) * 2018-06-26 2023-06-30 深圳富泰宏精密工业有限公司 电子设备、计算机可读存储介质及运行参数配置方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106468947A (zh) * 2015-08-19 2017-03-01 台北科技大学 扩增实境互动系统及其动态信息互动显示方法
US11507190B2 (en) 2016-07-26 2022-11-22 Huawei Technologies Co., Ltd. Gesture control method applied to VR device, and apparatus
CN110023884A (zh) * 2016-11-25 2019-07-16 森索里克斯股份公司 可穿戴运动跟踪系统
CN110023884B (zh) * 2016-11-25 2022-10-25 森索里克斯股份公司 可穿戴运动跟踪系统
CN108762478A (zh) * 2017-03-31 2018-11-06 斑马网络技术有限公司 手势识别装置以及识别区域的设置方法

Also Published As

Publication number Publication date
US20230368577A1 (en) 2023-11-16
US20220319235A1 (en) 2022-10-06
US11386711B2 (en) 2022-07-12
US11749026B2 (en) 2023-09-05
US20160048725A1 (en) 2016-02-18
JP3194297U (ja) 2014-11-13
DE202014104297U1 (de) 2015-01-23

Similar Documents

Publication Publication Date Title
CN204537054U (zh) 可嵌入运动感测控制设备
US11778159B2 (en) Augmented reality with motion sensing
US11080937B2 (en) Wearable augmented reality devices with object detection and tracking
US11068071B2 (en) Velocity field interaction for free space gesture interface and control
US20200143599A1 (en) Safety for Wearable Virtual Reality Devices via Object Detection and Tracking
US9868449B1 (en) Recognizing in-air gestures of a control object to control a vehicular control system
US9613262B2 (en) Object detection and tracking for providing a virtual device experience
US9857876B2 (en) Non-linear motion capture using Frenet-Serret frames
US11537196B2 (en) Drift cancelation for portable object detection and tracking

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200729

Address after: English: fusuri

Patentee after: ULTRAHAPTICS IP LTD.

Address before: California, USA

Patentee before: LMI Clearing Co.,Ltd.

Effective date of registration: 20200729

Address after: California, USA

Patentee after: LMI Clearing Co.,Ltd.

Address before: California, USA

Patentee before: LEAP MOTION, Inc.