CN102222329A - 深度检测的光栅扫描 - Google Patents
深度检测的光栅扫描 Download PDFInfo
- Publication number
- CN102222329A CN102222329A CN2011100720530A CN201110072053A CN102222329A CN 102222329 A CN102222329 A CN 102222329A CN 2011100720530 A CN2011100720530 A CN 2011100720530A CN 201110072053 A CN201110072053 A CN 201110072053A CN 102222329 A CN102222329 A CN 102222329A
- Authority
- CN
- China
- Prior art keywords
- light
- visual field
- pattern
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
提供了深度检测的光栅扫描。提供了用于确定到深度相机的视野内的对象的距离的技术。技术可包括在对象上光栅扫描光并检测从对象反射的光。基于所反射的图像确定到该对象的一个或多个距离。可生成该对象的3D映射。在一实施例中,可基于从相机内的光源发送光到接收从对象反射的图像之间的飞行时间来确定到对象的(诸)距离。光栅扫描光包括光栅扫描图案到视野中。确定到对象的(诸)距离可包括确定在相机处接收到的图案的所反射的图像与参考图案之间的空间差。
Description
技术领域
本发明涉及深度检测,尤其涉及深度检测的光栅扫描。
背景技术
深度相机系统获得和物理空间内人或其他对象的位置有关的数据。该信息可被称为“深度信息”。深度信息可被输入到计算系统内的应用用于各种各样的应用。可能有许多应用,如出于军事、娱乐、体育和医疗目的。例如,关于人的深度信息可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。
为了确定深度信息,深度相机可将光投影到相机的视野内的对象上。光反射离开对象并返回相机,在相机处光被处理以确定深度信息。然而,被反射回相机的光的强度可以是非常弱的。因此,信噪比(S/N)可以是差的。此外,如果对象的一部分扩展到相机的视野之外,那么对象的该部分的深度不能被确定。
因此,需要进一步的改进以允许对深度相机的视野内对象的深度进行更精确的确定。一种这样的需要是改进从对象反射的光信号的S/N。另一种需要是提供对视野更好的控制。
发明内容
提供了一种用于确定深度相机的视野内的一个或多个对象的深度信息的机器实现的方法和系统。该方法和系统提供深度相机的视野内的对象的深度的精确确定。该方法和系统可提供从对象反射的光信号的好的S/N。该方法和系统可允许深度相机的视野被动态地调节。
一实施例是确定到对象的距离的机器实现的方法。该方法包括从相机内的光源发送光。在相机的视野内的对象上,光被光栅扫描。在检测器处接收来自对象的光的所反射的图像。基于所反射的图像确定到该对象的一个或多个距离。
一实施例是深度相机,该深度相机包括发送光的光源、与光源光学通信的扫描元件、光检测器以及距离确定逻辑。扫描元件通过按x-方向和y-方向扫描来光栅扫描视野上的光。光检测器接收来自视野内对象的被扫描的光的所反射的图像。距离确定逻辑基于所反射的图像确定到视野内的对象的一个距离或多个距离。
一实施例是光栅扫描图案以确定深度信息的机器实现的方法。该方法包括从相机内的光源发送光。在发送光的同时控制扫描元件来扫描相机的视野内的线。在相机内的线性阵列检测器处接收来自视野内的对象的图像。该图像对应于扫描线的至少一部分。做出关于是否扫描图案内另一线的确定。如果另一线要被扫描,则重复发送、控制以及接收。分析接收到的图像的空间特性。基于该空间分析确定到视野内的对象的一个距离或多个距离。
提供本发明内容以用简化形式介绍在下面的说明书中进一步描述的精选概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于限定所要求保护的主题的范围。
附图说明
图1描绘了运动捕捉系统的示例实施例。
图2描绘了图1的运动捕捉系统的示例框图。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。
图5A描绘了可使用飞行时间来确定光栅扫描的光的深度信息的深度相机的一实施例的框图。
图5B描绘了使用结构化光图案来确定深度信息的深度相机的一实施例的框图。
图6是确定到深度相机的视野内一个或多个对象的距离的过程的一实施例的流程图。
图7是扫描深度相机的视野内的图案的过程的一实施例的流程图。
图8A是基于飞行时间确定到相机的视野内的对象的一个或多个距离的过程的一实施例的流程图。
图8B是基于接收到的图像的空间分析确定到相机的视野内的对象的一个或多个距离的过程的一实施例的流程图。
图9是生成参考图像的过程的一实施例的流程图。
具体实施方式
提供了用于确定到深度相机的视野内一对象(或多个对象)的一个或多个距离的技术。技术可包括光栅扫描在相机的视野内的对象上的光。在相机处接收从该对象反射的光的图像。基于所反射的图像确定到该对象的一个或多个距离。在一实施例中,生成视野内一个或多个对象的3D映射。
在一实施例中,确定到对象的(诸)距离包括确定从相机内的光源发送光到接收来自对象的所反射的图像之间的飞行时间。可为光栅扫描内不同的点确定单独的飞行时间信息。因此,可确定对象的3D映射。
在一实施例中,光栅扫描光包括光栅扫描图案到视野内。确定到对象的(诸)距离可包括确定在相机处接收到的图案的所反射的图像与参考图案之间的空间差。扫描到视野内的图案可以是已知的图案,诸如网格或任何其他已知的图案。参考图案可以是对离开深度相机已知距离处的参考图像上的图案进行光栅扫描所得出的图像。
收集深度相机的视野内的一个或多个对象的深度信息的一种可能使用是向运动捕捉系统输入深度信息。然而,可以理解的是深度信息并不限于运动捕捉系统。出于说明的目的,将描述一示例运动捕捉系统10。图1描绘了其中个人可以与应用交互的运动捕捉系统10的示例实施例。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括图像相机组件22,其具有深度检测光发送器24、深度检测光接收器25和红-绿-蓝(RGB)相机28。在一实施例中,深度检测光发送器24发射准直光束(collimated light beam)。准直光的示例包括但不限于,红外线(IR)激光。在一实施例中,深度检测光组件是LED。通过深度检测光接收器25检测从视野内对象8反射离开的光。
也称为个人或玩家的用户站在深度相机系统20的视野6中。线2和4表示视野6的边界。在该示例中,深度相机系统20和计算环境12提供了其中显示器196上的化身197跟踪对象8(例如,用户)的移动的应用。例如,当用户举起手臂时,化身197可举起手臂。化身197在3-D虚拟世界中站在路198上。可定义笛卡尔世界坐标系,其包括沿着深度相机系统20的焦距(例如水平)延伸的z轴、垂直延伸的y轴、以及横向且水平延伸的x轴。注意,附图的透视被修改成简化表示,显示器196在y轴方向上垂直延伸,z轴垂直于y轴和x轴且与用户所站立的地平面平行地从深度相机系统20延伸出来。
一般而言,运动捕捉系统10用于识别、分析和/或跟踪对象。计算环境12可包括计算机、游戏系统或控制台等,以及执行应用的硬件组件和/或软件组件。
深度相机系统20可以包括相机,相机用于在视觉上监视诸如用户等的一个或多个对象8,从而可以捕捉、分析并跟踪用户所执行的姿势和/或移动,来执行应用中的一个或多个控制或动作,如使化身或屏幕上人物活动起来或选择用户界面(UI)中的一菜单项。
运动捕捉系统10可以连接到诸如显示器196等可向用户提供视觉和音频输出的视听设备,如电视机、监视器、高清电视机(HDTV)等,或甚至是墙或其他表面上的投影。音频输出也可经由单独的设备来提供。为驱动显示器,计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器,和/或诸如声卡等音频适配器。显示器196可经由例如,S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
可使用深度相机系统20来跟踪对象8,使得用户的姿势和/或移动被捕捉并用于使化身或屏幕上人物活动起来,和/或被解释为对计算机环境12所执行的应用的输入控制。
对象8的某些移动可被解释为可以和除控制化身之外的动作相对应的控制。例如,在一实施例中,玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用,或以其他方式导航选项菜单。由此,对象8的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
个人可在与应用交互时抓握诸如支柱等物体。在此类实施例中,个人和物体的移动可用于控制应用。例如,可以跟踪并利用手持球拍的玩家的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中,可以跟踪并利用手持诸如塑料剑等玩具武器的玩家的运动以便在提供海盗船的应用的虚拟世界中控制对应的武器。
运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如,操作系统和/或应用的实际上任何可控方面可由对象8的移动来控制。
图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置以捕捉具有深度信息的视频,深度信息包括可包括深度值的深度图像。在此描述了通过使用光栅扫描照明对象来确定深度值的技术。深度相机系统20可将深度信息组织为“Z层”,或可与从深度相机系统20沿其视线延伸的Z轴垂直的层。
深度相机系统20可包括图像相机组件22,如捕捉物理空间中的场景的深度图像的深度相机。图像相机组件22可包括深度检测光发送器24和深度检测光接收器25来捕获深度信息。例如,深度相机系统20可使用深度检测光发送器24将光发射到物理空间上并使用深度检测光接收器25来检测从物理空间内一个或多个对象的表面所反射的光。
在某些实施例中,深度检测光发送器24发送脉冲式红外光,从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。注意的是,被发送的光可被调制以帮助确定相位差。然后可以使用被调制的光的相移来确定从深度相机系统20到目标或对象上的特定位置的物理距离。
在另一示例实施例中,深度相机系统20可使用结构化光来捕捉深度信息。在该分析中,图案化的光(例如,被显示为诸如网格图案或条纹图案等已知图案)可经由例如深度检测光发送器24被投影到场景上。在深度检测光接收器25处接收到的图案可被分析以确定深度信息。在一实施例中,图案被空间地分析。在一实施例中,图案针对外观变形被分析。即,相比于参考图案,接收到的图案基于对象离开相机的距离看起来可能是变形的。
可使用红-绿-蓝(RGB)相机28来捕捉图像。深度信息可与来自RGB相机28的图像合并以创建深度图像。
深度相机系统20还可包括话筒30,话筒30包括例如接收声波并将其转换成电信号的变换器或传感器。另外,话筒30可用于接收诸如声音等音频信号,所述音频信号由个人提供来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声,以及诸如拍手或跺脚等非口声。
深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括标准化处理器、专用处理器、微处理器等等,可执行包括例如用于确定深度图像的指令(将在以下详细描述)在内的指令。
深度相机系统20还可包括存储器组件34,存储器组件34可存储可由处理器32执行的指令、以及存储RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例,存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施方式,存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一实施例,计算环境12可经由通信链路36向深度相机系统20提供时钟信号,该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。
此外,深度相机系统20可通过通信链路36向计算环境12提供深度信息和由RGB相机28捕捉的图像。计算环境12然后可使用深度信息和所捕捉的图像来控制应用。例如,如图2所示,计算环境12可包括诸如姿势过滤器集合等姿势库190,每一姿势过滤器具有关于可被执行的姿势(在用户移动时)的信息。例如,可为各种手姿势提供姿势过滤器,如手的挥击或投掷。通过将检测到的运动与每一过滤器进行比较,可标识个人执行的指定姿势或移动。也可确定执行移动的范围。
计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。计算环境能被用于基于深度信息确定到深度相机的视野内的对象的距离。上面描述的诸如计算环境12等计算环境可以包括诸如游戏控制台等多媒体控制台100。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数,由此改进处理速度和吞吐量。CPU 101可被提供成具有一个以上的核,以及由此的附加的1级和2级高速缓存102和104。诸如闪存ROM等存储器106可存储在多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其它显示器。存储器控制器110连接到GPU 108以便于处理器访问各种类型的存储器112,诸如RAM(随机存取存储器)。
多媒体控制台100包括可在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如,因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以是内置的或外置的。应用数据可经由媒体驱动器144访问,以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连,包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时,应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中,媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放,以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中,多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而,随着通过网络接口124或无线适配器148可用的宽带连接的集成,多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时,保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器(例如,16MB)、CPU和GPU周期(例如,5%)、网络带宽(例如,8kbs)等的保留。因为这些资源是在系统引导时保留的,所以所保留的资源在应用看来是不存在的。
具体地,存储器保留可以是足够大以包含启动内核、并发系统应用和驱动程序。CPU保留可为恒定,使得若所保留的CPU使用不被系统应用使用,则空闲线程将消耗任何未使用的周期。
对于GPU保留,通过使用GPU中断来显示由系统应用生成的轻量消息(例如,弹出窗口),以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小,并且覆盖图可与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下,优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率,从而无需改变频率或引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后,就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用可被调度为在预定时间并以预定时间间隔在CPU 101上运行,以为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时,则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如,静音、衰减)。
输入设备(例如,控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源,但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器可控制输入流的切换,而无需知晓游戏应用的知识,并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机28的图2的深度相机系统20接收附加输入。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。计算环境能被用于基于深度信息确定到深度相机的视野内的对象的距离。计算环境220包括计算机241,计算机241通常包括各种有形计算机可读存储介质。这可以是能由计算机241访问的任何可用介质,而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程,它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非局限,图4描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质,如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238,从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239,以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动238通常由诸如接口234等不可移动存储器接口连接至系统总线221,并且磁盘驱动239和光盘驱动240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如,硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意,这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同,也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备,诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫),向计算机241输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259,但也可以由其他接口和总线结构,诸如并行端口、游戏端口或通用串行总线(USB),来连接。包括相机28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口,诸如视频接口232连接至系统总线221。除监视器以外,计算机也可以包括其它外围输出设备,诸如扬声器244和打印机243,它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机,诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点,且通常包括许多或所有以上相对于计算机241描述的元件,但是在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249,但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时,计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时,计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的,它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中,相对于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制,图4示出了远程应用程序248驻留在存储器设备247上。可以理解,所示的网络连接是示例性的,且可以使用在计算机之间建立通信链路的其他手段。
图5A示出了深度相机系统20的一实施例的框图。在一实施例中,图5A的深度相机系统20基于光栅扫描的光的飞行时间确定距离。深度相机系统20可在图1的示例运动捕捉系统10中使用;然而,其也可以在其他系统中使用。深度相机系统20具有光源524、束分裂器506、旋转扫描元件508、检测器504a、处理逻辑532以及存储534。光源524、束分裂器506以及扫描元件508一起形成深度检测光发送器24。检测器504a是图2的设备的深度检测光接收器25的一实施例。
在一实施例中,光源524发射准直光束(collimated light beam)。除了光束,光源524可发射红外线激光。在一实施例中,光源524发射光脉冲的序列。该序列可以协助确定飞行时间的方式被编码或调制。例如,可基于在所发送的被调制的光和接收到的光之间的相位差来确定飞行时间。在一实施例中,光源524是点源(point source)。通过束分裂器506将光发送到扫描元件508上。注意的是,为了帮助减少组件的数量,束分裂器506是可选的组件,
在一实施例中,扫描元件508具有反射光的一个或多个表面509。在一实施例中,扫描元件508在处理逻辑532的控制下旋转。在一实施例中,扫描元件508旋转使得来自光源524的光以x-方向和y-方向在视野上扫描。注意的是,扫描元件508可包括多于一个的旋转元件。例如,一个元件可如图5A中描绘的旋转以x-方向扫描,而第二元件可旋转进出图5A的页面。对于本领域的普通技术人员而言,用于2维光栅扫描的技术是公知的。视野的x-组件由线2、4描绘。注意的是,也存在视野的y-组件(没有在图5A中描绘)。
在扫描元件508上描绘了圆形箭头以显示示例旋转方向。相反,方向可以是顺时针方向的。实线箭头描绘了和扫描元件508的所描绘的位置相对应的光路径。虚线箭头对应于这样的光路径,所述光路径和当扫描元件508旋转到其他角度时的位置相对应。因此,虚线箭头及时对应不同的点。注意的是,虽然扫描元件508被描绘为具有多个表面的旋转元件,但是可使用其他类型的扫描元件。
在一实施例中,扫描元件508能够以x-方向扫描多条线,每条线具有不同的y-位置。在以x-方向扫描一条线后,扫描元件508以按新的y-位置扫描第二条线的方式被控制。例如,扫描元件508可按转进并转出图5B的页面的方向被旋转。注意的是,线不是必须连续的。能使用多个不同的扫描路径。以下描述进一步的详细内容。
从视野内的一个或多个对象8反射离开的光由检测器504a捕捉。在该示例中,光从对象8反射离开并返回扫描元件508(如双箭头描绘的)。光接着返回到束分裂器506并接着到检测器504a。如先前提到的,束分裂器506不是必需的。检测器504a可以是例如,CMOS检测器、光电二极管检测器或电荷耦合器件(CCD)。在一实施例中,检测器504a收集的数据被分析为单个数据点。随着光栅扫描继续照明对象8的新的部分,检测器504a可收集额外数据。
在图5A描绘的实施例中,照明的轴与图像轴对齐。这由扫描元件508和对象之间的双头箭头描绘。照明的轴由靠近对象8的箭头指示。图像轴由靠近扫描元件508的箭头指示。在其他实施例中,照明的轴不与图像轴对齐。
处理逻辑532能够基于由检测器504a捕捉的图像确定到对象8的距离。在一实施例中,基于从源524发送光到在检测器504a处接收所反射的图像之间的飞行时间来确定到对象8的距离。注意的是,由于来自源524的光是跨视野被扫描的,检测器504a将收集和视野内不同的x-和y-位置相对应的多个单独的数据点。
在一实施例中,处理逻辑532是执行存储在诸如存储534等存储器内的指令的处理器。然而,处理逻辑532能全部或部分使用硬件来实现。在一实施例中,处理逻辑532包括应用专用集成电路(ASIC)。注意的是,存储534可以是诸如RAM、ROM、寄存器等等的可寻址存储器。然而,存储534也可以包括不可寻址存储。例如,存储534可包括无需由处理器可寻址的锁存。
图5B描绘了使用光图案来确定深度信息的深度相机20的一实施例的框图。该实施例与图5A的不同,其中该实施例具有线性阵列检测器504b而不是检测器504a。由此,线性阵列检测器504b是图2的设备的深度检测光接收器25的一实施例。通过使用图5A的实施例,使用光栅扫描来照明视野内的对象8。然而,在这种情况下,图案被光栅扫描到视野内。可空间地分析图案来确定深度信息。例如,可基于所反射的图案内的变形(deformation)或扭曲(warping)来确定深度信息。注意的是,基于线性阵列检测器504b的有利位置这可以是外观变形。
深度相机20可在图1的示例运动捕捉系统10中使用;然而,其也可以在其他系统中使用。深度相机20具有光源524、束分裂器506、旋转扫描元件508、线性阵列检测器504b、处理逻辑532以及存储。光源524、束分裂器506、以及扫描元件508一起形成深度检测光发送器24。线性阵列检测器504b是深度检测光接收器25的一实施例。
在一实施例中,光源524发射准直光束(collimated light beam)。除了光束,光源524可发射红外线激光。在一实施例中,光源524发射光脉冲的序列。在一实施例中,光源524是点源(point source)。通过束分裂器506将光发送到扫描元件508上。
扫描元件508可以和图5A中的扫描元件类似,将不详细描述。在这个实施例中,扫描元件508被用以将图案投影到视野内。因此,图案可被投影到可能在视野内的任意对象8上。在一实施例中,图案是诸如网格或条纹图案等的已知图案。注意的是,因为图案是跨视野被光栅扫描的,所以在任一时刻只有图案的一个点被投影。由于所有能量被集中在一个小点上,因此这允许非常高的S/N。换言之,在任一时刻只有图案的一部分被投影。
从视野内的一个或多个对象8反射离开的光由线性阵列检测器504b捕捉。在该示例中,光从对象8反射离开并返回扫描元件508(如双箭头描绘的)。光接着返回到束分裂器506并接着到检测器504b。注意的是,线性阵列检测器504b可收集多个数据点。例如,线性阵列检测器504b可收集扫描线的多个点。在扫描元件508被移动以在不同的y-位置扫描新线后,线性阵列检测器504b可被用以收集一组新的数据点。线性阵列检测器504b可以是例如,CMOS检测器、光电二极管检测器或CCD。在一实施例中,线性阵列检测器504b能够检测线性区域上的光。
因此,线性阵列检测器504b收集由投影到对象上的图像引起的所反射的图像。对象8离开相机的距离可对接收到的图案有影响。例如,一人可考虑将图案投影到离开相机已知距离处的参考对象8上。如果相同的图案被投影到离开相机不同距离处的对象8上,图案可看起来是“扭曲的”或“变形的”。在一实施例中,利用视差影响使得图案从线性阵列检测器504b的有利位置看来是变形的。可分析变形的本质和量来确定到对象的距离。在一实施例中,可做出对象8的z-方向映射。即,对每个x-和y-位置扫描点,可确定z-位置。由此,处理逻辑532能够基于由线性阵列检测器504b捕捉的图像确定到对象8的距离。
在图5B描绘的实施例中,照明的轴与图像轴对齐。这由扫描元件508和对象之间的双头箭头描绘。照明的轴由靠近对象的箭头指示。图像轴由靠近扫描元件508的箭头指示。在其他使用线性阵列检测器504b的实施例中,照明的轴不与图像轴对齐。
图6是确定到深度相机的视野内一个或多个对象8的距离的过程600的一实施例的流程图。过程600可在图5A或5B的深度相机中使用。然而,过程600不限于那些实施例。
在步骤602,从深度相机20内的光源524发送光。例如,图5A-5B的任一深度相机20内的光源524发送光。光可以是准直的。在一实施例中,光是红外线。在一实施例中,光是激光束。在一实施例中,光源524发射光的脉冲。在一实施例中,脉冲被结构化使得已知的图案能在相机的视野上被光栅扫描。
在步骤604,在相机的视野内的对象8上,光被光栅扫描。在一实施例中,来自光源524的光被反射离开扫描元件508,使得已知的图案在相机的视野内被光栅扫描。图案能够是任意已知图案。在某些实施例中,图案是不规则的使得图案的不同部分具有唯一的子图案。换言之,图案的不同部分是彼此唯一的。注意的是,通过光栅扫描图案,整个图案不被同时发送。
在步骤606,在光检测器504处接收光的所反射的图像。光检测器504可以是点检测器504a或线性阵列检测器504b。注意的是,在一段时间内接收到光。例如,随着扫描元件508光栅扫描视野上的光,检测器504随着时间检测光的连续的部分。
在步骤608,基于所反射的图像确定到对象8的一个或多个距离。在一实施例中,基于飞行时间信息确定该一个或多个距离。在一实施例中,基于接收到的一个图像或多个图像的空间分析来确定该一个或多个距离。在一实施例中,基于在接收到的图案内的该图案的外观变形确定该一个或多个距离。
图7是将已知图案扫描到深度相机的视野内的过程700的一实施例的流程图。已知图案实质上能够是任意图案,使得接收到的图像能针对图案内的外观变形被分析以确定距离。过程700是步骤602-604的一实施例。注意的是,在操作中,过程700可被反复重复以再一次扫描图案(或扫描不同的图案)。扫描已知的图案可在其中基于图案的所反射的图像的外观变形来确定深度的实施例中使用。然而,注意的是,基于飞行时间确定深度的实施例也扫描已知图案。
在步骤702,确定用于扫描图案的线的数据。该数据可包括光源524的脉冲序列以及如何控制扫描元件508来扫描线。在一实施例中,存储534存储该数据使得通过访问合适的存储器地址来执行步骤702。
在步骤704,从光源524发送用于图案的一条线的光,与此同时,控制扫描元件508来将该线扫描进视野内。注意的是,扫描线不需要照明一连续的路径。然而,扫描线可具有通过未被照明的部分来分隔的被照明的部分。光源524可以是脉冲的以生成这样的扫描线。然而,扫描线可以是连续的路径。在一实施例中,扫描线在视野内大致水平。注意的是,扫描线可以稍微有些斜使得y-位置跨扫描线稍微改变。然而,注意的是,扫描线可以以任意方向。例如,扫描线可以是对角的使得其从视野内的左上到右下。如果希望的,扫描线可以较多或较少地垂直。并且,扫描线不需要是直线。由此,在某些实施例中,扫描线是弯曲的。
步骤706是关于是否要扫描新线的确定。在一实施例中,扫描线是预定的长度。例如,扫描线可对应于扫描元件508的预定的旋转角度。注意的是,这可导致预定的视野。并且,扫描线可对应于预定数量个光脉冲。然而,旋转角度或光脉冲的数量都不需要被预定。在一实施例中,被扫描的线的长度是动态可适的。因此,通过改变正在其上执行光栅扫描的范围,视野是动态可适的。例如,可存在能被扩展或缩小的默认视野。作为一特定的示例,如果确定感兴趣的对象8已经被扫描过了,那么视野能被动态地缩小。作为另一特定的示例,如果确定感兴趣的对象8还没有被完整地扫描过,那么视野能被动态地扩展。例如,如果感兴趣的对象8是用户的手,视野能被更改以更加有效地捕捉关于该手的深度信息。
一旦确定要扫描新线,就确定用于下一线的数据(步骤702)。再一次,可访问存储534来确定下一组数据。通过扫描更多的线来继续过程700,直到在步骤708中确定所有的线已经被扫描。扫描线的数量可以是预定的或动态可调节的。注意的是,动态调节线的数量允许视野被动态地调节。确定是否要扫描更多的线的因素可包括感兴趣的对象8是否已经被完整地扫描。
注意的是,过程700的一个变形是扫描线而不扫描任何特定的图案。例如,基于飞行时间确定深度的实施例不需要扫描任何特定的图案。
图8A是确定到相机的视野内的对象8的一个或多个距离的过程800的一实施例的流程图。过程800是过程600的步骤608的一实施例。在该实施例中,基于飞行时间信息做出确定。在某些实施例中,图5A的深度相机可使用过程800。然而,不排除在此描述的其他深度相机使用过程800。在步骤802,确定从光源524发送光直到由检测器504接收到光之间的飞行时间。可为光栅扫描的一个部分执行该计算。例如,可为光的一个脉冲做出计算。
在一实施例中,比较是被发送的光和接收到的图像之间的相位差的比较。例如,光源可以是以某个频率调制的激光束。在被调制的发送的激光束和接收到的图像之间的相位差能被用以确定到对象8的距离。具体地,可基于相位差的量以及调制频率来确定距离。
在一实施例中,比较是在发送光和接收图像之间的时间差的直接测量。例如,光源524发送出光的短脉冲。当检测器504接收光脉冲时,电路计算发送和接收之间非常精确的时间差。能基于时间差和光频率来确定距离。
在步骤804,与视野的哪个部分被研究的指示符相关联地存储距离测量。如步骤806中确定的,通过研究光栅扫描的其他部分,过程800继续处理更多的数据直到扫描的所有部分被分析。在可选的步骤808,基于在步骤804内存储的数据生成对象8的3D映射。
图8B是确定到相机的视野内的对象8的一个或多个距离的过程850的一实施例的流程图。在某些实施例中,图5B的深度相机可使用过程800。然而,不排除在此描述的其他深度相机20使用过程800。过程850是过程600的步骤608的一实施例。在该实施例中,基于关于接收到的图案的空间信息做出确定。例如,可使用图案看上去变形的量来确定距离。
在步骤852,分析在线性阵列检测器504b处接收到的光。该数据可对应于所有扫描线或扫描线的任一子集。注意的是,对象8的有限大小表示只可返回图案的一部分。然而,能以一种方式构造图案使得只分析图案的一小部分就能确定到对象8的距离。在一实施例中,视差影响被用以确定深度信息。例如,检测器504可以偏离光发送器的轴使得视差影响导致从检测器504的有利位置看起来的图案的外观变形。然而,基于图案的变形确定深度信息并不限于视差影响。
在一实施例中,通过将图案的接收到的图像与一个或多个参考图像进行比较来确定深度信息。每个参考图像可对应于离开相机的不同距离。生成参考图像的进一步详细内容结合图9描述。如提到的,接收到的图像可看起来以对应于离开相机的距离的量变形。每个参考图像可包括针对一给定距离的变形量和变形性质。通过比较接收到的图像与参考图像,可确定深度。注意的是,不需要将整个接收到的图像与给定的参考图像进行比较。例如,接收到的图像能被分成不同的片断,各个片断与参考图像相应的部分进行比较。
在步骤854,存储到对象8的一个或多个距离。注意的是,基于对于图案的不同部分的变形量,可确定不同的深度信息。因此,步骤854可存储对象8的不同部分的不同深度信息。在可选的步骤808,基于在步骤854内存储的数据生成对象8的3D映射。
图9是生成参考图像的过程900的一实施例的流程图。生成参考图像的深度照相机20可具有线性阵列检测器504b以执行过程900;然而,这不是必需的。参考图像可在过程850的步骤852内使用。在步骤902,将图案光栅扫描到离开深度相机已知距离处的对象8上。在一实施例中,图案是结构化的图案,诸如网格或其他已知图案。
在步骤904,在线性阵列检测器504b处检测从参考对象8反射的图像。注意的是,检测参考图像可包括检测多条不同的扫描线。例如,如果检测诸如网格的已知图案,那么可收集对应于多条不同的扫描线的数据。在步骤906,存储参考图像。过程900可为离开深度相机不同的已知距离处的参考对象8重复。注意的是,可以不需要根据经验来确定参考图像。数学地确定在离开相机的各个距离处的假想对象8的参考图像的模型是可能的。例如,当与诸如网格等的已知图案一起工作时,数学地确定参考图像是可能的。
在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导,许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用,从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。
Claims (14)
1.一种机器实现的方法,包括:
从相机内的光源发送光(602);
在所述相机的视野内的对象上光栅扫描所述光(604);
在检测器处接收来自所述对象的所述光的一个或多个所反射的图像(606);以及
基于所述一个或多个所反射的图像确定到所述对象的一个或多个距离(608)。
2.如权利要求1所述的机器实现的方法,其中基于所述一个或多个所反射的图像确定到所述对象的一个或多个距离包括:确定从所述光源发送所述光到在所述检测器处接收到所述一个或多个所反射的图像之间的一个或多个飞行时间。
3.如权利要求2所述的机器实现的方法,其中从光源发送光包括发送一脉冲序列,接收所述光的一个或多个所反射的图像包括接收针对各个脉冲的单独的所反射的图像,所述一个或多个飞行时间包括确定发送和接收各个脉冲之间的飞行时间。
4.如权利要求1至3中的任一项所述的机器实现的方法,其中在所述视野内的对象上光栅扫描所述光包括光栅扫描所述视野内的图案,接收一个或多个所反射的图像包括接收所述图案的至少一部分的图像。
5.如权利要求4所述的机器实现的方法,其中确定到所述对象的一个或多个距离包括分析在所述图案的所述至少一部分内的外观变形。
6.如权利要求5所述的机器实现的方法,其中分析在接收到的图案的所述至少一部分内的外观变形包括将所述图案的所述至少一部分与一个或多个参考图像进行比较,一个或多个参考图像中的各个参考图像是通过在离开所述相机已知距离处的参考对象上光栅扫描所述图案在检测器处接收到的图像。
7.如权利要求1至6中的任一项所述的机器实现的方法,其特征在于,还包括:
基于一个或多个确定的到所述对象的距离生成所述对象的深度映射。
8.如权利要求1至7中的任一项所述的机器实现的方法,其特征在于,还包括:
通过改变正在其上执行光栅扫描的范围,动态地修改所述视野。
9.一种深度相机,包括:
发送光的光源(524);
与所述光源光学通信的扫描元件(508),所述扫描元件通过以x-方向和y-方向扫描来在视野上扫描所述光;
接收来自所述视野内对象的被扫描的光的所反射的图像的光检测器(504);以及
基于所反射的图像确定到所述视野内所述对象的一个距离或多个距离的逻辑(532)。
10.如权利要求9所述的深度相机,其中所述逻辑通过确定从发送所述光到在所述光检测器处接收到所反射的图像之间的飞行时间来确定到所述视野内一个或多个对象的一个距离或多个距离。
11.如权利要求10所述的深度相机,其中所述光源发送一脉冲序列,所述光检测器接收针对各个脉冲的单独的所反射的图像,所述逻辑确定在发送和接收各个脉冲之间的飞行时间。
12.如权利要求9至11中的任一项所述的深度相机,其中所述扫描元件扫描来自所述光源的所述光的图案,所述光检测器是线性阵列检测器,距离确定逻辑通过确定所述图案的接收到的图像与参考图像之间的空间差来确定到所述视野内的对象的一个或多个距离,所述参考图像是通过在离开所述相机已知距离处的参考对象上光栅扫描所述图案来产生的图像。
13.如权利要求9至12中的任一项所述的深度相机,其中距离确定逻辑确定所述视野内对象的深度映射。
14.如权利要求9至13中的任一项所述的深度相机,其特征在于,进一步包括通过改变x-方向上的扫描或y-方向上的扫描中的一个或多个来修改所述视野的逻辑。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/726,250 US8279418B2 (en) | 2010-03-17 | 2010-03-17 | Raster scanning for depth detection |
US12/726,250 | 2010-03-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102222329A true CN102222329A (zh) | 2011-10-19 |
CN102222329B CN102222329B (zh) | 2014-06-18 |
Family
ID=44646999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110072053.0A Active CN102222329B (zh) | 2010-03-17 | 2011-03-16 | 深度检测的光栅扫描 |
Country Status (2)
Country | Link |
---|---|
US (2) | US8279418B2 (zh) |
CN (1) | CN102222329B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013189058A1 (en) * | 2012-06-21 | 2013-12-27 | Microsoft Corporation | Avatar construction using depth camera |
CN103777750A (zh) * | 2012-10-23 | 2014-05-07 | 三星电子株式会社 | 包括图像传感器的移动系统和图像传感器的操作方法 |
CN104067109A (zh) * | 2012-01-24 | 2014-09-24 | 陶朗分选有限公司 | 用于检测物品的装置、系统以及方法 |
CN104160240A (zh) * | 2012-02-15 | 2014-11-19 | 普莱姆森斯有限公司 | 扫描深度引擎 |
CN106030239A (zh) * | 2014-01-29 | 2016-10-12 | Lg伊诺特有限公司 | 用于提取深度信息的装置及方法 |
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
CN108475427A (zh) * | 2016-02-18 | 2018-08-31 | 微软技术许可有限责任公司 | 对象扫描能力的实时检测 |
CN110337598A (zh) * | 2017-02-27 | 2019-10-15 | 微软技术许可有限责任公司 | 使用立体消歧的单频飞行时间深度计算 |
WO2019213864A1 (zh) * | 2018-05-09 | 2019-11-14 | 深圳阜时科技有限公司 | 用于目标的三维映射装置、身份识别装置与电子设备 |
CN111033314A (zh) * | 2017-04-10 | 2020-04-17 | Bea股份公司 | 人体识别方法及人体识别传感器 |
WO2021136098A1 (zh) * | 2020-01-03 | 2021-07-08 | 华为技术有限公司 | 一种tof深度传感模组和图像生成方法 |
CN113156458A (zh) * | 2020-01-03 | 2021-07-23 | 华为技术有限公司 | 一种tof深度传感模组和图像生成方法 |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
WO2012020380A1 (en) | 2010-08-11 | 2012-02-16 | Primesense Ltd. | Scanning projectors and image capture modules for 3d mapping |
US10739460B2 (en) | 2010-08-11 | 2020-08-11 | Apple Inc. | Time-of-flight detector with single-axis scan |
CN102564302A (zh) * | 2010-12-10 | 2012-07-11 | 通用电气公司 | 测量系统和方法 |
US9628843B2 (en) * | 2011-11-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Methods for controlling electronic devices using gestures |
DE102012207931A1 (de) * | 2012-01-07 | 2013-07-11 | Johnson Controls Gmbh | Kameraanordnung zur Distanzmessung |
US9329080B2 (en) | 2012-02-15 | 2016-05-03 | Aplle Inc. | Modular optics for scanning engine having beam combining optics with a prism intercepted by both beam axis and collection axis |
WO2013140308A1 (en) | 2012-03-22 | 2013-09-26 | Primesense Ltd. | Diffraction-based sensing of mirror position |
CN104221058B (zh) | 2012-03-22 | 2017-03-08 | 苹果公司 | 装有万向接头的扫描镜阵列 |
US9715107B2 (en) | 2012-03-22 | 2017-07-25 | Apple Inc. | Coupling schemes for gimbaled scanning mirror arrays |
US9335220B2 (en) * | 2012-03-22 | 2016-05-10 | Apple Inc. | Calibration of time-of-flight measurement using stray reflections |
TWI454968B (zh) | 2012-12-24 | 2014-10-01 | Ind Tech Res Inst | 三維互動裝置及其操控方法 |
US8730300B1 (en) * | 2013-01-15 | 2014-05-20 | Byron J. Willner | Three dimensional television encoding and broadcasting method |
CN105143820B (zh) * | 2013-03-15 | 2017-06-09 | 苹果公司 | 利用多个发射器进行深度扫描 |
WO2014203138A1 (en) * | 2013-06-17 | 2014-12-24 | Primesense Ltd. | Calibration of time-of-flight measurement using stray reflections |
KR101386248B1 (ko) * | 2013-09-09 | 2014-04-17 | 재단법인 실감교류인체감응솔루션연구단 | 공간 제스처 인식 장치 및 방법 |
US20150070489A1 (en) * | 2013-09-11 | 2015-03-12 | Microsoft Corporation | Optical modules for use with depth cameras |
US9874638B2 (en) * | 2014-03-06 | 2018-01-23 | University Of Waikato | Time of flight camera system which resolves direct and multi-path radiation components |
WO2016029283A1 (pt) * | 2014-08-27 | 2016-03-03 | Muniz Samuel | Sistema de criação de imagens, videos e sons em ambiente virtual onidimensional a partir de cenas reais com conjunto de cameras e sensores de profundidade, reprodução de imagens, vídeos e sons em ambientes virtuais tridimencionais com head mounted display e sensor de movimento |
US9784838B1 (en) | 2014-11-26 | 2017-10-10 | Apple Inc. | Compact scanner with gimbaled optics |
US9835853B1 (en) | 2014-11-26 | 2017-12-05 | Apple Inc. | MEMS scanner with mirrors of different sizes |
CN105866949B (zh) * | 2015-01-21 | 2018-08-17 | 成都理想境界科技有限公司 | 能自动调节景深的双目ar头戴设备及景深调节方法 |
US9798135B2 (en) | 2015-02-16 | 2017-10-24 | Apple Inc. | Hybrid MEMS scanning module |
US9525863B2 (en) | 2015-04-29 | 2016-12-20 | Apple Inc. | Time-of-flight depth mapping with flexible scan pattern |
US10012831B2 (en) | 2015-08-03 | 2018-07-03 | Apple Inc. | Optical monitoring of scan parameters |
US9703096B2 (en) | 2015-09-30 | 2017-07-11 | Apple Inc. | Asymmetric MEMS mirror assembly |
US9897801B2 (en) | 2015-09-30 | 2018-02-20 | Apple Inc. | Multi-hinge mirror assembly |
US10324171B2 (en) | 2015-12-20 | 2019-06-18 | Apple Inc. | Light detection and ranging sensor |
US10302768B2 (en) * | 2016-05-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Multipath signal removal in time-of-flight camera apparatus |
US10298913B2 (en) | 2016-08-18 | 2019-05-21 | Apple Inc. | Standalone depth camera |
US10488652B2 (en) | 2016-09-21 | 2019-11-26 | Apple Inc. | Prism-based scanner |
EP3646057A1 (en) | 2017-06-29 | 2020-05-06 | Apple Inc. | Time-of-flight depth mapping with parallax compensation |
US10705191B2 (en) * | 2017-07-31 | 2020-07-07 | Stmicroelectronics, Inc. | Three-dimensional time-of-flight sensors for a transportation system |
US10796711B2 (en) | 2017-09-29 | 2020-10-06 | Honda Motor Co., Ltd. | System and method for dynamic optical microphone |
KR102403544B1 (ko) | 2017-12-18 | 2022-05-30 | 애플 인크. | 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지 |
CN110324556B (zh) * | 2018-03-28 | 2023-01-31 | 北京富纳特创新科技有限公司 | 视频通信装置及方法 |
US10416755B1 (en) | 2018-06-01 | 2019-09-17 | Finch Technologies Ltd. | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system |
WO2020009715A2 (en) * | 2018-05-07 | 2020-01-09 | Finch Technologies Ltd. | Tracking user movements to control a skeleton model in a computer system |
US11474593B2 (en) * | 2018-05-07 | 2022-10-18 | Finch Technologies Ltd. | Tracking user movements to control a skeleton model in a computer system |
JP7297891B2 (ja) | 2018-07-19 | 2023-06-26 | アクティブ サージカル, インコーポレイテッド | 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 |
US11009941B2 (en) | 2018-07-25 | 2021-05-18 | Finch Technologies Ltd. | Calibration of measurement units in alignment with a skeleton model to control a computer system |
US10747314B1 (en) * | 2019-04-02 | 2020-08-18 | GM Global Technology Operations LLC | Tracking system with infrared camera |
EP3952720A4 (en) | 2019-04-08 | 2023-04-05 | Activ Surgical, Inc. | SYSTEMS AND METHODS FOR MEDICAL IMAGING |
US11673533B2 (en) * | 2019-06-19 | 2023-06-13 | Ford Global Technologies, Llc | Vehicle sensor enhancements |
CN114208006A (zh) | 2019-08-18 | 2022-03-18 | 苹果公司 | 具有电磁致动的力平衡微镜 |
EP4017340A4 (en) | 2019-08-21 | 2023-12-13 | Activ Surgical, Inc. | MEDICAL IMAGING SYSTEMS AND METHODS |
US11681019B2 (en) | 2019-09-18 | 2023-06-20 | Apple Inc. | Optical module with stray light baffle |
US10976863B1 (en) | 2019-09-19 | 2021-04-13 | Finch Technologies Ltd. | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user |
US11175729B2 (en) | 2019-09-19 | 2021-11-16 | Finch Technologies Ltd. | Orientation determination based on both images and inertial measurement units |
US11506762B1 (en) | 2019-09-24 | 2022-11-22 | Apple Inc. | Optical module comprising an optical waveguide with reference light path |
US11733359B2 (en) | 2019-12-03 | 2023-08-22 | Apple Inc. | Configurable array of single-photon detectors |
TWI773133B (zh) * | 2020-07-10 | 2022-08-01 | 大陸商廣州印芯半導體技術有限公司 | 測距裝置以及測距方法 |
US11681028B2 (en) * | 2021-07-18 | 2023-06-20 | Apple Inc. | Close-range measurement of time of flight using parallax shift |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1184304A (en) * | 1967-06-15 | 1970-03-11 | Hal Oscar Anger | Tomographic Radioactivity Scanner with Simultaneous Readout of Several Planes |
CN1350633A (zh) * | 1999-05-14 | 2002-05-22 | 北京三维世界科技有限公司 | 三维成像系统 |
CN1685741A (zh) * | 2002-09-27 | 2005-10-19 | 三洋电机株式会社 | 多个图像发送方法及带同时摄影多个图像功能的携带机器 |
CN101022562A (zh) * | 2006-02-14 | 2007-08-22 | 高田株式会社 | 对象物检测系统、工作装置控制系统、车辆 |
CN101088137A (zh) * | 2004-12-21 | 2007-12-12 | 埃美格科学仪器公司 | 激光原子探针 |
CN101226276A (zh) * | 2008-01-22 | 2008-07-23 | 长春理工大学 | 激光通信跟踪系统中的精跟踪子系统 |
CN101635860A (zh) * | 2008-07-25 | 2010-01-27 | 三星电子株式会社 | 成像方法和设备 |
Family Cites Families (185)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4288078A (en) * | 1979-11-20 | 1981-09-08 | Lugo Julio I | Game apparatus |
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (zh) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
JPH06508788A (ja) | 1991-12-03 | 1994-10-06 | フレンチ スポーテク コーポレイション | 対話型ビデオ式検査および訓練システム |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5367378A (en) * | 1993-06-01 | 1994-11-22 | Industrial Technology Institute | Highlighted panel inspection |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5959286A (en) | 1994-05-18 | 1999-09-28 | Symbol Technologies, Inc. | Method and apparatus for raster scanning of images |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
WO1996041304A1 (en) | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
WO1999044698A2 (en) | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
AU3283497A (en) | 1996-05-08 | 1997-11-26 | Real Vision Corporation | Real time simulation using position sensing |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
WO1998007129A1 (fr) | 1996-08-14 | 1998-02-19 | Latypov Nurakhmed Nurislamovic | Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
EP0849697B1 (en) | 1996-12-20 | 2003-02-12 | Hitachi Europe Limited | A hand gesture recognition system and method |
US5838428A (en) * | 1997-02-28 | 1998-11-17 | United States Of America As Represented By The Secretary Of The Navy | System and method for high resolution range imaging with split light source and pattern mask |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
US6384819B1 (en) | 1997-10-15 | 2002-05-07 | Electric Planet, Inc. | System and method for generating an animatable character |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
WO1999019828A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
DE69936620T2 (de) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
WO2000034919A1 (en) | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
EP1147370B1 (en) | 1998-12-16 | 2009-02-25 | 3DV Systems Ltd. | Self gating photosurface |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US6441908B1 (en) * | 1999-08-06 | 2002-08-27 | Metron Systems, Inc. | Profiling of a component having reduced sensitivity to anomalous off-axis reflections |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
US6674877B1 (en) | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6810135B1 (en) | 2000-06-29 | 2004-10-26 | Trw Inc. | Optimized human presence detection through elimination of background interference |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
US7634129B2 (en) | 2001-12-28 | 2009-12-15 | Rudolph Technologies, Inc. | Dual-axis scanning system and method |
AU2003212211A1 (en) | 2002-04-19 | 2003-11-03 | Iee International Electronics And Engineering S.A. | Safety device for a vehicle |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
US6768782B1 (en) | 2002-12-16 | 2004-07-27 | University Of Notre Dame Du Lac | Iterative method for region-of-interest reconstruction |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
KR100743485B1 (ko) | 2003-04-21 | 2007-07-30 | 닛본 덴끼 가부시끼가이샤 | 영상 오브젝트 인식 장치 및 인식 방법, 영상 애너테이션부여 장치 및 부여 방법과 프로그램 |
JP4355341B2 (ja) | 2003-05-29 | 2009-10-28 | 本田技研工業株式会社 | 深度データを用いたビジュアルトラッキング |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
WO2004111687A2 (en) | 2003-06-12 | 2004-12-23 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
US6882409B1 (en) * | 2003-06-25 | 2005-04-19 | Lockheed Martin Corporation | Multi-spectral LADAR |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
US7433031B2 (en) * | 2003-10-29 | 2008-10-07 | Core Tech Optical, Inc. | Defect review system with 2D scanning and a ring detector |
US20050103979A1 (en) | 2003-11-13 | 2005-05-19 | Photo Research, Inc. | Temporal source analysis using array detectors |
EP1743277A4 (en) | 2004-04-15 | 2011-07-06 | Gesturetek Inc | MONITORING OF BI-MANUAL MOVEMENTS |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
DE102004034961A1 (de) | 2004-07-16 | 2006-02-02 | Carl Zeiss Jena Gmbh | Lichtrastermikroskop mit linienförmiger Abtastung und Verwendung |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
US7436524B2 (en) * | 2004-11-26 | 2008-10-14 | Olympus Corporation | Apparatus and method for three-dimensional measurement and program for allowing computer to execute method for three-dimensional measurement |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
US7379566B2 (en) | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
JP5160235B2 (ja) | 2005-01-07 | 2013-03-13 | クアルコム,インコーポレイテッド | 画像中の物体の検出及び追跡 |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
US7186977B2 (en) | 2005-01-14 | 2007-03-06 | International Business Machines Corporation | Method for non-destructive trench depth measurement using electron beam source and X-ray detection |
EP1851750A4 (en) | 2005-02-08 | 2010-08-25 | Oblong Ind Inc | SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES |
US7317836B2 (en) | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
US7389591B2 (en) | 2005-05-17 | 2008-06-24 | Gesturetek, Inc. | Orientation-sensitive signal output |
EP1752748B1 (en) | 2005-08-12 | 2008-10-29 | MESA Imaging AG | Highly sensitive, fast pixel for use in an image sensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
US7911207B2 (en) | 2005-11-16 | 2011-03-22 | Board Of Regents, The University Of Texas System | Method for determining location and movement of a moving object |
JP4539597B2 (ja) | 2006-03-29 | 2010-09-08 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像装置 |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US8351646B2 (en) | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
US7791022B2 (en) | 2007-03-13 | 2010-09-07 | Advantest Corp. | Scanning electron microscope with length measurement function and dimension length measurement method |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
WO2009059065A1 (en) | 2007-10-30 | 2009-05-07 | Hewlett-Packard Development Company, L.P. | Interactive display system with collaborative gesture detection |
US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
GB2455316B (en) | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
US7645971B2 (en) | 2008-01-18 | 2010-01-12 | Ffei Limited | Image scanning apparatus and method |
US7982186B2 (en) | 2008-04-01 | 2011-07-19 | Hermes Microvision, Inc. | Method and apparatus for obtaining images by raster scanning charged particle beam over patterned substrate on a continuous mode stage |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
-
2010
- 2010-03-17 US US12/726,250 patent/US8279418B2/en active Active
-
2011
- 2011-03-16 CN CN201110072053.0A patent/CN102222329B/zh active Active
-
2012
- 2012-06-19 US US13/527,203 patent/US9147253B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1184304A (en) * | 1967-06-15 | 1970-03-11 | Hal Oscar Anger | Tomographic Radioactivity Scanner with Simultaneous Readout of Several Planes |
CN1350633A (zh) * | 1999-05-14 | 2002-05-22 | 北京三维世界科技有限公司 | 三维成像系统 |
CN1685741A (zh) * | 2002-09-27 | 2005-10-19 | 三洋电机株式会社 | 多个图像发送方法及带同时摄影多个图像功能的携带机器 |
CN101088137A (zh) * | 2004-12-21 | 2007-12-12 | 埃美格科学仪器公司 | 激光原子探针 |
CN101022562A (zh) * | 2006-02-14 | 2007-08-22 | 高田株式会社 | 对象物检测系统、工作装置控制系统、车辆 |
CN101226276A (zh) * | 2008-01-22 | 2008-07-23 | 长春理工大学 | 激光通信跟踪系统中的精跟踪子系统 |
CN101635860A (zh) * | 2008-07-25 | 2010-01-27 | 三星电子株式会社 | 成像方法和设备 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
US9557265B2 (en) | 2012-01-24 | 2017-01-31 | Tomra Sotring As | Apparatus, system and method for detecting matter |
CN104067109A (zh) * | 2012-01-24 | 2014-09-24 | 陶朗分选有限公司 | 用于检测物品的装置、系统以及方法 |
CN104067109B (zh) * | 2012-01-24 | 2017-03-22 | 陶朗分选有限公司 | 用于检测物品的装置、系统以及方法 |
CN104160240A (zh) * | 2012-02-15 | 2014-11-19 | 普莱姆森斯有限公司 | 扫描深度引擎 |
CN104395929B (zh) * | 2012-06-21 | 2017-10-03 | 微软技术许可有限责任公司 | 使用深度相机的化身构造 |
US9001118B2 (en) | 2012-06-21 | 2015-04-07 | Microsoft Technology Licensing, Llc | Avatar construction using depth camera |
CN104395929A (zh) * | 2012-06-21 | 2015-03-04 | 微软公司 | 使用深度相机的化身构造 |
WO2013189058A1 (en) * | 2012-06-21 | 2013-12-27 | Microsoft Corporation | Avatar construction using depth camera |
CN103777750A (zh) * | 2012-10-23 | 2014-05-07 | 三星电子株式会社 | 包括图像传感器的移动系统和图像传感器的操作方法 |
CN103777750B (zh) * | 2012-10-23 | 2019-02-05 | 三星电子株式会社 | 包括图像传感器的移动系统和图像传感器的操作方法 |
CN106030239A (zh) * | 2014-01-29 | 2016-10-12 | Lg伊诺特有限公司 | 用于提取深度信息的装置及方法 |
CN106030239B (zh) * | 2014-01-29 | 2020-10-09 | Lg伊诺特有限公司 | 用于提取深度信息的装置及方法 |
CN108475427A (zh) * | 2016-02-18 | 2018-08-31 | 微软技术许可有限责任公司 | 对象扫描能力的实时检测 |
CN110337598B (zh) * | 2017-02-27 | 2023-08-18 | 微软技术许可有限责任公司 | 使用立体消歧的单频飞行时间深度计算 |
CN110337598A (zh) * | 2017-02-27 | 2019-10-15 | 微软技术许可有限责任公司 | 使用立体消歧的单频飞行时间深度计算 |
CN111033314A (zh) * | 2017-04-10 | 2020-04-17 | Bea股份公司 | 人体识别方法及人体识别传感器 |
WO2019213864A1 (zh) * | 2018-05-09 | 2019-11-14 | 深圳阜时科技有限公司 | 用于目标的三维映射装置、身份识别装置与电子设备 |
CN113156458A (zh) * | 2020-01-03 | 2021-07-23 | 华为技术有限公司 | 一种tof深度传感模组和图像生成方法 |
CN113156459A (zh) * | 2020-01-03 | 2021-07-23 | 华为技术有限公司 | 一种tof深度传感模组和图像生成方法 |
WO2021136098A1 (zh) * | 2020-01-03 | 2021-07-08 | 华为技术有限公司 | 一种tof深度传感模组和图像生成方法 |
CN113156459B (zh) * | 2020-01-03 | 2023-10-13 | 华为技术有限公司 | 一种tof深度传感模组和图像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102222329B (zh) | 2014-06-18 |
US20110228251A1 (en) | 2011-09-22 |
US9147253B2 (en) | 2015-09-29 |
US8279418B2 (en) | 2012-10-02 |
US20120257020A1 (en) | 2012-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102222329B (zh) | 深度检测的光栅扫描 | |
CN102520574B (zh) | 飞行时间深度成像 | |
CN102163324B (zh) | 深度图像的去混叠 | |
CN102681293B (zh) | 具有折射光学元件的照明器 | |
CN102222347B (zh) | 使用波阵面编码来创建深度图像 | |
CN102665838B (zh) | 用于确定和跟踪目标的肢端的方法和系统 | |
CN102332090B (zh) | 划分在视野内的焦点区域 | |
US8553934B2 (en) | Orienting the position of a sensor | |
TWI442311B (zh) | 在遊戲中使用三維環境模型 | |
CN102741885B (zh) | 装饰显示环境 | |
CN102622774B (zh) | 起居室电影创建 | |
CN102448562B (zh) | 用于跟踪模型的系统和方法 | |
CN105705964A (zh) | 发射结构化光的照射模块 | |
CN102681657A (zh) | 交互式内容创建 | |
CN102129709A (zh) | 可视化深度 | |
CN102576466A (zh) | 用于跟踪模型的系统和方法 | |
CN102414641A (zh) | 改变显示环境内的视图视角 | |
CN102306051A (zh) | 复合姿势-语音命令 | |
CN102549619A (zh) | 人类跟踪系统 | |
CN102253712A (zh) | 用于共享信息的识别系统 | |
CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
CN102385237A (zh) | 基于结构化光和立体视觉的深度相机 | |
CN109255749A (zh) | 自主和非自主平台中的地图构建优化 | |
CN102591456B (zh) | 对身体和道具的检测 | |
CN105164617B (zh) | 自主nui设备的自发现 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150429 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150429 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |