CN102739936A - 从高质量的深度测量中学习 - Google Patents

从高质量的深度测量中学习 Download PDF

Info

Publication number
CN102739936A
CN102739936A CN2012100866397A CN201210086639A CN102739936A CN 102739936 A CN102739936 A CN 102739936A CN 2012100866397 A CN2012100866397 A CN 2012100866397A CN 201210086639 A CN201210086639 A CN 201210086639A CN 102739936 A CN102739936 A CN 102739936A
Authority
CN
China
Prior art keywords
image
degree
depth camera
calibration
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100866397A
Other languages
English (en)
Other versions
CN102739936B (zh
Inventor
G·吉勒博阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102739936A publication Critical patent/CN102739936A/zh
Application granted granted Critical
Publication of CN102739936B publication Critical patent/CN102739936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Abstract

本发明描述了从高质量的深度测量中学习。提供了深度相机计算设备,包括深度相机以及保持可由逻辑子系统执行的指令的数据保持子系统。该指令被配置为从深度相机接收原始图像、根据加权函数将原始图像转换成经处理的图像以及输出经处理的图像。加权函数被配置为,针对由高精确度测试源从校准场景中收集的基准图像的校准光强度信息,来改变由深度相机从由该深度相机从该校准场景中收集的本机图像中生成的测试光强度信息。

Description

从高质量的深度测量中学习
技术领域
本发明涉及深度测量,尤其涉及高质量的深度测量。
背景技术
测量与深度相机的距离可能是困难的。测量准确性和精确度可能受到相机硬件的影响,诸如照明光和光电检测器灵敏度,其有效性可与诸如对比度和环境光水平之类的环境因素进行卷积。
发明内容
公开了用于提升从由深度相机收集的图像中导出的深度测量的准确性的方法和硬件的各实施例。在一个示例中,通过向原始图像数据应用加权函数来将深度相机所收集的原始图像转换成经处理的图像。在这一示例中,加权函数是从由深度相机收集的校准场景的图像以及由高精确度测试源收集的校准场景的图像中生成的。
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
附图说明
图1示出用于组装、校准和封装深度相机的深度相机组装系统的实施例。
图2示出用于将深度相机与高分辨率测试源进行校准以及用于从如此校准的深度相机中输出经处理的图像的方法的实施例。
图3示意性地示出用于使用高分辨率测试源从校准场景中生成基准图像的校准站的实施例。
图4示意性地示出在稍后的时间用于使用深度相机从校准场景中生成本机图像的在图3中描绘的校准站的实施例。
图5示意性地示出用于校准深度相机的校准站的另一实施例。
图6示意性地示出用于校准深度相机的校准站的另一实施例。
具体实施方式
可通过使用户在媒体体验中感到身临其境来放大交互式媒体体验所提供的娱乐价值。例如,当用户使用自然、物理姿势来控制游戏体验时,可增强用户对视频游戏的欣赏。作为更具体的示例,用户可通过用户的手臂使用突然的挡开姿势而非对手持式游戏控制器的按钮按压来阻塞外来攻击。可以用面向监视用户身体位置的深度相机来检测物理姿势。然而,因为某些姿势在本质上可能是很小的,所以可能难以提供以与用户友好的体验兼容而不必在相机中包括复杂的照明和成像系统的精确度和准确性来检测这样的姿势的深度相机。具有这种复杂程度的系统可能是专用的,使得难以在典型的家庭环境中使用它们。
由此,本文描述了提升由深度相机作出的深度测量的准确性的各实施例。在一个示例中,原始图像通过应用加权函数来处理。在这一示例中,加权函数是在深度相机制造过程中的校准步骤中生成的。如此处所使用的,校准可根据各实施例而具有不同的意义。例如,在某些实施例中,校准可以指在组装期间对深度相机的图像处理模块作出的调谐调整。因此,在出货之前制造和调谐每一个相机时都可以重复这样的校准。
另外地或另选地,在某些实施例中,校准可以指在图像处理模块开发阶段期间对图像处理模块作出的调整。例如,本文所述的校准方法可在用于下一代深度相机的下一代图像处理模块的测试和制造开发期间执行。可以理解,在某些实施例中,这样的校准的规模和范围与在批量制造期间在相机级别执行的校准相比相对较大,并且可反映这样的下一代深度相机的开发目标。在这样的实施例中,一旦执行校准,校准可被合并到生产深度相机中,而无需在后续的批量制造阶段期间进行额外的校准。
在那一步骤,校准场景的图像被深度相机收集以及被高精确度测试源收集。图像之间的差异用于开发加权函数。在某些示例中,可开发多个加权函数以在特定用途情况下应用。因为校准步骤可在受控条件下执行,所以高精确度测试源可获得将不与消费者友好的深度相机兼容的准确性和精确度水平。此外,因为在大批量制造期间单组基准图像实际上可用于校准不限数量的深度相机,所以高精确度测试源的相对较高的成本(相对深度相机)可分布于许多深度相机之上,从而与包括更复杂和昂贵的照明和成像子系统的深度相机相比可降低深度相机的单位成本。
图1示出用于组装、校准和封装深度相机的深度相机组装系统100的实施例。如上文所说明的,深度相机组装系统100可用于在深度相机的测试开发期间和/或在深度相机的批量制造期间组装、校准和封装深度相机。如图1所示,深度相机组装系统100包括用于组装深度相机110的深度相机组装站102。例如,在深度相机组装站102,照明子系统和成像子系统可以被安装在深度相机110中。
在深度相机校准站104,深度相机110在校准模式中从一个或多个校准场景120中收集一个或多个本机图像132。本机图像132包括描述从校准场景120中的各部分和位置所反射的光强度的测试光强度信息。测试光强度信息可用于导出校准场景120的本机深度图,对于深度相机110的成像系统中包括的光电传感器的特定像素,本机深度图描述在该特定像素处入射的光从其反射的校准场景120的三维空间中的相应的物理位置。因此,本机深度图描述与校准场景120中包括的各反射性表面相对应的物理点的星座图。
如下文将更详细地描述的,结合从由高精确度测试源从特定校准场景收集的基准图像130导出的基准深度图来使用特定校准场景的本机深度图,以在稍后执行的操作模式中(例如,在深度相机购买者用深度相机110收集图像时)调谐由深度相机110收集的原始图像的处理。以此方式,在某些情况下,在操作模式期间由深度相机110输出的经处理的图像可具有与由基准图像所展现的图像特性相对较类似的图像特性。
一旦深度相机110在深度相机校准站104被校准,深度相机110就被传递至深度相机封装站106,在那里深度相机110被封装。封装可包括准备向消费者出货(例如,在批量制造场景中)和/或准备产品测试(例如,在下一代深度相机测试/开发场景中),从而结束制造过程。在制造之后用户(诸如消费者或产品测试者)对深度相机110的第一次使用标志着上文描述的深度相机操作模式的启动。然而,可以理解,在某些实施例中,深度相机校准可在任何合适的时间执行,诸如在深度相机110被维修、检查和/或翻新的场景中。
图2A和2B示出了说明用于校准深度相机的方法200的实施例的流程图。在图2A和2B所示的实施例中,方法200的在校准模式期间执行的部分在与深度相机兼容的计算设备的图像处理模块处执行,诸如在校准期间在操作上与深度相机连接的深度相机校准计算设备,而方法200的在操作模式期间执行的部分在深度相机的图像处理模块处执行。然而,可以理解,在某些实施例中,方法200可单独在深度相机处执行,而在另外一些实施例中,方法200的在校准模式期间执行的部分可由深度相机校准计算设备和深度相机执行。
转向图2A,在202,方法200包括在深度相机的校准模式期间,从高精确度测试源接收基准图像,以及在204从基准图像中包括的校准光强度信息中导出基准深度图。如上所介绍的,基准图像是使用测试源针对特定校准场景收集的,该测试源能够在可接受的容忍度内以高度的准确性和/或精确度来生成该校准场景的深度信息。在某些实施例中,高精确度测试源能够生成特定校准场景的深度信息,该深度信息比由深度相机生成的深度信息可靠地更准确。
为了简明起见,本文描述的各实施例涉及包括高分辨率飞行时间深度相机系统的高精确度测试源。在这样的系统中,校准光在某一时间由深度相机系统发出。在稍后的时间,校准光从在深度相机系统的光电传感器处成像和捕捉的对象的表面反射。从发射和捕捉之间的时间差中导出来自所反射的校准光的深度信息。然而,应该理解,可采用任何合适的测试源而不背离本发明的范围。非限制性的示例高精确度测试源包括高分辨率飞行时间深度相机系统、三维三角测量系统(诸如3-D激光扫描仪)以及激光检测和测距(LIDAR)系统。
图3示意性地示出在时间T0深度相机校准站104的实施例。如图3所示,位于图像收集位置304处(被示为位置(X0,Y0,Z0))的高精确度测试源300收集位于场景位置302处(被示为位置(X1,Y1,Z1))的摩托车的基准图像130,场景位置302和图像收集位置304分开一合适的距离。如上文所说明的,基准图像130中包括的校准光强度数据用于导出基准深度图330。对于高精确度测试源300中包括的光电传感器的特定像素,基准深度图330描述了在该特定像素处入射的校准光从其反射的校准场景120的三维空间中的相应的物理位置。例如,图3所示的实施例描绘了从摩托车的前整流罩上的特定点的飞行时间光反射性信息中导出的基准图像距离信息306(被示为“DR”)。
在某些实施例中,高精确度测试源300可从多个校准场景120中收集多个基准图像130。该多个校准场景120可包括通过改变特定对象的光照条件(例如,在改变照明源温度、强度和/或位置的情况下)、通过改变对象距离和/或大小以及通过改变对象表面反射性(例如,引起镜面反射或漫射反射的表面)来生成的场景。该多个校准场景120可在考虑可如何使用深度相机的情况下来选择。例如,如果深度相机被配置为用于游戏控制台,则可将多个校准场景120的条件选择为类似于被配置为用于用户家庭中的休闲和社交活动的房间的条件。
转回图2A,在206,方法200包括从正被校准的深度相机接收本机图像,以及在208,从基准图像中包括的测试光强度信息中导出本机深度图。为了简明起见,本文描述的深度相机是被配置为通过发出测试光并捕捉所反射的测试光(诸如从校准场景中包括的对象的表面所反射的测试光)来收集本机图像的飞行时间深度相机。然而,应该理解,可采用任何合适的深度相机而不背离本发明的范围。一个非限制性的示例包括被配置为发出结构化光(诸如红外光)的三维扫描仪。
图4示意性地示出图3所示的深度相机校准站104的实施例。在图4中,示出在稍后时间T1的深度相机校准站。如图4所示,深度相机110位于在收集基准图像130时高精确度测试源300所在的相同的图像收集位置304(被示为(X0,Y0,Z0))。深度相机110收集位于与图3所示的相同的场景位置302(被示为(X1,Y1,Z1))处的摩托车的本机图像132。因此,在图4所示的实施例中,深度相机110和高分辨率测试源300被定位以使得深度相机110的角度在可接受的容忍度内匹配高精确度测试源300的角度。在被如此定位的情况下,可结合基准深度图330来使用从本机图像132中包括的测试光强度数据导出的本机深度图332以校准深度相机110,如下文更详细地描述的。
在从多个校准场景120收集多个基准图像130的实施例中,深度相机110收集多个校准场景120的对应的本机图像132,并且对于所收集的每个本机图像132,深度相机110被定位成匹配高精确度测试源300的相应角度。
尽管上文提供的示例描述了从相同的相机位置和角度收集相应的基准图像130以及收集一个或多个本机图像132,但可以理解,在某些实施例中,可存在可接受的位置变化以补偿高精确度测试源300和深度相机110之间的角度差(例如,物理上的角度差和/或操作上的角度差)。此外,在某些实施例中,可接受的角度变化可能遭遇自在校准期间遇到的变化(例如,校准站配置和/或操作中的变化)。不管位置和/或角度变化的源是什么,在这样的实施例中,可执行合适的位置和/或角度测量来补偿这样的变化。
如上文所说明的,从收集自特定校准场景的图像中导出的本机深度图和基准深度图可用于校准深度相机。因为从相同的(在可接受的容忍度内)校准场景的图像中导出相应的深度图,所以用于从本机图像中导出本机深度图的算法可在校准模式中被调整以生成类似于该场景的基准深度图的深度信息。如上所述的在图3和4的上下文中所设置的,可从基准深度图330和本机深度图332中导出加权函数,以使得对于特定的像素或像素区域,本机图像距离信息308(被示为“DN”)逼近基准图像距离信息306(被示为“DR”)。例如,加权函数可被配置以使得DR-DN的差逼近零。
转回图2A,在210,方法200包括拟合局部加权函数来针对校准场景的校准光强度信息来改变测试光强度信息。在某些实施例中,因为图像的深度信息可从光强度信息中导出,所以加权函数可被生成以在校准模式期间针对深度相机的特定像素的校准光强度来改变同一像素的本机测试光强度。然后,在操作模式中,加权函数可充当从深度相机的该特定像素接收的光强度水平的缩放因子(scalar)以被包括在经处理的图像中(与出现在对应的原始图像中的未经缩放的光强度信息相反)。一旦被缩放,经处理的图像的所得深度信息可以比原始图像的深度信息更准确和/或精确。
例如,令LK(I,J)表示由深度相机提供的第K个本机图像的光电传感器的第I行和第J列(“像素(I,J)”)中的像素所登记的测试光强度信息。因此,如果L*K(I,J)表示经处理的图像的第I行和第J列中的像素的强度,则L* K(I,J)可从加权函数以及原始光强度信息中生成:
L * k ( I , J ) = Σ M , N ∈ A W ( I + M , J + N ) L ( I + M , J + N ) k
其中W(I+M,J+N)是加权函数,并且其中A表示包括像素(I,J)在内的基准图像和本机图像中的像素的邻域。
在某些实施例中,加权函数可被拟合以使得测试光强度信息和校准光强度信息之间的差被最小化。在某些这样的实施例中,最小化上述差可包括最小化本机图像的特定像素的本机深度图和相应的基准图像中包括的相应的像素的基准深度图之间的差。因此,加权函数可通过最小化目标函数O来拟合。下面描述这样的实施例的一示例,但可以理解,可采用其他合适的拟合和优化方案而不背离本发明的范围。
例如,令O是像素(I,J)的经处理的光强度信息L* K(I,J)以及由高精确度测试源提供的第K个基准图像的像素(I,J)的校准光强度信息TLK(I,J)的函数:
O=TLk(I,J)-L* k(I,J)
O = Σ I , J , K [ TL k ( I , J ) - Σ M , N ∈ A W ( I + M , J + N ) L ( I + M , J + M ) k ] 2
在某些实施例中,局部加权函数可被配置为特定像素的邻域A中的N个像素特征集的函数,以使得加权函数根据该特征集中的方差、矩和/或总变差来拟合。在这样的实施例中,加权函数可以是本机图像中包括的像素以及相应的基准图像中包括的相应的像素之间的方差、矩以及总变差中的一个或多个的函数。然而可以理解,可采用改变特定像素和/或邻近该特定像素的相邻像素的光强度数据的其他合适的方法而不背离本发明的范围。
尽管上述加权函数针对对深度相机的图像处理器中的原始图像执行的处理(例如,在原始图像被收集之后),但可以理解,在某些实施例中,加权函数可被配置为改变深度相机的硬件特性。例如,加权函数可更改在操作上与该特定像素耦合的光电倍增管的增益,以使得由像素生成的光强度信息在图像的生成期间被缩放。
在212,方法200确定是否要对不同的校准情况拟合另一局部加权函数。如上所说明的,在某些实施例中,可在操作模式期间在考虑到深度相机的各种预期用途情况下,从多个校准场景收集多个基准图像和本机图像。在这样的实施例中,可根据这样的用途情况来生成多个局部加权函数,以使得可选择针对特定用途情况而定制的特定局部加权函数。例如,在一个场景中,可从具有低光照条件的校准场景中生成一个(或多个)低光照局部加权函数。在操作模式期间,当存在低光照条件时,可程序性地或响应于用户输入来选择低光照局部加权函数。因此,在某些实施例中,特定校准场景可以是多个校准场景中的一个,而特定加权函数可以是多个局部加权函数中的一个。在这样的实施例中,每一个局部加权函数可被拟合以针对多个校准场景中的特定校准场景的校准光强度来改变测试光强度信息。
在图2所示的实施例中,如果要拟合附加的局部加权函数,则方法200返回至202,但可以理解,在某些实施例中,方法200可返回至任何其他合适的步骤,诸如接收本机图像206或拟合局部加权函数210。如果不要拟合附加的局部加权函数,则方法200继续至214,如图2B所示。
转向图2B,方法200包括,在214,从多个局部加权函数中生成全局加权函数。在某些实施例中,全局加权函数可从多个局部加权函数中生成。参照上述的低光照条件的场景,在某些这样的实施例中,可在操作模式期间应用全局加权函数而不管使用环境的情况如何。在另外一些这样的实施例中,全局加权函数可被配置为在操作模式期间强调在低光照条件中的低光照局部加权函数的应用,而弱化其他局部加权函数的应用。
为清楚起见,图2B包括隐喻边界216,它指示深度相机从校准阶段到操作模式的转换。如上所说明的,在操作模式中,由深度相机收集的原始图像被转换为经处理的图像。在一个示例中,在转换期间,加权函数(全局或局部)缩放原始图像的特定像素的光强度水平以生成经处理的图像。如在介绍方法200时所说明的,在图2A和2B的实施例中,方法200的在操作模式期间执行的部分在深度相机的图像处理模块处执行。
在218,方法200包括从深度相机接收原始图像,以及在220,根据加权函数将原始图像转换成经处理的图像。在222,方法200包括输出经处理的图像。在某些实施例中,输出经处理的图像可包括将经处理的图像提供给游戏控制台,但可以理解,可执行任何合适的输出而不背离本实施例的范围。
图5示意性地示出深度相机校准站104的实施例,包括深度相机校准计算设备502、数据保持子系统504和逻辑子系统506。深度相机校准计算设备502还包括图像处理校准模块508。在图5所示的实施例中,图像处理校准模块508被配置为在校准模式中接收来自高精确度测试源的多个校准场景120的多个基准图像130,以及输出自深度相机110的针对相同的校准场景120集合的多个本机图像132。对于每一个校准场景,图像处理校准模块508拟合局部加权函数512。在图5所示的实施例中,局部加权函数512使用目标函数510来拟合。深度相机校准计算设备502随后将多个局部加权函数512输出至深度相机110。
如图5所描绘的实施例所示,深度相机110包括逻辑子系统522和数据保持子系统520。同样包括的还有用于照明要用照明光来成像的对象的照明子系统524。照明子系统524可包括合适的光源(未示出),诸如被配置为发出红外光的激光,以及合适的光学元件(未示出),诸如用于调谐所投影的照明光的衍射光栅。同样包括的还有用于接收所反射的照明光的成像子系统526。成像子系统526可包括各种滤光器(未示出),诸如光学滤光器以及用于在光电传感器处的检测之前过滤所反射的照明光的带通滤光器。深度相机110还包括图像处理转换模块528,它被配置为在操作模式期间使用加权函数512将原始图像转换成经处理的图像。深度相机校准计算设备502和深度相机110还可包括合适的外围输入/输出连接(未示出),其被配置为如本文所描述的交换基准图像、本机图像、加权函数以及经处理的图像。合适的连接的非限制性示例包括,USB、USB 2.0、IEEE 1394、HDMI、802.11x和/或实质上任何其他合适的有线或无线连接。在某些实施例中,深度相机110可被包括在游戏控制台550内,它可包括它自己的数据保持子系统552和/或逻辑子系统554。
可以理解,在某些实施例中,在深度相机校准计算设备502中描述的部分或全部元件可被包括在深度相机内。例如,图6示意性地示出深度相机校准站104的另一实施例,图像处理校准模块508和图像处理转换模块528被包括在深度相机110内。深度相机110还可包括合适的外围输入/输出连接(未示出),其被配置为如本文所描述的接收基准图像并输出经处理的图像。
现在将通过示例并参照所示的以上列出的实施例来描述本发明的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其它元素被协调地标识并且以重复最小的方式描述。然而应该注意,协调地标识的元素还可以在某种程度上不同。还应该注意,本发明中包括的附图是示意性的并且通常未按照比例绘制。相反,附图中所示的各种绘制比例、纵横比和组件数量可以有目的地失真,以使特定特征或关系更加显见。
可以理解,图5和6所示的计算设备的各实施例以简化形式示出,并且实质上可使用任何计算机体系结构而不背离本发明的范围。诸如逻辑子系统506、522和554的逻辑子系统可包括被配置成执行一个或多个指令的一个或多个物理设备。例如,逻辑子系统可被配置为执行一个或多个指令,该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或替代地,逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核,且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件,所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
诸如数据保持子系统504、520和552的数据保持子系统可包括一个或多个物理的、非瞬态设备,该一个或多个设备被配置成保持可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现此类方法和过程时,可变换数据保存子系统的状态(例如,保存不同数据)。
数据保持子系统可以包括可移动介质和/或内置设备。数据保持子系统可包括光学存储器设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁存储器设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。数据保持子系统可以包括具有以下特性中的一个或更多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中,逻辑子系统和数据保持子系统可被集成到一个或多个常见设备中,如专用集成电路或片上系统。
在某些实施例中,数据保持子系统可包括可移动计算机可读存储介质(未示出),它可用于存储和/或传递可被执行以实现此处描述的方法和过程的数据和/或指令。可移动计算机可读存储介质尤其可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。
应该理解,数据保持子系统包括一个或多个物理非瞬态设备。相反,在一些实施例中,本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外,与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。
术语“模块”可用于描述被实现以执行一个或多个特定功能的计算系统的一个方面。在某些情况下,模块可经由逻辑子系统执行由数据保持子系统所保持的指令来实例化。可以理解,可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的模块。同样,可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化同一模块。术语“模块”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库纪录等。
应该理解,此处所述的配置和/或方法在本质上是示例性的,并且,由于可能存在多个变体,所以这些特定实施例或示例不具有限制意义。本文中所述的具体例程或方法可表示任意数量的处理策略中的一个或多个。由此,所示的各个动作可按所述的顺序执行、按其他顺序执行、并行地执行、或者在某些情况下被省略。同样,可改变上述过程的次序。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合,和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (10)

1.一种在与深度相机兼容的计算设备的图像处理模块处校准深度相机的方法(200),所述方法包括:
从所述深度相机接收(206)本机图像,所述本机图像包括可用于导出校准场景的本机深度图的测试光强度信息;
从高精确度测试源接收(202)相应的基准图像,所述基准图像包括可用于导出校准场景的基准深度图的校准光强度信息;以及
拟合(210)加权函数来针对校准场景的校准光强度信息来改变测试光强度信息。
2.如权利要求1所述的方法,其特征在于,所述校准场景是多个校准场景中的一个,且所述加权函数是多个局部加权函数中的一个,每一个局部加权函数被拟合以针对所述多个校准场景中的特定校准场景的校准光强度信息来改变测试光强度信息。
3.如权利要求2所述的方法,其特征在于,还包括从所述多个局部加权函数中生成深度相机的全局加权函数。
4.如权利要求1所述的方法,其特征在于,从高精确度测试源接收相应的基准图像包括从高分辨率飞行时间相机系统接收相应的基准图像。
5.如权利要求1所述的方法,其特征在于,接收相应的基准图像包括从3-D三角测量系统接收相应的基准图像。
6.如权利要求1所述的方法,其特征在于,接收相应的基准图像包括从激光检测和测距系统接收相应的基准图像。
7.如权利要求1所述的方法,其特征在于,所述加权函数是本机图像中包括的像素以及相应的基准图像中包括的相应的像素之间的方差、矩以及总变差中的一个或多个的函数。
8.如权利要求1所述的方法,其特征在于,拟合所述加权函数包括最小化所述测试光强度信息和所述校准光强度信息之间的差。
9.如权利要求8所述的方法,其特征在于,最小化所述差包括最小化本机图像的特定像素的本机深度图以及相应的基准图像中包括的相应的像素的基准深度图之间的差。
10.一种包括图像处理模块(528)的深度相机计算设备(550),所述图像处理模块被配置为输出通过向原始图像应用全局加权函数的经处理的图像,所述深度相机计算设备包括:
深度相机(110);以及
数据保持子系统(520),所述数据保持子系统保持可由逻辑子系统(522)执行来进行以下操作的指令:
从所述深度相机接收原始图像,
根据加权函数(512)将原始图像转换为经处理的图像,所述加权函数被配置为,针对由高精确度测试源(300)从校准场景中收集的基准图像(130)的校准光强度信息,来改变由深度相机从由该深度相机从校准场景中收集的本机图像(132)中生成的测试光强度信息,以及
输出所述经处理的图像。
CN201210086639.7A 2011-03-29 2012-03-28 深度相机校准方法和深度相机计算设备 Active CN102739936B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/075,060 US9470778B2 (en) 2011-03-29 2011-03-29 Learning from high quality depth measurements
US13/075,060 2011-03-29

Publications (2)

Publication Number Publication Date
CN102739936A true CN102739936A (zh) 2012-10-17
CN102739936B CN102739936B (zh) 2017-03-01

Family

ID=46926708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210086639.7A Active CN102739936B (zh) 2011-03-29 2012-03-28 深度相机校准方法和深度相机计算设备

Country Status (2)

Country Link
US (1) US9470778B2 (zh)
CN (1) CN102739936B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107148640A (zh) * 2014-10-22 2017-09-08 微软技术许可有限责任公司 飞行时间深度相机
CN110612506A (zh) * 2017-05-09 2019-12-24 微软技术许可有限责任公司 立体相机和手持对象的校准
TWI685678B (zh) * 2018-03-12 2020-02-21 大陸商Oppo廣東移動通信有限公司 鐳射投射模組、深度相機和電子裝置
CN110998365A (zh) * 2017-07-05 2020-04-10 奥斯特公司 具有电子扫描发射器阵列和同步传感器阵列的光测距装置
CN111239712A (zh) * 2020-01-20 2020-06-05 炬佑智能科技(苏州)有限公司 一种深度相机校准与评测环境系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
CN103778643B (zh) * 2014-01-10 2016-08-17 深圳奥比中光科技有限公司 一种实时生成目标深度信息的方法及其装置
US10277888B2 (en) * 2015-01-16 2019-04-30 Qualcomm Incorporated Depth triggered event feature
US11327162B1 (en) * 2017-11-20 2022-05-10 Waymo Llc Methods of calibrating or validating sensors by using a plurality of fiducials
US11270463B2 (en) * 2019-05-29 2022-03-08 Infineon Technologies Ag Dynamic three-dimensional imaging distance safeguard
US11663804B2 (en) 2021-06-04 2023-05-30 Micron Technology, Inc. Determining image sensor settings using LiDAR

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
CN1313712A (zh) * 2000-03-14 2001-09-19 株式会社索夫特4D 产生立体图像的方法和装置
CN101483788A (zh) * 2009-01-20 2009-07-15 清华大学 一种平面视频转立体视频的方法和装置
CN101563933A (zh) * 2006-12-22 2009-10-21 高通股份有限公司 复杂性自适应二维到三维视频序列转换
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
WO2010052741A1 (en) * 2008-11-07 2010-05-14 Telecom Italia S.P.A. Method and system for producing multi-view 3d visual contents

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
DE69116395T2 (de) 1990-03-01 1996-07-04 Minolta Camera Kk Kamera mit Lernfunktion
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ スポーテク コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
EP1901093B1 (de) 2006-09-15 2018-11-14 Triple-IN Holding AG Aufnahme von Entfernungsbildern
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US9659382B2 (en) * 2008-05-28 2017-05-23 Thomson Licensing System and method for depth extraction of images with forward and backward depth prediction
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8120644B2 (en) * 2009-02-17 2012-02-21 Autoliv Asp, Inc. Method and system for the dynamic calibration of stereovision cameras
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
KR20110116325A (ko) * 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
CN1313712A (zh) * 2000-03-14 2001-09-19 株式会社索夫特4D 产生立体图像的方法和装置
CN101563933A (zh) * 2006-12-22 2009-10-21 高通股份有限公司 复杂性自适应二维到三维视频序列转换
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
WO2010052741A1 (en) * 2008-11-07 2010-05-14 Telecom Italia S.P.A. Method and system for producing multi-view 3d visual contents
CN101483788A (zh) * 2009-01-20 2009-07-15 清华大学 一种平面视频转立体视频的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107148640A (zh) * 2014-10-22 2017-09-08 微软技术许可有限责任公司 飞行时间深度相机
CN107148640B (zh) * 2014-10-22 2020-06-30 微软技术许可有限责任公司 飞行时间深度相机
CN110612506A (zh) * 2017-05-09 2019-12-24 微软技术许可有限责任公司 立体相机和手持对象的校准
US11314321B2 (en) 2017-05-09 2022-04-26 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
CN110998365A (zh) * 2017-07-05 2020-04-10 奥斯特公司 具有电子扫描发射器阵列和同步传感器阵列的光测距装置
TWI685678B (zh) * 2018-03-12 2020-02-21 大陸商Oppo廣東移動通信有限公司 鐳射投射模組、深度相機和電子裝置
US11199398B2 (en) 2018-03-12 2021-12-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Laser projection module, depth camera and electronic device
CN111239712A (zh) * 2020-01-20 2020-06-05 炬佑智能科技(苏州)有限公司 一种深度相机校准与评测环境系统

Also Published As

Publication number Publication date
CN102739936B (zh) 2017-03-01
US20120249738A1 (en) 2012-10-04
US9470778B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
CN102739936A (zh) 从高质量的深度测量中学习
US8743349B2 (en) Apparatus and method to correct image
US11463637B2 (en) Vision sensor, a method of vision sensing, and a depth sensor assembly
US9628684B2 (en) Light-field aberration correction
US20190132584A1 (en) Method and device for calibration
CN108307180A (zh) 图像传感器中的像素、成像单元、用于测距的系统及方法
CN106067954A (zh) 成像单元和系统
CN102072706B (zh) 一种多相机定位与跟踪方法及系统
GB2372656A (en) Optical position determination
CN101765755A (zh) 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
US9857232B2 (en) Device for non-contact temperature measurement and temperature measurement method
CN102682440A (zh) 图像处理设备、摄像设备和图像处理方法
US9805454B2 (en) Wide field-of-view depth imaging
Ahmadabadian et al. An automatic 3D reconstruction system for texture-less objects
US20170309066A1 (en) Textured digital elevation model generation
Lin Automatic 3D color shape measurement system based on a stereo camera
WO2019176349A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
US20190301943A1 (en) System for detecting electromagnetic radiation
Antuña-Sánchez et al. ORION software tool for the geometrical calibration of all-sky cameras
EP3145168A1 (en) An apparatus and a method for generating data representing a pixel beam
CN113724371A (zh) 同轴照明光场的三维成像方法、系统、电子装置及存储介质
Wang et al. Calibration method for large-field-of-view stereo vision system based on distance-related distortion model
Meyer et al. Tomographic analysis of complex plasmas
Boone TOROS Image Reduction
Rzeszotarski et al. An Integrated Procedure for Calibrating and Distortion Correction of the Structure Sensor and Stereo-Vision Depth Sensors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1175335

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1175335

Country of ref document: HK