CN105432079B - 立体深度相机阵列的实时配准 - Google Patents

立体深度相机阵列的实时配准 Download PDF

Info

Publication number
CN105432079B
CN105432079B CN201480040740.6A CN201480040740A CN105432079B CN 105432079 B CN105432079 B CN 105432079B CN 201480040740 A CN201480040740 A CN 201480040740A CN 105432079 B CN105432079 B CN 105432079B
Authority
CN
China
Prior art keywords
camera
array
image
calculating platform
caught
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480040740.6A
Other languages
English (en)
Other versions
CN105432079A (zh
Inventor
M·豪尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105432079A publication Critical patent/CN105432079A/zh
Application granted granted Critical
Publication of CN105432079B publication Critical patent/CN105432079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

图像捕捉设备中的相机阵列的实时配准可通过调整映射函数中被确定为对配准误差具有最大贡献的所选的独立参数子集(称为配准系数)在现场实现，使得该阵列可保持在它的初始出厂优化的已校准的状态。通过必须仅调整来自较大的系数集(其在出厂设置中通常是使用专门的校准目标来确定的)中的相对较小的配准系数子集，少得多的匹配图案需要在由阵列中的相机捕捉的相应的图像中被标识出以便校正配准误差。这种经简化的图案匹配可使用在正常相机阵列使用期间捕捉的图像来执行，使得配准可在现场被实时执行而不需要专门的校准目标。

Description

立体深度相机阵列的实时配准
背景
图像配准(“配准”)是这样的过程：通过该过程经由来自两个或更多个相机的图像而从不同角度捕捉的现实世界的特征被匹配，使得有关现实世界的信息可被聚集。典型的示例包括将来自两个标准相机的RGB(红色、绿色、蓝色)图像组合以产生三维(3D)深度图像，以及将来自一个相机的深度数据与来自另一个相机的色彩数据进行组合。配准通常在技术上有挑战性的且实现可能是计算密集和耗时的，这通常使他们仅适合于相机出厂设置的初始校准。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
图像捕捉设备中的相机阵列的实时配准可通过调整映射函数中已被确定为对配准误差具有最大贡献的所选的独立参数子集(称为配准系数)在现场实现，使得该阵列可保持在它的初始出厂优化的已校准的状态。通过必须仅调整来自较大的系数集(其在出厂设置中通常是使用专门的校准目标来确定的)中的相对较小的配准系数子集，少得多的匹配图案需要在由阵列中的相机所捕捉的相应的图像中被标识出以便校正配准误差。这种经简化的图案匹配可使用在正常相机阵列使用期间捕捉的图像来执行，使得配准可在现场被实时地执行而不需要专门的校准目标。
提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。
附图简述
图1和2示出其中可实现本实时配准的使用多媒体控制台的说明性的计算环境；
图3示出其中可实现本实时配准的使用个人计算机的替换计算环境；
图4示出可部分地被用于实现本实时配准的说明性的捕捉设备；
图5是示出用于实现本实时配准的方法的概览的示图；
图6示出如何配准，配准包括特征被从由一个相机捕捉的图像映射至由另一个相机捕捉的图像；
图7是说明性的工厂校准方法的流程图；
图8和9示出说明性的校准目标；
图10是例示出对理想系统的配准的图示；
图11示出描述图10中所示的理想系统中的配准的方程；
图12示出描述图10中所示的理想系统中的配准的简化的线性方程；
图13示出描述影响由不同相机捕捉的图像之间的映射的视差效果的等式；
图14是例示出对于比图10中所示的理想系统更复杂的系统的配准的图示；
图15示出说明性的映射函数；
图16示出该映射函数的泰勒级数表示；
图17示出绘制示例性捕捉设备的温度对照时间的说明性的曲线；
图18示出示例性捕捉设备的随时间的说明性的配准误差；
图19是说明性的预热分析的流程图；
图20-22是三个不同的系统的绘制20个配准系数中的每一者的配准误差的直方图；
图23是说明性的实时配准校正方法的流程图；
图24示出可部分地被用于实现本实时配准的说明性的多媒体控制台的框图；
图25示出可部分地被用于实现本实时配准的说明性的计算平台的框图；
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
图1示出其中可实现本实时配准的说明性计算环境100。需要强调的是，环境100旨在是说明性，包括其他类型的设备、应用和使用场景的其他环境也可能能够利用此处描述的原理。环境100包括诸如多媒体控制台103的计算平台，该多媒体控制台通常被配置成用于使用本地和/或联网的编程和内容来运行游戏和非游戏应用、播放预先录制的多媒体(诸如包括DVD(数字多功能盘)和CD(紧致盘)的光盘)、从网络流传输多媒体、参与社交媒体、使用诸如电视机等耦合的音频/视觉显示器108来浏览因特网和其他联网媒体和内容等等。
多媒体控制台103在此例中被操作地耦合至捕捉设备113，捕捉设备113可使用被配置为在视觉上监视用户119所占据的物理空间116(在图1中大致由虚线指示)的一个或多个摄像机来实现。如以下更详细地描述的，捕捉设备113被配置成捕捉、跟踪以及分析用户119的移动和/或姿势，使得这些移动和/或姿势能被用作可被用来影响例如多媒体控制台103上运行的应用或操作系统的控制。用户119的手121或其他身体部位的各种运动可对应于常见的系统范围任务，诸如从主用户界面中选择游戏或其他应用。
例如如图1所示，用户119可在可选对象122(包括显示在耦合显示器108上的各种图标1251-N)之间导航、浏览分层菜单中的项目、打开文件、关闭文件、保存文件等等。另外，用户119可使用移动和/或姿势来结束、暂停或保存游戏，选择级别，查看高分，与朋友交流等。事实上，操作系统和/或应用的任何可控方面都可以由用户119的移动来控制。用户119的全范围运动可以用任何合适的方式来获得、使用并分析以与在环境100中执行的应用或操作系统进行交互。
捕捉设备113也可被用来捕捉、跟踪以及分析用户119的移动以在游戏应用在多媒体控制台103上执行时控制玩游戏过程。例如，如图2所示，游戏应用诸如拳击游戏使用显示器108来提供用户119的拳击对手的视觉表示以及用户119可用他或她的移动来控制的玩家化身的视觉表示。用户119可在物理空间116中作出移动(例如，挥拳)以使得玩家化身在游戏空间中作出相应的移动。可在物理空间中识别并分析用户119的移动，使得执行用于对游戏空间中玩家化身的游戏控制的相应移动。
图3示出可在其中实现本实时配准的替换计算环境300。在此例中，环境300包括被配置为运行其中游戏和非游戏应用的膝上型PC 310(个人计算机)，在这些游戏和非游戏应用中，用户运动被捕捉、跟踪以及分析。捕捉设备313(被安排有与由捕捉设备113(图1和2)提供的那些功能相似的功能)被集成至膝上型PC 310。然而，捕捉设备可被替换地配置为独立的设备，该独立的设备可使用常规技术(包括有线和无线连接两者)耦合至膝上型PC310。
图4示出捕捉设备113(和/或捕捉设备313)的说明性功能组件，捕捉设备113的功能性组件可作为目标识别、分析和跟踪系统400的一部分用于在物理空间116(图1)的捕捉区域识别人类和非人类目标而无需使用附加到这些主体的专门感测设备，唯一地标识人类和非人类目标，以及在三维空间跟踪人类和非人类目标。捕捉设备113可被配置成经由任何合适的技术(包括例如飞行时间、结构化光、立体图像等)来捕捉具有深度信息的视频，包括可包括深度值的深度图像。在一些实施例中，捕捉设备113可将所计算的深度信息组织为“Z层”，即可垂直于从深度相机沿其视线延伸的Z轴的层。
如图4所示，捕捉设备113包括图像相机组件403。图像相机组件403可被配置成用作可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可以表示深度值，诸如所捕捉的场景中的对象与相机相距的距离，例如以厘米、毫米等为单位。在此例中，图像相机组件403包括配置在阵列中的IR光组件406、IR相机411和可见光RGB相机414。
可利用各种技术来捕捉深度视频帧。例如，在飞行时间分析中，捕捉设备113的IR光组件406可以将红外光发射到捕捉区域上，然后用例如IR相机411和/或RGB相机414来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备113到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从捕捉设备113到目标或物体上的特定位置的物理距离。
在其他实施例中，捕捉设备113可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件406被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如IR相机411和/或RGB相机414来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
捕捉设备113可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。使用单个或多个相机的其它类型的深度图像布置也可用来创建深度图像。捕捉设备113还可包括话筒418。话筒418可包括可接收声音并将其转换成电信号的换能器或传感器。话筒418可以被用来减少目标识别、分析及跟踪系统400中的捕捉设备113和多媒体控制台103之间的反馈。附加地，话筒418可用来接收也可由用户119提供的音频信号，以控制可由多媒体控制台103执行的诸如游戏应用、非游戏应用等应用。
捕捉设备113还可包括可以通过总线428与图像相机组件403可操作地通信的处理器425。处理器425可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。捕捉设备113还可以包括存储器组件432，该存储器组件432可以存储可以由处理器425执行的指令、由相机捕捉到的图像或图像的帧、用户简档或任何其他合适的信息、图像等。根据一个示例，存储器组件432可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图4所示，存储器组件432可以是与图像捕捉组件403和处理器425进行通信的单独组件。可替换地，存储器组件432可被集成到处理器425和/或图像捕捉组件403中。在一个实施例中，捕捉设备113的组件403、406、411、414、418、425、428和432中的部分或全部位于单个外壳中。
捕捉设备113通过通信链路435可操作地与多媒体控制台103进行通信。通信链路435可以是包括例如USB(通用串行总线)连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线IEEE 802.11连接等的无线连接。多媒体控制台103可以经由通信链路435向捕捉设备113提供时钟，该时钟可以用来确定何时捕捉例如场景。捕捉设备113可经由通信链路435来向多媒体控制台103提供由例如IR相机411和/或RGB相机414捕捉的深度信息和图像，包括可由捕捉设备113生成的骨架模型和/或面部跟踪模型。多媒体控制台103然后可使用骨架和/或面部跟踪模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、适配用户界面、以及控制应用。
运动跟踪引擎441使用骨架和/或面部跟踪模型以及深度信息来向在捕捉设备113所耦合至的多媒体控制台103上运行的一个多个应用(在图4中由应用445代表性地指示)提供控制输出。姿势识别引擎451、深度图像处理引擎454、操作系统459和/或实时配准引擎462也可使用该信息。如在伴随图23的文本中更详细描述的，实时配准引擎462可用来提供对配准误差的实时校准，该配准误差可能例如由于温度变化(如随着系统从周围室温预热至它的正常运行温度)或由于当用户意外地丢弃或敲打捕捉设备113时系统中发生的物理扰动而在使用环境100和300中发生。
深度图像处理引擎454使用深度图像来跟踪诸如用户和其他对象等对象的运动。深度图像处理引擎454会将检测到的每个对象的标识以及每帧的对象的位置报告给操作系统459。操作系统459可使用该信息来更新例如化身或显示器108中示出的其他图像的位置或移动，或对用户界面执行动作。
姿势识别引擎451可利用可包括姿势过滤器集合的姿势库(未示出)，每个姿势过滤器都包含关于例如由骨架模型(在用户移动时)可执行的姿势的信息。姿势识别引擎451可将由捕捉设备113所捕捉的帧(其形式为骨架模型以及与其相关联的移动)与姿势库中的姿势过滤器进行比较来标识用户(其由骨架模型来表示)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。这样，多媒体控制台103可采用姿势库来解释骨架模型的移动并基于该移动来控制在多媒体控制台上运行的操作系统或应用。
在一些实现中，由应用445、实时配准引擎462、运动跟踪引擎441、姿势识别引擎451、深度图像处理引擎454和/或操作系统459所提供的功能的各种方面可直接在捕捉设备113本身上实现。
图5是示出用于实现本实时配准的方法的概览的示图。这里，向捕捉设备113提供出厂设置510中的校准505来允许由相应的IR和RGB相机所捕捉的图像之间的配准。如图6所示，术语“配准”指的是将由一个相机所捕捉的图像(例如，如附图标记605所指示的由相机A所捕捉的图像)中的特征映射至由另一个相机所捕捉的图像(例如，如附图标记610所指示的由相机B所捕捉的图像)的概念。这样，对于本捕捉设备113，相机A可为IR相机411且相机B可为RGB相机414。
回到图5，提供说明性捕捉设备的典型行为的预热分析518(在以下伴随图17-22的文本中更详细的描述)以使实时配准校准522在被部署在场525中时可在捕捉设备113上实现。
图7是说明性的工厂校准方法700的流程图。除非明确说明，否则图7的流程图以及附图中所示的其他流程图中所示并且在下面描述的方法或步骤不限于特定的次序或序列。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行，并且一些方法或步骤可以是可选地被使用。方法始于框705，其中每个IR和RGB相机都需要校准目标的图像。在说明性的示例中，校准目标由被布置成矩形网格图案的各圆形对象组成。然而，需要强调的是，取决于特定实现的要求，校准目标可替换地使用呈不同形状的对象和/或使用不同数目的对象来布置。例如，可能获取单个目标或多个目标的多个图像。在一些情况下，相机可被移动至相对于固定目标不同的位置处。图8和9分别示出包括圆圈直线网格的说明性的校准目标805以及包括正方形直线网格的说明性的校准目标905。将理解，可使用各种方法来标识具体的目标位置。例如，常见的方法是将算法应用至棋盘图案来用亚像素准确度标识出各正交直线的交点。
回到图7，框710从每个图像中提取每个对象的质心。在框715中，在捕捉到的图像中的任一者或两者中表征失真。可替换地，在一些情况下失真可能保持未被表征。还要注意，并不是在所有情况下给定阵列中的所有相机都需要显式校准，或者它们可能根据所选数目或类型的固有参数来校准。这里，固有参数可包括例如焦距、主点、相机旋转参数、相机失真参数、像素歪斜、像素尺寸等等也可计算其他固有参数。在框720中，IR焦距被测量。在框725，表征无失真IR与原始RGB质点之间的配准。在框730，与此表征相关联的参数被保存至存储器。
需要注意，上文讨论的工厂校准方法利用使用单个相机的深度获取。然而，将理解，该方法也可适用于与常规的立体系统联用。另外，为了使下文讨论的实时配准技术被使用，不必在所有实例中都使用工厂校准。
图10是例示出如何为理想系统1000实现上文描述的配准的图示，在理想系统1000中，两个相对良好对准的针孔相机A和B(具有相应的焦距fA和fB)在相机传感器1020上相隔距离d。尽管图10示出两个相机，将理解，配准可缩放至任意数目的相机且不是每一个相机都需要被配准至每一其他相机。系统1000中的配准由图11中与固有参数、缩放因子和视差项有关的方程1100和1105描述，示出了在从相机B到相机A的X和Y方向上的像素的映射。方程1100和1105简化至图12中所示的线性方程组1200和1205。然而，对于此处使用的单个校准目标，视差项不唯一地确定。即，IR与RGB图像之间的映射仅在相机和校准目标所位于的对象平面之间的给定距离或深度(图10中的zo)上有效。图13中的方程1300描述了此视差效果△x，视差效果△x线性依赖于深度zo、相机距离d、以及对象相对于原始单个校准平面的距离△z。
图14是例示出可如何为比图10中所示的系统更复杂的系统1400实现配准的图示。在此情况下，系统1400模仿其中相机A和B(分别由附图标记1405和1410指示)可倾斜、旋转或移位，且还可具有不同的焦距以及不沿着相同的深度平面定位的较现实的系统。这种可变的相机方位可为有目的的设计的一部分，或者方位的改变可能不是有意的，而是由例如系统温度的改变或物理扰动引起。系统1400可由图15中所示的映射函数1500描述。
在此处描述的特定的说明性的系统中，函数1500可使用图16所示的泰勒级数来表示，图16所示的泰勒级数中的两个多项式(方程1605和1610)各自包括多个配准系数c以及x和y的交叉项来考虑相机沿所有三个轴的旋转。配准系数的组合可根据系统复杂性来变化以对其他效果进行建模。例如，在以下之一中可存在更多的残留失真：没被校正的相机、或被有意保持未被校正的相机、或者关于其光轴倾斜和/或旋转的相机。在此情况下，从相机A到相机B的映射函数变得更复杂且可能需要附加配准系数。例如，给定系统中的相机的失真越多或倾斜越多，则可能使用的配准系数越多。
在一个特定的示例中，每个多项式映射函数方程使用10个配准系数。以及，如图10中的理想系统一样，通过基于离开校准平面的距离估算预期的线性移位△x来完成离开校准平面的配准。需要强调的是，也可使用除图16所示的那些配准系数之外的配准系数的组合来对不同于此处所示和所描述的说明性系统的其他系统进行建模。
现在将更详细地描述上文讨论图5时所指的预热分析。图17示出了绘制说明性捕捉设备的温度对照时间的曲线1705。曲线1705表示捕捉设备从冷(例如，室温)启动时的典型的预热行为。图18示出表示示例性捕捉设备随时间的配准误差IRpx的曲线1805，假设相机最初在时间0时与工厂优化的校准良好地配准。因此，图18示出配准误差可能如何依赖于温度且表明与IR相机411以及RGB相机414(图4)相关联的参数正随温度变化。
图19是说明性的预热分析1900的流程图。在框1905中，由IR和RGB相机中的每一个例如以与上文参考图7所描述的工厂校准一样的类似的方法捕捉一个或多个校准目标的图像，且在框1910校准IR和RGB的固有参数。在框1915中，确定多项式映射函数(方程1605和1610)的配准系数。在框1920中，跟踪校准目标中最中间的对象的质心以及测量IR和RGB相机的平移/倾斜。
在框1925中，包括捕捉设备113的系统随后在某一时间区间内从室温(即，冷)被预热至其正常运行温度。在框1930中，在预热期间跟踪配准误差。例如，可逐帧执行跟踪。由于来自校准目标的质心可用，有可能在每帧对相机重新校准且确定配准系数需要被如何调整(例如，修改)从而在整个预热时间区间期间内保持工厂优化的相机配准。通过在时间区间内跟踪配准系数的变化，可执行敏感分析来确定哪些配准系数需要改变最多从而保持工厂优化的校准。即，可通过预热分析标识出对最大配准误差负有责任的配准系数。
图20-22示出针对三个不同的说明性系统的绘制映射函数多项式方程中所使用的20个配准系数中的每一个的配准误差的相应直方图2000、2100和2200。如图20-22所示，大部分的配准系数是小的，这可能指示特定的捕捉设备是以使随温度的改变(例如，相机旋转或焦距变化和/或失真)最小化的方式设计的。然而，在每个直方图中，某些配准系数被观察到对最大误差做出贡献，这表明这些配准系数对温度最敏感。如图20-22所示，由直方图2000表示的相机系统相对具有最大数目的对配准误差作出贡献的系数，而直方图2100表示具有更少的作出贡献的系数的系统，以及直方图2200表示具有最少的作出贡献的系数的系统。因此，预热分析表明当此处描述的映射函数多项式方程使用20个配准系数时，通常仅仅某些系数会对在预热时间区间内观察到的配准误差作出有意义的贡献。然而，需要强调的是，其他使用不同设计参数的系统可能显示出不同的敏感性，不同的敏感性可导致更多或更少对配准误差作出贡献的独立的配准系数。另外，一些系统中的某些系数可能是高度相关的，这可减少需要被校正的参数的数目。
该预热分析的结果有利地允许实时配准误差校正在现场实施，因为通常需要考虑相对较小数目的未知数(而不是20个)。另外，在一些情况下，独立配准系数可能仅包括线性拉伸和/或恒定移位项，使得映射函数本质上变成简单的仿射变换。
需要注意，上文讨论的预热分析利用单个相机的深度获取。然而，将理解，该方法也可适用于与常规的立体系统联用。
图23是可在现场采用而无需像工厂校准中那样利用校准目标的说明性实时配准校正方法2300的流程图。在一些情况下，可使用实时配准引擎462(图4)来实施方法2300。
该方法在框2305处开始，在框2305中由IR相机411和RGB相机414在单个帧中或在一系列的帧内获取所监视的物理空间116(图1)的图像。在框2310中，通过常规的图案匹配标识所获取的图像中对应于相同的现实世界特征的特征。例如，图案可用用户身体的诸如头部、手臂或腿之类已标识部位或通过包含在背景中的特征来定位。通常地，寻求单独的图案以便调整校正配准误差所需的相应数目的独立配准系数，但是在一些实现中更多的标识的匹配图案可导致误差校正方法的附加的稳健性。有利地，由于配准误差在大多数条件下是随时间相对较慢变化的效果，通常没有需要在单个帧中捕捉所有图案。
在框2315中，对于每个匹配图案，相对于在工厂校准(如上文描述的)期间定义的深度平面将图像归一化。这通常是需要的，因为所标识的匹配图案可能不一定在相同的深度处被捕捉到。一旦满足某个预定义的校正阈值的图案位于所捕捉的图像上，对配准误差作出贡献的各配准系数可被调整/校正。即，如框2320所示，仅配准系数的相对较小的子集需要被校正以便执行重新校准。在框2325中，经校正的配准系数被记录，且在框2330中被使用直到另一个现场重新校准被执行。
需要注意，上文讨论的用于现场重新校准的实时配准校正方法利用了使用单个相机的深度获取。然而，将理解，该方法也可适用于与常规的立体系统联用。
现场重新校准可周期性地被执行或在应用445(图4)检测或怀疑配准误差可能引起性能问题的情况下被执行。例如，当多媒体控制台103(图1)初始引导时和/或当其从睡眠模式醒来时，可执行现场重新校准。在此情况下，可预期的是用户将处于预期可促成图案匹配的所监视的物理空间内。
在一些情况下，可使用替换方法来消除图案匹配的需要。例如，通常可以预期，应用于温度敏感的配准系数来使系统恢复到其良好校准的正常状态的调整量将会与观察到的捕捉设备的温度适度地密切相关。因此，对每个独立的配准系数可产生映射到温度的校正集，且校正集被存储来创建经预校准的配准校正。位于捕捉设备内的一个或多个温度传感器随后可被用来测量该捕捉单元在运行期间的给定时间点的温度，并应用来自存储的集合中的合适的校正。经预校准的配准校正的此使用可例如在诸如具有焦距随温度改变的本说明性系统的情况中是有用的。经预校准的配准校正还可有利地在一些应用中用来校正由焦距的改变所引起的深度测量的误差。这可能对在相对于工厂校准的深度平面来归一化图案匹配位置时，消除视差校正的潜在误差尤其有用。
预热分析的结果还可能产生以下益处：可被应用来尤其在如适用于机械和光学组件的热标准的管理方面设计未来的捕捉设备和系统。例如，可能期望以一种减少需要校正的配准系数的数目的方式设计此组件。例如，捕捉设备的机械组件可设计为使得在两个或更多个相机之间的相对对准误差对温度变化或物理扰动不敏感。类似地，包括相机透镜在内的光学组件可被设计为减少需要校正的配准系数的数目。例如，透镜可能被设计为使得焦距和图像失真独立于温度。以及，透镜和图像传感器可被设计为使得图像传感器上光学失真中心独立于温度或物理扰动。
图24是图1-2所示的多媒体控制台103的说明性的功能框图。如图24所示，多媒体控制台103具有含有一级高速缓存2402、二级高速缓存2401和闪存ROM(只读存储器)2406的中央处理单元(CPU)2401。一级高速缓存2402和二级高速缓存2404临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 2401可被配置为具有一个以上的核，并且由此具有附加的一级高速缓存2402和二级高速缓存2404。闪存ROM 2406可存储在多媒体控制台103通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)2408和视频编码器/视频编解码器(编码器/解码器)2414形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从GPU2408向视频编码器/视频编解码器2414运送数据。视频处理流水线向A/V(音频/视频)端口2440输出数据，用于传输至电视机或其他显示器。存储器控制器2410连接到GPU 2408，以便于处理器对各种类型的存储器2412(诸如，但不限于RAM)的访问。
多媒体控制台103包括较佳地在模块2418上实现的I/O控制器2420、系统管理控制器2422、音频处理单元2423、网络接口控制器2424、第一USB主控制器2426、第二USB控制器2428和前面板I/O子部件2430。USB控制器2426和2428用作外围控制器2442(1)-2442(2)、无线适配器2448、以及外置存储器设备2446(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口控制器2424和/或无线适配器2448提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器2443被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器2444，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器2444可以是对多媒体控制器103内置的或外置的。应用数据可经由介质驱动器2444访问，以供多媒体控制台103执行、回放等。介质驱动器2444经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器2420。
系统管理控制器2422提供与确保多媒体控制台103的可用性相关的各种服务功能。音频处理单元2423和音频编解码器2432形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元2423与音频编解码器2432之间传输。音频处理流水线将数据输出到A/V端口2440，以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件2430支持暴露在多媒体控制台103的外表面上的电源按钮2450和弹出按钮2452、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块2436向多媒体控制台103的组件供电。风扇2438冷却多媒体控制台103内的电路。
多媒体控制台103内的CPU 2401、GPU 2408、存储器控制器2410、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台103通电时，应用数据可从系统存储器2443加载到存储器2412和/或高速缓存2402、2404中，并且可在CPU 2401上执行。应用可在导航到多媒体控制台103上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器2444中所包含的应用和/或其他媒体可从介质驱动器2444启动或播放，以将附加功能提供给多媒体控制台103。
多媒体控制台103可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台103允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口控制器2424或无线适配器2448可用的宽带连接集成的情况下，多媒体控制台103可进一步作为更大网络社区中的参与者来操作。
当多媒体控制台103通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，以使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，显示由系统应用程序生成的轻量消息(例如，弹出窗口)，所述显示是通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图。覆盖图所需要的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。缩放器可用于设置该分辨率，从而消除对改变频率并引起TV重新同步的需求。
在多媒体控制台103引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 2401上运行，以便提供对应用而言一致的系统资源视图。调度是为了使针对在控制台上运行的游戏应用的高速缓存中断最小化。
当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器2442(1)和2442(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器优选控制输入流的切换，而无需知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。捕捉设备113可对控制台103定义附加的输入设备。
允许除说明性媒体控制台103以外的其他类型的计算平台来在一些应用中实现本实时配准可能是合乎需要和/或有利的。例如，实时配准可能被容易地适配成在具有视频捕捉能力的固定的计算平台和可移动计算平台上运行。图25示出能够执行此处描述的各种组件来提供实时配准的计算平台或设备的说明性架构2500。因此，由图25例示出的架构2500示出如下架构：该架构可被适配成用于服务器计算机、移动电话、PDA(个人数字助理)、智能电话、台式计算机、上网本计算机、平板计算机、GPS(全球定位系统)设备、游戏控制台和/或膝上型计算机(诸如在图3中示出且在伴随的文本中描述的膝上型PC310)。架构2500可用于执行本文所呈现的组件的任何方面。
图25中例示的架构2500包括CPU 2502、系统存储器2504(包括RAM 2506和ROM2508)以及将存储器2504耦合至CPU 2502的系统总线2510。基本输入/输出系统被存储在ROM 2500中，该系统包含帮助诸如在启动期间在架构2500中的元件之间传递信息的基本例程。架构2500还包括大容量存储设备2512，其用于存储被用来实现应用、实时配准引擎、运动跟踪引擎、姿势识别引擎、深度图像处理引擎以及操作系统的软件代码或其他计算机执行的代码，其可能以与图3中示出且在伴随的文本中描述的那些组件类似的方式配置有功能和操作。
大容量存储设备2512通过连接至总线2510的大容量存储控制器(未示出)连接至CPU 2502。大容量存储设备2512及其相关联的计算机可读存储介质为架构2500提供非易失性的存储。虽然对此处包含的计算机可读存储介质的描述引用了诸如硬盘或CD-ROM驱动等大容量存储设备，但本领域的技术人员应当理解，计算机可读介质可以是可由架构2500访问的任何可用的计算机存储介质。
虽然对此处包含的计算机可读存储介质的描述引用了诸如硬盘或CD-ROM驱动等大容量存储设备，但本领域的技术人员应当理解，计算机可读存储介质可以是可由架构2500访问的任何可用的存储介质。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，RAM、ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或其他固态存储器技术，CD-ROM、DVD、HD-DVD(高清晰度DVD)、蓝光或其他光学存储，磁带盒、磁带、磁盘存储或其他磁存储设备，或可以用来存储所需信息并可由架构2500访问的任何其他介质。出于本说明书和权利要求书的目的，短语“计算机可读存储介质”及其变型不包括波、信号和/或其他瞬态和/或无形通信介质。
根据各实施例，架构2500可以使用通过网络至远程计算机的逻辑连接在联网环境中操作。架构2500可以通过连接至总线2510的网络接口单元2516来连接到网络。应当理解，网络接口单元2516还可以被用来连接到其他类型的网络和远程计算机系统。架构2500还可包括用于接受和处理来自多个其他设备的输入的输入/输出控制器2518，这些设备包括键盘、鼠标、话筒、游戏杆、游戏手柄、卫星天线、扫描仪、跟踪球、触摸板、触摸屏、触敏设备、语音命令模块或设备、或电子指示笔(未在图25中示出)。类似地，输入/输出控制器2518可向显示屏、打印机、或者其他类型的输出设备(在图25中也未示出)提供输出。
应当理解，本文所描述的软件组件在被加载到CPU 2502中并被执行时可以将CPU2502和总体架构2500从通用计算系统变换成为方便本文所提出的功能而定制的专用计算系统。CPU 2502可以用任意数量的晶体管或其他分立的电路元件(它们可以分别地或共同地呈现任意数量的状态)构建。更具体而言，CPU 2502可以响应于包含在本文所公开的软件模块中的可执行指令而作为有限状态机来操作。这些计算机可执行指令可以通过指定CPU2502如何在各状态之间转换来变换CPU 2502，由此变换了构成CPU 2502的晶体管或其它分立硬件元件。
对本文所提出的软件模块的编码也可变换本文所提出的计算机可读存储介质的物理结构。在本说明书的不同实现中，物理结构的具体变换可取决于各种因素。这样的因素的示例可以包括，但不仅限于：用于实现计算机可读存储介质的技术、计算机可读存储介质被表征为主存储器还是辅存储器等等。例如，如果计算机可读存储介质被实现为基于半导体的存储器，则本文所公开的软件可以通过变换半导体存储器的物理状态而在计算机可读存储介质上编码。例如，软件可以变换构成半导体存储器的晶体管、电容器或其它分立电路元件的状态。软件还可变换这些组件的物理状态以在其上存储数据。
作为另一示例，本文所公开的计算机可读存储介质可以使用磁或光技术来实现。在这些实现中，本文所提出的软件可以在磁或光介质中编码了软件时变换所述磁或光介质的物理状态。这些变换可以包括改变给定磁性介质内的特定位置的磁性。这些变换还可以包括改变给定光学介质内的特定位置的物理特征或特性来改变这些位置的光学特性。在没有偏离本说明书的范围和精神的情况下，物理介质的其他变换也是可以的，前面提供的示例只是为了便于此讨论。
鉴于以上内容，应当理解，在架构2500中发生许多类型的物理变换以便存储并执行本文所提出的软件组件。还应当理解，架构2500可以包括其它类型的计算设备，包括：手持式计算机、嵌入式计算机系统、智能电话、PDA、以及本领域技术人员已知的其它类型的计算设备。还可构想架构2500可以不包括图25所示的全部组件，可以包括未在图25中明确示出的其它组件，或者可利用完全不同于图25所示的架构。
基于上述内容，应当领会，本文已经公开了用于提供和使用实时配准的技术。虽然用计算机结构特征、方法和变换动作、特定计算机器、以及计算机可读存储介质专用的语言描述了本文中所描述的主题，但是应当理解，所附权利要求书中所定义的本发明不必限于本文中所描述的具体特征、动作、或介质。相反，这些具体特征、动作和介质是作为实现权利要求的示例形式来公开的。
以上所述的主题仅作为说明提供，并且不应被解释为限制。可对本文中所描述的主题作出各种修改和改变，而不必遵循示出和描述的示例实施例和应用且不背离所附权利要求书中所阐述的本发明的真正精神和范围。

Claims (10)

1.一种计算平台，包括：
至少一个处理器；以及
存储指令的一个或多个计算机可读存储介质，所述指令在由所述至少一个处理器执行时，执行包含以下步骤的方法：在由阵列中的相机所捕捉的图像之间匹配现实世界特征的图案，所述图像被包含在跨时间窗口的单个帧或一系列帧中，
对每个要匹配的图案，相对于在所述阵列中的相机的初始校准中定义的深度平面将图像视差归一化，
校准所述阵列中的一个或多个相机，所述校准通过使用归一化的匹配的图案来调整所选的参数子集来执行，所述参数在映射函数中被使用，所述映射函数用于在由相机阵列捕捉的图像之间配准现实世界特征，并且所选的参数子集已被确定为对配准误差具有最大贡献以使得所述阵列能够被保持在其初始出厂优化的已校准的状态。
2.如权利要求1所述的计算平台，其特征在于，所述初始校准定义了所述参数子集，所述参数包括一个或多个多项式系数。
3.如权利要求1所述计算平台，其特征在于，所述方法还包括响应于测量的与所述阵列或所述计算平台相关联的一个或多个点的温度而执行所述校准的步骤。
4.如权利要求1所述的计算平台，其特征在于，所选的参数子集包括仿射变换。
5.如权利要求1所述的计算平台，其特征在于，所选的参数子集是独立的且与下列各项之一有关：所捕捉的图像沿相机X轴的均匀移位、所捕捉的图像沿相机Y轴的均匀移位、所捕捉的图像沿相机X轴的均匀拉伸、或者所捕捉的图像沿相机Y轴的均匀拉伸。
6.如权利要求5所述的计算平台，其特征在于，所述均匀移位之一与相机的对准误差有关，而所述均匀拉伸之一与改变的相机焦距有关。
7.如权利要求1所述的计算平台，其特征在于，所述方法还包括指定与所述阵列中的一个或多个相机相关联的物理特征以便将随温度改变的多项式系数的数目最小化的步骤。
8.如权利要求7所述的计算平台，其特征在于，所述指定的物理特征是以下之一：相机透镜焦距、相机透镜畸变、或包含透镜和图像传感器的相机系统中的光学畸变中心。
9.如权利要求1所述的计算平台，其特征在于，所述方法还包括物理上配置所述相机阵列使得所述阵列中的相机之间的对准误差独立于温度的步骤。
10.如权利要求1所述的计算平台，其特征在于，所述方法还包括在预热期间或之后将预校准的校正应用于所述阵列中的一个或多个相机，使得所述一个或多个相机响应于所述一个或多个相机的当前运行温度而被恢复到原始的工厂校准的步骤。
CN201480040740.6A 2013-07-17 2014-07-15 立体深度相机阵列的实时配准 Active CN105432079B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/944,498 2013-07-17
US13/944,498 US9210417B2 (en) 2013-07-17 2013-07-17 Real-time registration of a stereo depth camera array
PCT/US2014/046583 WO2015009650A1 (en) 2013-07-17 2014-07-15 Real-time registration of a stereo depth camera array

Publications (2)

Publication Number Publication Date
CN105432079A CN105432079A (zh) 2016-03-23
CN105432079B true CN105432079B (zh) 2017-09-26

Family

ID=51392332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040740.6A Active CN105432079B (zh) 2013-07-17 2014-07-15 立体深度相机阵列的实时配准

Country Status (5)

Country Link
US (1) US9210417B2 (zh)
EP (1) EP3022906B1 (zh)
KR (1) KR102186220B1 (zh)
CN (1) CN105432079B (zh)
WO (1) WO2015009650A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747680B2 (en) * 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
US10469827B2 (en) * 2013-12-27 2019-11-05 Sony Corporation Image processing device and image processing method
US9406133B2 (en) * 2014-01-21 2016-08-02 University Of Rochester System and method for real-time image registration
US9609242B2 (en) * 2015-06-25 2017-03-28 Intel Corporation Auto-correction of depth-sensing camera data for planar target surfaces
EP3128482A1 (en) * 2015-08-07 2017-02-08 Xovis AG Method for calibration of a stereo camera
EP3389268B1 (en) * 2016-01-12 2021-05-12 Huawei Technologies Co., Ltd. Depth information acquisition method and apparatus, and image collection device
US10339662B2 (en) * 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10027954B2 (en) 2016-05-23 2018-07-17 Microsoft Technology Licensing, Llc Registering cameras in a multi-camera imager
JP6821714B2 (ja) * 2016-06-28 2021-01-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 改良されたカメラ較正システム、標的、およびプロセス
EP3264360A1 (en) * 2016-06-28 2018-01-03 Dassault Systèmes Dynamical camera calibration
US10560679B2 (en) 2016-08-30 2020-02-11 Microsoft Technology Licensing, Llc Deformation detection and automatic calibration for a depth imaging system
CN107657635B (zh) * 2017-10-17 2022-03-29 奥比中光科技集团股份有限公司 深度相机温度误差校正方法及系统
CN107730561B (zh) 2017-10-17 2021-07-06 奥比中光科技集团股份有限公司 深度相机温度误差校正方法及系统
US11558601B2 (en) * 2017-11-06 2023-01-17 Symbol Technologies, Llc Methods and apparatus for initializing object dimensioning systems
US10855973B1 (en) * 2017-12-21 2020-12-01 Facebook Technologies, Llc Depth mapping using fringe interferometry
US11089265B2 (en) 2018-04-17 2021-08-10 Microsoft Technology Licensing, Llc Telepresence devices operation methods
EP3608813A4 (en) 2018-05-29 2020-07-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. VERIFICATION SYSTEM, ELECTRONIC DEVICE, VERIFICATION PROCESS, STORAGE MEDIA READABLE BY COMPUTER AND COMPUTER DEVICE
JP7427614B2 (ja) * 2018-06-29 2024-02-05 ズークス インコーポレイテッド センサ較正
CN109495732A (zh) * 2018-10-31 2019-03-19 昆山睿力得软件技术有限公司 一种3d成像视觉引导系统
JP7109386B2 (ja) * 2019-01-22 2022-07-29 日立Astemo株式会社 画像処理装置
US11553123B2 (en) * 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11064154B2 (en) 2019-07-18 2021-07-13 Microsoft Technology Licensing, Llc Device pose detection and pose-related image capture and processing for light field based telepresence communications
US11270464B2 (en) * 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11082659B2 (en) 2019-07-18 2021-08-03 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
US11393127B2 (en) * 2019-09-13 2022-07-19 Toyota Research Institute, Inc. 2D to 3D line-based registration with unknown associations
CN112233184B (zh) * 2020-09-08 2021-06-22 东南大学 基于图像配准的激光雷达与相机标定参数校正方法及装置
KR20230130704A (ko) * 2021-01-19 2023-09-12 구글 엘엘씨 카메라 캘리브레이션을 위한 교차 스펙트럼 기능 매핑
CN113516775B (zh) * 2021-02-09 2023-02-28 天津大学 手机相机获取印章辅助图像的三维重建方法
WO2023235804A1 (en) * 2022-06-01 2023-12-07 Proprio, Inc. Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system
KR20240014244A (ko) 2022-07-25 2024-02-01 한국전자통신연구원 다시점 rgb-d 카메라 기반 3차원 관절 데이터 합성 방법
CN115032608B (zh) * 2022-08-15 2022-11-01 杭州宇称电子技术有限公司 测距传感器数据优化方法及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2141932A1 (en) * 2008-06-30 2010-01-06 France Telecom 3D rendering method and system
CN102597693A (zh) * 2009-11-13 2012-07-18 富士胶片株式会社 测距装置、测距方法、测距程序及测距系统以及拍摄装置
CN102740115A (zh) * 2011-02-24 2012-10-17 特克特朗尼克公司 立体图像配准和色平衡评估显示

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
US6795590B1 (en) * 2000-09-22 2004-09-21 Hrl Laboratories, Llc SAR and FLIR image registration method
US7245318B2 (en) * 2001-11-09 2007-07-17 Canon Kabushiki Kaisha Imaging apparatus that corrects an imbalance in output levels of image data
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
AU2002950210A0 (en) * 2002-07-11 2002-09-12 Mediaware Solutions Pty Ltd Mosaic construction from a video sequence
JP4465619B2 (ja) 2005-10-31 2010-05-19 ソニー株式会社 登録装置、照合装置、画像補正方法及びプログラム
US8126253B2 (en) * 2005-11-12 2012-02-28 Cognex Technology And Investment Corporation Automatically determining machine vision tool parameters
US8160364B2 (en) * 2007-02-16 2012-04-17 Raytheon Company System and method for image registration based on variable region of interest
JP5511152B2 (ja) * 2008-05-14 2014-06-04 富士フイルム株式会社 エネルギーサブトラクション方法及び装置
US8401276B1 (en) 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
WO2010104490A1 (en) 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US9348111B2 (en) 2010-08-24 2016-05-24 Apple Inc. Automatic detection of lens deviations
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US9600863B2 (en) * 2012-02-13 2017-03-21 Omnivision Technologies, Inc. Method for combining images
WO2013139353A1 (en) * 2012-03-23 2013-09-26 Elekta Ab (Publ) Estimation of co-registration errors
JP2013207755A (ja) * 2012-03-29 2013-10-07 Sony Corp 画像処理装置および方法
US9185402B2 (en) * 2013-04-23 2015-11-10 Xerox Corporation Traffic camera calibration update utilizing scene analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2141932A1 (en) * 2008-06-30 2010-01-06 France Telecom 3D rendering method and system
CN102597693A (zh) * 2009-11-13 2012-07-18 富士胶片株式会社 测距装置、测距方法、测距程序及测距系统以及拍摄装置
CN102740115A (zh) * 2011-02-24 2012-10-17 特克特朗尼克公司 立体图像配准和色平衡评估显示

Also Published As

Publication number Publication date
EP3022906A1 (en) 2016-05-25
KR102186220B1 (ko) 2020-12-03
CN105432079A (zh) 2016-03-23
WO2015009650A1 (en) 2015-01-22
KR20160032210A (ko) 2016-03-23
EP3022906B1 (en) 2019-04-10
US20150022669A1 (en) 2015-01-22
US9210417B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
CN105432079B (zh) 立体深度相机阵列的实时配准
US10733801B2 (en) Markerless image analysis for augmented reality
Müller et al. Validation of enhanced kinect sensor based motion capturing for gait assessment
US9972137B2 (en) Systems and methods for augmented reality preparation, processing, and application
US20200134911A1 (en) Methods and Systems for Performing 3D Simulation Based on a 2D Video Image
US20180373320A1 (en) Social applications for augmented reality technologies
CN107079143B (zh) 用于差异图像比较的场景曝光自动补偿
CN102244714B (zh) 深度照明和检测光学器件
US20190392630A1 (en) Automated understanding of three dimensional (3d) scenes for augmented reality applications
CN103608844A (zh) 全自动动态关节连接的模型校准
US20100302253A1 (en) Real time retargeting of skeletal data to game avatar
CN102332090A (zh) 划分在视野内的焦点区域
CN102609954A (zh) 对人类目标跟踪的确认分析
CN102413267A (zh) 改进的扫描传感器阵列
CN102184009A (zh) 跟踪系统中的手位置后处理精炼
CN107079186A (zh) 增强的交互式电视体验
CN109668545A (zh) 用于头戴式显示装置的定位方法、定位器以及定位系统
US11373329B2 (en) Method of generating 3-dimensional model data
US20230037750A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
Ansari et al. Implementing virtual reality in entertainment industry
CN107077730A (zh) 基于剪影的肢寻找器确定
Tompkin et al. Video collections in panoramic contexts
US20130125160A1 (en) Interactive television promotions
US20240135622A1 (en) Image processing apparatus, image processing method, and storage medium
Vico Moya Motion capture based on RGBD data from multiple sensors for avatar animation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant