CN102413267B - 改进的扫描传感器阵列 - Google Patents

改进的扫描传感器阵列 Download PDF

Info

Publication number
CN102413267B
CN102413267B CN201110289022.0A CN201110289022A CN102413267B CN 102413267 B CN102413267 B CN 102413267B CN 201110289022 A CN201110289022 A CN 201110289022A CN 102413267 B CN102413267 B CN 102413267B
Authority
CN
China
Prior art keywords
section
imageing sensor
overlapping region
image
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110289022.0A
Other languages
English (en)
Other versions
CN102413267A (zh
Inventor
J·A·塔迪夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102413267A publication Critical patent/CN102413267A/zh
Application granted granted Critical
Publication of CN102413267B publication Critical patent/CN102413267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console

Abstract

本文描述了改进的扫描传感器阵列。图像传感器阵列被布置成覆盖图像捕捉系统的视场。每个传感器具有一视场段，该视场段与由另一图像传感器覆盖的视场段相邻。视场段(FOV)共享重叠区域。每个图像传感器包括光敏元件集，该光敏元件集使用扫描技术捕捉图像数据，该扫描技术按规定共享重叠区域的图像传感器在相同的时间段期间在重叠区域中被曝光的顺序进行。至少两个图像传感器针对重叠区域在相反的遍历方向上捕捉图像数据。这种定序提供了由不同的图像传感器在重叠区域中捕捉的数据之间的更紧密的空间和时间关系。更紧密的空间和时间关系减少了缝合边界的伪像效应，并改善应用来改进图像质量的图像处理技术的性能。

Description

改进的扫描传感器阵列
技术领域
本发明涉及图像捕捉技术，尤其涉及改进的扫描传感器阵列。
背景技术
图像捕捉设备可被分类为通过全局快门或捕捉技术或者扫描技术来捕捉图像。诸如由电荷耦合器件执行的全局捕捉技术通过在同一时间感测图像的数据阵列来捕捉整体图像。捕捉图像或图像数据意味着接收光并存储表示接收到的光的图像数据。虽然全局捕捉技术避免运动失真伪像，但是一个缺点在于，需要聚光像素来保持其值直至其已被读出，这会导致与使用扫描技术的传感器相比的增加的刷新时间段以及由此的减小的刷新速率。此外，对于每个像素，需要增大的半导体面积用于第二电荷存储元件，以使得像素电荷可尽可能快地被卸载。后者是隔行CCD所采用的原理，这意味着其具有大致双倍面积惩罚。
一些图像捕捉设备使用扫描传感器。扫描传感器的一个示例是在像视频相机之类的消费电子产品中找到的典型互补金属氧化物半导体(CMOS)传感器设备。CMOS传感器使用在不同的时间捕捉图像数据帧的不同部分的滚动快门(rolling shutter)或捕捉技术。隔行CMOS传感器包括平行光敏像素线及其附随的存储电路。连续线的曝光会具有显著重叠。例如，在30Hz的刷新速率下，对于每条线，会有30ms的曝光窗，这导致几乎所有线在同一帧中同时被活跃地曝光。然而，对线的读出被串行化或是滚动的(即，每次一条线)。在对线进行读出时，将在稍后被读出的相邻线仍在对随时间而改变的场景进行捕捉(意味着接收和存储光)，因此导致空间和时间的不连续性。
在扫描传感器的另一示例中，外部快门可与CMOS传感器联用，并且快门可在帧期间在遍历方向上接连地控制用于图像数据的捕捉的每条像素线的曝光，而同时阻挡其他线。因而，这些线在不同的时间点捕捉图像帧的不同部分，从而实际上在帧中“滚动”。滚动快门或滚动捕捉技术在刷新速率方面提供了优点，因为读出是连续的，并且由于不需要附加存储像素，因而半导体面积可以较小。
扫描传感器的其他示例包括用在模拟阴极射线管(CRT)系统、激光扫描仪、以及其中光束按相继方式激活传感器的光敏区的其他系统中的图像传感器。按扫描模式来扫描图像传感器。扫描模式的示例是光栅扫描次序或光栅次序。例如，模拟阴极射线管(CRT)具有光束在水平线上跨其移动的图像传感器以及生成表示图像的模拟信号的图像传感器。在使用光栅扫描技术的数字系统中，图像传感器可包括按扫描模式激活的像素。
如以上提及的，扫描或滚动技术中捕捉的时间差引入图像伪像，尤其在图像对象正在移动时。照明差异、歪斜、和抖动都是公知的归因于帧期间的捕捉时间差的伪像。
具有图像传感器或图像传感器阵列的多个图像捕捉设备可被用于捕捉场景，常常用于通过使区域中的每个传感器聚焦在较小的视场上来提供较大的总体视场或者改进总体分辨率或刷新速率。至少两个图像传感器的视场(FOV)可重叠。例如，传感器的第一FOV可使其底边与其他传感器的第二FOV的顶部相重叠。来自两个传感器的图像可被缝合在一起以产生合成图像。然而，当传感器是通过诸如滚动捕捉(在此示例中为垂直连续)之类的扫描技术操作时，第一和第二传感器同时自顶向下地扫描其相应的图像。因而，聚焦在场景的底部的传感器在帧的开始处捕捉重叠边界区域中的行，而聚焦在场景的顶部的传感器在帧的结束处捕捉重叠边界区域中的行。在帧中存在可能移动的图像的情况中，伪像还使得将图像数据中来自第一和第二图像传感器的重叠区域缝合在一起变得复杂。
发明内容
提供了通过图像传感器阵列使用扫描技术来进行图像捕捉和图像处理的技术。扫描技术的示例是滚动捕捉技术。术语滚动快门技术有时被使用，并且此技术是一种滚动捕捉技术。图像传感器阵列被布置成覆盖视场，其中每个传感器具有视场段，该视场段与由另一图像传感器覆盖的视场段相邻。每个视场段(FOV)共享重叠区域。
在一个实施例中，多个图像传感器包括第一图像传感器和第二图像传感器，该第一图像传感器和第二图像传感器覆盖共享第一重叠区域的相邻FOV段。图像传感器中的每一个包括相应的光敏元件集，该光敏元件集被遍历以便在其相应的光敏元件集的遍历方向上捕捉图像数据。第一和第二图像传感器在相同的重叠时间段期间在第一重叠区域中捕捉图像数据，在该相同的重叠时间段期间，第一和第二图像传感器使用它们的相应的光敏元件集的相反的遍历方向。这种在相反方向上的遍历提供了由不同的图像传感器在重叠区域中捕捉的数据之间的更紧密的空间和时间关系。更紧密的空间和时间关系减少了重叠边界处的伪像效应，由此减少缝合时间和复杂度。
所捕捉的图像段被缝合在一起以形成合成帧图像或场景。在必要时，对重叠区域中的图像数据执行诸如纠错技术之类的用于伪像减少的图像处理技术以及混合技术，以改进图像质量。这些技术可使用来自相邻视场段的重叠区域的图像数据。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
参照附图进一步描述了用于对使用根据本说明书的扫描技术捕捉的图像数据进行图像处理的技术。
图1示出了目标识别、分析，及跟踪系统的示例实施例，其中用户参与到游戏中。
图2示出了可以在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3是用于将捕捉设备初始化到彼此和场景的过程的高层流程图。
图4示意性示出了由一个或多个捕捉设备中的图像传感器捕捉到的重叠FOV段的安排的示例。
图5示出了在使用滚动捕捉技术捕捉的重叠区域中的图像处理的方法实施例。
图6示出了在分开的垂直相邻的FOV段中表示的重叠区域的示例。
图7示出了缝合相邻FOV段之间的重叠区域中的图像数据的方法实施例。
图8A示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。
图8B示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。
具体实施方式
以下附图示出了用于图像捕捉和图像处理的技术或者其中可使用该技术的示例性系统的实施例的示例。图像捕捉系统可包括一个相机单元内的一个或多个图像传感器，或者图像传感器可以处在不同的相机单元中，这些不同的相机单元被定位成使得所有图像传感器一起获得合成场景。每个个体传感器可捕捉场景的一部分——在本文中称为视场段(FOV)。如以下所解释的，不同的图像传感器可按不同的配置来布置，但是捕捉相邻视场段的图像传感器共享重叠区域，在该重叠区域中，两个视场段覆盖场景的相同的空间区域。
如以下参照附图所描述的，具有相邻FOV段的至少两个图像传感器在相同的重叠时间段期间在重叠区域中捕捉图像数据，在该相同的重叠时间段期间，这两个图像传感器在相反的方向上遍历其光敏元件。如以下所示的，结果是：与如背景中所讨论的两个图像传感器在相同方向上遍历或滚动相比，重叠区域具有这样的数据——该数据在FOV段之间具有更紧密的时间关系。此外，由于更紧密的时间关系，因此在FOV段中捕捉的场景主体或内容也将更紧密。换言之，重叠区域中的移动主体将由第一和第二图像传感器在几乎相同的时间下捕捉，因此这些FOV段中的主体的空间相关性得以改善。因而，将存在较少的归因于运动的不连续性或伪像，或者它们将是较小的数量。
最初参考图1，用于实现本发明的技术的硬件包括目标识别、分析和跟踪系统10，该系统可用于识别、分析和/或跟踪诸如用户18等一个或多个人类目标。目标识别、分析和跟踪系统10的实施例包括用于执行游戏或其他应用的计算环境12。计算环境12可以包括硬件组件和/或软件组件，使得计算系统12可以用于执行诸如游戏应用和非游戏应用之类的应用。在一个实施例中，计算环境12可以包括诸如标准化处理器、专用处理器、微处理器等之类的处理器，该处理器可以执行存储在处理器可读存储设备上的用于执行在此所述的过程的指令。
系统10还包括一个或多个捕捉设备20，用于捕捉与一个或多个用户有关的图像数据和/或由捕捉设备感测到的对象。图1示出了一对捕捉设备20a和20b。在各实施例中，捕捉设备20可以用于捕捉与一个或多个用户的运动和姿势相关的信息，所述信息被计算环境接收并且被用于呈现游戏或其他应用的方面、与所述方面交互和/或控制所述方面。下面更详细地解释计算环境12和捕捉设备20的示例。
目标识别、分析和跟踪系统10的实施例可以连接到具有显示14的音频/视觉设备16。设备16例如可以是可以向用户提供游戏或应用视觉和/或音频的电视机、监视器、高清电视机(HDTV)等等。例如，计算环境12可以包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏应用或其他应用相关联的音频/视觉信号。音频/视觉设备16可以从计算环境12接收音频/视觉信号，并且然后可以向用户18输出与该音频/视觉信号相关联的游戏或应用视觉和/或音频。根据一个实施例，音频/视觉设备16可以通过例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等等连接到计算环境12。
图1示出了其中用户18a和18b参与到英式足球的游戏中的示例实施例。在该示例中，计算环境12可以使用视听显示14来提供以由相应用户18a和18b控制的英式足球运动员形式的两个化身19a和19b的视觉表示。在各实施例中，化身19模仿对应的用户18在现实世界空间中的运动，使得用户18可以执行控制化身19在显示器14上的运动和动作的运动和姿势。用户18可以在物理空间中移动或执行踢运动以致使其相关联的运动员化身19在游戏空间中移动或踢足球。
图1示出了使用捕捉设备20a和/或20b内的不同的相机单元来在自然用户接口(NUI)系统中获得较宽的视场的示例，在该自然用户接口系统中，用户的移动控制诸如游戏或其他多媒体应用之类的软件应用。多个捕捉设备可被用于增大玩耍空间或场景的大小。如此处所使用的，场景是由捕捉设备20的图像传感器捕捉到的聚集区域。玩耍空间是由捕捉设备20在运行在计算环境12上的游戏应用的上下文中捕捉到的场景。另外，多个捕捉设备可有助于弥补场景的不充分的分辨率或照明、或者场景内对象的遮蔽的问题。如以下所解释的，来自观测公共场景的多个捕捉设备的数据被综合或缝合在一起以协调来自多个源的数据。
该计算环境可以从在各实施方式中可以是或包括多个捕捉设备20a和/或20b的多个源接收信息。在其他实施例中，可以有两个以上的捕捉设备20。捕捉设备20包括它们内部的图像传感器。较佳地，出于校准和同步起见，捕捉设备20内的图像传感器是同构的。在其他实施例中，它们可以是不同的，且校准对它们的差异进行补偿。
如图1中所示的，通常在单个区域上训练捕捉设备20。每个捕捉设备20可被设置在任意位置和定向上且具有焦距，以至少捕捉场景的一部分，其中在一个或更多个边界区域上发生重叠。在图1的示例中，捕捉设备对20被固定到固定装置23，以使得相关联捕捉设备的空间和定向通常是已知的。这种已知的定位减少了校准需求。在2010年6月3日提交的、题为“Synthesis ofInformation From Multiple Audiovisual Sources(来自多个视听源的信息的综合)”的第12/792,961号美国申请(代理人档案号：MS329449.01)中公开了用于将两个或更多个捕捉设备的位置校准到彼此或校准到场景的实施例(其中初始位置并非是已知的)，该申请通过整体援引纳入于此。
相机单元被校准到彼此以及校准到场景。由于场景可能常常有用户和对象进入或移出该场景，因此来自多个捕捉设备的数据被时间同步，以确保来自视觉源的数据同时提供场景的数据。
如上所示，捕捉设备20a、20b在本发明技术的各实施方式中可以是相同或不同的。可用作所示设备20中的任一个或全部的捕捉设备20的一个示例现在将参考图2来描述。在此示例性示例中，捕捉设备20a和20b是同一类型的，并且两者都被示为连接到处理来自两个相机的图像数据的计算环境12。由于它们两者是同一类型的，因此以下参照捕捉设备20及其组件(例如，28、36)的讨论意味着描述捕捉设备中的每一个里的组件。
在一个示例性实施例中，捕捉设备20可以被配置为通过任何合适的技术捕获具有可以包括深度值的深度图像的视频，这些技术包括例如飞行时间、结构化光、体视学等等。根据一实施例，捕捉设备可将所计算的深度信息组织为“Z层”，或可与从深度相机沿其视线延伸的Z轴垂直的层。在其他实施方式中，捕捉设备可将计算出的深度信息组织成以不同角度从深度相机延伸至捕捉到的数据点的向量。
如图2所示，每一个捕捉设备20可以包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距相机的长度或距离。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，捕捉设备20的IR光组件24可以将飞行时间分析中的红外光或一结构化光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机26和/或RGB相机28，来检测从场景中的一个或多个目标和对象的表面反向散射的光。
根据另一实施例，每一个捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。在另一示例实施例中，捕捉设备20可使用点云数据(point clouddata)和目标数字化技术来检测场景和/或用户的特征。
相机中的每一个可包括一个或多个图像传感器。例如，RGB相机可包括多个RGB CMOS传感器。在此示例中，RGB相机28a包括两个图像传感器2和4，这两个图像传感器2和4被定位成使得传感器2的FOV段将在传感器4的FOV段的顶部，并且它们将共享由传感器2捕捉的FOV段的底部的行与由传感器4捕捉的FOV段的顶部的行的重叠区域。类似地，在此示例中，RGB相机28a包括两个图像传感器1和3，这两个图像传感器1和3被定位成使得传感器1的FOV段将在传感器3的FOV段的顶部，并且它们将共享由传感器1捕捉的FOV段的底部的行与由传感器3捕捉的FOV段的顶部的行的重叠区域。另外，如将在图4的示例中示出的，包括四个传感器的图像捕捉设备20b和20a被定位成使得传感器1和2被安排成具有相邻FOV段，这些相邻FOV段并排着并且共享它们的垂直边缘上的列的重叠区域。类似地，传感器3和4被定位成具有相邻FOV段，这些相邻FOV段并排着并且共享它们的垂直边缘上的列的重叠区域。这仅是一个示例安排。
在一个实施例中，如以上所提及的，使用典型CMOS隔行图像传感器，该传感器包括致使图像帧期间在一方向上每次一条像素线地读出图像数据的控制电路。对于每秒30帧的帧速率，在大致25到30毫秒(ms)内遍历整个阵列。如先前所提及的，在其他实施例中，外部快门可按需与CMOS传感器联用，该快门可控制用于图像数据的捕捉的每条像素线的曝光，而同时阻挡其他线。常常在CMOS传感器的控制电路中为CMOS传感器预设遍历的方向。为了改变相机的方向，可在安排中改变传感器位置。在另一实施例中，遍历的方向，诸如向上、向下、向左、向右，可如以下讨论的来编程。
在一示例实施例中，每一个捕捉设备20还可以包括可以与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
每一个捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，由3-D相机或RGB相机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像相机组件22和处理器32进行通信的分开的组件。根据另一实施例，存储器组件34可以集成到处理器32和/或图像相机组件22中。在图2的实施例中，任选的滚动控制器接口软件模块186被存储在每个捕捉设备20a、20b的存储器34中。在滚动控制器接口186的控制下，处理器32可从诸如图像缝合引擎184(参看以下)之类的软件接收关于每个图像传感器的遍历或滚动的方向的指令，并将带有该方向的消息发送给指示该方向的控制电路。
如图2所示，每一个捕获设备20可以通过通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供主时钟，可以使用该时钟来确定何时通过通信链路36来捕捉场景，如以下参考同步引擎184解释的。
图2示出了计算环境12中可被用于校准捕捉设备20的相对位置以及用于同步从这些设备获得的音频和/或视觉数据的若干组件。这些组件包括同步引擎180、捕捉设备校准引擎182和图像缝合引擎184。这些引擎可以硬件、软件、或硬件和软件的组合来实现。
另外，每一个捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。存在用于判断由捕捉设备20检测到的目标或对象是否与人类目标相对应的各种已知技术。其他技术包括将图像转换为人的人体模型表示以及将图像转换为人的网格模型表示。
然后，可以将骨架模型提供给计算环境12，使得计算环境可以执行各种动作。计算环境还可基于例如从骨架模型中识别出的用户的姿势来确定在计算机环境上执行的应用中要执行哪些控制命令。例如，如图2所示，计算环境12可包括用于确定用户何时执行了预定义姿势的姿势识别引擎190，如本领域中已知的。
如以下所解释的，在将不同的捕捉设备20校准到彼此时，本发明技术的实施例使用深度相机数据和RGB相机数据两者。因此，在此类实施例中，给定捕捉设备20的深度相机26和RGB相机28两者相对于彼此被同步，以及相对于其他捕捉设备20的深度相机26和RGB相机28被同步。因而，所有捕捉设备20中的所有相机26和28及其图像传感器通过同步引擎180被一起同步。
在各个实施例中，包括其图像传感器的捕捉设备20可被放置在围绕将被捕捉的场景的位置处，其中捕捉设备之间的间隔和定向是未知的。在本发明技术的第一方面中，通过同步引擎180和捕捉设备校准引擎182将捕捉设备20相对于彼此以及相对于它们正捕捉的场景来进行校准。现在参照图3的高层流程图来解释引擎180和180用于校准捕捉设备20a、20b的视场的操作。
图3是用于将捕捉设备初始化到彼此和场景的方法实施例300的高层流程图。在步骤302，启动系统10。此时，捕捉设备20开始捕捉场景的数据并将其传送到计算环境12。由捕捉设备20捕捉的场景可能不是静态。用户和对象可进入或离开场景。在一个示例中，校准引擎180可具有循序渐进地指导用户通过校准过程的校准例程。在此类实施例中，校准例程可告诉用户保持静止和/或仅在某些特定时间和以定义的方式移动，同时捕捉设备20被校准。
在每个捕捉设备20内，由深度相机和RGB相机捕捉场景信息帧。所捕捉的数据被同步引擎180用来对从不同捕捉设备进行的数据捕捉进行时间同步304。图像传感器#1、#2、#3和#4的控制电路经由处理器32从同步引擎180接收帧何时开始的指示。控制电路向其像素元素集中的每一个提供时钟，以对它们的要在帧时段内标识的数据捕捉加上时间戳。如稍后将描述的，同步引擎180可在缝合由图像传感器捕捉的不同的FOV段的重叠区域时使用这些时间戳。
为了校准不同的捕捉设备20，同步引擎按时间戳标识FOV段缓冲器中在同一帧时间段期间捕捉的图像数据。再次地，个体行或列的数据由于扫描技术(例如，滚动快门或滚动捕捉技术)而将具有不同的时间戳，但是来自视场段的图像数据应落在同一帧时段中。由此，校准引擎182可对在同一帧时间段内从设备20的不同图像传感器捕捉的图像数据执行其分析。
同步引擎180观察给定帧数内从所有设备接收到的帧数据。通过使用给定帧的此类数据的时间戳，以及每一个相机的已知分辨率，同步引擎从生成深度和RGB数据的每个设备确定该深度和RGB数据的所需时间偏移量。据此，同步引擎可跨所有捕捉设备确定每个深度和RGB设备的定时的所需调节。同步引擎可从单个设备的帧数据(例如，该设备生成此帧的第一数据的)选择时间戳作为基准，并将此时间戳设为基准时间戳。所有其他设备的帧数据随后可被调节到此基准时间戳。替换地，同步引擎可生成内部时钟基准，并将关于所有帧数据的调节设为此内部时钟基准。
现在返回图3，在步骤304中，一旦针对移动场景数据同步了图像数据帧，在步骤306中，捕捉设备就可被校准到彼此以及场景。
在各个实施例中，校准操作由校准引擎182使用来自不同的捕捉设备的深度信息和RGB信息两者来执行。深度相机提供关于图像中诸点的x、y和z位置的信息，但是可能具有低分辨率。RGB相机不提供z方向上的深度信息，但是通常具有高分辨率以及用于辨别不连续性、或暗示的纹理，用于将一个捕捉设备的视图与另一个进行关联。因此，本发明技术的实施例可将捕捉设备的深度相机和RGB相机两者用于校准过程。
然而，如以上所示的，虽然更加计算密集且取决于场景中的对象，但是仅使用来自捕捉设备中的两个或更多个的深度信息来将捕捉设备校准到彼此和场景是可能的。类似地，尽管仍是更加计算密集且取决于场景中的对象，仅使用来自两个或更多个捕捉设备的RGB信息来将设备校准到彼此是可能的。例如在2007年5月17日公开的、题为“Navigating Images Using Image BasedGeometric Alignment and Object Based Controls(使用基于几何对齐的图像和基于对象的控制来导航图像)”的公开号为2007/0110338的美国专利中描述了用于单独使用RGB信息来校准相机视角的技术，该公开被用在微软公司的PhotosynthTM图像识别软件中，并且该公开通过整体引用纳入于此。可在2010年6月3日提交的、题为“Synthesis of Information from Multiple AudiovisualSources(来自多个视听源的信息的综合)”的第12/792,961号美国专利申请中找到关于校准相机的附加信息。此申请连同本文中引用的专利和公开一起通过整体引用纳入于此。捕捉设备20a和20b如图1中那样被布置，并且它们的镜头指向所需场景的中心。这种粗略调节使得图像传感器的FOV段将是相邻的。公知的校准技术可被用于相机20a和20b，以针对相邻性对FOV段的对齐进行精细调整。
如背景部分中所解释的，对象在使用类似滚动捕捉技术捕捉的两个FOV段之间的重叠区域中的任何移动造成运动伪像，对该运动伪像的校正向用于将图像缝合成合成场景以及呈现场景图像的时间增加了更多时间或等待时间。这是因为，通过使用滚动捕捉，重叠区域中的移动对象在帧的开始处由第一图像传感器来捕捉，而在帧的末尾处由第二图像传感器来捕捉。取决于对象移动的速率，该对象可能出现在重叠区域中的两个截然不同的空间位置处。出现在重叠区域中的两个截然不同的空间位置处的对象是运动伪像的示例。
此问题通常由本发明技术通过对在两个相邻FOV段之间的光敏元件集使用反向遍历来解决。结果是：第一图像传感器和第二图像传感器中的光敏元件集将在相同的重叠时间段期间捕捉重叠区域中的对象(或者在帧的开始处或者在帧的末尾处)。这把将两个FOV段一起缝合成合成场景给简单化了。
图4示意性示出了由一个或多个捕捉设备20中的图像传感器捕捉的重叠FOV段的安排400的示例。在所示示例中，存在图像传感器阵列400，该图像传感器阵列由布置成捕捉四个FOV段401、402、403和404的四个图像传感器#1、#2、#3和#4构成。每个传感器被示为具有其相应的控制电路，这些控制电路如下：CC#1，421，用于传感器#1；CC#2，422，用于传感器#2；CC#3，423，用于传感器#3；以及CC#4，424，用于传感器#4。在此实施例中，传感器中的每一个被预设成在其光敏元件集处在指定的传感器的顶部(由顶部1、顶部2、顶部3和顶部4指示)对该光敏元件集开始其遍历或滚动。在此示例中，光敏元件集是CMOS传感器上的像素线。为了进行反向遍历，传感器#1可被物理地翻转，以使得其“顶部”线(如由顶部1指示的)现在垂直地处于底部，而其指示为底部1的底部线垂直地处于顶部。传感器#3具有正常定向，其中其顶部线3垂直地位于其底部像素线底部3之上。图像传感器#2相对于传感器#4具有类似的经翻转的物理布置，该传感器#4具有类似于传感器#3的正常定向。在此实施例中，线是水平行。在其他实施例中，可针对遍历垂直列上的线而布置传感器。另外，在其他实施例中，遍历的方向可被编程并由此被改变，而无需在物理上重新布置传感器。
应理解，逆反扫描的方向可通过翻转图像传感器以外的手段的来实现。例如，图像传感器#1和#3可被保持在相同的定向中(即，没有相对于彼此翻转)，但是在传感器#1和#3的一者中，光敏元件线被曝光的时间可被逆反。可设想针对捕捉相邻FOV段的两个图像传感器中的一个对扫描方向进行逆反的其他手段。
使用同构图像传感器可改善结果。同构图像传感器可以是相同类型的图像传感器，或者具有类似的操作特性的图像传感器。像素的存储速率、像素的不同的光敏度、像素的不同的焦宽(focal width)以及不同的阵列大小是操作特性的示例。
应当理解，阵列400可按各种不同的其他配置来布置，包括更大或更少的图像传感器，其中至少两个图像传感器具有彼此相邻的FOV段，并且具有在反向上进行遍历的共享重叠区域。
传感器#1捕捉场景中落入FOV段401中的部分，该FOV段401的顶部如401t所指示的来界定，其底部如401b所指示的来界定，其左侧如由401l所指示的来界定，而其右侧如由401r所指示的来界定。箭头412指示其像素行的遍历方向是从其段的底部401b(该底部401b对应于顶部1)朝向段401t的顶部(该顶部对应于底部1)。传感器#1可以是颠倒的，而FOV段不是颠倒的。传感器#1与传感器#3的FOV 403共享重叠区域411。FOV段403的边界在其顶部由403t来指示，在其底部由403b来指示，在其左侧由403l来指示，而在其右侧由403r来指示。垂直相邻的FOV段401和403共享相同的宽度。重叠区域411在其顶部具有FOV段403的顶部403t，并且具有FOV段401的底部401b作为其底部。箭头414指示传感器#3对FOV段403的遍历方向是从其像素行的顶部3到底部3，即从其段的顶部403t朝向段的底部403b。
FOV段401还在其边界与传感器#2的相邻FOV段402共享重叠区域413。FOV段402的边界在其顶部由402t来指示，在其底部由402b来指示，在其左侧由402l来指示，而在其右侧由402r来指示。水平相邻的FOV段401和402共享相同的高度。重叠区域413由FOV段402的左侧402l来界定，并且在其右侧上由FOV段401的右侧401r来界定。重叠区域413和411自身在重叠相交区域409中重叠，在此2x2阵列示例中，所有重叠区域在该重叠相交区域处与它们的重叠相交。由箭头416指示的关于FOV段402的遍历方向与关于FOV段401的遍历方向相同。重叠区域413中的诸线的列具有紧密的空间和时间关系，因为它们在相同的时间捕捉相同的场景区域——只要传感器#1和传感器#2在其滚动捕捉中被同步。
在此实施例中，对于并排的段401和402、以及403和404，扫描、滚动捕捉的开始可被同步成在同一时间发生。对于共享通过反向遍历方向(在此实施例中通过翻转的传感器来实现)捕捉的重叠区域的FOV段，在滚动捕捉的开始之间可存在时间偏移量，该时间偏移量可被补偿，只要该偏移量是已知的。通过使用该偏移量，可找到每个传感器中重叠区域开始的不同的线。
FOV段404还在其边界与相邻FOV段402共享重叠区域405，并且在其边界与相邻FOV段403共享重叠区域407。FOV段404的边界在其顶部由404t来指示，在其底部由404b来指示，在其左侧由404l来指示，而在其右侧由404r来指示。水平相邻的FOV段403和404共享相同的高度，而垂直相邻的FOV段402和404共享相同的宽度。箭头418指示其FOV段404的像素行的遍历方向是从其段的顶部404t朝向段404b的底部。此遍历方向与关于FOV段402的箭头412的方向相反，并且与关于FOV段403的箭头414的方向相同。
重叠区域407由FOV段404的左侧404l来界定，并且在其右侧上由FOV段403的右侧403r来界定。重叠区域407与重叠区域413具有相同特性，因为其提供通过FOV段403捕捉的内容中的紧密空间和时间关系，但是仅仅是一些数据列的。重叠区域405在其顶部具有FOV段404的顶部404t，并且具有FOV段402的底部402b作为其底部。重叠区域405和407自身与区域413和411在重叠相交区域409中重叠。
取决于实现，重叠的程度对于对象与镜头的距离可具有一些依赖性。重叠越小，更好地保持相邻FOV段之间较紧密的空间和时间关系。线411a和405a是在相反方向上遍历的重叠区域411和405中的交叉地带的示例。交叉地带是重叠区域中具有最紧密空间和时间关系的区域。即，在某一时刻t，进入滚动捕捉，相应的图像传感器各自具有在重叠时间段中在最接近时间帧内从场景感测同一区域的像素元件地带。虚线411a和405a中的每一个可表示多条线，或者其可以是共享相同的捕捉时间和空间的单条线。
共享时间和空间的地带405a、411a可以在重叠区域405、411的中间，但是在其他实施例中不必是这样。交叉地带可在FOV段的校准期间被标识，或者在没有校准的情况下通过在空间内容和时间捕捉方面标识两个最相邻的线来实时地标识。
在以上示例中，滚动捕捉是垂直的——沿着像素元件线的水平行。在其他示例中，滚动捕捉可以是水平的——沿着像素元件的垂直行。另外，在图4的示例中，滚动捕捉次序在与相邻视场共享的重叠区域处开始。在所捕捉的帧的开始处遍历重叠区域提供了这样的优点：在读出帧的其余部分之前有更多的处理时间来执行段的缝合，由此减少了整体等待时间。在其他示例中，序列在每个传感器的FOV段的非重叠边缘开始，并且朝着重叠区域411和405中的像素元件行进行。在第二示例中，在接近帧扫描的末尾处到达重叠区域，但是在两个示例中，滚动捕捉具有相同的重叠时间段。
图5示出了在使用滚动捕捉技术捕捉的重叠区域中的图像处理的方法实施例500。此方法被用在包括使用滚动捕捉的图像传感器的系统中。出于仅作为示例性而非限制性的目的，在图4的上下文中讨论图5。
诸如图4中的四个传感器中的任一个之类的传感器在重叠时间段中针对第一视场(FOV)段使用滚动捕捉来在第一遍历方向上捕捉502图像数据。第一重叠区域是与第二相邻FOV段共享的。为了便于描述，参考作为第一FOV段的FOV段401，以及作为第二相邻FOV段的FOV段403。也可使用FOV段402和404。
传感器#3在相同的重叠时间段中针对第二FOV段(例如，FOV段403)的第一重叠区域使用滚动捕捉来在与第一遍历方向相反的第二遍历方向上捕捉504图像数据。
仅出于示例性目的，现在参考FOV段401和402。传感器#2在相同的重叠时间段中针对与第一FOV段相邻的第三FOV段(例如，402)的第二重叠区域使用滚动捕捉来在第一遍历方向(该第一遍历方向被FOV段401使用)上捕捉506图像数据，第二重叠区域是与第一相邻FOV段(例如，401)共享的。
类似地，传感器#3和传感器#4在其中捕捉其他FOV段之间的重叠区域的相同的重叠时间段中针对第三重叠区域407使用滚动捕捉来在相同遍历方向上捕捉图像数据。
除CMOS图像传感器之外，本发明技术可在使用扫描技术的其他图像感测系统中操作。如先前所提及的，此类系统的一些示例包括如在模拟CRT系统中被光栅扫描的图像传感器、激光扫描仪、或其中光束以顺序方式激活光敏区域的其他系统。通过使用诸如图4中被光栅扫描的数字传感器的布置，相应的光束按扫描模式遍历第一、第二、第三和第四图像传感器的每一个中的相应的光敏元件集里的每一个；并且每个相应的光束的扫描模式在重叠相交区域409的中间开始，并且在相应的预定遍历方向上扫描行。
图6示出FOV段401中的重叠区域与垂直相邻的FOV段403的重叠区域分开。在此简化示例中，FOV段401和403的重叠区域包括11个像素元件行的11条像素数据线。在其他实施例中，重叠区域可以有比这更多或更少的像素元件线。如标示为“时间”的旁侧箭头所指示的，通过使用图4的示例的滚动捕捉的序列，传感器#1从FOV段401的线1到线11顺序地捕捉图像数据，而传感器#3在相反方向上从FOV段403的线1到线11顺序地捕捉图像数据。随着连续像素线捕捉数据，两个图像传感器逼近最接近的时间和空间的交叉地带411a。
最终，用虚线表示的像素线6可表示相同时间下的相同空间的图像数据达某一程度的精度，这取决于图像传感器的同构性以及它们的视场段的对齐的精度。在线6，共同来自图像传感器#1和#3的图像数据将被最严密地对齐，在理想的情况下，仅存在由于两个图像传感器处于不同位置处而导致的视差所产生的偏移量。在线6之后，每个FOV段中像素线7到11的图像数据在时间和空间上分别远离彼此。例如，FOV段401的像素线11捕捉与FOV段403的像素线1所捕捉的空间相同的空间，但是对于重叠区域而言，这两条像素线的捕捉时间戳相隔最远。FOV段401的像素线3捕捉与FOV段403的像素线9所捕捉的空间相同的空间，并且比起像素线1和10，这两条线的捕捉时间戳更靠近。如果数据是遵循从交叉地带到FOV段401的非重叠区域，则重叠区域411中被选择用于缝合或者纠错的数据将主要来自FOV段401的。类似地，如果数据是遵循从交叉地带到FOV段403的非重叠区域，则重叠区域411中被选择用于缝合或者纠错的数据将主要来自FOV段403的。
另外，如图4中所述的，在相同遍历方向上捕捉的相邻FOV段之间的重叠区域413和407提供在相同空间和时间中捕捉的数据。
如以上所示的，本发明技术提供了重叠区域中的诸线之间更好的空间和时间关系，结果，存在更少的运动伪像，诸如不连续性。此外，可能出现的一些运动伪像不超出散焦的模糊水平以及对于诸如每秒30帧示例之类的特定帧速率的分辨率而言典型的运动模糊，因此无需应用图像纠错技术。这些典型的空间和时间关系还改进关于重叠边界中的混合以及当不连续性的确发生且使用图像纠错时的结果。
尤其对于丢失或被遮蔽的数据有用的纠错技术的示例是用相邻FOV段中的相同重叠区域的数据来替代重叠区域中的数据。例如，如果传感器#1无法捕捉FOV段401的落在重叠相交区域409内的角落的数据，则可使用来自关于FOV段402的重叠区域413或关于FOV段403的重叠区域411的数据。由于重叠区域413中落在重叠相交区域409内的数据可能已由传感器#2在相同的时间捕捉了场景中的相同的空间，因此可选择来自此重叠区域413的数据。例如，基于时间和空间关系的加权因子可向重叠区域413中落在重叠相交区域409中的数据给予最高评级，并且此数据被用于最终图像帧。
通过利用这些特性，图7示出了缝合相邻FOV段之间的重叠区域中的图像数据的方法实施例。对于每个FOV段，图像缝合引擎184选择重叠区域的一部分中覆盖的场景空间，并标识704相邻FOV段的重叠区域中的空间上相对应的数据集。例如，段401和403中的线3和9在空间上相对应，因为这些线的数据是由聚焦在场景中的相同的空间上的相应的图像传感器1和3的线捕捉的(尽管在不同的时间)。在另一示例中，在相同的方向中遍历的FOV段403和404之间的重叠区域407中的像素数据列在空间上相对应，并且在时间上相对应，因为它们是由图像传感器3和4在聚焦在场景中的相同的空间的同时在相同时间下被捕捉的。
缝合引擎184基于包括捕捉时间有多当前的准则向空间上相对应的数据指派706加权。如以上所述的，捕捉同一场景空间的时间差会因场景中环境条件的运动或改变而引入不连续性以及其他伪像。较大的时间差接收较小的加权，而较小的时间差接收较大的加权。其他因素也可被包括在加权中，诸如模糊、光敏元件无法捕捉内容、像素与毗邻像素之间的不连续性，或者可以是传感器中的一个上的遮蔽。对于列示例，当缝合传感器3和4之间的垂直边界时，407中的列数据里的大多数将具有相同的时间和空间，因此其他因素将在加权中扮演更重要的角色。然而，当缝合来自相交区域409中的来自传感器1、3和4的数据时，407的落在409内的数据与405和411的重叠区域中落在409内的数据之间可能有足够的不连续性，由此来自407以及可能的413的贡献被忽略，而仅411和405被用于将垂直视场缝合在一起。
缝合引擎184检查708任何附加的空间上相对应的数据集。响应于存在另一个，此另一个被指派706加权。响应于没有另一个，则缝合引擎184基于相邻FOV段中的空间上相对应的数据集的加权来合并710这些数据集。例如，缝合引擎184可从FOV段401和403产生将用在图像帧中的两个像素线的经加权总和。
用于纠错的图像处理技术或图像清理技术也可利用由以上所讨论的滚动捕捉和扫描的定序所提供的较紧密的时间和空间关系。例如，如以上所讨论的，可用相邻FOV段中的空间上相应地的像素线来替代一个FOV段的重叠区域中被破坏或缺失的像素线数据。
在从第一捕捉设备的视角转换为另一捕捉设备的视角时，可采用各种已知的混合和平滑技术，例如α混合，以提供平滑和无缝转换。通过援引纳入的参见美国专利公开第2007/0110338号。此外，可能发生的是：存在场景中未被捕捉设备中的任一个捕捉的间隙。已知使用来自与这些间隙毗连的图像的深度和图像数据来填充这些间隙的技术。在先前通过援引纳入的美国专利公开第2007/0110338号中也公开了此类技术。
图8A示出了可在类似于图1和2中所示系统的目标识别、分析和跟踪系统中使用的计算环境的另一示例实施例。以下参考附图1-2所描述的诸如计算环境12的计算环境可以是多媒体控制台100，诸如游戏控制台。如图8A所示，多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。数据通过总线从GPU 108输送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108，以促进处理器对各种类型的存储器112、比如但不限于RAM的访问。
多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128以及前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由介质驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在完整的用户界面被并发系统应用使用的情况下，优选地使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选地控制输入流的切换，而无需知道游戏应用的知识，并且驱动程序维护关于焦点切换的状态信息。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。
图8B示出了计算环境220的另一示例实施例，计算环境220可以是图1和2中在目标识别、分析和跟踪系统10中使用的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在一些实施例中，各种所描绘的计算元件可包括被配置成实例化本公开的特定方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中，术语“电路”可包括通过体现可操作以执行功能的逻辑的软件指令配置的通用处理单元、存储器等等。
在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图8B中，计算环境220包括通常包括各种计算机可读介质的计算机241。计算机可读介质可以是可以被计算机241访问的任何可用的介质，并包括易失性和非易失性介质，可移动的和不可移动的介质。系统存储器222包括以诸如ROM 223和RAM 260之类的易失性和/或非易失性存储器的形式存在的计算机存储介质。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图中示出操作系统225、应用程序226、其它程序模块227和程序数据228。图中还包括具有用于高速和高分辨率的图形处理和存储的相关联的视频存储器230的图形处理器单元(GPU)229。GPU 229可通过图形接口231连接到系统总线221。
计算机241也可以包括其他可移动的/不可移动的，易失性/非易失性的计算机存储介质。仅作为示例，图中示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234的不可移动存储器接口连接至系统总线221，并且磁盘驱动器239和光盘驱动器240通常由诸如接口235的可移动存储器接口连接至系统总线221。
以上描述和图中示出的驱动器及其关联计算机存储介质为计算机241提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如在图中，硬盘驱动器238被示为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。向操作系统258、应用程序257、其他程序模块256，以及程序数据255提供了不同的编号，以说明，至少，它们是不同的副本。用户可以通过诸如键盘251和定点设备252(通常被称为鼠标、轨迹球或触摸板)之类的输入设备向计算机241中输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也可以通过诸如视频接口232之类的接口，连接到系统总线221。除监视器之外，计算机还可包括诸如扬声器244和打印机243之类的其他外围输出设备，它们可通过输出外围接口233来连接。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接，以在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点，并且通常包括以上就计算机241描述的元件中多个或全部，虽然在图中仅仅示出了存储器存储设备247。在图中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但是也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图中示出驻留在存储器设备247上的远程应用程序248。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但是可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.在使用扫描技术来捕捉图像数据的图像传感器阵列的系统中，一种对由不同的图像传感器捕捉的图像数据进行图像处理的方法，所述图像传感器阵列包括第一图像传感器和第二图像传感器，各自覆盖相邻的视场段并在其相邻视场段中共享第一重叠区域，所述方法包括：
在重叠时间段中，所述第一图像传感器针对第一视场段的第一重叠区域，在第一遍历方向上捕捉图像数据；以及
在相同的重叠时间段中，所述第二图像传感器针对第二视场段的所述第一重叠区域，在与所述第一遍历方向相反的第二遍历方向上捕捉图像数据。
2.如权利要求1所述的方法，其特征在于：
所述在第一遍历方向上捕捉图像数据还包括在所共享的第一重叠区域中在所述第一视场段的边缘处开始所述遍历；以及
所述在第二遍历方向上捕捉图像数据还包括在所共享的第一重叠区域中在所述第二视场段的边缘处开始所述遍历。
3.如权利要求1所述的方法，其特征在于：
所述在第一遍历方向上捕捉图像数据还包括在所述第一视场段的非重叠边缘处开始所述遍历并且在所共享的第一重叠区域中结束；并且其中
所述在第二遍历方向上捕捉图像数据还包括在所述第二视场段的非重叠边缘处开始所述遍历并且在所共享的第一重叠区域中结束。
4.如权利要求1所述的方法，其特征在于，还包括：
在所述相同的重叠时间段中，针对与所述第一视场段相邻的第三视场段的第二重叠区域，在所述第一遍历方向上捕捉图像数据，所述第二重叠区域是与所述第一视场段共享的。
5.一种图像传感器的系统，包括：
多个图像传感器，包括第一图像传感器和第二图像传感器；
其中所述第一和第二图像传感器中的每一个覆盖相邻的视场段并在其相邻视场段中共享第一重叠区域；
所述多个图像传感器中的所述图像传感器里的每一个包括相应的光敏元件集；
所述多个图像传感器中的所述图像传感器里的每一个就它的相应的光敏元件集在一遍历方向上使用滚动捕捉技术来捕捉图像数据；以及
所述第一和第二图像传感器在相同的重叠时间段期间在所述第一重叠区域中捕捉图像数据，在所述相同的重叠时间段期间，所述第一和第二图像传感器对它们的相应的光敏元件集使用相反的遍历方向。
6.如权利要求5所述的系统，其特征在于，使用相反的遍历方向的所述第一和第二图像传感器在与所述相邻视场段共享的所述第一重叠区域的相应的光敏元件集处开始帧的遍历。
7.如权利要求5所述的系统，其特征在于，还包括：
第三图像传感器，其覆盖与所述第一图像传感器的所述视场段相邻的视场段并与所述第一图像传感器共享第二重叠区域，所述第二重叠区域覆盖所述第一重叠区域的一部分；以及
所述第一和第三图像传感器，其在相同的重叠时间段期间在第二重叠区域中捕捉图像数据，在所述相同的重叠时间段期间，所述第一和第三图像传感器对它们的相应的光敏元件集使用相同的遍历方向。
8.如权利要求7所述的系统，其特征在于，还包括：
第四图像传感器，其覆盖与所述第二图像传感器的所述视场段相邻的视场段并与所述第二图像传感器共享第三重叠区域，所述第三重叠区域的一部分覆盖所述第一重叠区域和所述第二重叠区域的一部分；
所述第二和第四图像传感器，其在相同的重叠时间段期间在所述第三重叠区域中捕捉图像数据，在所述相同的重叠时间段期间，所述第二和第四图像传感器对它们的相应的光敏元件集使用相同的遍历方向；以及
所述第一、第二和第三重叠区域的所述部分覆盖彼此，从而形成重叠相交区。
9.在使用扫描技术来捕捉图像数据的图像传感器阵列的系统中，一种对由不同的图像传感器捕捉的图像数据进行图像处理的方法，所述图像传感器阵列包括第一图像传感器和第二图像传感器，各自覆盖相邻的视场段并在其相邻视场段中共享第一重叠区域，所述方法包括：
在重叠时间段中，所述第一图像传感器针对第一视场段的第一重叠区域，在第一遍历方向上捕捉图像数据；以及
在相同的重叠时间段中，所述第二图像传感器针对第二视场段的所述第一重叠区域，在与所述第一遍历方向相反的第二遍历方向上捕捉图像数据；以及
执行图像缝合技术，以将来自两个视场段的关于所述第一重叠区域的所述图像数据缝合在一起。
10.如权利要求9所述的方法，其特征在于，所述扫描技术是滚动扫描技术。
CN201110289022.0A 2010-09-15 2011-09-14 改进的扫描传感器阵列 Active CN102413267B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/883,012 2010-09-15
US12/883,012 US8417058B2 (en) 2010-09-15 2010-09-15 Array of scanning sensors

Publications (2)

Publication Number Publication Date
CN102413267A CN102413267A (zh) 2012-04-11
CN102413267B true CN102413267B (zh) 2015-02-25

Family

ID=45806760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110289022.0A Active CN102413267B (zh) 2010-09-15 2011-09-14 改进的扫描传感器阵列

Country Status (4)

Country Link
US (1) US8417058B2 (zh)
EP (1) EP2617187B1 (zh)
CN (1) CN102413267B (zh)
WO (1) WO2012036817A2 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
JP5768383B2 (ja) * 2011-01-24 2015-08-26 セイコーエプソン株式会社 画像表示装置および画像表示方法
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
US9207767B2 (en) * 2011-06-29 2015-12-08 International Business Machines Corporation Guide mode for gesture spaces
US20130050560A1 (en) * 2011-08-23 2013-02-28 Bae Systems Information And Electronic Systems Integration Inc. Electronic selection of a field of view from a larger field of regard
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
WO2013145327A1 (ja) * 2012-03-30 2013-10-03 富士通株式会社 生成装置、生成プログラムおよび生成方法
US8666159B1 (en) 2012-06-04 2014-03-04 Google Inc. Real time feature extraction
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US20140152676A1 (en) * 2012-11-30 2014-06-05 Dave Rohn Low latency image display on multi-display device
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9578252B2 (en) 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
CN103905745B (zh) * 2014-03-28 2017-02-15 浙江大学 一种视频帧中重影时间戳的识别方法
US9418301B2 (en) * 2014-06-23 2016-08-16 Ford Global Technologies, Llc Low-speed impact detection sensor array
US10191356B2 (en) 2014-07-04 2019-01-29 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
CN104284234B (zh) * 2014-10-17 2017-12-12 惠州Tcl移动通信有限公司 多个终端间共享同步图像的方法及系统
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US10049266B2 (en) * 2015-09-25 2018-08-14 Intel Corporation People counting method and apparatus
US10051182B2 (en) 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
WO2017100935A1 (en) * 2015-12-18 2017-06-22 Immersive Ventures Inc. Systems and methods for multi-sensor image capture
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US9755740B2 (en) 2015-12-30 2017-09-05 Surefire Llc Receivers for optical narrowcasting
US9715638B1 (en) 2015-12-31 2017-07-25 Nokia Technologies Oy Method and apparatus for identifying salient subimages within a panoramic image
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
GB2550372B (en) * 2016-05-17 2022-01-19 Nctech Ltd Imaging system having multiple imaging sensors and an associated method of operation
US9948832B2 (en) * 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US11636572B2 (en) 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
CN106981183A (zh) * 2017-05-04 2017-07-25 湖北工程学院 坐姿矫正方法及系统
US9917652B1 (en) 2017-06-06 2018-03-13 Surefire Llc Adaptive communications focal plane array
US10473439B2 (en) 2018-01-05 2019-11-12 Aron Surefire, Llc Gaming systems and methods using optical narrowcasting
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
JP7422747B2 (ja) * 2018-09-26 2024-01-26 ズークス インコーポレイテッド 画像スキャンラインのタイムスタンプ
CN111200698B (zh) * 2018-11-19 2022-05-13 魔门塔(苏州)科技有限公司 远程多传感器多通道接收方法
US11796642B2 (en) * 2019-03-26 2023-10-24 Infineon Technologies Ag Oversamplng and transmitter shooting pattern for light detection and ranging (LIDAR) system
CN110213493B (zh) * 2019-06-28 2021-03-02 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
US11195291B1 (en) * 2020-02-19 2021-12-07 Facebook Technologies, Llc Dynamic illumination control for depth determination
WO2022093657A1 (en) 2020-10-28 2022-05-05 Gigajot Technology, Inc. Dual-progression pixel readout
CN112988669B (zh) * 2021-04-30 2021-08-03 湖北亿咖通科技有限公司 多传感器数据文件的回放方法、电子设备及存储介质
CN114422691A (zh) * 2021-12-17 2022-04-29 润博全景文旅科技有限公司 全景图像同步拍摄的方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
US20070040913A1 (en) * 2000-03-06 2007-02-22 Fisher Clay H System and method for creating composite images by utilizing an imaging device
US20090153710A1 (en) * 2007-12-13 2009-06-18 Motorola, Inc. Digital imager with dual rolling shutters

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7187405B2 (en) 2001-10-02 2007-03-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Automatic flicker frequency detection device and method
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7568628B2 (en) 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US7428378B1 (en) 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
WO2008085553A1 (en) * 2006-08-25 2008-07-17 Eliezer Jacob Improved digital camera with non-uniform image resolution
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7855740B2 (en) 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
US9292092B2 (en) 2007-10-30 2016-03-22 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090118600A1 (en) 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8164651B2 (en) 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8587681B2 (en) 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040913A1 (en) * 2000-03-06 2007-02-22 Fisher Clay H System and method for creating composite images by utilizing an imaging device
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
US20090153710A1 (en) * 2007-12-13 2009-06-18 Motorola, Inc. Digital imager with dual rolling shutters

Also Published As

Publication number Publication date
WO2012036817A3 (en) 2012-05-03
US8417058B2 (en) 2013-04-09
EP2617187A2 (en) 2013-07-24
EP2617187B1 (en) 2016-11-02
WO2012036817A2 (en) 2012-03-22
US20120063637A1 (en) 2012-03-15
CN102413267A (zh) 2012-04-11
EP2617187A4 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
CN102413267B (zh) 改进的扫描传感器阵列
US11217006B2 (en) Methods and systems for performing 3D simulation based on a 2D video image
JP7041253B2 (ja) 現実世界空間の仮想現実提示
CN102289564B (zh) 来自多个视听源的信息的合成
CN102576463B (zh) 用于移除图像的背景的系统和方法
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
CN102332090B (zh) 划分在视野内的焦点区域
US9710972B2 (en) Immersion photography with dynamic matte screen
CN105705964B (zh) 发射结构化光的照射模块
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN102129292B (zh) 在运动捕捉系统中识别用户意图
US9236032B2 (en) Apparatus and method for providing content experience service
JP5972966B2 (ja) 投影された参照パターンによるオブジェクト追跡
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102385237B (zh) 基于结构化光和立体视觉的深度相机
CN102622774B (zh) 起居室电影创建
CN102156658B (zh) 对象的低等待时间呈现
CN103748893A (zh) 显示器作为照片或视频的照明
CN102222347A (zh) 使用波阵面编码来创建深度图像
US20120147004A1 (en) Apparatus and method for generating digital actor based on multiple images
US20140267548A1 (en) Nui video conference controls
US11521346B2 (en) Image processing apparatus, image processing method, and storage medium
Marner et al. Exploring interactivity and augmented reality in theater: A case study of Half Real
Zabulis et al. Exploration of Large-scale Museum Artifacts through Non-instrumented, Location-based, Multi-user Interaction.
CA2783189C (en) Automatic repositioning of video elements

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.