CN104584032A - 混合式精确跟踪 - Google Patents

Abstract

本文公开的是通过镜头的跟踪系统和方法，其可以使子像素精确摄像机跟踪能够适用实时设置扩展。也就是说，通过镜头跟踪可以将现有的低精度摄像机跟踪和合成系统制造为能够进行子像素精确实时摄像机跟踪的实时VFX系统。在这种增加了跟踪精确度的程度的情况下，虚拟摄像机可以用于对准和渲染关于内部位置和外部方位两者的实时设置扩展。

Description

混合式精确跟踪

相关申请的交叉引用

本申请要求2012年4月13日递交的、序列号为61/624,145的共同未决的临时申请的权益，且在此通过引用将其全部内容并入，以及要求于2013年3月14日递交的、序列号为61/785,517的共同未决的临时申请的权益，且在此通过引用将其全部内容并入。

技术领域

本申请涉及用于将视频、电影、数字式摄像机等中的真实场景元素与虚拟摄像机中的虚拟场景元素结合成最终的合成图像的系统和方法，并且更具体地，涉及用于使虚拟场景元素与实景拍摄(live action)场景元素以高精确度相匹配的系统和方法。

背景

将真实世界影像与另一种来源中的另外的影像相结合，需要针对每个图像的哪些部分将被用在最终的合成图像中进行小心控制。一个常见应用是将通过计算机生成的图像与从传统的电影、视频或数码摄像机获得的图像相结合。为了无缝结合这些图像，从虚拟场景摄像机的角度看的摄像机参数必须紧密匹配于实景拍摄摄像机的参数。此外，针对在片场和在现场的应用的用途，必须快速完成虚拟场景和实景拍摄场景之间的匹配，优选地大约在短短几毫秒内完成匹配，以便在每秒24到30帧的标准电影和电视制作的帧速率下是可用的。

可以以各种方式实现跟踪实景拍摄摄像机和镜头。(参见2010年7月8日递交的、序列号为12/832,480的、题目为“Methods and Systems forCalibrating an Adjustable Lens”的美国专利申请，其在2011年2月3日以出版物编号20110026014进行公布，且被发布为美国专利8,310,663('663)，在此通过引用将其全部内容并入。)对实景拍摄摄像机的位置和方向的测量可以通过利用光学编码器解算出位于场景上空或者场景中的基准标记的姿势、通过利用惯性加速计挨个匹配图像的高对比度点、以及领域中常见的许多其它方法来实现。

在摄像机本身处测量摄像机的角倾斜(平移、倾斜及滚动)的实时测量方法存在一个共同问题。角度测量结果中的小误差在投射出几英尺(其是大多数实景拍摄景物和虚拟景物接合所位于的地方)时变成大的位置误差。在摄像机被移动时，这可以清楚地在合成图像中观察出虚拟元素和实景拍摄元素之间的移位和滑动。

解决该高度精确接合的传统方法是使用后期制作软件工具，例如Syntheyes、3D均衡器、Boujou、PF Track或者Nuke，这些工具方向和跟踪逐个帧中的多个高对比度区域。通过分析屏幕上的若干点的相对运动，可以推导出实景拍摄摄像机的运动和镜头参数，虚拟背景的运动整齐匹配于实景拍摄前景。

该过程具有若干限制。首先，如果演员走到被跟踪的高对比度区的前方，则可能容易破坏摄像机解决方案数学运算。其次，通过跟踪图像的高对比度部分的各个像素来测量运动的过程既不确定又耗时。其通常不能进行实时计算，并且如果实景拍摄图像的帧发生光线变化，其中图案是不能识别的，那么艺术家必须重新指定帧中的高对比度区，从而无法继续该过程。实际上，解决在任意的移动背景下的准确的摄像机跟踪的过程可能由于所需的手工作业而超过完成剩余的拍摄所需的时间。

此外，如果实景拍摄摄像机被放大，那么被跟踪的高对比度区可能完全从图像中消失，导致摄像机无法跟踪对象。众所周知该算法很难用来根据多个拍摄推导出摄像机的固有参数，其中摄像机同时改变其焦距(“放大”)和进行移动。

因此，基于纯像素跟踪的方法不能很好地用于实时视觉效果处理的需求，其必须是计算非常快速以及对实景拍摄视频图像中的帧和帧之间的变化和用于记录图像的电影镜头的调整的变化具有鲁棒性。

现有技术的系统是PREVIZION系统，其可从加利福尼亚的LightcraftTechnology,LLC of Venice购买。PREVIZION系统包括摄像机跟踪系统、镜头校准系统、实时合成系统以及内置3D渲染器。揭示现有技术的PREVIZION系统的公开的实例是在2011年4月8日公开的、题目为“Previzion Specifications 2011”的PREVIZION产品册子，通过引用将其内容并入。

发明内容

本文公开了混合式精确跟踪系统的各个实施方式。在一个实施方式中，艺术家勘测放置在虚拟景物将加入实景拍摄的台上的人工高对比度标记点的3D中心位置。艺术家接着将这些点的位置输入到计算机系统中。艺术家从实景拍摄图像中选择与在实景拍摄场景中测量的高对比度标记点的3D中心位置相关联的点。可以使用实景拍摄图像的2D显示选择这些点，例如通过在期望方位中的明显标记上定位指针，并且按下选择键。

连接到计算机系统的实景拍摄摄像机和镜头正被摄像机和镜头跟踪系统跟踪，使得实景拍摄摄像机和镜头参数是接近已知的。然后计算机可以预测3D勘测点应该在2D屏幕上的哪个位置，并且在那里显示虚拟标记。

上述过程生成已知的3D位置的点的列表、这些点的预测的2D屏幕位置、以及实际的2D屏幕位置。最小化3D勘测点的预测的2D屏幕位置与3D勘测点的实际2D屏幕位置之间的误差的过程可以产生高度精确跟踪的解决方案。

由于可以通过点击实景拍摄对象产生2D与3D的关联，故从当前实景拍摄摄像机的位置中观察到2D表示。为了准确对准3D勘测点，其可以从具有与实景拍摄摄像机相同的位置、方向和镜头参数的虚拟摄像机中投射。可以使用如在上述'633专利中描述的摄像机和镜头校准系统来将虚拟摄像机校准到实景拍摄摄像机。

针对高度准确性，系统快速检测场景标记的光学中心。在本公开内容的一方面中，标记是圆形点。对点的检测可以通过在GPU上进行优化的一系列操作来实现。在一个实施方式中，该操作集可以包括：边缘或者斜率检测；移除平行线以选择圆形标记；沿着当前斜率的法线搜索圆的相对侧，从而确定该圆的中心点的候选；利用所有中心线的累积，表决选出最可能的中心点；以及利用快速数据传送，例如几何图形着色程序，将最高权重点读出到CPU。

这样做之后，通过针对摄像机的平移、倾斜和滚动旋转轴执行最小平方或者类似的误差最小化解决方案以提供输入角度数据的增量角，可以最小化预测点的XY屏幕方位和实际的XY屏幕方位之间的增量。

由于针对标记搜索整个屏幕在计算上代价很高，系统可以使用其标记XYZ位置的列表来预测XY投射的标记方位，并在仅在围绕标记位置的图案中，考虑所有摄像机和镜头参数(例如镜头视场和失真场)进行搜索。

由于圆心的光学解决方案可能在帧与帧当中改变，引起在虚拟与实景拍摄接合中的明显“抖动”，该增量角进而可以通过Kalman或者其它低通滤波器移除““抖动”“以进行滤除，从而产生平滑的运动，同时保持准确性。

当从视野中移除对象时，同样滤除剩余的增量角以避免抖动。即使所有的标记都被排除，输入摄像机跟踪数据和最小化解决方案之间的增量角也维持原样，使得当标记出现在演员的另一侧时，它们可以被再次获得，且具有最小视觉假象。对解决方案的滤除增量角的关注意味着视觉解决对各自的标记封闭性具有鲁棒性。

在传统的光学跟踪系统中，标记的XY位置促使求解焦距，并且轻微的标记不稳定性可引起焦距计算中的误差。利用本公开内容的混合方式，可以较早进行镜头焦距的计算且进行存储，并且标记运动可以快速稳定在XY空间中，而不失镜头焦距的准确性。

两个组成部分(基于外部传感器的摄像机和镜头跟踪，以及基于像素的增量角计算)的分离使得实时使用该系统成为可能。此外，混合方式可以容易地操纵变焦和高失真的镜头。

根据本公开内容的另一方面，还可使用3D勘测数据输入标记的3D方位。

根据本公开内容的又一方面，可通过以下方式求解标记的XYZ位置：平移摄像机且从不同的视点拍摄两个或者两个以上的点图像，然后利用摄影测量学解决方案求解标记的XYZ位置。这使得系统在缺少外部勘测工具的情况下可以被使用。

根据本公开内容的再一方面，本系统可以使用自然形成的特征，例如SIFT或SURF算法。

根据本公开内容的又一方面，本系统可以扫描整个屏幕。

根据本公开内容的另一方面，可以实时进行执行亚像素匹配所需的计算。

根据本公开内容的又一方面，混合式精确跟踪可以自动处理镜头焦距或者失真的变化。

根据本公开内容的再一方面，在制作过程中，可以用标准3D勘测坐标形式输入标记数据，并且由艺术家快速修改。

根据另一方面，混合式精确跟踪方法可以用已经存在于实时合成和摄像机跟踪系统中的数据来实现。

根据另一方面，可以使用霍夫变换或者其他相关变换以识别圆心。

根据再一方面，本系统可以使用活动标记以生成小光点，其可从大多数方向被同样观察。

根据再一方面，本系统可以利用人工条形码或者基准类型标记，其可快速被标准机器视觉技术识别。

根据还又一方面，来自摄像机跟踪系统的当前摄像机运动数据可以被用于生成标记的“去模糊”图像。(这可以是重要的，以便操纵具有任意程度的摄像机运动的跟踪。)

本文公开的是通过镜头的跟踪系统/方法，其在PREVIZION系统(或方法)中时，实现适用于实时设置扩展的亚像素的准确摄像机跟踪。也就是说，并入到PREVIZION系统中的通过镜头的跟踪使得系统成为能够进行亚像素的准确实时摄像机跟踪的实时VFX系统。利用该增强的跟踪准确性水平，虚拟摄像机可以用于记录和提供关于内部和外部方位的实时设置扩展。

本公开内容的通过镜头的跟踪系统可以与现有的PREVIZION摄像机跟踪工具集成，以针对任意拍摄提供额外的亚像素的准确跟踪信息，尤其是在光学跟踪或者编码探头(crane)不能提供适当的准确性水平以用于最终合成物的情况下。PREVIZION系统自动跟随通过主摄像机镜头(无论直接安装在片场或者绿光屏上)是可见的预测量的跟踪标记，并且将该数据与标准的光学/惯性或者编码探头跟踪信息合并。

过去，通过进行昂贵且耗时的后期光学跟踪来实现对虚拟元素和真实世界设置的精确配准。本文通过消除使用后期制作的光学跟踪器(如Syntheyes或者3D均衡器)的需求，每次拍摄节约几小时的处理时间来改善该耗时的过程。使用跟踪技术的新组合，PREVIZION用户可以实现亚像素的实时准确跟踪，并且可以同样轻松地且使用当前利用PREVIZION实现的具有成本效益的技术来进行复杂的设置扩展。也就是说，人类眼睛可以检测像素晃动；因此，本系统具有精确的配准，以通常产生部分像素内的跟踪准确性，例如，“亚像素的”准确性。

额外的工具证实跟踪准确性且配准通过镜头的信息与本地勘测的坐标系。这些工具可以考虑涉及图像识别的复杂计算以及分析，以跟踪在主摄像机取景器中可见的多个目标。全部的该处理都可以在紧凑的时间帧内发生，以保持PREVIZION系统的实时性能。更具体地，通常以每秒24到60帧中的任一个的帧速率拍摄视频。由于系统还必须在同一个GPU上进行其它的键入、跟踪、渲染以及合成任务，故可在仅几毫秒内执行圆形检测和解决方案。实际上，系统的算法可以足够快到在小于2毫秒的时间中预测和检测圆。

根据本文的实施方式，公开了混合式通过镜头的跟踪系统。该系统可以包括第一系统和可操作性地连接至其的第二系统。第一系统可以包括经校准的查询表并且可以配置为使用该经校准的查询表以在使用可调节镜头时(例如，用于电影和电视视觉效果制作)修改场景标记的搜索方位。第一系统可以被配置为将场景标记的预测的2D方位发送给第二系统，其中第二系统被配置为使用基于高速GPU的场景标记检测方案，该方案使用快速的基于几何图形的搜索来计算场景标记的中心的预测的2D方位。高速检测可以是小于每标记10毫秒或者在每标记2毫秒到10毫秒之间。场景标记可以是圆形标记、基准标记、条形码或者自然特征标记。

本文还公开了混合式通过镜头的跟踪方法，其包括提供经勘测的实景拍摄场景标记方位、实景拍摄图像和组合的摄像机和镜头数据给混合式精确跟踪过程，以产生经过滤波的摄像机姿势数据。混合式精确跟踪过程可以包括：使用输入的实景摄像机和镜头数据以预测屏幕标记的方位的2D位置；在围绕预测的2D位置的区域内搜索标记；计算标记的实际XY位置；以及修改摄像机姿势数据以将预测的位置与实际位置对准。该过程还可以包括滤除产生的角度变化以移除该过程中的噪声。

公开了混合式通过镜头的跟踪的方法。该方法可以包括：读取当前输入的摄像机和镜头信息；使用镜头位置信息以查询当前镜头参数；使用存储的镜头参数和摄像机信息以预测场景中的2D标记的方位；检测场景中的实际2D标记的位置；以及，根据输入的摄像机位置数据计算必要的角度校正，以最佳地校正摄像机的角度位置从而匹配实际的2D标记。并且该信息可以包括当前测量的摄像机位置和方向，且镜头参数可以包括焦距、失真和入瞳方位。

根据另一方面，公开了混合式通过镜头的跟踪方法。该方法可以包括：使用第一系统的经校准的查询表以在使用可调节镜头时(例如用于电影和电视视觉效果制作)修改场景标记的搜索方位；使用第一系统将场景标记的预测的2D方位发送给第二系统；以及使用第一系统和预测的2D方位以最小化场景标记的估计的位置和实际检测的位置之间的二次投影误差。

公开了混合式精确跟踪方法，其包括使用预测的摄像机方位数据、勘测的跟踪标记的3D方位数据以及实景拍摄图像计算经过滤波的姿势。该方法还可以包括给3D渲染器发送经过滤波的姿势以生成正确对准的经渲染的3D图像。该计算步骤可以包括：测量摄像机的位置和方向；测量摄像机镜头的调整位置；基于测量的调整的镜头位置，查询镜头的光学参数；使用摄像机和镜头信息，预测场景中的勘测的物理方位的屏幕上的XY位置；在围绕预测的XY位置的区域中搜索表示物理方位的实际位置的可检测的标记；测量使预测的物理XY方位和实际的物理XY方位之间的误差最小化所需的摄像机角运动的差量。并且该计算步骤还可以包括随着时间推移滤除角度差量值，以移除由测量步骤引入的任何角噪声。

还公开了找到圆心的方法。该方法可以包括：检测图像亮度或者颜色的边缘或斜率，以及将该信息存储在导数图像中；通过沿着当前导数斜率的法线搜索以选择圆形标记，而从产生的导数图像中移除平行线；沿着当前斜率的方向搜索圆的相对侧，从而确定圆心点的候选；使用所有中心点的累积，表决选出最可能的中心点；以及利用快速数据传送将最高权重点读出到CPU。

附图说明

根据以下说明性实施例的详细描述，结合附图，将更充分理解本公开的前述和其它特征和优点。

图1是根据本公开的实施例的透视图。

图2是根据本公开的实施例的具有围绕其的、表示了粗糙不光滑的轮廓线的一组点的实景拍摄图像的前视图。

图3是根据本公开的3D合成场景的透视图。

图4A、4B、4C和4D是根据本公开的在边缘检测过程中的一些步骤的图像视图。

图5是根据本公开的在平行线移除过程中的一些步骤的图像视图。

图6是根据本公开的在圆心检测过程中的一些步骤的图像视图。

图7是根据本公开的数据流程图。

图8是显示了被修改以包括本公开的混合式精确跟踪过程的示例性的现有的虚拟演播室系统的数据流程图。

具体实施方式

下文是执行本发明的目前已知的最佳模式的详细描述。本描述不应被认为具有限制意义，而仅仅是用于说明本发明的一般原理的目的。

公开了一种用于生成显著加速实景拍摄和虚拟合成图像的集成的快速而精确的摄像机和镜头匹配的快速、高效和可靠的系统。从视频游戏到故事片范围的应用可以手动实现系统，通常花费很短的时间跟踪图像中的高对比度的多个区域。系统从而可以极大地减少匹配虚拟和实景拍摄背景的成本和复杂性，并且能够更加广泛地使用虚拟制造方法。

因为本方法主要用于结合实景拍摄和计算机生成的元素，可能限制其应用于视频游戏。本方法对从摄像机馈送的实时视频起作用，本方法还可应用于大多数“静止的”摄像机上。本方法可以对安装在系统中的电影摄像机上的“录像磁带”起作用，在系统中图像被转换为可以被处理的标准的视频格式。本公开的目的是提供用于创建摄像机旋转的快速高精度测量的方法和装置。

参考图1，其示出了本公开的实施例。具有镜头110的场景摄像机100被放置为捕获在背景20前方的对象10的实景拍摄图像90(图2)。对象10例如可以是演员、道具和物理器具。背景20可以具有被放置在场景中的已知位置的标记30。根据本公开的一个方面，标记30的中心可以使用勘测工具在3D空间被精确地测量，并且用于增加摄像机解决方案的精确度。

场景摄像机100可以安装在摄像机跟踪系统120上。并且摄像机跟踪系统120可以是编码的台座、移动车、吊杆、起重机或任何其它形式的摄像机位置、方向和视野测量系统。焦距还可以被测量，因为当调焦时镜头的参数可能变化。可以存在一个以上的摄像机以使对象的表现的不同视图能够被捕获。

场景摄像机100和摄像机跟踪系统120连接到如图7中示出的视频处理系统130。视频处理系统130接收输入的实景拍摄视频图像90，识别实景拍摄标记30，生成标记40(图2)的相应的背景虚拟标记XY方位，并且使用两组XY数据执行增量角度最小化过程。视频处理系统130可以包括具有现场视频输入端、摄像机跟踪数据输入端、和能够处理2D和3D计算机图形计算的视频卡的计算机。

视频处理系统130的硬件组件可以通常包括计算机、将高分辨率串行数字视频转换到计算机的存储器中的视频输入端和输出板、和其中运行圆检测算法的显卡或GPU。

在图2中示出了本公开的实施例。实景拍摄对象10被显示在实景拍摄图像90的中心。虚拟标记40连同用户接口400(图7)中的实景拍摄图像90一起显示。虚拟标记40被绘制在预测的XY位置，其中相应的被勘测的标记3D空间(来自勘测标记30)将被投射到屏幕上。

2D跟踪器60围绕实景拍摄标记30显示。用户通过点击它来选择跟踪哪个标记30。实景拍摄标记30可以例如是圆。这能够使计算机使用本领域技术人员公知的各种机器视觉变换中的一种机器视觉变换来以亚像素分辨率快速检测圆心。一旦2D跟踪器60的XY位置和相应的虚拟标记40的XY位置是已知的，可以通过创建被添加到最小化标记的实景拍摄XY位置和标记的虚拟XY位置之间的距离的输入实时摄像机跟踪数据的摄像机增量角度，来最小化2D跟踪器60的XY位置和相应的虚拟标记40的XY位置两者(其主要由摄像机角度中的轻微的误差引起)之间的误差。

2D跟踪器60跟随标记30的移动的位置。这可以通过使用来自摄像机跟踪数据的最新帧的输入数据、添加已经发现为先前的帧的增量角度、并且然后计算新的增量角度以最小化实景拍摄和虚拟标记之间的2D误差来完成。以这种方式，这两者之间的误差被不断地最小化，保持解误差是小的并且自动处理高速移动。

使用由跟踪系统120测量的实景拍摄摄像机和镜头信息，可以从实景拍摄标记30的测量的3D位置来计算虚拟标记40的XY位置，并且使用本领域技术人员公知的投影技术转换为2D坐标。这产生了基本的投影几何XY位置。为了更加精确地定位虚拟标记40的XY位置，系统可以考虑镜头失真，其可以被测量为镜头参数(参见以上提到的镜头校准633专利)，并且用于将基本的XY投影调整为失真的XY投影。该计算例如可以由在开放的CV计算机视觉库中的cv投影点2函数来计算。

在一些情况下，使用来自传感器的输入摄像机移动数据，通过执行在图像上的反向模糊，输入的实景拍摄图像必须是“去模糊的”。因为摄像机移动是已知的，在实景拍摄图像中的移动模糊的量可以被预测并且被移除，以增加跟踪精确度。在优选的实施例中，去模糊算法是下文描述的反向高斯算法，并且为机器视觉中的从业者所熟知。

在用户界面中的显示是2D，但是对于准确的校准，所有的各个组件在虚拟场景中作为3D物体而存在。参考图3，3D坐标到2D坐标的转换可以使用本领域技术人员公知的标准的投影几何计算来完成。虚拟摄像机70具有描述了虚拟摄像机的视野的视锥80。虚拟摄像机70和视锥80的参数与实景拍摄摄像机100和镜头110的参数相匹配。

包含对象10的实景拍摄图像90与虚拟摄像机70间隔一段距离。虚拟标记40显示在系统预测它将到的点，而实际标记30位于右边。2D跟踪器60跟随实景拍摄标记，并且在预测的XY和实际XY之间计算增量角度82。

图4A-4D表示了在图像处理中的一些阶段，以定位场景内的圆形标记30的中心。在图4A中，圆形标记30被示出具有由单独的像素组成的像素阵列200。数字图像90由数以百万计的这些单独的图片元素(或像素)210组成。圆形标记30的边缘可以被看到，使得阵列200中的像素中的一些像素是黑暗的，并且阵列200中的像素中的一些像素是明亮的。作为参考，图4B中示出了正方形标记230以说明圆检测算法将如何投影正方形标记230。

为了实现实时操作所需要的速度，这些操作中的每个操作可以发生在专用图形处理单元或GPU上。虽然GPU提供速度，但是与通用中央处理单元或CPU相比，它具有受限制的编程指令集。

下一个步骤是找到在如图4A中示出的中心像素228的局部图像亮度的斜率或导数220。这可以针对图像90中的每个像素基于网格200中的中心像素228进行计算。这可以使用在像素的周围区域上运行的点积来进行计算，这是在文献中公知的方法。可以计算出找到导数的过程，例如通过定义顶部矢量222、中间矢量224和底部矢量226以对应于围绕在GPU上处理的当前像素的像素。然后可以用以下方式计算出该中心像素228的斜率220：

dx＝dot(vec(-1.0,0.0,1.0),top)+dot(vec(-2.0,0.0,2.0),mid)+dot(vec(-1.0,0.0,1.0),bot)

dy＝dot(vec(1.0,2.0,1.0),top)+dot(vec(-1.0,-2.0,-1.0),bot)

其中dot(x,y)是指定的两个向量的点积。

斜率然后可以被阈值化以仅仅找到具有高导数的点(例如标记30的视觉上尖锐的边缘)。这生成了仅仅包含具有在边缘(例如图4C中的圆240的边缘和图4D中的正方形250的边缘)的偏导数的像素的图像。正方形250是从图4B中的正方形标记230提取出的高导数图像。

可以进行进一步的步骤以投影平行线，例如在正方形250中生成的那些平行线。在图5中示出了实施例。如果其超过阈值，则导数图像250包括包含x导数信息和y导数信息的像素228，如果其没有超过阈值，则其为0。对于高于该阈值(边缘)的导数，x导数值和y导数值包括垂直于局部边缘的线的斜率。算法然后计算出垂直于局部导数220的方向320。

平行线投影算法然后针对每个像素228沿着垂线320的正方向和反方向搜寻，以找到偏移的像素328，并且将那里找到的导数与像素228中的最初的导数进行比较。如果导数是相同的，将像素328的值设置为0。在圆心发现算法中，这从考虑中移除了具有恒定斜率的直边，并且保留曲线(例如圆圈240)。在优选的实施例中，搜寻距离可以是可调整数量的像素，通常小于五个。产生的图像可以仅仅包括经过滤波的圆圈260(图6)。

在另一个实施例中，系统可以使用领域从业者公知的技术在实景拍摄图像上执行色差提取。以这种方式，仅仅将被搜寻圆的区域是蓝色阴影区域或绿色阴影区域，使得能够在更亮颜色的绿屏幕上使用更深颜色的绿圆圈作为圆形标记。这允许使用标记而不干扰从绿色屏幕或蓝色屏幕提取演员。

下一个步骤是确定圆心，并且其实施例在图6中示出。像素阵列200包括经过滤波的圆260的经过滤波的导数值。对于具有高于用户指定的阈值的导数幅度值的每个像素228，程序沿着超出由用户指定的最小半径和最大半径的导数220的方向搜寻。在找到的最大导数值(如果它存在，在圆的相对的边缘)，找到的圆的中心310的坐标(通过对第一边缘的XY坐标与第二边缘的XY坐标求平均值进行计算)被写入到当前的像素值228中。这创建了找到的圆坐标462(图7)的阵列。

对圆坐标的“表决”现在被累积。这可以用几何着色器来完成，其是一种本领域技术人员公知的图形处理程序。几何着色器的最初目的是当程序员指定的条件被满足时创建新的顶点。几何着色器被写入，以在找到的圆坐标462的阵列上进行迭代。当找到具有先前写入的圆心坐标的像素时，着色器将顶点发射到已经映射到CUP主存储器的GPU上的缓冲器。以这种方式，CPU和GPU之间的数据传送被限于找到的圆心的XY坐标的列表，其是比将像素阵列读回CPU和在CPU中做出搜寻各个坐标、斜率等的更低的带宽(并且因此更加迅速)。尽管从编程的角度这将更加简单，但是它将不能提供本应用所需的实时性能。

一旦中心的列表在CPU中，则该列表然后被计算并且平均，以发现所找到的中心的分组。例如从摄像机和镜头跟踪系统的位置和方向，可以预测标记中心的XY位置，使得仅仅以一个点为中心进行每次搜寻。因此，关于该部分的找到的中心的平均值是找到的圆心。

用于找到圆心的本技术还可以用于关于使用小型图形处理器需要快速准确的很多类型的机器人定位的高速对准和跟踪。

现在，以标记30为中心的跟踪器60的实际的XY位置是已知的。因为每个跟踪器60具有相应的预测的XY方位40，增量角度82可以被计算，如图3中所示。在图3中，仅有的误差是通过计算增量角度82校正的水平误差。对于摄像机云台倾斜角度和滚动角度，例如通过最小化标记30的图像的预测的XY位置40和实际测量的位置60之间的误差的平方和，增量角度82可以被计算。

因为针对每个新的帧计算增量角度82，图像噪声可能影响角度的稳定性。增量角度82然后必须被滤波以生成视觉平滑结果。例如通过使用本领域公知的卡尔曼滤波方法可以实现该滤波。

图7示出了另外的实施例中的数据流程图。参考于此，场景摄像机100生成实景拍摄图像90，其被发送到目标XY预测器490。摄像机跟踪系统120测量摄像机100的移动并且将摄像机数据122发送到数据组合器420。镜头110将镜头位置数据112发送到镜头校准表410，其已经先前利用例如663专利中公开的镜头校准系统生成。使用镜头位置数据112，镜头校准表410可以生成镜头数据412，其被发送到数据组合器420。数据组合器420将组合的摄像机和镜头数据310发送到目标XY预测器490。目标XY预测器490然后预测实景拍摄图像90中的实景拍摄标记30的XY位置，并且将以实景拍摄标记30的预测的位置为中心的图像子集492发送至导数检测器440。

导数检测器440在图像子集492上执行导数计算和阈值化操作，其结果是导数图像442。平行线移除器450然后从导数图像442移除被找到是平行线的一部分的导数，留下仅仅包含非平行边缘(例如圆)的经过滤波后的图像452。圆心取景器460然后获得滤波后的图像452，并且搜寻通过每个导数圆预测的圆心。这导致包含累积的圆心预测的图像462。中心表决模块470累积圆心图像462中预测的中心，并且读出平均的预测的中心值472。因为通常仅仅一个圆在预测的搜寻区域内被找到，该预测是实景拍摄标记30的中心平均值。

在用户界面400中，用户输入关于勘测的实景拍摄标记30方位32的数据。这被发送到点投影模块430。使用来自数据组合器420的组合的数据310，点投影模块430生成一组预测的2D虚拟标记位置40，预测的2D虚拟标记位置40中的每个预测的2D虚拟标记位置40对应于实际的圆心平均值472。这两个数据流被发送到XY误差最小化器480，其计算提供了预测的圆心和实际圆心之间的最小误差的调整后的姿势482。为了移除解决方案中的噪声，调整后的姿势482被发送至噪声滤波器500，其执行关于调整后的姿势482的噪声减小计算以生成经过滤波的姿势502，其可以是最终的输出。

图8是显示了被修改以包括本公开的混合式精确跟踪过程(通过框800在附图的中间示出)的现有的虚拟演播室系统(例如PREVIZION系统)的数据流程图，如上所述。PREVIZION系统包括摄像机跟踪系统120、解释来自镜头110的镜头位置数据112的镜头校准表410、将摄像机数据122和镜头数据412集合在一起的数据集合器420、2D合成工具620和3D渲染器610。系统读取摄像机数据122和镜头位置数据112连同实景拍摄图像90，创建渲染的3D虚拟图像612并且将这与2D合成工具620中的实景拍摄图像90进行组合以创建最终的合成图像630。

先前，3D摄像机姿势数据从数据组合器420直接出发到3D渲染器。作为对比，本文的系统(例如图8中所示)可以使用来自数据组合器420的预测的摄像机方位连同勘测的跟踪标记的3D方位，并且计算新的经过滤波的姿势502。经过滤波的姿势502可以然后被发送到3D渲染器610以生成正确对准的经渲染的3D图像612，其然后与2D合成工具620中的实景拍摄图像90合成，以生成具有与实景拍摄集正确对准的虚拟集延伸的最终的合成图像630。

PREVIZION是提供了高精确摄像机跟踪、精细的渲染和VFX质量键入的实时视觉效果系统，这使得它理想地用于虚拟背景和现场生产的CGI特性的实时合成。PREVIZION系统给制片人提供了自由，以创建具有动态摄像机移动的视觉特效镜头和当拍摄绿色屏幕或虚拟元素时实际看到最终的效果。这种能力使生产者能够使用高质量的视觉特效，具有在制作成本中的最小增加和在后期制作中的显著节省。

再次参考图7，其示出了本公开的两个主要区域。由虚线框600描绘的第一区域可以包括元素490、420和410。它涉及使用对准的查阅表以当使用可调整的镜头(例如在电影制作中使用的那些可调整的镜头)时自适应地修改关于场景标记的搜寻方位。

由虚线框700描绘的第二区域可以包括元素440、450、460和470。第二区域700涉及使用高速的基于GPU的圆心检测方案，其使用快速的基于圆几何学的搜寻。这保持了除了在表决过程中的圆心的最终的读回之外在GPU上的操作，并且提供了超过其它常规圆心寻找算法(例如霍夫变换)的速度增加。

本公开的另一个新颖的领域/方面是使用来自摄像机跟踪系统120的任意的摄像机跟踪数据122。本系统的实施例可以与任意的外部跟踪源(例如编码器、GPS等)一起工作。

本公开的软件处理的流程图可以基本上是图7中的视频处理系统130的流程图。

如上所述，来自摄像机跟踪系统的当前摄像机移动数据可以用于生成标记的“去模糊”的图像。这可能是重要的，以便处理跟踪任意程度的摄像机移动。

在该“去模糊”过程中的主要步骤可以包括：

-对于每个像素，使用本摄像机位置和方向和先前的摄像机位置和方向，计算2D移动向量。

-沿着2D移动向量获得一些像素样本，从当前XY位置开始。

-将颜色样本的累积总数添加到一个缓冲器，对颜色进行求和。

-添加起始像素颜色和采样的颜色之间的差异的累积总数。

-将颜色样本总数除以样本的数目以获得平均值。

-将当前像素减去平均的颜色以获得移除了颜色值的缓冲器。

-通过使用颜色差异缓冲器作为权重因子，在起始的颜色图像和经移除的平均值之间线性地插值来生成最终的不模糊的图像。

这可以通过以下的代码实现：

本公开可以商业使用和/或构建于其中的方式/方法的示例可以包括：作为光工艺技术LLC的现有虚拟演播室(PREVIZION)系统的一部分的特征；作为用于其它现有虚拟演播室系统(例如ORAD、Viz-RT和Brainstorm)的附加软件或硬件组件；作为在数字电影摄像机内部运行的嵌入的程序；和作为添加到后期制作工具的软件。附加的硬件组件可以是具有用于输入信号的HDSDI视频输入端、用于输入跟踪和镜头数据的串行输入端或网络输入端、和用于改善的跟踪数据的串行输出端或网络输出端的小型盒子。用户可以可选地打开菜单覆盖图以调整系统参数。附加软件可以通过互联网、在磁盘上、U盘上等传输。如本文公开的，软件可以以是包含用于引起计算机执行特定的过程的程序指令的(永久性)(有形的)计算机可读介质(例如磁盘、硬盘驱动器或其它数据存储设备)的形式。

也就是说，本公开可以用作添加到后期制作工具的软件。对于该工具，本文的软件代码可以容易地移植过来。也就是说，因为代码已经实时工作，本领域的技术人员将根据本公开知道如何使它不实时工作。

以上提到的插件软件可以直接编译到PREVIZION产品中，并且因此可以通过将具有启用的特征的新的构造发送给用户来传输到用户。它可以用单独的硬件形式被发送到用户作为单独的盒子。

在实时虚拟演播室系统(除了PREVIZION系统之外)中可以完成对本公开的修改，例如，通过制作包含大部分代码和用于PREVIZION系统减去3D渲染代码的硬件的硬件盒。(视频硬件I/O、到外部摄像机和镜头跟踪设备的串行连接、和在其上运行高速标记检测函数的GPU仍然被使用)。

在优选的实施例中，视频硬件I/O卡可以是来自Simi Valley,CA的Skymicro Inc.的MerlinIP HDSDI卡。串行连接可以通过计算机技术从业人员已知的标准串行接口卡。GPU可以是nVidia Quadro类型的GPU。主计算机可以是标准的图形工作站类型机器，其细节被计算机绘图的从业人员所熟知。

尽管本文公开的发明已经在优选的实施例方面进行了描述，对以上描述的实施例的许多修改和/或添加将容易对本领域技术人员是明显的。实施例可以被限定，例如，作为由组件中任何一个组件、任何子集或全部组件执行的方法；作为以某些结构性和/或功能性关系的一个或多个组件的系统；作为制造、安装和装配的方法；作为使用的方法；作为商业化的方法；作为不同组件的工具包；作为整个装配的可行的系统；和/或作为子配件或子方法。其旨在本发明的范围延伸到所有这些修改和/或添加。

Claims (29)

1.一种混合式通过镜头的跟踪系统，包括：

第一系统，其包括经校准的查询表并且配置为使用所述经校准的查询表以在针对电影和电视视觉效果制作使用可调节镜头时修改场景标记的搜索方位；

所述第一系统被配置为将所述场景标记的预测的2D方位发送给第二系统；以及

所述第二系统，其被配置为使用高速的基于GPU的场景标记检测方案，该方案使用快速的基于几何图形的搜索来计算所述场景标记的中心的所预测的2D方位。

2.如权利要求1所述的系统，其中所述高速检测小于每标记10毫秒。

3.如权利要求1所述的系统，其中所述高速检测在每标记2毫秒到10毫秒之间。

4.如权利要求1所述的系统，其中所述第一系统还包括操作地连接到所述查询表的数据组合器以及操作地连接到所述数据组合器的目标XY预测器。

5.如权利要求1所述的系统，其中所述系统包含在硬件组件中。

6.如权利要求1所述的系统，其中所述第二系统包括运动模糊移除级、导数检测器、平行线移除器、圆心取景器以及中心表决模块。

7.如权利要求1所述的系统，其中所述场景标记为圆形标记。

8.如权利要求1所述的系统，其中所述场景标记为基准标记、条形码标记或者自然特征标记。

9.一种混合式通过镜头的跟踪方法，包括：

向混合式精确跟踪过程提供经勘测的实景拍摄场景标记方位、实景拍摄图像和组合的摄像机和镜头数据，以产生经过滤波的摄像机姿势数据。

10.如权利要求9所述的方法，其中所述混合式精确跟踪过程包括：使用输入的实景摄像机和镜头数据以预测屏幕标记的方位的2D位置；在围绕所预测的2D位置的区域内搜索标记；计算所述标记的实际XY位置；修改所述摄像机姿势数据以将所预测的位置与实际位置对准；以及滤除产生的角度变化以移除所述过程中的噪声。

11.如权利要求10所述的方法，其中所述标记为圆形标记。

12.如权利要求10所述的方法，其中2D方位预测步骤在中心位置求解步骤之前。

13.如权利要求9所述的方法，其还包括为3D渲染提供经过滤波的姿势，以产生经渲染的3D图像。

14.如权利要求13所述的方法，其还包括2D合成所述实景拍摄图像和经渲染的3D图像以产生合成图像。

15.一种混合式通过镜头的跟踪方法，包括：

读取当前输入的摄像机和镜头信息；

使用镜头位置信息以查询当前镜头参数；

使用存储的镜头参数和摄像机信息以预测场景中的2D标记的方位；

检测所述场景中的实际的2D标记的位置；以及

根据所输入的摄像机位置数据计算必要的角度校正，以最佳地校正所述摄像机的角度位置从而匹配所述实际的2D标记。

16.如权利要求15所述的方法，其中所述信息包括当前测量的摄像机位置和方向，且所述镜头参数包括焦距、失真和入瞳方位。

17.如权利要求16所述的方法，其中所述当前测量的摄像机位置和方向以及所述镜头参数用于在通过所述摄像机拍照时预测场景标记的测量的3D方位的XY位置。

18.如权利要求15所述的方法，其中，检测所述标记的位置包括：去模糊以获得清晰的圆；导数检测以找到所述标记的清晰边缘；移除平行线以移除非圆的事物；中心检测以找到圆的可能的中心；以及中心表决以检测实际的中心。

19.一种混合式精确跟踪方法，包括：

利用预测的摄像机方位数据、勘测的跟踪标记的3D方位数据以及实景拍摄图像，计算经过滤波的姿势。

20.如权利要求19所述的方法，其还包括给3D渲染器发送所述经过滤波的姿势以生成正确对准的经渲染的3D图像。

21.如权利要求20所述的方法，其还包括合成所述正确对准的经渲染的3D图像与实景拍摄图像，以生成合成图像。

22.如权利要求20所述的方法，其中所述计算步骤包括：

测量所述摄像机的位置和方向；

测量所述摄像机的镜头的调整位置；

基于所测量的调整的镜头位置，查询所述镜头的光学参数；

使用摄像机和镜头信息，预测场景中的勘测的物理方位的屏幕上的XY位置；

在围绕所预测的XY位置的区域中搜索表示所述物理方位的实际位置的可检测的标记；

测量使所预测的物理XY方位和实际的物理XY方位之间的误差最小化所需的摄像机角运动的差量；以及

滤除随着时间推移的角度差量值，以移除由所述测量步骤引入的任何角噪声。

23.如权利要求22所述的方法，其中所述可检测的标记是圆。

24.如权利要求22所述的方法，其中所述可检测的标记是基准标记或者自然特征标记。

25.一种混合式通过镜头的跟踪方法，包括：

使用第一系统的经校准的查询表，以在针对电影和电视视觉效果制作使用可调节镜头时修改场景标记的搜索方位；

使用所述第一系统将所述场景标记的预测的2D方位发送给第二系统；以及

使用所述第一系统和所预测的2D方位以最小化所述场景标记的估计的位置和所述场景标记的实际检测的位置之间的二次投影误差。

26.一种找到圆心的方法，包括：

检测图像亮度或者颜色的边缘或斜率，以及将该信息存储在导数图像中；

通过沿着当前导数斜率的法线搜索以选择圆形标记，而从产生的导数图像中移除平行线；

沿着所述当前斜率的方向搜索所述圆的相对侧，从而确定所述圆的中心点的候选；

使用所有所述中心点的累积，表决选出最可能的中心点；以及

利用快速数据传送将最高权重点读出到CPU。

27.如权利要求26所述的方法，其中所述快速数据传送为几何图形着色程序，其后为回读操作。

28.如权利要求26所述的方法，其中所述检测、移除、搜索以及表决步骤通过在图形处理单元上操作的一组片段和几何图形着色程序来完成。

29.如权利要求26所述的方法，其中所述表决包括遍历在所述图像中的一组找到的中心位置，以及通过几何图形着色程序写出每个找到的圆心的顶点。