CN103996184B - 增强现实应用中的可变形表面跟踪 - Google Patents

Abstract

本发明提供一种用于增强现实应用的可变形表面上的标记跟踪的计算机实施方法，包括：在一个视频拍摄场景中的当前视频帧内，检测图像关键点；进行关键点关联搜索，并匹配图像关键点和标记的原始图像中的模型关键点，包括：为每个图像关键点，计算关键点匹配分值；在关键点匹配分值上使用关键点匹配分值滤波；将在当前视频帧上搜索一个或多个图像关键点，限制在和所述拍摄的视频帧中先前视频帧相同的网格块中搜索；在确定图像关键点是否是成功匹配时，在关键点匹配分值上使用一个自适应阈值；在视频拍摄场景中，进行标记的运动检测，如果标记有大幅度运动时，停止关键点匹配分值滤波，停止图像关键点搜索限制。

Description

增强现实应用中的可变形表面跟踪

【技术领域】

本发明涉及在增强现实（augmented reality,AR）应用里的标记跟踪（trackingof a marker）。本发明特别涉及在实际生活AR应用里的一种柔性的或可变形的标记跟踪。

【背景技术】

增强现实（AR）是通过使用传感器、计算机产生的数据、和/或多媒体播放设备，并结合虚拟对象和/或对物理现实世界环境的感知信息，以增强用户对物理真实世界环境的感知。例如，可以使用相机来拍摄场景视频，以及使用显示单元如视频眼镜或护目镜来投影计算机处理的场景视图给观看者。与虚拟现实（虚拟现实是，给观看者呈现的是一个完全虚假的计算机生成的场景）不同，只有某些计算机生成的图像或虚拟对象会叠加到计算机处理的场景视频中。计算机生成的图像或虚拟对象可以是与观看者互动的，或者通过用户实时控制而驱动的，或者通过预设的设置和指令而驱动的。

AR技术的一个重要指标是，感知到的增强视频到底有多逼真，或者计算机生成的图像或虚拟对象和场景的结合到底有多好。这要求计算机生成的图像或虚拟对象和它们在场景内的摆放位置，在整个运动序列中或场景的连续视频帧中有合适的关联。现有AR技术中的一个常见问题是，二维平面标记摆放在拍摄场景视频中虚拟对象上的三维坐标和方位的跟踪。在整个场景运动序列中，标记的跟踪使得虚拟对象能够在标记位置和方位上被叠加到场景中。

但是，本领域现有技术的状况是，对解决虚拟对象的跟踪标记放置在视频场景里一个可变形表面上的情况，并没有用一个令人满意的技术。可变形表面可以是一个柔软物品，如一个正在运动的人的衬衫、一个飘扬的旗帜、或流动的水的表面。叠加在可变形表面上的虚拟对象，在一个运动序列中不仅需要正确地出现在合适位置上合适方位上，它的纹理和形状还必须改变随着可变形表面的变形而改变。

【发明内容】

本发明的一个目的是提供一种用于增强现实（AR）应用的标记跟踪方法，其中所述标记被放置在一个可变形表面上。本发明的另一个目的是提供所述的标记跟踪方法的特征在于，具有提高的标记跟踪稳定性、标记关键点的匹配精度，减少标记的纹理粘性，并在背景照明波动和视频噪声下有更好的标记关键点匹配。

根据本发明的各种实施例，为了跟踪一个位于可变形表面上的标记，为视频拍摄场景中的标记生成一个多边形网格。多边形网格是为了跟踪标记在整个视频拍摄场景运动序列（或视频帧）中的三维位置、方向，以及三维变形。

在为视频拍摄场景中的标记生成多边形网格时，首先找到标记图像（markerimage）的原始关键点。关键点可以是一个尖锐的图案特征，如一个角、一个边缘，或在标记图像中一个物体上的一个兴趣点。在各种实施例中，可以使用现有的边缘/角/兴趣点检测方法或现有的特征检测技术来检测关键点。然后在视频拍摄场景的每个后续视频帧中，搜索同一个关键点，并与原始关键点进行匹配，这是关键点关联匹配过程（key-point-corresponding matching process）。

在关键点关联匹配过程中，计算关键点匹配分值（key-point matching score），该分值表示随后视频帧中找到的候选关键点与标记图像中的原始关键点之间的匹配程度。如果当前视频帧中找到的候选关键点的匹配分值高于一个预定的匹配阈值，那么就认为是一个成功匹配。最后，当前视频帧中和原始标记图像或第一个视频帧的标记图像的多边形网格的成功匹配的关键点信息被用于产生当前视频帧中标记的修复多边形网格（recovered polygon mesh）。因此，修复的多边形网格反映了视频拍摄场景中标记从先前视频帧到当前视频帧的三维位置、方向、三维变形上的变化。因此，位于可变形表面上的标记是通过一系列视频帧的一系列修复的多边形网格而跟踪的。

根据本发明的一个实施例，上述生成的标记的多边形网格，通过结合以下方法，可以在关键点匹配精度和标记跟踪稳定性方面带来增强效果：关键点匹配分值滤波；将当前视频帧中的候选关键点的搜索，限制在和先前视频帧中相同的网格块中；在确定候选关键点是否是成功匹配时，使用一个自适应阈值；并且对视频拍摄场景中的标记进行运动检测。

关键点匹配分值滤波的应用是为了减少在关键点匹配分值计算时视频噪声引入的抖动。当为多个视频帧计算某个特定关键点的关键点匹配分值时，偶尔会出现尖锐的负尖峰。实验表明，这些帧间关键点匹配分值的负尖峰很可能是由视频噪声造成的，而并不是候选关键点的不匹配或弱匹配。关键点匹配分值滤波的使用可以平滑帧间关键点匹配分值。在一个实施例中，负尖峰由帧间关键点匹配分值的加权平均值或移动平均值代替。在另一个实施例中，负尖峰由它们的前一分值取代。

修复的多边形网格所在的视频帧像素块被称为网格块（mesh block）。有时，由于视频噪声或其他视频影响，会在网格块的外部发现错误的关键点，当然这不可能是标记的有效关键点。在候选关键点搜索时限制网格块关键点搜索，是为了将当前视频帧中关键点搜索和匹配限制在和先前视频帧中相同的网格块内。这样，性能和精度都会得以提高。

在视频拍摄场景的整个运动序列中，背景照明的波动和视频噪声会使像素特性（如颜色和强度梯度）从一个视频帧到另一个视频帧有所改变。相应地，在具有不同背景照明和/或视频噪声的不同视频帧中找到的并正确匹配的同一关键点，在不同视频帧中可能有完全不同的关键点匹配分值。对所有视频帧，在判断是否成功匹配时，如果使用固定的阈值将不可避免地导致不正确的判断，将有效的关键点判断为不匹配。因此，本发明一个实施例使用自适应阈值，来判断视频帧中找到的关键点是否成功匹配，以适应不断变化的背景照明和/或视频噪声。在一个实施例中，自适应阈值是帧间关键点匹配分值的一个折扣移动平均值（discounted moving average），或是小于一个缓冲值的帧间关键点匹配分值的一个移动平均值。

因为标记的位置在运动序列中会发生变化，当标记从先前视频帧有大幅度移动时，网格块关键点搜索限制可能会找不到那些位于当前视频帧网格块之外的有效图像关键点，同时，关键点匹配分值计算也必须对那些找到的但与标记图像的原始关键点不匹配的关键点要更敏感。因此，当标记大幅度移动时，网格块关键点的搜索限制会被暂停，关键点匹配分值滤波的应用也被暂停。

在一个实施例中，通过使用从先前视频帧修复的多边形网格的顶点和从当前视频帧修复的多边形网格的顶点，来计算运动向量。如果运动向量大于一个预定的标记移动阈值，那么对于下一个要处理的视频帧，网格块关键点搜索限制被暂停，关键点匹配分值滤波应用程序也停止，直到运动矢量（其被连续地计算）不再大于所述预定的标记移动阈值。

【附图说明】

以下将参照附图更详细地描述本发明的实施例，其中：

图1显示本发明一个实施例的用于增强现实（AR）应用中的可变形表面上标记跟踪方法的流程图；

图2显示本发明一个实施例的示例性帧间关键点匹配分值（左图）和关键点匹配分值滤波后的帧间关键点匹配分值（右图）；

图3显示一个视频帧的标记的示例性网格块，其中一些关键点在网格块内部，一些关键点在外部；

图4显示本发明一个实施例中的一个示例性的帧间关键点匹配分值及自适应阈值。

【具体实施方式】

在以下描述中，使用优选实施例来阐述用于增强现实（AR）等应用中的在可变形表面上跟踪标记的方法和系统。凡是对其做出没有脱离本发明范围和精神的修改，包括增加和/或替换，对本领域普通技术人员都是显而易见的。为了不模糊本发明，可能会省略一些具体细节，但是，本披露会使本领域普通技术人员能够实现本教义，而无需进行过多的试验。

参见图1。根据本发明的各种实施例，为了跟踪一个放置在可变形表面上的标记，为该标记在一个视频拍摄场景中生成一个多边形网格。该多边形网格是为了能在整个视频拍摄场景的运动序列（或视频帧）中跟踪该标记的三维位置、二维方位、以及三维变形。

在视频拍摄场景中产生标记的多边形网格时，首先找到标记图像（111）的最初关键点（以下称为模型关键点（model-key-point））（113），标记图像（111）可以是该标记的一个原始图像。关键点可以是一个锐利的图案特征，如一个角落、一个边缘、或在该标记图像中物体上的一个兴趣点。在各种实施例中，可以使用现有技术的边缘/角落/兴趣点检测方法或特征检测技术来检测模型关键点（112）。然后在视频拍摄场景的每个后续视频帧中，搜索同一个关键点并与模型关键点进行匹配，这是关键点关联匹配过程（131）。

在关键点关联匹配过程中（131），计算关键点匹配分值，该分值表示在后续视频帧中找到的候选关键点（以下称为图像关键点）（123）和模型关键点之间的匹配程度。只有在当前视频帧（121）中找到的图像关键点的匹配分值高于一个预定的匹配阈值时，才认为是一个成功的匹配。最后，在当前视频帧和标记原始图像或第一个视频帧的标记图像的最初标记多边形网格（115）中，成功匹配图像关键点的信息（也称为关键点关联）（132）被用于在当前视频帧中产生一个修复的标记多边形网格（134）。修复的多边形网格（134）反映了该标记从先前视频帧到当前视频帧的三维位置和方位上的变化，以及三维变形的变化。因此，一个位于可变形表面上的标记，是由一系列视频帧中生成的一系列的修复多边形网格来跟踪的。

仍参照图1。根据本发明的一个实施例，上述生成的多边形网格，通过结合以下方法，给标记在关键点匹配精度和标记跟踪稳定性方面带来了增强效果：关键点匹配分值滤波（也称为尖峰去除）（101）；将当前视频帧中的图像关键点搜索，限制在和先前视频帧中相同的网格块中（也称为块搜索和匹配）（102）；在确定图像关键点是否是成功匹配时，使用一个自适应阈值（104）；并且对视频拍摄场景中的标记进行运动检测（103）。

关键点匹配分值滤波（101）的应用是为了减少在关键点匹配分值计算时视频噪声引入的抖动。当为多个视频帧计算某个特定图像关键点的关键点匹配分值时，偶尔会出现尖锐的负尖峰。图2的左半边图表显示一个示例性的多个视频帧的帧间关键点匹配分值，其有尖锐的负尖峰。实验表明，这些帧间关键点匹配分值的负尖峰可能是由视频噪声造成的，而不是候选关键点的不匹配或弱匹配。关键点匹配分值滤波的使用可以平滑帧间关键点匹配分值。在一个实施例中，负尖峰由帧间关键点匹配分值的加权平均值或移动平均值代替。在另一个实施例中，负尖峰由它们的前一分值取代。图2的右半图表显示关键点匹配分值滤波后的帧间关键点匹配分值。

修复的多边形网格所在的视频帧像素块被称为网格块。有时，由于视频噪声或其他视频影响，会在网格块的外部发现图像关键点，当然这不可能是标记的有效图像关键点。图3显示了这样一个例子，其中有一些图像关键点被发现在视频帧标记网格块的内部，有一些被发现在网格块的外部。在图像关键点搜索时的网格块关键点搜索限制，是为了将当前视频帧中关键点搜索和匹配限制在和先前视频帧中相同的网格块内。这样，性能和精度都会得以提高。

在视频拍摄场景的整个运动序列中，背景照明的波动和视频噪声会使像素特性（如颜色和强度梯度）从一个视频帧到另一个视频帧有所改变。相应地，在具有不同背景照明和/或视频噪声的不同视频帧中找到的并正确匹配的同一图像关键点，在不同视频帧中可以有完全不同的关键点匹配分值。对所有视频帧，在判断是否成功匹配时，如果使用固定的阈值将不可避免地导致不正确的判断，将有效的图像关键点判断为不匹配。因此，本发明一个实施例使用自适应阈值，来判断视频帧中找到的关键点是否成功匹配，以适应不断变化的背景照明和/或视频噪声。在一个实施例中，自适应阈值是帧间关键点匹配分值的一个折扣移动平均值（discounted moving average），或是低于一个缓冲值（buffer value）的帧间关键点匹配分值的移动平均值。图4显示一个示例性的帧间关键点匹配分值与一个自适应阈值。

因为标记的位置在运动序列中会发生变化，当标记从先前视频帧有大幅度移动时，网格块关键点搜索限制可能会找不到那些位于当前视频帧网格块之外的有效图像关键点，同时，关键点匹配分值计算也必须对那些找到的但不与模型关键点匹配的图像关键点要更敏感。因此，当标记大幅度移动时，网格块关键点的搜索限制会被暂停，关键点匹配分值滤波的应用也被暂停。

在一个实施例中，通过使用由从先前视频帧修复的多边形网格的顶点和由当前视频帧修复的多边形网格的顶点，来计算运动向量。如果运动向量大于一个预定的标记移动阈值，那么对于下一个要处理的视频帧，网格块关键点搜索限制被暂停，关键点匹配分值滤波应用程序也停止，直到运动矢量（其被连续地计算）不再大于所述预定的标记移动阈值。这样，标记的纹理粘性（texture stickiness）大大降低。

根据本发明的各种实施例，关键点关联匹配过程可以通过所有上述过程模块或以下任何组合来增强：关键点匹配分值滤波应用；将当前视频帧中的图像关键点搜索限制在和先前视频帧相同的网格块之内；在确定图像关键点是否是成功匹配时使用自适应阈值；在视频拍摄场景中对标记进行同时地或连续地运动检测。

通过使用通用或专用计算装置、计算机处理器、或包括但不限于数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）的电子电路、以及依照本披露而配置或编程的其它可编程逻辑装置，可以实施在此披露的本发明。根据本披露的教义，本领域普通技术人员能够容易地准备在通用或专用计算装置、计算机处理器、或可编程逻辑装置上运行的计算机指令或软件代码。

在一些实施例里，本发明包括其中存有计算机指令或软件代码的计算机存储媒介，这些指令和代码可被用来编程计算机或微处理器以执行本发明的任何过程。存储媒介可以包括但不限于软盘、光盘、蓝光光盘、DVD、CD-ROM、以及磁光盘、ROM、RAM、闪存装置、或适合存储指令、代码和/或数据的任何类型的媒介或装置。

出于说明和描述的目的，已提供了对本发明的前面的描述。其不是穷尽性的，也不将本发明限于所揭示的确切形式。鉴于以上教示，许多修改和变形对本领域普通技术人员是显而易见的。

在此所选择的和所描述的实施例是为了更好地解释本发明的原理及其实施应用，从而本领域普通技术人员能够理解本发明的不同实施例、以及根据具体特定应用而做出不同修改。这意味着本发明的范围是由所附权利要求及其等价物设定。

Claims (6)

1.一种用于增强现实应用的可变形表面上的标记跟踪的计算机实施方法，包括：

在一个视频拍摄场景中的当前视频帧内，检测一个或多个图像关键点；

进行关键点关联匹配，包括：

对应于一个或多个模型关键点，在所述拍摄的视频帧的当前视频帧中，搜索一个或多个图像关键点，其中所述一个或多个模型关键点是从所述标记的原始图像中找到的；

为每个所述图像关键点，计算关键点匹配分值；

在所述关键点匹配分值上使用关键点匹配分值滤波；

将在所述当前视频帧上对一个或多个图像关键点的搜索，

限制在和所述拍摄的视频帧中先前视频帧相同的网格块中；

其中不断变化的背景照明和/或视频噪声使得同一图像关键点在不同视频帧中可以有完全不同的关键点匹配分值，在确定所述图像关键点是否是成功匹配时，为每个所述图像关键点的关键点匹配分值，使用一个自适应阈值以适应不断变化的背景照明和/或视频噪声；

使用图像关键点和所述标记的原始标记多边形网格的成功匹配信息，在所述当前视频帧中产生所述标记的一个修复的多边形网格；

重复以上步骤，产生所述标记的一系列修复的多边形网格，用于跟踪所述标记。

2.如权利要求1所述的方法，还包括：

在所述视频拍摄场景中，进行所述标记的运动检测，包括：

使用所述拍摄视频帧的当前视频帧中的所述标记的所述修复的图像网格，和所述先前视频帧中的所述标记的所述修复的图像网格，计算一个或多个运动向量；

比较所述计算的运动向量和一个移动阈值；

如果所述计算的运动向量大于所述移动阈值，那么停止所述关键点匹配分值滤波，停止所述图像关键点搜索限制，直到所述运动向量不再大于所述移动阈值。

3.如权利要求1所述的方法，其中所述关键点匹配分值滤波将一个图像关键点的所述关键点匹配分值的一个负尖峰替换为在两个或多个先前视频帧中计算的所述图像关键点的两个或多个关键点匹配分值的加权平均值。

4.如权利要求1所述的方法，其中所述关键点匹配分值滤波将一个图像关键点的所述关键点匹配分值的一个负尖峰替换为在先前视频帧中计算的所述图像关键点的关键点匹配分值。

5.如权利要求1所述的方法，其中用于所述图像关键点的所述自适应阈值是在两个或多个先前视频帧中计算的所述图像关键点的关键点匹配分值的折扣移动平均值。

6.如权利要求1所述的方法，其中用于所述图像关键点的所述自适应阈值是在两个或多个先前视频帧中计算的所述图像关键点的关键点匹配分值的移动平均值。