CN102592301B - 用于多层扩增现实的系统和方法 - Google Patents

Abstract

提供了一种用于多层扩增现实的系统和方法，所述系统和方法可从图像帧中提取目标对象和背景，可跟踪目标对象和背景，可将不同的坐标系应用到与目标对象相应的第一虚拟对象和与背景相应的第二虚拟对象，可独立地控制第一虚拟对象和第二虚拟对象。

Description

用于多层扩增现实的系统和方法

本申请要求于2010年12月14日在韩国知识产权局提交的第10-2010-0127473号韩国专利申请的优先权权益，该申请的公开通过引用合并于此。

技术领域

以下描述的示例实施例涉及一种多层扩增现实系统和方法，更具体地说，涉及一种用于通过将不同的坐标系应用到图像帧中的与目标对象相应的虚拟对象和与背景相应的虚拟对象来独立地控制所述与目标对象相应的虚拟对象和与背景相应的虚拟对象的多层扩增现实系统和方法。

背景技术

扩增现实技术通过表现预定对象连同与所述预定对象相应的虚拟对象来提供特效。通过扩增现实技术，可降低制造成本，并可表现出物理上难以表现的世界。因此，扩增现实技术使用户能够体验到个性化并具有真实感的数字信息。

传统扩增现实技术扩增显现在单个屏幕上的对象的虚拟对象。由于虚拟对象基于与对象相关的坐标系被扩增，因此传统扩增现实技术具有虚拟对象在单个坐标系中不可避免地移动的问题。另外，传统扩增现实技术还具有另一问题，即，当作为扩增虚拟对象的基础的特征点由于遮蔽而被遮盖时，虚拟对象消失。

因此，期望针对屏幕上的每个虚拟对象来扩增虚拟对象，并且即使遮蔽发生也防止虚拟对象消失。

发明内容

通过提供一种多层扩增现实系统来实现以上和/或其它方面，所述多层扩增现实系统包括：提取单元，从图像帧中提取目标对象和背景；跟踪单元，跟踪提取的目标对象和提取的背景；扩增单元，扩增与跟踪的目标对象和跟踪的背景中的每个相应的虚拟对象；显示单元，显示扩增的虚拟对象。

通过提供一种多层扩增现实方法来实现以上和/其它方面，所述多层扩增现实方法包括：从图像帧中提取目标对象和背景；跟踪提取的目标对象和提取的背景；扩增与跟踪的目标和跟踪的背景中的每个相应的虚拟对象；显示扩增的虚拟对象。

还通过提供一种多层扩增现实方法来实现以上和/或其它方面，所述多层扩增现实方法包括：从图像帧中提取目标对象和背景；跟踪提取的目标对象和提取的背景；将不同的坐标系应用于与目标对象相应的第一虚拟对象和与背景相应的第二虚拟对象；基于目标对象绘制第一虚拟对象，基于背景绘制第二虚拟对象。

示例实施例的另外方面、特征和/或优点将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本发明的实施可以被理解。

根据示例实施例，将被跟踪的目标对象和背景可被分离到不同的层，从而虚拟对象可基于目标对象和背景的坐标系来独立地移动，从而提供了更精细的扩增现实。

另外，根据示例实施例，可通过基于不同的坐标系在背景上方表现目标对象，来解决由于遮蔽导致虚拟对象消失的问题。

附图说明

从以下结合附图进行的对示例实施例的描述中，这些和/或其它方面和优点将变成清楚并更易于理解，其中：

图1示出根据示例实施例的多层扩增现实系统100的框图；

图2示出图1的提取单元的框图；

图3示出图1的跟踪单元的框图；

图4示出图3的第一跟踪器的框图；

图5示出图3的第二跟踪器的框图；

图6示出图1的扩增单元的框图；

图7示出基于视觉同步定位和建图(SLAM，simultaneous localization andmapping)的扩增现实的示图；

图8示出基于模型的扩增现实的示图；

图9示出根据示例实施例的多层扩增现实的示图。

具体实施方式

现在将详细参照示例实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下，通过参照附图描述示例实施例以解释本公开。

图1示出根据示例实施例的多层扩增现实系统100的框图。可通过一个或多个处理器、计算机和/或计算机系统来实现图1的多层扩增现实系统100。计算机和/或计算机系统可包括输入装置(诸如一个或多个相机)和输出装置(诸如一个或多个显示器)。

参照图1，多层扩增现实系统100可包括：提取单元101、跟踪单元102、扩增单元103和显示单元104。

提取单元101可从图像帧中提取目标对象和背景。也就是说，提取单元101可对图像帧中的目标对象和背景分层。

跟踪单元102可跟踪提取的目标对象和提取的背景。

扩增单元103可扩增与跟踪的目标对象和跟踪的背景中的每个相应的虚拟对象。这里，扩增单元103可在目标对象的前部扩增与目标对象相应的虚拟对象。另外，扩增单元103可在目标对象的后部扩增与背景相应的虚拟对象。因此，扩增单元103可在背景的前面扩增目标对象。

显示单元104可将扩增的虚拟对象显示在显示装置上。

因此，在多层扩增现实系统100中，由于与目标对象相应的虚拟对象和与背景相应的虚拟对象具有不同的坐标系，因此所述与目标对象相应的虚拟对象和与背景相应的虚拟对象可在单个屏幕上独立地移动。因此，目标对象和虚拟对象可更容易地互相交互(interact)。

另外，在多层扩增现实系统100中，与目标对象相应的虚拟对象可在目标对象的前部被扩增，与背景相应的虚拟对象可在目标对象的后部被扩增，从而可解决在虚拟对象之间发生的遮蔽问题。

图2示出图1的提取单元101的框图。

参照图2，提取单元101可包括对象识别器201、边界提取器202和特征点提取器203。

对象识别器201可在连续输入的图像帧中识别目标对象。例如，对象识别器201可使用二维(2D)图像更快地识别目标对象。

边界提取器202可提取识别的目标对象的边界。

特征点提取器203可从图像帧的区域中提取特征点，其中，所述图像帧的区域通过排除目标对象的提取的边界而获得。

图3示出图1的跟踪单元102的框图。

参照图3，跟踪单元102可包括第一跟踪器301和第二跟踪器302。

第一跟踪器301可跟踪与目标对象相应的第一虚拟对象。另外，第二跟踪器302可跟踪与背景相应的第二虚拟对象。也就是说，跟踪单元102可例如通过将不同的坐标系应用到第一虚拟对象和第二虚拟对象来独立地跟踪第一虚拟对象和第二虚拟对象。

在图3中示出的示例中，例如，第一跟踪器301包括基于模型的跟踪，第二跟踪器302包括基于视觉SLAM的跟踪。

图4示出图3的第一跟踪器301的框图。

参照图4，第一跟踪器301可包括模型匹配单元401和第一位置/方向计算单元402。

模型匹配单元401可将提取的目标对象与存储在数据库中的三维(3D)模型进行匹配。具体地，模型匹配单元401可从数据库中搜索与目标对象相应的3D模型，并可将找到的3D模型与目标对象进行匹配。

第一位置/方向计算单元402可计算第一虚拟对象的位置和方向，其中，第一虚拟对象相应于与目标对象匹配的3D模型。具体地，第一位置/方向计算单元402可计算与第一虚拟对象关联的相机的位置和方向，并可计算第一虚拟对象的位置和方向。

图5示出图3的第二跟踪器302的框图。

参照图5，第二跟踪器302可包括：贴图(map)产生单元501，背景特征点提取器502、特征点匹配单元503和第二位置/方向计算单元504。

贴图产生单元501可使用从图像帧的区域中提取的特征点来产生贴图，其中，所述图像帧的区域通过排除目标对象的提取的边界而获得。

背景特征点提取器502可从图像帧中的背景中提取特征点。

特征点匹配单元503可将贴图的特征点与从背景中提取的特征点进行匹配。

第二位置/方向计算单元504可基于匹配的特征点来计算与背景相应的第二虚拟对象的位置和方向。具体地，第二位置/方向计算单元504可计算在特征点被匹配的当前场景中相机的位置和方向，并可计算第二虚拟对象的位置和方向。

结果，根据示例实施例，可在图像帧中的不同层中将目标对象和背景分离，可在不同的坐标系中计算第一虚拟对象的位置和方向以及第二虚拟对象的位置和方向。

图6示出图1的扩增单元103的框图。

参照图6，扩增单元103可包括：第一虚拟对象绘制单元601、第二虚拟对象绘制单元602和交互单元603。

第一虚拟对象绘制单元601可基于第一虚拟对象的位置和方向来绘制与目标对象相应的第一虚拟对象。第一虚拟对象绘制单元601可在目标对象的前部绘制第一虚拟对象。另外，当在目标对象和背景之间发生遮蔽时，第一虚拟对象绘制单元601可在背景的前面绘制目标对象。

第二虚拟对象绘制单元602可基于第二虚拟对象的位置和方向来绘制与背景相应的第二虚拟对象。这里，可基于贴图产生单元501产生的贴图来绘制第二虚拟对象。第二虚拟对象绘制单元602可在目标对象的后部绘制第二虚拟对象。

交互单元603可执行第一虚拟对象和第二虚拟对象之间的交互，或第一虚拟对象、第二虚拟对象和目标对象之间的交互。

因此，可基于不同的坐标系来独立地绘制第一虚拟对象和第二虚拟对象。

图7示出基于视觉同步定位和建图(SLAM)的扩增现实的示图。

参照图7，可通过以下操作来实现基于视觉SLAM的扩增现实。

在操作(1)，可输入包括背景的图像帧。

在操作(2)，可从输入图像帧的纹理(texture)中提取可用作特征点的作为示例的拐角点，并可产生贴图。

在操作(3)，可基于产生的贴图扩增虚拟对象。

在操作(4)和操作(5)，即使相机的视点被改变，由于形成贴图的特征点之间的相关性，虚拟对象的位置也会被固定。

基于视觉SLAM的扩增现实的优点可在于不需要单独的标记或模型。然而，在基于视觉SLAM的扩增现实中，当鲁棒性相对降低时，并且当形成贴图的特征点由于遮蔽被覆盖时，可能无法计算输入图像帧的相机的位置。另外，在基于视觉SLAM的扩增现实中，由于基于特征点的排列模式而扩增的虚拟对象的位置被确定，因此所有的虚拟对象可存在于相同的坐标系中。

图8示出基于模型的扩增现实的示图。

参照图8，可通过以下操作来实现基于模型的扩增现实。

在操作(1)，可输入图像帧。

在操作(2)，可从输入图像帧中搜索与注册在数据库中的3D模型相应的目标对象，并可将找到的目标对象与3D模型进行匹配。

在操作(3)，可基于与3D模型匹配的目标对象来扩增虚拟对象。

在操作(4)，可通过针对连续输入的图像帧的每一帧重复操作(1)到操作(3)，基于目标对象移动虚拟对象。

其优点在于，基于模型的扩增现实在跟踪目标对象方面会具有较好的鲁棒性，并可使交互能够被执行，从而可通过目标对象的移动来改变虚拟对象的位置。然而，在基于模型的扩增现实中，为了将3D模型与目标对象进行匹配，3D模型需要被预先存储，并且当3D模型变得复杂时，更加难以实时处理3D模型。另外，在诸如背景的较大区域的情况下，难以应用基于模型的扩增现实。

图9示出根据示例实施例的多层扩增现实的示图。

可通过将基于模型的扩增现实和基于视觉SLAM的扩增现实进行组合来配置图9的多层扩增现实。也就是说，可将基于模型的扩增现实应用到目标对象，并可将基于视觉SLAM的扩增现实应用到背景。

参照图9，根据示例实施例的多层扩增现实系统可执行以下操作：

在操作(1)，可通过例如相机输入图像帧。

在操作(2)，可从输入图像帧中搜索与存储在数据库中的3D模型相应的目标对象，可将找到的目标对象与3D模型进行匹配。可从图像帧的区域的纹理中提取可用作特征点的作为示例的拐角点，并可产生贴图，其中，所述图像帧的区域通过排除目标对象的分离的边界而获得。

在操作(3)，可通过将目标对象与3D模型精确地匹配来计算虚拟对象的位置和方向。

在操作(4)，可使用虚拟对象的计算的位置和计算的方向，基于目标对象扩增虚拟对象。

在操作(5)，可使用在操作(2)产生的贴图，基于背景扩增虚拟对象。

在操作(6)，可将在操作(4)扩增的虚拟对象和在操作(5)扩增的虚拟对象绘制在一起。

因此，即使在同一屏幕，也可将虚拟对象的层分离为目标对象和背景，从而虚拟对象可具有不同的坐标系。也就是说，基于背景扩增的虚拟对象和基于目标对象扩增的虚拟对象可在不同的坐标系中独立地移动。

因此，当虚拟对象独立地移动时，目标对象和与目标对象相应的虚拟对象可自由地互相交互。另外，可在目标对象的后部扩增与背景相应的虚拟对象，并可在目标对象的前部扩增与目标对象相应的虚拟对象，因此，可解决遮蔽问题。

多层扩增现实系统可经过以下处理操作。

当连续的图像帧被输入时，多层扩增现实系统可从当前图像帧中搜索与存储在数据库中的3D模型相应的目标对象。当找到与3D模型相应的目标对象时，多层扩增现实系统可将目标对象与3D模型进行匹配，并可估计与3D模型相应的虚拟对象的位置和方向。

同时，多层扩增现实系统可基于通过排除将被跟踪的目标对象而获得的背景，从当前图像帧中提取特征点，并可产生贴图。随后，多层扩增现实系统可计算基于背景扩增的虚拟对象的位置和方向。因此，多层扩增现实系统可通过反映基于背景扩增的虚拟对象的位置和方向以及基于目标对象扩增的虚拟对象的位置和方向来执行渲染。这里，由于有可能发生遮蔽，因此多层扩增现实系统不会在目标对象的边界扩增基于背景扩增的虚拟对象。

根据上述的示例实施例的方法可被记录在非暂时性计算机可读介质中，所述非暂时性计算机可读介质包括用于执行由计算机实现的各种操作的程序指令。所述介质还可单独包括数据文件、数据结构等或者还可包括与程序指令组合的数据文件、数据结构等。记录在介质上的程序指令可以是专门为示例实施例的目的而设计和构造的程序指令，或可以是计算机软件领域的技术人员公知并可用的程序指令。

可在计算硬件(计算设备)和/或软件(诸如(在非限制性示例中)可存储数据、检索数据、处理数据和/或输出数据并/或与其它计算机通信的任何计算机)中实现实施例。产生的结果可被显示在计算硬件的显示器上。实现实施例的程序/软件可被记录在包括计算机可读记录介质的非暂时性计算机可读介质上。计算机可读记录介质的示例包括：磁记录设备、光盘、磁光盘和/或半导体存储器(例如，RAM、ROM等)。磁记录设备的示例包括：硬盘驱动器(HDD)、软盘(FD)和磁带(MT)。光盘的示例包括DVD(数字通用盘)、DVD-RAM、CD-ROM(压缩盘-只读存储器)和CD-R(可记录)/RW。

此外，根据实施例的一方面，可提供所描述的特征、功能和/或操作的任何组合。

虽然已示出和描述了示例实施例，但是本领域技术人员将理解，可在不脱离本公开的原理和精神的情况下，对这些示例实施例进行改变，本公开的范围由权利要求及其等同物限定。

Claims (22)

1.一种多层扩增现实系统，包括：

至少一个计算机，包括：

提取单元，从图像帧中提取目标对象和背景；

跟踪单元，跟踪提取的目标对象和提取的背景；

扩增单元，扩增与跟踪的目标对象和跟踪的背景中的每个相应的虚拟对象；

显示单元，显示扩增的虚拟对象，

其中，扩增单元基于不同的坐标系独立地绘制与目标对象相应的第一虚拟对象和与背景相应的第二虚拟对象。

2.如权利要求1所述的多层扩增现实系统，其中，提取单元包括：

对象识别器，识别图像帧中的目标对象；

边界提取器，提取目标对象的边界；

特征点提取器，从图像帧的区域中提取特征点，其中，所述图像帧的区域通过排除目标对象的提取的边界而获得。

3.如权利要求1所述的多层扩增现实系统，其中，跟踪单元包括：

第一跟踪器，跟踪与目标对象相应的第一虚拟对象；

第二跟踪器，跟踪与背景相应的第二虚拟对象。

4.如权利要求3所述的多层扩增现实系统，其中，第一跟踪器包括：

模型匹配单元，将目标对象与存储在数据库中的3D模型匹配；

第一位置/方向计算单元，计算第一虚拟对象的位置和方向，其中，第一虚拟对象相应于与目标对象匹配的3D模型。

5.如权利要求3所述的多层扩增现实系统，其中，第二跟踪器包括：

贴图产生单元，使用从图像帧的区域中提取的特征点来产生贴图，其中，所述图像帧的区域通过排除目标对象的提取的边界而获得；

背景特征点提取器，从图像帧中的背景中提取特征点；

特征点匹配单元，将贴图的特征点与从背景中提取的特征点匹配；

第二位置/方向计算单元，基于匹配的特征点计算第二虚拟对象的位置和方向，其中，第二虚拟对象相应于背景。

6.如权利要求3所述的多层扩增现实系统，其中，扩增单元包括：

第一虚拟对象绘制单元，基于第一特征对象的位置和方向，绘制与目标对象相应的第一虚拟对象；

第二虚拟对象绘制单元，基于第二虚拟对象的位置和方向，绘制与背景相应的第二虚拟对象；

交互单元，执行第一虚拟对象和第二虚拟对象之间的交互，或者第一虚拟对象、第二虚拟对象和目标对象之间的交互。

7.如权利要求6所述的多层扩增现实系统，其中，第一虚拟对象绘制单元在目标对象的前部绘制第一虚拟对象，

其中，第二虚拟对象绘制单元在目标对象的后部绘制第二虚拟对象。

8.一种多层扩增现实方法，包括：

从图像帧中提取目标对象和背景；

跟踪提取的目标对象和提取的背景；

扩增与跟踪的目标对象和跟踪的背景中的每个相应的虚拟对象；

显示扩增的虚拟对象，

其中，扩增的步骤包括：基于不同的坐标系独立地绘制与目标对象相应的第一虚拟对象和与背景相应的第二虚拟对象。

9.如权利要求8所述的多层扩增现实方法，其中，提取的步骤包括：

识别图像帧中的目标对象；

提取目标对象的边界；

从图像帧的区域中提取特征点，其中，所述图像帧的区域通过排除目标对象的提取的边界而获得。

10.如权利要求8所述的多层扩增现实方法，其中，跟踪的步骤包括：

跟踪与目标对象相应的第一虚拟对象；

跟踪与背景相应的第二虚拟对象。

11.如权利要求10所述的多层扩增现实方法，其中，跟踪第一虚拟对象的步骤包括：

将目标对象与存储在数据库中的3D模型匹配；

计算第一虚拟对象的位置和方向，其中，第一虚拟对象相应于与目标对象匹配的3D模型。

12.如权利要求10所述的多层扩增现实方法，其中，跟踪第二虚拟对象的步骤包括：

使用从图像帧的区域中提取的特征点来产生贴图，其中，所述图像帧的区域通过排除目标对象的提取的边界而获得；

从图像帧中的背景中提取特征点；

将贴图的特征点与从背景中提取的特征点匹配；

基于匹配的特征点计算第二虚拟对象的位置和方向，其中，第二虚拟对象相应于背景。

13.如权利要求10所述的多层扩增现实方法，其中，扩增的步骤包括：

基于第一特征对象的位置和方向，绘制与目标对象相应的第一虚拟对象；

基于第二虚拟对象的位置和方向，绘制与背景相应的第二虚拟对象；

执行第一虚拟对象和第二虚拟对象之间的交互，或者第一虚拟对象、第二虚拟对象和目标对象之间的交互。

14.如权利要求13所述的多层扩增现实方法，其中，绘制第一虚拟对象的步骤包括：在目标对象的前部绘制第一虚拟对象，

其中，绘制第二虚拟对象的步骤包括：在目标对象的后部绘制第二虚拟对象。

15.一种多层扩增现实方法，包括：

从图像帧中提取目标对象和背景；

跟踪提取的目标对象和提取的背景；

将不同的坐标系应用到与目标对象相应的第一虚拟对象和与背景相应的第二虚拟对象；

基于目标对象绘制第一虚拟对象，并基于背景绘制第二虚拟对象。

16.如权利要求15所述的多层扩增现实方法，其中，绘制的步骤包括：

当目标对象和背景之间发生遮蔽时，在背景的前面绘制目标对象。

17.一种计算机系统，包括：

输入装置，输入图像帧；

多层扩增现实系统，包括：

提取单元，从图像帧提取目标对象和背景；

跟踪单元，通过将不同的坐标系应用到提取的目标对象和提取的背景，来跟踪提取的目标对象和提取的背景；

扩增单元，扩增与跟踪的目标对象和跟踪的背景中的每个相应的虚拟对象；

显示单元，显示扩增的虚拟对象。

18.如权利要求17所述的计算机系统，其中，跟踪单元包括：

第一跟踪器，将第一坐标系应用到提取的目标对象，

第二跟踪器，将第二坐标系应用到提取的背景。

19.如权利要求18所述的计算机系统，其中：

第一跟踪器将提取的目标对象与存储在数据库中的3D模型匹配，并计算与相应于3D模型的第一虚拟对象关联的相机的位置和方向，

第二跟踪器将贴图的特征点与从前景提取的特征点匹配，并基于匹配的特征点计算与提取的背景相应的第二虚拟对象的位置和方向。

20.一种多层扩增现实系统的方法，包括：

由相机输入图像帧；

从输入图像帧中搜索目标对象，将目标对象与存储在数据库中的相应的3D模型匹配；

从输入图像帧的区域的纹理中提取特征点，并产生贴图，其中，所述输入图像的区域通过排除目标对象的分离的边界而获得；

通过将目标对象与3D模型匹配来计算第一虚拟对象的位置和方向；

通过使用第一虚拟对象的计算的位置和计算的方向，基于目标对象扩增第一虚拟对象；

使用产生的贴图，基于背景扩增第二虚拟对象；

将第一扩增的虚拟对象和第二扩增的虚拟对象绘制在一起,

其中，第一虚拟对象和第二虚拟对象具有不同的坐标系，第一扩增的虚拟对象和第二扩增的虚拟对象在不同的坐标系中独立地移动。

21.如权利要求20所述的方法，还包括：

由显示器显示绘制在一起的第一扩增的虚拟对象和第二扩增的虚拟对象。

22.如权利要求21所述的方法，其中，

在显示器上，第一虚拟对象和第二虚拟对象的层被分离为目标对象和背景。