CN104508697A - 用于提供增强现实服务的方法、服务器和计算机可读记录介质 - Google Patents

Abstract

根据本发明的一些方面，提供有一种用于提供增强现实服务的方法，包括：(a)通过摄像机接收图像；(b)在图像匹配服务器中对输入图像执行图像匹配操作；(c)如果图像与预先存储的图像当中的特定图像匹配，则通过API服务器使用图像匹配的结果来确定图像是否可以实现为增强现实；(d)如果确定图像可以实现为增强现实，则通过AR内容服务器来提供用于实现增强现实场景的增强现实内容；以及(e)通过终端使用增强现实内容来实现增强现实。通过在实现增强现实之前应用图像匹配技术而从服务器仅接收将对应图像实现为增强现实所需的数据，可以将通过摄像机输入的各种图像实现为增强现实，而不用将实现增强现实所需的数据存储在终端的有限存储器空间中。

Description

用于提供增强现实服务的方法、服务器和计算机可读记录介质

技术领域

本发明涉及用于提供增强现实服务的方法、服务器和计算机可读记录介质，并且更具体的说，涉及用于提供增强现实服务的方法、可提供增强现实服务的服务器和计算机可读记录介质，其在不受有限存储器空间限制的情况下并且使用图像匹配技术来确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为运动图像等的区域，并且输出与对应区域相关的内容。

背景技术

增强现实(AR)是将用户眼中示出的现实世界与带有附加信息的虚拟世界组合在一起并且将组合后的世界作为一个图像示出的一种虚拟现实。尽管这样的增强现实与虚拟现实有部分相似，但虚拟现实仅向用户提供虚拟的空间和对象，而增强现实则在现实世界输入的基础上合成虚拟信息，并且提供通过仅从现实世界难以获得的附加信息所加强的合成信息。与基于完美的虚拟世界的虚拟现实不同，增强现实可以通过向现实世界的环境添加虚拟对象来为用户提供更加生动的现实感。增强现实服务的研究和开发自20世纪90年代后期开始在美国和日本开始发展，并且最近，由于诸如手机、个人数字助理(PDA)、超便携移动个人电脑(UMPC)等的移动设备的计算能力的改进及无线网络设备的进步而提供了各种增强现实服务。例如，可以通过手机摄像机拍摄现实环境中的对象，并且与该对象相关的属性信息可以通过虚拟方式创建并与要在屏幕上输出的实际环境的对象相组合。

提供这样的增强现实服务的常规技术的示例在2012年1月10日公开的、公开号为No.10-2012-0003323、标题为“Mobile terminal and method ofdisplayinginformation using augmented reality thereof(使用其增强现实来显示信息的移动终端和方法)”的韩国专利特开公布中有公开。因为在增强现实中提供的关于对象的信息应当存储在终端的有限存储器中并且使用该信息来实现增强现实以提供这样的常规增强现实服务，所以存在这样的问题：能够在增强现实中实现的图像的量可能受到限制。此外，还存在这样的问题：只通过简单确定区域是否需要实现作为增强现实，难以重现各种各样的内容。

发明内容

技术问题

本发明的目的是解决上述所有问题。

此外，本发明的另一目的在于提供用于提供增强现实服务的方法、服务器和计算机可读记录介质，其可以通过以下来将各种图像实现为增强现实：使用图像匹配技术从服务器接收用于将对应图像实现为增强现实所需的数据并实现增强现实，而不用将实现增强现实所需的数据存储在终端的有限存储器空间中。

此外，本发明的又一目的在于提供用于提供增强现实服务的方法、服务器和计算机可读记录介质，其确定输入图像上的内容是对应于要显示作为增强现实的区域还是对应于要重放为一般图像等的区域，并且输出与对应区域相关的内容。

概述

用于达到上述目的的本发明的代表性配置如下：

根据本发明的一些方面，提供有一种用于使用应用编程接口(API)服务器来提供增强现实服务的方法，包括：如果通过终端的摄像机输入的图像作为由图像匹配服务器对作为目标的输入图像执行图像匹配操作的结果而被确定与预先存储在图像匹配服务器中的图像当中的特定图像匹配，则通过API服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由API服务器接收的；以及如果与输入图像相关的内容被决定显示作为增强现实，则通过API服务器直接请求增强现实(AR)内容服务器提供用于实现增强现实场景的增强现实内容，或者通过API服务器经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

根据本发明的一些其他方面，提供有一种用于使用AR内容服务器来提供增强现实服务的方法，包括：如果由图像匹配服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并确定输入图像与预先存储在图像匹配服务器中的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容是否被决定显示作为增强现实并确定与输入图像相关的内容被决定显示作为增强现实，则通过AR内容服务器直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者通过AR内容服务器经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及通过AR内容服务器将增强现实内容发送到终端。

根据本发明的进一步的方面，提供有一种用于使用第一增强现实服务提供服务器来提供增强现实服务的方法，包括：如果第一增强现实服务提供服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储在第一增强现实服务提供服务器中的图像当中的特定图像匹配，则通过第一增强现实服务提供服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及如果第一增强现实服务提供服务器确定与输入图像相关的内容被决定显示作为增强现实，则通过第一增强现实服务提供服务器直接请求AR内容服务器提供用于实现增强现实场景的增强现实内容，或者通过第一增强现实服务提供服务器经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

根据本发明的再进一步的方法，提供有一种用于使用第二增强现实服务提供服务器来提供增强现实服务的方法，包括：如果作为由图像匹配服务器对作为目标的输入图像执行图像匹配操作的结果第二增强现实服务提供服务器确定通过终端的摄像机输入的图像与预先存储在图像匹配服务器中的图像当中的特定图像匹配，则通过第二增强现实服务提供服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由第二增强现实服务提供服务器接收的；以及如果第二增强现实服务提供服务器确定与输入图像相关的内容被决定显示作为增强现实，则通过第二增强现实服务提供服务器将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由第二增强现实服务提供服务器提取的。

根据本发明的再进一步方面，提供有一种用于使用第三增强现实服务提供服务器来提供增强现实服务的方法，包括：如果第三增强现实服务提供服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储在第三增强现实服务提供服务器中的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容被决定显示作为增强现实，则通过第三增强现实服务提供服务器来直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者通过第三增强现实服务提供服务器经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及通过第三增强现实服务提供服务器将增强现实内容发送到终端。

根据本发明的再进一步方面，提供有一种用于使用第四增强现实服务提供服务器来提供增强现实服务的方法，包括：如果第四增强现实服务提供服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储在第四增强现实服务提供服务器中的图像当中的特定图像匹配，则通过第四增强现实服务提供服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及如果与输入图像相关的内容被决定显示作为增强现实，则通过第四增强现实服务提供服务器将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由第四增强现实服务提供服务器提取的。

根据本发明的再进一步方面，提供有一种用于提供增强现实服务的API服务器，包括：AR区域确定单元，用于如果通过终端的摄像机输入的图像作为由图像匹配服务器对作为目标的输入图像执行图像匹配操作的结果而被确定与预先存储在图像匹配服务器中的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由AR区域确定单元接收的；以及内容请求单元，用于如果与输入图像相关的内容被决定显示作为增强现实，则直接请求AR内容服务器提供用于实现增强现实场景的增强现实内容，或者经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

根据本发明的再进一步方面，提供有一种用于提供增强现实服务的AR内容服务器，包括：内容请求接收单元，用于如果由图像匹配服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并确定输入图像与预先存储在图像匹配服务器中的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容是否被决定显示作为增强现实并确定与输入图像相关的内容被决定显示作为增强现实，则直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及内容提供单元，用于将增强现实内容发送到终端。

根据本发明的再进一步方面，提供有一种用于提供增强现实服务的第一增强现实服务提供服务器，包括：AR区域确定单元，用于如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及内容请求单元，用于如果确定与输入图像相关的内容被决定显示作为增强现实，则直接请求AR内容服务器提供用于实现增强现实场景的增强现实内容，或者经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

根据本发明的再进一步方面，提供有一种用于提供增强现实服务的第二增强现实服务提供服务器，包括：AR区域确定单元，用于如果作为由图像匹配服务器对作为目标的输入图像执行图像匹配操作的结果确定通过终端的摄像机输入的图像与预先存储在图像匹配服务器中的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由AR区域确定单元接收的；以及内容提供单元，用于如果确定与输入图像相关的内容被决定显示作为增强现实，则将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由内容提供单元提取的。

根据本发明的再进一步方面，提供有一种用于提供增强现实服务的第三增强现实服务提供服务器，包括：内容请求接收单元，用于如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容被决定显示作为增强现实，则直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及内容提供单元，用于将增强现实内容发送到终端。

根据本发明的再进一步方面，提供有一种用于提供增强现实服务的第四增强现实服务提供服务器，包括：AR区域确定单元，用于如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及内容提供单元，用于如果与输入图像相关的内容被决定显示作为增强现实，则将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由内容提供单元提取的。

有益效果

根据本发明的一些实施例，通过使用图像匹配技术而从服务器接收将对应图像实现为增强现实所需的数据并实现增强现实，能够将各种图像实现为增强现实，而不用将实现增强现实所需的数据存储在所提供的终端的有限存储器空间中。

此外，根据本发明的一些实施例，能够确定输入图像上的内容是对应于要显示作为增强现实的区域还是对应于重放作为一般图像等的区域，并输出与对应区域相关的内容。

附图说明

图1是示意性示出根据本发明的实施例的增强现实服务提供系统的配置的视图。

图2是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

图3是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

图4是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

图5是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

图6是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

具体实施方式

在对本发明的以下详细描述中，做出对附图的参考，附图通过图示的方式示出了其中可以实现本发明的特定实施例。足够详细地描述了这些实施例以使得本领域技术人员能够实现本发明。应当理解的是，本发明的各种实施例尽管不同但是并不一定是互斥的。例如，可以在其他实施例内实现本文结合一个实施例所描述的特定特征、结构和特性，而不脱离本发明的精神和范围。另外，应当理解的是，在每个公开的实施例内的个体元件的位置或布置可以被修改而不脱离本发明的精神和范围。因此，以下详细描述不应视为是限制性意义的，并且本发明的范围仅由所附权利要求连同权利要求所主张的全部范围等同物来限定、适当地解释。在附图中，相似的附图标记通过许多方式指代相同或类似的功能。

后文中，将参照附图来详细描述本发明的优选实施例，以便本领域技术人员容易实现本发明。

第一实施例

图1是示意性示出根据本发明的实施例的增强现实服务提供系统的配置的视图。

参照图1，增强现实服务提供系统可以包括终端100、图像匹配服务器200、应用编程接口(API)服务器300以及增强现实(AR)内容服务器400。

终端100是数字设备。提供有存储器装置并配备有微处理器以具有操作能力的任何便携式数字设备可以采用作为根据本发明的终端100，所述便携式数字设备诸如个人计算机(例如，平板计算机、膝上型计算机等)、个人数字助理(PDA)、上网平板电脑(web pad)、蜂窝电话。

终端100可以包括摄像机及其中的自然特征跟踪(NFT)引擎。摄像机由常规、一般性图像拾取设备来配置，并且例如，其可以是使用电荷耦合器件(CCD)创建数字图像信号的数字摄像机。另外，NFT引擎可以执行使用提供的AR内容在通过摄像机输入的图像上实现增强现实的功能。

图像匹配服务器200执行以下功能：将通过摄像机输入的图像上的信息与在数据库中存储的多个图像中的每一个上的信息进行比较，并且然后输出图像匹配的结果。即，检测通过摄像机输入的图像是否与至少一个预先存储的图像是否等同(或类似)，并且如果图像被确定为彼此等同，则指示所比较的图像匹配的信号可以输出作为图像匹配的结果，或者如果图像被确定为彼此不同，则指示所比较的图像失配的信号可以输出作为图像匹配的结果。可以通过将从相应图像提取的特征信息相互进行比较来确定图像是否彼此等同或类似。如果作为特征信息的比较结果确定图像之间的相似性等于或超过阈值相似性，则可以确定图像是彼此等同或类似的。另外，存储在数据库中的多个图像中的每一个可以具有标识符号，并且图像匹配服务器200可以输出多个图像当中匹配的图像的标识符号作为指示图像匹配的信号。作为标识符号的示例，如果输入图像是特定人员的图像，则对应人员的姓名等可以用作标识符号。可替代地，图像匹配服务器200可以输出匹配的图像的索引编号，并且索引编号可以是与API服务器300中的存储器存储空间相匹配的编号。

本发明的发明人已经在标题为“面部识别方法、用于执行该方法的装置和”计算机可读记录介质”的韩国专利申请No.10-2011-0105547中提交了关于用于通过将输入图像与预先存储的图像进行匹配来识别输入图像的方法和装置的专利申请，该韩国申请可以与本发明合并在一起。

API服务器300执行以下功能：基于标识符号或索引编号确定与和标识符号或索引编号匹配的图像相关的内容是否被决定为显示作为增强现实，标识符号或索引编号由图像匹配服务器200决定。更详细地，预期显示作为增强现实的图像的标识符号或索引编号被预先存储在API服务器300的存储器中，并且通过将图像匹配服务器200决定的标识符号或索引编号与预先存储在API服务器300中的标识符号或索引编号进行比较来确定与通过摄像机输入的图像相关的内容是否被预期显示作为增强现实。另外，当与图像相关的内容被预期显示作为增强现实时，API服务器300执行以下功能：输出用于调用实现预期用于每个图像的增强现实场景所需的内容的信号。另外，API服务器300可以确定输入图像上的内容是对应于要显示作为增强现实的区域还是对应于重放作为一般图像的区域，并输出与对应区域相关的内容。

如果AR内容服务器400被直接从API服务器300请求提供用于实现增强现实场景的增强现实内容或者经由终端被请求提供用于实现增强现实场景的增强现实内容，则AR内容服务器400执行提供预先存储的增强现实内容的功能。更详细地，作为用于执行增强现实场景的数据的增强现实内容可以包括AR场景数据、通过可跟踪图像数据或对应数据创建的特征值数据以及3D对象数据，并且可以用XML来创建。通过可跟踪图像数据或对应数据创建的特征值数据可以是提供给终端100的图像数据或图像数据的特征信息，使得终端100可以跟踪通过图像匹配服务器200确定为匹配的目标(即，对其执行NFT)，并且通过可跟踪图像数据或对应数据创建的特征值数据可以是与用于图像匹配服务器200进行图像匹配的特征信息相分离的数据。同时，3D对象数据是根据增强现实场景用于对象的表面上的3D图像的图像匹配的数据。

终端100可以通过图像匹配服务器200、API服务器300、AR内容服务器400和通信网络500发送和接收数据。这里，通信网络500可以用无线通信方案来配置并且包括各种通信网络，诸如移动通信网络、卫星通信网络等等。更详细地，在本发明中提到的通信网络应当理解为包括诸如以下的各种各样的已知通信网络的概念：无线LAN(WLAN)、码分多址(CDMA)、宽带码分多址(WCDMA)以及全球移动通信系统(GSM)网络。

后文中，将描述用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程。尽管在图中未示出，但是API服务器300可以包括AR区域确定单元和内容请求单元，并且AR内容服务器400可以包括内容请求接收单元和内容提供单元，其中，每个单元可以执行下文描述的用于提供增强现实服务的操作。

图2是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。参照图2，终端100通过摄像机接收在其中形成的图像(S100)。输入图像可以是通过摄像机拍摄的单个图像或者是在预览状态输入的图像。在输入图像处于预览状态的情况下，如果对象的相对位置在图像上随着终端移动而移动，则在图像上实现的3D图像也可以一起移动。这是可能的，因为通过对应可跟踪图像数据或对应数据创建的特征数据被提供(例如，以下载形式)给终端100，使得终端100可以跟踪通过图像匹配服务器200确定为匹配的目标(即，对其执行NFT)，如上文所描述的。

终端100将图像发送到图像匹配服务器200(S110)，并且图像匹配服务器200对输入图像执行图像匹配操作(S120)。上文描述的各种常规的公共方法可以应用于图像匹配操作。如果图像匹配操作由图像匹配服务器200完成并且确定输入图像的特征信息与预先存储在图像匹配服务器200中的图像当中的特定图像的特征信息具有高相似性，则图像匹配服务器200将图像匹配的结果发送到终端100(S130)。

终端100将从图像匹配服务器200发送的匹配结果发送到API服务器300(S140)，并且API服务器300的AR区域确定单元使用匹配结果来确定与通过摄像机输入的图像相关的内容是否被决定显示作为增强现实(S150)。作为匹配结果输出的信息可以是标识符号或者索引编号，如上文所描述的。API服务器300通过将图像匹配服务器200决定的标识符号或索引编号与预先存储在API服务器300中的标识符号或索引编号进行比较来确定与通过摄像机输入的图像相关的内容是否被决定显示作为增强现实。另外，API服务器300可以确定输入图像上的内容是对应于要显示作为增强现实的区域还是对应于重放作为一般图像的区域，并输出与对应区域相关的内容。如果与输入图像相关的内容被决定显示作为增强现实，则API服务器300的内容请求单元将用于调用实现预期用于对应图像的增强现实场景所需的内容的信号发送到终端100(S160)。

从API服务器300接收用于调用实现增强现实场景所需的内容的信号的终端100请求AR内容服务器400提供实现增强现实场景所需的增强现实内容(S170)。当然，本发明并不限于此，而是API服务器300可以直接请求AR内容服务器400向终端100提供实现增强现实场景所需的内容，而不用通过终端100。如果AR内容服务器400的内容请求接收单元从终端100接收请求提供增强现实内容的信号，则内容提供单元将预先存储的增强现实内容发送到终端100(S180)。

从AR内容服务器400接收增强现实内容的终端100通过使用增强现实内容驱动NFT引擎来实现增强现实(S190)。

尽管图像匹配服务器200、API服务器300和AR内容服务器400可以配置为分离的服务器，但是本发明并不限于此，而是可以用集成形成来提供各个服务器的部分。下文将在服务器是分离的或者各个服务器的部分被集成的情况下进一步详细描述在终端100与相应服务器之间的发送和接收数据的过程。

另外，当用集成形式来提供各个服务器时，图像匹配服务器200、API服务器300和AR内容服务器400的至少一些可以是与终端100通信的程序模块。这样的程序模块可以以操作系统、应用程序模块或其他程序模块的形式包括在集成的服务器中，并且在物理上，它们可以存储在各种熟知存储器设备中。另外，这些程序模块可以存储在能够与集成的服务器通信的远程存储器设备中。尽管这样的程序模块包括执行特定抽象数据类型或者执行将在后面根据本发明描述的特定任务的例程、子例程、程序、对象、组件、数据结构等，但是程序模块不限于此。

第二实施例

图3是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

参照图3，增强现实服务提供系统可以包括终端100、第一增强现实服务提供服务器600和AR内容服务器400。终端100和AR内容服务器400与参照图1描述的那些相同，并且第一增强现实服务提供服务器600是参照图1描述的图像匹配服务器200和API服务器300集成到其中的服务器。

尽管未在图中示出，但是除了图像匹配单元之外，第一增强现实服务提供服务器600还可以包括AR区域确定单元和内容请求单元，并且每个单元可以执行下文描述的用于提供增强现实服务的操作。

在图3中示出的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程将描述如下。

首先，终端100通过摄像机接收在其中形成的图像(S200)。图像可以是通过摄像机拍摄的单个图像或者是在预览状态输入的图像。终端100将图像发送到第一增强现实服务提供服务器600(S210)，并且第一增强现实服务提供服务器600对输入图像执行图像匹配操作(S220)。上文描述的各种常规的熟知方法可以应用于图像匹配操作。如果作为由第一增强现实服务提供服务器600完成的图像匹配的结果确定输入图像的特征信息与预先存储在第一增强现实服务提供服务器600中的图像的特征信息具有高相似性，则第一增强现实服务提供服务器600的AR区域确定单元使用图像匹配的结果来确定与通过摄像机输入的图像相关的内容是否被决定显示作为增强现实(S230)。匹配结果可以是标识符号或者索引编号，如上文所描述的。第一增强现实服务提供服务器600通过将所决定的标识符号或索引编号与预先存储在第一增强现实服务提供服务器600中的标识符号或索引编号进行比较来确定与通过摄像机输入的图像相关的内容是否被决定显示作为增强现实。另外，第一增强现实服务提供服务器600可以确定输入图像上的内容是对应于要显示作为增强现实的区域还是对应于重放作为一般图像的区域，并输出与对应区域相关的内容。如果与图像相关的内容要显示作为增强现实，则第一增强现实服务提供服务器600的内容请求单元将用于调用实现预期用于对应图像的增强现实场景所需的内容的信号发送到终端100(S240)。

从第一增强现实服务提供服务器600接收用于调用实现增强现实场景所需的内容的信号的终端100请求AR内容服务器400提供实现增强现实场景所需的增强现实内容(S250)。当然，本发明并不限于此，而是第一增强现实服务提供服务器600可以直接请求AR内容服务器400向终端100提供实现增强现实所需的内容，而不用通过终端100。如果AR内容服务器400接收请求提供增强现实内容的信号，则AR内容服务器400将预先存储的增强现实内容发送到终端100(S260)。

从AR内容服务器400接收增强现实内容的终端100通过使用增强现实内容驱动NFT引擎来实现增强现实(S270)。

第三实施例

图4是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

参照图4，增强现实服务提供系统可以包括终端100、图像匹配服务器200和第二增强现实服务提供服务器700。终端100和图像匹配服务器200与参照图1描述的那些相同，并且第二增强现实服务提供服务器700是参照图1描述的API服务器300和AR内容服务器400集成到其中的服务器。

尽管未在图中示出，但是第二增强现实服务提供服务器700可以包括AR区域确定单元和内容请求单元，并且每个单元可以执行下文描述的用于提供增强现实服务的操作。

在图4中示出的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程将描述如下。

首先，终端100通过摄像机接收在其中形成的图像(S300)。图像可以是通过摄像机拍摄的单个图像或者是在预览状态输入的图像。终端100将图像发送到图像匹配服务器200(S310)，并且图像匹配服务器200对输入图像执行图像匹配操作(S320)。上文描述的各种常规的公共方法可以应用于图像匹配操作。当图像匹配由图像匹配服务器200完成并且确定输入图像的特征信息与预先存储在图像匹配服务器200中的图像当中的特定图像的特征信息具有高相似性时，图像匹配服务器200将匹配结果发送到终端100(S330)。

终端100将从图像匹配服务器200发送的匹配结果发送到第二增强现实服务提供服务器700(S340)，并且第二增强现实服务提供服务器700的AR区域确定单元通过将图像匹配服务器200决定的标识符号或索引编号与预先存储的标识符号或索引编号进行比较来确定与通过摄像机输入的图像相关的内容是否要显示作为增强现实(S350)。另外，第二增强现实服务提供服务器可以确定输入图像上的内容是对应于要显示作为增强现实的区域还是对应于重放作为一般图像的区域，并输出与对应区域相关的内容。如果与输入图像相关的内容要显示作为增强现实，则第二增强现实服务提供服务器700提取实现预期用于对应图像的增强现实场景所需的内容(S360)。然后，第二增强现实服务提供服务器700的内容提供单元将实现增强现实场景所需的预先存储的增强现实内容发送到终端100(S370)。

从第二增强现实服务提供服务器700接收增强现实内容的终端100通过使用增强现实内容驱动NFT引擎来实现增强现实(S380)。

第四实施例

图5是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

参照图5，增强现实服务提供系统可以包括终端100、第三增强现实服务提供服务器800和API服务器300。终端100和API服务器300与参照图1描述的那些相同，并且第三增强现实服务提供服务器800是参照图1描述的图像匹配服务器200和AR内容服务器400集成到其中的服务器。

尽管未在图中示出，但是除了图像匹配单元之外，第三增强现实服务提供服务器800还可以包括内容请求接收单元和内容提供单元，并且每个单元可以执行下文描述的用于提供增强现实服务的操作。

在图5中示出的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程将描述如下。

首先，终端100通过摄像机接收在其中形成的图像(S400)。图像可以是通过摄像机拍摄的单个图像或者是在预览状态输入的图像。终端100将图像发送到第三增强现实服务提供服务器800(S410)，并且第三增强现实服务提供服务器800的图像匹配单元对输入图像执行图像匹配操作(S420)。上文描述的各种常规的公共方法可以应用于图像匹配操作。如果图像匹配由第三增强现实服务提供服务器800完成并且确定输入图像的特征信息与预先存储在第三增强现实服务提供服务器800中的图像当中的特定图像的特征信息具有高相似性，则第三增强现实服务提供服务器800将图像匹配的结果发送到终端100(S430)。

终端100将从第三增强现实服务提供服务器800发送的匹配结果发送到API服务器300(S340)，并且API服务器300使用匹配结果来确定与通过摄像机输入的图像相关的内容是否被决定显示作为增强现实(S450)。匹配结果可以是标识符号或者索引编号，如上文所描述的。API服务器300通过将第三增强现实服务提供服务器800决定的标识符号或索引编号与预先存储在API服务器300中的标识符号或索引编号进行比较来确定与通过摄像机输入的图像相关的内容是否要显示作为增强现实。如果与输入图像相关的内容被决定显示作为增强现实，则API服务器300将用于调用实现预期用于对应图像的增强现实场景所需的内容的信号发送到终端100(S460)。

从API服务器300接收用于调用实现增强现实场景所需的内容的信号的终端100请求第三增强现实服务提供服务器800的内容请求接收单元提供实现增强现实场景所需的增强现实内容(S470)。当然，本发明并不限于此，而是API服务器300可以直接请求第三增强现实服务提供服务器800的内容请求接收单元向终端100提供实现增强现实场景所需的内容，而不用通过终端100。如果第三增强现实服务提供服务器800从终端100接收请求提供增强现实内容的信号，则内容提供单元将预先存储的增强现实内容发送到终端100(S480)。

从第三增强现实服务提供服务器800接收增强现实内容的终端100通过使用增强现实内容驱动NFT引擎来实现增强现实(S490)。

第五实施例

图6是图示根据本发明的实施例的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程的视图。

参照图6，增强现实服务提供系统可以包括终端100和第四增强现实服务提供服务器900。

终端100与参照图1描述的终端相同，并且第四增强现实服务提供服务器900是参照图1描述的图像匹配服务器200、API服务器300和AR内容服务器400物理地集成到其中的服务器。

尽管未在图中示出，但是除了图像匹配单元之外，第四增强现实服务提供服务器900还可以包括AR区域确定单元、内容请求单元、内容请求接收单元、内容提供单元等，并且每个单元可以执行下文描述的用于提供增强现实服务的操作。在图6中示出的用于在增强现实服务提供系统中提供增强现实服务的数据发送和接收过程将描述如下。

首先，终端100通过摄像机接收在其中形成的图像(S500)。图像可以是通过摄像机拍摄的单个图像或者是在预览状态输入的图像。终端100将图像发送到第四增强现实服务提供服务器900(S510)，并且第四增强现实服务提供服务器900对输入图像执行图像匹配操作(S520)。上文描述的各种常规的公共方法可以应用于图像匹配操作。如果作为由第四增强现实服务提供服务器900完成的图像匹配的结果确定输入图像的特征信息与预先存储在第四增强现实服务提供服务器900中的图像当中的特定图像的特征信息具有高相似性，则第四增强现实服务提供服务器900的AR区域确定单元使用图像匹配的结果来确定与通过摄像机输入的图像相关的内容是否被决定显示作为增强现实(S530)。另外，第四增强现实服务提供服务器可以确定输入图像上的内容是对应于要显示作为增强现实的区域还是对应于重放作为一般图像的区域，并输出与对应区域相关的内容。如果与输入图像相关的内容被决定显示作为增强现实，则第四增强现实服务提供服务器900提取实现预期用于对应图像的增强现实场景所需的内容(S540)。然后，第四增强现实服务提供服务器900的内容提供单元将实现增强现实场景所需的预先存储的增强现实内容发送到终端100(S550)。

从第四增强现实服务提供服务器900接收增强现实内容的终端100通过使用增强现实内容驱动NFT引擎来实现增强现实(S560)。

尽管在图中未示出，但是图像匹配服务器可以配置为包括在终端100中。即，可以考虑其中在不使用服务器的情况下在一个终端中执行匹配和跟踪二者的实施例。

上文描述的根据本发明的实施例可以用程序命令的形式来实现，程序命令可以通过各种计算机组件来执行并记录在计算机可读记录介质中。计算机可读记录介质可以单独地或者以组合方式包括程序命令、数据文件、数据结构等等。记录在计算机可读记录介质中的程序命令可以是专门设计和配置用于本发明的程序命令，或者是已知被计算机软件领域的技术人员使用的程序命令。例如，计算机可读记录介质包括：磁介质，诸如硬盘、软盘和磁带；光学记录介质，诸如CD-ROM和DVD；磁光介质，诸如光读盘；以及专门配置为存储并执行程序命令的硬件设备，诸如ROM、RAM、闪速存储器等等。例如，程序命令包括可以由计算机使用解释器等执行的高级语言代码以及由编译器生成的机器代码。硬件设备可以被配置为使用一个或多个软件模块来操作，以便执行根据本发明的处理，反之亦然。

在前面的讨论中，尽管已经结合诸如特定组件的特定物品、示例性实施例和附图描述了本发明，但是它们被提供来仅用于帮助对本发明的整体理解，并且本发明不限于这些实施例。将清楚的是，本领域技术人员可以根据这些描述对其做出各种修改和改变。

因此，本发明的精神不应限于前述实施例，并且所附权利要求和被等同或等效于其而修改的内容将被认为落入本发明的范围内。

Claims (34)

1.一种用于使用应用编程接口(API)服务器来提供增强现实服务的方法，包括：

如果通过终端的摄像机输入的图像作为对作为目标的输入图像执行图像匹配操作的结果而被确定与预先存储的图像当中的特定图像匹配，则通过API服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由API服务器接收的；以及

如果与输入图像相关的内容被决定显示作为增强现实，则通过API服务器直接请求增强现实(AR)内容服务器提供用于实现增强现实场景的增强现实内容，或者通过API服务器经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

2.一种用于使用AR内容服务器来提供增强现实服务的方法，包括：

如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并确定输入图像与预先存储的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容是否被决定显示作为增强现实并确定与输入图像相关的内容被决定显示作为增强现实，则通过AR内容服务器直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者通过AR内容服务器经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及

通过AR内容服务器将增强现实内容发送到终端。

3.一种用于使用第一增强现实服务提供服务器来提供增强现实服务的方法，包括：

如果第一增强现实服务提供服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储在第一增强现实服务提供服务器中的图像当中的特定图像匹配，则通过第一增强现实服务提供服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及

如果第一增强现实服务提供服务器确定与输入图像相关的内容被决定显示作为增强现实，则通过第一增强现实服务提供服务器直接请求AR内容服务器提供用于实现增强现实场景的增强现实内容，或者通过第一增强现实服务提供服务器经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

4.一种用于使用第二增强现实服务提供服务器来提供增强现实服务的方法，包括：

如果作为对作为目标的输入图像执行图像匹配操作的结果第二增强现实服务提供服务器确定通过终端的摄像机输入的图像与预先存储的图像当中的特定图像匹配，则通过第二增强现实服务提供服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由第二增强现实服务提供服务器接收的；以及

如果第二增强现实服务提供服务器确定与输入图像相关的内容被决定显示作为增强现实，则通过第二增强现实服务提供服务器将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由第二增强现实服务提供服务器提取的。

5.一种用于使用第三增强现实服务提供服务器来提供增强现实服务的方法，包括：

如果第三增强现实服务提供服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储在第三增强现实服务提供服务器中的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容被决定显示作为增强现实，则通过第三增强现实服务提供服务器来直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者通过第三增强现实服务提供服务器经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及

通过第三增强现实服务提供服务器将增强现实内容发送到终端。

6.一种用于使用第四增强现实服务提供服务器来提供增强现实服务的方法，包括：

如果第四增强现实服务提供服务器对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储在第四增强现实服务提供服务器中的图像当中的特定图像匹配，则通过第四增强现实服务提供服务器基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及

如果与输入图像相关的内容被决定显示作为增强现实，则通过第四增强现实服务提供服务器将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由第四增强现实服务提供服务器提取的。

7.根据权利要求1至6中任何一项所述的方法，其中，图像是通过摄像机拍摄的单个图像或者是在预览状态输入的图像。

8.根据权利要求7所述的方法，其中，如果图像是在预览状态输入的并且如果对象的相对位置随着终端的移动而在图像上移动，则在图像上实现的3D图像也移动。

9.根据权利要求1至6中任何一项所述的方法，其中，如果作为图像匹配操作的结果确定输入图像的特征信息与预先存储的图像当中的特定图像的特征信息具有高相似性，则提供指派给特定图像的标识符号作为图像匹配的结果。

10.根据权利要求9所述的方法，其中，标识符号是索引编号。

11.根据权利要求1至6中任何一项所述的方法，其中，确定与输入图像相关的内容是否被决定显示作为增强现实包括通过以下方式来确定与输入图像相关的内容是否被确定显示作为增强现实：预先存储能够显示作为增强现实的图像的标识符号，并将提供作为图像匹配操作的结果的标识符号与预先存储的标识符号进行比较。

12.根据权利要求1至6中任何一项所述的方法，其中，增强现实内容包括AR场景数据、通过可跟踪图像数据或对应数据创建的特征值数据以及3D对象数据，通过可跟踪图像数据或对应数据创建的特征值数据是用于通过终端跟踪被图像匹配操作确定为匹配的目标的图像数据或图像数据的特征信息。

13.根据权利要求1、2和5中任何一项所述的方法，其中，API服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

14.根据权利要求3所述的方法，其中，第一增强现实服务提供服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

15.根据权利要求4所述的方法，其中，第二增强现实服务提供服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

16.根据权利要求6所述的方法，其中，第四增强现实服务提供服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

17.一种用于提供增强现实服务的API服务器，包括：

AR区域确定单元，用于如果通过终端的摄像机输入的图像作为对作为目标的输入图像执行图像匹配操作的结果而被确定与预先存储的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由AR区域确定单元接收的；以及

内容请求单元，用于如果与输入图像相关的内容被决定显示作为增强现实，则直接请求AR内容服务器提供用于实现增强现实场景的增强现实内容，或者经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

18.一种用于提供增强现实服务的AR内容服务器，包括：

内容请求接收单元，用于如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并确定输入图像与预先存储的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容是否被决定显示作为增强现实并确定与输入图像相关的内容被决定显示作为增强现实，则直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及

内容提供单元，用于将增强现实内容发送到终端。

19.一种用于提供增强现实服务的第一增强现实服务提供服务器，包括：

AR区域确定单元，用于如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及

内容请求单元，用于如果确定与输入图像相关的内容被决定显示作为增强现实，则直接请求AR内容服务器提供用于实现增强现实场景的增强现实内容，或者经由终端请求AR内容服务器提供用于实现增强现实场景的增强现实内容。

20.一种用于提供增强现实服务的第二增强现实服务提供服务器，包括：

AR区域确定单元，用于如果作为对作为目标的输入图像执行图像匹配操作的结果确定通过终端的摄像机输入的图像与预先存储的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实，其中匹配结果是由AR区域确定单元接收的；以及

内容提供单元，用于如果确定与输入图像相关的内容被决定显示作为增强现实，则将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由内容提供单元提取的。

21.一种用于提供增强现实服务的第三增强现实服务提供服务器，包括：

内容请求接收单元，用于如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储的图像当中的特定图像匹配，并且如果API服务器基于匹配结果确定与输入图像相关的内容被决定显示作为增强现实，则直接从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，或者经由终端从API服务器接收提供用于实现增强现实场景的增强现实内容的请求，其中匹配结果是由API服务器接收的；以及

内容提供单元，用于将增强现实内容发送到终端。

22.一种用于提供增强现实服务的第四增强现实服务提供服务器，包括：

AR区域确定单元，用于如果对通过终端的摄像机输入的作为目标的图像执行图像匹配操作并且确定输入图像与预先存储的图像当中的特定图像匹配，则基于匹配结果来确定与输入图像相关的内容是否被决定显示作为增强现实；以及

内容提供单元，用于如果与输入图像相关的内容被决定显示作为增强现实，则将用于实现增强现实场景的增强现实内容发送到终端，其中增强现实内容是由内容提供单元提取的。

23.根据权利要求17至22中任何一项所述的服务器，其中，图像是通过摄像机拍摄的单个图像或者是在预览状态输入的图像。

24.根据权利要求23所述的服务器，其中，如果图像是在预览状态输入的并且如果对象的相对位置随着终端的移动而在图像上移动，则在图像上实现的3D图像也移动。

25.根据权利要求17至22中任何一项所述的服务器，其中，如果作为图像匹配操作的结果确定输入图像的特征信息与预先存储的图像当中的特定图像的特征信息具有高相似性，则提供指派给特定图像的标识符号作为图像匹配的结果。

26.根据权利要求25所述的服务器，其中，标识符号是索引编号。

27.根据权利要求17至22中任何一项所述的服务器，其中，增强现实内容包括AR场景数据、通过可跟踪图像数据或对应数据创建的特征值数据以及3D对象数据，通过可跟踪图像数据或对应数据创建的特征值数据是用于通过终端跟踪被图像匹配操作确定为匹配的目标的图像数据或图像数据的特征信息。

28.根据权利要求17、18和21中任何一项所述的服务器，其中，API服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

29.根据权利要求19所述的服务器，其中，第一增强现实服务提供服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

30.根据权利要求20所述的服务器，其中，第二增强现实服务提供服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

31.根据权利要求22所述的服务器，其中，第四增强现实服务提供服务器确定输入图像上的内容是对应于要显示为增强现实的区域还是对应于要重放为一般图像的区域，并且输出与对应区域相关的内容。

32.根据权利要求1、2和4中任何一项所述的方法，其中，图像匹配操作在终端中或者在分离的图像匹配服务器中执行。

33.根据权利要求17、18和20中任何一项所述的服务器，其中，图像匹配操作在终端中或者在分离的图像匹配服务器中执行。

34.一种计算机可读记录介质，用于记录用于执行根据权利要求1至6中任何一项所述的方法的计算机程序。