CN106101115B - 用于提供增强现实的方法、服务器和便携终端 - Google Patents

Abstract

本公开内容提供了用于提供增强现实的方法、服务器和便携终端。增强现实提供服务器提供具有覆盖在捕获的视频上的信息的增强现实，且包括：服务器通信单元，用于与便携终端交互；和服务器控制单元，用于从便携终端接收选择的菜单信息，通过将所选菜单信息同先前储存的与位置关联的信息相比较以生成通过抽取与所选菜单信息匹配的数据来获得的第一菜单信息数据并将其发射给便携终端，其中服务器控制单元通过选择包括在与位置相关联的信息中的多个菜单当中与所选菜单信息匹配的菜单来生成第一菜单信息数据。在一个实施例中，可以获得快速的增强现实操作，因为便携终端可以接收与菜单选择对应的信息，并立即以合成到获取的图像信息上的方式输出信息。

Description

用于提供增强现实的方法、服务器和便携终端

本申请是2010年6月29日提交的申请号为PCT/KR2010/004191且国家申请号为201080042741.6，标题为“用于提供增强现实的方法、服务器和便携终端”的专利申请的分案申请。

相关申请的交叉引用

如果适用，本申请要求于2009年7月30日在韩国共同递交的专利申请No.10-2009-0070254、No.10-2009-0070258、No.10-2009-0070269、No.10-2009-0070271的基于35U.S.C§119(a)的优先权，并以引用方式将其全部内容并入本申请。另外，鉴于基于韩文专利申请的相同理由，该非临时申请要求在除美国之外的国家中的优先权，并以引用方式将韩文专利申请的全部内容并入。

技术领域

本公开内容的各方面涉及一种用于提供增强现实的方法、服务器和便携终端。具体而言，本公开内容涉及一种用于根据用户选择信息提供增强现实的方法、服务器和便携终端，以用于例如从终端接收用户选择的菜单信息并选择性地提供对应的特定菜单，以允许通过用户感兴趣的关于实像图像内的真实对象的附加信息来仅对选择的信息进行选择性的显示。

背景技术

增强现实(AR)技术是这样一种技术：感测用户的近似位置，并通过诸如附近建筑物数据之类的设施信息与从运行中的摄像机获得的实像图像之间的比较来定位服务地点，以提供相关信息。具体而言，作为虚拟现实(VR)的分支，增强现实是这样一种计算机图形技术：其将虚构对象与真实世界相结合，以向观察者提供对象在真实世界中仿佛存在的虚假场景。不同于仅包括虚拟空间和对象的传统的虚拟现实，其在技术上通过在真实世界的背景上合成虚拟对象获取增加有附加信息的真实世界。当前，增强现实技术正在诸如广播、广告、展览、竞赛、主题公园、军事、教育、促销等之类的各种领域中使用，然而，其尚未完全配给到公共领域。

在通信终端中使用移动AR技术的领域内的近年趋势使得将公众目光投放到这种增强现实技术。当前，基于移动AR技术的应用开始出现，并且技术的早期阶段是通过使用基于移动AR技术的标记器或基于移动AR技术的感测器来提供的。基于移动AR技术的标记器将特定的符号并入，以便被拍摄并随后连同这些符号的对应建筑物被识别，同时基于移动AR技术的感测器使用安装在终端中的GPS、数字罗盘等以推断终端的当前位置及其视线方位，在该视线方位中相关联的POI(兴趣点，point of interest)信息覆盖在被拍摄的图像上。

这样的传统技术仅通过使用安装在终端中的GPS、数字罗盘等来推断终端的当前位置和其视线方位，然而没有技术被提供用于精确地识别通过终端输入的图像。

技术问题

根据前述内容，本公开内容在一个方面提出了一种用于提供增强现实服务的方法、服务器和便携终端，以用于精确地确定获取的图像内的真实对象并用于映射对应对象的地理信息或本地信息以提供直观的且便利的基于图像识别的增强现实。

此外，本公开内容在一个方面提出了一种用于通过使用特征性的特征点来提供增强现实的方法、服务器和便携终端，以用于精确地确定获取的图像内的真实对象并用于映射其本地信息以提供更精确的增强现实。

本公开内容在一个方面提出一种用于基于用户选择的信息提供增强现实的方法、服务器和便携终端，其允许通过用户感兴趣的对于实像图像内的真实对象的附加信息来实现仅对选择的信息的选择性显示。

另外，本公开内容在一个方面提出了一种用于基于用户选择的区域提供增强现实的方法、服务器和便携终端，其响应于提供的关于与用户的当前位置无关的用户选择的区域的数据，而用于在终端进入相同区域时立即提供增强现实。

发明内容

本公开内容的一个方面提供了一种增强现实提供服务器，其用于提供具有覆盖在捕获的视频上的信息的增强现实，所述服务器包括：服务器通信单元，其用于与便携终端交互；以及服务器控制单元，其用于从所述便携终端接收选择的菜单信息，通过将所选择的菜单信息同先前已储存的与位置相关联的信息进行比较以生成通过抽取与所选择的菜单信息匹配的数据来获得的第一菜单信息数据，并将所述第一菜单信息数据发射给所述便携终端，其中所述服务器控制单元通过选择包括在与位置相关联的信息中的多个菜单当中与所选择的菜单信息匹配的菜单来生成所述第一菜单信息数据。

本公开内容的另一个方面提供了一种通过与增强现实提供服务器交互而拥有实时的增强现实的便携终端，所述终端包括：显示单元，其用于显示执行中的应用；终端通信单元，其用于与所述增强现实提供服务器交互；摄像机模块，其用于获取与静止图像或视频对应的图像信息；键输入单元，其用于接收用户命令的输入；以及终端控制单元，其用于将由所述用户命令所选择的菜单信息发射给所述增强现实提供服务器，从所述增强现实提供服务器下载与所述菜单信息对应的第一菜单信息数据，并通过所述显示单元显示与所述第一菜单信息数据合并的所述图像信息。

本公开内容的另一个方面提供了一种用于提供具有覆盖在捕获的视频上的信息的增强现实的方法，所述方法包括：从便携终端接收选择的菜单信息；生成通过将所选择的菜单信息同先前已储存的与位置相关联的信息进行比较以抽取而与所选择的菜单信息匹配的数据来获得的第一菜单信息数据；将包括在所述与位置相关联的信息内的实像图像信息发射给所述便携终端；并将归并与所述实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注(tagging)信息当中的与所选择的菜单信息匹配的一种或多种信息在内的所述第一菜单信息数据发射给所述便携终端。

本公开内容的另一个方面提供了一种增强现实提供服务器，其用于提供具有覆盖在捕获的视频上的信息的增强现实，所述服务器包括：服务器通信单元，其用于与便携终端交互；以及服务器控制单元，其用于从所述便携终端接收选择的本地信息，生成通过将所接收的选择的本地信息同先前已储存的与位置相关联的信息进行比较以抽取与所选择的本地信息匹配的数据来获得的第一本地信息数据，并将所述第一本地信息数据发射给所述便携终端，其中所述服务器控制单元在从包含在所述与位置相关联的信息中的多个地点中指定所选择的本地信息后生成包含在指定地点中包括的多个菜单中的全部菜单在内的所述第一本地信息数据。

本公开内容的另一个方面提供了一种通过与增强现实提供服务器交互来下载增强现实信息的便携终端，所述终端包括：显示单元，其用于显示执行中的应用；终端通信单元，其用于与所述增强现实提供服务器交互；摄像机模块，其用于获取与静止图像或视频对应的图像信息；键输入单元，其用于接收用户命令的输入；以及终端控制单元，其用于将由所述用户命令所选择的本地信息发射给所述增强现实提供服务器，从所述增强现实提供服务器下载与所述本地信息对应的第一本地信息数据，并通过所述显示单元显示与所述第一本地信息数据合并的所述图像信息。

本公开内容的另一个方面提供了一种用于通过交互式便携终端提供增强现实的方法，所述方法包括：从便携终端接收选择的本地信息；生成通过将接收的选择的本地信息同先前已储存的与位置相关联的信息进行比较以抽取与所接收的选择的本地信息匹配的数据来获得的第一本地信息数据；将来自所述与位置相关联的信息中的与所选择的本地信息对应的地点的实像图像信息发射给所述便携终端；并将归并与同所选择的本地信息对应的所述地点的所述实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的一种或多种信息在内的所述第一本地信息数据发射给所述便携终端。

技术效果

如上所述，根据本公开内容的一个实施例，基于增强现实的更多直观且便利的图像识别可以通过精确地确定获取的图像内的真实对象并映射其本地信息来提供。此外，根据本公开内容的该实施例，新的广告模型可以被呈现，因为其可以提供包括在所述便携终端中获得的图像内的与对象(建筑物、结构物、招牌、图案和徽标)相关的广告信息、促销信息、旅游信息和标注信息等在内的各种信息。

根据本公开内容的另一个实施例，更精确的增强现实可以通过精确地确定实像图像内的真实对象并映射其本地信息来提供。此外，根据本公开内容的该实施例，在所述便携终端中获得的图像的一部分可以被发射给增强现实服务器，由此在没有取决于数据尺寸而发生的延滞的情况下提供增强现实。

根据本公开内容的另一个实施例，可以通过用户感兴趣的关于实像图像内的真实对象的附加信息来仅对选择的信息进行选择性的显示。另外，根据该实施例，可以获得快速的增强现实操作，这是因为所述便携终端可以接收与用户选择菜单对应的菜单信息数据，并立即以合成到所获取的图像信息上的方式输出与所述选择菜单对应的信息。

根据本公开内容的另一个实施例，可以首先提供同用户的当前位置无关的与由所述用户选择的地点相关的数据，并且一旦所述终端进入相同区域时便提供增强现实。此外，根据本公开内容的该实施例，可以提供关于兴趣区域的增强现实，兴趣区域被用户通过使用提前地且在没有信息连接延迟的情况下已被下载的本地信息数据频繁地访问。

附图说明

图1是用于表示用于根据本公开内容的一个实施例提供增强现实的系统的概念性方框图，

图2是用于表示根据本公开内容的一个实施例的增强现实提供服务器的概念性方框图，

图3是用于表示根据本公开内容的一个实施例的便携终端的概念性方框图，

图4是用于示出用于根据本公开内容的第一实施例提供增强现实的方法的流程图，

图5是用于示出根据本公开内容的第一实施例的便携终端和增强现实提供服务器的功能的示例图，

图6是用于示出用于根据本公开内容的第二实施例提供增强现实的方法的流程图，

图7是用于示出根据本公开内容的第二实施例的便携终端和增强现实提供服务器的功能的示例图，

图8是用于示出用于根据本公开内容的第三实施例提供增强现实的方法的流程图，

图9是用于示出根据本公开内容的第三实施例的便携终端和增强现实提供服务器的功能的示例图，

图10是用于示出用于根据本公开内容的第四实施例提供增强现实的方法的流程图，

图11是用于示出根据本公开内容的第四实施例的便携终端和增强现实提供服务器的功能的示例图，以及

图12是用于表示根据本公开内容的一个实施例的用于显示增强现实的便携终端的示例图。

具体实施方式

在下文，将参照附图描述本公开内容的各实施例。在下面的描述中，相同的元件将由相同的附图标记来指定，尽管它们示出在不同的图形中。进一步，在本公开内容的下列描述中，本文中并入的已知功能以及结构的详细描述在使得本公开内容的主题相当不清楚时将被忽略。

另外，在描述本公开内容的各成分时，可能使用像第一、第二、A、B、(a)以及(b)之类的术语。这些术语其目的仅在于将一个成分与别的成分区分开来，而不是蕴涵或暗示这些成分的实质、次序或序列。如果一个成分被描述成“被连接”、“被耦合”或“被链接”到另一成分，那么它们意指这些成分不仅直接地“被连接”、“被耦合”或“被链接”，而且还间接地经由第三成分“被连接”、“被耦合”或“被链接”。

图1是用于表示用于根据本公开内容的一个实施例提供增强现实的系统的概念性方框图。

根据本公开内容的该实施例的增强现实提供系统包括便携终端110、有线/无线网络120以及增强现实提供服务器130。

便携终端110意指典型的语音通话与数据通信终端，其用于通过与有线/无线网络120进行交互来承担无线电子通信。例如，便携终端110可以是智能电话、PDA或个人数字助理、蜂窝电话、PCS(个人通信服务)电话、手持PC、CDMA-2000电话、WCDMA电话、PMP(便携多媒体播放器)、PSP(便携游戏机)或MBS(移动宽带系统)电话等。

根据该实施例的便携终端110可以是装配有摄像机模块的终端，摄像机模块用以获得与静止图像或视频对应的图像信息。便携终端110还可以具有GPS模块，GPS模块用于提供基于包括在无线电波信号中的导航数据生成位置信息的功能。尽管对于实现本公开内容是不必需的，但是如果GPS模块被提供给便携终端110，那么其可以用以计算便携终端110的当前位置信息，其中当前位置信息被用以缩短AR DB的搜索时间，以防增强现实提供服务器130错过使用位置信息。

便携终端110执行如下功能：从获取的图像信息中抽取特征点，将所抽取的特征点发射给增强现实提供服务器130，从增强现实提供服务器130接收与所发射的特征点对应的本地信息数据，并将所接收的本地信息数据与所获取的图像信息进行合成以通过显示单元输出所合并的信息-数据。另外，便携终端110承担如下功能：将所生成的位置信息发射给增强现实提供服务器130，从增强现实提供服务器130接收与所发射的位置信息对应的当前位置信息，并基于所接收的当前位置信息将所接收的本地信息数据与所获取的图像信息进行合成。此外，便携终端110用以基于从包含在所获取的图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。另外，便携终端110执行如下功能：将所获取的图像信息与包括从名字信息、电话号码信息、兴趣点(POI)信息、广告信息、促销信息、因特网链路信息以及标注信息中选择的一种或多种信息在内的本地信息数据进行合成。

便携终端110将通过摄像机模块获取的图像信息发射给增强现实提供服务器130，从增强现实提供服务器130接收与所发射的图像信息对应的本地信息数据，并将所接收的本地信息数据与所获取的图像信息进行合并以通过显示单元320输出所合并的信息-数据。另外，便携终端110抽取选择的包括初始的帧1或帧2、关键帧以及在偏离于预设条件的特定事件发生时的视频帧在内的一个或多个帧，并在随后将所抽取的一个帧或多个帧发射给增强现实提供服务器130。

此外，便携终端110将由通过键输入单元输入的用户命令所选择的菜单信息发射给增强现实提供服务器130，从增强现实提供服务器130下载与所选择的菜单信息对应的第一菜单信息数据，并通过显示单元输出与所下载的第一菜单信息数据合并的所获取的图像信息。另外，便携终端110将所获取的图像信息与同包含在所下载的第一菜单信息数据中的实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所接收的选择的菜单信息匹配的一种或多种信息进行合并。

便携终端110从通过摄像机模块获取的图像信息中抽取特征点，通过将抽取的特征点同所下载的第一菜单信息数据进行比较以生成根据抽取与所抽取的特征点匹配的数据来获得的第二菜单信息数据，并将所生成的第二菜单信息数据与所获取的图像信息进行合并。进一步，便携终端110将由GPS模块生成的位置信息发射给增强现实提供服务器，从增强现实提供服务器130下载与所选择的菜单信息和所发射的位置信息对应的第三菜单信息数据，并将所下载的第三菜单信息数据与所获取的图像信息进行合并。

便携终端110将由输入的用户命令所选择的本地信息发射给增强现实提供服务器130，从增强现实提供服务器下载与所选择的本地信息对应的第一本地信息数据，并通过显示单元输出与所下载的第一本地信息数据合并的图像信息。另外，便携终端110将所获取的图像信息与来自同包含在所下载的第二本地信息数据中的与所选择的本地信息对应的地点的实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息进行合并。

另外，便携终端110将生成的位置信息发射给增强现实提供服务器130，从增强现实提供服务器130接收与所发射的位置信息对应的当前位置信息，并基于所接收的当前位置信息将接收的第二本地信息数据与所获取的图像信息进行合并。进一步，便携终端110从所获取的图像信息中抽取特征点，通过将所抽取的特征点同所下载的第一本地信息数据进行比较以生成根据抽取与所抽取的特征点匹配的数据来获得的第二本地信息数据，并将所生成的第二本地信息数据与所获取的图像信息进行合并。

有线/无线网络120指用于使用各种有线和无线通信技术通过因特网协议收发数据的通信网络，并且包括因特网、内联网、移动通信网络、卫星通信网络等。有线/无线网络120可以是包括LAN(局域网)、WAN(广域网)等在内的闭合网络，然而，其优选是像因特网一样的开放网络。因特网意指用于提供不同的服务的全球开放式计算机网络结构，其存在于TCP/IP协议层和更高的层，包括HTTP(超文本传输协议)、Telnet、FTP(文件传输协议)、DNS(域名系统)、SMTP(简单邮件传输协议)、SNMP(简单网络管理协议)、NFS(网络文件服务)、NIS(网络信息服务)。此外，如果便携终端110是移动通信终端，那么有线/无线网络120可以包括移动通信网络。此处，有线/无线网络120的技术在本领域中是公知的，并且略去了对其的详细描述。

根据本公开内容的一个实施例的增强现实提供服务器130与便携终端110交互，将从便携终端110接收的特征点与预存的与位置相关联的信息进行比较以抽取与所接收的特征点匹配的本地信息数据，并进一步将所抽取的本地信息数据发射给便携终端110。另外，增强现实提供服务器130将包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息在内的本地信息数据发射给便携终端110。增强现实提供服务器130还储存与位置相关联的信息，与位置相关联的信息包括包含通过拍摄真实场景而得到的实像图像信息、与实像图像信息对应的经纬度坐标信息、POI信息以及广告信息在内的一种或多种信息。另外，增强现实提供服务器130通过使用从便携终端110接收的位置信息来计算便携终端110的当前位置信息，并基于所计算的当前位置信息抽取本地信息数据。进一步，增强现实提供服务器130基于与便携终端110同步的基站的位置信息抽取本地信息数据。

另外，增强现实提供服务器130从自便携终端110接收的图像信息中抽取特征点，通过将所抽取的特征点同预存的与位置相关联的信息进行比较以抽取与所抽取的特征点匹配的本地信息数据，并进一步将本地信息数据发射给便携终端110。另外，增强现实提供服务器130基于从包含在所接收的图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。

进一步，增强现实提供服务器130从便携终端110接收选择的菜单信息，通过将所接收的选择的菜单信息同预存的与位置相关联的信息进行比较以生成通过抽取与所接收的选择的菜单信息匹配的数据来获得的第一菜单信息数据，并将所生成的第一菜单信息数据发射给便携终端110。这里，增强现实提供服务器130将来自包含在预存的与位置相关联的信息中的多个菜单选项的且与所选择的菜单信息匹配的部分菜单列表专门生成为第一菜单信息数据。另外，增强现实提供服务器130将包括在与位置相关联的信息中的实像图像信息发射给便携终端110。增强现实提供服务器130还将通过抽取在同实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所接收的选择的菜单信息匹配的一种或多种信息来获得的第一菜单信息发射给便携终端110。另外，增强现实提供服务器130通过使用从便携终端110接收的位置信息来计算便携终端110的当前位置信息，通过抽取与根据当前位置信息的预设半径内的范围相关的与位置相关联的信息当中的与当前位置信息和所选择的菜单信息匹配的数据来生成第三菜单信息数据，并将第三菜单信息数据发送给便携终端110。增强现实提供服务器130还基于与便携终端110同步的基站的位置信息计算便携终端110的当前位置信息，通过抽取与根据当前位置信息的预设半径内的范围相关的与位置相关联的信息当中的与当前位置信息和所选择的菜单信息匹配的数据来生成第四菜单信息数据，并将第四菜单信息数据发送给便携终端110。

另外，根据该实施例的增强现实提供服务器130从便携终端110接收选择的本地信息，通过将所接收的选择的本地信息同预存的与位置相关联的信息进行比较以生成根据抽取与所接收的选择的本地信息匹配的数据来获得的第一本地信息数据，并将所生成的第一本地信息数据发射给便携终端。这里，增强现实提供服务器130在从包含在与位置相关联的信息中的多个地点中指定所选择的本地信息后生成包含在指定地点中包括的多个菜单中的全部菜单在内的第一本地信息数据。增强现实提供服务器130还将来自与位置相关联的信息中的与所选择的本地信息对应的地点的实像图像信息发射给便携终端110。另外，增强现实提供服务器130将包含来自与同所选择的本地信息对应的地点的实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息在内的第一本地信息数据发射给便携终端110。另外，增强现实提供服务器130通过使用从便携终端110接收的位置信息来计算便携终端110的当前位置信息，并将所计算的当前位置信息发射给便携终端110。

图2是用于表示根据本公开内容的一个实施例的增强现实提供服务器的概念性方框图。

根据该实施例的增强现实提供服务器130包括服务器通信单元210、服务器控制单元220以及服务器储存单元230。

虽然本公开内容的该实施例仅指定了服务器通信单元210、服务器控制单元220以及服务器储存单元230这些组件以提出本公开内容的技术概念的示出性例子，但是本领域技术人员将理解的是，增强现实提供服务器130的这些组件可以在不脱离本公开内容的内在特征的情况下被不定地以应用来改变和更改。

服务通信单元210是一种用于经由有线/无线网络120与便携终端110交互的装置，并用以收发各种数据。这里，虽然描述了服务通信单元210，但是其当然并不限于作为包括在增强现实提供服务器130内的一个模块，并且其可以是一个单独的服务器以用于移动电信公司的通信。

通过一并参照图1和图2，作为用于控制服务器的全部功能的装置，根据这个实施例的服务控制单元220对服务器通信单元210进行控制以：将从便携终端110接收的特征点与预存的与位置相关联的信息进行比较以抽取与所接收的特征点匹配的本地信息数据，并进一步将所抽取的本地信息数据发射给便携终端110。通过使用服务器通信单元210，服务器控制单元220还将包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息在内的本地信息数据发射给便携终端110。另外，服务器控制单元220通过使用从便携终端110接收的位置信息来计算便携终端的当前位置信息，并基于所计算的当前位置信息抽取本地信息数据。进一步，服务器控制单元220基于与便携终端110同步的基站的位置信息抽取本地信息数据。这种服务器控制单元220可以包括存储器和微处理器，存储器用于储存用于对增强现实提供服务器130的组件进行控制的程序，微处理器用于执行对应的程序以对增强现实提供服务器130的每个组件进行控制。

根据该实施例的服务器控制单元220对服务器通信单元210进行控制以：从自便携终端110接收的图像信息中抽取特征点，通过将所抽取的特征点同预存的与位置相关联的信息进行比较以抽取与所抽取的特征点匹配的本地信息数据，并通过使用服务器通信单元210将所抽取的本地信息数据发射给便携终端110。另外，服务器控制单元220基于从包含在所接收的图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。

另外，服务器控制单元220对服务器通信单元210进行控制以：从便携终端110接收选择的菜单信息，通过将所接收的选择的菜单信息同预存的与位置相关联的信息进行比较以生成通过抽取与所接收的选择的菜单信息匹配的数据来获得的第一菜单信息数据，并将所生成的第一菜单信息数据发射给便携终端110。这里，服务器控制单元220通过选择包括在与位置相关联的信息中的多个菜单当中的与所选择的菜单信息匹配的菜单来生成第一菜单信息数据。服务器控制单元220将包括在与位置相关联的信息中的实像图像信息发射给便携终端110。服务器控制单元220将通过抽取在同实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所接收的选择的菜单信息匹配的一种或多种信息来获得的第一菜单信息发射给便携终端110。

服务器控制单元220通过使用从便携终端110接收的位置信息来计算便携终端110的当前位置信息，通过抽取与根据当前位置信息的预设半径内的范围相关的与位置相关联的信息当中的与当前位置信息和所选择的菜单信息匹配的数据来生成第三菜单信息数据，将第三菜单信息数据发送给便携终端110。服务器控制单元220还基于与便携终端110同步的基站的位置信息计算便携终端110的当前位置信息，通过抽取与根据当前位置信息的预设半径内的范围相关的与位置相关联的信息当中的与当前位置信息和所选择的菜单信息匹配的数据来生成第四菜单信息数据，将第四菜单信息数据发送给便携终端110。这种服务器控制单元220可以包括存储器和微处理器，存储器用于储存用于对增强现实提供服务器130的组件进行控制的程序，微处理器用于执行对应的程序以对增强现实提供服务器130的每个组件进行控制。

进一步，服务器控制单元220对服务器通信单元210进行控制以：从便携终端110接收选择的本地信息，通过将所接收的选择的本地信息同预存的与位置相关联的信息进行比较以生成通过抽取与所接收的选择的本地信息匹配的数据来获得的第一本地信息数据，并将所生成的第一本地信息数据发射给便携终端110。这里，服务器控制单元220在从包含在所预存的与位置相关联的信息中的多个地点中指定所选择的本地信息后生成包含在指定地点中包括的多个菜单中的全部菜单在内的第一本地信息数据。服务器控制单元220还将来自与位置相关联的信息中的与所选择的本地信息对应的地点的实像图像信息发射给便携终端110。另外，服务器控制单元220将包含来自与同所选择的本地信息对应的地点的实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息在内的第一本地信息数据发射给便携终端110。

服务器储存单元230是用于储存为操作服务器而需要的各种数据的装置，并储存与位置相关联的信息，与位置相关联的信息包括包含实像图像信息、与实像图像信息对应的经纬度坐标信息、POI信息以及广告信息在内的一种或多种信息。

图3是用于表示根据本公开内容的一个实施例的便携终端的概念性方框图。

根据本公开内容的该实施例的便携终端110包括存储单元310、显示单元320、键输入单元330、GPS模块340、麦克风350、扬声器360、终端通信单元370、摄像机模块380以及终端控制单元390。

虽然本公开内容的该实施例仅通过存储单元310、显示单元320、键输入单元330、GPS模块340、麦克风350、扬声器360、终端通信单元370、摄像机模块380以及终端控制单元390指定了其组件以提出本公开内容的技术概念的示出性例子，但是本领域技术人员将理解的是，便携终端110的这些组件可以在不脱离本公开内容的内在特征的情况下被不定地以应用来改变和更改。

存储器单元310是用于储存用于执行语音和数据通信的基本软件、用于执行包括摄像机功能在内的各种附加功能的多个软件程序以及用于处理交换的信息以执行无线电子通信的协议软件的装置。显示单元320指示便携终端110的操作状态，操作状态包括便携终端110的当前电源使用情况、电波的接收信号强度以及时刻和日期；并成为当文字、数字和图像被递送时用于在屏幕上显示这些形式的信息的装置。键输入单元320配备有用于输入数字、文字和符号以从便携终端110的用户接收用户键输入或命令的按钮。GPS模块340基于包括在无线电波信号中的导航数据生成位置信息。麦克风350是用于将移动通信服务的用户的语音输入转换成电信号并将其递送的语音输入装置。扬声器360是将所递送的语音信号转换成可听到的声音并将其输出的音频输出装置。

终端通信单元370是通过提供如下功能体对无线通信进行处理的无线通信处理装置：数字信号处理功能体，用于编码/解码语音信号、用作用于多径噪声消除的均衡器、处理声音数据等；基带转换功能体，用于将收发的信号转换成基带信号以及承担数模转换和模数转换等；RF信号处理功能体，用于接收RF(射频)信号并将其转换成IF(中频)信号，将IF信号转换成RF信号，解调并放大RF信号；以及天线功能体，用于通过空中收发无线电波信号。终端通信单元370还与增强现实提供服务器130交互。摄像机模块380获取与静止图像或视频对应的图像信息。

根据该实施例的终端控制单元390进行控制以：从自摄像机模块380获取的图像信息中抽取特征点，并将所抽取的特征点发射给增强现实提供服务器130；以及进行控制以：接收从增强现实提供服务器130发射的与特征点对应的本地信息数据，并通过显示单元320输出与本地信息数据合并的图像信息。另外，终端控制单元390进行控制以：将从GPS模块340生成的位置信息发射给增强现实提供服务器，从增强现实提供服务器130接收与所发射的位置信息对应的当前位置信息，并基于所接收的当前位置信息将所接收的本地信息数据与所获取的图像信息进行合成。这里，虽然该实施例指定了便携终端110装配有GPS模块340，但是实现方案不必限于这种方式。

另外，终端控制单元390基于从包含在所获取的图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。终端控制单元390还将所获取的图像信息与包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息在内的本地信息数据进行合并。

根据一个实施例的终端控制单元390对如下过程进行控制：通过使用终端通信单元370将通过摄像机模块380获取的图像信息发射给增强现实提供服务器130，接收从增强现实提供服务器130发射的与图像信息对应的本地信息数据，并通过显示单元320输出与所接收的本地信息数据合并的所获取的图像信息。终端控制单元390还从所获取的图像信息中抽取选择的包括初始的帧1或帧2、关键帧以及在偏离于预设条件的特定事件发生时的视频帧在内的一个或多个帧；并将所抽取的一个帧或多个帧发射给增强现实提供服务器130。终端控制单元390还将生成的位置信息发射给增强现实提供服务器130，从增强现实提供服务器130接收与所发射的位置信息对应的当前位置信息，并基于所接收的当前位置信息将所接收的本地信息数据与所获取的图像信息进行合成。另外，终端控制单元390还将所获取的图像信息与包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息在内的本地信息数据进行合并。

根据一个实施例的终端控制单元390利用摄像机模块380以获取与静止图像或视频对应的图像信息；以及利用GPS模块340以基于包括在无线电波信号内的导航数据生成位置信息。终端控制单元390还将按照通过键输入单元输入的用户命令选择的菜单信息发射给增强现实提供服务器130，从增强现实提供服务器130下载与所选择的菜单信息对应的第一菜单信息数据，并通过显示单元320显示与下载的第一菜单信息数据合并的所获取的图像信息。另外，终端控制单元390将所获取的图像信息与同包含在所下载的第一菜单信息数据中的实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所接收的选择的菜单信息匹配的一种或多种信息进行合并。

终端控制单元390从所获取的图像信息中抽取特征点，通过将所抽取的特征点同所下载的第一菜单信息数据进行比较以生成根据抽取与所抽取的特征点匹配的数据来获得的第二菜单信息数据，并将第二菜单信息数据与所获取的图像信息进行合并。终端控制单元390还将所生成的位置信息发射给增强现实提供服务器130，从增强现实提供服务器130下载与所选择的菜单信息和所发射的位置信息对应的第三菜单信息数据，并将所下载的第三菜单信息数据与所获取的图像信息进行合并。

根据一个实施例的终端控制单元390将由通过键输入单元330输入的用户命令所选择的本地信息发射给增强现实提供服务器，从增强现实提供服务器下载与所选择的本地信息对应的第一本地信息数据，并通过显示单元320输出与所下载的第一本地信息数据合并的所获取的图像信息。终端控制单元390还将所获取的图像信息与来自同包含在所下载的第二本地信息数据中的与所选择的本地信息对应的地点的实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的一种或多种信息进行合并。另外，终端控制单元390将所生成的位置信息发射给增强现实提供服务器130，接收从增强现实提供服务器130发送的与所生成的位置信息对应的当前位置信息，并基于所接收的当前位置信息将接收的第二本地信息数据与所获取的图像信息进行合并。进一步，终端控制单元390从所获取的图像信息中抽取特征点，通过将所抽取的特征点同所下载的第一本地信息数据进行比较以生成通过抽取与所抽取的特征点匹配的数据来获得的第二本地信息数据，并将所生成的第二本地信息数据与所获取的图像信息进行合并。

图4是用于示出用于根据本公开内容的第一实施例提供增强现实的方法的流程图。

通过一并参照图4和图3，在步骤S410处，便携终端110运行所安装的摄像机模块380以获取与静止图像或视频对应的图像信息。也即，便携终端110装配有用以获得与静止图像或视频对应的图像信息的摄像机模块380。

便携终端110从所获取的图像信息中抽取图像的特征点(S420)。这里，便携终端110基于从包含在图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。

便携终端110将所抽取的特征点发射给增强现实提供服务器130。增强现实提供服务器130将所接收的特征点与先前存储的与位置相关联的信息进行比较(S440)，根据比较结果抽取与所接收的特征点匹配的本地信息数据(S450)，以及将所抽取的本地信息数据发射给便携终端110(S460)。这里，增强现实提供服务器130储存与位置相关联的信息，与位置相关联的信息包括实像图像信息、与实像图像信息对应的经纬度坐标信息、POI信息以及广告信息当中的一种或多种信息。相应地，增强现实提供服务器130利用所预存的与位置相关联的信息以抽取包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息在内的本地信息数据，并将所抽取的本地信息数据发送给便携终端110。另外，增强现实提供服务器130通过使用从便携终端110接收的位置信息来计算相同的便携终端110的当前位置信息，并基于所计算的当前位置信息抽取本地信息数据。增强现实提供服务器130还可以基于与便携终端110同步的基站的位置信息抽取本地信息数据。

便携终端110从增强现实提供服务器130接收本地信息数据，并通过显示单元320输出与所接收的本地信息数据合并的来自摄像机模块380的所获取的图像信息(S470)。换言之，所获取的图像信息可以通过显示单元320来输出，并且来自增强现实提供服务器130的本地信息数据可以被呈现成覆盖在所输出的图像信息中的特定的对象上。进一步，便携终端110可以将所生成的位置信息发送给增强现实提供服务器130，接收从增强现实提供服务器130发送的与所述位置信息对应的当前位置信息，并基于所接收的当前位置信息将所接收的本地信息数据与所获取的图像信息进行合并。

尽管图4指定了步骤S410到S470是由便携终端110和增强现实提供服务器130顺次执行的，但是其仅是为示出本公开内容的技术概念的例子，并且本领域技术人员将理解的是，便携终端110和增强现实提供服务器130可以按照与所述示例相比改变的次序承担这些步骤，或者在其它各种替代方案和修改方案当中并行地执行一个或多个步骤S410到S470，并且因此图4中的步骤的次序并不限于时间序列。

用于根据在图4中示出的本公开内容的一个实施例提供增强现实的所描述的服务方法，可以记录在计算机可读介质上。记录有用以实现用于根据该实施例提供增强现实的本方法的计算机程序的计算机可读介质包括用于记录由计算机可读的数据的任何种类的记录设备。这种计算机可读记录介质的例子包括ROM、RAM、CD-ROM、磁带、软盘以及光学数据存储，并且进一步包括载波中的实现方案(例如，通过因特网的传输)。另外，计算机可读记录介质可以被提供在分布式处理系统中，其中计算机系统被通过网络连接以储存并执行分布的位置处的计算机可读代码。此外，用以实现所公开的实施例的功能程序、代码和代码段可以由本公开内容的所述实施例所属于的技术领域中的编程器容易地导出。

图5是用于示出根据本公开内容的第一实施例的便携终端和增强现实提供服务器的功能的示例图。

如图5中所示出地，增强现实提供服务器130需要进行专用DB建立，专用DB建立指由POI信息和从拍摄的具有实际的地理特征(地貌、建筑物、公路等)的真实图像抽取的特征点的结合形成的AR DB。所示出的AR DB、真实图像DB、POI DB以及AD(广告)DB对应于的增强现实提供服务器130的服务器储存单元230。这里，AR DB是用于储存特征点、GPS坐标、POI信息以及附加信息中的一种或多种；真实图像DB储存实际的街道图像以及与所述图像匹配的GPS坐标；POI DB储存POI信息；以及AD DB是用于与商业报告系统、门户网站、广告内容DB交互。

通过一并参照图5和图3，当用户使用便携终端110的摄像机模块380拍得真实图像的图片时，通过终端控制单元390的分析从静止图像或视频内的帧中抽取特征点，并且通过有线/无线网络120将所抽取的特征点递送给增强现实提供服务器130的AR DB。AR DB将所接收的特征点与所预存的基于位置的信息进行比较以搜索相同的或匹配的特征点，并将对应的POI信息、广告信息、促销信息、因特网链路信息以及标注信息当中的至少一种信息递送给便携终端110。此时，可以从便携终端110所位于的基站提供信息，以缩短增强现实提供服务器130的AR DB的搜索时间，以防位置信息不被使用。

图6是用于示出用于根据本公开内容的第二实施例提供增强现实的方法的流程图。

通过一并参照图6和图3，在步骤S610处便携终端110运行所安装的摄像机模块380以获取与静止图像和视频对应的图像信息。也即，便携终端110装配有用以获得与静止图像或视频对应的图像信息的摄像机模块380。

在步骤S602处，便携终端110将所获取的图像信息发射给增强现实提供服务器130。这里，由于当便携终端110发射所获取的图像信息的整体时可能发生延迟，所以用于向增强现实提供服务器130发射的图像信息可以是通过抽取选择的包括初始的帧1或帧2、关键帧以及在偏离于预设条件的特定事件发生时的视频帧在内的一个或多个帧来获得的。

增强现实提供服务器130从自便携终端110接收的图像信息中抽取特征点(S630)。这里，增强现实提供服务器130基于从包含在图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。

增强现实提供服务器130将接收的特征点与预存的与位置相关联的信息进行比较(S640)，并响应于比较的结果而抽取与所接收的特征点匹配的本地信息数据(S650)，并将所抽取的本地信息数据发射给便携终端110(S660)。这里，增强现实提供服务器130还储存与位置相关联的信息，与位置相关联的信息包括实像图像信息、与实像图像信息对应的经纬度坐标信息、POI信息以及广告信息当中的一种或多种信息。相应地，增强现实提供服务器130利用先前储存的与位置相关联的信息以抽取包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息在内的本地信息数据，并将所抽取的本地信息数据发送给便携终端110。另外，增强现实提供服务器130通过使用从便携终端110接收的位置信息来计算便携终端110的当前位置信息，并基于所计算的当前位置信息抽取本地信息数据。增强现实提供服务器130还可以基于与便携终端110同步的基站的位置信息抽取本地信息数据。

便携终端110从增强现实提供服务器130接收本地信息数据，并通过显示单元320输出与所接收的本地信息数据合并的来自摄像机模块380的所获取的图像信息(S670)。特别地，便携终端110在显示单元320上输出所获取的图像信息与本地信息数据的合并信息，本地信息数据包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息。除此之外，便携终端110可以将所生成的位置信息发送给增强现实提供服务器130，接收从增强现实提供服务器130发送的与所述位置信息对应的当前位置信息，并基于所接收的当前位置信息将所接收的本地信息数据与所获取的图像信息进行合并。

尽管图6指定了便携终端110和增强现实提供服务器130顺次承担步骤S610到S670，但是其仅是为示出本公开内容的第二实施例的技术概念的例子，并且本领域技术人员将理解的是，便携终端110和增强现实提供服务器130可以按照与图6中的示例相比改变的次序承担这些步骤，或者在其它各种替代方案和修改方案当中并行地执行一个或多个步骤S610到S670，并且因此图6中的步骤的次序并不限于时间序列。

用于根据在图6中示出的本公开内容的第二实施例提供增强现实的所描述的服务方法，可以记录在计算机可读介质上。记录有用以实现用于根据第二实施例提供增强现实的本方法的计算机程序的计算机可读介质包括用于记录由计算机可读的数据的任何种类的记录设备。这种计算机可读记录介质的例子包括ROM、RAM、CD-ROM、磁带、软盘以及光学数据存储，并且进一步包括载波中的实现方案(例如，通过因特网的传输)。另外，计算机可读记录介质可以被提供在分布式处理系统中，其中计算机系统被通过网络连接以储存并执行分布的位置处的计算机可读代码。此外，用以实现所公开的实施例的功能程序、代码和代码段可以由本公开内容的第二实施例所属于的技术领域中的编程器容易地导出。

图7是用于示出根据本公开内容的第二实施例的便携终端和增强现实提供服务器的功能的示例图。

如图7中所示出地，增强现实提供服务器130需要进行专用DB建立，专用DB建立指由POI信息和从拍摄的具有实际的地理特征(地貌、建筑物、公路等)的真实图像抽取的特征点的结合形成的AR DB。所示出的AR DB、真实图像DB、POI DB以及AD DB对应于的增强现实提供服务器130的服务器储存单元230。这里，AR DB是用于储存特征点、GPS坐标、POI信息以及附加信息中的一种或多种；真实图像DB储存实际的街道图像以及与所述图像匹配的GPS坐标；POI DB储存POI信息；以及AD DB是用于与商业报告系统、门户网站、广告内容DB交互。

通过一并参照图7和3，便携终端110将通过摄像机模块380获取的图像信息发射给增强现实提供服务器130。这里，由于当便携终端110发射所获取的图像信息的整体时可能发生延迟，所以便携终端110仅抽取通过抽取选择的包括初始的帧1或帧2、关键帧以及在偏离于预设条件的特定事件发生时的视频帧在内的一个或多个帧来获得的信息。特别地，从便携终端110发送的图像信息可以经由有线/无线通信网络(CDMA、GSM、GPRS、WCDMA等)递送给增强现实提供服务器130的AR DB。

增强现实提供服务器130利用先前储存的AR DB以分析从便携终端110接收的图像信息的实像图像内的帧，以便抽取特征点。增强现实提供服务器130将所抽取的特征点与先前储存的基于位置的信息进行比较以搜索相同的或匹配的特征点，并将对应的POI信息、广告信息、促销信息、因特网链路信息以及标注信息当中的至少一种信息递送给便携终端110。此时，可以从便携终端110所位于的基站提供信息，以缩短增强现实提供服务器130的AR DB的搜索时间，以防位置信息不被使用。

图8是用于示出用于根据本公开内容的第三实施例提供增强现实的方法的流程图。

便携终端110在步骤S810处运行用于接收提供的增强现实服务的应用，并且当用户操作便携终端110以在运行中的应用中进行特定菜单选择时，便携终端110通过键输入单元330接收所选择的菜单信息(S820)。便携终端110将按照用户的命令所选择的菜单信息发射给增强现实服务器130(S830)。

增强现实提供服务器130从便携终端110接收选择的菜单信息，将所接收的选择的菜单信息与先前存储的与位置相关联的信息进行比较(S840)，生成通过抽取与所选择的菜单信息匹配的数据来获得的第一菜单信息数据(S850)，以及将所生成的第一菜单信息数据发射给便携终端110(S860)。这里，增强现实提供服务器130在与位置相关联的信息中将实像图像信息发送给便携终端110。另外，增强现实提供服务器130将通过抽取与来自与实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息匹配的数据而获得的第一菜单信息数据发送给便携终端110。增强现实提供服务器130还通过使用从便携终端110接收的位置信息来计算便携终端110的当前位置信息，通过抽取与根据所计算的当前位置信息的预设半径内的范围相关的与位置相关联的信息当中的与当前位置信息和所选择的菜单信息匹配的数据来生成第三菜单信息数据，并将第三菜单信息数据发送给便携终端110。另外，增强现实提供服务器130基于与便携终端110同步的基站的位置信息计算便携终端110的当前位置信息，通过抽取与根据所计算的当前位置信息的预设半径内的范围相关的与位置相关联的信息当中的与当前位置信息和所选择的菜单信息匹配的数据来生成第四菜单信息数据，并将第四菜单信息数据发送给便携终端110。

便携终端110从增强现实提供服务器130下载与所选择的菜单信息对应的第一菜单信息数据，并通过显示单元320显示与所下载的第一菜单信息数据合并的所获取的图像信息(S870)。另外，便携终端110可以将所获取的图像信息与同包含在所下载的第一菜单信息数据中的实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所接收的选择的菜单信息匹配的一种或多种信息进行合并。这里，便携终端110从通过摄像机模块380获取的图像信息中抽取特征点，通过将所抽取的特征点同所下载的第一菜单信息数据进行比较以生成通过抽取与所抽取的特征点匹配的数据来获得的第二菜单信息数据，并将所生成的第二菜单信息数据与所获取的图像信息进行合并。便携终端110还基于从包含在通过摄像机模块380获取的图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。进一步，便携终端110将通过GPS模块340生成的位置信息发送给增强现实提供服务器，从增强现实提供服务器130下载与所选择的菜单信息和所发射的位置信息对应的第三菜单信息数据，并将所下载的第三菜单信息数据与所获取的图像信息进行合并。便携终端110是装配有摄像机模块380以及GPS模块340的终端，摄像机模块380以及GPS模块340分别用以获得与静止图像或视频对应的图像信息以及基于包括在无线电波信号内的导航数据生成位置信息。

尽管图8指定了便携终端110和增强现实提供服务器130顺次承担步骤S810到S870，但是其仅是为示出本公开内容的第二实施例的技术概念的例子，并且本领域技术人员将理解的是，便携终端110和增强现实提供服务器130可以按照与图8中的示例相比改变的次序承担这些步骤，或者在其它各种替代方案和修改方案当中并行地执行一个或多个步骤S810到S870，并且因此图8中的步骤的次序并不限于时间序列。

用于根据在图8中示出的本公开内容的第三实施例提供增强现实的所描述的服务方法，可以记录在计算机可读介质上。记录有用以实现用于根据第二实施例提供增强现实的本方法的计算机程序的计算机可读介质包括用于记录由计算机可读的数据的任何种类的记录设备。这种计算机可读记录介质的例子包括ROM、RAM、CD-ROM、磁带、软盘以及光学数据存储，并且进一步包括载波中的实现方案(例如，通过因特网的传输)。另外，计算机可读记录介质可以被提供在分布式处理系统中，其中计算机系统被通过网络连接以储存并执行分布的位置处的计算机可读代码。此外，用以实现所公开的实施例的功能程序、代码和代码段可以由本公开内容的所述实施例所属于的技术领域中的编程器容易地导出。

图9是用于示出根据本公开内容的第三实施例的便携终端和增强现实提供服务器的功能的示例图。

如图9所示出的，用户可以操作便携终端110并在增强现实内接收特定期望选择的菜单。特别地，增强现实提供服务器130根据从便携终端110接收的所选择的菜单信息将菜单信息数据发送回给便携终端110，其中便携终端110然后下载实像图像信息、其对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的与所接收的选择的菜单信息匹配的一种或多种信息，并运行移动AR应用。例如，如果用户访问了明洞十字路口并从提供的增强现实菜单内的选择菜单(可以从其中选择家庭餐馆、剧院、便利店、地图服务等)中选择了“家庭餐馆”，那么对应的选择信息被发送给增强现实提供服务器130，其中增强现实提供服务器130将处于根据用户的当前位置信息的预设半径内的“家庭餐馆建筑”的特征点、POI信息、促销信息等发送给便携终端110。当下载了对应的信息时，便携终端110仅显示与通过摄像机模块380获取的图像信息合并的“家庭餐馆信息”。

换言之，当用户左右移动所安装的摄像机模块380扫描“明洞购物区”时，不必参与所发生的变化的图像到增强现实提供服务器130的传输以及等待来自增强现实提供服务器130的相应响应，而是在增强现实提供服务器130中整体地接收并下载与所选择的菜单信息匹配的菜单信息数据，从而允许对与通过摄像机模块380获取的图像信息合并的所下载的菜单信息数据的快速输出。

图10是用于示出用于根据本公开内容的第四实施例提供增强现实的方法的流程图。

便携终端110在步骤S1010处运行用于接收提供的增强现实服务的应用，并且当用户操作便携终端110以在运行中的应用中进行地点选择时，便携终端110通过键输入单元330接收所选择的本地信息(S1020)。便携终端110将按照用户的命令所选择的本地信息发射给增强现实服务器130(S1030)。

增强现实提供服务器130从便携终端110接收选择的本地信息，将所接收的选择的本地信息与先前存储的与位置相关联的信息进行比较(S1040)，生成通过抽取与所选择的本地信息匹配的数据来获得的第一本地信息数据(S1050)，以及将所生成的第一本地信息数据发射给便携终端110(S1060)。这里，增强现实提供服务器130将与位置相关联的信息当中与所选择的本地信息对应的实像图像信息发送给便携终端110。另外，增强现实提供服务器130将包括来自与同所选择的本地信息对应的实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息在内的第一本地信息数据发送给便携终端110。增强现实提供服务器130还通过使用从便携终端110接收的位置信息来计算便携终端110的当前位置信息，并将所计算的当前位置信息发送给便携终端110。

便携终端110从增强现实提供服务器130下载与所选择的本地信息对应的第一本地信息数据，并通过显示单元320显示与所下载的第一本地信息数据合并的所获取的图像信息(S1070)。另外，便携终端110可以将所获取的图像信息与同包含在所下载的第二本地信息数据中的与所选择的本地信息对应的地点的实像图像信息对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的一种或多种信息进行合并。另外，便携终端110将所生成的位置信息发送给增强现实提供服务器130，从增强现实提供服务器130接收与所述位置信息对应的当前位置信息，并基于所接收的当前位置信息将所接收的第二本地信息数据与所获取的图像信息进行合并。便携终端110还从所获取的图像信息中抽取特征点，通过将所抽取的特征点同所下载的第一本地信息数据进行比较以生成通过抽取与所抽取的特征点匹配的数据来获得的第二本地信息数据，并将所生成的第二本地信息数据与所获取的图像信息进行合并。另外，便携终端110基于从包含在所获取的图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取特征点。进一步，便携终端110是装配有摄像机模块380以及GPS模块340的终端，摄像机模块380以及GPS模块340分别用以获得与静止图像或视频对应的图像信息以及基于包括在无线电波信号内的导航数据生成位置信息。

尽管图10指定了便携终端110和增强现实提供服务器130顺次承担步骤S1010到S1070，但是其仅是为示出本公开内容的第二实施例的技术概念的例子，并且本领域技术人员将理解的是，便携终端110和增强现实提供服务器130可以按照与图10中的示例相比改变的次序承担这些步骤，或者在其它各种替代方案和修改方案当中并行地执行一个或多个步骤S1010到S1070，并且因此图10中的步骤的次序并不限于时间序列。

用于根据在图10中示出的本公开内容的第四实施例提供增强现实的所描述的服务方法，可以记录在计算机可读介质上。记录有用以实现用于根据第四实施例提供增强现实的本方法的计算机程序的计算机可读介质包括用于记录由计算机可读的数据的任何种类的记录设备。这种计算机可读记录介质的例子包括ROM、RAM、CD-ROM、磁带、软盘以及光学数据存储，并且进一步包括载波中的实现方案(例如，通过因特网的传输)。另外，计算机可读记录介质可以被提供在分布式处理系统中，其中计算机系统被通过网络连接以储存并执行分布的位置处的计算机可读代码。此外，用以实现所公开的实施例的功能程序、代码和代码段可以由本公开内容的第四实施例所属于的技术领域中的编程器容易地导出。

图11是用于示出根据本公开内容的第四实施例的便携终端和增强现实提供服务器的功能的示例图。

如图11中所示出的，用户可以通过操控便携终端110而被提供从增强现实中期望的选择的地域或区域。也就是说，在存在通过地域进行分类的下载菜单的情况下，用户可以在以独立的应用的形式(VM或单独的软件)将它们下载后接收实时的增强现实，以防在对应的地带发生任何时间延迟。

例如，用户可以进入呈现有“明洞购物区”、“江南站商业娱乐区”、“弘大区娱乐俱乐部区”、“大学路剧院区”的移动AR菜单，并选择“明洞”以将“明洞”的实像图像、其对应的经纬度坐标信息、POI信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的一种或多种信息下载到用户的便携终端110。

特别地，在“明洞”的里面或外面，用户可以将关于“明洞”的本地信息数据下载到便携终端110，以及当用户进入运行便携终端110的增强现实应用的区域时，其显示将先前下载的本地信息数据与通过摄像机模块380获得的图像信息合并而得的图像。这种用于提供增强现实的方法能够在没有信息连接延迟的情况下向用户提供增强现实，这对用户表现为下载地域地图以及允许使用通过事先下载得到的选择性的经常访问的感兴趣的地域。

图12是用于表示根据本公开内容的一个实施例的用于显示增强现实的便携终端的示例图。

通过参照图12连同图2和3，出于方便将便携终端110假定成表示已从由增强现实提供服务器130的服务器储存单元230建立的数据库接收到“首尔明洞”的实像图像以及合成到实像图像上的本地信息数据。

通过便携终端110的数字图像处理技术，可以从数字图像中抽取特征点，使得特征点可以表示为基于从包含在数字图像内的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息的数字数据集。特别地，所获取的图像信息通常是室外街道图片，其中期望本公开内容的实施例表示对于室外街道图片的应用。在室外街道图片的情况下，一般相比非刚性对象而言，建筑物、道路、连同徽标的招牌、文字以及特定图案中较高比例的线性特征有助于特征点的抽取。

虽然图12中的示意图“首尔明洞”支持各种招牌，但是可以从具有各种包括“咖啡招牌”、“整容招牌”、“卡拉OK招牌”、“服装招牌”等在内的招牌图像、建筑物轮廓以及招牌内容的总体轮廓中抽取特征点。另外，以各种角度拍摄“首尔明洞”的街道允许抽取招牌尺寸和文字信息的特征点。取决于抽取算法和在图像中包括的信息，可以将用于表示特征点的数据量减少至1/10到1/100以下。例如，如果源图像为100Kbyte，那么可以将所抽取的特征点数据表示为低于少于1～10Kbyte。此时，可以生成将所抽取的特征点、诸如“咖啡招牌”的电话号码或当前的促销(减价)信息之类的POI信息、顾客的评价记录、特定的因特网链路合并的新的DB，并且这种DB可以用作增强现实提供服务器130的服务器储存单元230。因此，如果用户使用便携终端110的摄像机模块380以拍摄“明洞十字路口”处的建筑物，那么便携终端110与增强现实提供服务器130交互以接收关于商店名、电话号码、促销信息、旅游信息以及其它标注信息的信息，并将这些信息与所获取的图像信息进行合并以显示在图12所示出的内容。

在上面的描述中，虽然本公开内容的各方面的所有组件可以被解释为被装配或被操作地连接为一个单元，但是本公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。这些组件中的每个组件自身还可以实现成硬件，同时各个组件可以部分地合并或选择性地总体合并且实现成具有用于执行硬件等同体的功能的程序模块的计算机程序。用以构建这种程序的代码或代码段可以由本领域技术人员容易地导出。这种计算机程序可以储存在计算机可读介质中，其可以被运行以实现本公开内容的各方面。计算机可读介质可以包括磁记录介质、光学记录介质以及载波介质。

另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。

虽然已出于说明的目的描述了本公开内容的示例方面，但是本领域技术人员应当意识到，可以在不背离本公开内容的基本特征的前提下进行各种更改、添加和删除。因此，已描述的本公开内容的示例方面并不是要进行限定。相应地，本公开内容的保护范围不受上述方面而受权利要求及其等同物的限制。

工业实用性

如上所述，本公开内容对于各种领域中的应用都是非常有用的，在这些领域中可以通过用户感兴趣的关于实像图像内的真实对象的附加信息来仅对选择的信息进行选择性的显示，由此可以获得快速的增强现实操作，这是因为便携终端可以接收与用户选择菜单对应的菜单信息数据，并立即以合成到所获取的图像信息上的方式输出与选择菜单对应的信息。

Claims (19)

1.一种用于提供具有覆盖在捕获的视频上的信息的增强现实的增强现实提供服务器，所述增强现实提供服务器包括：

服务器通信单元，其用于与便携终端交互；以及

服务器控制单元，其用于

从所述便携终端接收选择的菜单信息，

将所选择的菜单信息与已被储存在服务器储存单元中的、与位置相关联的信息进行比较，

基于所述比较从所述与位置相关联的信息中抽取与所选择的菜单信息匹配的数据，

基于所抽取的数据而生成第一菜单信息数据并将所生成的第一菜单信息数据发射给所述便携终端，

其中，所抽取的数据包括在包含于所述与位置相关联的信息中的多个菜单当中的、与所选择的菜单信息匹配的菜单，

其中，所述服务器控制单元通过使用从所述便携终端接收的位置信息来计算所述便携终端的第一当前位置信息，通过抽取与根据所述第一当前位置信息的预设半径内的范围相关的、所述与位置相关联的信息当中的与所述第一当前位置信息和所选择的菜单信息相匹配的数据来生成第三菜单信息数据，并将所述第三菜单信息数据发送给所述便携终端。

2.根据权利要求1所述的增强现实提供服务器，其中，所述服务器控制单元将包括在所述与位置相关联的信息内的实像图像信息发射给所述便携终端。

3.根据权利要求2所述的增强现实提供服务器，其中，所述服务器控制单元将通过抽取在同所述实像图像信息对应的经纬度坐标信息、兴趣点信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所选择的菜单信息匹配的一种或多种信息来获得的所述第一菜单信息数据发射给所述便携终端。

4.根据权利要求1所述的增强现实提供服务器，其中，所述服务器控制单元将包含名字信息、电话号码信息、兴趣点信息、广告信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息的本地信息数据发射给所述便携终端。

5.根据权利要求1所述的增强现实提供服务器，还包括服务器储存单元，该服务器储存单元用于储存所述与位置相关联的信息，所述与位置相关联的信息包括实像图像信息、与所述实像图像信息对应的经纬度坐标信息、兴趣点信息以及广告信息中的一种或多种信息。

6.根据权利要求1所述的增强现实提供服务器，其中，所述服务器控制单元基于所计算的所述第一当前位置信息来抽取本地信息数据。

7.据权利要求1所述的增强现实提供服务器，其中，所述服务器控制单元基于与所述便携终端同步的基站的位置信息来抽取本地信息数据。

8.一种用于提供具有覆盖在捕获的视频上的信息的增强现实的增强现实提供服务器，所述增强现实提供服务器包括：

服务器通信单元，其用于与便携终端交互；以及

服务器控制单元，其用于

从所述便携终端接收选择的菜单信息，

将所选择的菜单信息与已被储存在服务器储存单元中的、与位置相关联的信息进行比较，

基于所述比较从所述与位置相关联的信息中抽取与所选择的菜单信息匹配的数据，

基于所抽取的数据而生成第一菜单信息数据并将所生成的第一菜单信息数据发射给所述便携终端，

其中，所抽取的数据包括在包含于所述与位置相关联的信息中的多个菜单当中的、与所选择的菜单信息匹配的菜单，

其中，所述服务器控制单元基于与所述便携终端同步的基站的位置信息来计算所述便携终端的第二当前位置信息，通过抽取与根据所述第二当前位置信息的预设半径内的范围相关的、所述与位置相关联的信息当中的与所述第二当前位置信息和所选择的菜单信息相匹配的数据来生成第四菜单信息数据，并将所述第四菜单信息数据发送给所述便携终端。

9.据权利要求8所述的增强现实提供服务器，其中，图像信息是通过抽取包括初始的帧1或帧2、关键帧以及在偏离于预设条件的特定事件发生时的视频帧在内的所选择的一个或多个帧来获取的信息。

10.据权利要求8所述的增强现实提供服务器，其中，所述服务器控制单元基于从包含在图像信息中的关于特定对象的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息，来抽取特征点。

11.根据权利要求8所述的增强现实提供服务器，其中，所述服务器控制单元将包含名字信息、电话号码信息、兴趣点信息、广告信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息的本地信息数据发射给所述便携终端。

12.根据权利要求8所述的增强现实提供服务器，进一步包括：服务器储存单元，其用于储存所述与位置相关联的信息，所述与位置相关联的信息包括实像图像信息、与所述实像图像信息对应的经纬度坐标信息、兴趣点信息以及广告信息中的一种或多种信息。

13.根据权利要求8所述的增强现实提供服务器，其中，所述服务器控制单元基于所计算的所述第二当前位置信息来抽取本地信息数据。

14.根据权利要求8所述的增强现实提供服务器，其中，所述服务器控制单元基于与所述便携终端同步的基站的位置信息抽取本地信息数据。

15.一种用于提供具有覆盖在捕获的视频上的信息的增强现实的方法，所述方法包括：

从便携终端接收选择的菜单信息；

将所选择的菜单信息同已储存的与位置相关联的信息进行比较；

基于所述比较，从所述与位置相关联的信息中抽取与所选择的菜单信息匹配的数据；

基于所抽取的数据生成第一菜单信息数据；

将包括在所述与位置相关联的信息内的实像图像信息发射给所述便携终端；

将归并与所述实像图像信息对应的经纬度坐标信息、兴趣点信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的与所选择的菜单信息匹配的一种或多种信息在内的所述第一菜单信息数据发射给所述便携终端；以及

通过使用从所述便携终端接收的位置信息来计算所述便携终端的第一当前位置信息，通过抽取与根据所述第一当前位置信息的预设半径内的范围相关的、所述与位置相关联的信息当中的与所述第一当前位置信息和所选择的菜单信息相匹配的数据来生成第三菜单信息数据，并将所述第三菜单信息数据发送给所述便携终端。

16.一种用于提供具有覆盖在捕获的视频上的信息的增强现实的增强现实提供服务器，所述增强现实提供服务器包括：

服务器通信单元，其用于与便携终端交互；以及

服务器控制单元，其用于从所述便携终端接收选择的本地信息，将所接收的选择的本地信息同已储存的与位置相关联的信息进行比较，基于所述比较从所述与位置相关联的信息中抽取与所选择的本地信息匹配的数据，基于所抽取的数据生成第一本地信息数据，并将所述第一本地信息数据发射给所述便携终端，

其中，所抽取的数据包括在从包含在所述与位置相关联的信息中的多个地点中指定所选择的本地信息后的、包含在指定地点中所包括的多个菜单中的全部菜单在内的本地信息数据，

其中，所述服务器控制单元通过使用从所述便携终端接收的位置信息来计算所述便携终端的第一当前位置信息，通过抽取与根据所述第一当前位置信息的预设半径内的范围相关的、所述与位置相关联的信息当中的与所述第一当前位置信息和所选择的本地信息相匹配的数据来生成第三本地信息数据，并将所述第三本地信息数据发送给所述便携终端。

17.根据权利要求16所述的增强现实提供服务器，其中，所述服务器控制单元将来自所述与位置相关联的信息中的与所选择的本地信息对应的地点的实像图像信息发射给所述便携终端。

18.根据权利要求16所述的增强现实提供服务器，其中，所述服务器控制单元将包含来自与同所选择的本地信息对应的地点的实像图像信息对应的经纬度坐标信息、兴趣点信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息中的一种或多种信息在内的所述第一本地信息数据发射给所述便携终端。

19.一种用于通过交互式便携终端提供增强现实的方法，所述方法包括：

从所述便携终端接收选择的本地信息；

将接收的选择的本地信息同已储存的与位置相关联的信息进行比较；

基于所述比较，从所述与位置相关联的信息中抽取与所接收的选择的本地信息匹配的数据；

基于所抽取的数据而生成第一本地信息数据；

将所述与位置相关联的信息当中的与所选择的本地信息对应的地点的实像图像信息发射给所述便携终端；

将归并与同所选择的本地信息对应的所述地点的所述实像图像信息对应的经纬度坐标信息、兴趣点信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的一种或多种信息在内的所述第一本地信息数据发射给所述便携终端；以及

通过使用从所述便携终端接收的位置信息来计算所述便携终端的第一当前位置信息，通过抽取与根据所述第一当前位置信息的预设半径内的范围相关的、所述与位置相关联的信息当中的与所述第一当前位置信息和所选择的本地信息相匹配的数据来生成第三本地信息数据，并将所述第三本地信息数据发送给所述便携终端。