CN104221056B - 用于提供终端装置视野内的对象的信息的方法、终端装置和计算机可读记录介质 - Google Patents

Abstract

本发明涉及一种利用输入到终端的图像及其相关信息以增强现实（AR）的形式提供终端视野中包括的对象信息的方法。该方法包括如下步骤：(a)通过参考至少一条关于终端位置、位移和视角的信息，指定与所述输入图像对应的指定视野；以及(b)获取与所述终端视野中包括的对象对应的图形元素，可以利用用于匹配楼宇图像的技术识别其身份，以及通过在终端屏幕上显示的对象位置上提供图形元素，以增强现实的形式利用输入图像显示所获取的图形元素。

Description

用于提供终端装置视野内的对象的信息的方法、终端装置和 计算机可读记录介质

技术领域

本发明涉及一种用于提供终端视野中包括的对象信息的方法、终端和计算机可读记录介质；更具体而言，涉及利用以增强现实（AR）形式通过与终端输入的图像一起显示与终端视野中包括的对象对应的图形元素，使得用户能够根据兴趣识别终端视野中包括的对象并有效获得关于对象的信息的方法、终端和计算机可读记录介质。

背景技术

近来，由于因特网的广泛使用，提供转换成数字形式的地理信息已经很常见，该地理信息曾经以例如书本的印刷形式提供的。在线提供的数字地图服务、车辆中安装的导航系统等可以是范例。这样一来，数字化地理信息的好处之一是通过用户界面为用户提供各种方便功能，用户界面能够允许用户检索期望的地理信息。此外，通过远程更新服务等可以容易地更新地理信息的变化，从而在最新地理信息方面，这样的数字数据可以比常规印刷材料更优越。

具体而言，最近介绍了一种技术，以增强现实（AR）的形式提供地理信息，显示附加信息，包括在终端实时拍摄的输入图像上组合的计算机图形（CG）、文本等。根据AR技术，该技术可以通过更直观的方法为用户提供地理信息，因为它可以提供在视觉上与输入图像重叠的附加信息（例如表示感兴趣点（POI）的图形元素等），输入图像即用户正观看的现实世界的图形，是通过终端的摄像机模块输入的。

但是，如果利用常规增强现实技术提供终端视野中包括的对象的补充信息，通常简单地以字符串形式显示对象名称。

不过，根据常规的增强现实技术，由于必须要仅通过字符串等区分用户希望搜索的对象，所以相应对象之间的区分不是可视地明确揭示出来的。此外，由于通常移动终端中装备的显示器尺寸（例如液晶显示器等）未大到足以显示大量信息，如果终端视野中包括多个对象，由于字符串的尺寸减小且误读率增大，可见度变差。

因此，本发明的申请人想到开发一项技术，利用输入图像显示其视野中包括的对象的图形元素，例如商标、标志等以提高从用户角度来看终端视野中包括的对象的区分程度，从而支持用户迅速识别终端视野中包括的对象并精确获取对象的信息。

发明内容

技术问题

因此，本发明的目的是解决上述所有问题。

本发明的另一个目的是，参考终端位置、位移和视角信息，指定与输入到其中的输入图像对应的其视野，并以增强现实的形式在其屏幕上显示的对象位置处提供与其视野中包括的对象对应的图形元素。

用于解决问题的手段

用于实现上述目的的本发明的典型配置如下。

根据本发明的一个方面，提供了一种利用输入到终端的图像及其相关信息，以增强现实（AR）的形式提供终端视野中包括的对象信息的方法，包括如下步骤：(a)通过参考至少一条关于终端位置、位移和视角的信息，指定与所述输入图像对应的指定视野；以及(b)获取与所述终端视野中包括的对象对应的图形元素，可以利用用于匹配楼宇图像的技术识别其身份，以及通过在终端屏幕上显示的对象位置上提供图形元素，以增强现实的形式和输入图像一起显示所获取的图形元素。

根据本发明的另一方面，提供了一种利用输入的图像和与其相关的信息，以增强现实（AR）的形式提供视野中包括的对象的信息的终端，包括：位置和位移测量部分，通过参考至少一条关于其位置、位移和视角的信息，指定与所述输入图像对应的其视野；信息搜索部分，如果对象被作为查询输入，利用用于匹配楼宇图像的技术识别其视野中包括的对象，并获取与所识别对象对应的图形元素；以及用户接口部分，以增强现实的形式和输入图像一起显示所获取的图形元素，所获取的该图形元素被提供在其屏幕上显示的对象位置上。

根据本发明，还提供用于实施本发明的另一种方法、系统、以及记录有用于实施上述方法的计算机程序命令的计算机可读介质。

发明效果

根据本发明，可以在终端屏幕上显示的对象位置上提供与终端视野中包括的对象对应的图形元素的信息并和输入图像一起显示它。因此，能够允许用户有效地识别终端视野中包括的对象并更精确地获取其关于对象的信息。

附图说明

图1是简要示出了根据本发明范例实施例提供终端视野中包括的对象信息的整个系统的配置的图示；

图2是示范性示出了根据本发明范例实施例的终端200内部配置的图示；

图3是示范性示出了根据本发明范例实施例与终端视野中包括的对象对应的图形元素的图示。

附图标记

100：通信网络

200：终端

210：输入图像获取部分

220：位置和位移测量部分

230：增强现实实施部分

240：用户接口部分

250：信息搜索部分

260：通信部分

270：控制部分

300：信息提供服务器

具体实施方式

在以下详细描述中，参考了附图，附图通过例示方式示出了可以实践本发明的具体实施例。充分详细地描述这些实施例以使本领域的技术人员能够实践本发明。要理解的是，本发明的各实施例尽管不同，但未必相互排斥。例如，可以在其他实施例中实施这里结合一个实施例描述的特定特征、结构或特性而不脱离本发明的精神和范围。此外，要理解可以修改每个公开实施例之内个体元件的位置或布置而不脱离本发明的精神和范围。因此，不应以限制性意义理解以下详细描述，本发明的范围仅受经适当解释的所附权利要求连同被赋予权利要求的等价描述的完整范围的限定。在附图中，在几幅视图中，类似的数字表示相同或类似的功能。

下面，为了使本发明所属技术领域的技术人员能够容易地实施本发明，参照附图详细说明本发明的优选的实施例。

[本发明的优选实施例]

整个系统的配置

图1简要示出了根据本发明范例实施例提供终端视野中包括的对象信息的整个系统的配置。

如图1所示，根据本发明范例实施例的整个系统可以包括通信网络100、终端200和信息提供服务器300。

首先，不论是有线还是无线，根据本发明范例实施例的通信网络100可以配置为各种网络，包括远程通信网络、局域网（LAN）、城域网（MAN）、广域网（WAN）、人造卫星网络等。更优选地，必须要理解，本发明中的通信网络100是包括万维网（www）、CDMA（码分多址）、WCDMA（宽带码分多址）或GSM（全球移动通信系统）的网络概念。

接下来，根据本发明范例实施例的终端200可以执行如下功能：利用通过终端200中包括的摄像仪器，如摄像机输入的图像以及与输入图像，即对象相关的信息，以增强现实（AR）的形式在其屏幕上显示的对象位置处提供与终端200的视野中包括的对象对应的图形元素。根据本发明，终端200可以是数字装置，包括允许用户访问通信网络100并随后与之通信的功能。在这里，可以采用数字装置作为根据本发明的终端200，例如具有存储模块和有计算能力的微处理器的个人计算机（例如桌面计算机、膝上计算机、平板PC 等）、工作站、PDA、上网本和蜂窝电话。稍后将解释终端200的内部配置。

根据本发明的范例实施例，信息提供服务器300可以执行如下功能：通过通信网络100与终端200和另一信息提供服务器（未示出）通信，应终端 200的请求提供各种信息。更具体而言，信息提供服务器300包括网络内容搜索引擎（未示出），可以搜索与终端200的请求对应的信息并提供搜索结果，允许终端200的用户浏览。例如，信息提供服务器300可以是因特网搜索门户的工作服务器，为终端200提供的信息可以是关于网址、网络文献、知识、博客、社区、图像、视频、新闻、音乐、购物、地图、书籍、电影等的各种信息。当然，如有必要，该搜索引擎可以包括在与信息提供服务器300无关的不同的计算装置或记录介质中。

终端的配置

下文是对终端200内部配置和部件的详细解释，这些部件执行其重要功能以实施本发明。

图2示范性示出了根据本发明范例实施例的终端200的内部配置。

参考图2，根据本发明范例实施例的终端200可以包括输入图像获取部分 210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250、通信部分260和控制部分270。根据本发明的范例实施例，输入图像获取部分210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250、通信部分260和控制部分270中的至少一些可以是与用户终端200通信的程序模块。程序模块可以以操作系统、应用程序模块和其他程序模块的形式包括在终端200中，也可以物理地存储在几个存储装置上。此外，程序模块可以存储于可与终端200通信的远程存储装置上。程序模块可以包括但不限于用于执行具体操作的例程、子例程、程序、对象、组成部分和数据结构或稍后将根据本发明描述的一种特定的抽象数据。

首先，根据本发明范例实施例的输入图像获取部分210可以执行以下功能：获取输入图像以充当将在稍后解释的增强现实实施部分230实施的增强现实的依据。更具体而言，根据本发明范例实施例的输入图像获取部分210 可以包括摄像仪器，例如CCD摄像机，并执行在预览状态下实时接收拿着终端200的用户周围的风景景观的功能。

为了判断终端200获取的输入图像对应于现实世界的哪个区域，根据本发明范例实施例的位置和位移测量部分220可以执行测量终端200位置和位移的功能。

更确切地说，根据本发明范例实施例的位置和位移测量部分220可以利用用于采集位置信息的技术，例如GPS（全球定位系统）技术或移动通信技术来测量终端200的位置。例如，位置和位移测量部分220可以包括GPS模块或移动通信模块。此外，根据本发明范例实施例的位置和位移测量部分220 可以利用感测模块测量终端200的位移。例如，位置和位移测量部分220可以包括加速度计和陀螺仪，加速度计用于感测终端200的移动距离、速度、运动方向等，陀螺仪用于感测终端200的转速、角速度、角加速度、方向等。

此外，根据本发明范例实施例的位置和位移测量部分220可以执行如下功能：通过参考如上所述测量的终端200的位置、位移和视角的信息，指定与通过终端输入的图像对应的终端200的视野，即位置被确定为视点的终端 200的视野。

更具体而言，根据本发明范例实施例的终端200的视野表示现实世界中的三维区域，可以将其指定为顶点（即视点）对应于终端200的视见平截头体。在这里，如果图像是由摄像仪器拍摄或通过其在预览状态中输入的，视见平截头体表示摄像仪器，例如摄像机视野中包括的三维区域。它可以根据摄影透镜的类型被定义为锥形或多棱锥形状的无穷大区域（或定义为形状为梯形柱体或梯形多棱体等的有限区域，这是通过由垂直于视线方向的近平面或远平面切割所述锥体或所述多棱锥生成的，视线方向即终端200中嵌入的镜头的中心的方向，该镜头面对其要拍摄的现实世界，近平面比远平面更接近视点），其中心充当视点。相对于视见平截头体而言，可以参考本发明的申请人提交的韩国专利申请No.2010-0002340的说明书。必须将该说明书视为已经结合到本文中。

此外，根据本发明范例实施例的增强现实实施部分230可以执行如下功能：通过组合终端200获取的输入图像和与输入图像相关的信息实施增强现实，由此产生以增强现实的形式可视表达的输出图像。例如，根据本发明范例实施例的增强现实实施部分230可以显示图形元素，指示出认为关于包括在终端200视野中的对象（例如楼宇、商店等）的感兴趣点（POI），作为与输入图像相关的信息，并且如果用户选择了关于对象的感兴趣点，在对象上提供更详细信息。作为另一范例，根据本发明范例实施例的增强现实实施部分230可以通过如下方式实施增强现实：显示输入图像以与用于显示终端200 所在地方周围对象位置的半透明二维地图或包括关于终端200的地点的天气信息的半透明信息窗口叠加。

为了利用终端200获取的输入图像和与输入图像相关的信息实施增强现实，根据本发明范例实施例的用户接口部分240还另外地可以执行如下功能：和输入图像一起在其屏幕上显示的对象位置处显示关于终端200视野中包括的对象的图形元素。为此，必须通过首先参考终端200视野的信息和现实世界中存在的对象位置进行用于搜索终端200视野中包括的对象和搜索与对象对应的图形元素的过程。这可以由信息搜索部分250执行，稍后将加以解释。

在这里，根据本发明范例实施例除输入图像之外还显示的图形元素可以包括对象的商标、标志、图案标识等。不过，显然根据本发明的图形元素不仅限于上文列出的那些，根据本发明的图形元素中可以包括暗示或引导终端200视野中包括的对象的名称、类型、性质等的其他条目。

如果终端200视野中包括的第一对象遮挡了其中还包括的第二对象，由此终端200的屏幕上不显示第二对象，根据本发明范例实施例的用户接口部分240还可以执行如下功能：分别有差异地显示与第一和第二对象对应的图形元素。例如，假设提供了与终端200的视野中包括的楼宇A和位于连接终端200与楼宇A的直线延长线上的楼宇B对应的图形元素，则不能直接在终端200的屏幕上显示楼宇B，因为楼宇B被楼宇A隐藏起来，但是可以应用各种范例以再现本发明，这些范例包括：可以将与楼宇B对应的图形元素一部分显示为叠加在与楼宇A对应的图形元素的后面，或者可以通过翻滚它们以按照相继次序显示分别与楼宇A和楼宇B对应的图形元素。

图3示范性示出了根据本发明范例实施例与终端视野中包括的对象对应的图形元素的配置。

参考图3，可以确认允许以增强现实形式在输出图像中显示根据本发明范例实施例与终端200视野中包括的对象对应的图形元素的配置。更具体而言，显示基于终端200的视野位于屏幕中心稍右侧的名为“Starbucks”的商店的商标徽章作为与商店“Starbucks”对应的图形元素，显示基于终端200的视野位于“Starbucks”后方的商店“Tom&Toms”的商标徽章作为与商店“Tom&Toms”对应的图形元素。

根据本发明的范例实施例，可以通过终端200的显示部分（未示出）可视地表达以增强现实形式实现的其他图像的信息以及输出图像的信息。例如，根据本发明范例实施例的显示部分可以是平板显示器，包括LCD（液晶显示器）或OLED（有机发光二极管）。

此外，根据本发明范例实施例的信息搜索部分250可以执行如下功能：参考终端200的视野信息和现实世界中对象位置的信息来识别终端200视野中包括的对象，然后获取与所识别对象对应的图形元素。

此外，根据本发明范例实施例的信息搜索部分250可以执行如下功能：通过参考现实世界中存在的对象的纬度、经度、海拔高度等信息以及从终端 200的位置、位移、视角等获取的视场（即一个三维区域，该三维区域是顶点为终端200的视点的视见平截头体）信息，来识别终端200的视野中存在的对象。

如果通过用户接口部分240输入包括终端200视野中至少一个或多个楼宇等的墙壁的楼宇图像作为查询，根据本发明另一范例实施例的信息搜索部分250可以利用匹配楼宇图像的技术搜索与输入查询中包括的楼宇匹配的适当楼宇，参考搜索到的楼宇识别输入查询中包括的楼宇，并获取与输入查询中包括的楼宇对应的数据库上存储的图形元素。作为用于匹配楼宇图像的技术，可以参考本发明的发明人提交的韩国专利申请No.2009-0087794的说明书。必须将该说明书视为已经结合到本文中。

上文已经描述了用于识别终端200视野中包括的对象的方法，但其不仅限于上述范例实施例，应用各种范例将能够再现本发明。

根据本发明的范例实施例，信息搜索部分250可以执行如下功能：通过与信息提供服务器300通信来搜索所需信息，以提供终端200请求的信息。例如，假设从终端200请求关于商店A的信息，根据本发明范例实施例的信息搜索部分250还可以通过访问信息搜索门户的服务器来搜索关于商店A的位置、电话号码、出售商产品、评论等的信息并允许为终端200提供至少一些搜索的信息。

此外，根据本发明范例实施例的通信部分260可以执行如下功能：允许终端200与诸如信息提供服务器300的外部装置通信。

最后，根据本发明范例实施例的控制部分270可以控制输入图像获取部分210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250和通信部分260之间的数据流动。换言之，控制部分270 可以控制来自终端200外部或其部件之间的数据流动，由此使得输入图像获取部分210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250和通信部分260执行其独特功能。

可以通过可记录到计算机可读介质的各种计算机手段以可执行程序命令的形式实施本发明的实施例。计算机可读介质可以包括程序命令、数据文件和数据结构的仅一种或其组合。介质上记录的程序命令可以是为本发明专门设计的部分或计算机软件领域的技术人员也可使用。计算机可读记录介质包括诸如硬盘、软盘、磁带的磁介质，诸如CD-ROM和DVD的光学介质，诸如软磁盘（floptical）的磁光介质以及专门设计成存储和执行程序的诸如ROM、 RAM和闪速存储器的硬件装置。程序命令不仅包括汇编程序生成的机器语言代码，而且包括可由解释程序使用的高层级代码等，它们是由计算机执行的。上述硬件装置能够作为超过一个软件模块来工作，以执行本发明的动作，在相反情况下它们能够同样做。

尽管已经参考优选实施例展示和描述了本发明，但本领域的技术人员将要理解，可以做出各种变化和修改而不脱离以下权利要求中界定的本发明精神和范围。

因此，一定不能将本发明的创意限于所解释的实施例，以下专利权利要求以及包括与专利权利要求相等或等价的变化的每样东西都属于本发明创意的范畴。

Claims (7)

1.一种利用输入到终端的图像及其相关信息，以增强现实的形式提供所述终端的视野中包括的对象的信息的方法，包括如下步骤：

(a)通过参考至少一条关于终端位置、位移和视角的信息，指定与所述输入图像对应的该终端的视野，所述视野为三维区域；以及

(b)通过基于用于匹配楼宇图像的技术识别所述终端的视野中包括的对象，获取与所述对象对应的图形元素，指示出关于所述对象的感兴趣点，并且如果所述感兴趣点被用户选择则在所述对象上提供更详细信息，以及通过在终端屏幕上显示的该对象位置上提供图形元素，以增强现实的形式和输入图像一起显示所获取的图形元素，

其中在第一对象的位置处有差异地以增强现实形式和输入图像一起显示多个图形元素，所述多个图形元素分别对应于包括在该终端的视野中并显示于其屏幕上的第一对象以及包括在其视野中且未显示于其屏幕上的第二对象，其中第二对象由于被所述第一对象隐藏而不在屏幕上显示，

其特征在于，将与所述第二对象对应的图形元素的一部分显示为叠加在与所述第一对象对应的图形元素的后面，其中所述图形元素包括所述对象的商标、标志或图案标识中的至少一种。

2.根据权利要求1所述的方法，其中由顶点对应于所述终端的视见平截头体指定所述视野。

3.一种利用输入的图像和与其相关的信息，以增强现实的形式提供视野中包括的对象信息的终端，包括：

位置和位移测量部分，通过参考至少一条关于其位置、位移和视角的信息，指定与所述输入图像对应的其视野，所述视野为三维区域；

信息搜索部分，基于用于匹配楼宇图像的技术识别其视野中包括的对象，并获取与所识别对象对应的图形元素，指示出关于所述对象的感兴趣点，并且如果所述感兴趣点被用户选择则在所述对象上提供更详细信息；以及

用户接口部分，以增强现实的形式和输入图像一起显示所获取的图形元素，该图形元素提供在其屏幕上显示的所述对象的位置上，

其中所述用户接口部分还用于，在第一对象的位置处有差异地以增强现实形式和输入图像一起显示多个图形元素，所述多个图形元素分别对应于包括在其视野中并显示于其屏幕上的第一对象以及包括在其视野中且未显示于其屏幕上的第二对象，其中该第二对象由于被所述第一对象隐藏而没有在屏幕上显示，

其特征在于，与所述第二对象对应的图形元素的一部分被显示为叠加在与所述第一对象对应的图形元素的后面，其中所述图形元素包括所述对象的商标、标志或图案标识中的至少一种。

4.根据权利要求3所述的终端，其中由顶点对应于所述终端的视见平截头体指定所述视野。

5.一种利用输入到终端的图像及其相关信息，以增强现实的形式提供所述终端的视野中包括的对象的信息的装置，包括：

用于通过参考至少一条关于终端位置、位移和视角的信息，指定与所述输入图像对应的该终端的视野的模块，所述视野为三维区域；以及

用于通过基于用于匹配楼宇图像的技术识别与所述终端的视野中包括的对象，获取与所述对象对应的图形元素，指示出关于所述对象的感兴趣点，并且如果所述感兴趣点被用户选择则在所述对象上提供更详细信息，以及通过在终端屏幕上显示的该对象位置上提供图形元素，以增强现实的形式和输入图像一起显示所获取的图形元素的模块，

其中在第一对象的位置处有差异地以增强现实形式和输入图像一起显示多个图形元素，所述多个图形元素分别对应于包括在该终端的视野中并显示于其屏幕上的第一对象以及包括在其视野中且未显示于其屏幕上的第二对象，其中第二对象由于被所述第一对象隐藏而不在屏幕上显示，

其特征在于，与所述第二对象对应的图形元素的一部分被显示为叠加在与所述第一对象对应的图形元素的后面，其中所述图形元素包括所述对象的商标、标志或图案标识中的至少一种。

6.根据权利要求5所述的装置，其中由顶点对应于所述终端的视见平截头体指定所述视野。

7.一种介质，记录计算机可读程序，以执行根据权利要求1到2的任一项所述的方法。