CN102770843A

CN102770843A - 在未包括在终端装置视野中的对象上提供信息的方法、终端装置和计算机可读记录介质

Info

Publication number: CN102770843A
Application number: CN2010800626195A
Authority: CN
Inventors: 柳重熙; 柳哈娜; 李庆淑; 周灿真; 李海一
Original assignee: Olaworks Inc
Current assignee: Intel Corp
Priority date: 2010-01-29
Filing date: 2010-12-31
Publication date: 2012-11-07
Anticipated expiration: 2030-12-31
Also published as: AU2010344676A1; AU2010344676B2; US20130182011A1; CN102770843B; KR100989663B1; US20120092373A1; EP2530588A4; WO2011093598A2; WO2011093598A3; US8373725B2; EP2530588A2; JP5324714B2; US8947457B2; JP2013518275A; WO2011093598A9

Abstract

本发明涉及一种利用输入到终端的图像和与其相关的信息以增强现实（AR）的形式提供终端视野中未包括的对象信息的方法。该方法包括如下步骤：(a)通过至少一条关于终端位置、位移和视角的信息，指定与所述输入图像对应的指定视野；(b)在所述终端的视野中搜索对象；以及(c)以增强现实的形式与输入图像一起显示所搜索对象的引导信息；其中由顶点对应于终端的视见平截头体指定所述视野。

Description

在未包括在终端装置视野中的对象上提供信息的方法、终端装置和计算机可读记录介质

技术领域

本发明涉及一种用于在未包括在终端视野中的对象上提供信息的方法、终端和计算机可读记录介质；更具体而言，涉及利用以增强现实（AR）形式通过终端输入的图像显示关于对象存在、位置和方向的信息，使得用户能够识别终端视野中不包括的对象并有效获得关于对象的信息的方法、终端和计算机可读记录介质。

背景技术

近来，由于因特网的广泛使用，提供转换成数字形式的地理信息已经很常见，该地理信息曾经以例如书本的印刷形式提供的。在线提供的数字地图服务、车辆中安装的导航系统等可以是范例。这样一来，数字化地理信息的好处之一是通过用户界面为用户提供各种方便功能，用户界面能够允许用户检索期望的地理信息。此外，通过远程更新服务等可以容易地更新地理信息的变化，从而在最新地理信息方面，这样的数字数据可以比常规印刷材料更优越。

具体而言，最近介绍了一种技术，以增强现实（AR）的形式提供地理信息，显示附加信息，包括在终端实时拍摄的输入图像上组合的计算机图形（CG）、文本等。根据AR技术，该技术可以通过更直观的方法为用户提供地理信息，因为它可以提供在视觉上与输入图像重叠的附加信息（例如表示感兴趣点（POI）的图形元素等），输入图像即用户正观看的现实世界的图形，是通过终端的摄像机模块输入的。

由于移动装置的屏幕，例如液晶显示器等的尺寸未大到足以显示巨量信息，通常利用常规AR技术仅为视野中包括的对象有限地显示附加信息，而不是为其中未包括的对象显示附加信息。

不过，根据现有的增强现实技术，如果用户打算搜索的对象不在终端的视野中，用户必须要改变终端的位移或地理位置，以便在用户终端的视野中包括对象。此外，用户可能感到不方便搜索对象，因为在改变终端的位移或地理位置时，用户无法得到针对对象位置或方向的任何指导。

因此，本发明的申请人想到开发一项技术，通过利用输入图像显示关于对象存在、位置和方向的信息，支持用户容易地识别未包括在终端视野中的对象，并有效获取关于对象的信息。

发明内容

因此，本发明的目的是解决上述所有问题。

本发明的另一个目的是，指定与通过终端输入的图像对应的终端的视野，并利用终端的位置、位移和视角的信息搜索其中未包括的对象，从而与显示的输入图像一起显示终端视野中未包括的对象中接近终端视野边界的对象信息。

根据本发明的一个方面，提供了一种方法，利用输入到终端的图像和与其相关的信息，以增强现实（AR）的形式提供终端视野中未包括的对象信息，包括如下步骤：(a)通过参照至少一条关于终端位置、位移和视角的信息，指定与所述输入图像对应的终端视野；(b)搜索所述终端的视野中不包括的对象；以及(c)以增强现实的形式与输入图像一起显示所搜索对象的引导信息；其中由顶点对应于所述终端的视见平截头体表示所述视野。

根据本发明的另一方面，提供了一种方法，利用输入到终端的图像和与其相关的信息，以增强现实（AR）的形式提供终端视野中未包括的对象信息，包括如下步骤：(a)通过参照至少一条关于终端位置、位移和视角的信息，指定与所述输入图像对应的终端视野；(b)搜索所述终端的视野中未包括的对象；以及(c)以增强现实的形式与输入图像一起显示所搜索对象的引导信息；其中所述引导信息包括被搜索对象名称的字符串和表示与视野位置相比其相对位置的图形元素中的至少一项。

根据本发明的另一方面，提供了一种终端，利用输入到其中的图像和与其相关的信息，以增强现实（AR）的形式提供其视野中未包括的对象信息，该终端包括：位置和位移测量部分，通过参考至少一条关于其位置、位移和视角的信息，指定与所述输入图像对应的其视野；用于搜索其视野中未包括的对象的信息搜索部分；以及用户接口部分，用于以增强现实的形式与输入图像一起显示所搜索对象的引导信息；其中由顶点对应于终端的视见平截头体表述所述视野。

根据本发明的另一方面，提供了一种终端，利用其中输入的图像和与其相关的信息，以增强现实（AR）的形式提供其视野中未包括的对象信息，该终端包括：位置和位移测量部分，通过参考至少一条关于其位置、位移和视角的信息，指定与所述输入图像对应的终端视野；用于搜索其视野中未包括的对象的信息搜索部分；以及用户接口部分，用于以增强现实的形式与输入图像一起显示所搜索对象的引导信息；其中所述引导信息包括被搜索对象名称的字符串和表示与视野位置相比其相对位置的图形元素中的至少一项。

附图说明

从结合附图给出的以下优选实施例描述，本发明的以上和其他目的和特征将变得显而易见，附图中：

图1是简要示出了根据本发明范例实施例提供终端视野中未包括的对象的信息的整个系统的配置的图示；

图2是示范性示出了根据本发明范例实施例的终端200内部配置的图示；

图3是示范性示出了根据本发明范例实施例提供终端视野中未包括的对象的引导信息的配置的图示。

具体实施方式

本发明的详细描述参考附图示出了可以执行本发明的具体实施例。

在以下详细描述中，参考了附图，附图通过例示方式示出了可以实践本发明的具体实施例。充分详细地描述这些实施例以使本领域的技术人员能够实践本发明。要理解的是，本发明的各实施例尽管不同，但未必相互排斥。例如，可以在其他实施例中实施这里结合一个实施例描述的特定特征、结构或特性而不脱离本发明的精神和范围。此外，要理解可以修改每个公开实施例之内个体元件的位置或布置而不脱离本发明的精神和范围。因此，不应以限制性意义理解以下详细描述，本发明的范围仅受经适当解释的所附权利要求连同和权利要求等价的描述的完整范围的限定。在附图中，在几幅视图中，类似的数字表示相同或类似的功能。

用于实现本发明目的的本发明配置如下：

整个系统的配置

图1简要示出了根据本发明范例实施例提供终端视野中未包括的对象的信息的整个系统的配置。

如图1所示，根据本发明示范性实施例的整个系统可以包括通信网络100、终端200和信息提供服务器300。

首先，不论是有线还是无线，根据本发明示范性实施例的通信网络100可以配置为各种网络，包括远程通信网络、局域网（LAN）、城域网（MAN）、广域网（WAN）、人造卫星网络等。更优选地，必须要理解，本发明中的通信网络100是包括万维网（www）、CDMA（码分多址）、WCDMA（宽带码分多址）或GSM（全球移动通信系统）的网络概念。

接下来，根据本发明示范性实施例的终端200可以执行如下功能：利用通过终端200中包括的摄像仪器，如摄像机输入的图像以及与输入图像，即对象相关的信息，以增强现实（AR）的形式显示终端200的视野中不包括的对象的信息。根据本发明，终端200可以是数字装置，包括允许用户访问通信网络100并随后与之通信的功能。在这里，可以采用数字装置作为根据本发明的终端200，例如具有存储模块和有计算能力的微处理器的个人计算机（例如桌面计算机、膝上计算机、平板PC等）、工作站、PDA、上网本和蜂窝电话。稍后将解释终端200的内部配置。

根据本发明的示范性实施例，信息提供服务器300可以执行如下功能：通过通信网络100与终端200和另一信息提供服务器（未示出）通信，从而应终端200的请求提供各种信息。更具体而言，信息提供服务器300包括网站内容搜索引擎（未示出），可以搜索与终端200的请求对应的信息并提供搜索结果，允许终端200的用户浏览。例如，信息提供服务器300可以是因特网搜索门户的工作服务器，为终端200提供的信息可以是关于网址、网络文献、知识、博客、社区、图像、视频、新闻、音乐、购物、地图、书籍、电影等的各种信息。当然，如有必要，信息提供服务器300的搜索引擎可以包括在不同的计算装置或记录介质中。

终端的配置

下文是对终端200内部配置和部件的详细解释，该终端执行其重要功能以实施本发明。

图2示范性示出了根据本发明示范性实施例的终端200的内部配置。

参考图2，根据本发明示范性实施例的终端200可以包括输入图像获取部分210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250、通信部分260和控制部分270。根据本发明示范性实施例，输入图像获取部分210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250、通信部分260和控制部分270中的至少一些可以是与用户终端200通信的程序模块。所述程序模块可以以操作系统、应用程序模块和其他程序模块的形式包括在终端200中，也可以物理地存储在几个存储装置上。此外，程序模块可以存储于可与终端200通信的远程存储装置上。所述程序模块可以包括但不限于用于执行具体操作的例程、子例程、程序、对象、组成部件和数据结构或稍后将根据本发明描述的一种特定的抽象数据。

首先，根据本发明示范性实施例的输入图像获取部分210可以执行以下功能：获取用作增强现实实施部分230实施的增强现实的依据的输入图像，这将在稍后解释。更具体而言，根据本发明示范性实施例的输入图像获取部分210可以包括摄像仪器，例如CCD摄像机，并执行在预览状态下实时接收拿着终端200的用户周围的风景的功能。

为了判断终端200获取的输入图像对应于现实世界的哪个区域，根据本发明示范性实施例的位置和位移测量部分220可以执行测量终端200位置和位移的功能。

更确切地说，根据本发明示范性实施例的位置和位移测量部分220可以利用用于采集位置信息的技术，例如GPS（全球定位系统）或移动通信技术来测量终端200的位置。例如，位置和位移测量部分220可以包括GPS模块或移动通信模块。此外，根据本发明示范性实施例的位置和位移测量部分220可以利用感测手段测量终端200的位移。例如，位置和位移测量部分220可以包括加速度计和陀螺仪，加速度计用于感测终端200的距离、速度、运动方向等，陀螺仪用于感测终端200的转速、角速度、角加速度、方向等。

此外，根据本发明示范性实施例的位置和位移测量部分220可以执行如下功能：通过参考如上所述测量的终端200的位置、位移和视角的信息，基于视点，即终端200透镜的位置，指定与通过终端输入的图像对应的终端视野。

更具体而言，根据本发明示范性实施例的终端200的视野表示现实世界中的三维区域，可以将其指定为顶点对应于终端200的视见平截头体。在这里，如果图像是由摄像仪器拍摄或通过其在预览状态中输入的，则视见平截头体表示摄像仪器，例如摄像机视野中包括的三维区域。它可以基于充当视点的透镜中心，根据摄影透镜的类型被定义为锥体形状或多棱锥形状的无穷大区域（或定义为形状为梯形圆柱体或梯形多棱体等的有限区域，这是通过由垂直于视线方向的近平面或远平面切割所述锥体或多棱锥生成的，视线方向即嵌入在摄像仪器中的透镜朝向要拍摄的现实世界的透镜中心的方向，近平面比远平面更接近视点）。关于视见平截头体，可以参考本发明的申请人提交的韩国专利申请No.2010-0002340的说明书。必须将该说明书视为已经结合到本文中。

此外，根据本发明示范性实施例的增强现实实施部分230可以执行如下功能：通过组合由终端200获取的输入图像和与输入图像相关的信息实施增强现实，由此产生以增强现实的形式可视化地表达的输出图像。例如，根据本发明示范性实施例的增强现实实施部分230可以显示图形元素，指明认为包括在终端200视野中的对象（例如楼宇、商店等）的感兴趣点（POI），作为与输入图像相关的信息，并且,如果用户选择了感兴趣点，在对象上提供更详细信息。作为另一示范性，根据本发明示范性实施例的增强现实实施部分230可以通过如下方式实施增强现实：显示输入图像与用于显示终端200所在地方周围对象位置的半透明二维地图叠加，或与包括关于终端200地方天气信息的半透明信息窗口叠加。

为了利用终端200获取的输入图像和与输入图像相关的信息实施增强现实，根据本发明示范性实施例的用户接口部分240还可以另外执行如下功能：利用输入图像显示终端200视野中不包括的对象的引导信息。更具体而言，根据本发明示范性实施例的用户接口部分240可以利用输入图像显示引导信息，提示出不包括在终端200的视野中的所搜索对象的存在、位置、方向等。为此，必须要通过参考终端200视野的信息和现实世界中存在的对象位置的信息进行用于搜索终端200视野中不包括的对象的过程。这可以由信息搜索部分250执行，稍后将加以解释。

在这里，根据本发明示范性实施例除输入图像之外显示的引导信息可以包括显示对象名称的字符串、表示与终端200视野的位置相比的对象相对位置的图形元素等。不过，要明白根据本发明的引导信息不仅限于上文列出那些，可以在根据本发明的引导信息中包括指示或引导终端200的视野中不包括的对象的存在、位置、方向等的其他项目。

根据本发明的示范性实施例，用户接口部分240也可以执行如下功能：如果用户选择了与输入图像一起显示的引导信息，在对象上显示更详细信息。

更具体而言，根据本发明示范性实施例的用户接口部分240可以执行如下功能：参考对象的真实位置，即与终端200视野位置相比对象的相对位置，自适应地决定屏幕上显示关于对象的引导信息的位置。例如，可以假设终端200视野中未包括的旅游名胜A在视野右方。在这种情况下，根据本发明示范性实施例的用户接口部分240可以在输入图像右侧部分上显示旅游名胜A的引导信息。

更具体而言，根据本发明示范性实施例的用户接口部分240可以执行如下功能：根据与终端200视野边界的接近程度，有差异地显示终端200视野中未包括的对象的引导信息。例如，可以假设，如果终端200向右旋转15度，可能包括在终端200的视野中的楼宇A的引导信息，如果其向相同方向旋转30度，可能包括在其中的楼宇B的引导信息。在这种情况下，可以评估楼宇A比楼宇B更接近终端200视野的边界。因此，根据本发明示范性实施例的用户接口部分240可以允许在输出图像中将楼宇A的引导信息显示得比楼宇B更大，允许在屏幕上将后一信息显示得比前一信息更朝右或仅允许在输出图像中显示前一信息，等等。

图3是示范性示出了根据本发明示范性实施例提供终端视野中未包括的对象引导信息的配置的图示。

参考图3，根据本发明示范性实施例可以确认能够允许以增强现实的形式在输出图像中显示终端200视野中未包括的对象的引导信息301和320的配置。更具体而言，可以发现，基于终端200的视野，用于指示位于输出图像外左方的名为“土五味江南店”的饭店的第一引导信息310包括表示饭店名称的字符串和指示其相对位置的单箭头，并且基于终端200的视野，用于指示输出图像外右方名为“飞鱼”的商店的第二引导信息320包括表示商店名称的字符串和指示其相对位置的单箭头。

根据本发明的示范性实施例，可以通过终端200的显示部分（未示出）可视地表达以增强现实实现的其他图像的信息以及输出图像的信息。例如，根据本发明示范性实施例的显示部分可以是平板显示器，包括LCD（液晶显示器）或OLED（有机发光二极管）。

此外，根据本发明示范性实施例的信息搜索部分250可以执行如下功能：参考终端200的视野和对象在现实世界中的位置信息，搜索终端200视野中未包括的对象。

此外，根据本发明示范性实施例的信息搜索部分250可以执行如下功能：通过与信息提供服务器300通信来搜索必要信息，以便提供对通过终端200输入的查询的响应。例如，假设通过终端200输入要查询的关于商店A的信息，根据本发明示范性实施例的信息搜索部分250可以执行如下功能：访问信息搜索门户服务器来搜索关于商店A的位置、电话号码、产品、评论等的信息，并允许向终端200提供至少一些搜索到的信息。

此外，根据本发明示范性实施例的通信部分260可以执行如下功能：允许终端200与诸如信息提供服务器300的外部装置通信。

最后，根据本发明示范性实施例的控制部分270可以控制输入图像获取部分210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250和通信部分260之间的数据流动。换言之，控制部分270可以控制来自终端200外部或其部件之间的数据流动，由此使得输入图像获取部分210、位置和位移测量部分220、增强现实实施部分230、用户接口部分240、信息搜索部分250和通信部分260执行其独特功能。

根据本发明，能够以增强现实的形式显示终端视野中未包括的对象中与其边界相邻对象的信息。因此，能够允许用户容易地识别对象的存在、位置和方向，并有效地获取其信息。

可以通过可记录到计算机可读介质的各种计算机手段以可执行程序命令的形式实施本发明的实施例。计算机可读介质可以包括程序命令、数据文件和数据结构的其中一种或组合。介质上记录的程序命令可以是为本发明专门设计的程序部分或可被计算机软件领域的技术人员使用。计算机可读记录介质包括诸如硬盘、软盘、磁带的磁介质，诸如CD-ROM和DVD的光学介质，诸如软磁盘（floptical）的磁光介质以及专门设计成存储和执行程序的诸如ROM、RAM和闪速存储器的硬件装置。程序命令不仅包括汇编程序生成的机器语言代码，而且包括可由解释程序使用的高层级代码等，它们是由计算机执行的。上述硬件装置能够超越一个软件模块来工作，以执行本发明的动作，在相反情况下它们能够同样做。

尽管已经参考优选实施例展示和描述了本发明，但本领域的技术人员将要理解，可以做出各种变化和修改而不脱离以下权利要求中界定的本发明精神和范围。

因此，一定不能将本发明的创意限于所解释的实施例，以下专利权利要求以及包括与专利权利要求相等或等价的变化的每样东西都属于本发明创意的范畴。

Claims

1.一种利用输入到终端的图像和与其相关的信息，以增强现实（AR）的形式提供该终端视野中未包括的对象的信息的方法，包括如下步骤：

(a)通过参照至少一条关于所述终端位置、位移和视角的信息，指定与所述输入图像对应的所述终端的视野；

(b)搜索所述终端的视野中未包括的对象；以及

(c)以增强现实的形式与所述输入图像一起显示所搜索对象的引导信息；

其中由顶点对应于所述终端的视见平截头体表述所述视野。

2.一种利用输入到终端的图像和与其相关的信息，以增强现实（AR）的形式提供该终端视野中未包括的对象信息的方法，包括如下步骤：

(b)搜索所述终端的视野中未包括的对象；以及

其中所述引导信息包括被搜索对象名称的字符串和表示与所述视野位置相比的相对位置的图形元素中的至少一项。

3.根据权利要求1或2所述的方法，其中在步骤（c），通过参考被搜索对象与所述视野位置相比的相对位置，自适应地确定所述终端屏幕上显示被搜索对象的引导信息的位置。

4.根据权利要求1或2所述的方法，其中在所述步骤（c），根据与所述视野边界的接近程度有差异地显示被搜索对象的引导信息。

5.一种终端，该终端利用输入到其中的图像和与其相关的信息，以增强现实（AR）的形式提供其视野中未包括的对象信息，该终端包括：

位置和位移测量部分，通过参考至少一条关于其位置、位移和视角的信息，指定与所述输入图像对应的其视野；

用于搜索其视野中未包括的对象的信息搜索部分；以及

用户接口部分，用于以增强现实的形式与所述输入图像一起显示所搜索对象的引导信息；

其中由顶点对应于其的视见平截头体表示所述视野。

6.一种终端，该终端利用其中输入的图像和与其相关的信息，以增强现实（AR）的形式提供其视野中未包括的对象的信息，该终端包括：

用于搜索其视野中未包括的对象的信息搜索部分；以及

其中所述引导信息包括被搜索对象名称的字符串和表示与所述视野位置相比其相对位置的图形元素中的至少一项。

7.根据权利要求5或6所述的终端，其中所述用户接口部分通过参考被搜索对象与所述视野的位置相比的相对位置，自适应地确定所述终端屏幕上显示被搜索对象的引导信息的位置。

8.根据权利要求5或6所述的终端，其中所述用户接口部分根据与所述视野边界的接近程度有差异地显示被搜索对象的引导信息。

9.一种介质，记录计算机可读程序，以执行根据权利要求1到4的任一项所述的方法。