CN107221030B - 增强现实提供方法、增强现实提供服务器、以及记录介质 - Google Patents

Abstract

本发明提供一种增强现实提供方法、增强现实提供服务器、以及记录介质。在能够与用户端联动的增强现实提供服务器中执行的增强现实提供方法，包括如下步骤：(a)接收来自所述用户端的影像；(b)在所述影像中确定位于自观察视点起规定距离以内的兴趣点；(c)基于关于所述兴趣点的位置信息，设定所述兴趣点的三维位置，并基于关于所述兴趣点的内容信息进行设定，使内容显示在所述兴趣点的特定位置；以及(d)将已设定所述三维位置且显示有内容的兴趣点叠加到所述影像中，生成增强现实影像。

Description

增强现实提供方法、增强现实提供服务器、以及记录介质

技术领域

本发明涉及增强现实提供技术，涉及以三维来表示影像中的兴趣点，考虑到关于兴趣点的内容的方向信息等，从多角度提供准确的信息的室外环境下的增强现实提供方法、执行该方法的增强现实提供服务器、以及存储该方法的记录介质。

背景技术

通常，由于室外发生的种种因素，增强现实大多提供基于图片的室内用增强现实，而室外的增强现实只提供利用GPS等大致显示各兴趣点(Point Of Interest，POI)的位置的形式的服务。现有的典型的增强现实提供技术有基于图片的增强现实和基于传感器的增强现实技术。

基于图片的增强现实是一种在图片上表现信息的方法，具有预处理后可将准确的信息提供给准确的位置的优点。但是，基于图片的增强现实存在因手抖导致的严重晃动的现象，而且存在在室外环境下由于天气、气候等而无法顺利提供的缺点。

基于传感器的增强现实是一种基于POI(Point Of Interest)的GPS信息等大致显示各POI的位置，从而实现增强的技术。与其说这种技术掌握各POI的准确位置，还不如说是以告知大致的位置或距离等的形式提供。虽然基于传感器的增强现实具有只要有GPS信息就能够表现的优点，但由于GPS的特性，无法准确告知各POI的位置，要表现各内容存在难度。

从而，由于室外发生的种种因素，现有的增强现实提供技术大多提供基于图片的室内用增强现实，而室外的增强现实只提供利用GPS等大致显示各POI的位置的形式的服务，因此存在无法准确提供室外环境下的增强现实的问题。

【现有技术文献】

【专利文献】

韩国公开专利第10-2012-0080826号

发明内容

【技术问题】

本发明的目的在于提供一种增强现实提供方法，其为了提供室外环境下的增强现实，基于三维地图设定空间坐标和内容的方向信息等，即使在室外环境下也能够从多角度准确地传达信息。

本发明的目的在于提供一种增强现实提供方法，其在从用户端接收的影像中特定兴趣点，基于关于兴趣点的位置信息和内容信息，在以三维表现的兴趣点的特定位置显示内容，从而准确地提供关于兴趣点的多种信息。

【解决问题的方案】

为实现上述目的，根据本发明的第一方面，在能够与用户端联动的增强现实提供服务器中执行的增强现实提供方法，包括如下步骤：(a)接收来自所述用户端的影像；(b)在所述影像中确定位于自观察视点起规定距离以内的兴趣点；(c)基于关于所述兴趣点的位置信息，设定所述兴趣点的三维位置，并基于关于所述兴趣点的内容信息进行设定，使内容显示在所述兴趣点的特定位置；以及(d)将已设定所述三维位置且显示有内容的兴趣点叠加到所述影像中，生成增强现实影像。

优选地，所述步骤(c)可包括：利用关于所述兴趣点的位置信息之中高度的信息，在三维地图中表现所述兴趣点。

优选地，所述步骤(c)可包括：根据关于所述兴趣点的内容信息之中内容的位置信息，判断所述内容是否位于所述兴趣点的内部。

优选地，所述步骤(c)可包括：当所述内容位于所述兴趣点的内部时，根据所述内容的方向信息确定所述内容的可观察方向；以及，若所述内容的可观察方向与所述观察视点一致，则将所述内容确定为可显示内容，若所述内容的可观察方向与所述观察视点不一致，则将所述内容确定为不可显示内容。

优选地，所述步骤(c)包括设定关于所述可显示内容的位置、名称或详细说明，且关于所述可显示内容的位置能够设定高度，所述详细说明包括文本、图片、视频、或音频形式的信息。

优选地，可进一步包括：向所述用户端提供所述增强现实影像。

优选地，所述内容信息可以是文本、音频、图片、视频、或三维物体的形式。

为实现所述目的，根据本发明的第二方面，能够与用户端联动的增强现实提供服务器，包括：影像接收部，接收来自所述用户端的影像；兴趣点确定部，在所述影像中确定位于自观察视点起规定距离以内的兴趣点；兴趣点设定部，基于关于所述兴趣点的位置信息，设定所述兴趣点的三维位置，并基于关于所述兴趣点的内容信息进行设定，使内容显示在所述兴趣点的特定位置；以及增强现实影像生成部，将已设定所述三维位置且显示有内容的兴趣点叠加到所述影像中，以生成增强现实影像。

优选地，所述兴趣点设定部，可利用关于所述兴趣点的位置信息之中高度的信息，在三维地图中表现所述兴趣点。

优选地，所述兴趣点设定部，可根据关于所述兴趣点的内容信息之中内容的位置信息，判断所述内容是否位于所述兴趣点的内部。

优选地，所述兴趣点设定部，可进行如下处理：当所述内容位于所述兴趣点的内部时，根据所述内容的方向信息确定所述内容的可观察方向，若所述内容的可观察方向与所述观察视点一致，则将所述内容确定为可显示内容；若所述内容的可观察方向与所述观察视点不一致，则将所述内容确定为不可显示内容。

优选地，所述兴趣点设定部设定关于所述可显示内容的位置、名称或详细说明，且关于所述可显示内容的位置能够设定高度，所述详细说明包括文本、图片、视频、或音频形式的信息。

优选地，可以进一步包括：增强现实影像提供部，用于向所述用户端提供所述增强现实影像。

【发明效果】

如上所述，根据本发明，由于基于三维地图设定空间坐标和内容的方向信息等，因此具有即使在室外环境下也可从多角度准确地传达信息的增强现实提供效果。

附图说明

图1是示出根据本发明优选实施例的增强现实提供系统的图。

图2是图1所示的增强现实提供服务器的框图。

图3是示出在图1所示的增强现实提供系统中执行的增强现实提供方法的流程图。

图4是根据本发明一实施例而在兴趣点设定信息的过程的示例。

图5是根据本发明一实施例所提供的增强现实示例。

图中：

100：增强现实提供系统

110：用户端

120：增强现实提供服务器

130：数据库

210：影像接收部

220：兴趣点确定部

230：兴趣点设定部

240：增强现实影像生成部

250：控制部

具体实施方式

下面，本发明的优点和特征、以及实现这些优点和特征的方法将在结合附图在后面详述的实施例的过程中逐渐变得清晰。但是，本发明不限于在下面所公开的实施例，而是能够以不同的多种形式得以体现，这些本实施例仅用于完整地公开本发明，为了向本发明所属的技术领域中的一般的技术人员完整地告知发明的范畴而提供，本发明由权利要求书来定义。贯穿说明书整体的相同参考符号指相同构成要素。“及/或”包括所涉及项目的每一个和其一个以上的所有组合。

尽管第一、第二等术语用于叙述多种元件、构成要素及/或部分，但显然这些元件、构成要素及/或部分不限于这些术语。这些术语仅用于将一个元件、构成要素或部分与其他元件、构成要素或部分区分。因此，显然下面所涉及的第一元件、第一构成要素或第一部分在本发明的技术思想范围内也可以是第二元件、第二构成要素或第二部分。

此外，各步骤中的识别符号(例如：a，b，c等)为便于说明而使用，因而识别符号并非说明各步骤的顺序，除非文中明确记载特定顺序，各步骤可按不同于标明的顺序发生。即，各步骤既可按标明的顺序发生，也可以实质上同时执行，又可以按相反的顺序执行。

本说明书所使用的术语用于说明实施例，并非限制本发明。本说明书中，除非句中有特殊说明，单数型也包括复数型。说明书中使用的“包括(comprises)”及/或“包括的(comprising)”所涉及的构成要素、步骤、动作及/或元件并不排除一个以上的其他构成要素、步骤、动作及/或元件的存在或追加。

除非有其他定义，本说明书所使用的所有术语(包括技术及科学术语)均可用作能被本发明所属的技术领域中的一般的技术人员所普遍理解的含义。而且，除非有明确的特殊定义，在通常使用的词典中规定义的术语不应被怪异地或过分地解释。

此外，在说明本发明的实施例的过程中，当认为对公知的功能或构成的具体说明有可能会使本发明的主旨不清楚时，将省略其详细说明。此外，后面叙述的术语是考虑本发明实施例中的功能而定义的术语,这可根据用户、运用者的意图或惯例而不同。因此，该定义应以贯穿本说明书整体的内容而下定义。

图1是示出根据本发明优选实施例的增强现实提供系统的图。

参照图1，增强现实提供系统100包括：用户端110、增强现实提供服务器120、以及数据库130，用户端110和增强现实提供服务器120通过网络连接。

用户端110是一种拍摄影像，并获取关于所拍摄的影像提供的增强现实的装置。优选地，用户端110可以向增强现实提供服务器120提供影像，且执行用于获取由增强现实提供服务器120提供的增强现实影像的应用程序。

例如，用户端110为台式电脑、笔记本电脑等计算机，可以是通过网络与增强现实提供服务器120连接，从而能获取增强现实提供服务器120提供的增强现实的所有种类的有线/无线通信装置，可以是普通手机(又称功能手机(feature phone))或智能手机(smartphone)，该智能手机是基于用户能够下载所需的多种应用程序(Application)，且可自由使用和删除这些应用程序的开放的运营体制的手机。此外，优选地，用户端110应理解为包括不仅具有通常使用的语音/视频通话、互联网数据通信等功能，还具有移动办公功能的所有移动电话，或虽然不带语音通话功能，但可访问互联网的所有互联网电话或平板电脑(Tablet PC)的通信设备。

增强现实提供服务器120是与用户端110连接而执行增强现实提供方法的装置。优选地，增强现实提供服务器120可接收来自用户端110的影像，在该影像中确定兴趣点，并基于兴趣点的信息而生成增强现实影像。此外，增强现实提供服务器120与数据库130连接，可获取数据库130提供的兴趣点的位置信息和内容信息，从而生成增强现实。

数据库130是用于存储和管理关于兴趣点的位置信息和内容信息的装置，当收到来自增强现实提供服务器120的关于特定兴趣点的信息的请求，向增强现实提供服务器120提供关于特定兴趣点的信息。在此，位置信息可相当于用于在三维地图中表现兴趣点的GPS信息，内容信息是与兴趣点相关的信息，例如，当兴趣点为庆会楼时，内容可以是匾额、屋檐、池塘、杏树、仁王像、或荷香亭，内容信息可以是关于内容的位置、名称、或详细说明，内容信息可相当于文本、音频、视频、或三维物体形式的信息。

图2是图1所示的增强现实提供服务器的框图。

参照图2，增强现实提供服务器120包括：影像接收部210、兴趣点确定部220、兴趣点设定部230、增强现实影像生成部240、以及控制部250。

影像接收部210接收来自用户端110的影像。优选地，用户端110能够将由用户端110所具备的摄像机所拍摄的影像，通过用于执行增强现实提供方法的应用程序而发送至增强现实提供服务器120。

兴趣点确定部220在通过影像接收部210接收到的影像中确定位于自观察视点起规定距离以内的兴趣点。在此，观察视点可相当于用户端110拍摄该影像的方向。优选地，当影像中有多个兴趣点时，兴趣点确定部220可确定离观察视点最近的兴趣点，或确定由用户选择的特定兴趣点。在此，通过兴趣点确定部220确定的兴趣点将成为用于提供增强现实的对象。

一实施例中，兴趣点确定部220可确定一个兴趣点或确定多个兴趣点。当确定多个兴趣点时，可关于多个兴趣点分别执行通过下面将要说明的兴趣点确定部220和兴趣点设定部230执行的操作。此外，关于多个兴趣点生成的增强现实可在一个影像中同时提供给用户。

兴趣点设定部230基于通过兴趣点确定部220确定的关于兴趣点的位置信息，设定兴趣点的三维位置。优选地，兴趣点设定部230可基于关于兴趣点的位置信息，在三维地图中表现兴趣点。即，兴趣点设定部230可利用关于兴趣点的GPS信息将兴趣点以具有高度信息的三维表示。从而，与现有的利用GPS信息表现平面兴趣点不同，根据本发明，可利用关于每个兴趣点的位置的GPS信息和高度信息，表示以三维表现的兴趣点。

兴趣点设定部230基于关于兴趣点的内容信息进行设定，使内容显示在兴趣点的特定位置。优选地，兴趣点设定部230可根据内容信息设定是否在兴趣点显示该内容，或设定在哪个位置以何种方式显示该内容。

更具体地，兴趣点设定部230可根据关于兴趣点的内容信息之中内容的位置信息，判断内容是否位于兴趣点的内部。例如，当兴趣点为庆会楼且内容为匾额时，匾额的位置信息相当于庆会楼内部，因此兴趣点设定部230可以判断内容位于兴趣点的内部。

优选地，当内容位于兴趣点的内部时，兴趣点设定部230可根据内容的方向信息确定内容的可观察方向。例如，当内容为庆会楼里的匾额时，由于无法从四面观察，只能在包括正面的一定范围内观察，因此关于匾额的方向信息可相当于自正面起的左右45°范围。即，此时兴趣点设定部230可以将匾额的可观察方向确定为自正面起的左右45°范围。

优选地，若内容的可观察方向与观察视点一致，则兴趣点设定部230将内容确定为可显示内容，若内容的可观察方向与观察视点不一致，则兴趣点设定部230将内容确定为不可显示内容。例如，若内容的可观察方向为自正面起的左右45°范围，关于影像的观察视点为自正面起向右侧15°的地点，则内容的可观察方向包括观察视点。即，在观察视点上能够观察该内容。从而，兴趣点设定部230可将该内容确定为可显示内容。

再例如，若内容的可观察方向为自正面起向右侧90°的地点，且关于影像的观察视点为自正面起向右侧15°的地点，则内容的可观察方向与观察视点不一致。即，不能在观察视点观察该内容。从而，兴趣点设定部230可将该内容确定为不可显示内容。

优选地，兴趣点设定部230可设定关于可显示内容的位置、名称、或详细说明。在此，关于可显示内容的位置可以设定高度，详细说明可包括文本、图片、视频或音频形式的信息。一实施例中，兴趣点设定部230可通过三维物体使可显示内容准确地位于兴趣点的特定位置。此外，当通过三维物体指定内容的位置时，用户可利用用户接口、例如鼠标，将三维物体移动至特定位置或设定三维物体的表现方法。

根据本发明，由于在包括高度信息的三维地图中表现兴趣点，且可显示内容的位置也可以设定高度，因此可显示内容能够准确地位于兴趣点的具有特定高度的特定位置。

优选地，增强现实影像生成部240能够将通过兴趣点设定部230设定三维位置且显示有内容的兴趣点叠加到影像中，从而生成增强现实影像。即，增强现实影像生成部240将以三维显示且在特定位置显示有内容的兴趣点叠加到从用户端110接收到的影像中。

优选地，虽然未在附图中示出，但增强现实提供服务器120可进一步包括增强现实影像提供部，增强现实影像提供部向用户端110提供通过增强现实影像生成部240生成的增强现实影像。或者，增强现实影像提供部向数据库130传输增强现实影像，用户端110可获取数据库130提供的增强现实影像。

图3是示出在图1所示的增强现实提供系统中执行的增强现实提供方法的流程图。

影像接收部210接收来自用户端110的影像(步骤S310)，兴趣点确定部220在影像中确定位于自观察视点起规定距离以内的兴趣点(步骤S320)。优选地，兴趣点确定部220可在影像中确定一个或多个兴趣点。在此，兴趣点的确定方法可由用户进行多种设定。例如，可根据离观察视点的距离、用户做出的选择、每个兴趣点的评价信息、或每个兴趣点的内容信息来确定兴趣点。

兴趣点设定部230基于关于兴趣点的位置信息设定兴趣点的三维位置，并基于关于兴趣点的内容信息进行设定，使内容显示在兴趣点的特定位置(步骤S330)。例如，参照图4，兴趣点可基于高度信息和GPS位置信息而表现在三维地图中，并以三维显示。从而，当显示关于兴趣点的信息时，可准确指出如同表现在圆内部的白色物体那样具有特定高度的特定位置。

此外，关于兴趣点的内容之中根据内容的方向信息被确定为可显示内容的内容能够显示在兴趣点的特定位置。例如，参照图4中以圆示出的部分，内容的位置可利用三维物体来准确特定。即，由于可显示内容的位置能够设定高度，因而三维物体能够准确地位于兴趣点的特定高度的特定位置，图4中位于圆内部的两个三维物体分别准确指出屋檐和屋顶的特定部分。

再例如，参照图4中以左上角四边形标示的部分，也可利用三维物体和多线(Polyline)准确地特定位置。即，当所指为地面时，虽然可以使三维物体位于地面的特定位置，但也可以利用三维物体和多线而在特定高度指出地面。此外，内容的位置表现方式可以有多种变型，不限于此。由此，可以表现昌德宫、光化门等遗址的信息、诸如匾额或檐角走兽等包括在该遗址中的信息。

进而，参照图4中左上角以四边形标示的部分，在设定了内容的位置后，可获取由用户输入或由数据库130提供的关于该内容的信息。关于内容的信息的提供方式可以以多种方式设定，也可以以链接方式设定。

增强现实影像生成部240将已设定三维位置且显示有内容的兴趣点叠加到影像中，从而生成增强现实影像(步骤S340)。例如，参照图5，图5是关于兴趣点“庆会楼”的增强现实，相当于关于“庆会楼”的匾额、屋檐、檐角走兽的内容准确地显示在“庆会楼”的特定位置。此外，也可以使关于内容的详细信息与内容一同显示在增强现实中，通过点击用户关于提供给用户端110的增强现实影像所输入的数据、例如用户的特定内容来提供。

同时，根据本发明一实施例的增强现实提供方法也可以在计算机可读记录介质中用计算机可读代码来体现。计算机可读记录介质包括存储有计算机系统可读取数据的所有种类的记录装置。

例如，计算机可读记录介质可以是只读存储器(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、硬盘、软磁盘、移动存储装置、闪速存储器(Flash Memory)、光数据存储装置等。

此外，计算机可读记录介质分散在通过计算机通信网连接的计算机系统中，因而可以以分散方式可读代码来存储和执行。

尽管上面对根据本发明的增强现实提供方法、执行该方法的增强现实提供服务器、以及存储该方法的记录介质的优选实施例进行了说明，但本发明不限于此，可在权利要求书和说明书、以及附图的范围内对其实施多种变型，而这些变型也均属于本发明。

Claims (10)

1.一种在能够与用户端联动的增强现实提供服务器中执行的增强现实提供方法，包括如下步骤：

(a)接收来自所述用户端的影像；

(b)在所述影像中确定位于自观察视点起规定距离以内的兴趣点；

(c)基于关于所述兴趣点的位置信息，设定所述兴趣点的三维位置，并基于关于所述兴趣点的内容信息进行设定，使内容显示在所述兴趣点的特定位置；以及

(d)将已设定所述三维位置且显示有内容的兴趣点叠加到所述影像中，生成增强现实影像，

其中所述步骤(c)包括：

根据关于所述兴趣点的内容信息之中内容的位置信息，判断所述内容是否位于所述兴趣点的内部；

当所述内容位于所述兴趣点的内部时，根据所述内容的方向信息确定所述内容的可观察方向；以及

若所述内容的可观察方向与所述观察视点一致，则将所述内容确定为可显示内容，若所述内容的可观察方向与所述观察视点不一致，则将所述内容确定为不可显示内容。

2.根据权利要求1所述的增强现实提供方法，其特征在于，所述步骤(c)包括：

利用关于所述兴趣点的位置信息之中高度的信息，在三维地图中表现所述兴趣点。

3.根据权利要求1所述的增强现实提供方法，其特征在于，所述步骤(c)包括：

设定关于所述可显示内容的位置、名称或详细说明，且

关于所述可显示内容的位置能够设定高度，所述详细说明包括文本、图片、视频、或音频形式的信息。

4.根据权利要求1所述的增强现实提供方法，其特征在于，进一步包括：

向所述用户端提供所述增强现实影像。

5.根据权利要求1所述的增强现实提供方法，其特征在于，

所述内容信息是文本、音频、图片、视频、或三维物体的形式。

6.一种能够与用户端联动的增强现实提供服务器，包括：

影像接收部，接收来自所述用户端的影像；

兴趣点确定部，在所述影像中确定位于自观察视点起规定距离以内的兴趣点；

兴趣点设定部，基于关于所述兴趣点的位置信息，设定所述兴趣点的三维位置，并基于关于所述兴趣点的内容信息进行设定，使内容显示在所述兴趣点的特定位置；以及

增强现实影像生成部，将已设定所述三维位置且显示有内容的兴趣点叠加到所述影像中，生成增强现实影像；

其中，所述兴趣点设定部进行以下处理：

根据关于所述兴趣点的内容信息之中内容的位置信息，判断所述内容是否位于所述兴趣点的内部；

当所述内容位于所述兴趣点的内部时，根据所述内容的方向信息确定所述内容的可观察方向，

若所述内容的可观察方向与所述观察视点一致，则将所述内容确定为可显示内容，若所述内容的可观察方向与所述观察视点不一致，则将所述内容确定为不可显示内容。

7.根据权利要求6所述的增强现实提供服务器，其特征在于，

所述兴趣点设定部利用关于所述兴趣点的位置信息之中高度的信息，在三维地图中表现所述兴趣点。

8.根据权利要求6所述的增强现实提供服务器，其特征在于，

所述兴趣点设定部设定关于所述可显示内容的位置、名称或详细说明，且关于所述可显示内容的位置能够设定高度，所述详细说明包括文本、图片、视频、或音频形式的信息。

9.根据权利要求6所述的增强现实提供服务器，其特征在于，进一步包括：

增强现实影像提供部，用于向所述用户端提供所述增强现实影像。

10.一种计算机可读的记录介质，记录有能够用计算机执行权利要求1至5中任一项所述的方法的程序。

Images