CN102281348B - 使用增强现实引导路线的方法以及使用该方法的移动终端 - Google Patents

Abstract

本发明公开了一种通过使用增强现实引导路线的方法和使用该方法的移动终端。由移动终端引导路线的方法包括：从第一终端接收路线源信息；基于接收到的路线源信息由第二终端显示包括增强现实(AR)信息的第一终端的周围图像；以及根据关于所显示的周围图像的用户输入，由第二终端向第一终端提供实时路线引导。

Description

使用增强现实引导路线的方法以及使用该方法的移动终端

技术领域

本发明涉及一种用于使用增强现实(augmented reality)来引导路线的方法以及一种使用该方法的移动终端。

背景技术

通常，根据终端是否是可移动的，终端可以被分为移动或便携式终端和固定终端。此外，根据用户是否直接携带移动终端，移动终端可以被分为手持终端和安装在交通工具中的终端。

随着终端的功能变得更加多样化，终端可以支持更加复杂的功能，诸如拍摄图像或视频、再现音乐或视频文件、玩游戏、接收广播信号等。通过全面地和共同地实现这些功能，移动终端可以被具体化为多媒体播放器或设备的形式。为了支持和增加终端的功能，可以考虑改进终端的结构部分和/或软件部分。

通常，常规的终端能够引导路线(例如，道路引导或其他的方向信息)。这些终端基于地理特征和对象提供到目的地的路线引导，这些地理特征和对象是基于所存储的地理信息(地图信息)而建模的。同时，应用增强现实(AR)技术以使得当移动终端向服务器提供GPS信息和/或地磁信息时，服务器确定移动终端的位置和/或方向，并且提供与移动终端的照相机拍摄了其图像的目标有关的引导信息(AR信息)。

增强现实(AR)是用于物理现实世界环境的直接或间接的现场场景的术语，物理现实世界环境的元素被通过虚拟的计算机生成的影像而增强。AR增强了人们对现实的当前感知。在增强现实的情况中，常规地，增强是实时的并且处于具有环境元素的语义背景中，诸如比赛期间的电视上的比分。在高级AR技术(例如，添加计算机视觉和对象识别)的帮助下，关于用户周围现实世界的信息变为交互式的和数字可用的。关于环境和其中的对象的人工信息可以作为现实世界场景上的信息层而被存储和检索。

然而，常规的路线引导方法的问题在于，由于先前获得的内容被预先提供给用户，因此街道或建筑物的后续变更不能被快速地提供给用户，因此不能向用户提供准确的信息，并且必须下载由服务提供商定期更新的地理信息。此外，在常规的AR信息服务中，如果位置未被注册到服务器，则该位置不能被设定为目的地，这使得难于提供到预期目的地的方向信息。

发明内容

因此，为了解决以上问题，构思了这里描述的各种特征。

本发明的一个方面提供了一种用于通过使用引导信息或AR信息来有效地识别目标人物的位置和方向，从而有效地向目标人物提供方向信息的方法。

根据本发明的一个方面，提供了一种由移动终端引导路线的方法，包括：从第一终端接收路线源信息；基于接收到的路线源信息由第二终端显示包括增强现实(AR)信息的第一终端的周围图像；以及根据针对所显示的周围图像的用户输入，由第二终端向第一终端提供实时路线引导。

根据本发明的另一方面，提供了一种由移动终端引导路线的方法，包括：从服务器获取与第一终端任意设定的某个位置相对应的图像和第一终端的方向信息以及增强现实(AR)信息；从包括AR信息的图像中选择路标位置；由第一终端向第二终端传送路标位置信息；以及当通知第二终端已到达路标位置时，根据针对所显示的图像的用户输入，由第一终端向第二终端提供路线引导。

根据本发明的另一方面，提供了一种移动终端，包括：无线通信单元，从第一终端接收路线源信息；以及控制器，基于接收到的路线源信息显示包括增强现实(AR)信息的第一终端的周围图像，并且根据针对所显示的周围图像的用户输入向第一终端提供实时路线引导。

根据本发明的另一方面，提供了一种移动终端，包括：感测单元，测量移动终端的方向；无线通信单元，向第一终端传送路标位置信息；以及控制器，从服务器获取与控制器任意设定的某个位置相对应的图像和增强现实(AR)信息和感测单元所测量的方向信息，从包括AR信息的图像中选择路标位置，并且当通知第一终端已到达路标位置时，根据针对所显示的图像的用户输入向第一终端提供路线引导。

在根据本发明示例性实施例的用于引导路线的方法和使用该方法的移动终端中，可以通过将基于增强现实(AR)技术的引导信息与实际图像组合来有效地识别对方的位置和方向，由此向对方提供方向信息。

通过下文结合附图对本发明的详细描述，本发明的前面的和其他的目的、特征、方面和优点将变得更加明显。

附图说明

图1是根据本发明示例性实施例的移动终端的示意性框图；

图2是示出根据本发明示例性实施例的由移动终端提供路线引导的第一示例的视图；

图3是示出根据本发明示例性实施例的由移动终端提供方向信息的引导单元的示例的视图；

图4是示出根据本发明示例性实施例的由移动终端提供路线引导的第二示例的视图；

图5是示出根据本发明示例性实施例的由移动终端提供路线引导的第三示例的视图；

图6是示出根据本发明示例性实施例的由移动终端提供路线引导的第四示例的视图；

图7是示出根据本发明示例性实施例的由移动终端提供路线引导的第五示例的视图；

图8是图示根据本发明第一示例性实施例的由移动终端引导路线的方法的过程的第一流程图；

图9是图示根据本发明第二示例性实施例的由移动终端引导路线的方法的过程的第二流程图；

图10是图示根据本发明第三示例性实施例的由移动终端引导路线的方法的过程的第三流程图

图11是图示根据本发明第四示例性实施例的由移动终端引导路线的方法的过程的第四流程图；以及

图12是图示根据本发明第五示例性实施例的由移动终端引导路线的方法的过程的第五流程图。

具体实施方式

下文将参照附图描述本发明的实施例，其中与附图编号无关地，相同或者相对应的元件被赋予相同的附图标记，并且省略冗余的解释。在描述本发明时，如果对相关已知功能或构造的详细解释被认为是不必要地使本发明的主旨发生转向，则这些解释被省略，但是本领域的技术人员会理解这些解释。在下面的描述中，用于指代元件的诸如“模块”、“部分”或“单元”的后缀的使用仅为了便于本发明的解释，其自身并不具有任何重要的含义。在描述本发明时，如果对相关已知功能或构造的详细解释被认为是不必要地使本发明的主旨发生转向，则这些解释被省略，但是本领域的技术人员会理解这些解释。本发明的附图意在便于本发明的理解并且不应被解释为限于附图。

移动终端的整体配置

与本发明关联的移动终端可以包括移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PMP(便携式多媒体播放器)、导航设备等。本领域的技术人员将理解，除了特别配置用于移动用途的一些元件之外，根据本发明实施例的配置也可以适用于固定类型的终端，诸如数字电视、台式计算机等。

图1是根据本发明实施例的移动终端的示意性框图。

移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等。图1将移动终端示出为具有各种部件，但是应当理解，并不需要实现所有图示的部件。可选地可以实现更多或更少的部件。

移动终端的各个元件将被详细描述如下。

无线通信单元110典型地包括允许移动终端100和该移动终端所处的无线通信系统或网络之间进行无线通信的一个或多个部件。例如，无线通信单元110可以包括广播接收模块111、移动通信模块112、无线因特网模块113、短距离通信模块114和方位-位置模块115。

广播接收模块111经由广播信道从外部广播管理服务器(或者其他网络实体)接收广播信号和/或广播关联信息。广播关联信息指的是与广播信道、广播节目或者广播服务提供商关联的信息。还可以经由移动通信网络提供广播关联信息，并且在该情况中，可以由移动通信模块112接收广播关联信息。经由广播接收模块111接收到的广播信号和/或广播关联信息可以存储在存储器160(或者其他类型的存储介质)中。

移动通信模块112向和/或从基站(例如，接入点、Node B等)、外部终端(例如，其他用户设备)和服务器(或者其他网络实体)中的至少一个传送和/或接收无线信号。这些无线信号可以包括语音呼叫信号、视频呼叫信号或者根据文本和/或多媒体消息传送和/或接收的各种类型的数据。

无线因特网模块113支持移动终端的无线因特网接入。该模块可以内部地或外部地耦合到终端。所实现的无线因特网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、LTE(长期演进方案)、LTE-A(先进长期演进方案)等。

短距离通信模块114是用于支持短距离通信的模块。短距离通信技术的一些实例包括蓝牙(BLUETOOTH)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZIGBEE等。

方位-位置模块115是用于检查或者获取移动终端的位置(或者方位)的模块。方位-位置模块的典型示例是GPS(全球定位系统)。

参照图1，A/V输入单元120接收音频或图像信号。A/V输入单元120可以包括照相机121(或其他图像捕捉设备)或者麦克风122(或其他声音获取设备)。照相机121处理在视频拍摄模式或图像拍摄模式中由图像拍摄设备获得的静止图片或视频的图像帧。

照相机121处理的图像帧可以被存储在存储器160(或其他存储介质)中或者经由无线通信单元110传送。根据移动终端的配置，可以提供两个或更多个照相机121。

麦克风122可以在电话呼叫模式、录音模式、语音识别模式等中经由麦克风(等)接收声音(可听数据)，并且可以将这些声音处理为音频数据。在电话呼叫模式的情况中，经处理的音频(语音)数据可以被转换以输出为可经由移动通信模块112传送到移动通信基站(或者其他网络实体)的格式。麦克风122可以实现各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和传送音频信号的过程中产生的噪声或干扰。

用户输入单元130(或者其他用户输入设备)可以根据用户输入的命令生成输入数据以控制移动终端的各种操作。用户输入单元130可以包括键盘、薄膜开关、触摸板(例如，检测由于被接触而引起的电阻、压力、电容等的改变的触敏部件)、微动轮、微动开关等。

感测单元140(或者其他检测装置)检测移动终端100的当前状况(或状态)，诸如移动终端100的打开或关闭状态、移动终端100的位置、是否存在用户与移动终端100的接触(即，触摸输入)、移动终端100的定向、移动终端100的加速或减速移动和方向等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100被实现为滑动型移动电话时，感测单元140可以感测滑动电话被打开还是关闭。此外，感测单元140可以检测电源单元190是否供电或者接口单元170是否与外部设备耦合。感测单元140可以包括接近单元141。

输出单元150被配置为以视觉、听觉和/或触觉方式(例如，音频信号、图像信号、警报信号、振动信号等)提供输出。输出单元150可以包括显示单元151、音频输出模块152、警报单元153、触觉模块154等。

显示单元151可以显示(输出)移动终端100中处理的信息。例如，当移动终端100处于电话呼叫模式时，显示单元151可以显示与呼叫或其他通信(诸如文本消息传送、多媒体文件下载等)关联的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频呼叫模式或者图像拍摄模式时，显示单元151可以显示所拍摄的图像和/或接收到的图像、示出视频或图像以及与其相关功能的UI或GUI等。

显示单元151可以包括液晶显示器(LCD)、薄膜晶体管-LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器、电子墨水显示器等中的至少一个。

其中一些显示器被配置为透明的或者光透射的，以允许外部的观看，其可被称为透明显示器。典型的透明显示器可以是例如TOLED(透明有机发光二极管)显示器等。通过该配置，用户可以通过终端主体的显示单元151所占据的区域来观看位于终端主体背面的物体。

根据移动终端100的特定的所期望的实施例，移动终端100可以包括两个或更多个显示单元(或者其他显示装置)。例如，多个显示单元可以分离地或者整体地安置在移动终端的一个表面上，或者可以分离地安装在互不相同的表面上。

同时，当显示单元151和用于检测触摸操作的传感器(在下文中被称为“触摸传感器”)以分层的方式重叠以形成触摸屏时，显示单元151可以用作输入设备和输出设备。触摸传感器可以具有触摸膜、触摸片、触摸板等的形式。

触摸传感器可以将施加到显示单元151特定部分的压力或者显示单元151特定部分处的电容的改变等转换为电输入信号。当施加触摸时，触摸传感器可以检测压力，以及所触摸的位置和区域。

当存在对于触摸传感器的触摸输入时，相应的信号被传送到触摸控制器。触摸控制器处理这些信号并且将相应的数据传送到控制器180。因此，控制器180可以识别显示单元151的哪个部分已被触摸。

参照图1，接近单元141可以被安置在触摸屏内或者附近。接近单元141是通过使用电磁力或红外线而非物理接触来检测相对于某个检测表面的物体或者附近存在的物体的存在与否的传感器。因此，接近单元141较之接触类型的传感器具有更长的寿命，并且其可被用于各种用途。

接近单元141的示例可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、RF振荡型接近传感器、电容型接近传感器、磁接近传感器、红外接近传感器等。在触摸屏是电容型的情况中，通过根据指示器接近度的电场的改变来检测指示器的接近。在该情况中，触摸屏(触摸传感器)可以被分类为接近单元。

在呼叫信号接收模式、呼叫模式、录音模式、语音识别模式、广播接收模式等等中，音频输出模块152可以转换和输出从无线通信单元110接收到的或者存储在存储器160中的声音音频数据。再者，音频输出模块152可以提供与移动终端100执行的特定功能相关的可听输出(例如，呼叫信号接收声音、消息接收声音等)。音频输出模块152可以包括接收器、扬声器、蜂鸣器或者其他声音生成设备。

警报单元153(或者其他类型的用户通知装置)可以提供用于通知移动终端100的事件发生的输出。典型的事件可以包括呼叫接收、消息接收、按键信号输入、触摸输入等。除了音频或视频输出，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以提供具有振动形式的输出(或者其他触觉或可感测的输出)。当接收到呼叫、消息或者一些其他呼入通信时，警报单元153可以提供触觉输出(即振动)以向用户通知这些事件。通过提供这些触觉输出，用户可以识别各种事件的发生，即使用户的移动电话在用户的口袋中。通知事件发生的输出也可以经由显示单元151或者音频输出模块152提供。显示单元151和音频输出模块152可以被分类为警报单元153的一部分。

触觉模块154生成用户可以感受到的各种触觉效果。触觉模块154生成触觉效果的典型示例是振动。触觉模块154的强度和模式可以被控制。例如，不同的振动可以被组合输出或者顺序输出。

除了振动之外，触觉模块154可以生成各种其他的触觉效果，诸如刺激的效果(诸如相对于接触皮肤竖直移动的针布置、通过喷射孔或者抽吸口的空气的喷射力或抽吸力、皮肤上的接触、电极的接触、静电力等)、通过使用可以吸收或者产生热的元件来再现冷和暖的感觉的效果。

触觉模块154可以被实现为允许用户通过诸如用户的手指或手臂的肌肉感觉来感受触觉效果，以及通过直接接触来传递触觉效果。根据移动终端100的配置可以提供两个或更多个触觉模块154。

存储器160可以存储用于控制器180所执行的处理和控制操作的软件程序，或者可以临时存储所输入或输出的数据(例如，电话本、消息、静止图像、视频等)。此外，存储器160可以存储与将触摸输入到触摸屏时所输出的各种振动模式和音频信号有关的数据。

存储器160可以包括至少一种类型的存储介质，该存储介质包括闪存、硬盘、微型多媒体卡、卡型存储器(例如，SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。再者，移动终端100可以进行与在因特网上执行存储器160的存储功能的web存储设备相关的操作。

接口单元170用作与连接到移动终端100的每个外部设备的接口。例如，外部设备可以向外部设备传送数据，接收电力并且向移动终端100的每个元件传送电力，或者向外部设备传送移动终端100的内部数据。例如，接口单元170可以包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。

识别模块可以是存储用于对使用移动终端100的人的权限进行认证的各种信息的芯片，并且可以包括用户识别模块(UIM)、订户识别模块(SIM)、通用订户识别模块(USIM)等。此外，具有识别模块的设备(在下文中被称为“识别设备”)可以采用智能卡的形式。因此，识别设备可以经由端口与终端100连接。

当移动终端100与外部基座(cradle)连接时，接口单元170可以用作为允许将来自基座的电力通过其提供给移动终端100的通道，或者可以用作为允许用户从基座输入的各种命令信号通过其传送到移动终端的通道。从基座输入的各种命令信号或电力可以用作为识别移动终端是否被适当地安装在基座上的信号。

控制器180典型地控制移动终端100的一般操作。例如，控制器180执行与语音呼叫、数据通信、视频呼叫等相关联的控制和处理。控制器180可以包括用于再现多媒体数据的多媒体模块181。多媒体模块181可以被配置在控制器180中或者可以被配置为分立于控制器180。

控制器180可以执行模式识别处理以将在触摸屏上执行的手写输入或者画图输入分别识别为字符或图像。

电源单元190接收外部电力或内部电力并且在控制器180的控制下提供所需用于操作各个元件和部件的适当的电力。

使用例如软件、硬件或者它们的任何组合，可以在计算机可读介质或者其相似的介质中实现这里描述的各种实施例。

对于硬件实现方案，通过使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为用于执行这里描述的功能的电子单元中的至少一个，可以实现这里描述的实施例。在一些情况中，这些实施例可以由控制器180自身实现。

对于软件实现方案，诸如这里描述的过程或功能的实施例可以通过分立的软件模块实现。每个软件模块可以执行这里描述的一个或多个功能或操作。软件代码可以由根据任何适当的编程语言所编写的软件应用程序实现。软件代码可以存储在存储器160中并且由控制器180执行。

用于处理相对于移动终端的用户输入的方法

用户输入单元130被操纵为接收用于控制移动终端100的操作的命令并且可以包括多个操纵单元131和132。操纵单元131和132通常可以被称为操纵部分，并且对于该操纵部分，可以使用各种方法和技术，只要它们可以由用户以触觉的方式操作。

显示单元151可以显示各种类型的视觉信息。这些信息可以以字符、数字、符号、图形或图标的形式显示。为了输入这些信息，字符、数字、符号、图形和图标中的至少一个可以被显示为具有键盘形式的预定布置。再者，键盘可以被称为“软键”。

显示单元151可以作为整体区域进行操作或者可以被分为多个区域以便于操作。在后者的情况中，多个区域可以被配置为彼此关联地操作。

例如，可以在显示单元151的上部分和下部分处显示输出窗口和输入窗口。输出窗口和输入窗口是分别被分配用于输出或输入信息的区域。标有用于输入电话号码等的数字的软键可以被输出到输入窗口。当软键被触摸时，对应于所触摸的软键的数字等可以显示在输出窗口上。当操纵单元被操纵时，可以尝试对输出窗口上所显示的电话号码的呼叫连接，或者可以将输出窗口上显示的文本输入到应用程序。

显示单元151或者触摸板可以被配置为通过滚动来接收触摸。用户可以通过滚动触摸板来移动显示单元151上显示的实体，例如位于图标等上的光标或指针。此外，当用户在显示单元151或者触摸板上移动他的手指时，用户手指沿其移动的路径可以被直观地显示在显示单元151上。这可以用于编辑显示单元151上显示的图像。

当在某个时间范围内一起触摸显示单元151(触摸屏)和触摸板时，可以执行终端的某个功能。例如，当用户使用他的拇指和食指夹住终端机体时，可以一起触摸显示单元151和触摸板。该某个功能可以是显示单元151或触摸板的激活或禁用。

将参照附图描述与可以在如上所述配置的终端中实现的控制方法相关的示例性实施例。将被描述的示例性实施例可以单独地使用或者组合地使用。再者，将被描述的实施例可以与前面的用户界面(UI)组合以便于使用。

用于使用增强现实(AR)来引导路线的方法以及使用该方法的移 动终端

本发明的示例性实施例提出了一种方法，其中当目标终端向引导终端传送指示其位置和/或方向的信息时，引导终端基于所传送的信息向目标终端提供到目的地的路线引导。这里，目标终端传送到引导终端的信息可以是目标终端拍摄的图像数据、AR信息、位置信息和方向信息中的至少一个。位置信息可以是GPS信息，并且方向信息可以是方位角信息或地磁信息。

在本发明的示例性实施例中，当基于从目标终端传送的信息并且在必要时基于引导终端从服务器另外获取的AR信息来确定目标终端的位置和/或方向时，引导终端可以通过各种引导手段向目标终端提供路线引导。这里，引导手段可以是语音、消息、图形数据、备忘录、触摸输入、键盘输入、箭头输入和符号输入中的至少一个。

例如，引导终端的用户可以基于从目标终端传送的目标终端的周围图像以及与周围图像中的关键点有关的AR信息来确定目标终端的位置，并且通过语音、备忘录等为目标终端的用户引导到目的地的路线。

在下面的描述中，假设提供了一个目标终端和一个引导终端。然而，所提出的一个目标终端和一个引导终端的构造是用于解释本发明的实施例，并且本发明的技术思想不限于此。例如，本发明的示例性实施例可以适用于提供了多个目标终端和一个引导终端、并且引导终端的屏幕被分为多个部分以向各个目标终端提供路线引导的情况。此外，本发明的示例性实施例还可以适用于提供了一个目标终端和多个引导终端、并且目标终端适当地组合来自各个引导终端的路线引导并且将其输出或显示的情况。

将根据引导终端从目标终端接收到的各种类型的信息来详细描述根据本发明示例性实施例的可以在移动终端中实现的控制方法。详细地，示例性实施例可以被分为情况(1)，其中引导终端从目标终端接收图像数据和AR信息；情况(2)，其中引导终端从目标终端接收图像数据、位置信息和方向信息；情况(3)，其中引导终端从目标终端接收位置信息和方向信息；以及情况(4)，其中引导终端仅从目标终端接收位置信息。

这里，可以仅当因目标终端的位置移动和/或方向改变而导致检测信息(感测信息、传感器信息)改变时传送信息，而并非不断地从目标终端向引导终端传送信息。检测信息可以是GPS信息、方位角信息和地磁信息中的至少一个。

(1)引导终端从目标(即，待引导)终端接收图像数据和AR信 息的示例

图2是示出根据本发明示例性实施例的通过移动终端提供路线引导的第一示例的视图。

参照图2，终端A(目标终端)的照相机121处理在路线引导模式或图像拍摄模式中在终端A的特定位置和方向上拍摄的图像数据(图像帧)。经处理的图像帧可以被显示在终端A的显示单元151上。

终端A的方位-位置模块115获取终端A的位置信息(例如，GPS信息)，并且终端A的感测单元140获取终端A的方向信息(例如，方位角信息或地磁信息)。

终端A的无线通信单元110将终端A的位置信息和方向信息传送到某个服务器，并且从该服务器接收与终端A的位置和方向相对应的AR信息。接收到的AR信息可以与在该位置和方向上拍摄的图像帧一起显示在终端A的显示单元151上。例如，如图2中所示，信息框“a”和“b”用于示出与成像(imaged)的建筑物有关的AR信息。然而，AR信息不一定限于关于屏幕上显示的图像的信息。AR信息可以是与终端A自身提供的位置信息和方向信息相关的任何补充信息，与相应的图像是否由终端A拍摄/显示无关。

终端A向终端B(引导终端)传送对应于位置和方向的图像数据(图像帧)和对应于位置和方向的AR信息。在该情况中，可以以在图像帧上合成AR信息的形式(例如，图像帧和AR信息同时显示在显示单元151上时的所拍摄图像)传送图像数据和AR信息。例如，如图2中所示，信息框“a”和“b”用于示出与成像的建筑物有关的AR信息。

终端B将从终端A接收到的图像数据和AR信息一起显示在显示单元151上。并且，终端B通过各种引导手段向目标终端提供路线引导。这里，引导手段可以是语音、消息、图形数据、备忘录、触摸输入、键盘输入、箭头输入和符号输入中的至少一个。

在图2的实施例的另一变化方案中，终端A向服务器传送终端B的识别信息。接着，将AR信息从服务器发送到终端B。在该变化方案中，AR信息可以仅被发送到终端B或者可以被发送到终端A和终端B。在任一情况中，终端B随后使用接收到的AR信息以及终端A的图像数据和/或终端A的位置/方向信息。这里，终端A的图像数据和终端A的位置/方向信息之一或两者可以被从终端A直接发送到终端B(如图2中所示)或者经由服务器发送到终端B。

在图2的实施例的另一变化方案中，没有必要将图像数据从终端A发送到终端B。在该情况中，终端B基于接收到的AR信息生成路线引导信息。

图3是示出根据本发明示例性实施例的由移动终端提供方向信息的引导单元的示例的视图。

如图3中所示，终端B可以向终端A传送终端B的用户的语音(图3(a))或消息(图3(b))“请前往建筑物的另一侧”。该消息可以通过显示单元151(或触摸屏)上显示的虚拟键盘创建。

再者，如图3中所示，当终端B的用户输入备忘录“请来此处”和用于在终端B的显示单元151(触摸屏)上指示地点的箭头时，终端B可以向终端A传送关于备忘录和箭头的图形数据，并且终端A随后可以将该图形数据显示在显示单元151上(图3(c))。终端B可以将备忘录和箭头合成在终端A传送的拍摄图像上并且向终端A重新传送该合成图像。

可选地，如图3中所示，当终端B的用户输入用于在显示单元151(触摸屏)上指示地点的符号(v)时，终端B向终端A传送关于该符号的图形数据，并且终端A随后可以将该图形数据显示在显示单元151上(图3(d))。终端B可以将符号合成在从终端A传送的拍摄图像上并且随后向终端A传送该合成图像。

(2)引导终端从目标(即，待引导)终端接收图像数据、位置信 息和方向信息的示例

图4是示出根据本发明示例性实施例的由移动终端提供路线引导的第二示例的视图。

参照图4，终端A(目标终端)的照相机121处理在路线引导模式或图像拍摄模式中在终端A的特定位置和方向上拍摄的图像帧。经处理的图像帧可以被显示在终端A的显示单元151上。

终端A的方位-位置模块115获取终端A的位置信息(例如，GPS信息)，并且终端A的感测单元140获取终端A的方向信息(例如，方位角信息或地磁信息)。

终端A将所获取的图像数据(图像帧)、位置信息和方向信息传送到终端B(引导终端)。

终端B的无线通信单元110将从终端A接收到的终端A的位置信息和方向信息传送到某个服务器，并且从该服务器接收对应于终端A的位置和方向的AR信息。

终端B将从终端A接收到的图像数据和从终端A接收到的AR信息一起显示在显示单元151上。并且，终端B通过各种引导手段向目标终端提供路线引导。这里，引导手段可以是语音、消息、图形数据、备忘录、触摸输入、键盘输入、箭头输入和符号输入中的至少一个。通过参照图2和3的描述可以类似地理解引导手段，因此其详细描述将被省略。

在图4的实施例的变化方案中，终端B将接收到的AR信息与路线引导信息一起传送到终端A。

(3)引导终端从目标(即，待引导)终端接收位置信息和方向信 息的另一示例

图5是示出根据本发明示例性实施例的由移动终端提供路线引导的第三示例的视图。

参照图5，终端A的方位-位置模块115获取终端A的位置信息(例如，GPS信息)，并且终端A的感测单元140获取终端A的方向信息(例如，方位角信息或地磁信息)。终端A将位置信息和方向信息传送到终端B(引导终端)。

终端B的无线通信单元110将从终端A接收到的终端A的位置信息和方向信息传送到某个服务器，并且从该服务器接收与终端A的位置和方向相对应的周围图像(地理图像信息)和AR信息。与特定位置和方向相对应的周围图像(地理图像信息)可以是现实图像(例如，道路场景图像)、已经历建模处理的三维/二维图像、地图图像等。

终端B将来自服务器的周围图像(地理图像信息)和AR信息一起显示在显示单元151上。并且，终端B通过各种引导手段向目标终端提供路线引导。这里，引导手段可以是语音、消息、图形数据、备忘录、触摸输入、键盘输入、箭头输入和符号输入中的至少一个。通过参照图2和3的描述可以类似地理解引导手段，因此其详细描述将被省略。

(4)引导终端从服务器接收关于目标(即，待引导)终端的图像 数据和AR信息的示例

图6是示出根据本发明示例性实施例的由移动终端提供路线引导的第四示例的视图。

比较图5中图示的本发明示例性实施例和图6中图示的本发明示例性实施例，在图5中图示的本发明示例性实施例中，终端B向服务器传送终端A的位置信息和方向信息并且从服务器接收与终端A的位置和方向相对应的周围图像(地理图像信息)和AR信息。作为比较，在图6中图示的本发明示例性实施例中，终端B向服务器传送终端A的位置信息和终端B的方向信息并且从服务器接收与终端A的位置和终端B的方向相对应的周围图像(地理图像信息)和AR信息。

也就是，在图5中图示的本发明示例性实施例中，从服务器接收到的周围图像(地理图像信息)和AR信息随着终端A的方向的改变而改变，而在图6中图示的本发明示例性实施例中，从服务器接收到的周围图像(地理图像信息)和AR信息随着终端B的方向的改变而改变。

此外，在图5中图示的本发明示例性实施例中，由于接收了终端A的方向信息，因此基于终端A来解释方向是可能的，而在图6中图示的本发明示例性实施例中，未接收终端A的方向信息而是使用终端B的方向信息，因此基于终端B来解释方向是可能的。

同时，可以通过各种方式来确定终端B向服务器传送的终端B的方向信息。

通常，终端B的感测单元140获取的终端B的方向可以被确定为终端B实际的方向。

可选地，根据通过用户输入单元130或显示单元151(触摸屏)的用户操纵来校正由终端B的感测单元140所获取的终端B的方向而获得的结果可以被确定为终端B的方向。

例如，在终端B的实际方向被固定为北的状态中，传送到服务器的终端B的方向信息可能因拖拽显示单元151(触摸屏)上的左部分而变为西北，或者传送到服务器的终端B的方向信息可能因拖拽显示单元151(触摸屏)上的右部分而变为东北。或者，在终端B的实际方向被固定为北的状态中，传送到服务器的终端B的方向信息可能因操纵用户输入单元130的第一操纵单元而变为西北，或者传送到服务器的终端B的方向信息可能因操纵用户输入单元130的第二操纵单元而变为东北。

尽管在图6中没有示出，但是终端B的位置改变可以被视为终端A的位置改变，并且可以从服务器接收改变的周围图像(地理图像信息)和AR信息。

例如，终端B可以与终端A的位置信息和终端B的方向信息一起额外地传送终端B的位移信息(从终端B的原始位置到改变后的位置的距离偏移)。并且，终端B可以从服务器接收与根据终端B的位移和终端B的方向信息来对终端A的位置信息进行校正而获得的结果相对应的周围图像(地理图像信息)和AR信息。

可选地，终端B可以将根据终端B的移位和终端B的方向信息来对终端A的位置信息进行直接校正而获得的结果传送到服务器，并且随后从服务器接收相应的周围图像(地理图像信息)和AR信息。

使用特定引导位置和路标地标(例如，建筑物)从引导终端向目 标终端提供路线引导的示例

同时，终端B可以基于终端B的用户所设定的路标地标(例如，建筑物)或者路标位置来提供关于终端A的路线引导。该路线引导可以由来自终端A的请求启动或者可以由终端B任意地启动。

详细地，当终端B的用户选择某个位置时，终端B从服务器接收对应于该某个位置的周围图像(地理图像信息)和/或AR信息，并且在该状态下，当终端B的用户在终端A沿其向目的地移动的路线的中途点处选择路标地标(例如，建筑物)时，终端B可以向终端A传送路标位置信息。

当终端A在移动时接近路标地标(例如，建筑物)时，其据此通知终端B。在从终端A接收到该通知时，终端B可以按照与上文所述相同的方式提供路线引导或者可以提供预设的路线引导。该预设的路线引导指的是将预先确定和存储的路线引导(例如，预先记录的语音、预先创建的消息或备忘录等)传送到终端A，而不是向终端A提供实时的路线引导。

图7是示出根据本发明示例性实施例的由移动终端提供路线引导的第五示例的视图。

尽管在图7中没有示出，但是终端A的方位-位置模块115可以获取终端A的位置信息(例如，GPS信息)并且将所获取的位置信息传送到终端B(引导终端)。终端B可以将从终端A接收到的终端A的位置信息传送到服务器，并且可以在从服务器接收到对应于终端A的位置的周围图像(地理图像信息)时确定终端A的位置。

参照图7，当终端B的用户选择某个位置(例如，从终端A的当前位置到目的地的路线上的某个位置)时，终端B的无线通信单元110将所选择的位置信息和/或终端B的方向信息传送到服务器，并且从服务器接收与所选择的位置和/或终端B的方向相对应的AR信息和周围图像(地理图像信息)。这里，终端B的用户可以借助于通过用户输入单元130或显示单元151(触摸屏)的用户操纵来选择某个位置。

例如，终端B的用户可以通过终端B的显示单元151(触摸屏)上的拖拽输入来改变终端B的显示单元151上所显示的地理位置，由此改变将被传送到服务器的位置信息。或者，终端B的用户可以通过操纵终端B的用户输入单元130的操纵单元来直接输入位置信息(例如，GPS信息、纬度和经度信息等)。

终端B将从服务器接收到的周围图像(地理图像信息)和AR信息显示在显示单元151上。当终端B的用户选择路标位置(例如，图7中的“c建筑物”)时，终端B向终端A传送路标位置信息。

终端A在移动时通过方位-位置模块115定期地检查其位置，并且当其到达路标位置(例如，图7中的“c建筑物”)的某个距离范围内时，终端A向终端B传送指示其接近路标位置的通知消息。

在接收到来自终端A的通知消息时，终端B通过各种引导手段向目标终端提供路线引导。或者，在接收到来自终端A的通知消息时，终端B可以向终端A提供如上所述的预设路线引导。这里，引导手段可以是语音、消息、图形数据、备忘录、触摸输入、键盘输入、箭头输入和符号输入中的至少一个。通过参照图2和3的描述可以类似地理解引导手段，因此其详细描述将被省略。

同时，如果在移动终端正在提供路线引导或者正被提供以路线引导时路线引导因通信中断而终止，移动终端可以恢复到正常通信状态，并且路线引导方法可以立即从开始执行，或者在通知了临时存储的先前状态之后执行，并且随后路线引导方法可以根据用户选择而再次执行。

图8是图示根据本发明第一示例性实施例的由移动终端引导路线的方法的过程的流程图。

参照图8，首先，终端B从终端A接收终端A的位置信息(S210)。接着，终端B与对应于终端A的位置的AR信息一起在视觉上显示终端A的周围图像(S220)。并且随后，终端B向终端A提供从终端A的位置到目的地的路线引导(S230)。

这里，AR信息可以对应于终端A的位置和方向。此外，路线引导可以通过语音、文本消息、图形数据或者它们的任何组合而执行。

根据上文参照图1至7对根据本发明示例性实施例的移动终端的描述，可以类似地理解根据本发明示例性实施例的用于引导移动终端的路线的方法，因此其详细描述将被省略。

图9是图示根据本发明第二示例性实施例的由移动终端引导路线的方法的过程的流程图。

参照图9，首先，终端B从终端A接收关于终端A的位置的周围环境的图像数据和关于该周围环境的AR信息(S310)。

这里，关于终端A的位置的周围环境的图像数据可以是终端A(例如，在终端A中提供的照相机)拍摄的图像帧数据。再者，终端A可以向某个服务器传送终端A的位置信息和方向信息，并且接收对应于该位置信息和方向信息的AR信息。

此外，终端B可以接收通过将实现图像数据的图形图像和指示AR信息的图形图像进行合成而获得的图像。

接着，终端B与终端A的位置的周围环境的AR信息一起在视觉上显示图像数据(S320)。并且随后，终端B向终端A提供从终端A的位置到目的地的路线引导(S330)。

图10是图示根据本发明第三示例性实施例的由移动终端引导路线的方法的过程的流程图。

参照图10，终端B从终端A接收关于终端A的位置的周围环境的图像数据和终端A的位置信息和方向信息(S410)。这里，关于终端A的位置的周围环境的图像数据可以是终端A(例如，在终端A中提供的照相机)拍摄的图像帧数据。再者，位置信息可以是全球定位系统(GPS)信息，并且方向信息可以是方位角信息或者地磁信息。

接着，终端B与对应于终端A的位置和方向的AR信息一起在视觉上显示关于终端A的位置的周围环境的图像数据(S420)。这里，终端B可以将指示AR信息的图形图像和实现图像数据的图形图像进行合成和显示。再者，终端B可以从某个服务器接收对应于终端A的位置信息和方向信息的AR信息。

并且随后，终端B向终端A提供从终端A的位置到目的地的路线引导。

图11是图示根据本发明第四示例性实施例的由移动终端引导路线的方法的过程的流程图。

参照图11，首先，终端B从终端A接收终端A的位置信息和方向信息。

接着，终端B在视觉上显示与终端A的位置和方向相对应的周围图像(地理图像信息)和AR信息中的至少一个(S520)。这里，终端B可以从某个服务器接收与终端A的位置信息和方向信息相对应的周围图像(地理图像信息)和AR信息。再者，位置信息可以是全球定位系统(GPS)信息，并且方向信息可以是方位角信息。

并且随后，终端B向终端A提供从终端A的位置到目的地的路线引导(S530)。

图12是图示根据本发明第五示例性实施例的由移动终端引导路线的方法的过程的流程图。

参照图12，终端B可以从终端A接收终端A的位置信息(S610)并且在视觉上显示与终端A的位置信息相对应的周围图像(地理图像信息)和AR信息中的至少一个(S620)。

或者，终端B可以在视觉上显示与终端B自身任意设定的位置相对应的周围图像(地理图像信息)和AR信息中的至少一个(S630)。

这里，终端B可以从某个服务器接收与终端A的位置信息或者终端B任意设定的位置信息相对应的周围图像(地理图像信息)和AR信息。

或者，终端B可以从某个服务器接收与终端A的位置信息或者终端B的方向信息相对应的周围图像(地理图像信息)和AR信息。在该情况中，终端B的方向信息可以是根据终端B的用户输入来对终端B的实际方向进行相应的校正而获得的结果。

当终端B未设定路标位置(S640)时，如上文所述，终端B向终端A提供从终端A的位置到目的地的路线引导(S680)。

当终端B设定了路标位置时，终端B可以向终端A传送终端B的用户所选择的路标位置或者一路标建筑物的位置信息(S650)，并且从终端A接收指示终端A接近或到达该路标位置的通知或消息(S670)。在该情况中，终端B可以预先设定从该路标位置到目的地的路线引导(S660)，并且当终端B从终端A接收到指示终端A接近或到达该路标位置的消息时，终端B可以向终端A提供预设的路线引导(S680)。

在本发明的实施例中，上述方法可以被实现为程序记录介质中的可由计算机读取的代码。计算机可读介质包括其中存储有计算机系统读取的数据的各种类型的记录设备。计算机可读介质可以包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等。计算机可读介质还包括以载波或信号形式(例如，经由因特网的传输)的实现方案。

在不偏离本发明特性的情况下可以以若干形式实施本发明，应当理解，除非另外说明，否则上述实施例不受前面的描述的任何细节的限制，而是应在所附权利要求所限定的其范围中进行广泛的解释，并且因此落入权利要求的范围或者其等同范围内的所有改变和修改应涵盖在所附权利要求内。

Claims (7)

1.一种向移动终端提供路线引导信息的方法，包括：

由第一移动终端生成所述第一移动终端的位置信息；

由第二移动终端生成所述第二移动终端的方向信息；

由所述第二移动终端接收所述第一移动终端的位置信息；

将信息由所述第二移动终端传送到远程设备，所述信息包括位置信息和方向信息中的至少一个；

由所述第二移动终端从所述远程设备接收所述第一移动终端的周围图像和增强现实信息，所述周围图像和增强现实信息对应于所述第一移动终端的位置信息；

由所述第二移动终端从所述周围图像选择路标位置；

由所述第二移动终端将所述路标位置传送到所述第一移动终端；

由所述第一移动终端传送指示所述第一移动终端靠近所述路标位置的通知消息；

从所述第二移动终端提供周围图像，所述周围图像包括在增强现实信息上合成的路线引导信息。

2.根据权利要求1所述的方法，其中，所述路线引导信息是语音信息、消息、备忘录、符号、图表和图像中的一个。

3.根据权利要求1所述的方法，其中，从所述第二移动终端向所述第一移动终端传送路线引导信息的步骤包括传送接收到的增强现实信息。

4.一种向移动终端提供路线引导信息的装置，包括：

无线收发器；

显示器；

导航设备；

照相机，所述照相机被配置为拍摄图像数据；以及

控制器，可操作地连接到所述无线收发器和所述导航单元，所述控制器被配置为：

由第一移动终端生成所述第一移动终端的位置信息；

由第二移动终端生成所述第二移动终端的方向信息；

由所述第二移动终端接收所述第一移动终端的位置信息；

将信息由所述第二移动终端传送到远程设备，所述信息包括位置信息和方向信息中的至少一个；

由所述第二移动终端从所述远程设备接收所述第一移动终端的周围图像和增强现实信息，所述周围图像和增强现实信息对应于所述第一移动终端的位置信息；

由所述第二移动终端从所述周围图像选择路标位置；

由所述第二移动终端将所述路标位置传送到所述第一移动终端；

由所述第一移动终端传送指示所述第一移动终端靠近所述路标位置的通知消息；

从所述第二移动终端提供周围图像，所述周围图像包括在增强现实信息上合成的路线引导信息。

5.根据权利要求4所述的装置，其中，所述路线引导信息是语音信息、消息、备忘录、符号、图表和图像中的一个。

6.根据权利要求4所述的装置，其中，所述控制器被配置为从所述远程设备接收对应于所述增强现实信息的图像。

7.一种用于向移动终端提供路线引导信息的系统，包括：

第一移动终端；

第二移动终端；以及

服务器；

其中，所述第一移动终端包括照相机、第一无线收发器、第一显示器、第一导航设备以及第一控制器，并且所述第一控制器可操作地连接到所述第一无线收发器、所述第一显示器和所述第一导航单元，所述第一控制器被配置为：

由第一移动终端生成所述第一移动终端的位置信息；

由第二移动终端生成所述第二移动终端的方向信息；

由所述第二移动终端接收所述第一移动终端的位置信息；

将信息由所述第二移动终端传送到远程设备，所述信息包括位置信息和方向信息中的至少一个；

由所述第二移动终端从所述远程设备接收所述第一移动终端的周围图像和增强现实信息，所述周围图像和增强现实信息对应于所述第一移动终端的位置信息；

由所述第二移动终端从所述周围图像选择路标位置；

由所述第二移动终端将所述路标位置传送到所述第一移动终端；

由所述第一移动终端传送指示所述第一移动终端靠近所述路标位置的通知消息；

从所述第二移动终端提供周围图像，所述周围图像包括在增强现实信息上合成的路线引导信息。