CN103069370A - 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品 - Google Patents

用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品 Download PDF

Info

Publication number
CN103069370A
CN103069370A CN2011800415428A CN201180041542A CN103069370A CN 103069370 A CN103069370 A CN 103069370A CN 2011800415428 A CN2011800415428 A CN 2011800415428A CN 201180041542 A CN201180041542 A CN 201180041542A CN 103069370 A CN103069370 A CN 103069370A
Authority
CN
China
Prior art keywords
information
level
virtual
information level
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800415428A
Other languages
English (en)
Other versions
CN103069370B (zh
Inventor
J·桑德伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103069370A publication Critical patent/CN103069370A/zh
Application granted granted Critical
Publication of CN103069370B publication Critical patent/CN103069370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client

Abstract

一种用于在增强现实中自动地建议信息层的装置可以包括处理器和存储可执行计算机程序代码的存储器,计算机程序代码使得所述装置至少执行包括提供涉及对应于指示装置的当前位置的信息的虚拟信息的信息层的操作。计算机程序代码可以进一步促使所述装置确定信息层被激活以提供用于显示的虚拟信息。所述虚拟信息对应于当前位置中或者邻近当前位置的真实世界对象的位置。计算机程序代码可以进一步促使所述装置基于用于激活的层的虚拟信息项的数目低于阈值,确定与用于当前位置的内容相关联的其它信息层,并自动地建议信息的一个或多个其它层以用于选择。还提供了对应的方法和计算机程序产品。

Description

用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品
技术领域
本发明的实施例一般涉及用户接口技术,并且更具体来说,涉及一种用于在增强现实环境中自动地生成一个或多个建议的信息层的方法、装置和计算机程序产品。
背景技术
现代通信时代带来了有线和无线网络的急剧扩张。计算机网络、电视网络、和电话网络正在经历由客户需求激起的空前技术扩张。无线和移动网络技术已经解决了相关客户需求,且提供了信息传递的更多灵活性和即时性。
当前和未来的网络技术持续促进信息传递的便利和用户的舒适性。由于现在电子通信设备无所不在的特性,所有年龄段和教育级别的人都在使用电子设备来与其它个体或联系人通信、接收服务和/或共享信息、媒体和其它内容。其中需要增加信息传递的便利性的一个领域涉及向移动终端的用户递送服务。服务可以按照用户所期望的特定媒体或通信应用的形式,例如音乐播放器、游戏玩家、电子书、短消息、电子邮件、内容共享等。服务还可以按照交互式应用的形式,其中用户可对网络设备进行响应从而执行任务或实现目标。服务可以从网络服务器或其他网络设备提供,或甚至从诸如移动电话、移动电视、移动游戏系统等的移动终端提供。
在一些情况中,移动终端可以增强用户具有的与用户环境的交互。围绕使用移动终端的概念已经开发了大量的用例,以增强用户与他们的局部区域的交互,例如虚拟导游和其他混合现实应用。混合现实涉及真实和虚拟世界的融合。在一些情况中,混合现实涉及将真实世界图像数据与虚拟对象相混合,以产生物理和数字对象共存并且潜在地还实时交互的环境和可视化。混合现实包括:增强现实,其使用数字影像来增强或增加到真实世界影像,以及虚拟现实,其使用计算机仿真来对真实世界环境进行仿真。
增强现实是快速增长的区域,其当前可在许多移动平台(例如,SymbianTM,AndroidTM,iPhoneTM,Windows MobileTM)上可用。增强现实的概念是将图形或信息覆盖到来自通信设备中的相机的实况视频流或静止图像上。图形/信息可以是任何类型的。在增强现实中,关于其中的环境和对象的图形/信息可以存储和检索为真实世界视图之上的信息层。
增强现实的常规使用是将兴趣点(POI)覆盖到视频流或静止图像上。这些兴趣点可以是静态信息,例如陆标或者可以地理位置编码的任何信息(例如,包含坐标)。增强现实的用例的示例可以在图1中看到,其中由WikipediaTM提供的信息和由TwitterTM提供的推特(tweets)覆盖到通信设备的相机视图上。
例如,当消费者按下一个WikipediaTM图标时,可以向用户呈现关于与所选图标关联的条款的更多信息。作为示例,当消费者在新地点或者想要获得关于他们看见的事件的信息时,消费者可以使用增强现实。通过站在旅游胜地前面并且将相机指向该胜地,消费者可以得到关于该胜地的信息。
根据消费者对增强现实的研究,已变得明朗的是,对于消费者使用增强现实浏览器来说一个最重要的特征是消费者希望能够选择应该在设备的相机视图上示出的内容。
允许消费者能够选择应该在相机视图上示出的内容的一个问题是消费者可能激活不具有消费者的当前位置可用的任何信息的信息层。可能的情况是,由消费者激活的信息层具有用于消费者的正常环境的合适信息,并且当消费者到达另一位置时,例如在度假或工作期间,被激活的信息层可能不合适。例如,信息层可能不具有任何或者只有非常少量的消费者能看见的信息。
这样的方案可能将消费者置于其中增强现实浏览器不向消费者提供任何值的情况中,因为该浏览器可能仅是相机视图。这种方案的示例在图2中示出。在图2的示例中,消费者可能对图片感兴趣。这样,消费者可激活通信设备上的信息层,该信息层向增强现实应用提供可在通信设备的相机视图上示出的图片。在图2的示例中,消费者已经由通信设备激活flickr.com信息层。遗憾的是,在消费者的当前位置从flickr.com提供的图片/信息非常少。如图2所示,消费者仅能看见与从相机视图中的flickr.com提供的信息(例如,图片)关联的一个图标3。
目前,通过允许消费者使用通信设备在由增强现实应用提供的已知信息层之间手动地选择,已经典型地解决了上述与消费者激活不具有消费者的当前位置可用的任何信息的信息层相关联的问题。关于这一点,消费者通常不得不通过激活信息层经历试验阶段,然后检查以确定该信息层是否具有用于消费者的当前位置的任何信息。如果该信息层不具有用于消费者的当前位置的任何信息,则消费者通常不得不尝试另一信息层,如此等等,直到增强现实浏览器能够提供消费者想要的信息水平。
该过程对消费者来说是冗长乏味的,并且如果存在消费者的位置可用的许多信息层还可能是耗时的。在可能出现缺乏由激活的信息层提供的信息的问题的情况下,消费者尽可能快地(不花费10或30分钟尝试找到有用的信息)得到相关信息可能是最重要的。这样,反复试验方法对消费者来说可能是繁重的,并且可能引起消费者不满。
鉴于上述缺陷,可能期望提供一种替代机制,以通过该机制来向通信设备的用户提供信息层。
发明内容
因此,提供一种用于在增强现实中自动地生成一个或多个建议的信息层的方法,装置和计算机程序产品。信息层可以是由内容或服务提供商提供的包括地理位置数据以及其它数据的信息项。地理位置数据可用于在显示器上提供对应的信息项(例如,虚拟信息)。关于这一点,信息项可覆盖在当前显示的真实世界对象上。
例如,示例实施例可确定用户激活的信息层是否提供用于通信设备的当前位置或由通信设备当前显示的真实世界对象的位置的信息。如果用于激活的信息层的信息低于预定阈值,则示例实施例可自动地生成一个或多个具有可由用户选择的用于该位置的信息的一个或多个信息层。由此,示例实施例可向用户呈现具有或者与当前位置中的信息关联的建议的或可选的层的列表。用于该位置的信息可以是可以覆盖在当前显示的对应的真实世界对象上的虚拟信息(例如,诸如图形元素的虚拟对象)项。在选择了任一建议的信息层的基础上,对应于所选信息层的信息可提供并显示在显示器上。这样,示例实施例可提供用于将增强现实或虚拟信息提供给设备以由用户进行选择的有效机制,以便用户不必使用反复试验过程来识别用于当前位置的相关信息。
呈现给设备的由用户选择的建议的信息层可涉及与激活的信息层同一类别的信息。由此,示例实施例可自动地建议提供与激活的信息层的信息同一类型的信息(例如,图像,视频数据)的信息层以用于选择。通过使用本发明的示例实施例,用户不具有任何可用于当前位置的信息或者具有非常少的可用于当前位置的信息的问题可得到缓解。由于用户可选择一个或多个建议的信息层以查看对应的信息,示例实施例允许用户控制应呈现什么信息以用于显示。
在一个示例性实施例中,提供了一种自动地建议增强现实中的信息层的方法。该方法可包括促进多个信息层的提供。所述信息层可部分地涉及对应于指示装置的当前位置的信息的一个或多个虚拟信息项。该方法可进一步包括确定至少一个所述信息层被激活以提供用于显示的一个或多个虚拟信息项。所述虚拟信息项可对应于当前位置中或者邻近当前位置的真实世界对象的位置。该方法可进一步包括基于用于激活的信息层的虚拟信息项的数目低于预定阈值的确定,确定一个或多个其它信息层是否与用于当前位置的内容相关联。该方法可进一步包括自动地建议信息的一个或多个其它层以用于选择。
在另一示例性实施例中,提供了一种用于自动地建议增强现实中的信息层的装置。该装置可包括处理器和包括计算机程序代码的存储器,所述存储器和计算机程序代码被配置为,使用处理器促使所述装置至少执行包括促进多个信息层的提供的操作。所述信息层可部分地涉及对应于指示装置的当前位置的信息的一个或多个虚拟信息项。计算机程序代码可进一步使得装置确定至少一个所述信息层被激活以提供用于显示的一个或多个虚拟信息项。所述虚拟信息项可对应于当前位置中或者邻近当前位置的真实世界对象的位置。计算机程序代码可进一步使得装置基于用于激活的信息层的虚拟信息项的数目低于预定阈值的确定,确定一个或多个其它信息层是否与用于当前位置的内容相关联。计算机程序代码可进一步使得装置自动地建议信息的一个或多个其它层以用于选择。
在另一示例性实施例中,提供了一种用于自动地建议增强现实中的信息层的计算机程序产品。该计算机程序产品包括至少一个计算机可读存储介质,所述计算机可读存储介质具有在其中存储的计算机可执行程序代码部分。所述计算机可执行程序代码部分可包括用于促进多个信息层的提供的程序代码指令。所述信息层可部分地涉及对应于指示装置的当前位置的信息的一个或多个虚拟信息项。程序代码指令还可以确定至少一个所述信息层被激活以提供用于显示的一个或多个虚拟信息项。所述虚拟信息项对应于当前位置中或者邻近当前位置的真实世界对象的位置。程序代码指令还可以基于用于激活的信息层的虚拟信息项的数目低于预定阈值的确定而确定一个或多个其它信息层是否与用于当前位置的内容相关联。程序代码指令还可以自动地建议信息的一个或多个其它层以用于选择。
本发明的实施例可提供更好的用户体验,因为用户可能能够关注可覆盖在真实世界对象上的虚拟信息,而不是花时间猜测哪个层可能具有设备的当前位置中的一些虚拟信息。结果,用户可享受关于经由设备可访问的应用和服务的改进的性能。
附图说明
已概括地描述了本发明的一些实施例,现在将参照附图,其中附图的绘制无需按比例进行,并且其中:
图1是提供设备的相机视图中的不同信息的增强现实浏览器的示意图;
图2是为设备的相机视图中的给定信息层提供很少信息的增强现实浏览器的示意图;
图3是根据本发明示例性实施例的系统的示意性框图;
图4是根据本发明示例性实施例的用于自动地生成增强现实中的一个或多个建议的信息层的装置的示意性框图;
图5是图示根据本发明示例性实施例的自动地提供设备的相机视图中建议的信息层的示例的示意图;
图6是根据本发明的示例性实施例图示响应于对设备的相机视图中建议的信息层的选择的信息的示例的示意图;
图7是根据示例性实施例的系统的示意性框图;
图8是根据本发明示例性实施例的网络实体的示意性框图;以及
图9图示了根据本发明示例性实施例的自动地生成增强现实中一个或多个建议的信息层的流程图。
具体实施方式
现在,将参照附图在后面更加全面地描述本发明的一些实施例,其中示出了本发明的一些但非全部实施例。实际上,本发明的各种实施例可以在多种不同的形式中实现,并且不应被解释成限于在此陈述的实施例。通篇中,相同的参考数字指代相同的元件。根据本发明的示例实施例,可以互换地使用此处使用的术语“数据”、“内容”、“信息”和类似术语,以指代能够被传送、接收和/或存储的数据。此外,此处使用的术语“示例性”不用于传达任何定性评价,而是仅传达示例的说明。因此,任何此类术语的使用不应被认为限制本发明实施例的精神与范围。
此外,如这里所使用的,术语‘电路’指代(a)仅硬件的电路实现方式(例如在模拟电路和/或数字电路中的实现方式);(b)电路和计算机程序产品的组合,该计算机程序产品包括存储于一个或者多个计算机可读存储器上的软件和/或固件指令,这些指令一起工作以使装置执行这里描述的一个或者多个功能;以及(c)电路(例如微处理器或者微处理器的一部分),即使软件或者固件在物理上不存在,这些电路仍然需要用于操作的软件或者固件。将‘电路’的这种定义应用于这里对这一术语的所有使用(包括在任何权利要求中的使用)。作为进一步的示例,如这里所用的,术语‘电路’也包括实现方式,所述实现方式包括一个或者多个处理器和/或处理器的一部分以及附带的软件和/或固件。作为另一示例,如这里所用的,术语‘电路’也包括例如用于移动电话的基带集成电路或者应用处理器集成电路或者在服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似集成电路。
如这里定义的指代非暂时性的物理或有形存储介质(例如,易失性或非易失性存储器设备)的“计算机可读存储介质”可以区别于指代电磁信号的“计算机可读传输介质”。
同样,这里使用的“层”、“信息层”或“信息的层”可以是可以在显示器上示出的信息的层。信息的层可以由一个或多个内容提供商提供,并且可以对应于虚拟信息(例如,虚拟对象)项。这样,信息的层可以但是不必是其中每个图形元素指示信息的虚拟对象(例如,诸如图标、象形文字等的图形元素)的层。信息层的信息可以与诸如地理坐标(例如,经度、纬度、海拔坐标)的位置信息和任何其它合适的数据相关联。例如,虚拟信息项可以涉及对指示设备的当前位置或者正由设备当前示出的真实世界对象的当前位置的位置信息的接收。在一个实施例中,信息的层可以是以一起显示为某覆盖物的一部分的方式关联的信息。不同的层可以由不同的内容提供商提供和/或可对应于不同的虚拟对象。
为了说明书并非限制的目的,信息的层可以是与由内容提供商(例如,WikipediaTM网站)提供的信息(例如,WikipediaTM条款)关联的图标(例如,WikipediaTM图标)层。
此外,此处使用的术语相机视角或相机视场可指代可以在显示器上示出的关于相机的角度。此处使用的术语“信息点”、“兴趣点”(POI)、“增强现实(AR)信息项”、“AR信息”、“虚拟信息”、“虚拟信息项”和类似术语可以可替换地用于指代在包含一些信息(例如,文本、音频数据、诸如图像、图片的媒体内容、视频数据等)或者与这些信息关联的空间(例如,诸如经度、纬度、海拔坐标的地理坐标)中的点。信息点、POI、AR信息项、AR信息、虚拟信息或者虚拟信息项可以通过虚拟对象(例如,诸如图标、象形文字等的图形元素)标记在显示器上。
图3图示了其中在示例性通信环境中示出诸如移动终端10的设备的通用系统示意图。如图3所示,根据本发明的示例实施例的系统的实施例可以包括能够经由网络30彼此通信的第一通信设备(例如,移动终端10)和第二通信设备20。在本发明的一个实施例中,可进一步包括一个或多个附加通信设备,其中的一个在图3中描述为第三通信设备25。在一个实施例中,不是所有采用本发明的实施例的系统都可以包括此处图示和/或记载的所有设备。尽管可以为了示例的目的图示并在下面记载移动终端10和/或第二和第三通信设备20和25的实施例,但是其它类型的终端(诸如,便携式数字助理(PDA)、寻呼机、移动电视、移动电话、游戏设备、膝上型计算机、照相机、录像机、音频/视频播放器、收音机、全球定位系统(GPS)设备、蓝牙耳机、通用串行总线(USB)设备或前述的任一组合)以及其它类型的语音和文本通信系统也可以容易地采用本发明的实施例。此外,非移动的设备,诸如服务器和个人计算机也可以容易地采用本发明的实施例。
网络30可以包括可以经由对应的有线和/或无线接口彼此通信的各种不同的节点(第二和第三通信设备20和25可以为其示例)、设备或功能的集合。这样,图3的图示应理解为系统的某些元件的宽泛视图的示例,而不是系统或网络30的包罗万象或详细视图的示例。尽管非必须,但是在一个实施例中,网络30可能够支持根据多个第一代(1G)、第二代(2G)、2.5G、第三代(3G)、3.5G、3.9G、第四代(4G)移动通信协议、长期演进(LTE)等中的任何一个或多个的通信。在一个实施例中,网络30可以是点对点(P2P)网络。
诸如移动终端10和第二和第三通信设备20和25的一个或多个通信终端可以经由网络30彼此通信,并且每个可以包括用于向基础站点传送信息并从基础站点接收信息的天线或多个天线,基础站点例如可以是作为一个或多个蜂窝或移动网络的一部分的基站或可耦合至如下数据网络的接入点,其中数据网络例如,局域网(LAN)、城域网(MAN)、和/或广域网(WAN),例如因特网。相应地,例如处理元件(如个人计算机、服务器计算机等)的其他设备可经由网络30与移动终端10和第二及第三通信设备20和25耦合。通过将移动终端10和第二及第三通信设备20和25(和/或其它设备)直接或间接地连接到网络30,可以使得移动终端10和第二及第三通信设备20和25能够例如根据包括超文本传输协议(HTTP)等的多种通信协议与其它设备或者彼此通信,从而分别执行移动终端10和第二及第三通信设备20和25的各种通信或其它功能。
此外,尽管图3中未示出,移动终端10和第二及第三通信设备20和25可以根据例如射频(RF)、近场通信(NFC)、蓝牙(BT)、红外(IR)或多种不同的有线或无线通信技术(包括局域网(LAN)、无线LAN(WLAN)、全球微波互连接入(WiMAX)、无线保真(WiFi)、超宽带(UWB))、Wibree技术等中任何一种来通信。这样,可以使得移动终端10和第二及第三通信设备20和25能够通过多种不同的接入机制中的任一种与网络30或者彼此通信。例如,可以支持诸如宽带码分多址(W-CDMA)、CDMA2000、全球移动通信系统(GSM)、通用分组无线业务(GPRS)等的移动接入机制,以及诸如WLAN、WiMAX等的无线接入机制,和诸如数字订户线路(DSL)、电缆调制解调器、以太网等的固定接入机制。
示例实施例中,第一通信设备(例如,移动终端10)可以是移动通信设备,例如无线电话,或诸如个人数字助理(PDA)、移动计算设备、照相机、录像机、音频/视频播放器、定位设备、游戏设备、电视设备、无线电设备、或各种其他类似设备或其组合的其他设备。第二通信设备20和第三通信设备25可以是移动或固定通信设备。然而,在一个示例中,第二通信设备20和第三通信设备25可以是服务器、远程计算机或终端,诸如个人计算机(PC)或膝上型计算机。
在示例实施例中,网络30可以是布置为智能空间的自组织或分布式网络。因此,设备可以进入和/或离开网络30,并且网络30的设备可能够基于其它设备的进入和/或退出来调节操作,以说明(account for)各个设备或节点及其对应的性能的添加或删减。在示例实施例中,与网络30通信的设备中的一个或多个可采用层建议模块(例如,图4的层建议模块78)。层建议模块可生成可呈现给设备(例如,移动终端10)的显示器(例如,图4的显示器85)的一个或多个建议的信息层。建议的信息层可与对应于设备的当前位置的信息(例如,地理编码的数据)关联。在示例实施例中,建议的信息层可以但是不必由层建议模块呈现为显示器的相机视图上的虚拟对象(例如,图标)。在选择了虚拟对象中的一个或多个的基础上,与虚拟对象关联的信息可提供并示出在显示器上。
在示例实施例中,移动终端10和第二及第三通信设备20和25可配置成包括层建议模块。然而,在替代实施例中,移动终端10可包括层建议模块,并且第二及第三通信设备20和25可以是配置成彼此通信和/或与移动终端10通信的诸如服务器等的网络实体。例如,在示例实施例中,第二通信设备20可以是与特定信息源或服务(例如,局部增强现实服务、测绘服务、搜索服务、媒体供应服务等)关联的专用服务器(或服务器库),或者第二通信设备20可以是与一个或多个其它功能或服务关联的后端服务器。这样,第二通信设备20可以表示用于多个不同服务或信息源的潜在主机。在一个实施例中,由配置成根据用于将信息提供给通信设备的用户的已知技术操作的硬件和/或软件组件提供第二通信设备20的功能性。然而,第二通信设备20提供的至少一些功能性是根据本发明的示例实施例提供的信息。
在示例实施例中,第二通信设备20可以托管用于提供局部增强现实服务的装置和/或可以托管向实践本发明的实施例的设备(例如,移动终端10)提供信息(例如,全景图像)的供应服务。局部增强现实服务可提供关于显示在设备(例如,移动终端10)的相机视图中的环境和该环境中的真实世界对象的虚拟信息的项。
第三通信设备25还可以是提供多种功能或与各种信息源和服务(例如,局部虚拟/增强现实服务、测绘服务、搜索服务、媒体供应服务等)的关联的服务器。在这点上,第三通信设备25可托管用于向第二通信设备20提供虚拟/增强现实信息的装置,以使得第二通信设备能够向实践本发明的实施例的设备(移动终端10)提供虚拟/增强现实信息。第三通信设备25向第二通信设备20提供的虚拟/增强现实信息可提供关于显示在设备(例如,移动终端10)的相机视图中的环境和该环境中的对象的信息。
这样,在一个实施例中,移动终端10可以自身执行示例实施例。在另一实施例中,第二和第三通信设备20和25可促进(例如,通过提供增强现实信息)示例实施例在另一设备(例如,移动终端10)处的操作。在再一示例实施例中,可能根本不包括第二通信设备20和第三通信设备25。
图4图示了根据本发明的示例实施例用于自动地生成一个或多个建议的信息层的装置的示意性框图。现在将参考图4描述本发明的示例实施例,其中显示了装置50的某些元件。例如可在移动终端10(和/或第二通信设备20或第三通信设备25)上采用图4的装置50。作为选择,装置50可以体现在网络30的网络设备上。然而,装置可以作为选择在多种其它设备,移动和固定的设备(例如,上述列举的任一设备)处体现。在一些情况中,可在设备的组合上采用实施例。相应地,可以通过多个分布式中的设备(例如,在P2P网络中的一个或多个设备上)或通过客户端/服务器关系中的设备在单个设备(例如,移动终端10)处完整地体现本发明的实施例。此外,应注意,下面描述的设备或元件可以不是强制性的,因此在特定的实施例中可以省略掉一些。
现在参考图4,装置50可包括处理器70,用户接口67,通信接口74、存储器设备76、显示器85、定向模块71、层建议模块78、定位传感器72和相机模块36,或者与处理器70,用户接口67,通信接口74、存储器设备76、显示器85、定向模块71、层建议模块78、定位传感器72和相机模块36进行通信。存储器设备76可以包括,例如,易失性和/或非易失性存储器。例如,存储器设备76可以是包括门的电子存储设备(例如计算机可读存储介质),其中门被配置为存储可由机器(例如,类似于处理器70的计算设备)获取的数据(例如比特)。在示例实施例中,存储器设备76可以是不为暂态的有形存储器设备。存储器设备76可被配置为存储信息、数据、文件、应用、指令或类似物,用于使得装置能够根据本发明的示例实施例执行多种功能。例如,存储器设备76可以被配置为缓冲处理器70所要处理的输入数据。附加地或可替换地,存储器设备76可以被配置为存储由处理器70执行的指令。作为再一替代,存储器设备76可以是存储信息和/或媒体内容(例如,图片、视频等)的多个数据库之一。
存储器设备76可存储可与位置信息关联的地理编码的信息,其中位置信息对应于诸如真实世界对象的经度、纬度和/或海拔坐标的坐标。地理编码的信息可以通过处理器70和/或层建议模块78评估,并且与地理编码的信息关联的数据可以提供给显示器的相机视图。在示例实施例中,响应于确定显示器的相机视图上示出的真实世界对象的位置对应于地理编码的信息的位置信息,处理器70和/或层建议模块78可以将与地理编码的信息关联的信息提供给显示器的相机视图。
处理器70可以按多种不同的方式体现。例如,处理器70可以体现为各种处理部件中的一个或多个,例如协处理器,微处理器,控制器,数字信号处理器(DSP),具有或者没有附带的DSP的处理电路,或包括集成电路的各种其他处理设备,所述集成电路例如是ASIC(专用集成电路),FPGA(现场可编程门阵列),微控制器单元(MCU),硬件加速器,专用计算机芯片等。在示例实施例中,处理器70可以被配置为执行存储在存储器设备76中的指令或处理器70可访问的指令。这样,无论是由硬件或软件方法,或其组合来配置,处理器70可以代表当被相应地配置时能够执行根据本发明实施例的操作的实体(例如在电路中物理地体现的)。因此,例如,当处理器70体现为ASIC,FPGA等时,处理器70可以为用于执行这里介绍的操作的特定地配置的硬件。可替换地,作为另一实例,当处理器70体现为软件指令的执行器时,该指令可具体地配置所述处理器70,使得处理器70在指令被执行时执行这里所述的算法和操作。然而,在一些情况下,处理器70可以是适于通过用于执行此处介绍的算法和操作的指令对处理器70的进一步配置来使用本发明的实施例的特定设备(例如移动终端或网络设备)的处理器。处理器70可以包括尤其是被配置为支持处理器70的操作的时钟,算术逻辑单元(ALU)和逻辑门。
在示例实施例中,处理器70可以配置成操作连通性程序,诸如浏览器、增强现实(AR)浏览器、web浏览器等。在这点上,连通性程序可例如根据无线应用协议(WAP)使得装置50能够传送和接收Web内容,诸如基于位置的内容或其他合适的内容。应指出的是,AR浏览器可以是在具有信息(例如,通过提供关于周围的真实世界对象的数据以某一方式添加、增强或改变的一个或多个信息层)的物理真实世界环境的视图中促进对象的导航的用户接口。信息层可以但是不必看作在真实世界视图之上。AR浏览器可以被处理器70利用以促进一个或多个增强现实应用的执行。应指出的是,处理器70还可以与显示器85通信,并且可以指示显示器图示任何合适的信息、数据、内容(例如,媒体内容)等。
同时,通信接口74可以是任何部件,例如体现在硬件、计算机程序产品、或硬件和软件的组合中的电路或设备,其被配置为从网络和/或任何其他与装置50通信的设备或模块接收数据,和/或将数据传送到网络和/或任何其他与装置50通信的设备或模块。这样,通信接口74可以包括,例如,天线(或多天线)以及使得能够与无线通信网络(例如,网络30)进行通信的支持硬件和/或软件。在固定环境中,通信接口74可以可替换地或还支持有线通信。同样的,通信接口74可以包括通信调制解调器和/或用于支持通过线缆,数字订户线(DSL),通用串行总线(USB)、以太网或其他机制的通信的其他硬件/软件。
用户接口67可以与处理器70进行通信以在用户接口67处接收用户输入的指示和/或提供听觉的,视觉的,机械的或其他输出给用户。同样的,用户接口67可以包括,例如,键盘,鼠标,操纵杆,显示器,触摸屏,麦克风,扬声器或其他输入/输出结构。在装置体现为服务器或一些其他网络设备的示例实施例中,用户接口67可以被限制、位于远端或省去。处理器70可以包括被配置为控制用户接口的一个或多个元件的至少一些功能的用户接口电路,用户接口例如是,扬声器,振铃器,麦克风,显示器和/或类似物。处理器70和/或包括处理器70的用户接口电路可以被配置为通过存储在处理器70可访问的存储器(例如存储器设备76和/或类似物)上的计算机程序指令(例如软件和/或固件)来控制用户接口的一个或多个元件的一个或多个功能。
装置50包括媒体捕获元件,诸如相机模块36。相机模块36可包括与处理器70和显示器85通信的照相机、视频和/或音频模块。相机模块36可以是用于捕获图像、视频和/或音频以用于存储、显示或传输的任何部件。例如,相机模块36可以包括能够从捕获的图像形成数字图像文件的数码相机。这样,相机模块36包括所有的硬件(例如透镜或其它光学组件)和用于从捕获的图像创建数字图像文件必须的软件。可选地,相机模块36可以包括仅浏览图像所需的硬件,而装置50的存储器设备(例如,存储器设备76)以从捕获的图像创建数字图像文件必须的软件的形式存储用于处理器70的执行的指令。在示例性实施例中,相机模块36可以进一步包括在处理图像数据中协助处理器70的处理元件(例如协处理器)以及用于压缩和/或解压图像数据的编码器和/或解码器。编码器和/或解码器可以根据联合图像专家组(JPEG)标准格式或另一类似的格式编码和/或解码。在一些情况下,相机模块36可以将实况图像数据提供给显示器85。由此,相机模块36可以促进或者提供相机视图给显示器85以示出实况图像数据、静止图像数据、视频数据或任何其它合适的数据。此外,在示例实施例中,显示器85可以位于装置50的一侧,相机模块36可以包括位于装置50的关于显示器85的相对侧的透镜,以使得相机模块36能够在装置50的一侧捕获图像并且将这些图像的视图呈现给位于装置50的另一侧上的用户。
此外,装置50可包括定位传感器72。定位传感器72可包括例如全球定位系统(GPS)传感器、辅助全球定位系统(辅助-GPS)传感器、蓝牙(BT)GPS鼠标、其它GPS或定位接收器等。然而,在一个示例实施例中,定位传感器72可以包括计步器或惯性传感器。由此,定位传感器72可能够确定装置50的位置,例如装置50的经度和纬度方向,或者相对于诸如目的地或出发点的参考点的位置。定位传感器72还可能能够确定装置50的海拔并使用该海拔信息来确定装置50的位置。然后来自定位传感器72的信息可传递给装置50的存储器或另一存储器设备,以存储为定位历史或位置信息。关于这一点,例如,定位历史可在各个时间定义对应于装置50的位置的一系列数据点。也可以与由定位传感器72提供的定位历史或位置信息相关联地记录装置50的各种事件或活动。
在示例实施例中,装置50可以进一步包括定向模块71(或与定向模块71进行通信)。定向模块71可以是任意部件,例如在硬件或硬件和软件的组合中实现的设备或电路,其被配置为确定装置50的方向和/或装置50的相机模块36的视场。定向模块71可以与层建议模块78通信。
可将定向模块71配置为确定装置50相对于基准的方向。在一些情况中,基准可以是特定的方向,例如北或另一基本方向。然而,还可以使用其它基准。这样,在一个实施例中,定向模块71可包括指南针或其它方向传感器,其被配置为确定相机模块36的透镜指向的方向或装置50的指向。可根据从基准偏移的度数(例如,0到360度)来确定方向和指向。在一些情况中,基准可以是固定的(例如,固定的方向基准),而在其它情况中,基准可以是机会性基准,例如在相机模块所捕获的图像中的突出特征或简单地是初始方向。在一个实施例中,定向模块71可包括电子指南针、水平传感器、重力传感器、加速计、陀螺仪、磁力计等或可用于确定方向信息的任意其它传感器。
在示例实施例中,处理器70可以体现为包括或者控制层建议模块78。这样,在一个实施例中,可认为处理器70促使、引导或者控制归因于层建议模块78的各种功能的执行或发生,如这里所描述的。层建议模块78可以是根据软件进行操作、或体现在硬件或软件和硬件的组合(例如在软件控制下操作的处理器70,体现为被具体地配置以执行这里所述的操作的ASIC或FPGA的处理器70,或其组合)中的诸如设备或电路的部件,由此配置所述设备或电路以执行此处描述的层建议模块的相应功能。这样,在使用软件的实例中,执行软件的设备或电路(例如一个示例中的处理器70)形成与这些部件相关的结构。
在示例实施例中,层建议模块78可配置成(例如,从定位传感器72)接收指示装置50的当前位置(或定位)的位置信息或指示当前被装置50示出的真实世界对象的当前位置(或定位)的位置信息。层建议模块78还可配置成(例如,从定向模块71)接收指示装置50关于当前位置的方向的方向信息。换句话说,层建议模块78还可以接收指示或描述移动终端10(相对于基准)的方向的方向信息,从而可基于该当前位置和方向信息确定装置50可期望在当前位置处具有的视场。然后层建议模块78可以从AR储存库84检索(或请求)与当前位置和方向信息两者相关的增强/虚拟现实信息(这里也称为AR信息)。如在此处所使用的,AR信息(此处也可替换地称为虚拟信息)可以包括但不限于对应于真实世界对象(例如,建筑物、陆标等)的位置信息(例如,经度、纬度和/或海拔坐标)的地理编码的信息,并且可以包括一个或多个信息层。真实世界对象可以与相机模块36的相机视图或显示器85中示出的装置50的当前位置中的对象相关联。信息层可以与一个或多个虚拟对象(例如,图标、象形文字、图像等)相关联。信息层还可以对应于可以但是不必由一个或多个内容提供商(例如,诸如WikipediaTM、TwitterTM、YouTubeTM,PicasaTM等的服务提供商)提供的信息、内容、数据等。
在示例实施例中,AR储存库84可以是存储器设备76的一部分或者可以是外部存储器或数据库,其包括多个AR信息。可替换地,AR储存库84可以与层建议模块78并置排列。
应指出的是,AR储存库84可以存储与一个或多个信息层关联的信息、AR信息(例如,AR信息项)以及任何其它合适的数据。AR信息可以但是不必包括包含或者与诸如文本、音频、图像、图片、照片、视频数据等的数据关联的地理编码的信息。地理编码的信息可包括对应于诸如经度、纬度和/或海拔坐标的位置信息的地理坐标。在示例实施例中,存储在AR储存库84中的图像可以是与特定位置和方向关联的全景图像。
在一个实施例中,在接收到位置信息和方向信息之后,层建议模块78可从AR储存库84选择AR信息。然而,在一个其它实施例中,或许在已知方向信息之前或在请求特定AR信息之前,可基于位置信息来预先取回一些图像。可从远程源接收预先取回的AR信息并且在本地进行存储,使得当由于在搜索操作期间可能需要处理更小的AR信息集合而是时候检索AR信息时,当搜索特定AR信息以将当前位置与方向信息进行匹配时,可以降低计算资源消耗。
示例实施例的层建议模块78可使用(定位传感器72提供的)位置信息和/或(定向模块71提供的)方向信息自动地生成一个或多个建议的信息层(例如,虚拟对象(例如,对应于内容提供商的信息的图标))。建议的信息层可与对应于可在显示器85和/或相机模块36的相机视图中示出的装置50的环境中的真实世界对象的信息相关联。建议的信息层可以但是不必在列表中提供。建议的信息层可以是可由用户选择的图标的可选层。
在示例实施例中,当当前激活的信息层不提供用于显示的高于预定阈值(例如,30个AR信息项(例如,图标))的AR信息时,可由层建议模块78将建议的层提供给显示器85的相机视图以由用户进行选择。换句话说,当对应于当前激活的信息层(例如,用户已当前选择用于提供与WikipediaTM图标关联的虚拟对象的WikipediaTM信息层)的AR信息低于预定阈值时,层建议模块78可自动地提供建议的层给显示器85的相机视图以用于选择。另一方面,当用于当前激活的信息层的AR信息高于预定阈值时,层建议模块78可能不提供建议的层给显示器85的相机视图以用于选择,因为可为用户的满意度提供足够的AR信息。
在层建议模块78提供建议的信息层给显示器85的相机视图的情况下,装置50的用户可选择建议的信息层之一。响应于对建议的信息层(例如,内容提供商的虚拟对象)之一的选择,可将与所选信息层关联的信息提供给显示器85的相机视图并由显示器85的相机视图示出。应指出的是,当激活的信息层的AR信息低于预定阈值时,层建议模块78提供的建议的层的AR信息可对应于激活的信息层的同一类别(例如,图片或图像)的AR信息,如下面将更全面地介绍的。
现在将参考图5描述本发明的示例实施例。为了说明并非限制的目的,考虑这样的示例,其中装置50的用户将相机模块36指向真实世界环境以捕获可在显示器85的相机视图上示出的图像和/或实况视频。关于这一点,定位传感器72可向层建议模块提供位置信息(例如,经度、纬度和/或海拔坐标),并且定向模块71可基于在显示器85的相机视图中示出的装置或真实世界对象的当前位置向层建议模块78和/或处理器70提供方向信息(例如,定向信息)。
进一步假设装置50的用户使用用户接口67(例如,用户接口67的定点设备)来选择信息层以激活信息层。在该示例中,用户可能在将相机模块36指向真实世界环境之前已使用用户接口67激活对应的信息层。用户可能已从菜单、文件夹、按钮等选择提供给显示器85的信息层。在该示例实施例中,用户已选择并激活对应于flickr.com的信息层,其由内容提供商FlickrTM提供。内容提供商FlickrTM可提供地理标记的图像和/或视频服务。
当在显示器85的相机视图中示出的真实世界对象的位置信息对应于地理标记的图像或视频的位置信息时,该地理标记的图像或视频可与位置信息(例如,经度、纬度和/或海拔坐标)关联并可提供给显示器85的相机视图。换句话说,当在显示器85的相机视图中示出的真实世界对象的位置信息与Flickr提供的一个或多个地理标记的图像或视频的位置信息匹配或基本上相似时,该对应的地理标记的图像或视频也可以提供给显示器85。
基于对分别来自定位传感器72和定向模块71的位置信息和/或方向信息的接收,层建议模块78可访问AR储存库84以确定是否存在任何对应于显示器85的相机视图中示出的真实世界环境中的对象的用于激活的信息层(例如,flickr.com)的AR信息(例如,地理标记的图像和/或视频等)。在该示例实施例中,层建议模块78确定存在一个AR信息项,其位置信息涉及在显示器85的相机视图中示出的真实世界环境的位置信息。关于这一点,层建议模块78可提供涉及真实世界环境的位置信息的AR信息项5(例如,flickr.com提供的图标)给显示器85,以便其可以被示出。
由于显示器85上仅示出了一个AR信息项,层建议模块78可确定对应于激活的信息层的AR信息低于预定阈值(例如,30个AR信息项、40个AR信息项或任何合适的阈值)。这样,层建议模块78可自动地生成一个或多个建议的信息层以提供给显示85用于选择。关于这一点,层建议模块78可检查AR储存库84以确定是否存在涉及对应于显示器85的相机视图中示出的真实世界环境的位置信息的任何其它信息层的地理编码的AR信息。在示例实施例中,层建议模块可检查AR储存库84以获得涉及与由用户激活的信息层相同类别的信息层的AR信息。应指出的是,层建议模块78可通过分析与AR信息关联的数据的描述来对AR信息进行分类,该数据可由数据的提供商生成。在该示例中,用户激活诸如flickr.com的信息层,其可涉及增强现实中的一个或多个图像、图片或视频的提供。
这样,层建议模块78可生成与用户选择和激活的信息层的类别相同的类别的一个或多个建议的信息层。例如,层建议模块78可确定存在对应于显示器的相机视图中示出的真实世界环境的位置信息(例如,经度、纬度和/或海拔坐标)的地理编码的信息(例如,经度、纬度和/或海拔坐标),用于与诸如PicasaTM和YouTubeTM的内容提供商对应的信息层。关于这一点,层建议模块78可通过将PicasaTM信息层7和YouTubeTM信息层9提供给显示器85以由装置50的用户进行选择,自动地向用户建议信息层7和9,如图5所示。PicasaTM和YouTubeTM信息层7、9可涉及图像、图片、视频等的提供,这样,层建议模块78可确定PicasaTM信息层7和YouTubeTM信息层9的AR信息与同样涉及用于提供图像、图片、视频等的服务的FlickrTM信息层5为同一类别。
由层建议模块78提供给显示器85的建议的信息层7和9可以是诸如图标、象形文字或任何其它合适的图形元素的半透明虚拟对象。信息层7和9的虚拟对象可以半透明地显示,以指示建议的信息层7和9尚未激活,如图5所示。在示例实施例中,信息层7和9可在被装置50的用户选择时被激活。关于这一点,用户可使用用户接口67(例如,定点设备等)来选择在显示器85上示出的信息层7和9中的一个或多个。可替换地或者附加地,在显示器85可配置为触摸显示器或触摸屏的实施例中,用户可使用手指等来选择信息层7和9中的一个或多个。
在该示例中,用户可选择PicasaTM信息层7(例如,PicasaTM图标)来激活PicasaTM信息层7,并且确定与PicasaTM信息层关联的AR信息是否与用户有关或者用户是否感兴趣。装置50的用户可访问层建议模块78的用户设置以激活用于生成建议的信息层的特征。此外,用户可访问用户设置以去激活用于生成建议的信息层的特征。关于这一点,层建议模块78可以不建议由用户选择的信息层,即使当前激活的信息层(例如,FlickrTM信息层5)正提供很少或者不提供内容(例如,AR信息)。
现在参考图6,提供了与覆盖在真实世界对象上的建议的信息层的选择关联的图形元素的示例实施例。图6示出了用户选择了由关于图5的上述示例中的层建议模块78建议的PicasaTM信息层7。如图6所示,响应于对建议的信息层(例如,PicasaTM信息层)的选择,层建议模块78可向显示器85的相机视图提供对应的AR信息项11、15、17、19和21。在该示例中,提供给显示器85的相机视图的AR信息项11、15、17、19可以但是不必是与PicasaTM信息层7的选择关联的一个或多个虚拟对象(例如,诸如图标、象形文字等的图形元素)。如图6所示,层建议模块78可以响应于对PicasaTM信息层7的选择以不透明方式向显示器85的相机视图提供建议的PicasaTM信息层7。以不透明方式对所选PicasaTM信息层7的提供可指示PicasaTM信息层7是活动的。层建议模块78也可以将与PicasaTM信息层7关联的AR信息项提供给显示器85的相机视图,指示该信息项是活动的并且可以被选择以用于与AR信息项11、15、17、19和21关联的数据或内容的获取。
AR信息项11、15、17、19和21可由层建议模块78从诸如AR储存库84的存储器获取。关于这一点,层建议模块78可确定AR信息项11、15、17、19和21可对应于与地理编码的内容部分地关联的数据,该地理编码的内容对应于显示器85的相机视图中示出的真实世界环境的当前位置信息。例如,层建议模块78可确定AR信息项11、15、17、19和21具有与显示器85中示出的真实世界对象的坐标(例如,经度、纬度和/或海拔)相同或者接近的坐标(例如,经度、纬度和/或海拔)。
对AR信息项11、15、17、19和21中任一项的选择可激活或者触发层建议模块78提供与所选的信息项11、15、17、19和21关联的信息到显示器85的相机视图。AR信息项可由用户以上述方式经由用户接口(例如,用户接口67的定点设备)选择,或者在显示器85包括触摸显示器或触摸屏的实施例中通过使用手指等选择。
关于这一点,可将与AR信息项11、15、17、19和21中任一所选项关联的内容或数据(例如,关于显示器85中示出的真实世界对象的项)提供给显示器85的相机视图。在示例实施例中,与AR信息项11、15、17、19和21中任一所选项关联的内容可以但是不必叠加或者覆盖在显示器85的相机视图中示出的真实世界对象的视图的对应区域上。在替代示例实施例中,与信息项11、15、17、19和21中的所选项关联的内容可以在没有相机视图中示出的真实对象的视图的情况下单独示出在显示器85上。这在与所选AR信息项关联的数据太大以至于不能在其叠加在由相机模块36捕获的真实世界对象的实况图像/视频上的情况下观看时是有用的。
应指出的是,层建议模块78可操作在离线模式和在线模式。在离线模式中,装置50可能不具有与网络30的连接,在该连接中访问来自诸如网络设备(例如,服务器(例如,第二通信设备20))的远程源的AR信息。由此,层建议模块78可从AR储存库84获得与一个或多个建议的信息层关联的信息和对应的AR信息项。关于这一点,可在存储器设备76的AR储存库中预加载与建议的信息层关联的信息和AR信息项。此外,与建议的信息层关联的信息和AR信息项可由另一设备(例如,个人计算机)经由网络30下载,并且可以(例如,经由USB存储器设备)传送到装置50并存储在存储器设备76中。
在在线模式中,装置50可能能够经由网络30与一个或多个设备(例如,第二和第三通信设备20和25)通信并获得与可被建议给装置50的用户的一个或多个信息层关联的信息以及对应的AR信息项。例如,如图7所示,装置50可能能够与指定的网络设备108(例如,服务器(例如,第二通信设备20))通信,以接收与可被建议给用户的一个或多个信息层关联的信息和/或对应的AR信息项。由此,层建议模块78可向网络设备108发送查询,请求与一个或多个信息层关联的信息和对应的信息项。该查询可包括由定位传感器72提供的位置信息以识别装置50的当前位置或者在显示器85的相机视图中示出的真实世界对象的位置。
响应于查询的接收,网络设备108可分析其存储器之一(例如,图8的存储器96)以确定其是否具有与信息层(例如,由诸如WikipediaTM、TwitterTM、PicasaTM等的内容提供商提供的信息层)关联的任何信息和对应于由装置50的层建议模块78提供的位置信息的对应的AR信息。当网络设备108确定其具有关于信息层的信息和与位置信息关联的对应的AR信息时,网络设备108可将该信息发送给层建议模块78。然后,层建议模块78可利用接收的信息来自动地向显示器85的相机视图建议一个或多个信息层,并且在接收到对一个或多个建议的信息层的选择的基础上,层建议模块78可将一个或多个对应的AR信息项提供给显示器85。
另一方面,当网络设备108确定了其不具有任何与该查询中提供的位置信息相关的信息时,网络设备108可向一个或多个其它网络设备110、112(例如,第三通信设备25)发送关于位置信息的查询。网络设备108发送的查询还可以包括层建议模块78需要的对与信息层关联的信息和对应的AR信息项的请求。响应于从一个或多个网络设备110、112对信息层数据和AR信息的接收,网络设备108可将接收的信息发送给层建议模块78,层建议模块78可使用该信息以上述描述的方式建议信息层。
为一个或多个网络设备获得用于建议一个或多个信息层的信息和对应的AR信息项的益处是可以最小化装置50与相应的网络设备之间使用的带宽以仅发送必要信息。例如,如果为了与信息层相关的信息和对应的AR信息项,装置50与网络设备110、112直接通信,则这种通信可能需要更大的带宽,因为装置可能必须生成到通信设备110、112的所有查询。在很多情况下对来自网络设备110、112的查询的响应可包含比所需的信息多得多的信息,并且在装置50能够过滤信息之前,所有这些信息可能必须被发送给装置50。
这样,在装置50可能具有与网络(例如,网络30)的连接的实例中,装置50与指定网络设备通信以用于接收用于自动地建议一个或多个信息层并提供对应的AR信息项的信息。
现在参考图8,提供了诸如图7的网络设备108、110和112的网络实体的示例实施例的框图。如图8所示,网络实体(例如,服务器)一般包括处理器94和关联的存储器96。存储器96可包括易失性和/或非易失性存储器,并且可以存储内容、数据和/或类似物。存储器96可存储客户端应用、指令和/或类似物,以用于处理器94执行网络实体的各种操作。
处理器94还可以与至少一个通信接口98或者其它部件相连以用于显示、传送和/或接收数据、内容和/或类似物。用户输入接口95可包括允许网络实体从用户接收数据的多种设备中的任一种,诸如键区、触摸显示器、操纵杆或其它输入设备。关于这一点,处理器94可包括配置成控制用户输入接口的一个或多个元件的至少一些功能的用户接口电路。处理器和/或处理器的用户接口电路可配置成通过存储在处理器可访问的存储器(例如,易失性存储器、非易失性存储器等)上的计算机程序指令(例如,软件和/或固件)来控制用户接口的一个或多个元件的一个或多个功能。
网络实体可从设备(例如,在一个实施例中的装置50或网络设备108)接收对对应于信息层的信息和对应的AR信息项的一个或多个查询。该查询可包括指示装置50的当前位置的位置信息或者与显示器(例如,显示器85)的相机视图中的真实世界对象关联的位置信息。响应于从存储器96检索相关信息,网络实体的处理器94可促进检索的信息到网络设备的发送,网络设备可发送该信息到装置50。可替代地,处理器94可直接将检索到的信息发送到装置50,从而层建议模块78可使用该信息来以上述方式自动地生成一个或多个建议的信息层并将对应的AR信息项提供给显示器。
现在参考图9,提供了用于在增强现实中自动地生成一个或多个建议的信息层的流程图的示例实施例。在操作900,装置50可包括诸如层建议模块78、处理器70等的部件以用于确定激活的信息层(例如,FlickrTM信息层5)是否提供了高于预定阈值(例如,30个AR信息项(例如,图标))的AR信息。当装置50的诸如层建议模块78、处理器70等的部件确定用于激活的信息层的AR信息项高于预定阈值时,过程可结束。在操作905,当装置50的诸如层建议模块78、处理器70等的部件确定用于激活的信息层的AR信息项低于预定阈值时,层建议模块78、处理器70等可确定对应于当前位置的信息(例如,AR信息)是否可用于与激活的信息层同一类别的一个或多个信息层。
在操作910,响应于装置50的诸如层建议模块78、处理器70等的部件确定该信息可用于与激活的信息层同一类别的一个或多个信息层,层建议模块78、处理器70等可自动地生成可被提供以进行选择的一个或多个信息层(例如,PicasaTM信息层7和/或YouTubeTM信息层9)。在示例实施例中,装置50可包括诸如层建议模块78、处理器70等的部件以用于将建议的信息层提供给设备(例如,显示器85)以进行选择。当装置50的诸如层建议模块78、处理器70等的部件确定该信息可用于与激活的信息层同一类别的一个或多个信息层时,过程可结束。
在操作915,响应于接收对一个或多个建议的信息层的选择,装置50可包括诸如层建议模块78、处理器70等的部件,以用于激活所选的信息层并可以提供一个或多个对应的AR信息项(例如,AR信息项11、15、17、19和21)以用于选择。可以上述方式将对应的AR信息项提供给显示器(例如,显示器85)的相机视图以用于选择。
在操作920,响应于接收对AR信息项(例如,AR信息项11、15、17、19和21)的选择,装置50可包括诸如层建议模块78、处理器70等的部件,以用于将对应于AR信息项的选择的数据提供给设备(例如,显示器85)。在一个实施例中,对应于AR信息项的选择的数据可覆盖在显示器的相机视图中当前示出的对应的真实世界对象上。
应指出的是,图9是根据本发明的示例实施例的系统、方法和计算机程序产品的流程图。应理解的是,流程图的每个块、流程图中块的组合可由各种部件实现,诸如硬件、固件和/或包括一个或多个计算机程序指令的计算机程序产品。例如,上述一个或多个过程可由计算机程序指令体现。由此,在示例实施例中,体现上述过程的计算机程序指令由存储器设备(例如,存储器设备76、存储器96)存储,并由处理器(例如,处理器70、层建议模块78、处理器94)执行。应理解,任何这种计算机程序指令可加载至计算机或其他可编程装置(例如,硬件)以产生机器,从而在计算机或其他可编程装置上执行的指令使得在流程图块中指定的功能被实现。在一个实施例中,计算机程序指令存储在可引导计算机或其他可编程装置以特定方式运行的计算机可读存储器中,以便存储在计算机可读存储器中的指令产生包括实现流程图块中指定的功能的指令的制品。计算机程序指令还可以加载到计算机或其他可编程装置以使得在计算机或其他可编程装置上执行一系列操作以产生计算机实现的过程,从而在计算机或其他可编程装置上执行的指令实现在流程图块中指定的功能。
相应地,流程图的块支持用于执行指定功能的部件的组合。还应理解的是,流程图的一个或多个块、流程图中块的组合可由执行指定功能的基于专用硬件的计算机系统实现,或者由专用硬件和计算机指令的组合实现。
在示例实施例中,用于执行上述图9所示方法的装置可包括处理器(例如处理器70、层建议模块78、处理器94),其被配置为执行上述操作(900-920)中的一些或每个。例如,处理器可以被配置为通过执行硬件实现的逻辑功能,执行存储的指令,或执行用于执行各个操作的算法来执行操作(900-920)。可替换地,装置可以包括用于执行上述操作中的每一个的部件。在这点上,根据示例实施例,用于执行操作(900-920)的部件的示例可以包括,例如,处理器70(例如,作为用于执行上述任一操作的部件),层建议模块78、处理器94和/或用于执行指令或执行用于处理上述信息的算法的设备或电路。
受益于前述说明和相关附图中所给出的教导,本发明所属领域的技术人员会想到在此阐述的本发明的很多修改和其它实施例。因此,可以理解的是,本发明并不限于所公开的特定实施例,并且旨在将这些修改和其它实施例包括在所附权利要求的范围内。此外,尽管前述描述和相关附图在元件和/或功能的特定示例组合的上下文中描述了示例实施例,然而应当理解的是,在不脱离所附权利要求的范围的情况下,可以由替换的实施例提供元件和/或功能的不同组合。就此而言,举例来说,除了以上明确描述的那些以外,元件和/或功能的不同组合也被视为可以在一些所附权利要求中得到阐述。尽管在此采用了特定术语,然而它们仅仅是在一般的和描述性意义上使用,而不是出于限制目的。

Claims (20)

1.一种方法,包括:
促进多个信息层的提供,所述信息层部分地涉及对应于指示装置的当前位置的信息的一个或多个虚拟信息项;
确定至少一个所述信息层被激活以提供用于显示的一个或多个虚拟信息项,所述虚拟信息项对应于当前位置中或者邻近当前位置的真实世界对象的位置;
基于用于激活的信息层的虚拟信息项的数目低于预定阈值的确定,确定所述层的一个或多个其它信息层是否与用于当前位置的内容相关联;以及
自动地建议信息的一个或多个其它层以用于选择。
2.根据权利要求1所述的方法,其中在自动地建议之前,所述方法进一步包括确定与激活的信息层关联的信息是否和与建议的信息层关联的信息为同一类别,并且其中所述一个或多个虚拟信息项包括一个或多个虚拟对象。
3.根据权利要求2所述的方法,其中自动地建议进一步包括使得能够提供建议的信息层以用于经由设备进行选择。
4.根据权利要求3所述的方法,其中使得能够提供进一步包括提供与和与激活的信息层关联的信息同一类别的信息关联的建议的信息层。
5.根据权利要求1所述的方法,其中接收指示当前位置的信息进一步包括接收指示当前显示的真实世界对象的一个或多个坐标的信息。
6.根据权利要求1所述的方法,进一步包括:
确定所述多个层中每层的信息由不同的内容提供商提供;以及
响应于接收对至少一个建议的信息层的选择,提供用于覆盖在当前显示的对应的真实世界对象上的虚拟信息。
7.根据权利要求6所述的方法,进一步包括:
响应于确定所述虚拟信息的位置数据对应于至少一个对应的真实世界对象的位置信息,将所述虚拟信息覆盖在对应的真实世界对象上。
8.根据权利要求1所述的方法,进一步包括:
在选择之前以半透明方式提供建议的信息层;以及
响应于接收对建议的信息层的选择,以不透明方式提供用于显示的至少一个建议的信息层以表示所述建议的信息层是活动的。
9.根据权利要求1所述的方法,进一步包括:
确定虚拟信息包括增强现实中的一个或多个信息项,在所述信息项覆盖在所述真实世界对象上的情况下,所述一个或多个信息项可用于增强当前显示的真实世界对象,以及
其中提供虚拟信息进一步包括使得能够提供所述信息项以用于经由设备进行选择,从而获得部分地对应于至少一个所选信息项的地理坐标的附加信息。
10.一种装置,包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,所述至少一个存储器和计算机程序代码被配置为,使用至少一个处理器促使所述装置至少执行以下操作:
促进多个信息层的提供,所述信息层部分地涉及对应于指示装置的当前位置的信息的一个或多个虚拟信息项;
确定至少一个所述信息层被激活以提供用于显示的一个或多个虚拟信息项,所述虚拟信息项对应于当前位置中或者邻近当前位置的真实世界对象的位置;
基于用于激活的信息层的虚拟信息项的数目低于预定阈值,确定所述层的一个或多个其它信息层是否与用于当前位置的内容相关联;以及
自动地建议信息的一个或多个其它层以用于选择。
11.根据权利要求10所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置确定与激活的信息层关联的信息是否和与建议的信息层关联的信息为同一类别。
12.根据权利要求11所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置通过使得能够提供建议的信息层以用于经由设备进行选择来自动地建议。
13.根据权利要求12所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置通过提供与和与激活的信息层关联的信息同一类别的信息关联的建议的信息层来使得能够提供。
14.根据权利要求10所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置通过接收指示当前显示的真实世界对象的一个或多个坐标的信息来促进对指示当前位置的信息的接收。
15.根据权利要求10所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置:
确定所述多个层中每层的信息由不同的内容提供商提供;以及
响应于接收对至少一个建议的信息层的选择,提供用于覆盖在当前显示的对应的真实世界对象上的虚拟信息。
16.根据权利要求15所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置:
响应于确定所述虚拟信息的位置数据对应于至少一个对应的真实世界对象的位置信息,将所述虚拟信息覆盖在对应的真实世界对象上。
17.根据权利要求10所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置:
在选择之前以半透明方式提供建议的信息层;以及
响应于接收对建议的信息层的选择,以不透明方式提供用于显示的至少一个建议的信息层以表示所述建议的信息层是活动的。
18.根据权利要求10所述的装置,其中所述存储器和计算机程序代码被配置成使用处理器使得所述装置:
确定虚拟信息包括增强现实中的一个或多个信息项,在所述信息项覆盖在所述真实世界对象上的情况下,所述一个或多个信息项可用于增强当前显示的真实世界对象;以及
通过使得能够提供所述信息项以用于经由设备进行选择,从而获得部分地对应于至少一个所选信息项的地理坐标的附加信息来提供虚拟信息。
19.一种包括至少一个计算机可读存储介质的计算机程序产品,所述计算机可读存储介质具有在其中存储的计算机可读程序代码部分,所述计算机可读程序代码部分包括:
用于促进多个信息层的提供的程序代码指令,所述信息层部分地涉及对应于指示装置的当前位置的信息的一个或多个虚拟信息项;
用于确定至少一个所述信息层被激活以提供用于显示的一个或多个虚拟信息项的程序代码指令,所述虚拟信息项对应于当前位置中或者邻近当前位置的真实世界对象的位置;
用于基于用于激活的信息层的虚拟信息项的数目低于预定阈值的确定,确定所述层的一个或多个其它信息层是否与用于当前位置的内容相关联的程序代码指令;以及
用于自动地建议信息的一个或多个其它层以用于选择的程序代码指令。
20.根据权利要求19所述的计算机程序产品,进一步包括:
用于确定与激活的信息层关联的信息是否和与建议的信息层关联的信息为同一类别的程序代码指令,并且其中所述一个或多个虚拟信息项包括一个或多个虚拟对象。
CN201180041542.8A 2010-06-30 2011-02-10 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品 Active CN103069370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/827,417 2010-06-30
US12/827,417 US9910866B2 (en) 2010-06-30 2010-06-30 Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
PCT/FI2011/050120 WO2012001219A1 (en) 2010-06-30 2011-02-10 Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality

Publications (2)

Publication Number Publication Date
CN103069370A true CN103069370A (zh) 2013-04-24
CN103069370B CN103069370B (zh) 2016-12-21

Family

ID=45399371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180041542.8A Active CN103069370B (zh) 2010-06-30 2011-02-10 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品

Country Status (6)

Country Link
US (1) US9910866B2 (zh)
EP (1) EP2588944A4 (zh)
JP (1) JP5671137B2 (zh)
CN (1) CN103069370B (zh)
CA (1) CA2804096C (zh)
WO (1) WO2012001219A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
CN106716393A (zh) * 2014-09-29 2017-05-24 索尼互动娱乐股份有限公司 用于辨别和匹配图像中描画的对象的方法和设备
CN107037395A (zh) * 2016-11-29 2017-08-11 中国电子科技集团公司第二十九研究所 一种基于图像融合的无线电测向定位方法
CN107851232A (zh) * 2015-06-10 2018-03-27 吴镔 具有相关虚拟地理位置的在线网站
CN110088808A (zh) * 2016-08-18 2019-08-02 罗伯特·博世有限公司 用于三维虚拟环境的区域中的程序生成对象分布的系统和方法
CN110121719A (zh) * 2016-12-30 2019-08-13 诺基亚技术有限公司 用于深度学习的装置、方法和计算机程序产品
CN110268448A (zh) * 2017-02-20 2019-09-20 Pcms控股公司 动态呈现增强现实信息以减少峰值认知需求

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896327B1 (en) * 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
KR101606727B1 (ko) * 2010-06-25 2016-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101719982B1 (ko) * 2010-07-19 2017-03-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US9727128B2 (en) * 2010-09-02 2017-08-08 Nokia Technologies Oy Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US8972895B2 (en) 2010-12-20 2015-03-03 Target Brands Inc. Actively and passively customizable navigation bars
KR101324336B1 (ko) * 2010-12-28 2013-10-31 주식회사 팬택 증강 현실 제공 단말기
KR101770262B1 (ko) * 2011-03-16 2017-08-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
WO2013128078A1 (en) 2012-02-29 2013-09-06 Nokia Corporation Method and apparatus for rendering items in a user interface
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
USD706794S1 (en) 2011-12-28 2014-06-10 Target Brands, Inc. Display screen with graphical user interface
USD706793S1 (en) 2011-12-28 2014-06-10 Target Brands, Inc. Display screen with graphical user interface
USD711400S1 (en) 2011-12-28 2014-08-19 Target Brands, Inc. Display screen with graphical user interface
USD705792S1 (en) 2011-12-28 2014-05-27 Target Brands, Inc. Display screen with graphical user interface
USD703685S1 (en) 2011-12-28 2014-04-29 Target Brands, Inc. Display screen with graphical user interface
USD712417S1 (en) 2011-12-28 2014-09-02 Target Brands, Inc. Display screen with graphical user interface
USD703687S1 (en) 2011-12-28 2014-04-29 Target Brands, Inc. Display screen with graphical user interface
USD715818S1 (en) 2011-12-28 2014-10-21 Target Brands, Inc. Display screen with graphical user interface
USD705790S1 (en) 2011-12-28 2014-05-27 Target Brands, Inc. Display screen with graphical user interface
US9024954B2 (en) * 2011-12-28 2015-05-05 Target Brands, Inc. Displaying partial logos
USD703686S1 (en) 2011-12-28 2014-04-29 Target Brands, Inc. Display screen with graphical user interface
USD701224S1 (en) 2011-12-28 2014-03-18 Target Brands, Inc. Display screen with graphical user interface
USD705791S1 (en) 2011-12-28 2014-05-27 Target Brands, Inc. Display screen with graphical user interface
USD711399S1 (en) 2011-12-28 2014-08-19 Target Brands, Inc. Display screen with graphical user interface
EP2803064A4 (en) 2012-01-09 2015-11-18 Nokia Technologies Oy METHOD AND APPARATUS FOR CREATING AN ARCHITECTURE TO PROVIDE MIXED REALITY CONTENT
KR101303166B1 (ko) * 2012-01-26 2013-09-09 엘지전자 주식회사 이동 단말기 및 그의 사진 검색방법
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US9894116B2 (en) * 2012-04-12 2018-02-13 Intel Corporation Techniques for augmented social networking
US20130282715A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and apparatus of providing media file for augmented reality service
KR101899977B1 (ko) * 2012-07-10 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140053099A1 (en) * 2012-08-14 2014-02-20 Layar Bv User Initiated Discovery of Content Through an Augmented Reality Service Provisioning System
US9424472B2 (en) 2012-11-26 2016-08-23 Ebay Inc. Augmented reality information system
US9104293B1 (en) * 2012-12-19 2015-08-11 Amazon Technologies, Inc. User interface points of interest approaches for mapping applications
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
JP2014182597A (ja) * 2013-03-19 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
US9329286B2 (en) * 2013-10-03 2016-05-03 Westerngeco L.L.C. Seismic survey using an augmented reality device
WO2015116182A1 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Augmented reality skin evaluation
EP3100240B1 (en) 2014-01-31 2018-10-31 Empire Technology Development LLC Evaluation of augmented reality skins
KR101827550B1 (ko) 2014-01-31 2018-02-08 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨 매니저
WO2015116183A2 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Subject selected augmented reality skin
US9600720B1 (en) * 2014-03-18 2017-03-21 Amazon Technologies, Inc. Using available data to assist in object recognition
US10335677B2 (en) * 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
JP6586758B2 (ja) * 2015-03-31 2019-10-09 ソニー株式会社 情報処理システム、情報処理方法及びプログラム
RU2602386C1 (ru) 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
EP3314581B1 (en) * 2015-06-23 2019-09-11 Signify Holding B.V. Augmented reality device for visualizing luminaire fixtures
RU2597462C1 (ru) 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
WO2017066801A1 (en) * 2015-10-16 2017-04-20 Bent Image Lab, Llc Augmented reality platform
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US10372127B2 (en) 2016-07-18 2019-08-06 International Business Machines Corporation Drone and drone-based system and methods for helping users assemble an object
KR20190093624A (ko) * 2016-12-06 2019-08-09 돈 엠. 구룰 연대기-기반 검색 엔진을 위한 시스템 및 방법
IT201700058961A1 (it) 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo
US11068137B2 (en) * 2017-12-18 2021-07-20 Facebook, Inc. Systems and methods for augmenting content
WO2019215527A1 (ru) * 2018-05-10 2019-11-14 ГИОРГАДЗЕ, Анико Тенгизовна Способ отображения информации об активности пользователя
KR102021492B1 (ko) * 2018-05-25 2019-09-16 (주)아라커뮤니케이션즈 드론을 통한 실시간 영상 제공 시스템 및 방법
US11321411B1 (en) * 2018-12-28 2022-05-03 Meta Platforms, Inc. Systems and methods for providing content
RU2716415C1 (ru) * 2019-02-04 2020-03-12 Общество с ограниченной ответственностью "Сити Консьерж" Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью
JP2022505999A (ja) * 2019-10-15 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 拡張現実データの提示方法、装置、機器および記憶媒体
US11809507B2 (en) 2020-09-30 2023-11-07 Snap Inc. Interfaces to organize and share locations at a destination geolocation in a messaging system
US11538225B2 (en) 2020-09-30 2022-12-27 Snap Inc. Augmented reality content generator for suggesting activities at a destination geolocation
US11836826B2 (en) * 2020-09-30 2023-12-05 Snap Inc. Augmented reality content generators for spatially browsing travel destinations

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040243307A1 (en) * 2003-06-02 2004-12-02 Pieter Geelen Personal GPS navigation device
CN101470008A (zh) * 2007-12-27 2009-07-01 Lg电子株式会社 提供关于感兴趣点的信息的导航装置和方法
CN101482864A (zh) * 2008-01-08 2009-07-15 国际商业机器公司 用于检验gis数据的正确性的方法和装置
WO2009132677A1 (en) * 2008-05-02 2009-11-05 Tomtom International B.V. A navigation device and method for displaying map information
CN101578497A (zh) * 2007-07-12 2009-11-11 松下电器产业株式会社 旅程提示装置以及旅程提示方法
US20100149399A1 (en) * 2007-05-31 2010-06-17 Tsutomu Mukai Image capturing apparatus, additional information providing server, and additional information filtering system
CN101751468A (zh) * 2008-12-10 2010-06-23 三星电子株式会社 搜索内容的方法和设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US6025843A (en) * 1996-09-06 2000-02-15 Peter Sklar Clustering user interface
US9183306B2 (en) 1998-12-18 2015-11-10 Microsoft Technology Licensing, Llc Automated selection of appropriate information based on a computer user's context
EP1163557B1 (de) 1999-03-25 2003-08-20 Siemens Aktiengesellschaft System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
US6405129B1 (en) 2000-11-29 2002-06-11 Alpine Electronics, Inc. Method of displaying POI icons for navigation apparatus
US20030074253A1 (en) 2001-01-30 2003-04-17 Scheuring Sylvia Tidwell System and method for matching consumers with products
US20040068758A1 (en) 2002-10-02 2004-04-08 Mike Daily Dynamic video annotation
JP5325368B2 (ja) 2005-07-04 2013-10-23 株式会社ゼンリンデータコム 地図表示システム、地図表示方法および地図表示装置
US8280405B2 (en) * 2005-12-29 2012-10-02 Aechelon Technology, Inc. Location based wireless collaborative environment with a visual user interface
US8060499B2 (en) 2006-09-25 2011-11-15 Nokia Corporation Simple discovery UI of location aware information
JP4870546B2 (ja) 2006-12-27 2012-02-08 株式会社岩根研究所 レイヤー生成・選択機能を備えたcvタグ映像表示装置
US20080268876A1 (en) 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20090027418A1 (en) 2007-07-24 2009-01-29 Maru Nimit H Map-based interfaces for storing and locating information about geographical areas
US8436872B2 (en) * 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040243307A1 (en) * 2003-06-02 2004-12-02 Pieter Geelen Personal GPS navigation device
US20100149399A1 (en) * 2007-05-31 2010-06-17 Tsutomu Mukai Image capturing apparatus, additional information providing server, and additional information filtering system
CN101578497A (zh) * 2007-07-12 2009-11-11 松下电器产业株式会社 旅程提示装置以及旅程提示方法
CN101470008A (zh) * 2007-12-27 2009-07-01 Lg电子株式会社 提供关于感兴趣点的信息的导航装置和方法
CN101482864A (zh) * 2008-01-08 2009-07-15 国际商业机器公司 用于检验gis数据的正确性的方法和装置
WO2009132677A1 (en) * 2008-05-02 2009-11-05 Tomtom International B.V. A navigation device and method for displaying map information
CN101751468A (zh) * 2008-12-10 2010-06-23 三星电子株式会社 搜索内容的方法和设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814626B (zh) * 2013-09-30 2018-03-13 Pcms控股公司 用于提供增强信息的方法和设备
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
US11003906B2 (en) 2014-09-29 2021-05-11 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
CN106716393A (zh) * 2014-09-29 2017-05-24 索尼互动娱乐股份有限公司 用于辨别和匹配图像中描画的对象的方法和设备
US11113524B2 (en) 2014-09-29 2021-09-07 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US11182609B2 (en) 2014-09-29 2021-11-23 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
CN107851232A (zh) * 2015-06-10 2018-03-27 吴镔 具有相关虚拟地理位置的在线网站
CN110088808A (zh) * 2016-08-18 2019-08-02 罗伯特·博世有限公司 用于三维虚拟环境的区域中的程序生成对象分布的系统和方法
CN110088808B (zh) * 2016-08-18 2023-09-05 罗伯特·博世有限公司 三维虚拟环境的区域中的程序生成对象分布的系统和方法
CN107037395A (zh) * 2016-11-29 2017-08-11 中国电子科技集团公司第二十九研究所 一种基于图像融合的无线电测向定位方法
CN110121719A (zh) * 2016-12-30 2019-08-13 诺基亚技术有限公司 用于深度学习的装置、方法和计算机程序产品
CN110268448A (zh) * 2017-02-20 2019-09-20 Pcms控股公司 动态呈现增强现实信息以减少峰值认知需求
CN110268448B (zh) * 2017-02-20 2023-11-24 交互数字Vc控股公司 动态呈现增强现实信息以减少峰值认知需求

Also Published As

Publication number Publication date
EP2588944A4 (en) 2014-06-04
JP2013539090A (ja) 2013-10-17
CA2804096C (en) 2015-12-29
US20120001939A1 (en) 2012-01-05
US9910866B2 (en) 2018-03-06
CA2804096A1 (en) 2012-01-05
EP2588944A1 (en) 2013-05-08
CN103069370B (zh) 2016-12-21
JP5671137B2 (ja) 2015-02-18
WO2012001219A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
CN103069370A (zh) 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品
CN103080933B (zh) 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品
US9710554B2 (en) Methods, apparatuses and computer program products for grouping content in augmented reality
US8493407B2 (en) Method and apparatus for customizing map presentations based on user interests
US9088867B2 (en) Location based recommendation method for mobile station content
US20170178260A1 (en) Systems and methods for improved data integration in virtual reality architectures
US9279694B1 (en) System and method for returning to a selected location and for finding forms in a facility
EP3299934A1 (en) Systems and methods for improved data integration in virtual reality architectures
US20130332279A1 (en) Method and apparatus for location-based advertisements for dynamic points of interest
JP2013539090A5 (zh)
CN102300205A (zh) 基于位置和上下文的移动应用程序的宣传和传递
CN103916473B (zh) 行程信息处理方法及相关装置
CN105009114B (zh) 预测性地呈现搜索能力
US11068959B1 (en) Systems and methods for generating recommendations based on online history information and geospatial data
CN110020218A (zh) 服务信息展示方法及装置
CN115917512A (zh) 人工智能请求和建议卡
CN108074009A (zh) 一种运动路线的生成方法、装置、移动终端和服务器
US20150099545A1 (en) Location information-based communication apparatus and method, and location information-based communication application apparatus
Wörndl et al. Mobile applications for e-Tourism
CN110619085A (zh) 信息处理方法和装置
CN111131467A (zh) 基于图片推荐生活方式的方法、系统、介质及车载终端
KR101754304B1 (ko) Poi별 특화된 정보 서비스를 제공하는 방법 및 시스템
US9064265B1 (en) System and method for locating items in a facility
CN111835917A (zh) 活动范围展示方法、装置、设备和计算机可读介质
JP6575888B1 (ja) 地域情報表示システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151231

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

C14 Grant of patent or utility model
GR01 Patent grant