CN103080933A - 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品 - Google Patents

用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品 Download PDF

Info

Publication number
CN103080933A
CN103080933A CN2011800409821A CN201180040982A CN103080933A CN 103080933 A CN103080933 A CN 103080933A CN 2011800409821 A CN2011800409821 A CN 2011800409821A CN 201180040982 A CN201180040982 A CN 201180040982A CN 103080933 A CN103080933 A CN 103080933A
Authority
CN
China
Prior art keywords
information
point
interest
predetermined threshold
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800409821A
Other languages
English (en)
Other versions
CN103080933B (zh
Inventor
J·桑德伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103080933A publication Critical patent/CN103080933A/zh
Application granted granted Critical
Publication of CN103080933B publication Critical patent/CN103080933B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H04W4/022Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences with dynamic range variability
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications

Abstract

一种用于提供增强现实环境中恒定水平的信息的装置可以包括处理器和存储可执行计算机程序代码的存储器,计算机程序代码使得所述装置至少执行包括确定与当前位置的第一组真实世界对象关联的兴趣点的第一数目的操作。第一组真实世界对象被当前显示。计算机程序代码可以进一步促使所述装置确定第一数目是否低于预定阈值并且可以增加设备的视图范围以促进第二组真实世界对象的显示。可以基于第一数目低于阈值的确定增加视图范围从而将第一数目增加到与阈值对应的兴趣点的第二数目。还提供了对应的方法和计算机程序产品。

Description

用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品
技术领域
本发明的示例实施例一般涉及用户接口技术,并且更具体来说,涉及一种用于在增强现实环境中提供恒定水平的信息的方法、装置和计算机程序产品。
背景技术
现代通信时代带来了有线和无线网络的急剧扩张。计算机网络、电视网络、和电话网络正在经历由客户需求激起的空前技术扩张。无线和移动网络技术已经解决了相关客户需求,且提供了信息传递的更多灵活性和即时性。
当前和未来的网络技术持续促进信息传递的便利和用户的舒适性。由于现在电子通信设备无所不在的特性,所有年龄段和教育级别的人都在使用电子设备来与其它个体或联系人通信、接收服务和/或共享信息、媒体和其它内容。其中需要增加信息传递的便利性的一个领域涉及向移动终端的用户递送服务。服务可以按照用户所期望的特定媒体或通信应用的形式,例如音乐播放器、游戏玩家、电子书、短消息、电子邮件、内容共享等。服务还可以按照交互式应用的形式,其中用户可对网络设备进行响应从而执行任务或实现目标。
在一些情况中,移动终端可以增强用户具有的与用户环境的交互。围绕使用移动终端的概念已经开发了大量的用例,以增强用户与他们的局部区域的交互,例如虚拟导游和其他混合现实应用。混合现实涉及真实和虚拟世界的融合。在一些情况中,混合现实涉及将真实世界图像数据与虚拟对象相混合,以产生物理和数字对象共存并且潜在地还实时交互的环境和可视化。混合现实包括:增强现实,其使用数字影像来增强或增加到真实世界影像,以及虚拟现实,其使用计算机仿真来对真实世界环境进行仿真。
增强现实(AR)是快速增长的区域,其当前可在许多移动平台(例如,SymbianTM,AndroidTM,iPhoneTM,Windows MobileTM等)上可用。增强现实的概念是将图形或信息覆盖到来自通信设备中的相机的实况视频流或静止图像上。图形/信息可以是任何类型的。在增强现实中,关于其中的环境和对象的图形/信息可以存储和检索为真实世界视图之上的信息层。
增强现实的常规使用是将兴趣点(POI)覆盖到视频流或静止图像上。这些兴趣点可以是静态信息,例如陆标或者可以地理位置编码的任何信息(例如,包含坐标)。增强现实的用例的示例可以在图1中看到,其中由WikipediaTM提供的信息和由TwitterTM提供的推特(tweets)覆盖到通信设备的相机视图上。
例如,当消费者按下一个WikipediaTM图标时,可以向用户呈现关于与所选图标关联的条款的更多信息。作为示例,当消费者在新地点或者想要获得关于他们看见的事件的信息时,消费者可以使用增强现实。通过站在旅游胜地前面并且将相机指向该胜地,消费者可以得到关于该胜地的信息。
与增强现实应用关联的常规问题是AR应用可以提供的信息可能变得如此拥挤以至于其对用户是不利的且带来更多危害的。这种情况的示例示出在图2中,其中相机视图中的信息如此拥挤,以至于用户可能不能有效地利用信息。
例如,信息可能变得如此拥挤以至于其可能使得相机上的视图变得混乱,导致用户不能看见相机中示出的环境中的真实世界对象的图片。当信息变得拥挤时,用户还可能非常难以识别哪个(些)信息图标属于相机视图上的对应的真实世界对象。这样,相机视图上的一些信息可能不可见,因为其可能隐藏在其它信息后面。相机视图上示出的隐藏信息可能实际上在真实世界环境中比相机视图上不受阻碍的其它信息更靠近用户。
现在,有两种常规地处理增强现实中杂乱显示的问题的方法。第一种方法涉及允许用户基于其希望看见的信息来选择哪些信息层应该在显示器上可见。尽管这种方法允许用户完全地打开和关闭信息层,但是缺点是用户可能不能在信息内选择。例如,即使用户能够选择信息层(例如,将由服务提供商提供的一组信息),但是所选信息层可能仍然提供可挤满相机的视图的大量信息。
第二种方法涉及允许消费者选择其中用户想要看见信息(例如,增强现实信息)的固定范围/距离。例如,用户可利用通信设备来选择特征以观看当前位置的两公里内的所有增强现实信息。这种方法的缺点在于,其可能在具有较少增强现实信息的区域中呈现不期望的效果。例如,存在用户选择对于要在相机视图上显示的任何有用的增强现实信息来说太小的范围/距离的风险。例如,当前位置可用的所有或大量增强现实信息可能在用户选择的范围/距离之外。
鉴于上述缺陷,可能期望提供一种替代机制,以通过该机制来减少提供给增强现实环境中的通信设备的杂乱信息。
发明内容
因此,提供一种用于使得能够自动提供增强现实中恒定水平的信息的方法,装置和计算机程序产品。示例实施例可以缓和与过度拥挤或示出增强现实中的信息(例如,虚拟信息)的杂乱显示关联的问题。关于这一点,示例实施例可以自动地调节媒体捕获设备(例如,相机)的视图范围或视图距离,该媒体捕获设备可捕获一个或多个实况图像和/或视频以在通信设备上显示。
可以通过分析与当前位置的真实世界对象关联的兴趣点的密度来执行视图范围/距离的调节。兴趣点可以与对应于用户可能感兴趣的真实世界对象的位置的信息相关联。这样,POI可以与地理位置数据(例如,真实世界对象的纬度、经度、海拔)以及任何其它数据(例如,文本、图像、视频数据等)相关联。这些POI可以在显示器上覆盖在真实世界对象的对应图像上。这些POI可以但是不必由虚拟对象(例如,诸如图标的图形元素)表示。
在一个示例实施例中,当用户将媒体捕获设备指向与高密度或大量兴趣点关联的方向时,示例实施例可以自动地减小视图距离,这样媒体捕获设备不能捕获同样多信息(例如,真实世界对象的图像)。通过减小视图距离来捕获较少的信息,可以向显示器提供较少的对应兴趣点。此外,当用户将媒体捕获设备指向与低密度或少量兴趣点关联的方向时,示例实施例可以增加媒体捕获设备的视图范围以捕获附加信息(例如,真实世界对象的图像)。通过增加视图距离来捕获更多信息,可以向显示器提供更多对应的兴趣点。
这样,示例实施例可以分析媒体捕获设备的视图中可用的信息的密度来确定有多少可用于示出的信息以调节视图距离。例如,代替在显示器上示出所有兴趣点,示例实施例可以分析出现在媒体捕获设备的视角处的POI的数目。以这种方式,示例实施例可以设置媒体捕获设备的视图距离以确保用于显示的POI的数目维持在恒定水平。通过使用这种方法,示例实施例可以使得能够提供用于在通信设备上显示的相同数目的兴趣点,而不管通信设备初始检测的兴趣点是高密度还是低密度。
在一个示例实施例中,提供了一种提供增强现实环境中恒定水平的信息的方法。该方法可以包括确定与当前正显示的第一组真实世界对象关联的兴趣点的第一数目。第一组真实世界对象可以涉及至少一个当前位置。该方法可进一步包括确定第一数目是否低于预定阈值。该方法可进一步包括增加设备的视图范围以促进第二组真实世界对象的显示,从而将第一数目增加到与预定阈值对应的兴趣点的第二数目。可以响应于确定第一数目低于阈值而将第一数目增加到与预定阈值对应的兴趣点的第二数目。视图范围可包括在设备的距离和角度处的视图。
在另一示例实施例中,提供了一种用于提供增强现实环境中恒定水平的信息的装置。该装置可以包括处理器和包括计算机程序代码的存储器。所述存储器和计算机程序代码被配置为,通过处理器促使所述装置至少执行包括确定与当前正显示的第一组真实世界对象关联的兴趣点的第一数目的操作。第一组真实世界对象可以涉及至少一个当前位置。所述存储器和计算机程序代码可以进一步促使所述装置确定第一数目是否低于预定阈值。所述存储器和计算机程序代码可以进一步促使所述装置增加设备的视图范围以促进第二组真实世界对象的显示,从而将第一数目增加到与预定阈值对应的兴趣点的第二数目。可以响应于确定第一数目低于阈值而将第一数目增加到与预定阈值对应的兴趣点的第二数目。视图范围可包括在设备的距离和角度处的视图。
在另一示例性实施例中,提供了一种用于提供增强现实环境中恒定水平的信息的计算机程序产品。所述计算机程序产品包括至少一个计算机可读存储介质,所述计算机可读存储介质具有在其中存储的计算机可执行程序代码指令。计算机可执行程序代码指令可以包括用于确定与当前正显示的第一组真实世界对象关联的兴趣点的第一数目的程序代码指令。第一组真实世界对象可以涉及至少一个当前位置。程序代码指令还可以确定第一数目是否低于预定阈值。程序代码指令还可以增加设备的视图范围以促进第二组真实世界对象的显示,从而将第一数目增加到与预定阈值对应的兴趣点的第二数目。可以响应于确定第一数目低于阈值而将第一数目增加到与预定阈值对应的兴趣点的第二数目。视图范围可包括在设备的距离和角度处的视图。
本发明的实施例可提供更好的用户体验,因为用户可能能够关注可覆盖在真实世界对象上的虚拟信息,而不是花时间改变范围/距离以获得用于设备的当前位置的一些虚拟信息。结果,用户可享受关于经由设备可访问的应用和服务的改进的性能。
附图说明
以概括地描述了本发明的一些示例实施例,现在将参照附图,其中附图的绘制无需按比例进行,并且其中:
图1是由增强现实应用提供的当前位置的虚拟信息的视图的说明;
图2是当前位置的增强现实中过度拥挤的虚拟信息的视图的说明;
图3是根据本发明示例实施例的系统的示意性框图;
图4是根据本发明示例实施例的用于提供增强现实中恒定水平的信息的装置的示意性框图;
图5是图示根据本发明示例实施例的设备的视图距离和当前位置可用的虚拟信息的距离之间的相关性的示意图;
图6是根据示例实施例的系统的示意性框图;
图7是根据本发明示例实施例的网络实体的示意性框图;以及
图8图示了根据本发明示例实施例的用于提供增强现实中恒定水平的信息的流程图。
具体实施方式
现在,将参照附图在后面更加全面地描述本发明的一些实施例,其中示出了本发明的一些但非全部实施例。实际上,本发明的各种实施例可以在多种不同的形式中实现,并且不应被解释成限于在此陈述的实施例。通篇中,相同的参考数字指代相同的元件。根据本发明的示例实施例,可以互换地使用此处使用的术语“数据”、“内容”、“信息”和类似术语,以指代能够被传送、接收和/或存储的数据。此外,此处使用的术语“示例性”不用于传达任何定性评价,而是仅传达示例的说明。因此,任何此类术语的使用不应被认为限制本发明实施例的精神与范围。
此外,如这里所使用的,术语‘电路’指代(a)仅硬件的电路实现方式(例如在模拟电路和/或数字电路中的实现方式);(b)电路和计算机程序产品的组合,该计算机程序产品包括存储于一个或者多个计算机可读存储器上的软件和/或固件指令,这些指令一起工作以使装置执行这里描述的一个或者多个功能;以及(c)电路(例如微处理器或者微处理器的一部分),即使软件或者固件在物理上不存在,这些电路仍然需要用于操作的软件或者固件。将‘电路’的这种定义应用于这里对这一术语的所有使用(包括在任何权利要求中的使用)。作为进一步的示例,如这里所用的,术语‘电路’也包括实现方式,所述实现方式包括一个或者多个处理器和/或处理器的一部分以及附带的软件和/或固件。作为另一示例,如这里所用的,术语‘电路’也包括例如用于移动电话的基带集成电路或者应用处理器集成电路或者在服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似集成电路。
如这里定义的指代非暂时性的物理或有形存储介质(例如,易失性或非易失性存储器设备)的“计算机可读存储介质”可以区别于指代电磁信号的“计算机可读传输介质”。
同样,这里使用的“层”、“信息层”或“信息的层”可以是可以在显示器上示出的信息的层。信息的层可以由一个或多个内容提供商提供,并且可以对应于虚拟信息(例如,虚拟对象)项。这样,信息的层可以但是不必是其中每个图形元素指示信息的虚拟对象(例如,诸如图标、象形文字等的图形元素)的层。信息层的信息可以与诸如地理坐标(例如,经度、纬度、海拔坐标)的位置信息和任何其它合适的数据相关联。例如,虚拟信息项可以涉及对指示设备的当前位置或者正由设备当前示出的真实世界对象的当前位置的位置信息的接收。在一个实施例中,信息的层可以是以一起显示为某覆盖物的一部分的方式关联的信息。不同的层可以由不同的内容提供商提供和/或可对应于不同的虚拟对象。
为了说明书并非限制的目的,信息的层可以是与由内容提供商(例如,WikipediaTM网站)提供的信息(例如,WikipediaTM条款)关联的图标(例如,WikipediaTM图标)层。例如,在图1中示出了由诸如WikipediaTM的内容提供商提供的信息层7(此处称为WikipediaTM信息层7)。此外,图1示出了由诸如TwitterTM的内容提供商提供的信息层3(此处也称为TwitterTM信息层3)。信息层3、7可对应于与对应于图1中相应的真实世界对象(例如,真实世界对象5)的地理坐标的附加信息关联的虚拟对象(例如,图标等)。
此处指代的“视图距离”或“视图范围”可指代设备(例如,相机模块36)可能够查看可在显示器(例如,显示器的相机视图)上示出的信息(例如,虚拟信息)的距离。为了说明而非限制的目的,当将视图距离设置为500米时,位于距离用户的装置或设备520米远处的信息(例如,虚拟信息)可能不会在显示器上示出。相比之下,可在显示器上示出位于距离装置或设备490米远处的信息。
此处使用的“恒定信息水平”、“信息的恒定水平”或类似术语可以可替换地指代确保提供给显示器的信息元素、信息(例如,图标)项或POI的数目为常量或保持在恒定水平(例如,在任何给定时间处在显示器上示出的35个信息元素的阈值)的方式。示例实施例可以通过部分地基于为位置呈现的信息量改变视图距离来实现恒定信息水平。在示例实施例中,恒定信息水平可以是范围,这样POI的数目如期望地在该范围内,无论POI的数目是否明确地等于某预定义的值。在另一示例实施例中,在POI的量非常接近环境许可的实例中(例如,对于真实世界环境的特定区域没有足够的POI),可以达到常规信息水平,即使POI的量技术上不等于阈值。
此外,此处使用的术语“相机视角”或“相机视场”可指代可以在显示器上示出的关于相机的角度。此处使用的术语“信息点”、“兴趣点”(POI)、“增强现实(AR)信息项”、“AR信息”、“虚拟信息”、“虚拟信息项”和类似术语可以可替换地用于指代在包含一些信息(例如,文本、音频数据、诸如图像、图片的媒体内容、视频数据等)或者与这些信息关联的空间(例如,诸如经度、纬度、海拔坐标的地理坐标)中的点。信息点、POI、AR信息项、AR信息、虚拟信息或者虚拟信息项可以通过虚拟对象(例如,诸如图标、象形文字等的图形元素)标记在显示器上。
在示例实施例中,可以通过将虚拟内容(例如,虚拟对象)插入真实世界环境的实况图像或者视频中来实现作为覆盖的内容的添加、对象的虚拟移除、或者某些对象替换为其它对象。
图3图示了其中在示例通信环境中示出诸如移动终端10的设备的通用系统示意图。如图3所示,根据本发明的示例实施例的系统的实施例可以包括能够经由网络30彼此通信的第一通信设备(例如,移动终端10)和第二通信设备20。在一些案例中,本发明的实施例可进一步包括一个或多个附加通信设备,其中的一个在图3中描述为第三通信设备25。在一个实施例中,不是所有采用本发明的实施例的系统都可以包括此处图示和/或记载的所有设备。尽管可以为了示例的目的图示并在下面记载移动终端10和/或第二和第三通信设备20和25的实施例,但是其它类型的终端(诸如,便携式数字助理(PDA)、寻呼机、移动电视、移动电话、游戏设备、膝上型计算机、照相机、录像机、音频/视频播放器、收音机、全球定位系统(GPS)设备、蓝牙耳机、通用串行总线(USB)设备或前述的任一组合)以及其它类型的语音和文本通信系统也可以容易地采用本发明的实施例。此外,非移动的设备,诸如服务器和个人计算机也可以容易地采用本发明的实施例。
网络30可以包括可以经由对应的有线和/或无线接口彼此通信的各种不同的节点(第二和第三通信设备20和25可以为其示例)、设备或功能的集合。这样,图3的图示应理解为系统的某些元件的宽泛视图的示例,而不是系统或网络30的包罗万象或详细视图的示例。尽管非必须,但是在一个实施例中,网络30可能够支持根据多个第一代(1G)、第二代(2G)、2.5G、第三代(3G)、3.5G、3.9G、第四代(4G)移动通信协议、长期演进(LTE)、高级LTE(LTE-A)等中的任何一个或多个的通信。在一个实施例中,网络30可以是点对点(P2P)网络。
诸如移动终端10和第二和第三通信设备20和25的一个或多个通信终端可以经由网络30彼此通信,并且每个可以包括用于向基础站点传送信息并从基础站点接收信息的天线或多个天线,基础站点例如可以是作为一个或多个蜂窝或移动网络的一部分的基站或可耦合至如下数据网络的接入点,其中数据网络例如,局域网(LAN)、城域网(MAN)、和/或广域网(WAN),例如因特网。相应地,例如处理元件(如个人计算机、服务器计算机等)的其他设备可经由网络30与移动终端10和第二及第三通信设备20和25耦合。通过将移动终端10和第二及第三通信设备20和25(和/或其它设备)直接或间接地连接到网络30,可以使得移动终端10和第二及第三通信设备20和25能够例如根据包括超文本传输协议(HTTP)等的多种通信协议与其它设备或者彼此通信,从而分别执行移动终端10和第二及第三通信设备20和25的各种通信或其它功能。
此外,尽管图3中未示出,移动终端10和第二及第三通信设备20和25可以根据例如射频(RF)、近场通信(NFC)、蓝牙(BT)、红外(IR)或多种不同的有线或无线通信技术(包括局域网(LAN)、无线LAN(WLAN)、全球微波互连接入(WiMAX)、无线保真(WiFi)、超宽带(UWB))、Wibree技术等中任何一种来通信。这样,可以使得移动终端10和第二及第三通信设备20和25能够通过多种不同的接入机制中的任一种与网络30或者彼此通信。例如,可以支持诸如宽带码分多址(W-CDMA)、CDMA2000、全球移动通信系统(GSM)、通用分组无线业务(GPRS)等的移动接入机制,以及诸如WLAN、WiMAX等的无线接入机制,和诸如数字订户线路(DSL)、电缆调制解调器、以太网等的固定接入机制。
示例实施例中,第一通信设备(例如,移动终端10)可以是移动通信设备,例如无线电话,或诸如个人数字助理(PDA)、移动计算设备、照相机、录像机、音频/视频播放器、定位设备、游戏设备、电视设备、无线电设备、或各种其他类似设备或其组合的其他设备。第二通信设备20和第三通信设备25可以是移动或固定通信设备。然而,在一个示例中,第二通信设备20和第三通信设备25可以是服务器、远程计算机或终端,诸如个人计算机(PC)或膝上型计算机。
在示例实施例中,网络30可以是布置为智能空间的自组织或分布式网络。因此,设备可以进入和/或离开网络30,并且网络30的设备可能够基于其它设备的进入和/或退出来调节操作,以说明(account for)各个设备或节点及其对应的性能的添加或删减。在示例实施例中,与网络30通信的设备中的一个或多个可采用恒定信息水平(CIL)模块(例如,图4的CIL模块78)。CIL模块可允许以恒定水平在显示器上提供信息元素的数目。CIL模块可部分地通过基于为位置呈现的信息量改变视图距离来将信息元素维持在恒定水平。
在示例实施例中,移动终端10和第二及第三通信设备20和25可配置成包括CIL模块。然而,在替代实施例中,移动终端10可包括CIL模块,并且第二及第三通信设备20和25可以是配置成彼此通信和/或与移动终端10通信的诸如服务器等的网络实体。例如,在示例实施例中,第二通信设备20可以是与特定信息源或服务(例如,局部增强/虚拟现实服务、测绘服务、搜索服务、媒体供应服务等)关联的专用服务器(或服务器库),或者第二通信设备20可以是与一个或多个其它功能或服务关联的后端服务器。这样,第二通信设备20可以表示用于多个不同服务或信息源的潜在主机。在一个实施例中,由配置成根据用于将信息提供给通信设备的用户的已知技术操作的硬件和/或软件组件提供第二通信设备20的功能性。然而,第二通信设备20提供的至少一些功能性是根据本发明的示例实施例提供的信息。
在示例实施例中,第二通信设备20可以托管用于提供局部增强/虚拟现实服务的装置和/或可以托管向实践本发明的实施例的设备(例如,移动终端10)提供信息(例如,文本、图像、视频、音频数据等)的供应服务。局部增强/虚拟现实服务可提供关于显示在设备(例如,移动终端10)的相机视图中的环境和该环境中的真实世界对象的虚拟/增强信息的项。
第三通信设备25还可以是提供多种功能或与各种信息源和服务(例如,局部虚拟/增强现实服务、测绘服务、搜索服务、媒体供应服务等)的关联的服务器。在这点上,第三通信设备25可托管用于向第二通信设备20提供虚拟/增强现实信息的装置,以使得第二通信设备能够向实践本发明的实施例的设备(例如,移动终端10)提供虚拟/增强现实信息。第三通信设备25向第二通信设备20提供的虚拟/增强现实信息可提供关于显示在设备(例如,移动终端10)的相机视图中的环境和该环境中的对象的信息。
这样,在一个实施例中,移动终端10可以自身执行示例实施例。在另一实施例中,第二和第三通信设备20和25可促进(例如,通过提供增强/虚拟现实信息)示例实施例在另一设备(例如,移动终端10)处的操作。在再一示例实施例中,可能根本不包括第二和第三通信设备20和25。
图4图示了根据本发明示例实施例用于自动地提供增强现实中恒定水平的信息的装置的示意性框图。现在将参考图4描述本发明的示例实施例,其中显示了装置50的某些元件。例如可在移动终端10(和/或第二通信设备20或第三通信设备25)上采用图4的装置50。作为选择,装置50可以体现在网络30的网络设备上。然而,装置可以作为选择在多种其它设备,移动和固定的设备(例如,上述列举的任一设备)处体现。在一些情况中,可在设备的组合上采用实施例。相应地,可以通过多个分布式中的设备(例如,在P2P网络中的一个或多个设备上)或通过客户端/服务器关系中的设备在单个设备(例如,移动终端10)处完整地体现本发明的一个实施例。此外,应注意,下面描述的设备或元件可以不是强制性的,因此在特定的实施例中可以省略掉一些。
现在参考图4,装置50可包括处理器70,用户接口67,通信接口74、存储器设备76、显示器85、定向模块71、恒定信息水平(CIL)模块78、定位传感器72、相机模块36以及AR储存库84,或者与处理器70,用户接口67,通信接口74、存储器设备76、显示器85、定向模块71、恒定信息水平(CIL)模块78、定位传感器72、相机模块36以及AR储存库84进行通信。存储器设备76可以包括,例如,易失性和/或非易失性存储器。例如,存储器设备76可以是包括门的电子存储设备(例如计算机可读存储介质),其中门被配置为存储可由机器(例如,类似于处理器70的计算设备)获取的数据(例如比特)。在示例实施例中,存储器设备76可以是不为暂态的有形存储器设备。存储器设备76可被配置为存储信息、数据、文件、应用、指令或类似物,用于使得装置能够根据本发明的示例实施例执行多种功能。例如,存储器设备76可以被配置为缓冲处理器70所要处理的输入数据。附加地或可替换地,存储器设备76可以被配置为存储由处理器70执行的指令。作为再一替代,存储器设备76可以是存储信息和/或媒体内容(例如,图片、视频等)的多个数据库之一。
存储器设备76可存储可与位置信息关联的地理编码的信息,其中位置信息对应于诸如真实世界对象的经度、纬度和/或海拔坐标的坐标。地理编码的信息可以通过处理器70和/或CIL模块78评估,并且与地理编码的信息关联的数据可以提供给显示器的相机视图。在示例实施例中,响应于确定显示器的相机视图上示出的真实世界对象的位置对应于地理编码的信息的位置信息,处理器70和/或CIL模块78可以将与地理编码的信息关联的信息提供给显示器的相机视图。
处理器70可以按多种不同的方式体现。例如,处理器70可以体现为各种处理部件中的一个或多个,例如协处理器,微处理器,控制器,数字信号处理器(DSP),具有或者没有附带的DSP的处理电路,或包括集成电路的各种其他处理设备,所述集成电路例如是ASIC(专用集成电路),FPGA(现场可编程门阵列),微控制器单元(MCU),硬件加速器,专用计算机芯片等。在示例实施例中,处理器70可以被配置为执行存储在存储器设备76中的指令或处理器70可访问的指令。这样,无论是由硬件或软件方法,或其组合来配置,处理器70可以代表当被相应地配置时能够执行根据本发明实施例的操作的实体(例如在电路中物理地体现的)。因此,例如,当处理器70体现为ASIC,FPGA等时,处理器70可以为用于执行这里介绍的操作的特定地配置的硬件。可替换地,作为另一实例,当处理器70体现为软件指令的执行器时,该指令可具体地配置所述处理器70,使得处理器70在指令被执行时执行这里所述的算法和操作。然而,在一些情况下,处理器70可以是适于通过用于执行此处介绍的算法和操作的指令对处理器70的进一步配置来使用本发明的实施例的特定设备(例如移动终端或网络设备)的处理器。处理器70可以包括尤其是被配置为支持处理器70的操作的时钟,算术逻辑单元(ALU)和逻辑门。
在示例实施例中,处理器70可以配置成操作连通性程序,诸如浏览器、增强现实(AR)浏览器、web浏览器等。在这点上,连通性程序可例如根据无线应用协议(WAP)使得装置50能够传送和接收Web内容,诸如基于位置的内容或其他合适的内容。应指出的是,AR浏览器可以是在具有信息(例如,通过提供关于周围的真实世界对象的数据以某一方式添加、增强或改变的一个或多个信息层)的物理真实世界环境的视图中促进对象的导航的用户接口。信息层可以但是不必看作在真实世界视图之上。AR浏览器可以被处理器70利用以促进一个或多个增强现实应用的执行。应指出的是,处理器70还可以与显示器85通信,并且可以指示显示器图示任何合适的信息、数据、内容(例如,媒体内容)等。
同时,通信接口74可以是任何部件,例如体现在硬件、计算机程序产品、或硬件和软件的组合中的电路或设备,其被配置为从网络和/或任何其他与装置50通信的设备或模块接收数据,和/或将数据传送到网络和/或任何其他与装置50通信的设备或模块。这样,通信接口74可以包括,例如,天线(或多天线)以及使得能够与无线通信网络(例如,网络30)进行通信的支持硬件和/或软件。在固定环境中,通信接口74可以可替换地或还支持有线通信。同样的,通信接口74可以包括通信调制解调器和/或用于支持通过线缆,数字订户线(DSL),通用串行总线(USB)、以太网或其他机制的通信的其他硬件/软件。
用户接口67可以与处理器70进行通信以在用户接口67处接收用户输入的指示和/或提供听觉的,视觉的,机械的或其他输出给用户。同样的,用户接口67可以包括,例如,键盘,鼠标,操纵杆,显示器,触摸屏,麦克风,扬声器或其他输入/输出结构。在装置体现为服务器或一些其他网络设备的示例实施例中,用户接口67可以被限制、位于远端或省去。处理器70可以包括被配置为控制用户接口的一个或多个元件的至少一些功能的用户接口电路,用户接口例如是,扬声器,振铃器,麦克风,显示器和/或类似物。处理器70和/或包括处理器70的用户接口电路可以被配置为通过存储在处理器70可访问的存储器(例如存储器设备76和/或类似物)上的计算机程序指令(例如软件和/或固件)来控制用户接口的一个或多个元件的一个或多个功能。
装置50包括媒体捕获元件,诸如相机模块36。相机模块36可包括与处理器70和显示器85通信的照相机、视频和/或音频模块。相机模块36可以是用于捕获图像、视频和/或音频以用于存储、显示或传输的任何部件。例如,相机模块36可以包括能够从捕获的图像形成数字图像文件的数码相机。这样,相机模块36可以包括所有的硬件(例如透镜或其它光学组件)和用于从捕获的图像创建数字图像文件必须的软件。可选地,相机模块36可以包括仅浏览图像所需的硬件,而装置50的存储器设备(例如,存储器设备76)以从捕获的图像创建数字图像文件必须的软件的形式存储用于处理器70的执行的指令。在示例性实施例中,相机模块36可以进一步包括在处理图像数据中协助处理器70的处理元件(例如协处理器)以及用于压缩和/或解压图像数据的编码器和/或解码器。编码器和/或解码器可以根据联合图像专家组(JPEG)标准格式或另一类似的格式编码和/或解码。在一些情况下,相机模块36可以将实况图像数据提供给显示器85。由此,相机模块36可以促进或者提供相机视图给显示器85以示出实况图像数据、静止图像数据、视频数据或任何其它合适的数据。此外,在示例实施例中,显示器85可以位于装置50的一侧,相机模块36可以包括位于装置50的关于显示器85的相对侧的透镜,以使得相机模块36能够在装置50的一侧捕获图像并且将这些图像的视图呈现给位于装置50的另一侧上的用户。
此外,装置50可包括定位传感器72。定位传感器72可包括例如全球定位系统(GPS)传感器、辅助全球定位系统(辅助-GPS)传感器、蓝牙(BT)GPS鼠标、其它GPS或定位接收器等。然而,在一个示例实施例中,定位传感器72可以包括计步器或惯性传感器。由此,定位传感器72可能够确定装置50的位置,例如装置50的经度和纬度方向,或者相对于诸如目的地或出发点的参考点的位置。定位传感器72还可能能够确定装置50的海拔并使用该海拔信息来确定装置50的位置。然后来自定位传感器72的信息可传递给装置50的存储器或另一存储器设备,以存储为定位历史或位置信息。
在示例实施例中,装置50可以进一步包括定向模块71(或与定向模块71进行通信)。定向模块71可以是任意部件,例如在硬件或硬件和软件的组合中实现的设备或电路,其被配置为确定装置50的方向和/或装置50的相机模块36的视场。
可将定向模块71配置为确定装置50相对于基准的方向。在一些情况中,基准可以是特定的方向,例如北或另一基本方向。然而,还可以使用其它基准。这样,在一个实施例中,定向模块71可包括指南针或其它方向传感器,其被配置为确定相机模块36的透镜指向的方向或装置50的指向。可根据从基准偏移的度数(例如,0到360度)来确定方向和指向。在一些情况中,基准可以是固定的(例如,固定的方向基准),而在其它情况中,基准可以是机会性基准,例如在相机模块所捕获的图像中的突出特征或简单地是初始方向。
在示例实施例中,可将相机模块36的视场的方向与基准进行比较,从而确定装置50的当前方向。因此,例如,给定初始图像,可将特定特征选作基准。此后,随着视场改变,可将定向模块71配置为基于相对于基准的移动速度或移动量,确定相机模块36的视场的方向。虽然一个实施例可能仅确定单个平面(例如,与地表面相平行)中的方向,另一实施例可允许包括海拔方面和/或轴方面移动的方向确定。因此,例如,可将定向模块71配置为确定装置50的倾斜和/或偏航(例如,定义海拔程度的倾斜和定义轴旋转的偏航)。这样的话,例如,定向模块71可包括用于确定装置50(或相机模块36的视场)的方向(其可被称为方向信息)的设备或其它部件。在一个实施例中,定向模块71可包括电子指南针、水平传感器、重力传感器、加速计、陀螺仪、磁力计等或可用于确定方向信息的任意其它传感器。
在示例实施例中,处理器70可以体现为包括或者控制CIL模块。CIL模块78可以是根据软件进行操作、或体现在硬件或软件和硬件的组合(例如在软件控制下操作的处理器70,体现为被具体地配置以执行这里所述的操作的ASIC或FPGA的处理器70,或其组合)中的诸如设备或电路的部件,由此配置所述设备或电路以执行下面将描述的CIL模块78的相应功能。这样,在使用软件的实例中,执行软件的设备或电路(例如一个示例中的处理器70)形成与这些部件相关的结构。
在示例实施例中,CIL模块78可自动地调节距离或范围,其中当用户将相机模块36朝向真实世界环境以捕获实况图像和/或视频时,可以在显示器85的相机视图上显示虚拟信息。距离/范围的调节可由CIL模块通过分析由用于被相机模块36捕获的真实世界对象的信息层(例如,由不同的服务提供商(例如TwitterTM)提供的虚拟对象)提供的虚拟信息(例如,虚拟对象)数量或密度来执行。关于这一点,当装置50的用户将相机模块36指向CIL模块确定虚拟信息的密度或数量超过预定阈值(例如,30个兴趣点)的方向时,CIL模块78可自动地减小相机模块的范围或视图距离。减小相机模块36的视图距离可以降低可在显示器85的相机视图上示出的虚拟信息的数量,因为相机模块36捕获的真实世界对象的范围降低了。在一个实施例中,CIL模块78可使得相机模块36在改变或者不改变视图范围的情况下调节由相机模块捕获的图像的角跨度。例如,如果地理区域存在太多POI,则CIL模块78可以缩小该角度并最小化POI的数目。
在示例实施例中,预定阈值可以是任何合适数目的虚拟信息项(例如,兴趣点)。当CIL模块78确定虚拟信息的密度或数目超过预定阈值时,CIL模块78可降低相机模块36的视图距离(例如,500米),这样对应于相机模块36捕获的真实世界对象的虚拟信息(例如,虚拟对象)的项的数目可等于预定阈值(例如,30个兴趣点)。
另一方面,当装置50的用户将相机模块36指向CIL模块78确定虚拟信息的密度或数量低于预定阈值的方向时,CIL模块78可自动地增加相机模块36的范围或视图距离(例如,550米)。增加相机模块36的视图距离可增加可示出在显示器85的相机视图上的虚拟信息的数量,因为相机模块36捕获的真实世界对象的范围增加了。在示例实施例中,当CIL模块78确定虚拟信息的密度或数目低于预定阈值时,CIL模块78可增加相机模块36的视图距离,这样对应于相机模块36捕获的真实世界对象的虚拟信息(例如,虚拟对象)的项的数目可等于预定阈值(例如,30个兴趣点)。在虚拟信息项初始地超过预定阈值的实例中,以及在虚拟信息项的数目初始地低于预定阈值的实例中,通过调节相机模块36的视图距离以使得虚拟信息项能够等于预定阈值,CIL模块78能够提供恒定水平的虚拟信息给显示器85。关于这一点,不考虑对应于初始地被相机模块36捕获的真实世界对象的虚拟信息项的数目,装置50可以但是不必具有由CIL模块78提供给显示器85的相同的信息量(例如,30个兴趣点)。在示例实施例中,由于产生的图像可能最终太近或者太远以至于不能被识别,因此可存在CIL模块78允许的对范围的调节的下限和上限。此外,在用户通过选择设置等手动地调节视图范围的实例中,这样的手动调节可重写(override)CIL模块对视图范围的调节。
这样,当CIL模块78基于由相机模块36捕获的对应的真实世界对象确定虚拟信息项的密度高时(即,超过了预定阈值),CIL模块78可减小相机模块36的视图距离。减小相机模块36的视图距离可允许用户关注与更靠近用户的真实世界对象关联的虚拟信息。相比之下,当CIL模块78基于由相机模块捕获的对应的真实世界对象确定虚拟信息项的密度低时(即,低于预定阈值),CIL模块78可增加相机模块36的视图距离。增加相机模块36的视图距离可允许用户关注与进一步远离用户的真实世界对象关联的虚拟信息。
CIL模块78可以检索(或请求)存储在AR储存库84中与当前位置和方向信息两者相关的虚拟或增强现实信息(这里也称为AR信息)。AR信息可以涉及一个或多个兴趣点。AR信息可以包括但不限于对应于真实世界对象(例如,建筑物、陆标等)的位置信息(例如,经度、纬度和/或海拔坐标)的地理编码的信息,并且可以包括一个或多个信息层。真实世界对象可以与相机模块36的相机视图或显示器85中示出的装置50的当前位置中的对象相关联。AR信息还可以包括地理编码的信息,其包含诸如文本、音频、图像、图片、照片的数据、视频数据或任何其它合适的数据,或者与诸如文本、音频、图像、图片、照片的数据、视频数据或任何其它合适的数据关联。信息层可以与一个或多个虚拟对象(例如,图标、象形文字、图像等)相关联。信息层还可以对应于可以但是不必由一个或多个内容提供商(例如,诸如WikipediaTM、TwitterTM的服务提供商)提供的信息、内容、数据等。AR储存库84可以是存储器设备76的一部分或者可以是外部存储器或数据库。可替换地,AR储存库84可以与CIL模块78并置排列。
在一个实施例中,在接收到位置信息和方向信息之后,CIL模块78可从储存库84选择AR信息。在一个实施例中,或许在已知方向信息之前或在请求特定AR信息之前,可基于位置信息来预先取回一些AR信息。可从远程源接收预先取回的AR信息并且在本地进行存储,使得当搜索特定AR信息以将当前位置与方向信息进行匹配时,当由于在搜索操作期间可能需要处理更小的AR信息集合而是时候检索AR信息时,可以降低计算资源消耗。
现在参考图5,提供了图示对应于可由相机模块在各种视角处捕获的真实世界对象的兴趣点的示意图。应指出的是,定向模块71可以上述记载的方式确定相机模块36的视角。在图5的示例实施例中,可由诸如点11的点指示兴趣点。CIL模块78可从AR储存库84检索兴趣点及其对应的数据。如图5中所示,在一些视角处,可存在对应于兴趣点的许多虚拟信息,并且如果将所有这些信息提供给显示器85,则可能使显示器显得杂乱,而且可能有太多的信息以至于用户不能查看任何有用的信息。代替在显示器85的相机视图上示出所有虚拟信息,CIL模块78可分析出现在相机模块36正在查看的角度处的数据量。这样,CIL模块78可自动地将相机模块36的视图距离设置或者调节成可允许提供以恒定水平提供给显示器85的虚拟信息的量的距离。在图5的示例实施例中,CIL模块可基于CIL模块为给定角度识别的兴趣点的密度或量在各个角度处调节相机模块36的视图距离9。关于这一点,当相机模块36指向对应的视角(例如,60°)时,CIL模块可允许提供视图距离9内部所有兴趣点的显示。另一方面,CIL模块78可能不能够提供相机模块36的视图距离9外部的兴趣点的显示。这样,当相机模块36指向对应的视角时,用户可能不能查看位于相机模块的视图距离9外部的兴趣点。
作为示例,假设装置50位于对应于圆17的中心的位置处。当装置50的用户将相机模块36指向60°视角处的真实世界对象时,CIL模块78可确定比其他视图范围更靠近装置50的当前视图范围中的兴趣点具有高密度。这样,CIL模块78可减小60°视角处相机模块36的视图距离,以使得能够提供更靠近装置50的兴趣点的显示。关于这一点,用户可能能够关注更靠近用户的兴趣点。在该示例中,CIL模块78可能不能提供60°视角处调节的视图距离9外部的兴趣点的显示。
另一方面,例如,当装置50的用户将相机模块36指向300°视角处时,CIL模块78可确定在当前视图范围中的信息为低密度,并且可以通过增加视图距离以允许提供远离装置50的兴趣点的显示来在300°视角处调节相机模块36的视图距离9。由此,装置50的用户可关注远离用户的兴趣点。在图5的示例实施例中,当相机模块指向300°视角处的真实世界对象时,CIL模块78可基于调节的视角距离9来使得能够提供对应于300°视角的基本上所有兴趣点的显示。应指出的是,当CIL模块78使得能够提供兴趣点的显示时,基于兴趣点与真实世界对象的地理坐标之间的对应性,与对应的真实世界对象关联的虚拟信息可覆盖在相应的真实世界对象上。
在替代示例实施例中,CIL模块78对相机模块36的视图距离的计算可以可选地不被设置为固定量的兴趣点以进行显示。而是,CIL模块78对视图距离的计算可基于与兴趣点关联的信息大小(例如,虚拟对象的大小)而变化。例如,CIL模块78对视图距离的计算可基于可使得能够用于虚拟信息的提供的信息层的大小而变化。
由此,在CIL模块78基于与阈值的比较确定信息层(例如,信息层3)的兴趣点描述为具有大的图形尺寸的实例中,CIL模块78可降低可提供给显示器85的相机视图的兴趣点的量/数量。另一方面,在CIL模块78基于与不同阈值的比较确定信息层(例如,信息层7)的兴趣点描述为具有小的图形尺寸的实例中,CIL模块78可使得一个或多个附加兴趣点的提供能够在显示器85的相机视图上示出。在该替代示例实施例中,可部分地基于保持可在显示器85上示出的相应的兴趣点的整体总大小需求,将兴趣点以恒定水平提供给显示器85。由此,CIL模块78可在使得能够提供兴趣点给显示器85时说明(account for)兴趣点的不同大小。
在替代示例实施例中,CIL模块78对相机模块36的视图距离的计算可以部分地基于被使能(enabled)的信息层的类型。例如,CIL模块78对视图距离的计算可部分地基于可被使能以用于虚拟信息的提供的信息层的类型而变化。在该替代示例实施例中,可以由CIL模块78分析用于与对应的信息层关联的一个或多个兴趣点的显示的阈值,以使得能够提供兴趣点的显示。为了说明和非限制的目的,考虑这样的示例,其中,用于提供与对应于百科(encyclopedic)数据的项关联的兴趣点的信息层(例如,WikipediaTM信息层7)可被设置为兴趣点的预定阈值(例如,20个兴趣点)。此外,用于提供与社交网络媒体关联的兴趣点的另一信息层(例如,TwitterTM信息层3)例如可被设置为兴趣点的另一预定阈值(例如,15个兴趣点)。当用于提供百科数据和社交网络媒体的信息层被使能时,CIL模块78可改变或者调节相机模块36的视图距离,以使得能够提供对应于用于百科数据的预定阈值和用于社交网络媒体的预定阈值的兴趣点的总量。关于这一点,CIL模块78可组合与用于每个被使能的信息层的预定阈值关联的兴趣点的数目,并使得能够在显示器85的相机视图上提供这些兴趣点的显示。
例如,当用于提供百科数据的信息层的预定阈值被设置为20个兴趣点并且用于提供社交网络媒体的信息层的预定阈值被设置为15个兴趣点时,CIL模块78可调节相机模块的视图距离从而向显示器85提供总共35个兴趣点。在该示例中,对应于百科数据的20个兴趣点和对应于社交网络媒体的15个兴趣点可提供给显示器85的相机视图。在上述示例中,应指出的是,在CIL模块78确定具有比对应的预定阈值(例如,20个兴趣点)更少的可用于被使能的信息层的兴趣点(例如,10个兴趣点)的实例中,CIL模块78可使得能够提供为被使能的信息层(例如,WikipediaTM信息层7)识别的最大数目的兴趣点(例如,10个兴趣点)的显示。
例如,可以由装置50在对CIL模块78提供的特征或设置的选择上使能信息层。由此,用户可使用用户接口67的定点设备等来选择一个或多个信息层以使能信息层。可从CIL模块78提供的下拉菜单、文件夹等中选择信息层。此外,用户可基于设置/特征的选择来选择将由信息层提供的兴趣点的预定阈值。可替换地,可以在装置50上预设值和预加载与信息层关联的兴趣点的预定阈值。
在该示例实施例中,与相应的兴趣点的预定阈值关联的被使能的信息层可用作过滤机制,以从显示器滤除、阻止或者移除用户可能不感兴趣观看的可用于当前位置的兴趣点。例如,可存在与用于装置50的当前位置或者被显示器的相机视图示出的真实世界对象的当前位置的社交网络媒体相关联的100个兴趣点。用户可能对该社交网络媒体不感兴趣,并且通过使能与兴趣点的相应的预定阈值关联的信息层,CIL模块78可阻止社交网络媒体,从而不将社交网络媒体提供给显示器85。信息层的使能可促使其它信息层(例如,社交网络媒体信息层)被阻止,因为该其它信息层可能不活跃。
此外,在可用于当前位置的所有信息层的兴趣点与单个阈值(例如,30个兴趣点)关联的实施例中,显示器85还可以配备有用户鲜有兴趣或者没有兴趣的兴趣点(例如,30个TwitterTM兴趣点)。这样,对允许用户选择该用户有兴趣获得关于其的信息的(与相应的阈值关联的)信息层,从而滤除、阻止或者移除不想要的信息的显示是有利的。
CIL模块78可操作在离线模式和在线模式。在离线模式中,装置50可能不具有与网络30的连接,在该连接中访问兴趣点和来自诸如网络设备(例如,服务器(例如,第二通信设备20))的远程源的关联数据。由此,CIL模块78可从AR储存库84获得与一个或多个兴趣点关联的信息。可在存储器设备76的AR储存库中预加载与信息层和兴趣点关联的信息。此外,与信息层和兴趣点关联的信息可由另一设备(例如,个人计算机)经由网络30下载,并且可以(例如,经由USB存储器设备)传送到装置50并存储在存储器设备76中。
在在线模式中,装置50可能能够经由网络30与一个或多个设备(例如,第二和第三通信设备20和25)通信并获得与一个或多个信息层和兴趣点关联的信息。例如,如图6所示,装置50可能能够与指定的网络设备108(例如,服务器(例如,第二通信设备20))通信,以接收与一个或多个信息层和/或对应的兴趣点关联的信息。由此,CIL模块78可向网络设备108发送查询,请求与一个或多个信息层和对应的兴趣点关联的信息。该查询可包括由定位传感器72提供的位置信息以识别装置50的当前位置或者在显示器85的相机视图中示出的真实世界对象的位置。
响应于查询的接收,网络设备108可分析其存储器之一(例如,图7的存储器96)以确定其是否具有对应于由CIL模块78提供的位置信息的与信息层和对应的兴趣点关联的任何信息。当网络设备108确定其具有关于与位置信息关联的信息层和对应的兴趣点的信息时,网络设备108可将该信息发送给CIL模块78。然后,CIL模块78可利用接收的信息来自动地调节相机模块36的视图距离,从而可以上述描述的方式将兴趣点提供给显示器85。
另一方面,当网络设备108确定了其不具有任何与该查询中提供的位置信息相关的信息时,网络设备108可向一个或多个其它网络设备110、112(例如,第三通信设备25)发送关于位置信息的查询。网络设备108发送的查询还可以包括CIL模块78需要的对与信息层和对应的兴趣点关联的信息的请求。响应于从一个或多个网络设备110、112对信息层和兴趣点的接收,网络设备108可将接收的信息发送给CIL模块78,CIL模块78可使用该信息自动地调节相机模块36的视图距离,并以上述描述的方式将兴趣点提供给显示器85。
从一个或多个网络设备获得与信息层和对应的兴趣点关联的信息的益处是可以最小化装置50与相应的网络设备之间使用的带宽以仅发送必要信息。例如,如果为了与信息层和对应的兴趣点相关的信息,装置50与网络设备110、112直接通信,则这种通信可能需要更大的带宽,因为装置可能必须生成到通信设备110、112的所有查询。在很多情况下对来自网络设备110、112的查询的响应可包含比所需的信息多得多的信息,并且在装置50能够过滤信息并且相应地调节相机模块的视图距离之前,所有这些信息可能必须被发送给装置50。
现在参考图7,提供了诸如图6的网络设备108、110和112的网络实体的示例实施例的框图。如图7所示,网络实体(例如,服务器)可包括处理器94和存储器96。存储器96可包括易失性和/或非易失性存储器,并且可以存储内容、数据和/或类似物。存储器96可存储客户端应用、指令和/或类似物,以用于处理器94执行网络实体的各种操作。存储器96可以是有形的非暂态设备。
处理器94还可以与通信接口98或者其它部件相连以用于显示、传送和/或接收数据、内容和/或类似物。用户输入接口95可包括允许网络实体从用户接收数据的多种设备中的任一种,诸如键区、触摸显示器、操纵杆或其它输入设备。关于这一点,处理器94可包括配置成控制用户输入接口的一个或多个元件的至少一些功能的用户接口电路。处理器和/或处理器的用户接口电路可配置成通过存储在处理器可访问的存储器(例如,易失性存储器、非易失性存储器等)上的计算机程序指令(例如,软件和/或固件)来控制用户接口的一个或多个元件的一个或多个功能。
网络实体可从设备(例如,在一个实施例中的装置50或网络设备108)接收对对应于信息层和对应的兴趣点的信息的一个或多个查询。该查询可包括指示装置50的当前位置的位置信息或者与显示器85的相机视图中的真实世界对象关联的位置信息。响应于从存储器96检索相关信息,处理器94可促进检索的信息到网络设备的发送,网络设备可发送该信息到装置50。可替代地,处理器94可促进检索到的信息到装置50的直接发送,从而CIL模块78可部分地基于从网络实体接收的兴趣点的密度或数量使用该信息来自动地调节相机模块36的视图距离。由此,CIL模块可使得能够以上述方式将至少一部分兴趣点提供给显示器85。
现在参考图8,提供了用于提供增强现实中恒定水平的信息的流程图的示例实施例。在操作800,装置50可包括诸如CIL模块78、处理器70等的部件以用于确定与当前被显示的当前位置的一个或多个真实世界对象(例如,第一组真实世界对象)关联的兴趣点的密度或第一数目。当前位置可以是装置50的位置或者真实世界对象在真实世界环境中的对应位置。真实世界对象的一个或多个图像可由设备(例如,相机模块36)捕获并可显示在显示器(例如,显示器85)的相机视图上。兴趣点可与一个或多个信息层(例如,信息层3)关联。与POI关联的虚拟信息(例如,虚拟对象)项可由装置50的部件(诸如,CIL模块78、处理器70等)覆盖在提供给显示器的相机视图的对应的真实世界对象上。
在操作805,装置50可包括用于将兴趣点的密度或第一数目与预定阈值(例如,30个兴趣点)进行比较的部件,诸如CIL模块、处理器70等。在操作810,响应于确定兴趣点的第一数目低于预定阈值,诸如装置50的CIL模块、处理器70等的部件可增加媒体捕获设备(例如,相机模块36)的视图距离(例如,500米)以使得能够显示一个或多个附加真实世界对象(例如,第二组真实世界对象),从而将第一数目的POI增加到与预定阈值(例如,30个兴趣点)对应的第二数目的POI(例如,30个兴趣点)。在诸如装置50的CIL模块、处理器70等的部件确定与一个或多个真实世界对象(例如,第一组真实世界对象)和附加真实世界对象(例如,第二组真实世界对象)关联的兴趣点等于预定阈值(例如,30个兴趣点)的实例中,CIL模块可将第一数目的POI增加至第二数目的POI。
在操作815,响应于确定兴趣点的第一数目高于预定阈值,诸如装置50的CIL模块78、处理器70等的部件可减小或降低媒体捕获设备(例如,相机模块36)的视图距离以使得能够从显示器移除一个或多个真实世界对象,从而将第一数目的POI减小到与预定阈值对应的第二数目的POI。在诸如装置50的CIL模块78、处理器70等的部件确定在移除至少一部分真实世界对象之后,与保持在显示器上的真实世界对象关联的兴趣点等于预定阈值(例如,30个兴趣点)的实例中,装置50可包括用于将第一数目的POI减小至第二数目的POI的部件,诸如CIL模块78、处理器70等。应指出的是,装置50可包括用于从显示器移除至少一部分真实世界对象的部件,诸如CIL模块78、处理器70等。
应指出的是,图8是根据本发明的示例实施例的系统、方法和计算机程序产品的流程图。应理解的是,流程图的每个块、流程图中块的组合可由各种部件实现,诸如硬件、固件和/或包括一个或多个计算机程序指令的计算机程序产品。例如,上述一个或多个过程可由计算机程序指令体现。由此,在示例实施例中,体现上述过程的计算机程序指令由存储器设备(例如,存储器设备76、存储器96)存储,并由处理器(例如,处理器70、CIL模块78、处理器94)执行。应理解,任何这种计算机程序指令可加载至计算机或其他可编程装置(例如,硬件)以产生机器,从而在计算机或其他可编程装置上执行的指令使得在流程图块中指定的功能被实现。在一个实施例中,计算机程序指令存储在可引导计算机或其他可编程装置以特定方式运行的计算机可读存储器中,以便存储在计算机可读存储器中的指令产生包括实现流程图块中指定的功能的指令的制品。计算机程序指令还可以加载到计算机或其他可编程装置以使得在计算机或其他可编程装置上执行一系列操作以产生计算机实现的过程,从而在计算机或其他可编程装置上执行的指令实现在流程图块中指定的功能。
相应地,流程图的块支持用于执行指定功能的部件的组合。还应理解的是,流程图的一个或多个块、流程图中块的组合可由执行指定功能的基于专用硬件的计算机系统实现,或者由专用硬件和计算机指令的组合实现。
在示例实施例中,用于执行上述图8所示方法的装置可包括处理器(例如处理器70、CIL模块78、处理器94),其被配置为执行上述操作(800-815)中的一些或每个。例如,处理器可以被配置为通过执行硬件实现的逻辑功能,执行存储的指令,或执行用于执行各个操作的算法来执行操作(800-815)。可替换地,装置可以包括用于执行上述操作中的每一个的部件。在这点上,根据示例实施例,用于执行操作(800-815)的部件的示例可以包括,例如,处理器70(例如,作为用于执行上述任一操作的部件),CIL模块78、处理器94和/或用于执行指令或执行用于处理上述信息的算法的设备或电路。
受益于前述说明和相关附图中所给出的教导,本发明所属领域的技术人员会想到在此阐述的本发明的很多修改和其它实施例。因此,可以理解的是,本发明并不限于所公开的特定实施例,并且旨在将这些修改和其它实施例包括在所附权利要求的范围内。此外,尽管前述描述和相关附图在元件和/或功能的特定示例组合的上下文中描述了示例实施例,然而应当理解的是,在不脱离所附权利要求的范围的情况下,可以由替换的实施例提供元件和/或功能的不同组合。就此而言,举例来说,除了以上明确描述的那些以外,元件和/或功能的不同组合也被视为可以在一些所附权利要求中得到阐述。尽管在此采用了特定术语,然而它们仅仅是在一般的和描述性意义上使用,而不是出于限制目的。

Claims (20)

1.一种方法,包括:
确定与当前正显示的至少一个当前位置的第一组真实世界对象关联的兴趣点的第一数目;
经由处理器确定第一数目是否低于预定阈值;以及
响应于揭示第一数目低于阈值的确定,增加设备的视图范围以促进第二组真实世界对象的显示,从而将第一数目增加到与预定阈值对应的兴趣点的第二数目,
其中视图范围包括在设备的距离和角度处的视图。
2.根据权利要求1所述的方法,进一步包括:
响应于确定第一数目高于阈值,减小设备的视图范围以促进所述第一组的至少一个对象从被显示中移除,从而将第一数目减小到与预定阈值对应的兴趣点的第二数目。
3.根据权利要求1所述的方法,进一步包括:
确定视图范围包括从设备到真实世界环境中的用于捕获被显示的对象的一个或多个图像的点的距离。
4.根据权利要求1所述的方法,其中将第一数目增加到兴趣点的第二数目包括确定与第一组和第二组对象关联的兴趣点的数量等于预定阈值。
5.根据权利要求2所述的方法,其中将第一数目减小到兴趣点的第二数目包括确定在从显示器移除第一组的至少一部分真实世界对象之后保持显示的兴趣点的数量等于预定阈值。
6.根据权利要求1所述的方法,进一步包括:
促进部分地涉及对应于指示当前位置的信息的接收的一个或多个虚拟信息项的多个信息层的提供,其中虚拟信息项的第一部分涉及至少第一组对象,并且对应于所述层的第一信息层;
将预定阈值分配给第一信息层;以及
在与第一组对象关联的兴趣点的第一数量保持为等于预定阈值的值的情况下,促进所述数量的显示。
7.根据权利要求6所述的方法,进一步包括:
确定虚拟信息项的第二部分涉及至少第一组对象,并且对应于所述层的第二信息层;
将预定阈值分配给第二信息层;以及
在与第一组对象关联的兴趣点的第二数量保持为等于预定阈值的值的情况下,促进所述第二数量的显示。
8.根据权利要求1所述的方法,进一步包括:
比较与所述第一组的真实世界对象中的各个真实世界对象对应的至少一个兴趣点的大小;以及
基于所述大小与预定阈值的比较至少增加或者减小兴趣点的第一数目。
9.一种装置
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,所述至少一个存储器和计算机程序代码被配置为,使用至少一个处理器促使所述装置至少执行以下操作:
确定与当前正显示的至少一个当前位置的第一组真实世界对象关联的兴趣点的第一数目;
确定第一数目是否低于预定阈值;以及
响应于揭示第一数目低于阈值的确定,增加设备的视图范围以促进第二组真实世界对象的显示,从而将第一数目增加到与预定阈值对应的兴趣点的第二数目,
其中视图范围包括在设备的距离和角度处的视图。
10.根据权利要求9所述的装置,其中所述至少一个存储器和计算机程序代码被进一步配置成使用处理器使得所述装置:
响应于确定第一数目高于阈值,减小设备的视图范围以促进所述第一组的至少一个对象从被显示中移除,从而将第一数目减小到与预定阈值对应的兴趣点的第二数目。
11.根据权利要求9所述的装置,其中所述至少一个存储器和计算机程序代码被进一步配置成使用处理器使得所述装置:
确定视图范围包括从设备到真实世界环境中的用于捕获被显示的对象的一个或多个图像的点的距离。
12.根据权利要求9所述的装置,其中所述至少一个存储器和计算机程序代码被进一步配置成使用处理器使得所述装置:通过确定与第一组和第二组对象关联的兴趣点的数量等于预定阈值将第一数目增加到兴趣点的第二数目。
13.根据权利要求10所述的装置,其中所述至少一个存储器和计算机程序代码被进一步配置成使用处理器使得所述装置:通过确定在从显示器移除第一组的至少一部分真实世界对象之后保持显示的兴趣点的数量等于预定阈值将第一数目减小到兴趣点的第二数目。
14.根据权利要求9所述的装置,其中所述至少一个存储器和计算机程序代码被进一步配置成使用处理器使得所述装置:
促进部分地涉及对应于指示当前位置的信息的接收的一个或多个虚拟信息项的多个信息层的提供,其中虚拟信息项的第一部分涉及至少第一组对象,并且对应于所述层的第一信息层;
将预定阈值分配给第一信息层;以及
在与第一组对象关联的兴趣点的第一数量保持为等于预定阈值的值的情况下,促进所述数量的显示。
15.根据权利要求14所述的装置,其中所述至少一个存储器和计算机程序代码被进一步配置成使用处理器使得所述装置:
确定虚拟信息项的第二部分涉及至少第一组对象,并且对应于所述层的第二信息层;
将预定阈值分配给第二信息层;以及
在与第一组对象关联的兴趣点的第二数量保持为等于预定阈值的值的情况下,促进所述第二数量的显示。
16.根据权利要求9所述的装置,其中所述至少一个存储器和计算机程序代码被进一步配置成使用处理器使得所述装置:
比较与所述第一组的真实世界对象中的各个真实世界对象对应的至少一个兴趣点的大小;以及
基于所述大小与预定阈值的比较至少增加或者减小兴趣点的第一数目。
17.一种包括至少一个计算机可读存储介质的计算机程序产品,所述计算机可读存储介质具有在其中存储的计算机可执行程序代码指令,所述计算机可执行程序代码指令包括:
用于确定与当前正显示的至少一个当前位置的第一组真实世界对象关联的兴趣点的第一数目的程序代码指令;
用于确定第一数目是否低于预定阈值的程序代码指令;以及
用于响应于揭示第一数目低于阈值的确定,增加设备的视图范围以促进第二组真实世界对象的显示,从而将第一数目增加到与预定阈值对应的兴趣点的第二数目的程序代码指令,
其中视图范围包括在设备的距离和角度处的视图。
18.根据权利要求17所述的计算机程序产品,进一步包括:
用于响应于确定第一数目高于阈值,减小设备的视图范围以促进所述第一组的至少一个对象从被显示中移除,从而将第一数目减小到与预定阈值对应的兴趣点的第二数目的程序代码指令。
19.根据权利要求17所述的计算机程序产品,进一步包括:
用于确定视图范围包括从设备到真实世界环境中的用于捕获被显示的对象的一个或多个图像的点的距离的程序代码指令。
20.根据权利要求17所述的计算机程序产品,其中促进第一数目到兴趣点的第二数目的增加包括确定与第一组和第二组对象关联的兴趣点的数量等于预定阈值。
CN201180040982.1A 2010-06-30 2011-02-10 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品 Expired - Fee Related CN103080933B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/827,404 US8963954B2 (en) 2010-06-30 2010-06-30 Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US12/827,404 2010-06-30
PCT/FI2011/050119 WO2012001218A1 (en) 2010-06-30 2011-02-10 Methods, apparatuses and computer program products for providing a constant level of information in augmented reality

Publications (2)

Publication Number Publication Date
CN103080933A true CN103080933A (zh) 2013-05-01
CN103080933B CN103080933B (zh) 2016-09-21

Family

ID=45399370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180040982.1A Expired - Fee Related CN103080933B (zh) 2010-06-30 2011-02-10 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品

Country Status (5)

Country Link
US (1) US8963954B2 (zh)
EP (1) EP2589024B1 (zh)
JP (2) JP2013541058A (zh)
CN (1) CN103080933B (zh)
WO (1) WO2012001218A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107466008A (zh) * 2013-10-22 2017-12-12 华为终端(东莞)有限公司 一种移动终端的消息呈现方法及移动终端
CN108829368A (zh) * 2018-06-29 2018-11-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN110313021A (zh) * 2017-03-06 2019-10-08 Line 株式会社 用于提供增强现实的方法和设备以及计算机程序
CN110621984A (zh) * 2017-06-26 2019-12-27 美的集团股份有限公司 用于改进质量检查的方法和系统
CN111813226A (zh) * 2019-07-11 2020-10-23 谷歌有限责任公司 使用手势和ui控制的遮挡平面通过深度遍历照片增强信息
CN112823299A (zh) * 2018-10-01 2021-05-18 镭亚股份有限公司 全息现实系统、多视图显示器和方法
CN113076025A (zh) * 2014-11-27 2021-07-06 三星电子株式会社 可穿戴设备

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
KR101606727B1 (ko) * 2010-06-25 2016-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101329882B1 (ko) * 2010-08-12 2013-11-15 주식회사 팬택 Ar 정보창 표시를 위한 사용자 장치 및 그 방법
KR101330805B1 (ko) * 2010-08-18 2013-11-18 주식회사 팬택 증강 현실 제공 장치 및 방법
KR101719264B1 (ko) * 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
KR20120095247A (ko) * 2011-02-18 2012-08-28 삼성전자주식회사 모바일 디바이스 및 그 정보 표시 방법
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US20130176334A1 (en) * 2012-01-09 2013-07-11 Nokia Corporation Method and apparatus for analyzing clustering of mixed reality content and computaions
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
EP2820576A4 (en) 2012-02-29 2015-11-18 Nokia Technologies Oy METHOD AND DEVICE FOR PRESENTING OBJECTS AT A USER INTERFACE
US9240076B2 (en) * 2012-03-27 2016-01-19 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus, server apparatus, information processing method
WO2013156987A1 (en) * 2012-04-16 2013-10-24 Xtendi Software Technologies Ltd. Proximity-based interface system and method
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US9339726B2 (en) * 2012-06-29 2016-05-17 Nokia Technologies Oy Method and apparatus for modifying the presentation of information based on the visual complexity of environment information
CN103546447B (zh) * 2012-07-17 2018-04-06 腾讯科技(深圳)有限公司 信息展示方法和系统、客户端、服务器
GB201216210D0 (en) * 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
US8595317B1 (en) 2012-09-14 2013-11-26 Geofeedr, Inc. System and method for generating, accessing, and updating geofeeds
US20150062114A1 (en) * 2012-10-23 2015-03-05 Andrew Ofstad Displaying textual information related to geolocated images
KR20140055703A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 컨텐츠 공유 방법 및 시스템
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US8639767B1 (en) 2012-12-07 2014-01-28 Geofeedr, Inc. System and method for generating and managing geofeed-based alerts
US8655983B1 (en) 2012-12-07 2014-02-18 Geofeedr, Inc. System and method for location monitoring based on organized geofeeds
JP6049452B2 (ja) * 2012-12-29 2016-12-21 キヤノン株式会社 情報表示装置、情報表示システム、それらの制御方法、及びプログラム
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US9632658B2 (en) * 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
WO2014127249A1 (en) * 2013-02-14 2014-08-21 Apx Labs, Llc Representing and interacting with geo-located markers
US9307353B2 (en) 2013-03-07 2016-04-05 Geofeedia, Inc. System and method for differentially processing a location input for content providers that use different location input formats
US8850531B1 (en) 2013-03-07 2014-09-30 Geofeedia, Inc. System and method for targeted messaging, workflow management, and digital rights management for geofeeds
US8612533B1 (en) 2013-03-07 2013-12-17 Geofeedr, Inc. System and method for creating and managing geofeeds
US8862589B2 (en) 2013-03-15 2014-10-14 Geofeedia, Inc. System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers
US8849935B1 (en) 2013-03-15 2014-09-30 Geofeedia, Inc. Systems and method for generating three-dimensional geofeeds, orientation-based geofeeds, and geofeeds based on ambient conditions based on content provided by social media content providers
US9317600B2 (en) * 2013-03-15 2016-04-19 Geofeedia, Inc. View of a physical space augmented with social media content originating from a geo-location of the physical space
CN104063111A (zh) * 2013-03-21 2014-09-24 联想(北京)有限公司 信息处理的方法及电子设备
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
US9235051B2 (en) * 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
JP6205189B2 (ja) * 2013-06-28 2017-09-27 オリンパス株式会社 情報提示システム及び情報提示システムの制御方法
WO2015043620A1 (en) * 2013-09-24 2015-04-02 Metaio Gmbh Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
GB201404990D0 (en) 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
EP3132379B1 (en) * 2014-04-15 2018-11-07 Huntington Ingalls Incorporated System and method for augmented reality display of dynamic environment information
US9767615B2 (en) 2014-04-23 2017-09-19 Raytheon Company Systems and methods for context based information delivery using augmented reality
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
WO2015164755A1 (en) 2014-04-25 2015-10-29 Huntington Ingalls Incorporated Augmented reality display of dynamic target object information
US10147234B2 (en) 2014-06-09 2018-12-04 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US10504294B2 (en) 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
US10915754B2 (en) 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
GB201410285D0 (en) 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
US9898867B2 (en) 2014-07-16 2018-02-20 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
US10102669B2 (en) 2014-09-08 2018-10-16 Apple Inc. Density sampling map labels
US10074027B2 (en) * 2014-09-08 2018-09-11 Apple Inc. Density sampling map data
US20160162592A1 (en) * 2014-12-09 2016-06-09 Chian Chiu Li Systems And Methods For Performing Task Using Simple Code
US9557951B2 (en) * 2015-03-04 2017-01-31 International Business Machines Corporation Filtering information within augmented reality overlays
US9563983B2 (en) 2015-03-04 2017-02-07 International Business Machines Corporation Filtering information within augmented reality overlays
JP6481456B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US9485318B1 (en) 2015-07-29 2016-11-01 Geofeedia, Inc. System and method for identifying influential social media and providing location-based alerts
US10867606B2 (en) 2015-12-08 2020-12-15 Chian Chiu Li Systems and methods for performing task using simple code
EP3236336B1 (en) * 2016-04-21 2019-03-27 Nokia Technologies Oy Virtual reality causal summary content
US11212437B2 (en) * 2016-06-06 2021-12-28 Bryan COLIN Immersive capture and review
US10805696B1 (en) * 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US10334134B1 (en) * 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US10638256B1 (en) * 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
WO2018100874A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
DE102017200323A1 (de) * 2017-01-11 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Datenbrille mit halbtransparenten Anzeigeflächen für ein Anzeigesystem
US10104605B1 (en) * 2017-05-22 2018-10-16 Amazon Technologies, Inc. Location-based service zone management for a geographic region
US10757531B1 (en) 2017-05-22 2020-08-25 Amazon Technologies, Inc. Time-restricted location-based service zone management
IT201700058961A1 (it) 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo
US11410330B2 (en) * 2017-05-30 2022-08-09 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
US10129694B1 (en) 2017-08-07 2018-11-13 Amazon Technologies, Inc. High density location-based service zone management for a geographic region
US10531372B1 (en) 2017-08-07 2020-01-07 Amazon Technologies, Inc. Location-based service zone cluster management and monitoring
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
HUP1700512A2 (hu) * 2017-12-08 2019-06-28 Curious Lab Tech Limited Eljárás virtuális- vagy kiterjesztett valóság létrehozására, valamint virtuális- vagy kiterjesztett valóság létrehozására szolgáló rendszer
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US10984546B2 (en) * 2019-02-28 2021-04-20 Apple Inc. Enabling automatic measurements
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
US11386898B2 (en) 2019-05-27 2022-07-12 Chian Chiu Li Systems and methods for performing task using simple code
US11670144B2 (en) 2020-09-14 2023-06-06 Apple Inc. User interfaces for indicating distance

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US20010055063A1 (en) * 2000-05-26 2001-12-27 Honda Giken Kogyo Kabushiki Kaisha Position detection apparatus, position detection method and position detection program
US20030001890A1 (en) * 2001-06-13 2003-01-02 Brin Glen David Interactive communication between a plurality of users
US20050216558A1 (en) * 2004-03-12 2005-09-29 Prototerra, Inc. System and method for client side managed data prioritization and connections
CN101680766A (zh) * 2007-05-31 2010-03-24 松下电器产业株式会社 图像摄影装置、附加信息提供服务器及附加信息过滤系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US6301579B1 (en) 1998-10-20 2001-10-09 Silicon Graphics, Inc. Method, system, and computer program product for visualizing a data structure
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US7379077B2 (en) 2001-08-23 2008-05-27 Siemens Corporate Research, Inc. Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment
JP4117782B2 (ja) 2003-02-03 2008-07-16 アルパイン株式会社 ナビゲーション装置
US20040243307A1 (en) * 2003-06-02 2004-12-02 Pieter Geelen Personal GPS navigation device
EP1603358A1 (en) * 2004-06-04 2005-12-07 Sony Ericsson Mobile Communications AB Radio communication equipment and method of controlling said radio communication equipment
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
EP1847963A1 (en) 2006-04-20 2007-10-24 Koninklijke KPN N.V. Method and system for displaying visual information on a display
US20080122834A1 (en) * 2006-11-28 2008-05-29 Dror Ouzana 3d line of sight (los) analysis of 3d vertical barriers in 3d virtual reality environments
JP4870546B2 (ja) * 2006-12-27 2012-02-08 株式会社岩根研究所 レイヤー生成・選択機能を備えたcvタグ映像表示装置
JP4947423B2 (ja) * 2007-08-29 2012-06-06 コニカミノルタオプト株式会社 撮像レンズ
US8041077B2 (en) * 2007-12-18 2011-10-18 Robert Bosch Gmbh Method of motion detection and autonomous motion tracking using dynamic sensitivity masks in a pan-tilt camera
TW200946873A (en) * 2008-05-02 2009-11-16 Tomtom Int Bv A navigation device and method for displaying map information
JP4600515B2 (ja) * 2008-05-07 2010-12-15 ソニー株式会社 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP4816748B2 (ja) * 2009-03-06 2011-11-16 ソニー株式会社 ナビゲーション装置及びナビゲーション方法
US20100228612A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Device transaction model and services based on directional information of device
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US20010055063A1 (en) * 2000-05-26 2001-12-27 Honda Giken Kogyo Kabushiki Kaisha Position detection apparatus, position detection method and position detection program
US20030001890A1 (en) * 2001-06-13 2003-01-02 Brin Glen David Interactive communication between a plurality of users
US20050216558A1 (en) * 2004-03-12 2005-09-29 Prototerra, Inc. System and method for client side managed data prioritization and connections
CN101680766A (zh) * 2007-05-31 2010-03-24 松下电器产业株式会社 图像摄影装置、附加信息提供服务器及附加信息过滤系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107466008A (zh) * 2013-10-22 2017-12-12 华为终端(东莞)有限公司 一种移动终端的消息呈现方法及移动终端
CN107466008B (zh) * 2013-10-22 2020-12-25 华为终端有限公司 一种移动终端的消息呈现方法及移动终端
CN113076025A (zh) * 2014-11-27 2021-07-06 三星电子株式会社 可穿戴设备
CN113076025B (zh) * 2014-11-27 2023-11-07 三星电子株式会社 可穿戴设备
CN110313021A (zh) * 2017-03-06 2019-10-08 Line 株式会社 用于提供增强现实的方法和设备以及计算机程序
CN110313021B (zh) * 2017-03-06 2023-07-25 连株式会社 增强现实提供方法、装置以及计算机可读记录介质
CN110621984A (zh) * 2017-06-26 2019-12-27 美的集团股份有限公司 用于改进质量检查的方法和系统
CN108829368A (zh) * 2018-06-29 2018-11-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN108829368B (zh) * 2018-06-29 2021-07-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN112823299A (zh) * 2018-10-01 2021-05-18 镭亚股份有限公司 全息现实系统、多视图显示器和方法
CN112823299B (zh) * 2018-10-01 2024-03-29 镭亚股份有限公司 全息现实系统、多视图显示器和方法
CN111813226A (zh) * 2019-07-11 2020-10-23 谷歌有限责任公司 使用手势和ui控制的遮挡平面通过深度遍历照片增强信息

Also Published As

Publication number Publication date
EP2589024B1 (en) 2019-08-28
JP2013541058A (ja) 2013-11-07
US20120001938A1 (en) 2012-01-05
CN103080933B (zh) 2016-09-21
EP2589024A1 (en) 2013-05-08
WO2012001218A1 (en) 2012-01-05
US8963954B2 (en) 2015-02-24
JP6259493B2 (ja) 2018-01-10
EP2589024A4 (en) 2016-10-12
JP2016219020A (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
CN103080933A (zh) 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品
KR102614536B1 (ko) 가상 비전 시스템
CA2804096C (en) Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
US9710554B2 (en) Methods, apparatuses and computer program products for grouping content in augmented reality
US11670025B2 (en) Mobile-based cartographic control of display content
JP2013539090A5 (zh)
US20130332279A1 (en) Method and apparatus for location-based advertisements for dynamic points of interest
US11782933B2 (en) Search result optimization using machine learning models
US20180082477A1 (en) Systems and Methods for Improved Data Integration in Virtual Reality Architectures
US11068959B1 (en) Systems and methods for generating recommendations based on online history information and geospatial data
US9516467B1 (en) Mobile device applications associated with geo-locations
WO2016005799A1 (en) Social networking system and method
US20150099545A1 (en) Location information-based communication apparatus and method, and location information-based communication application apparatus
Pei et al. Location-based services and navigation in smart phones

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151231

Address after: Espoo, Finland

Applicant after: NOKIA TECHNOLOGIES OY

Address before: Espoo, Finland

Applicant before: NOKIA Corp.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160921

Termination date: 20220210

CF01 Termination of patent right due to non-payment of annual fee