CN103221953A - 在增强现实中用于分组内容的方法,装置和计算机程序产品 - Google Patents

在增强现实中用于分组内容的方法,装置和计算机程序产品 Download PDF

Info

Publication number
CN103221953A
CN103221953A CN201180056310XA CN201180056310A CN103221953A CN 103221953 A CN103221953 A CN 103221953A CN 201180056310X A CN201180056310X A CN 201180056310XA CN 201180056310 A CN201180056310 A CN 201180056310A CN 103221953 A CN103221953 A CN 103221953A
Authority
CN
China
Prior art keywords
real world
virtual objects
group
objects
world objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180056310XA
Other languages
English (en)
Other versions
CN103221953B (zh
Inventor
J·桑德伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103221953A publication Critical patent/CN103221953A/zh
Application granted granted Critical
Publication of CN103221953B publication Critical patent/CN103221953B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/748Hypervideo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Processing Or Creating Images (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种用于在增强现实环境中分组内容的装置,该装置可包括处理器和存储有可执行的计算机代码的存储器,该计算机代码使装置至少执行当前正被显示的当前位置的包括接收现实世界对象的检测的操作。该计算机程序代码可进一步使该装置确定一个或多个现实世界对象是否沿着线方向定位并确定对应于沿着线定位的真实世界对象的虚拟对象。该计算机程序代码可进一步使该装置显示可视标记项目,该可视标记项目表示与虚拟对象相关的组,该虚拟对象被定位以用来对应于至少一个沿着线定位的现实世界对象。同样提出对应的方法和计算机程序产品。

Description

在增强现实中用于分组内容的方法,装置和计算机程序产品
技术领域
本发明的实施例通常涉及用户界面技术,并且更具体地涉及在增强现实环境中用于分组内容的方法,装置和计算机产品。
背景技术
现代通信时代带来了有线和无线网络的巨大扩展。计算机网络,电视网络,和电话网络正在经历一场由消费需求推动的空前技术扩展。无线和移动网络技术已解决相关的消费需求,同时提供更灵活和直接的信息传递。
当今和未来的网络化技术继续促进信息传送的便利和方便用户。由于现在普遍存在的电通信设备的特性,所有年龄段和教育程度的人们正使用电子设备与其他个人或联系人通信,接收服务和/或共享信息,介质和其他内容。在其中的一个领域存在增加信息传送的简易性的需求,该信息涉及到移动终端用户的传送服务。该服务可以采用特定介质或用户期望的通信应用的形式,例如音乐播放器,游戏播放器,电子书,短消息,电子邮件,内容共享等。该服务也可以采用交互应用程序的形式,在其中用户可以为了完成任务或达到目标而响应网络设备。
在某些情况下,移动终端可增强用户和他们的环境之间所具有的交互。很多使用的案例已围绕利用增强用户与它们的局部区域的交互的移动终端的概念来开发,该概念例如虚拟的旅行指南和其他混合的现实应用。混合的现实涉及真实和虚拟世界的合并。在某些情况中,混合现实涉及混合现实世界图像数据与虚拟目标以用来产生物理和数字对象并存的环境和可视化并且也潜在地实时互动。混合现实包括增强现实,其使用数字成像以增强或增加现实世界成像,和使用计算机仿真模拟现实世界环境的虚拟现实。
增强现实(AR)是一个快速增长的领域,该领域现在在许多移动平台(例如,SymbianTM,AndroidTM,iPhoneTM,Windows MobileTM等)上可用。增强现实的概念覆盖来自通信设备摄像机的实时视频流或静态图像上的图片或信息。图片/信息可以是任意种类。在关于其中的环境和对象的增强现实图片/信息中,可以存储并作为现实世界视图之上的信息层检索。
增强现实的常见用途是覆盖在视频流或静态图像上的兴趣点(POI)。这些POI可以与静态信息相关联,例如类似地标或任意可以被地理编码(例如包含坐标)的信息。在图1中可以看出增强现实的使用的例子,在其中由增强现实应用提供的信息可以覆盖在通信设备的摄像机视图上。由增强现实应用提供的信息可对应于描述与在现实世界中的本地地点(例如,博物馆,运动场等)相关联的兴趣点的图标2,4,6,8,12,14,15,16,这些本地地点可由通信设备的摄像机捕获。
例如当消费者按下一个图标时,可以向用户呈现更多与所选择图标相关的物品的信息。举例来说,当消费者在新的地点并且想要获得关于它们看到的事物的信息时,可由消费者使用增强现实。通过站在一个旅游景点前并且把摄像机指向景点,消费者可获得关于景点的信息。
与当前增强现实应用相关联的共同问题是AR应用可提供的信息可在相同的方向上与信息具有不同距离地在彼此之后设置。同样地,可能难以将这个信息呈现到通信设备的显示器上。例如,与最接近通信设备的信息相关联的图标可能阻塞视图以使信息进一步远离通信设备。在这点上,由增强现实应用提供的一些信息可能不是可见的,因为它可能藏在可更接近于通信设备的其他信息后面。
例如,考虑在其中近似沿着线1布置四个兴趣点3,5,7,9的图2。如果通信设备的用户位于线1的任意一端,且在线1的方向上指向通信设备的摄像机,一些通过摄像机捕获的兴趣点可在通信设备的显示器上被阻挡并隐藏。例如,用户能够浏览最接近通信设备的兴趣点(例如,兴趣点3)但是可能不能浏览并访问沿着线1进一步远离的兴趣点(例如,兴趣点5,7,9)因为这些兴趣点可被布置在最接近的兴趣点后面(例如,兴趣点3)。
如图3所示,目前当用户利用通信设备捕获实际上沿着线(例如,线1)布置的兴趣点时,可由AR应用将最接近通信设备的兴趣点3提供到通信设备的显示器。另一方面,进一步远离通信设备的实际上沿着线1的兴趣点(例如兴趣点5,7,9)可在显示器上被隐藏或阻挡。同样地,用户可能没有察觉到另外的兴趣点可用于选择。
通常,通过允许通信设备的用户选择在其中用户想要看到信息的固定范围或距离来获得在增强现实中实际上沿着线在相同方向上的兴趣点的显示。例如,用户可以利用通信设备通过指示通信设备用户想要看到的2千米内的所有信息以选择固定的范围/距离。但是,这个现有的方法存在不能精确解决核心问题的缺点。例如,通过利用这个方法,用户可以在最接近的兴趣点后面移除一些兴趣点。同样地,通信设备可能不启动到可能对于用户是感兴趣的信息的浏览和访问。在这点上,用户可能不能看到更远的兴趣点。
考虑到前述缺陷,可希望提供一种使实际上沿着直线放置的兴趣点能够经由增强现实环境中的通信设备被显示和可访问的有效可靠的机制。
发明内容
因此提供一种用于在增强现实环境中分组显示内容项的方法,装置和计算机程序产品。示例实施例可消除涉及示出从设备位置开始沿着线(例如,直线)以相同视角定位的位置或对象的问题。这可以通过包括对应于在组(多个组)中的位置和对象的所有兴趣点来获得。可能通过可在显示器上示出的可视标记表示兴趣点的组。可视标记可以但是不必对应于文件夹,标签,菜单等的图形表示。组的兴趣点可经由显示器以容易识别的方式示出并访问,即使相应的位置和对象可能实质上或大约沿着相同方向的线定位。选择描述该组的可视标记可打开(例如,展开文件夹的图形表示)该组并使在组内的兴趣点能够用于浏览并可由通信设备的用户访问。
在一个示例实施例中,当组打开时,通信设备的用户可访问组中的兴趣点。应当指出的是组可以在初次选择可视标记随后的时间点通过选择表示组的可视标记被再次关闭。
示例实施例的一个优点是当利用增强现实时,它可以为通信设备用户提供更好的体验。在这点上,示例实施例可以向用户展示更多兴趣点,因为兴趣点可能不会彼此阻挡或隐藏,并可以直接的方式经由通信设备的显示器示出。
在一个示例实施例中,提供了一种用于在增强现实环境中分组内容的方法。该方法可包括接收当前正被显示的现实世界对象的检测并确定一个或多个现实世界对象是否沿着线的方向定位。现实世界对象与当前位置相关。该方法可进一步包括确定对应于现实世界对象的虚拟对象,该现实世界对象沿着线定位并实现代表组的可视标记项,该组被定位以用于对应于沿着线定位的现实世界对象中的至少一个。组与虚拟对象相关联。
在另一个示例实施例中,提供一种用于在增强现实环境中分组内容的装置。该装置可包括处理器和包括计算机程序代码的存储器。该存储器和计算机程序代码被配置为,采用处理器使装置至少执行包括接收当前正被显示的现实世界对象的检测的操作和确定一个或多个现实世界对象是否沿着线的方向定位。现实世界对象与当前位置有关。存储器和计算机程序代码可进一步使装置确定对应于沿着线定位的现实世界对象的虚拟对象,并实现代表组的可视标记项目的显示,定位该组以用来对应于至少一个沿着线定位现实世界对象。该组与虚拟对象相关联。
在另一个示例实施例中,提供一种用于在增强现实环境中分组内容的计算机程序产品。该计算机程序产品包括至少一个在其中存储有计算机可执行程序代码指令的计算机可读存储介质。该计算机可执行程序代码指令可包括被配置为导致当前正被显示的现实世界对象的检测的接收并且确定一个和多个现实世界对象是否沿着线的方向定位的程序代码指令。现实世界对象与当前位置相关。程序代码指令也可以被配置为确定对应于现实世界对象的虚拟对象,该现实世界对象沿着线定位并实现代表组的可视标记项的显示,定位该组以用来对应于至少一个沿着线定位的现实世界对象。该组与虚拟对象相关联。
在另一个示例实施例中,提供一种用于在增强现实环境中分组内容的装置。该装置可包括用于接收当前正被显示的现实世界对象的检测的部件,和用于确定一个和多个现实世界对象是否沿着线定位的部件。现实世界对象与当前位置相关。该装置还可包括用于确定对应于沿着线定位的现实世界对象的虚拟对象的部件和用于实现代表组的可视标记项的显示的部件,定位该组以用来对应于至少一个沿着线定位的现实世界对象。该组与虚拟对象相关联。
因为用户能够浏览并访问实质上可沿直线布置的虚拟信息,而不用花费时间选择可减少用于浏览和访问可用的兴趣点数量的固定的范围或距离,本发明的实施例可提供更好的用户体验。因此,设备用户可享受关于经由设备可用的应用和服务的改进能力。
附图说明
因此已经笼统地描述了本发明的实施例,现在将参考不一定按比例绘制的附图,其中:
图1是由增强现实应用提供的用于当前位置的虚拟信息视图的图示;
图2是大约位于线上的兴趣点视图的图示;
图3是由增强现实应用提供的沿着线的兴趣点视图的图示;
图4是根据本发明示例实施例的系统的方框图;
图5是根据本发明示例实施例用于在增强现实环境中分组内容项的装置的方框图;
图6是图示在根据本发明的示例实施例的方向上大约沿着线放置的一组内容项的图示;
图7是图示根据本发明的示例实施例在增强现实中的一组多个兴趣点的图示;
图8是图示根据本发明的示例实施例在增强现实中的一组内容的图示;
图9是根据本发明的示例实施例的系统的方框图;
图10是根据本发明示例实施例的网络实体的方框图;和
图11图示用于根据本发明的示例实施例在增强现实环境中分组内容项目的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明的一些实施例,在其中示出了一些,但不是全部实施例。当然,本发明的各种实施例可以以许多不同的形式实现并且不应当被理解为对在此陈述的实施例的限制。相同的参考标记始终指示相同的元件。如在此所使用的,依据本发明的实施例可交替使用术语“数据”,“内容”,“信息”以及类似术语以指代能够被发送,接收和/或存储的数据。此外,如在此使用的术语“示例性的”提供以表达任意定性的评估,而仅仅是表示示例的图示。因此,任意该术语的使用将不作为对本发明实施例的精神和范围的限制。
此外,如同在此所使用的,术语“电路”指:(a)仅硬件电路设备(例如以模拟电路和/或数字电路的实现);(b)包括电路和存储在一个或多个计算机可读存储器上的软件和/或固件指令的计算机程序产品的组合,其中软件和/或固件共同工作以使装置执行一个或多个在此描述的功能;和(c)电路,诸如例如微处理器或微处理器的一部分,其需要软件或固件来操作,即使软件或固件并不是在物理上存在的。这个“电路”的定义适用于包括在任意权利要求中在此的该术语的所有使用。如同在这里使用的其他实施例一样,术语“电路”也包括包含一个或多个处理器和/或其一部分的设备及其附带的软件和/或固件。如另一个实施例,在此使用的术语“电路”也包括,例如在服务器,蜂窝网络设备,其他网络设备,和/或其他计算设备中的用于移动电话或类似的集成电路的基带集成电路或应用处理器集成电路。
如在此定义的指代非暂态,实质的或有形的存储介质(例如,易失性的或非易失性的存储设备)的“计算机可读存储介质”,可与指代电磁信号的“计算机可读传输介质”区分。
在此所指的“视图距离”或“视图范围”可涉及能够浏览可在显示器(例如显示器的摄像机视图)上示出的信息(例如,虚拟信息)的设备(例如,摄像机模块36)中的距离。出于说明的目的而不是作为限制,当视图距离被设置为400米时,定位于离用户装置或设备420米距离处的信息(例如虚拟信息)可不在显示器上示出。另一方面,定位于离设备或装置390米距离处的信息可在显示器上示出。
此外,如在此所使用的,术语“摄像机视角”或“摄像机视场”可指可在显示器上示出的摄像机角度。如在此所指的,术语“兴趣点”(POI),“虚拟信息项”,“虚拟对象”和类似的术语可交互使用以指包含某些信息(例如,文本,音频数据,诸如图像,图片,视频数据等的媒体内容)或与之相关联的空间中的点(例如,诸如对于经度,纬度,海拔高度的地理坐标)。虚拟信息的兴趣点或项可由图形元素(例如图标,象形符等)标注在显示器上。此外,兴趣点可对应一个或多个由媒体捕获设备(例如,摄像机模块36)捕获的现实世界对象,在其中现实世界对象可实质上或大致沿着线被定位。在一个实施例中,由位于在线的特定阈值(例如,±5度)内的特定方向的设备捕获的现实世界对象,可被认为沿着线定位。同样地,与这些现实世界对象相关联的兴趣点在一个例子中可被认为沿着线布置,在其中现实世界对象在线(例如,直线)的预定阈值(例如,±5度)内。
此外,如在此所指的“沿着线方向定位”和类似的术语意为在线上或邻近或大致在线上,例如在距离线的阈值(例如,以角度,线性距离等测量的)内。
图4图示通用的系统框图,在其中在示例通信环境中示出例如移动终端10的设备。如图4所示,根据本发明的示例实施例的系统的实施例可包括第一通信设备(例如,移动终端10)和能够经由网络30彼此通信的第二通信设备20。在一些情况下,本发明的实施例可进一步包括一个或多个额外的通信设备,其中一个在图4中作为第三通信设备25来描述。但是,不是所有本发明实施例所采用的系统可包括所有在此图示和/或描述的设备。虽然移动终端10和/或第二和第三通信设备20和25的实施例可出于示例的目的在下文中说明和/或描述,但是其他类型的终端,例如个人数字助理(PDA),寻呼机,移动电视,移动电话,游戏设备,膝上电脑,照相机,录像机,音频/视频播放器,收音机,全球定位系统(GPS)设备,蓝牙耳机,通用串行总线(USB)设备或任意上述的组合,和其他类型的语音和文本通信系统,可容易地采用本发明的实施例。此外,不移动的设备,例如服务器和个人电脑也同样可容易地采用本发明的实施例。
网络30可包括多个不同节点(其中的第二和第三通信设备20和25可作为示例),设备或功能的集合,其中不同节点,设备或功能之间经由相应的有线和/或无线接口相互通信。这样,图4的图示应当被理解为系统某些元件的广泛视图的示例,而不是系统或网络30的所有总括或详细视图。尽管不是必需的,在一个实施例中,网络30能够支持根据许多第一代(1G),第二代(2G),2.5G,第三代(3G),3.5G,3.9G,第四代(4G)移动通信协议,长期演进(LTE),LTE先进(LTE-A)和/或类似的任意一个或多个的通信。在一个实施例中,网络30可以是点对点(P2P)网络。
诸如移动终端10和第二和第三通信设备20和25的一个或多个通信终端可经由网络30彼此通信,且每一个可包括用于发送信号到基站和从基站接收信号的一个或多个天线,其例如可以是可耦接到数据网络的一个或多个蜂窝或移动网络或接入点的一部分的基站,该数据网络例如是局域网(LAN),城域网(MAN)和/或广域网(WAN),例如因特网。反过来,诸如处理元件(例如,个人计算机,服务器计算机等)的其他设备可经由网络30耦接到移动终端10和第二和第三通信设备20和25。通过直接地或间接地将移动终端10和第二和第三通信设备20和25(和/或其他设备)连接到网络30,移动终端10和第二和第三通信设备20和25可被启动以与其他设备或彼此间的通信,例如,根据包括超级文本传输协议(HTTP)和/或类似的多个通信协议,以从而分别执行移动终端10和第二和第三通信设备20和25的多个通信或其他功能。
此外,尽管图4中没有示出,但是移动终端10和第二和第三通信设备20和25可根据例如无线射频(RF),近场通信(NFC),蓝牙(BT),红外(IR)或多个不同的有线或无线通信技术中的任一个通信,该有线或无线通信技术包括局域网(LAN),无线局域网(WLAN),全球微波互联接入(WiMAX),无线保真(WiFi),超宽带(UWB),Wibree和/或类似的技术。同样,移动终端10和第二和第三通信设备20和25可被启动以通过多个不同接入机制中的任一个与网络30以及彼此通信。例如,诸如宽带码分多址访问(W-CDMA),CDMA2000,全球移动通信系统(GSM),通用分组无线业务(GPRS)和/或类似的移动接入机制可同样被诸如WLAN,WiMAX,和/或类似的无线接入机制和诸如数字用户线(DSL),电缆调制解调器,以太网和/或类似的固定接入机制支持。
在示例实施例中,第一通信设备(例如,移动终端10)可以是诸如例如无线电话或诸如个人数字助理(PDA),移动计算设备,照相机,录像机,音频/视频播放器,定位设备,游戏设备,电视设备,无线电设备,或各种其他类似的设备及其组合的其他设备的移动通信设备。第二通信设备20和第三通信设备25可以是移动或固定通信设备。但是,在一个例子中,第二通信设备20和第三通信设备25可以是服务器,远程计算机或终端,诸如例如个人电脑(PC)或膝上电脑。
在示例实施例中,网络30可以是被布置为智能空间的特别或分布式网络。因此,设备可进入和/或离开网络30并且网络30的设备能够基于其他设备的入口和/或出口调整操作以解释各个设备或节点和它们的相应能力的增加和减少。在示例实施例中,与网络30通信的一个或多个设备可采用AR分组模块(例如,图5的AR分组模块78)。AR分组模块可启动实际上沿线放置的兴趣点的检测并包括用于访问和浏览的组(同样在此作为“视图组”指出)中所检测的兴趣点。
AR分组模块可以多种方式产生视图组,包括作为文件夹,标签,菜单,按钮等。AR分组模块可经由设备启动视图组的显示。当装置的用户经由显示器选择视图组时,AR分组模块可启动要打开的视图组。在这点上,在视图组可以是文件夹等的例子中,文件夹可被打开以用作视图组打开的可视标记。在视图组打开的例子中,用户可选择包括在视图组中的一个和多个所显示的内容项目(例如兴趣点)。内容项可以是与一个或多个图标相关联的兴趣点。当视图组被打开时,用户可访问包括在视图组中的兴趣点。在这点上,AR分组模块可启动与访问的兴趣点相关联的信息显示的提供。AR分组模块可响应于指示的接收来关闭已打开的兴趣组,其中该指示是装置用户在各个视图组的初始选择后的时间处选择视图组。例如,在示例实施例中,其中视图组可以是文件夹等,打开的文件夹可响应在文件夹的初始选择之后的时间的文件夹选择的接收通过AR分组模块关闭(因为文件夹的初始选择启动AR分组模块打开文件夹)。
在示例实施例中,移动终端10和第二和第三通信设备20和25可被配置为包括AR分组模块。但是,在替换实施例中移动终端10可包括AR分组模块并且第二和第三通信设备20和25的移动终端10可以是诸如服务器或类似的可被配置为相互通信和/或与移动终端10通信的网络实体。例如,在示例实施例中,第二通信设备20可以是与特定信息源或服务器(例如,局部增强/虚拟现实服务,映射服务,查找服务,媒体提供服务等)相关联的指定服务器(或服务器集),或第二通信设备20可以是与一个或多个其他功能或服务相关的后端服务器。同样地,第二通信设备20可表示用于多个不同服务或信息源的潜在主机。在一个实施例中,可通过被配置为根据提供给通信设备用户的信息的技术来操作的硬件和/或软件组件提供第二通信设备20的功能。但是,由第二通信设备20提供的至少一些功能可根据本发明的示例实施例提供信息。
在示例实施例中,第二通信设备20可管理用于提供局部增强/虚拟现实服务的装置和/或可管理提供信息(例如,文本,图像,视频,音频数据等)给实践本发明实施例的设备(例如,移动终端10)的提供服务。局部增强/虚拟现实服务可提供有关在设备(例如,移动终端10)的摄像机视图中显示的环境和在环境中的现实世界对象的虚拟/增强信息项。
第三通信设备25同样可以是提供多个功能或与各种信息源和服务(例如,局部虚拟/增强现实服务,映射服务,搜索服务,媒体提供服务等)相关联的服务器。在这点上,第三通信设备25可管理用于提供虚拟/增强现实信息到第二通信设备20以启动第二通信设备来提供虚拟/增强现实信息给实践本发明实施例的设备(例如,移动终端10)的设备。由第三通信设备25提供给第二通信设备20的虚拟/增强现实信息可提供关于在设备(例如,移动终端10)的摄像机视图中显示的环境和在环境中的对象的信息。
同样地,在一个实施例中,移动终端10可自己执行示例实施例。在另一个实施例中,第二和第三通信设备20和25可利用(例如,通过增强/虚拟现实信息的提供)在另一个设备(例如,移动终端10)处的示例实施例的操作。在又一示例实施例中,可以不用完全包括第二和第三通信设备20和25。
图5图示在增强现实中,与大致沿着线定位的兴趣点的,用于分组一个和多个内容项的装置的原理框图。现在将参考图5描述本发明的示例实施例,在其中显示装置50的某些元件。可采用图5的例如在移动终端10(和/或第二通信设备20或第三通信设备25)上的装置50。此外,装置50可在网络30的网络设备上实现。但是装置50可替换地在各种其他设备上实施,包括移动的和固定的(诸如例如上面列出的任意设备)。在某些情况下,可在设备的组合上使用实施例。因此,本发明的一个实施例可通过以分布式方式的多个设备(例如,在P2P网络中的一个或多个设备上)或通过客户端/服务器关系中的设备完全在单个设备(例如,移动终端10)上实施。此外,应当注意的是下面描述的设备或元件可以不是强制性的且因此某些可在某个实施例中忽略。
现在参考图5,装置50可包括处理器70,用户界面67,通信界面74,存储器设备76,显示器85,定向模块71,增强现实(AR)分组模块78,定位传感器72,摄像机模块36和AR资源库84或否则与之通信。在一个示例实施例中,显示器85可以是触摸屏显示器。存储器设备76例如可包括易失性和/或非易失性存储器。例如,存储器设备76可以是电子存储设备(例如,计算机可读存储介质),其包括被配置为存储由机器(例如,类似处理器70的计算设备)可获得的数据(例如,位)的门电路。在示例实施例中,存储器设备76可以是非瞬态的有形存储器设备。存储器设备76可被配置为存储信息,数据,文件,应用,指令或类似的用于使装置能够根据本发明的示例实施例来执行不同功能。例如,存储器设备76可被配置为缓冲用于通过处理器70处理的输入数据。此外或替换地,存储设备76可被配置为存储用于通过处理器70执行的指令。作为又一替换,存储器设备76可以是存储信息和/或媒体内容(例如,图片,视频等)的一个或多个数据库。
存储器设备76可以存储与位置信息相关联的地理编码信息,该位置信息对应于坐标,诸如例如现实世界对象的经度,维度和/或海拔坐标。地理编码信息可由处理器70和/或AR分组模块78评估并且将与地理编码信息相关的数据提供到显示器的摄像机视图。在示例实施例中,处理器70和/或AR分组模块78可响应于在对应于地理编码信息的位置信息的显示器的摄像机视图上示出的现实世界对象的位置的确定,可提供与地理编码信息相关联的信息给显示器的摄像机视图。
在一个实施例中,装置50可以是移动终端(例如,移动终端10)或固定通信设备或配置为采用本发明示例实施例的计算设备。但是,在一个实施例中,装置50可以实施为芯片或芯片组。换句话说,装置50可包括一个或多个在结构组件(例如基板)上包括材料,部件和/或线的物理封装(例如芯片)。结构组件可提供物理强度,尺寸保护和/或在其上包括的部件电路的电交互限制。因此,装置50在某些情况下,可被配置为在单个芯片或作为单独的“芯片上系统”上实施本发明的实施例。同样地,在某些情况下,芯片或芯片组可构成用于执行一个或多个用于提供在此描述的功能的操作的部件。此外或替换地,芯片或芯片组可构成用于启动关于在此描述的功能和/或服务的用户界面导航的部件。
处理器70可以多种不同方式实施。例如,处理器70可作为诸如协处理器,微处理器,控制器,数字信号处理器(DSP),具有或不具有附加DSP的处理电路,或各种包括集成电路的各种其他处理设备的一个或多个各种处理部件来实施,其中集成电路诸如例如ASIC(专用集成电路),FPGA(现场可编程门阵列),微控制器单元(MCU),硬件加速器,专用计算机芯片等。在示例实施例中,处理器70可被配置为执行存储在存储器设备76中或另外对于处理器70可访问的指令。同样地,不管通过硬件还是软件方法,或通过其组合配置,处理器70都可代表能够在相应地配置的同时执行根据本发明实施例的操作的实体(例如,在电路中实际实现)。因此,例如当处理器70作为ASIC,FPGA等实施时,处理器70可被特别配置为用于引导在此描述的操作的硬件。替代地另一个示例中,当处理器70作为软件指令的执行器实施时,指令可特别配置处理器70以当执行指令时执行在此描述的算法和操作。但是,在某些情况下,处理器70可以是适用于通过处理器70的进一步配置采用本发明实施例的指定设备(例如,移动终端或网络设备)的处理器,其中处理器70通过用于执行在此描述的算法和操作的指令配置。处理器70可以特别包括时钟,算术逻辑单元(ALU)和被配置为支持处理器70操作的逻辑门。
在示例实施例中,处理器70可被配置为操作连接程序,诸如浏览器,增强现实(AR)浏览器,网页浏览器等。在这点上,连接程序可启动装置50以根据无线应用协议(WAP)发送和接收网页内容,诸如例如基于位置的内容或其他合适的内容。应当指出的是AR浏览器可以是在具有信息的物理现实世界环境视图中促进对象导航的用户界面,其中信息例如可提供有关周围现实世界对象的数据的一个或多个兴趣点。兴趣点可以但不必在现实世界视图之上被浏览。可由处理器70利用AR浏览器来促进一个或多个增强现实应用的执行。应当指出的是处理器70同样可与显示器85通信并可指示显示器以图示任意合适的信息,数据,内容(例如媒体信息)等。
同时,通信界面74可以是任意部件,例如在硬件,计算机程序产品,或被配置为从网络和/或任意其他与装置50通信的设备或模块接收和/或发送数据,或接收和/或发送数据到网络和/或任意其他与装置50通信的设备或模块的硬件和软件的组合中实施的设备和电路。在这点上,通信界面74例如可包括天线(或多个天线)和用于启动与无线通信网络(例如网络30)通信的支持硬件和/或软件。在固定环境中,通信界面74可替换或同样支持有线通信。同样地,通信界面74可包括通信调制解调器和/或其他用于经由电缆,数字订户线(DSL),通用串行总线(USB),以太网或其他机制支持通信的硬件/软件。
用户界面67可与处理器70通信以接收在用户界面67的用户输入的指示和/或提供听觉的,视觉的,机械的或其他输出到用户。同样地,用户界面67例如可包括键盘,鼠标,控制杆,显示器,触摸屏,麦克风,扬声器,或其他输入/输出机构。在示例实施例中,其中设备作为服务器或某些其他网络设备实施,用户界面67可被限制,远程定位或消除。处理器70可包括被配置为控制一个或多个用户界面的元件中的至少一些功能的用户界面电路,该元件例如扬声器,振铃器,麦克风,显示器和/或类似的元件。处理器70和/或包括处理器70的用户界面电路可被配置为控制一个或多个用户界面元件的一个或多个功能,通过存储在可访问到处理器70的存储器(例如存储器设备76和/或类似的)上的计算机程序指令(例如,软件和/或固件)。
装置50可包括媒体捕获元件,例如摄像机模块36。摄像机模块36可包括与处理器70和显示器85通信的摄像机,视频和/或音频模块。摄像机模块36可以是任意用于捕获图像,视频和/或音频用于存储,显示和传输的部件。例如,摄像机模块36可包括能够从捕获的图像形成数字图像文件的数字摄像机。同样地,摄像机模块36可包括所有的硬件,例如镜头或其他光学部件,和用于从捕获的图像产生数字图像所必需的软件。此外,摄像机模块36可仅包括需要浏览图像的硬件,而装置50的存储设备(例如,存储器设备76)以从所捕获的图像产生数字图像的软件的形式存储用于由处理器70执行的指令。在示例实施例中,摄像机模块36可进一步包括诸如协处理器的处理元件,其中该协处理器辅助处理器70处理图像数据和编码器和/或用于压缩和/或解压图像数据的解码器。编码器和/或解码器可根据联合图象专家组(JPEG)标准格式和其他类似的格式编码和/或解码。在某些情况下,摄像机模块36可提供实时图像数据给显示器85。在这点上,摄像机模块36可促使和提供摄像机视图到显示器85以示出实时图像数据,静态图像数据,视频数据,或任意其他合适的数据。此外,在示例实施例中,显示器85可位于装置50的一侧而摄像机模块36可包括位于装置50的关于显示器85的相对侧上的镜头以使摄像机模块36能够捕获装置50一侧的图像并将这样的图像视图展示给位于装置50的另一侧的用户。
此外,装置50可包括定位传感器72。定位传感器72例如可包括全球定位系统(GPS)传感器,辅助全球定位系统(辅助GPS)传感器,蓝牙(BT)-GPS鼠标,其他GPS或定位接收器等。但是,在一个示例实施例中,定位传感器72可包括计步器或惯性传感器。在这点上,位置传感器72能够确定装置50的位置,例如装置50的经度和纬度,或相对于诸如目的地或起点的参考点的位置。定位传感器72同样能够确定装置50的高度并使用高度信息确定装置50的位置。来自定位传感器72的信息则可传送到装置50的存储器或其他存储器设备以作为位置历史或位置信息存储。
在示例实施例中,装置50可进一步包括(或与之通信的)定向模块71。定向模块71可以是诸如在硬件或硬件和软件的组合中实施的设备或电路的任意部件,其中该软件被配置为确定装置50的取向和/或装置50的摄像机模块36的视场。
定向模块71可被配置为确定相对于参考的装置50的取向。在某些情况下,参考可以是特定方向,例如北方或其他基本方向。但是也可以采用其他参考。同样地,在一个实施例中,定向模块71可包括指南针或其他被配置为确定装置50的朝向或摄像机模块36的镜头指向的方向的其他定向传感器。方向或朝向可根据距离参考的偏移角度(例如,0到360度)来确定。在某些情况下,参考可以是固定的(例如,固定的方向参考),而在另一些情况下,参考可以是诸如由摄像机模块捕获的图像中的突出特征或简单的初始方向的机会的参考。
在示例实施例中,摄像机模块36的视场的取向可与参考相比较以确定装置50的当前取向。因此,例如给定初始图像,可选择特定特征作为参考。此后,由于视场变化,定向模块71可被配置为基于相对于参考的移动速度或量来确定摄像机模块36的视场的取向。而一个实施例仅可确定在单独平面(例如,与地平面平行)中的取向,另一个实施例可允许包括高度方面和/或轴向方面平移的取向确定。因此,例如定向模块71可被配置为确定装置50(例如,定义高度级别的俯仰和定义轴向旋转的偏航)的俯仰和/或偏航。因此,例如定向模块71可包括设备或用于确定装置50(或摄像机模块36的视场)的取向的部件,其可指取向信息。在一个实施例中,定向模块71可包括电子指南针,水平传感器,重力传感器,加速计,陀螺仪,磁力计和/或类似的或任意其他可在确定定向信息中可用的传感器。
在示例实施例中,处理器70可被实现为包括或另外控制AR分组模块。AR分组模块78可以是诸如根据软件操作或其他以硬件实现或硬件和软件的组合(例如,在软件控制下操作的处理器70,作为被特别配置为执行在此描述的操作的ASIC或FPGA实施的处理器70,或其组合)实施的设备或电路的任意部件,从而配置设备或电路以执行如下所述的AR分组模块78的相应功能。因此,在采用软件的示例中,设备或电路(例如,在一个例子中的处理器70)执行形成与该部件相关联的结构的软件。
AR分组模块78可检索(或请求)虚拟或增强现实信息(在此同样指为AR信息),其中该信息可存储在与当前位置和定向信息两者相关的AR资源库84中。AR信息可涉及一个或多个兴趣点。AR信息可包括但不限于对应于现实世界对象(例如,建筑物,地标等)位置信息(例如,经度,纬度和/或海拔坐标)的地理编码信息。在这点上,兴趣点可以但无需涉及实质上或大致沿着线(例如直线)定位的现实世界对象。现实世界对象可与在摄像机模块36的摄像机视图或显示器85中示出的装置50的当前位置中的对象相关。AR信息同样可包括含有或与诸如文本,音频,图像,图片,照片,视频数据或任意其他合适的数据相关联的地理编码信息。兴趣点可以是一个或多个虚拟对象(例如,图标,象形图,图像等)。兴趣点同样可对应于可能但无需由一个或多个内容提供商提供的信息,内容,数据等。AR资源库84可以是存储器设备76的一部分或可以是外部存储器或数据库。此外,AR资料库84可搭配有AR分组模块78。
在一个实施例中,AR分组模块78在位置信息和定向信息接收后可从AR资料库84中选择AR信息。在一个实施例中,可能在已知定向信息前或在请求特定AR信息前,一些AR信息可基于位置信息预取。预取的AR信息可从远程源接收并本地存储使得当搜索特定AR信息以匹配当前位置和定向信息时可减少计算资源消耗,当到达检索AR信息时因为较小的AR信息组可需要在搜索操作期间被处理。
在示例实施例中,AR分组模块78可检测在其中摄像机模块36捕获一个或多个现实世界对象并确定对应于一个或多个兴趣点的至少一些现实世界对象。兴趣点可与实质上或大致沿着线(例如直线)定位的现实世界对象相关联。在这点上,AR分组模块78可分组(同样在此指“视图组”)对应于可实质上或大致沿着线定位的现实世界对象的兴趣点。同样地,当AR分组模块78确定对应于沿着线定位的现实世界对象的兴趣点时,AR分组模块78可包括组中的兴趣点。
由AR分组模块78产生的组可与由AR分组模块78提供给显示器85的可视标记相关联。在这种方式中,可在显示器85上示出可视标记。可视标记可以但是不必须是诸如图标或类似的图形元素。在示例实施例中,可视标记可对应于诸如文件夹,标签,菜单或类似的图形元素。响应于检测描述所产生的兴趣点的组的可视标记的选择的AR分组模块78,AR分组模块78可开启组并使包括在组中的兴趣点能够被浏览和访问。例如,在一个例子中,其中AR分组模块78开启组,AR分组模块78可启动兴趣点以被显示并由用户选择。响应于一个或多个兴趣点的选择的接收,AR分组模块78可启动与所选择的兴趣点相关联的信息显示的提供。
应当指出的是在一个例子中,其中AR分组模块78开启组并启动兴趣点显示的提供,兴趣点可以这样的方式被可视地描述,即每一个兴趣点是可浏览的并且可选择的即使兴趣点对应于本质上或大致沿着线定位的现实世界对象。在这点上,AR分组模块78配置为实现对应于以这样的方式沿着线定位的现实世界对象的兴趣点的显示,其中该方式中兴趣点彼此不隐藏且不阻挡显示。
此外,AR分组模块78可在可视标记(例如,描述文件夹等的图标)的初始选择后的时间点响应于可视标记的选择的接收,关闭开启的组。当AR分组模块78关闭组时,包括在组中的兴趣点可不再在显示器上对于选择可见。
现在参考图6,提供示出对应于在一个或多个视角由摄像机模块捕获的现实世界对象的兴趣点的框图。应当指出的是定向模块71可以上述方式确定摄像机模块36的视角。在图6的示例实施例中,兴趣点可由圆点表示,例如,圆点18。兴趣点及其对应数据可由AR分组模块78从AR资源库84中获得。AR分组模块78可分类所有检测到的兴趣点,其中兴趣点对应于来自装置(例如装置20)的位置的方向和摄像机模块36用于捕获相应的现实世界对象所指向的角度。
作为示例,假设装置50位于对应于圆17中心的位置。当装置50的用户例如在大约20度的视角的方向指向在线上的现实世界对象处的摄像机模块36,AR分组模块78可确定检测到对应于现实世界对象的5个兴趣点,其中现实世界对象实质上或大致沿着线(例如,大约20度的虚拟线)定位。在这点上,当通过组11描述时,AR分组模块78可分组这些兴趣点。应当指出的是AR分组模块78可考虑在例子中的对应于沿着线定位的现实世界对象的兴趣点,其中AR分组模块78确定现实世界对象在相应线(例如,在20度的虚拟线)的预定的阈值(例如,在线的±5度内)中。
AR分组模块78可将兴趣点一起分组并使组能够作为可视标记项目(例如,文件夹,标签,菜单等)来经由显示器85显示。在一个例子中其中AR分组模块78接收可视标记项目的选择,AR分组模块78可以如下方式启动包括在组中的兴趣点显示的提供,该方式沿着更远离装置50的相同的线方向兴趣点不被阻挡或隐藏在与最接近装置50的现实世界对象相关联的兴趣点后面。
应当指出的是在一个示例实施例中,用户可调整摄像机模块36的视图范围以增加或减少可由AR分组模块78检测的兴趣点的个数。出于说明的目的而不是作为限制,装置50的用户可在城市区域(例如,纽约市)内减少摄像机模块36的视图范围(例如,5km)使得由AR分组模块78提供给显示器85的兴趣点的个数减少。另一方面,例如用户可在农村区域增加摄像机模块36的视图范围(例如,10km),使得可增加由AR分组模块78提供给显示器85的兴趣点的个数。此外,在一个示例实施例中,用户可选择与装置50相关的设定,该装置50允许AR分组模块78基于一个或多个类别(例如,加油站,饭店等)检测兴趣点,其中兴趣点可与实际上或大致沿着线定位的现实世界对象相关联。在这个实施例中,AR分组模块可仅检测在选择的分类中的兴趣点和现在在选择的分类中不能被分组,或相反可为了分组的目的忽略的其他兴趣点。
现在参考图7,提供了由描述对应于实质上或大致沿着线定位的现实世界对象的一个或多个组的兴趣点的AR分组模块产生的可视标记。如图7所示,AR分组模块78可产生可视标记19,例如,在由摄像机模块36捕获的图像41的相应部分上覆盖的文件夹。图像41的相应部分可涉及大约沿着对应于现实世界对象所定位的线的虚拟线布置的兴趣点所在的区域。可视标记19可包括与兴趣点相关的信息。同样地,在一个例子中其中装置50的用户经由手指、指示设备等选择可视标记19,AR分组模块78可启动组中兴趣点显示的提供(参见例如图8)。当装置50的用户在可视标记19(例如,文件夹的图形表示)的初始选择后的时间点选择可视标记19的一部分时,AR分组模块78可关闭可视标记19且与组相关的兴趣点不再被显示。
现在参考图8,提供一个框图,该框图示出在其中AR分组模块78打开可视标记19并启动与组相关的兴趣点显示的提供的例子。如图8所示,AR分组模块78可响应于由装置50的用户的可视标记选择的接收,经由包括在可视标记19中的点的显示器85启动显示的提供。在图8的示例实施例中,六个兴趣点23,27,29,31,33,35包括在可视标记19中并经由在由摄像机模块36捕获的图像21的相应部分上覆盖的显示器85示出。AR分组模块78以如下方式布置兴趣点显示的提供,其中可显示和访问每一个兴趣点,即使兴趣点对应于实质上或大致沿着线定位的现实世界对象。在这点上,示例实施例的兴趣点不被隐藏或阻挡并同样缓解了传统方法带来的问题。
如图8所示,AR分组模块78可启动组的兴趣点的显示的提供,其中组的兴趣点随同视觉信息指示对应于兴趣点23,27,29,31,33,35的名称(例如,纽约市的博物馆1)和当由AR分组模块78确定时的每个兴趣点远离装置50的距离(例如,5千米)。当由AR分组模块78开启组时,可由用户选择兴趣点,并响应于AR分组模块78的选择的接收,可启动与选择的兴趣点相关的内容显示的提供。应当指出的是响应于描述打开的组的可视内容37(例如,星形图形元素)的选择的接收,AR分组模块78可关闭开启的组。通过AR分组模块78的组关闭可使组中的兴趣点不再被显示。
在示例实施例中,AR分组模块78可分组兴趣点并基于在装置50的存储器(例如,存储器设备76)中本地存储的信息,启动组和兴趣点的显示的提供。在这点上,例如兴趣点可以但不必被预装入装置50的存储器设备76中。此外或可选择地,由AR分组模块78从网络实体可接收兴趣点并且网络实体可产生包括兴趣点的组。
现在参考图9提出框图或系统,在其中网络设备可与装置通信用于信息的接收。在图9的示例实施例中,网络设备108可以是服务器(例如,通信设备20)等。响应于AR分组模块78接收摄像机模块36捕获一个或多个本质上或大致沿着线定位的现实世界对象的指示,AR分组模块78可提供对应于现实世界对象的具有坐标的网络设备108。响应于坐标的接收,网络设备108可确定对应于由摄像机模块36捕获的现实世界对象的至少一些坐标的兴趣点。同样地,网络设备108可产生与兴趣点相关的组并可发送描述组(例如,诸如文件夹,标签,菜单等的图形元素)的可视标记给AR分组模块78。响应于组的接收,AR分组模块78可启动在当前由装置50(例如,移动终端10)显示的图像或视频的相应部分上覆盖的组的显示。相应的部分可与线的预定阈值中的坐标相关,其中现实世界对象本质上或大致在该线上定位。
应当指出的是由网络设备108产生的组可能最初不包括与组的兴趣点相关的数据,其中该组可被发送给AR分组模块78。相反,网络设备108可发送描述组的可视标记给AR分组模块78,代表即使兴趣点最初不包括在组中与组相关的兴趣点也是可用的。响应于AR分组模块78接收描述由网络设备108提供的组的可视标记的选择的指示,AR分组模块78可请求网络设备108以提供相应的兴趣点。同样地,网络设备108可响应于来自AR分组模块78的请求的接收提供对应于产生的组的兴趣点。以这种方式,AR分组模块78可启动与由网络设备108产生的组相关的兴趣点的显示的提供。
在其中网络设备108可发送描述组的可视标记到AR分组模块78的例子中,因为与对应的兴趣点相关的数据不是最初包含在产生的组中,网络设备108可保存资源并最小化带宽。如上所述,网络设备108可响应于来自AR分组模块78的请求的接收来发送与组的兴趣点相关的数据给AR分组模块78。AR分组模块78可响应于描述组的可视标记(例如,文件夹,标签,菜单等的图标)的选择的接收产生请求。在示例实施例中,装置50的用户可通过利用手指,定点设备等选择描述组的可视标记以压缩描述组的可视标记。应当指出的是尽管图9中示出一个网络设备108,任意合适数量的网络设备都可以类似的方式与装置50通信。
现在参考图10,给出例如图9的网络设备108的网络实体的示例实施例的方框图。如图10所示,网络实体(例如服务器)可包括处理器94和存储器96。存储器96可包括易失性和/或非易失性存储器,并可存储内容,数据等。存储器96可存储处理器94的客户应用程序,指令等以执行网络实体的不同操作。存储器96可以是有形的非暂态设备。
处理器94同样可被连接到通信界面98或其他用于显示,发送和/或接收数据,内容等的部件。用户输入界面95可包括任意数量的设备,该设备允许网络实体从用户接收数据,例如从小键盘,触摸显示器,操纵杆或其他输入设备。在这点上,处理器94可包括被配置为控制用户输入界面的一个或多个元件的至少某些功能的用户界面电路。处理器和/或处理器的用户界面电路可被配置为通过存储在可访问处理器的存储器(例如,易失性存储器,非易失性存储器等)上的计算机程序指令(例如,软件和/或固件),控制用户界面的一个或多个元件的一个或多个功能。
网络实体(例如,网络设备108)可从关于对应于实质上或大致沿着线定位的现实世界对象的坐标的AR分组模块78接收数据。在这点上,网络实体的处理器94可提供描述对应于与坐标相关的兴趣点的产生的组的可视标记。由网络实体的处理器94发送到AR分组模块78的组最初可不包括与兴趣点相关的数据。响应于来自AR分组模块78的请求的接收,网络实体的处理器94可发送与组的兴趣点相关的AR分组模块78的数据(例如,可视内容)。与组的兴趣点相关的数据可识别各自兴趣点的名称和远离装置50的距离。响应于来自网络实体的兴趣点的接收,AR分组模块78可经由显示器85启动兴趣点的显示的提供。
现在参考图11,提供在增强现实环境中用于分组内容的流程图的示例实施例。在操作1100,装置50可包括诸如AR分组模块78,处理器70和/或类似的部件用于接收当前被显示的当前位置的现实世界对象的检测。现实世界对象的检测可基于由摄像机模块36捕获的数据(例如,图像,视频等)的接收并提供给AR分组模块78和/或处理器70。在操作1105,装置50可包括诸如AR分组模块78,处理器70和/或类似的部件用于确定一些现实世界对象是否实质上或大致沿着线在距离装置不同距离处定位。实质上或大致沿着相同的线定位的现实世界对象可基于捕获现实世界对象的摄像机模块36的取向(例如,线的方向和视角)。
在操作1110,装置50可包括诸如AR分组模块78,处理器70和/或类似的用于响应于实质上或大致沿着线定位的一些现实世界对象的确定,确定兴趣点是否对应于现实世界对象的部件。在操作1115,装置50可包括诸如AR分组模块78,处理器70和/或类似的用于接收与实质上沿着相同的线在特定方向上定位的现实世界对象相关联的兴趣点的产生的组的指示的部件。AR分组模块78可产生表示组的可视标记并启动表示组的可视标记的显示。
应当指出的是在一个示例实施例中,表示组的可视标记可包括与兴趣点相关的组。在另一个示例实施例中,表示组的可视标记最初可不包括与兴趣点相关的数据。但是,响应于通过AR分组模块78选择的可视标记的接收,与兴趣点相关的数据可从设备(例如,网络设备108)接收并通过AR分组模块78包括在组中。在操作1120,装置50可包括诸如AR分组模块78,显示器85,处理器70和/或类似的用于响应于表示组的可视标记的选择的接收启动组的开启或扩展并且启动组的每一个兴趣点的显示的部件。例如,AR分组模块78可以如下方式启动每一个兴趣点的显示的提供,该方式是对应于更远离装置50的现实世界对象的兴趣点在被显示时相互不阻挡或隐藏,即使相应的现实世界对象位于本质上沿着相同的线方向的不同距离处。
在操作1125,装置50可包括诸如AR分组模块78,显示器85,处理器70和/或类似的用于响应于兴趣点的选择的接收启动与兴趣点相关的信息显示的提供的部件。在操作1130,装置50可包括诸如AR分组模块78,处理器70和/或类似的用于响应于表示组的可视标记的另一个选择的接收,启动组的关闭的部件。通过AR分组模块78关闭组可使得组的兴趣点不再被显示。
应当指出的是图11是根据本发明示例实施例的系统,方法和计算机程序产品的流程图。应当理解的是流程图的每一块和流程图中块的组合,可通过不同的部件实现,例如硬件,固件和/或包括一个或多个计算机程序指令的计算机程序产品。例如,一个或多个上述程序可通过计算机程序指令实施。在这点上,在示例实施例中,实施上述程序的计算机程序指令可通过存储器设备(例如,存储器设备76,存储器96)存储,并通过处理器(例如,处理器70,AR分组模块78,处理器94)执行。如将意识到的,任意这样的计算机程序指令可被装载在计算机或其他可编程设备(例如,硬件)上以制造机器,使得在计算机或其他可编程装置上执行的指令使在流程图块中指定的功能被实现。在一个实施例中,计算机程序指令存储在计算机可读存储器中,该计算机可读存储器可以引导计算机或其他可编程装置以特殊的方式运行,使得存储在计算机可读存储器中的指令产生包括实现在流程图块中所指定的功能的指令的制品。计算机程序指令同样可装载在计算机或其他可编程装置上以使得一系列操作在计算机或其他可编程装置上被执行以产生计算机实现的过程,使得在计算机或其他可编程装置上执行的指令实现在流程图块中指定的功能。
因此,流程图的块支持用于执行指定功能的部件的组合。同样应当理解的是流程图的一个或多个块和流程图中的块的组合,可通过指定目的的基于硬件的计算机系统实现,其中计算机系统执行指定功能或指定目的硬件和计算机指令的组合。
在示例实施例中,用于执行上述图11的方法的装置可包括被配置为执行上述一些或每一个操作(1100-1130)的处理器(例如,处理器70,AR分组模块78,处理器94)。处理器例如可被配置为通过执行硬件实现的逻辑功能,执行所存储的指令或执行用于执行每一个操作的算法来执行操作(1100-1130)。此外,装置可包括用于执行上述每一个操作的部件。在这点上,根据示例实施例,用于执行操作(1100-1130)的部件的范例例如可包括处理器70(例如,用于执行上述任意操作的部件),AR分组模块78,处理器94和/或用于执行指令或执行用于处理上述信息的算法的设备或电路。
在此陈述的本发明的许多修改和其他的实施例对于本领域技术人员来说将容易想到,这些发明适于具有在前述说明和相关附图中展示的教导的优点。因此,应当理解的是本发明不限于公开的特定实施例,并且修改和其他实施例也将包括在所附权利要求的范围内。此外,尽管前述说明和相关附图描述了在某些示例性元件和/或功能的组合的环境中的示例实施例,但是应当理解通过替代实施例可提供的不同的元件和/或功能的组合而不脱离附加权利要求的范围。在这点上,例如相比那些上述明确描述的,元素和/或功能的不同的组合同样可在一些所附权利要求中所陈述。尽管在此采用具体的术语,但它们仅以一般性的和描述性意义而不是出于限制的目的使用。

Claims (20)

1.一种方法,包括:
接收当前正被显示的当前位置的现实世界对象的检测;
确定一个或多个所述现实世界对象是否沿着线的方向定位;
确定对应于沿着所述线定位的所述现实世界对象的虚拟对象;和
经由处理器,启动可视标记项目的显示的提供,其中该可视标记项目表示与所述虚拟对象相关的组,该虚拟对象被定位以对应于至少一个沿所述线定位的所述现实世界对象。
2.如权利要求1的方法,进一步包括:
确定所述虚拟对象被包括在所述组中;和
响应于所述可视标记的选择的接收启动所述组的开启。
3.如权利要求2的方法,进一步包括:
响应于开启所述组启动所述虚拟对象的显示提供,每一个所述虚拟对象是可访问的并且被显示而无需相互阻挡或隐藏,即使所述虚拟对象对应于在相距装置相应距离处沿着所述线定位的相应现实世界对象。
4.如权利要求3的方法,进一步包括:
响应于可视标记项目的另一个选择的接收启动所述组的关闭;和
响应于关闭所述组的指示的接收确定所述虚拟对象不再被显示。
5.如权利要求1的方法,进一步包括:
确定在关于当前位置的装置的取向上在至少一个图像或视频中捕获检测到的现实世界对象,所述取向对应于视角和方向;并且
确定沿着所述线的方向定位包括检测位于所述线的预定阈值内的所述现实世界对象。
6.如权利要求1的方法,进一步包括:
确定每一个所述虚拟对象包括识别至少一个名称的虚拟信息,该名称对应于沿着所述线的现实世界对象或从装置到沿着所述线的相应现实世界对象的距离。
7.如权利要求1的方法,进一步包括:
从没有在所述中包括的所述虚拟对象的设备接收所述组;
响应于所述组的选择的接收从所述设备接收所述虚拟对象;和
启动在所述组中的接收到的虚拟对象的内含物。
8.如权利要求7的方法,进一步包括启动每一个接收到的虚拟对象的显示而相互不阻挡或隐藏,即使所述虚拟对象对应于在距离装置的相应距离处沿着所述线定位的所述现实世界对象。
9.一种装置,包括:
至少一个处理器;和
至少一个包括计算机程序代码的存储器,该计算机程序代码被配置为采用所述至少一个处理器使所述装置至少执行下列操作:
接收当前正被显示的当前位置的现实世界对象的检测;
确定一个或多个所述现实世界对象是否沿着所述线的方向定位;
确定对应于沿着所述线定位的所述现实世界对象的虚拟对象;和
启动可视标记项目的显示的提供,其中该可视标记项目表示与所述虚拟对象相关的组,所述虚拟对象被定位以用来对应于至少一个沿着所述线定位的所述现实世界对象。
10.如权利要求9的装置,其中所述存储器和计算机程序代码被配置为采用所述处理器使所述装置:
确定所述虚拟对象包括在所述组中;和
响应于所述可视标记的选择的接收启动所述组的开启。
11.如权利要求10的装置,其中所述存储器和计算机程序代码被配置为采用所述处理器使所述装置:
响应于打开所述组,启动所述虚拟对象的显示的提供,其中每一个所述虚拟对象是可访问的并且被显示而无需彼此阻挡或隐藏,即使所述虚拟对象对应于在距离所述装置相应距离处沿着所述线定位的相应现实世界对象。
12.如权利要求11的装置,其中所述存储器和计算机程序代码被配置为采用所述处理器使所述装置:
响应于可视标记项目的另一个选择的接收启动所述组的关闭;和
响应于所述组已关闭的指示的接收确定所述虚拟对象不再被显示。
13.如权利要求9的装置,其中所述存储器和计算机程序代码被配置为采用所述处理器使所述装置:
确定在关于当前位置在所述装置的取向上的至少一个图像或视频中捕获检测到的现实世界对象,所述取向对应于视角和方向;并且
通过检测所述现实世界对象位于所述线的预定阈值内来确定所述现实世界对象沿着所述线定位。
14.如权利要求9的装置,其中所述存储器和计算机程序代码被配置为采用所述处理器使所述装置:
确定每一个所述虚拟对象包括识别至少一个名称的虚拟信息,所述名称对应于沿着所述线的现实世界对象或从所述装置到沿着所述线的相应的现实世界对象的距离。
15.如权利要求9的装置,其中所述存储器和计算机程序代码被配置为采用所述处理器使所述装置:
从没有包括在所述组中的所述虚拟对象的设备接收所述组;
响应于所述组的选择的接收从所述设备接收所述虚拟对象;和
启动在所述组中的接收的虚拟对象的内含物。
16.如权利要求15的装置,其中所述存储器和计算机程序代码被配置为采用所述处理器使所述装置:
启动每一个接收到的虚拟对象的显示而无需相互阻挡或隐藏,即使所述虚拟对象对应于相距所述装置相应距离处沿着所述线定位的所述现实世界对象。
17.一种计算机程序产品,包括至少一个具有存储在其中的计算机可读程序代码部分的计算机可读存储介质,所述计算机可读程序代码部分包括:
程序代码指令,被配置为导致当前正被显示的当前位置的现实世界对象的检测的接收;
程序代码指令,被配置为确定一个或多个所述现实世界对象是否沿着线的方向定位;
程序代码指令,被配置为确定对应于沿着所述线定位的所述现实世界对象的虚拟对象;和
程序代码指令,被配置为启动可视标记项目的显示的提供,其中所述可视标记项目表示与所述虚拟对象相关的组,所述虚拟对象被定位以用来对应于至少一个沿着所述线定位的所述现实世界对象。
18.如权利要求17的计算机程序产品,进一步包括:
程序代码指令,被配置为确定包括在所述组中的所述虚拟对象;和
程序代码指令,被配置为响应于所述可视标记的选择的接收启动所述组的开启。
19.如权利要求18的计算机程序产品,进一步包括:
程序代码指令,被配置为响应于开启所述组启动所述虚拟对象的显示的提供,其中每一个所述虚拟对象是可访问的并且被显示而无需相互阻挡或隐藏,即使所述虚拟对象对应于在相距装置相应距离处沿着所述线定位的相应现实世界对象。
20.如权利要求19的计算机程序产品,进一步包括:
程序代码指令,被配置为响应于可视标记项目的另一个选择的接收启动所述组的关闭;和
程序代码指令,被配置为响应于所述组已关闭的指示的接收确定所述虚拟对象不再被显示。
CN201180056310.XA 2010-09-23 2011-08-08 在增强现实中用于分组内容的方法,装置和计算机程序产品 Expired - Fee Related CN103221953B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/888,926 2010-09-23
US12/888,926 US9710554B2 (en) 2010-09-23 2010-09-23 Methods, apparatuses and computer program products for grouping content in augmented reality
PCT/FI2011/050692 WO2012038585A1 (en) 2010-09-23 2011-08-08 Methods, apparatuses and computer program products for grouping content in augmented reality

Publications (2)

Publication Number Publication Date
CN103221953A true CN103221953A (zh) 2013-07-24
CN103221953B CN103221953B (zh) 2017-09-29

Family

ID=45870200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180056310.XA Expired - Fee Related CN103221953B (zh) 2010-09-23 2011-08-08 在增强现实中用于分组内容的方法,装置和计算机程序产品

Country Status (7)

Country Link
US (1) US9710554B2 (zh)
EP (1) EP2619730A4 (zh)
JP (1) JP5604594B2 (zh)
CN (1) CN103221953B (zh)
MY (1) MY168240A (zh)
WO (1) WO2012038585A1 (zh)
ZA (1) ZA201302889B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760972A (zh) * 2013-12-18 2014-04-30 微软公司 跨平台的增强现实体验
CN104144287A (zh) * 2014-06-24 2014-11-12 中国航天科工集团第三研究院第八三五七研究所 一种增强现实照相机
CN107251103A (zh) * 2014-12-23 2017-10-13 M·D·富克斯 增强现实系统及其操作方法
CN107615227A (zh) * 2015-05-26 2018-01-19 索尼公司 显示装置、信息处理系统以及控制方法
CN108604123A (zh) * 2016-11-15 2018-09-28 谷歌有限责任公司 虚拟现实中的位置仪
CN109559380A (zh) * 2017-09-27 2019-04-02 费希尔-罗斯蒙特系统公司 过程控制环境的3d映射
CN110050295A (zh) * 2016-12-14 2019-07-23 微软技术许可有限责任公司 用于增强和虚拟现实系统的减性绘制
CN110326030A (zh) * 2016-12-30 2019-10-11 脸谱公司 用于提供与虚拟内容项目相关联的嵌套内容项目的系统和方法
CN110428684A (zh) * 2019-07-19 2019-11-08 暨南大学 虚拟现实的物理实验仿真智能引擎系统及工作方法
CN110619026A (zh) * 2018-06-04 2019-12-27 脸谱公司 移动持久性增强现实体验
CN111462663A (zh) * 2020-06-19 2020-07-28 南京新研协同定位导航研究院有限公司 一种基于mr眼镜的导游方式
US11087134B2 (en) 2017-05-30 2021-08-10 Artglass Usa, Llc Augmented reality smartglasses for use at cultural sites

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9122701B2 (en) * 2010-05-13 2015-09-01 Rovi Guides, Inc. Systems and methods for providing media content listings according to points of interest
KR101606727B1 (ko) * 2010-06-25 2016-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
KR101740435B1 (ko) * 2010-10-18 2017-05-26 엘지전자 주식회사 이동 단말기 및 이것의 객체 관련 정보 관리 방법
KR101719264B1 (ko) * 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
GB2489685B (en) * 2011-03-31 2017-01-25 Geovs Ltd A Display System
WO2013128078A1 (en) 2012-02-29 2013-09-06 Nokia Corporation Method and apparatus for rendering items in a user interface
WO2013157890A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and apparatus of processing data to support augmented reality
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
KR20180035243A (ko) 2012-08-24 2018-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
JP5980432B2 (ja) * 2012-08-27 2016-08-31 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実見本の生成
EP2891068A4 (en) * 2012-08-31 2016-01-20 Hewlett Packard Development Co ACTIVE REGIONS OF AN IMAGE COMPRISING ACCESSIBLE LINKS
US9424472B2 (en) * 2012-11-26 2016-08-23 Ebay Inc. Augmented reality information system
US9104293B1 (en) * 2012-12-19 2015-08-11 Amazon Technologies, Inc. User interface points of interest approaches for mapping applications
US9922446B2 (en) 2012-12-21 2018-03-20 Apple Inc. Method for representing virtual information in a real environment
CN104995665B (zh) 2012-12-21 2018-01-26 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
JP5266426B1 (ja) * 2013-02-27 2013-08-21 イメージニクス株式会社 情報処理端末、情報処理方法、情報処理プログラム
EP3742405A3 (en) 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
DE102013016244A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
CN104461318B (zh) * 2013-12-10 2018-07-20 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及系统
WO2015119371A1 (ko) * 2014-02-05 2015-08-13 에스케이플래닛 주식회사 Poi 그룹화를 이용한 poi 정보 제공 장치 및 방법
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10565560B2 (en) * 2014-11-12 2020-02-18 Successfactors, Inc. Alternative people charting for organizational charts
US9904504B2 (en) * 2015-02-24 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing environmental feedback based on received gestural input
US10762132B2 (en) * 2015-10-29 2020-09-01 Pixured, Inc. System for referring to and/or embedding posts, videos or digital media within another post, video, digital data or digital media within 2D, 3D, 360 degree or spherical applications whereby to reach convergence or grouping
GB2551396B (en) * 2016-06-17 2018-10-10 Imagination Tech Ltd Augmented reality occlusion
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
EP3559785B1 (en) 2016-12-21 2021-02-03 PCMS Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
US10477602B2 (en) 2017-02-04 2019-11-12 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal
WO2018152109A1 (en) * 2017-02-20 2018-08-23 Pcms Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
KR102330829B1 (ko) 2017-03-27 2021-11-24 삼성전자주식회사 전자 장치에서 증강현실 기능 제공 방법 및 장치
US10068403B1 (en) * 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
WO2019059725A1 (en) 2017-09-22 2019-03-28 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR PROVIDING SERVICE OF INCREASED REALITY
KR102428921B1 (ko) * 2017-09-22 2022-08-04 삼성전자주식회사 Ar 서비스를 제공하는 방법 및 디바이스
JP2019114078A (ja) * 2017-12-25 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11241624B2 (en) * 2018-12-26 2022-02-08 Activision Publishing, Inc. Location-based video gaming with anchor points
US11048391B2 (en) * 2019-01-03 2021-06-29 International Business Machines Corporation Method, system and computer program for copy and paste operations
KR102627612B1 (ko) 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
EP3772042A3 (en) * 2019-08-02 2021-04-07 Samsung Electronics Co., Ltd. Electronic apparatus for augmented reality and control method thereof
US11538225B2 (en) 2020-09-30 2022-12-27 Snap Inc. Augmented reality content generator for suggesting activities at a destination geolocation
US11836826B2 (en) * 2020-09-30 2023-12-05 Snap Inc. Augmented reality content generators for spatially browsing travel destinations
US11809507B2 (en) 2020-09-30 2023-11-07 Snap Inc. Interfaces to organize and share locations at a destination geolocation in a messaging system
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
CN114564272B (zh) * 2022-03-03 2024-06-07 阿波罗智联(北京)科技有限公司 确定视图分组信息的方法、展示页面的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130906A1 (en) * 2001-03-16 2002-09-19 Ken Miyaki Point-of interest icon and point-of- interest mark display method
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
US20090100363A1 (en) * 2007-10-05 2009-04-16 Pegg Antony M Methods and systems for decluttering icons representing points of interest on a map

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU9031191A (en) 1990-10-31 1992-05-26 Go Corporation Computer documents as compound documents in a notebook metaphor
JPH07306955A (ja) 1992-07-24 1995-11-21 Walt Disney Co:The 三次元イリュージョンを生み出す方法およびシステム
US5553209A (en) * 1994-01-28 1996-09-03 Hughes Aircraft Company Method for automatically displaying map symbols
JPH07271546A (ja) 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
JPH11102438A (ja) 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
US5912674A (en) 1997-11-03 1999-06-15 Magarshak; Yuri System and method for visual representation of large collections of data by two-dimensional maps created from planar graphs
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
US6054987A (en) * 1998-05-29 2000-04-25 Hewlett-Packard Company Method of dynamically creating nodal views of a managed network
US6995778B2 (en) * 2001-11-07 2006-02-07 Raytheon Company Symbol expansion capability for map based display
JP2003216977A (ja) 2002-01-17 2003-07-31 Sony Corp 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
US7428001B2 (en) 2002-03-15 2008-09-23 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
DE10230479A1 (de) 2002-07-06 2004-01-15 Robert Bosch Gmbh Fahrerinformationsvorrichtung
US6856901B2 (en) * 2003-06-02 2005-02-15 Alpine Electronics, Inc. Display method and apparatus for navigation system
JP2005106496A (ja) * 2003-09-29 2005-04-21 Aisin Aw Co Ltd ナビゲーション装置
JP4401728B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US7668649B2 (en) * 2003-10-16 2010-02-23 Alpine Electronics, Inc. Display method and apparatus for navigation system
JP4606898B2 (ja) 2005-02-15 2011-01-05 三菱電機株式会社 情報生成装置及び検索装置
US8264584B2 (en) 2007-05-31 2012-09-11 Panasonic Corporation Image capturing apparatus, additional information providing server, and additional information filtering system
US7889888B2 (en) * 2007-06-27 2011-02-15 Raytheon Company System and method for grouping and visualizing data
US20090006328A1 (en) * 2007-06-29 2009-01-01 Nokia Corporation Identifying commonalities between contacts
DE102007037386A1 (de) * 2007-08-08 2009-02-19 Navigon Ag Verfahren zum Betrieb eines Navigationssystems
US8339399B2 (en) * 2007-10-31 2012-12-25 Microsoft Corporation Declustering point-of-interest icons
US20090177987A1 (en) * 2008-01-04 2009-07-09 Prasantha Jayakody Efficient display of objects of interest to a user through a graphical user interface
JP4600515B2 (ja) 2008-05-07 2010-12-15 ソニー株式会社 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
US8401771B2 (en) * 2008-07-22 2013-03-19 Microsoft Corporation Discovering points of interest from users map annotations
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
US9477400B2 (en) * 2009-06-11 2016-10-25 Alpine Electronics, Inc. Method and apparatus for navigation system for selecting icons and application area by hand drawing on map image
US8335990B2 (en) * 2009-08-18 2012-12-18 Nokia Corporation Method and apparatus for grouping points-of-interest on a map
US20110161875A1 (en) 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US20110265023A1 (en) * 2010-04-21 2011-10-27 Microsoft Corporation Interactive Representation of Clustered Entities
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130906A1 (en) * 2001-03-16 2002-09-19 Ken Miyaki Point-of interest icon and point-of- interest mark display method
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
US20090100363A1 (en) * 2007-10-05 2009-04-16 Pegg Antony M Methods and systems for decluttering icons representing points of interest on a map

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760972A (zh) * 2013-12-18 2014-04-30 微软公司 跨平台的增强现实体验
CN104144287A (zh) * 2014-06-24 2014-11-12 中国航天科工集团第三研究院第八三五七研究所 一种增强现实照相机
CN107251103A (zh) * 2014-12-23 2017-10-13 M·D·富克斯 增强现实系统及其操作方法
CN107251103B (zh) * 2014-12-23 2021-03-12 M·D·富克斯 增强现实系统及其操作方法
US10878629B2 (en) 2015-05-26 2020-12-29 Sony Corporation Display apparatus, information processing system, and control method
CN107615227A (zh) * 2015-05-26 2018-01-19 索尼公司 显示装置、信息处理系统以及控制方法
CN108604123A (zh) * 2016-11-15 2018-09-28 谷歌有限责任公司 虚拟现实中的位置仪
CN110050295A (zh) * 2016-12-14 2019-07-23 微软技术许可有限责任公司 用于增强和虚拟现实系统的减性绘制
CN110050295B (zh) * 2016-12-14 2023-06-30 微软技术许可有限责任公司 用于增强和虚拟现实系统的减性绘制
CN110326030A (zh) * 2016-12-30 2019-10-11 脸谱公司 用于提供与虚拟内容项目相关联的嵌套内容项目的系统和方法
CN110326030B (zh) * 2016-12-30 2023-11-24 元平台公司 用于提供与虚拟内容项目相关联的嵌套内容项目的系统和方法
US11087134B2 (en) 2017-05-30 2021-08-10 Artglass Usa, Llc Augmented reality smartglasses for use at cultural sites
US12001974B2 (en) 2017-05-30 2024-06-04 Artglass Usa Llc Augmented reality smartglasses for use at cultural sites
CN109559380A (zh) * 2017-09-27 2019-04-02 费希尔-罗斯蒙特系统公司 过程控制环境的3d映射
CN110619026A (zh) * 2018-06-04 2019-12-27 脸谱公司 移动持久性增强现实体验
CN110428684A (zh) * 2019-07-19 2019-11-08 暨南大学 虚拟现实的物理实验仿真智能引擎系统及工作方法
CN111462663A (zh) * 2020-06-19 2020-07-28 南京新研协同定位导航研究院有限公司 一种基于mr眼镜的导游方式

Also Published As

Publication number Publication date
JP2013543170A (ja) 2013-11-28
WO2012038585A1 (en) 2012-03-29
MY168240A (en) 2018-10-15
ZA201302889B (en) 2014-10-29
EP2619730A1 (en) 2013-07-31
EP2619730A4 (en) 2014-09-10
US9710554B2 (en) 2017-07-18
US20120075341A1 (en) 2012-03-29
CN103221953B (zh) 2017-09-29
JP5604594B2 (ja) 2014-10-08

Similar Documents

Publication Publication Date Title
CN103221953A (zh) 在增强现实中用于分组内容的方法,装置和计算机程序产品
CA2804096C (en) Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
EP2589024B1 (en) Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
KR102206387B1 (ko) 이동 단말기 및 그것의 제어방법
CN103222319B (zh) 一种用于移动计算设备的方法及移动计算设备
US9602776B2 (en) Accessing web-based cameras arranged by category
KR101606727B1 (ko) 휴대 단말기 및 그 동작 방법
KR102479495B1 (ko) 이동단말기 및 그의 동작 방법
WO2018130179A1 (zh) 交互信息获取方法、交互信息设置方法及用户终端、系统、存储介质
WO2011080385A1 (en) Method and apparatus for decluttering a mapping display
KR20120003323A (ko) 이동단말기 및 그의 증강현실을 이용한 정보 표시 방법
CN110020880B (zh) 广告投放方法、装置及设备
CN106034173B (zh) 移动终端及其控制方法
CN110399570B (zh) 地理对象推荐方法、装置及存储介质
EP4131867A1 (en) Email forwarding method and apparatus, electronic device, and storage medium
US20150099545A1 (en) Location information-based communication apparatus and method, and location information-based communication application apparatus
KR20130072959A (ko) 정보 제공 방법 및 장치
CN106896908A (zh) 信息取得装置、信息取得方法
FI128630B (en) ENHANCED REALITY COMMUNICATION
KR20110048653A (ko) 이동통신 시스템에서 피오아이 정보 공유 방법 및 장치
KR102396926B1 (ko) 웹 벡터 지도 기반의 경로 표시 장치 및 방법
US20160026657A1 (en) Interactive physical display
KR101729115B1 (ko) 이동 단말기
CN105393561B (zh) 用于装置耦合的方法和装置
KR102114650B1 (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160106

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170929

Termination date: 20200808

CF01 Termination of patent right due to non-payment of annual fee