CN102037485A - 移动虚拟和增强现实系统 - Google Patents

移动虚拟和增强现实系统 Download PDF

Info

Publication number
CN102037485A
CN102037485A CN2009801100663A CN200980110066A CN102037485A CN 102037485 A CN102037485 A CN 102037485A CN 2009801100663 A CN2009801100663 A CN 2009801100663A CN 200980110066 A CN200980110066 A CN 200980110066A CN 102037485 A CN102037485 A CN 102037485A
Authority
CN
China
Prior art keywords
virtual graffiti
user
replace
text
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801100663A
Other languages
English (en)
Other versions
CN102037485B (zh
Inventor
朱利叶斯·S·吉奥菲
埃里克·R·布尔克
胡安·M·洛佩斯
弗兰切斯卡·舒勒
鱼涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Google Technology Holdings LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN102037485A publication Critical patent/CN102037485A/zh
Application granted granted Critical
Publication of CN102037485B publication Critical patent/CN102037485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用户可以创建“虚拟涂鸦(203)”，其将被留给特定设备观看作为增强现实场景的一部分。虚拟涂鸦将被分配给特定物理位置，或分配给能够移动的对象的一部分。然后，将虚拟涂鸦连同位置和能够观看该涂鸦作为增强现实场景的一部分的个体上载到网络服务器(101)。当允许观看涂鸦的设备在该位置附近时，涂鸦将被下载到该设备，并且被显示为增强现实场景的一部分。为了进一步增强用户体验，虚拟涂鸦可以是动态的，基于用户的偏爱而改变。

Description

移动虚拟和增强现实系统
技术领域
本发明大体上涉及消息传输(messaging)，具体地，涉及移动虚拟和增强现实系统中的消息传输。
相关申请的交叉引用
本申请涉及：2007年8月24日提交的申请号为11/844538、标题为“Mobile Virtual and Augmented Reality System”的申请；2007年9月21日提交的申请号为11/858997、标题为“Mobile Virtual and AugmentedReality System”的申请；2007年10月31提交的申请号11/930974、标题为“Mobile Virtual and Augmented Reality System”的申请；以及2007年12月21日提交的申请号为11/962139、标题为“Mobile Virtual andAugmented Reality System”的申请。
背景技术
消息传输系统已经使用多年，用于使用户发送消息给彼此。目前，将消息发送到另一个体的最简单的方式之一是将文本消息发送到个体的移动电话上。近来，已经提出了要扩展消息传输系统的能力，从而可以在特定位置给予网络的用户进行特定留言的选项。例如，在标题为“SYSTEM AND METHOD OF ACCES SING AND RECORDINGMESSAGES AT COORDINATE WAY POINTS”的专利US6681107B2中，作者提出用户可以在特定位置仅按下按钮便使设备保存物理位置。然后，用户可以按下“记录消息”按钮，以允许用户向其设备说出(speak)消息。这个消息可以是从特定位置到用户家的方向或者任何其它个人消息。然后，当该消息变为对其它网络用户可用时，将该消息上载到网络。创建消息的个人可以指定消息是对所有用户可用、还是仅对用户设备的存储器中存储的人可用、还是对存储器中存储的人的子集可用、或者只对单个人可用。
为了增强用户关于上述类型的情境感知消息传输系统的体验，提供给用户的信息类型必须超出简单文本、图像和视频的范围。因此，需要一种增强用户体验的在情境感知消息传输系统内进行消息传输的方法和装置。
附图说明
图1是情境感知消息传输系统的框图。
图2示出增强现实场景。
图3示出增强现实场景。
图4是图1的服务器的框图。
图5是图1的用户设备的框图。
图6是示出图1的服务器的操作的流程图。
图7是示出当创建涂鸦(graffiti)时图1的用户设备的操作的流程图。
图8是示出当显示涂鸦时图1的用户设备的操作的流程图。
具体实施方式
为了满足上述需求，在此提供一种在移动虚拟和增强现实系统内进行消息传输的方法和装置。在操作期间，用户可以创建“虚拟涂鸦”，其将被保留作为增强现实场景的一部分供特定设备观看。虚拟涂鸦将被分配给特定物理位置，或被分配给能够移动的对象的一部分。然后，将虚拟涂鸦连同位置和能够观看涂鸦作为增强现实场景的一部分的个体上载到网络服务器。
当允许观看涂鸦的设备在该位置附近时，涂鸦将被下载到该设备，并且被显示为增强现实场景的一部分。为了进一步增强用户体验，虚拟涂鸦可以是动态的，并基于用户的偏爱而改变。例如，每个观看者可以不同地诠释虚拟对象和它们的相关内容。这样，每个用户将具有包含会由每个用户定义的一组个人偏爱的档案(profile)。当下载并处理消息以定制它们的外观时，档案管理器将参考这些档案。如果不需要定制，则档案管理器存储未修改的涂鸦，否则，档案管理器执行所需的映射以将原始虚拟对象转换为希望的定制化对象。
在增强现实系统中，可以将计算机产生的图像或“虚拟图像”嵌入到用户关于真实世界环境的视图中或与用户关于真实世界环境的视图融合，以增强用户与环境的交互或对环境的认知。在本发明中，用户的增强现实系统将任何虚拟涂鸦消息与用户关于真实世界的视图融合。
例如，Ed可以在酒吧给他的朋友Tom和Joe留言，建议他们尝试“chili”。Ed可以指定将该消息写在虚拟啤酒杯上。没有定制其视图的Tom将看到写在啤酒杯上的消息，而其档案包含了相较啤酒对葡萄酒的偏爱的Joe将看到写在葡萄酒瓶上的相同的文本消息。
本发明包括一种接收和显示虚拟涂鸦作为增强现实场景的一部分的方法。所述方法包括步骤：提供位置；响应于提供位置的步骤接收虚拟涂鸦；确定用户偏爱；并且基于用户偏爱修改虚拟涂鸦。最终显示修改后的虚拟涂鸦作为增强现实场景的一部分。
本发明还包括一种用于向设备提供虚拟涂鸦的方法。所述方法包括步骤：从第一设备接收虚拟涂鸦连同虚拟涂鸦的位置；确定第二设备的偏爱；并且基于第二设备的偏爱修改虚拟涂鸦。接收第二设备的位置，并且当第二设备的位置处于虚拟涂鸦的位置附近时，向第二设备提供修改后的虚拟涂鸦。
此外，本发明还包括一种接收和显示虚拟涂鸦作为增强现实场景的一部分的装置。所述装置包括：发射器，用于提供位置；接收器，用于响应于提供位置的步骤接收虚拟涂鸦；逻辑电路，用于确定用户偏爱，并且基于用户偏爱修改虚拟涂鸦；以及增强现实系统，用于显示修改后的虚拟涂鸦作为增强现实场景的一部分。
现转到附图，其中，相同的数字表示相同的构件。图1是情境感知消息传输系统100的框图。系统100包括虚拟涂鸦服务器101、网络103、和用户设备105-109。在本发明的一个实施例中，网络103包括能够支持高数据速率的下一代蜂窝网络。这种系统包括3GPP内的增强演进通用陆地无线接入(UTRA)或演进通用陆地无线接入网络(UTRAN)(还被称为EUTRA和EUTRAN)连同其它技术规格产生组织(诸如3GPP2的“阶段2”和IEEE 802.11、802.16、802.20和802.22的演进)中的通信系统的演进。用户设备105-109包括能够进行真实世界成像并向用户提供以虚拟涂鸦增强的真实世界图像的设备。
在操作期间，用户(例如，操作用户设备105的用户)确定他期望向另一用户发送虚拟涂鸦作为增强现实场景的一部分。然后，使用用户设备105来创建虚拟涂鸦，并且将虚拟涂鸦与位置相关联。用户还向设备105提供将被允许观看虚拟涂鸦的(一个或多个)用户(例如，用户107)的列表。然后，设备105使用网络103将这个信息提供给虚拟涂鸦服务器101。
服务器101周期性地监视所有设备105-109的位置连同它们的身份，以及，当特定设备处于待被提供虚拟涂鸦的位置附近时，服务器101使用网络103将以此信息提供给该设备。当特定设备处于虚拟涂鸦可用于观看的位置附近时，设备将例如通过发出嘟嘟声来通知用户。然后，用户可以使用设备来观看虚拟涂鸦作为增强现实场景的一部分。具体地，虚拟涂鸦将嵌入用户关于真实世界的视图中或与用户关于真实世界的视图融合。应该注意到，在可选的实施例中，不向用户发送通知。然后，由用户寻找其环境中的任何虚拟涂鸦。
图2示出增强现实场景。在此示例中，用户已经创建陈述“Joe，trythe porter(Joe，尝尝黑啤酒)”的虚拟涂鸦203，并且已经将该涂鸦附在门的位置。如图2所示，真实世界的门201上不存在涂鸦。然而，如果用户具有观看虚拟涂鸦的权限，则他们的增强现实观看系统将示出上面具有涂鸦203的门201。因此，虚拟涂鸦并非对于系统100的所有用户都可用。涂鸦仅对被指定为(优选由创建该涂鸦的个体指定)能够观看它的那些用户可用。每个设备105-109将独特的增强现实场景提供给它们的用户。例如，第一用户可以观看第一增强现实场景，而第二用户可以观看完全不同的增强现实场景。在图2中以与涂鸦203不同的涂鸦205来示出。因此，第一用户看着门201可以观看涂鸦203，而第二用户看着相同的门201可以观看涂鸦205。
尽管给出的上述示例使得在特定对象(即门201)上显示虚拟涂鸦203，但是在本发明的可选实施例中，虚拟涂鸦可以显示为不附在任何对象上。例如，涂鸦可以显示为在空中漂浮，或者仅显示在人的视野前方。另外，尽管图2的虚拟涂鸦包括文本，但是虚拟涂鸦还可以包括“虚拟对象”，诸如图像、音频和视频剪辑等。
如上所述，为了进一步增强用户体验，虚拟涂鸦可以是动态的，并基于用户的偏爱而改变。例如，每个观看者可以不同地解释虚拟对象和文本。这样，每个用户将具有包含会由每个用户定义的一组个人偏爱的档案。当下载并处理消息以定制它们的外观时，将参考这些档案。如果不需要定制，则如创建时一样显示虚拟涂鸦，然而，如果期望定制，则定制虚拟涂鸦。
这在图3中示出。如图3所示，第一用户创建虚拟涂鸦303。虚拟涂鸦包括至少两个部分：第一虚拟对象300(啤酒杯)连同虚拟文本301(“try the chili(尝尝“chili”)”)。虚拟涂鸦303附在门302上，并且留给第二用户和第三用户观看。没有定制其视图的第二用户将看到具有与第一用户创建的相同的虚拟对象300和虚拟文本301的虚拟涂鸦303。然而，其档案包含其相较啤酒对葡萄酒的偏爱的第三用户已经指示其设备将所有啤酒相关对象改变为葡萄酒相关对象。因此，第三用户将看到在不同虚拟对象306(例如，葡萄酒瓶)附近或上面写下的相同文本301。因此，第三用户的设备已经替换了原始虚拟涂鸦的一部分。
明显地，对于能够显示附在特定“真实”对象上的虚拟涂鸦的任何特定设备105-109来说，设备必须能够识别对象的位置，然后在对象的位置处显示涂鸦。为了实现此任务有若干种方法。在本发明的一个实施例中，通过使用视觉识别来尝试将最初创建的虚拟涂鸦与用户的当前环境进行匹配的增强现实系统，经由标题为“METHOD ANDDEVICE FOR AUGMENTED REALITY MES SAGE HIDING ANDREVEALING”的US2007/0024527中描述的技术来实现这个任务。例如，可以将用户创建的虚拟涂鸦和涂鸦环境的图像一起上载到服务器101。可以将涂鸦环境的图像与涂鸦一起下载到用户的增强现实系统，并且当用户的环境与涂鸦环境的图像匹配时，适当地显示涂鸦。
在本发明的另一实施例中，通过将物理对象的物理坐标(假设为GPS，但是也可以是一些其它系统)分配给虚拟涂鸦，实现将虚拟涂鸦附在物理对象上。必须将物理坐标转换为将产生增强现实场景的3D渲染系统所使用的虚拟坐标(一种这样的3D渲染系统是Java移动3D图形，或M3G，为在移动设备上使用而特别设计的API)。实现这种坐标转换的最方便的方式是将虚拟x坐标设置为经度，将虚拟y坐标设置为纬度，并且将z坐标设置为高度，因此通过将虚拟坐标系统的原点放置在地球中心，使得点(0，0，0)将与投射到地球的中心的赤道和本初子午线交叉的点相对应，从而在虚拟世界中复制物理世界。还将便于消除下述需求：在每次处理虚拟涂鸦消息时，执行从物理坐标到虚拟坐标的计算昂贵的转换。
如上所述，假设物理坐标系统是GPS，但是GPS可能不总是可用的(例如，在建筑物内部)。在这样的情况下，可以替换成任何其它适合的定位系统，例如，基于WiFi的室内定位系统。这种系统将提供相对于其GPS坐标已知的固定参考点(xr，yr，zr)的位置偏移(xo，yo，zo)。不管选择什么坐标系统，由此得到的坐标总是能够转换成任何其它坐标系统。
在获得虚拟涂鸦的虚拟坐标之后，必须为3D渲染系统建立视点，以能够渲染虚拟场景。还必须在虚拟坐标中指定视点，并且视点完全取决于设备的物理位置和定向(即，观看方向)。如果视点面对虚拟涂鸦，则用户将从该视点的角度看到虚拟涂鸦。如果用户向虚拟涂鸦移动，则虚拟涂鸦将显现为逐渐增大。如果用户在适当位置旋转180度以背离虚拟涂鸦，则虚拟涂鸦将不再可见且不会被显示。可以基于视点通过3D渲染系统来自动处理所有这些视觉改变。
在给出包含虚拟涂鸦(在指定的虚拟坐标处)和视点的虚拟场景的情况下，3D渲染系统可以产生对用户唯一的虚拟场景的视图。这种虚拟场景必须覆盖在真实世界的视图之上，以产生增强现实场景。将虚拟场景覆盖到来自移动设备的相机的真实世界的视图上的一种方法是，使用允许任何图像放在虚拟场景后作为其背景的M3G背景对象。使用M3G背景，可以在虚拟场景后放置来自相机的持续更新的帧，因此使场景呈现为覆盖在相机输出上。
在给出上述信息的情况下，确定设备的位置，并将其发送到服务器。服务器确定如果有的话什么消息在设备附近且对设备可用。然后，这些消息被设备下载并进行处理。所述处理包括将虚拟消息的物理位置转换为虚拟坐标。然后，将这些消息放置在那些虚拟坐标处。同时，使用设备的位置和其定向来定义在虚拟世界以及在虚拟坐标中的视点。如果下载的虚拟消息从给出的视点是可见的，则在移动设备的显示器上在来自该设备的相机的场景的直播视频的上面渲染该虚拟消息。
因此，如果用户想要将虚拟消息放置在对象的上面，则用户必须识别将留有消息的对象的上面的点的位置。在最简单的情况下，用户能够将其设备放置在该对象上并捕获位置。然后，用户将这个位置以及虚拟对象和其相关内容(例如，啤酒杯以及施加到啤酒杯的面向南方一侧的文本消息“try the porter(尝尝黑啤酒)”)发送到服务器。用户还指定消息对特定用户可用。当特定用户到达酒吧且处于消息的范围内时，他将从他们的位置(并由此从他们的视点)处看到该消息。如果他们正在朝着消息的面向东方一侧看去，则他们将看到啤酒杯，但是仅能够说在南方一侧存在某些文本消息。如果用户期望读取文本消息，则他们必须移动他们的设备(因此移动他们的视点)，以使面对啤酒杯的南方一侧。
图4是图1的服务器的框图。显然地，服务器101包括全局对象管理器401、数据库403、和个人对象管理器405。在操作期间，全局对象管理器401将从期望在服务器101上存储涂鸦的任何设备105-109接收虚拟涂鸦。优选地通过接收器407无线接收这种信息。全局对象管理器401负责存储系统100内存在的所有虚拟涂鸦。与虚拟涂鸦一起，全局对象管理器401还将接收该涂鸦的位置，以及允许显示该涂鸦的设备的列表。再次，优选地通过接收器407无线接收这种信息。如果该涂鸦待附在(移动或固定的)特定项上，则还将接收将虚拟涂鸦附在对象上所需的信息。对于第一实施例，将存储固定项的周围环境的数字表示；对于第二实施例，将存储移动或固定的虚拟涂鸦的物理位置。上述所有信息都存储在数据库403中。
尽管在图4中仅示出一个个人对象管理器405，但是可以想到的是，每个用户设备将拥有它自己的个人对象管理器405。个人对象管理器405意图用作其相应用户设备与全局对象管理器401之间的中介。个人对象管理器405将周期性地接收其相应用户设备的位置。一旦个人对象管理器405已经确定设备的位置，则个人对象管理器405将访问全局对象管理器401，以确定在特定设备的位置处或者在特定设备的位置附近是否存在用于该设备的任何虚拟涂鸦。个人对象管理器405对所有可用虚拟涂鸦进行过滤，以确定仅与特定设备和该设备的位置相关的虚拟涂鸦。然后，个人对象管理器405基于设备的位置向该设备提供显示虚拟涂鸦需要的相关信息，其中，所述相关的虚拟涂鸦基于设备的身份和位置而改变。通过指令发射器409向该设备无线地发射该信息，以向该设备提供这种信息。
图5是图1的用户设备的框图。如所示，用户设备包括：增强现实系统515、情境感知电路509、档案数据库507、涂鸦数据库508、逻辑电路505、发射器511、接收器513、和用户接口517。情境感知电路509可以包括能够产生用户设备的当前情境的任何设备。例如，情境感知电路509可以包括能够确定用户设备的位置的GPS接收器。可选地，情境感知电路509可以包括如下物件，诸如时钟、能够确定环境温度的温度计、诸如心率(heart-rate)监视器的生物测定监视器、加速度计、气压计等。
在操作期间，设备的用户通过用户接口517创建虚拟涂鸦。虚拟涂鸦优选地但非必须包括至少两个部分：虚拟对象和内容。虚拟对象是3D对象模型，例如，其可以是表示化身的简单多边形或复杂多面体。内容优选地是文本，预存储的图像，诸如剪贴画、图片、照片、音频或视频剪辑等。虚拟对象和其相关内容包括涂鸦数据库508中存储的虚拟涂鸦。在本发明的一个实施例中，用户接口517包括能够从涂鸦数据库508获得虚拟对象并创建手写的消息和/或图片的电子板。
一旦逻辑电路505从用户接口517或涂鸦数据库508接收到虚拟涂鸦，则逻辑电路505访问情境感知电路509并且确定该涂鸦被创建的位置(对于固定涂鸦)或者虚拟涂鸦将被附着到的设备(对于移动涂鸦)。逻辑电路505还接收具有观看该涂鸦的权限的用户的列表。还通过用户接口517向逻辑电路505提供此列表。
在本发明的一个实施例中，虚拟涂鸦与物理对象相关联。当在这种情况下时，逻辑电路505还接收将该涂鸦附在对象上所需的信息。最终，通过逻辑电路505指示发射器511发射虚拟涂鸦、位置、能够观看涂鸦的用户的列表以及如果在相关联情况下将该涂鸦附在对象上所需的信息，从而向虚拟涂鸦服务器101提供虚拟涂鸦。如上所述，服务器101周期性地监视所有设备105-109的位置连同它们的身份，并且当特定设备处于待被提供虚拟涂鸦的位置附近时，服务器101使用网络103以向该设备提供这种信息。
当特定设备处于虚拟涂鸦可用于观看的位置附近时，设备将例如通过指示用户接口517发出嘟嘟声来通知用户。然后，用户可以使用设备来观看虚拟涂鸦作为增强现实场景的一部分。因此，当图5的设备在虚拟涂鸦可用于该设备的位置附近时，接收器513将从服务器101接收该涂鸦和该涂鸦的位置。如果相关联，则接收器513还将接收将该涂鸦附在物理对象上所需的信息。这种信息将传递到逻辑电路505。
如上所述，每个用户设备包括档案数据库507，所述档案数据库507包含会由每个用户定义的一组个人偏爱。个人偏爱可以是例如：
●以第二类型的对象替换第一类型的对象；
●以第二大小的类似对象替换第一大小的对象；
●以第二颜色方案的类似对象替换第一颜色方案的对象；
●为了可读性以第二大小的文本替换第一大小的文本；
●为了可读性以第二字体的文本替换第一字体的文本；
●以较高分辨率的图像替换较低分辨率的图像；
●以第二格式(例如wav)的音频文件替换第一格式(例如mp3)的音频文件。
当下载和处理虚拟涂鸦时，逻辑电路505(用作档案管理器)将访问个人偏爱以定制该涂鸦的外观。任何定制的涂鸦将存储在涂鸦数据库508内。如果不需要定制，则逻辑电路505仅在涂鸦数据库508内存储涂鸦。
逻辑电路505周期性地访问情境感知电路509以获得对位置的更新，并且向服务器101提供这些更新。当逻辑电路505确定应该显示虚拟涂鸦时，将该事实通知给用户。然后，用户可以使用增强现实系统515来显示涂鸦。更具体地，成像器503对当前背景成像，并将其提供给显示器501。显示器501还将从涂鸦数据库508接收虚拟涂鸦，并且提供当前背景的图像连同适当显示的涂鸦。因此，将虚拟涂鸦嵌入到用户关于真实世界的视图或与用户关于真实世界的视图融合。
图6是示出图1的服务器的操作的流程图。逻辑流程在步骤601开始，在步骤601，全局对象管理器401从第一设备接收表示虚拟涂鸦的信息、虚拟涂鸦的位置、以及能够观看虚拟涂鸦的用户的列表。应该注意到，可以将在步骤601接收的信息更新为现有信息。例如，当虚拟涂鸦是“移动的”时，则全局对象管理器401可以接收对涂鸦的位置的周期性更新。另外，当虚拟涂鸦改变(例如心率)时，全局对象管理器401可以接收对涂鸦的周期性更新。
继续图6的逻辑流程，然后，将信息存储在数据库403中(步骤603)。如上所述，个人对象管理器405将周期性地接收包括第一设备的所有设备的位置(例如地理区)(步骤605)，并且确定设备的位置是否在任何存储的虚拟涂鸦附近(步骤607)。如果在步骤607，个人对象管理器405确定其相应设备(第二设备)在能够观看的(可以附着到第一设备的)任何虚拟涂鸦附近，则逻辑流程继续到步骤609，在步骤609，通过发射器409向第二设备无线发射涂鸦和用于观看虚拟涂鸦的所需信息(例如涂鸦的位置)。
图7是示出当创建涂鸦时图1的用户设备的操作的流程图。具体地，图7的逻辑流程示出创建虚拟涂鸦并该涂鸦存储在服务器101上以供他人观看所需的步骤。逻辑流程从步骤701开始，在步骤701，用户接口517从用户接收虚拟涂鸦输入，连同具有观看该涂鸦的权限的设备的列表。这种情况下，虚拟涂鸦可以由用户通过用户接口517输入，或者可以是从情境感知电路509获得的涂鸦。例如，当情境感知电路包括心率(heart rate)监视器，涂鸦可以是从电路509获得的实际心率。
这种信息传递到逻辑电路505(步骤703)。在步骤705，逻辑电路505访问情境感知电路509，并且检索虚拟涂鸦的当前位置。逻辑流程继续到步骤707，在步骤707，逻辑电路505指示发射器511发射位置、涂鸦的数字表示(例如，jpeg或.gif图像)、和具有观看涂鸦的权限的用户的列表。应该注意到，在3D虚拟对象的情况下，数字表示可以包括关于3D模型和内容(例如，照片、音乐文件等)的URL。如果虚拟涂鸦的外观在改变，则逻辑流程可以继续到可选步骤709，在步骤709，逻辑电路505周期性地更新涂鸦。
图8是示出图1的用户设备的操作的流程图。具体地，图8的逻辑流程示出显示虚拟涂鸦所需的那些步骤。逻辑流程在步骤801开始，在步骤801，逻辑电路505周期性地访问情境感知电路509，并且向发射器511提供位置以发射到服务器101。响应于提供位置的步骤，在步骤803，接收器513接收观看虚拟涂鸦所需的信息。如上所述，这种信息可以仅包含虚拟涂鸦的大致位置连同虚拟涂鸦的表示。在其它实施例中，这种信息可以包含将虚拟涂鸦附在对象上所需的信息。这种信息可以包括物理对象的数字表示，或虚拟涂鸦的准确位置。
在步骤805，逻辑电路505(用作档案管理器)分析虚拟涂鸦。然后，访问档案数据库507以确定用户偏爱(步骤806)。在步骤807，逻辑电路505确定是否应该修改涂鸦，以及如果不修改，则逻辑流程继续到步骤811，否则逻辑流程继续到步骤809。
在步骤809，逻辑电路505通过替换或修改涂鸦的一部分基于用户偏爱适当地修改虚拟涂鸦。在步骤811，逻辑电路505访问虚拟涂鸦数据库508，并且存储修改后的或未修改的虚拟涂鸦连同显示涂鸦所需的其它信息(例如涂鸦的位置)。对于3D情况，这包括设备的定向以指定视点。最终，在步骤813，当用户处于适当位置时，显示器501(作为增强现实系统515的一部分)显示修改后的或未修改的虚拟涂鸦作为增强现实场景的一部分。
尽管已经参照特定实施例具体地显示并描述了本发明，但是本领域的技术人员将理解，在不脱离本发明的精神和范围的情况下，可以对其进行各种形式和细节的改变。例如，虽然上面的描述中使得档案数据库507存在于用户设备内，本领域的普通技术人员将认识到，数据库507可以存在于服务器101内，并在将涂鸦提供给任何用户之前，用服务器101执行涂鸦的所需修改。在此情况期间，服务器101将从第一设备接收虚拟涂鸦连同虚拟涂鸦的位置，并且访问数据库507来确定第二设备的偏爱。然后，逻辑电路将基于第二设备的偏爱来修改虚拟涂鸦。当第二设备的位置处于虚拟涂鸦的位置附近时，将向第二设备提供修改后的虚拟涂鸦。意图这些改变落入所附权利要求的范围内。
权利要求书(按照条约第19条的修改)
1.一种用于接收和显示虚拟涂鸦作为增强现实场景的一部分的方法，所述方法包括步骤：
提供位置；
响应于所述提供位置的步骤接收虚拟涂鸦；
确定用户偏爱；
基于所述用户偏爱来修改所述虚拟涂鸦；以及
显示修改后的虚拟涂鸦作为增强现实场景的一部分，其中，所述修改后的虚拟涂鸦嵌入在用户关于真实世界环境的视图中或与用户关于真实世界环境的视图融合。
2.如权利要求1所述的方法，其中，所述确定用户偏爱的步骤包括访问数据库以确定所述用户偏爱的步骤。
3.如权利要求1所述的方法，其中，所述修改虚拟涂鸦的步骤包括替换或修改所述虚拟涂鸦的一部分的步骤。
4.如权利要求1所述的方法，其中，所述虚拟涂鸦包括对象和内容。
5.如权利要求4所述的方法，其中，所述修改虚拟涂鸦的步骤包括下面步骤之一：
以第二类型的对象替换第一类型的对象；
以第二大小的类似对象替换第一大小的对象；
以第二颜色方案的类似对象替换第一颜色方案的对象；
以第二大小的文本替换第一大小的文本；
以第二字体的文本替换第一字体的文本；
以较高分辨率的图像替换较低分辨率的图像；
以第二格式的音频文件替换第一格式的音频文件。
6.如权利要求4所述的方法，其中，所述内容包括文本、图像、音频或视频剪辑。
7.一种用于向设备提供虚拟涂鸦的方法，所述方法包括步骤：
从第一设备接收虚拟涂鸦连同所述虚拟涂鸦的位置；
确定第二设备的偏爱；
基于所述第二设备的偏爱来修改所述虚拟涂鸦；
接收第二设备的位置；以及
当所述第二设备的位置处于所述虚拟涂鸦的位置附近时，向所述第二设备提供修改后的虚拟涂鸦，以及其中，所述修改后的虚拟涂鸦嵌入在用户关于真实世界环境的视图中或与用户关于真实世界环境的视图融合。
8.如权利要求7所述的方法，其中，所述确定用户偏爱的步骤包括访问数据库以确定所述用户偏爱的步骤。
9.如权利要求7所述的方法，其中，所述修改虚拟涂鸦的步骤包括替换或修改所述虚拟涂鸦的一部分的步骤。
10.如权利要求7所述的方法，其中，所述虚拟涂鸦包括对象和内容。
11.如权利要求10所述的方法，其中，所述修改虚拟涂鸦的步骤包括下面步骤之一：
以第二类型的对象替换第一类型的对象；
以第二大小的类似对象替换第一大小的对象；
以第二颜色方案的类似对象替换第一颜色方案的对象；
以第二大小的文本替换第一大小的文本；
以第二字体的文本替换第一字体的文本；
以较高分辨率的图像替换较低分辨率的图像；
以第二格式的音频文件替换第一格式的音频文件。
12.如权利要求10所述的方法，其中，所述内容包括文本、图像、音频或视频剪辑。
13.一种用于接收和显示虚拟涂鸦作为增强现实场景的一部分的装置，所述装置包括：
发射器，用于提供位置；
接收器，用于响应于所述提供位置的步骤接收虚拟涂鸦；
逻辑电路，用于确定用户偏爱，并且基于所述用户偏爱修改所述虚拟涂鸦；以及
增强现实系统，用于显示修改后的虚拟涂鸦作为增强现实场景的一部分，其中，所述修改后的虚拟涂鸦嵌入在用户关于真实世界环境的视图中或与用户关于真实世界环境的视图融合。
14.如权利要求13所述的装置，其中，所述用户偏爱存在于数据库中。
15.如权利要求13所述的装置，其中，所述逻辑电路通过修改或替换所述虚拟涂鸦的一部分来修改所述虚拟涂鸦。
16.如权利要求13所述的装置，其中，所述虚拟涂鸦包括对象和内容。
17.如权利要求16所述的装置，其中，所述逻辑电路通过执行下面步骤之一来修改所述虚拟涂鸦：
以第二类型的对象替换第一类型的对象；
以第二大小的类似对象替换第一大小的对象；
以第二颜色方案的类似对象替换第一颜色方案的对象；
以第二大小的文本替换第一大小的文本；
以第二字体的文本替换第一字体的文本；
以较高分辨率的图像替换较低分辨率的图像；
以第二格式的音频文件替换第一格式的音频文件。
18.如权利要求16所述的装置，其中，所述内容包括文本、图像、音频或视频剪辑。

Claims (18)

1.一种用于接收和显示虚拟涂鸦作为增强现实场景的一部分的方法，所述方法包括步骤：
提供位置；
响应于所述提供位置的步骤接收虚拟涂鸦；
确定用户偏爱；
基于所述用户偏爱来修改所述虚拟涂鸦；以及
显示修改后的虚拟涂鸦作为增强现实场景的一部分。
2.如权利要求1所述的方法，其中，所述确定用户偏爱的步骤包括访问数据库以确定所述用户偏爱的步骤。
3.如权利要求1所述的方法，其中，所述修改虚拟涂鸦的步骤包括替换或修改所述虚拟涂鸦的一部分的步骤。
4.如权利要求1所述的方法，其中，所述虚拟涂鸦包括对象和内容。
5.如权利要求4所述的方法，其中，所述修改虚拟涂鸦的步骤包括下面步骤之一：
以第二类型的对象替换第一类型的对象；
以第二大小的类似对象替换第一大小的对象；
以第二颜色方案的类似对象替换第一颜色方案的对象；
以第二大小的文本替换第一大小的文本；
以第二字体的文本替换第一字体的文本；
以较高分辨率的图像替换较低分辨率的图像；
以第二格式的音频文件替换第一格式的音频文件。
6.如权利要求4所述的方法，其中，所述内容包括文本、图像、音频或视频剪辑。
7.一种用于向设备提供虚拟涂鸦的方法，所述方法包括步骤：
从第一设备接收虚拟涂鸦连同所述虚拟涂鸦的位置；
确定第二设备的偏爱；
基于所述第二设备的偏爱来修改所述虚拟涂鸦；
接收第二设备的位置；以及
当所述第二设备的位置处于所述虚拟涂鸦的位置附近时，向所述第二设备提供修改后的虚拟涂鸦。
8.如权利要求7所述的方法，其中，所述确定用户偏爱的步骤包括访问数据库以确定所述用户偏爱的步骤。
9.如权利要求7所述的方法，其中，所述修改虚拟涂鸦的步骤包括替换或修改所述虚拟涂鸦的一部分的步骤。
10.如权利要求7所述的方法，其中，所述虚拟涂鸦包括对象和内容。
11.如权利要求10所述的方法，其中，所述修改虚拟涂鸦的步骤包括下面步骤之一：
以第二类型的对象替换第一类型的对象；
以第二大小的类似对象替换第一大小的对象；
以第二颜色方案的类似对象替换第一颜色方案的对象；
以第二大小的文本替换第一大小的文本；
以第二字体的文本替换第一字体的文本；
以较高分辨率的图像替换较低分辨率的图像；
以第二格式的音频文件替换第一格式的音频文件。
12.如权利要求10所述的方法，其中，所述内容包括文本、图像、音频或视频剪辑。
13.一种用于接收和显示虚拟涂鸦作为增强现实场景的一部分的装置，所述装置包括：
发射器，用于提供位置；
接收器，用于响应于所述提供位置的步骤接收虚拟涂鸦；
逻辑电路，用于确定用户偏爱，并且基于所述用户偏爱修改所述虚拟涂鸦；以及
增强现实系统，用于显示修改后的虚拟涂鸦作为增强现实场景的一部分。
14.如权利要求13所述的装置，其中，所述用户偏爱存在于数据库中。
15.如权利要求13所述的装置，其中，所述逻辑电路通过修改或替换所述虚拟涂鸦的一部分来修改所述虚拟涂鸦。
16.如权利要求13所述的装置，其中，所述虚拟涂鸦包括对象和内容。
17.如权利要求16所述的装置，其中，所述逻辑电路通过执行下面步骤之一来修改所述虚拟涂鸦：
以第二类型的对象替换第一类型的对象；
以第二大小的类似对象替换第一大小的对象；
以第二颜色方案的类似对象替换第一颜色方案的对象；
以第二大小的文本替换第一大小的文本；
以第二字体的文本替换第一字体的文本；
以较高分辨率的图像替换较低分辨率的图像；
以第二格式的音频文件替换第一格式的音频文件。
18.如权利要求16所述的装置，其中，所述内容包括文本、图像、音频或视频剪辑。
CN2009801100663A 2008-03-20 2009-03-16 移动虚拟和增强现实系统 Active CN102037485B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/051,969 US20090237328A1 (en) 2008-03-20 2008-03-20 Mobile virtual and augmented reality system
US12/051,969 2008-03-20
PCT/US2009/037257 WO2009117350A2 (en) 2008-03-20 2009-03-16 Mobile virtual and augmented reality system

Publications (2)

Publication Number Publication Date
CN102037485A true CN102037485A (zh) 2011-04-27
CN102037485B CN102037485B (zh) 2013-09-25

Family

ID=41088371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801100663A Active CN102037485B (zh) 2008-03-20 2009-03-16 移动虚拟和增强现实系统

Country Status (7)

Country Link
US (1) US20090237328A1 (zh)
EP (2) EP2257927A4 (zh)
KR (1) KR101226405B1 (zh)
CN (1) CN102037485B (zh)
BR (1) BRPI0910260A2 (zh)
DE (1) DE202009019122U1 (zh)
WO (1) WO2009117350A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
CN102810109B (zh) * 2011-05-31 2018-01-09 中兴通讯股份有限公司 增强现实视图的存储方法和装置
CN108415974A (zh) * 2018-02-08 2018-08-17 上海爱优威软件开发有限公司 留言方法、留言信息获取方法、终端设备及云端系统
CN108776544A (zh) * 2018-06-04 2018-11-09 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
CN111476873A (zh) * 2020-03-12 2020-07-31 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214111A1 (en) * 2007-12-21 2010-08-26 Motorola, Inc. Mobile virtual and augmented reality system
US20090315766A1 (en) 2008-06-19 2009-12-24 Microsoft Corporation Source switching for devices supporting dynamic direction information
US20100009662A1 (en) 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
US8872767B2 (en) * 2009-07-07 2014-10-28 Microsoft Corporation System and method for converting gestures into digital graffiti
US9424583B2 (en) 2009-10-15 2016-08-23 Empire Technology Development Llc Differential trials in augmented reality
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information
US9875671B2 (en) * 2009-12-17 2018-01-23 Google Llc Cloud-based user interface augmentation
JP5616622B2 (ja) * 2009-12-18 2014-10-29 アプリックスＩｐホールディングス株式会社 拡張現実感提供方法及び拡張現実感提供システム
US20110225069A1 (en) * 2010-03-12 2011-09-15 Cramer Donald M Purchase and Delivery of Goods and Services, and Payment Gateway in An Augmented Reality-Enabled Distribution Network
WO2011112940A1 (en) * 2010-03-12 2011-09-15 Tagwhat, Inc. Merging of grouped markers in an augmented reality-enabled distribution network
US9542038B2 (en) 2010-04-07 2017-01-10 Apple Inc. Personalizing colors of user interfaces
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9728007B2 (en) * 2010-05-18 2017-08-08 Teknologian Tutkimuskeskus Vtt Oy Mobile device, server arrangement and method for augmented reality applications
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US20110310260A1 (en) * 2010-06-18 2011-12-22 Minx, Inc. Augmented Reality
US20120105440A1 (en) * 2010-06-25 2012-05-03 Lieberman Stevan H Augmented Reality System
US20120256917A1 (en) * 2010-06-25 2012-10-11 Lieberman Stevan H Augmented Reality System
KR101479262B1 (ko) 2010-09-02 2015-01-12 주식회사 팬택 증강현실 정보 이용 권한 부여 방법 및 장치
US8174931B2 (en) 2010-10-08 2012-05-08 HJ Laboratories, LLC Apparatus and method for providing indoor location, position, or tracking of a mobile computer using building information
WO2012099377A2 (ko) * 2011-01-17 2012-07-26 엘지전자 주식회사 증강 현실 타겟(ar target) 업데이트 방법 및 이를 채용하는 단말 및 서버
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9930128B2 (en) * 2011-09-30 2018-03-27 Nokia Technologies Oy Method and apparatus for accessing a virtual object
US9285871B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US9349218B2 (en) * 2012-07-26 2016-05-24 Qualcomm Incorporated Method and apparatus for controlling augmented reality
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US8928695B2 (en) * 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9240075B2 (en) * 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
JP2014203406A (ja) * 2013-04-09 2014-10-27 富士通株式会社 制御装置、制御方法および制御プログラム
JP2014229104A (ja) * 2013-05-23 2014-12-08 ヤマハ株式会社 サーバ装置、プログラム及び通信方法
KR102421862B1 (ko) * 2014-01-24 2022-07-18 피씨엠에스 홀딩스, 인크. 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
US10592929B2 (en) 2014-02-19 2020-03-17 VP Holdings, Inc. Systems and methods for delivering content
JP2016057814A (ja) * 2014-09-09 2016-04-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
US9659381B2 (en) * 2015-01-26 2017-05-23 Daqri, Llc Real time texture mapping for augmented reality system
US11201981B1 (en) * 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
EP3264783B1 (en) 2016-06-29 2021-01-06 Nokia Technologies Oy Rendering of user-defined messages having 3d motion information
TWI603227B (zh) 2016-12-23 2017-10-21 李雨暹 移動物件的虛擬訊息遠距管理方法與應用系統
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
US10567321B2 (en) * 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US11063889B2 (en) * 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
US11087539B2 (en) 2018-08-21 2021-08-10 Mastercard International Incorporated Systems and methods for generating augmented reality-based profiles
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US10897564B1 (en) 2019-06-17 2021-01-19 Snap Inc. Shared control of camera device by multiple devices
US11340857B1 (en) 2019-07-19 2022-05-24 Snap Inc. Shared control of a virtual object by multiple devices
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
US11985175B2 (en) 2020-03-25 2024-05-14 Snap Inc. Virtual interaction session to facilitate time limited augmented reality based communication between multiple users
US11593997B2 (en) * 2020-03-31 2023-02-28 Snap Inc. Context based augmented reality communication
KR102678394B1 (ko) * 2022-11-22 2024-06-28 (주)이엘온소프트 위치기반 증강현실 메모 광고 서비스 시스템 및 그 시스템의 광고 서비스 방법

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6825550B2 (en) * 1999-09-02 2004-11-30 Micron Technology, Inc. Board-on-chip packages with conductive foil on the chip surface
SE522917C2 (sv) * 1999-09-10 2004-03-16 Ericsson Telefon Ab L M Mobilkommunikationssystem vilket möjliggör positionsassocierade medelanden
US6377793B1 (en) * 2000-12-06 2002-04-23 Xybernaut Corporation System and method of accessing and recording messages at coordinate way points
US6681107B2 (en) * 2000-12-06 2004-01-20 Xybernaut Corporation System and method of accessing and recording messages at coordinate way points
WO2002089408A1 (en) * 2001-05-02 2002-11-07 Symbian Limited Group communication method for a wireless communication device
US7113618B2 (en) * 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US6879835B2 (en) * 2001-12-04 2005-04-12 International Business Machines Corporation Location-specific messaging system
JP2003303356A (ja) * 2002-04-09 2003-10-24 Canon Inc 展示装置
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US7190960B2 (en) * 2002-06-14 2007-03-13 Cingular Wireless Ii, Llc System for providing location-based services in a wireless network, such as modifying locating privileges among individuals and managing lists of individuals associated with such privileges
US7042421B2 (en) * 2002-07-18 2006-05-09 Information Decision Technologies, Llc. Method for advanced imaging in augmented reality
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
KR100593982B1 (ko) * 2003-11-06 2006-06-30 삼성전자주식회사 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체
KR100593398B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법
US20050131776A1 (en) * 2003-12-15 2005-06-16 Eastman Kodak Company Virtual shopper device
EP1581031B1 (en) * 2004-03-25 2010-10-06 FUJIFILM Corporation Methods of forming a pattern and a conductive pattern
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
CN102982092B (zh) * 2004-10-19 2017-06-09 飞扬管理有限公司 用于基于位置的社交网络的系统和方法
US7450954B2 (en) * 2005-02-07 2008-11-11 Lamoda, Inc. System and method for location-based interactive content
US8850011B2 (en) * 2005-04-21 2014-09-30 Microsoft Corporation Obtaining and displaying virtual earth images
ATE428154T1 (de) * 2005-05-03 2009-04-15 Seac02 S R L Augmented-reality-system mit identifizierung der realen markierung des objekts
US8933889B2 (en) * 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
US20070032244A1 (en) * 2005-08-08 2007-02-08 Microsoft Corporation Group-centric location tagging for mobile devices
US20070043828A1 (en) * 2005-08-16 2007-02-22 Toshiba America Research, Inc. Ghost messaging
KR100836481B1 (ko) * 2006-09-08 2008-06-09 주식회사 케이티 3ｄ 가상지도상의 사용자의 아바타 객체의 위치 및 활동정보를 현실 세계로 광고하는 시스템 및 방법
US20080079751A1 (en) * 2006-10-03 2008-04-03 Nokia Corporation Virtual graffiti
US20080225779A1 (en) * 2006-10-09 2008-09-18 Paul Bragiel Location-based networking system and method
US8243022B2 (en) * 2006-11-27 2012-08-14 Microsoft Corporation Federated virtual graffiti
US20080154697A1 (en) * 2006-12-22 2008-06-26 Microsoft Corporation Like-Minded People Proximity Detection and Interest Matching System
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US20090054084A1 (en) * 2007-08-24 2009-02-26 Motorola, Inc. Mobile virtual and augmented reality system
US7844229B2 (en) * 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810109B (zh) * 2011-05-31 2018-01-09 中兴通讯股份有限公司 增强现实视图的存储方法和装置
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
CN105814626B (zh) * 2013-09-30 2018-03-13 Pcms控股公司 用于提供增强信息的方法和设备
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
CN108415974A (zh) * 2018-02-08 2018-08-17 上海爱优威软件开发有限公司 留言方法、留言信息获取方法、终端设备及云端系统
CN108776544A (zh) * 2018-06-04 2018-11-09 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
CN111476873A (zh) * 2020-03-12 2020-07-31 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
CN111476873B (zh) * 2020-03-12 2023-11-10 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法

Also Published As

Publication number Publication date
WO2009117350A4 (en) 2010-04-15
EP3702914A2 (en) 2020-09-02
US20090237328A1 (en) 2009-09-24
BRPI0910260A2 (pt) 2017-12-05
EP2257927A2 (en) 2010-12-08
KR20100139043A (ko) 2010-12-31
DE202009019122U1 (de) 2016-11-23
EP3702914B1 (en) 2024-05-01
KR101226405B1 (ko) 2013-01-24
CN102037485B (zh) 2013-09-25
WO2009117350A2 (en) 2009-09-24
EP3702914A3 (en) 2020-09-30
WO2009117350A3 (en) 2009-12-30
EP2257927A4 (en) 2012-05-02

Similar Documents

Publication Publication Date Title
CN102037485B (zh) 移动虚拟和增强现实系统
US7844229B2 (en) Mobile virtual and augmented reality system
US7853296B2 (en) Mobile virtual and augmented reality system
EP2225896B1 (en) Mobile virtual and augmented reality system
US20090054084A1 (en) Mobile virtual and augmented reality system
US8350871B2 (en) Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
US20110069062A1 (en) Visual representation of contact location
US20090158206A1 (en) Method, Apparatus and Computer Program Product for Displaying Virtual Media Items in a Visual Media
CN102142151A (zh) 用于提供增强现实的终端和方法
CN103576539A (zh) 一种时间校准方法及装置
CN102395101B (zh) 联系位置的可视表示
US20050162431A1 (en) Animation data creating method, animation data creating device, terminal device, computer-readable recording medium recording animation data creating program and animation data creating program
US20050017976A1 (en) Cellular terminal, method for creating animation of cellular terminal, and animation creation system
WO2017058278A1 (en) A system and method for use of an object and related application that includes a virtual world and visual recognition
CN113885983A (zh) 名片展示方法、智能终端及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY, Inc.

TR01 Transfer of patent right

Effective date of registration: 20160713

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC