CN102402778A - 通过使用附加数据来提供增强现实的设备和方法 - Google Patents

通过使用附加数据来提供增强现实的设备和方法 Download PDF

Info

Publication number
CN102402778A
CN102402778A CN2011101965840A CN201110196584A CN102402778A CN 102402778 A CN102402778 A CN 102402778A CN 2011101965840 A CN2011101965840 A CN 2011101965840A CN 201110196584 A CN201110196584 A CN 201110196584A CN 102402778 A CN102402778 A CN 102402778A
Authority
CN
China
Prior art keywords
data
image
equipment
representative image
provides
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101965840A
Other languages
English (en)
Inventor
田圣云
姜信用
金在梦
金贤刚
朴训民
刘龙吉
李圭镇
赵恍柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44582134&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102402778(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of CN102402778A publication Critical patent/CN102402778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Abstract

一种增强现实(AR)提供设备,该设备包括:第一数据获取单元,用于获取目标对象的第一数据;第二数据获取单元,用于获取第二数据;以及图像处理器,用于基于所述第一数据获得代表图像并基于所述第二数据修改所述代表图像。一种提供增强现实(AR)的方法,该方法包括:获取用于目标对象的第一数据;从与所述目标对象相关联的源或AR提供设备的用户获取第二数据;获得与所述第一数据相关的代表图像;以及基于所述第二数据修改所述代表图像。

Description

通过使用附加数据来提供增强现实的设备和方法
相关申请的交叉引用
本申请根据35U.S.C.§119(a)要求于2010年7月23日提交的韩国专利申请No.10-2010-0071623的优先权及权益,其所公开的内容作为引用而被结合于此以用于各种目的。
技术领域
以下描述涉及一种用于处理增强现实(AR)数据和图像以实现AR的技术。
背景技术
增强现实(AR)是一种计算机图形技术,其对虚拟对象或信息与真实环境进行合成,以显示虚拟对象或信息,好像他们在真实环境存在一样。
通过对虚拟对象与真实世界进行合成,以提供AR,这样呈现了在真实世界中可能难以显示的信息。不像现存的虚拟现实(VR)可能限于应用到虚拟空间和对象,AR可被应用到真实环境。
由于AR的特性,AR能够被应用到真实环境和现存的虚拟环境,不像传统的VR可能被限于应用到虚拟环境(诸如游戏)。如此,AR技术逐渐受到注意而成为适合到处存在的环境的下一代显示技术。
然而,由于可与虚拟对象进行合成的信息量增加得越来越多,用户在其不得不从大量合成信息中检查以识别需要的信息方面可能会不方便。换句话说,由于大量的信息被以片段方式提供,现存的AR在提供用户可能寻找的信息方面会有困难。
发明内容
本发明的示例性实施方式提供了一种通过使用附加数据来提供增强现实的设备和方法。
在随后的描述中将对本发明的附加特征进行阐述,部分这些特征将通过以下描述而变得显而易见,或通过实施本发明来认识到。
本发明的示例性实施方式提供了一种增强现实(AR)提供设备,该设备包括:第一数据获取单元,用于获取目标对象的第一数据;第二数据获取单元,用于获取第二数据;以及图像处理器,用于基于所述第一数据获得代表图像并基于所述第二数据修改所述代表图像。
本发明的示例性实施方式提供了一种增强现实(AR)提供设备,该设备包括:第一数据获取单元,用于获取目标对象的第一数据;第二数据获取单元,用于获取第二数据;以及图像处理器,用于获得与所述第一数据相关的代表图像,获得与所述第二数据相关的附加图像,并对所述代表图像与所述附加图像进行合成,以创建合成图像。
本发明的示例性实施方式提供了一种提供增强现实(AR)的方法,该方法包括:获取用于目标对象的第一数据;从与所述目标对象相关联的源或AR提供设备的用户获取第二数据;获得与所述第一数据相关的代表图像;以及基于所述第二数据修改所述代表图像。
本发明的示例性实施方式提供了一种提供增强现实(AR)的方法,该方法包括:获取用于目标对象的第一数据;从与所述目标对象相关联的源或AR提供设备的用户获取第二数据;基于所述第一数据获得代表图像;获得与所述第二数据相关的附加图像;以及对所述代表图像与所述附加图像进行合成,以创建合成图像。
可以理解的是,上述的一般性描述和随后的详细描述都是示例性和说明性的,并致力于提供对权利要求书所要求的本发明的进一步解释。其他的特点和方面可通过随后的详细描述、附图以及权利要求书而变得显而易见。
附图说明
附图示出了本发明的实施方式,并与以下描绘一起来解释本发明的原理,其中该附图被包括于此,以提供对本发明的进一步理解,被合并到本说明书中而并成为本说明书的一部分
图1是示出了根据本发明示例性实施方式的一种增强现实(AR)提供设备的示意图;
图2是示出了根据本发明示例性实施方式的图像处理器的示意图;
图3是示出了根据本发明示例性实施方式的图像处理器的示例的示意图;
图4示出了根据本发明示例性实施方式的第一数据;
图5示出了根据本发明示例性实施方式的第二数据;
图6是示出了根据本发明示例性实施方式的一种AR提供方法的流程图;
图7是示出了根据本发明示例性实施方式的一种AR提供方法的流程图;
图8A示出了根据本发明示例性实施方式的修改后的代表图像;
图8B示出了根据本发明示例性实施方式的合成图像。
具体实施方式
以下参考附图更全面地说明本发明,其中,附图中示出了本发明的示例性实施方式。然而,本发明可被具体体现为许多不同的形式,并不应被解释为受限于此处阐述的具体实施方式。相反,提供这些示例性实施方式是为了使本公开更为透彻,并将向本领域技术人员完全传达本发明的范围。可以理解的是,出于公开目的,“每个中的至少一者”将被解释为意指该各自语言之后所列举的元素的任意组合,包括多个所列举的元素的组合。例如,“X、Y和Z中的至少一者”将被解释为意指仅X、仅Y、仅Z或X、Y和Z的两个或更多的任意组合(例如,XYZ、XZ、YZ、XY)。除非特别说明,贯穿整个附图及详细描述,相同的附图参考标记将被理解为指代相同的元素、特征以及结构。为了清楚、例示以及方便,这些元素的相对尺寸和绘图可能被夸大。
图1是示出了根据本发明示例性实施方式的一种增强现实(AR)提供设备的示意图。
如图1所示,AR提供设备100包括:第一数据获取单元101、第二数据获取单元102、图像处理器103以及图像显示器104。
第一数据获取单元101获取目标对象图像的第一数据。该目标对象可以是任意感兴趣的对象。例如,如果用户抓取特定区域的图像,该目标对象可以是图像中的建筑块(building block)或任意特定对象。如果该目标对象被识别,那么第一数据获取单元101可获取与该目标对象相关的第一数据。
目标对象的第一数据可以是与目标对象相关的各种AR信息。例如,该AR信息可包括目标对象的一般属性信息,包括地址、电话号码、营业时间、商业类型等。此外,该第一数据可被存储在位于单独的服务器(未示出)内的数据库内。可替换地,该第一数据还可被存储于AR提供设备100内。进一步地,该第一数据可响应于来自AR提供设备100的请求而被提供。例如,如果该AR提供设备100被应用于智能电话,第一数据获取单元101可接收与可在获取到的图像中识别出的目标对象相关的各种AR信息。
更具体地,如果用户使用安装在智能电话内的照相机对某一地点进行拍摄,则目标对象图像信息可被识别并被发送到装有数据库的服务器。作为响应,该服务器可搜索其数据库来认出目标对象,并识别与被识别出的目标对象相关的AR信息。相应地,如果存在可用于被识别出的目标对象的AR信息,则该AR信息被提取并被提供到AR提供设备100。在一个示例中,被提取出的AR信息包括在照片中识别出的目标咖啡店的地址、电话号码、菜单信息、营业时间、标志等。
第二数据获取单元102获取与第一数据不同的第二数据。
在一个示例中,该第二数据可以是可不在第一数据中被提供的附加数据。更具体地,如果该第一数据是从AR数据提供服务器提取出的AR信息,该第二数据可以是可能没有作为第一数据的一部分而从AR数据提供服务器接收的信息。此外,该第二数据可以是与目标对象相关的更详细的AR信息、第一数据的子集、或可被存储在AR数据提供服务器内的不同的AR信息集合。
例如,如果AR提供设备100被应用到智能电话,那么该第二数据可包括由该智能电话的外围设备提供的外部数据和存储在该智能电话的内部数据。在一个示例中,外部数据可包括各种传感器模块或网络模块的输入数据或输出数据,而内部数据可以是可更新的用户资料(profile)或可更新的装置资料。更具体地,该外部数据可包括从可被安装在AR提供设备100内的照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器获得的传感器数据。此外,该外部数据还可包括安装在AR提供设备100的网络模块的网络数据。可替换地,该内部数据可包括表示用户的识别信息、喜好信息等等的用户资料。此外,该内部数据可包括表示AR提供设备100被应用到的终端的状态信息的装置资料。
图像处理器103提取基于第一数据的代表图像。例如,如果该第一数据包括特定咖啡店的名称、地址、电话号码、标志等,图像处理器103可提取接收到的标志作为代表图像。可替换地,该图像处理器103可使用被包括在第一数据内的咖啡店的名称来从网上搜索相关图像,或选择参考图像(诸如,参考咖啡杯图标),以提供代表图像。
同时,图像处理器103可通过基于第二数据修改代表图像、向代表图像增加附加图像、或这二者的结合来对该代表图像进行补充。可替换地,该图像处理器103可基于独立于该代表图像的第二数据,提供补充图像、图标等等。根据AR提供设备100的使用,可对第二数据的示例性用法进行不同地应用,该示例性用法可包括修改代表图像或向代表图像增加附加图像。例如,图像处理器103可比较第一数据与第二数据,结合第二数据来对第一数据进行分析,然后根据比较或分析的结果,修改代表图像或向代表图像增加特定图标。
更具体地,如果根据用户资料(第二数据)确定用户偏爱“咖啡公司A”,则代表图像可被放大、画上轮廓、着色、画上阴影等,以使“咖啡公司A”更显著区别于在获取到的图像上的识别出的其他咖啡店或对象。此外,如果“咖啡公司A”被确定是能够无线上网的(Wi-Fi),这样的信息可作为附加图像被显示,以补充代表图像。不管该代表图像是否被修改,均可使用基于第二数据而被提供的附加图像来补充代表图像。
图8A和图8B示出了根据本发明示例性实施方式的修改后的代表图像以及代表图像与围绕该代表图像的多个附加图像的合成图像的举例。作为示例,参考图8A,图像处理器103可使用第二数据来修改代表图像801的形状、轮廓、尺寸、颜色或亮度。作为另一个示例,参考图8B,图像处理器103可使用第二数据来提取附加图像810、820和830并增加附加图像810、820和830到代表图像801周围。在一个示例中,附加图像810、820和830可以是参考图像、被存储的图像或在网络被识别的图像。
再次参考图1,图像显示器104可显示如图8A所示的代表图像或显示如图8B所示的带有补充代表图像的附加图像的代表图像。例如,该图像显示器104可以是显示面板或触摸显示面板。
通过这种方式,因为AR提供设备100使用第二数据,以通过修改后的代表图像显示与目标对象相关的AR图像(如图8A所示)或通过向代表图像增加附加图像来显示与目标对象相关的AR图像(如图8B所示),用户可更快速且容易地获得想要的信息。
图2是示出了根据本发明示例性实施方式的图像处理器的示意图。
参考图2,图像处理器200包括代表图像创建器201和图像修改器202。
代表图像创建器201基于第一数据,获得目标对象的代表图像。例如,该代表图像创建器201可提取包括在第一数据内的与目标对象相对应于的特定图像作为代表图像。在一个示例中,该特定图像可以是图标或图形图像等。作为另一个示例,该代表图像创建器201可使用包括在第一数据内的信息(诸如商业名称)作为关键字来从网上或存储参考图像的数据库搜索相关图像。在一个示例中,如果第一数据包括目标咖啡店的名称、地址、电话号码、菜单信息、营业时间以及标志图像,则该代表图像创建器201可提取该咖啡店的标志作为代表图像。
图像修改器202基于第二数据,修改获得的代表图像的形状、轮廓、尺寸、颜色、亮度等。例如,在第一数据与目标咖啡店有关并且GPS信息被获取作为第二数据的情况下,该图像修改器202可以以用户到该咖啡店的距离成比例,增加该目标咖啡店的标志尺寸。作为另一个示例,如果获得多个咖啡店的信息作为第一数据,并且装置资料(例如,电池水平)被获取作为第二数据,在电池水平低于参考阈值情况下,该图像修改器202可分析第一数据与第二数据这两者来寻找提供电池充电服务的咖啡店。此外,然后,该图像修改器202可修改该咖啡店的标志为充电器形状或如图8A所示加粗该标志的轮廓。
图3是示出了根据本发明示例性实施方式的图像处理器的示意图。该图像处理器300可以是图1所示的图像处理器103的一个示例。
如图3所示,该图像处理器300包括:代表图像创建器301、附加图像创建器302和合成图像创建器303。
代表图像创建器301基于第一数据,获得针对目标对象的代表图像。例如,该代表图像创建器301可提取被包括在第一数据内的与目标对象相关的特定图像(诸如,咖啡公司的标志)作为代表图像。作为另一个示例,该代表图像创建器301可使用被包括在第一数据内的信息(诸如,商业名称)作为关键字来从网上搜索相关的图像或从存储参考图像的数据库提取参考图像。在一个示例中,如果第一数据包括目标咖啡店的名称、地址、电话号码、菜单信息、营业时间以及标志图像,该代表图像创建器301可提取咖啡店的标志作为代表图像。可替换地,如果没有提供标志信息,那么该代表图像创建器301可使用被包括在第一数据内的商业名称来在网上或从存储参考图像的数据库搜索代表图像数据。
附加图像创建器302获得与第二数据相关的附加图像。参考图8B,该附加图像可以是基于第二数据被创建的不同图标810、820和830。例如,如果在目标商业场所接受特定的信用卡,信用卡图标810可被显示作为附加图像。作为另一个示例,如果在目标商业场所提供Wi-Fi网络服务,Wi-Fi图标820可被显示作为附加图像。作为另一个示例,如果电池水平低于参考阈值,充电图标830可被显示作为附加图像。如果附加图像创建器302确定要提取的第二数据,则获得附加图像。在一个示例中,附加图像可从存储参考图标图像的数据库被提取或通过网络在网上被搜索。
合成图像创建器303对由代表图像创建器301获得的代表图像与由附加图像创建器302获得的附加图像进行合成。在一个示例中,如图8B所示,该合成图像创建器303可减小附加图像的尺寸并将减小尺寸后的附加图像放置在代表图像上或周围。
图4示出了根据本发明示例性实施方式的第一数据。
参考图1、图2、图3和图4,第一数据可以是与目标咖啡店相关的各种AR信息,这些信息与在获取到的图像内识别出的用户感兴趣的目标相关联。例如,假设用户使用在其中安装了AR提供设备100的智能电话对某一地点进行拍摄以获取图像。进一步地,假设在获取到的图像内包括至少一个目标对象。
在一个示例中,第一数据获取单元101可获取在获取到的图像内识别出的目标咖啡店的名称、地址、电话号码、营业时间、菜单信息、标志等作为第一数据。然而,可被分类作为第一数据的所列举的类型信息仅被提供作为一示例并且不受限于这样的指定。还可获取附加信息(诸如,无线通信网络类型、是否提供移动电话电池充电服务等)作为第一数据。进一步地,图像处理器103可使用第一数据提取咖啡店的标志作为代表图像,并在图像显示器104上显示咖啡店的标志。作为代表图像的咖啡店的标志可在基于包含在第二数据内的信息被修改后被显示。此外,咖啡店的标志可与基于包含在第二数据内的信息的附加图标一起被显示。
图5示出了根据本发明示例性实施方式的第二数据。
参考图1、图4和图5,第二数据包括外部数据和内部数据。如图5所示,外部数据包括传感器数据和网络数据。在一个示例中,如果AR提供设备100被应用到智能电话,则可从安装在移动终端(诸如,智能电话)内的照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器获得传感器数据。此外,网络数据可包括外部环境散布到一个或多个用户的选择性加入(opt-in)的广播信息或社交网络策略(SNS)信息(诸如,网上搜索或Twitter
Figure BSA00000537945500091
)。
如图5所示,内部数据包括用户资料和装置资料。用户资料可包括与用户相关的标识符、名片信息、电子邮件地址、时间表、偏爱以及其他类似信息。装置资料可包括终端状态,诸如通信网络、电池水平、当前时间、设备版本以及其他类似信息。
如图4所示,咖啡店A、B和C的标志被提取作为代表图像并被显示在显示器104上。
在一个示例中,如果GPS信息被用作第二数据,图像处理器103可随着用户靠近咖啡店A而增加咖啡店A的标志尺寸。可替换地,图像处理器103可随着用户接近咖啡店A而在咖啡店A的标志上显示距离图标来显示用户的距离信息。
作为另一个示例,如果Wi-Fi服务的可用性被用作第二数据,图像处理器103可分析第二数据与第一数据这两者,将咖啡店B检测为可使用Wi-Fi服务的咖啡店,然后加粗咖啡店B的标志的轮廓,或在咖啡店B的标志上显示Wi-Fi图标。
作为另一个示例,如果用户的咖啡偏爱信息被存储在用户资料内作为第二数据,那么图像处理器103可比较第二数据与第一数据(例如,菜单信息)以检测出出售用户偏爱的咖啡的咖啡店C。然后,图像处理器103可改变咖啡店C的标志的颜色或在咖啡店C的标志周围显示咖啡杯图标。同时,如果来自其他用户的评论被包括在第一数据中,那么可通过将作为第二数据的用户资料与作为第一数据的来自其他用户的评论进行比较和分析来检测出咖啡店C。
在另一个示例中,如果存储在装置资料中的电池水平信息被用作第二数据,并且如果电池充电服务的可用性被用作第一数据,那么,如果电池水平低于参考阈值,则图像处理器103可检测出提供电池充电服务的咖啡店A。然后,图像处理器103可改变咖啡店A的标志为充电器形状或在咖啡店A的标志周围显示充电器图标。
已出于便于描述的目的,提供了当前的示例,并且对于本领域技术人员而言很显然的是,能够使用任意其他方法来通过使用第二数据显示第一数据的内容,以用于用户认识。
图6是示出了根据本发明示例性实施方式的一种AR提供方法的流程图。该AR提供方法可由图1中示出的AR提供设备来执行。该AR提供方法将参考图1、图2、图3、图4、图5和图6在下面进行描述。
首先,获取第一数据(操作601)。例如,第一数据获取单元101可从外部服务器接收与目标对象相关的AR信息。
然后,从外部服务器获取与第一数据不相同的第二数据(操作602)。在一个示例中,第二数据获取单元102可从照相机、麦克风、GPS传感器、地磁传感器、陀螺传感器、加速度传感器以及网络模块获取外部数据。更具体地,示例性的外部数据可包括由第二数据获取单元102收集的图像信息、声音信息、传感器信息以及传输数据等等。此外,第二数据获取单元102还可获取内部数据,诸如用户资料和装置资料。
然后,创建与第一数据相关的代表图像(操作603)。例如,图像处理器103可从获取到的第一数据提取标志图像作为代表图像。可替换地,图像处理器103可基于被包括在第一数据中的信息从网上或存储参考图像的数据库搜索参考图像。
然后,基于第二数据修改代表图像(操作604)。例如,图像处理器103可相对于第二数据,比较并分析第一数据,以识别满足第一数据和第二数据这二者的标准的目标对象。如果识别出的目标对象满足第一数据和第二数据这二者的标准,则可修改目标对象的代表图像的形状、轮廓、尺寸、颜色、亮度等。
之后,显示修改后的代表图像(操作605)。例如,通过在图像显示器104上显示修改后的代表图像,用户需要的信息可被显示,以实现AR。
图7是示出了根据本发明示例性实施方式的一种AR提供方法的流程图。该AR提供方法可由图1中示出的AR提供设备来执行。该AR提供方法将参考图1、图2、图3、图4、图5、图6和图7在下面进行描述。
首先获取第一数据(操作710)。在一个示例中,第一数据获取单元101可从外部服务器接收目标对象的AR信息。
然后,获取与第一数据不相同的第二数据(操作702)。例如,第二数据获取单元102可从照相机、麦克风、GPS传感器、地磁传感器、陀螺传感器、加速度传感器以及网络模块获取外部数据。更具体地,示例性的外部数据可包括由第二数据获取单元102收集的图像信息、声音信息、传感器信息以及传输数据等等。此外,第二数据获取单元102还可获取内部数据,诸如用户资料和装置资料。
然后,创建与第一数据相关的代表图像(操作703)。例如,图像处理器103可从获取到的第一数据提取标志图像作为代表图像。可替换地,图像处理器103可基于被包括在第一数据中的信息从网上或存储参考图像的数据库搜索参考图像。
然后,创建与第二数据相关的附加图像(操作704)。例如,如图8B所示,图像处理器103可相对于第二数据,比较并分析第一数据并且创建图标图像810、820和830作为附加图像。图标图像810、820和830可以是参考图像或通过使用在第二数据发现的信息作为关键字而从网上获得。
随后,基于可能被修改或可能未被修改的代表图像和一个或多个附加图像,创建合成图像(操作705)。例如,图像处理器103可将一个或多个附加图像的尺寸减小为小于代表图像,然后增加一个或多个附加图像到代表图像上或周围。
然后,显示合成图像(操作706)。例如,通过在图像显示器104上显示可能被修改或可能未被修改的代表图像和一个或多个附加图像,用户需要的信息被显示,以实现AR。
以上描述的过程、功能、方法和/或软件可被记录、存储或固定在一个或多个计算机可读存储介质上,其中该计算机可读存储介质包括由计算机实施来使处理器执行或运行的程序指令。介质还可(以单独或结合所述程序指令)包括数据文件以及数据结构等。介质和程序指令可以是那些被特别设计并构建的介质和程序指令,或者可以是计算机软件领域技术人员所公知并可得到的一类介质和程序指令。计算机可读介质的示例包括:磁介质,诸如硬盘、软盘以及磁带;光介质,诸如CD ROM盘和DVD;磁-光介质,诸如光盘;以及特别配置来存储并运行程序指令的硬件装置,诸如只读存储器(ROM)、随机存取存储器(RAM)以及闪存等等。程序指令的示例包括机器码(诸如,由编译器产生)以及包括由计算机使用解释程序执行的较高级别码的文件。所述的硬件装置可被配置成充当一个或多个软件模块以执行上述的操作和方法,反之亦然。此外,计算机可读存储介质可被分布于通过网络连接的计算机系统中,并且计算机可读码或程序指令可以以分散的方式被存储和执行。
对于本领域技术人员而言很显然的是,在不背离本发明的精神和范围的情况下,能够进行各种修改和变化。因此,假设这些修改和变化在附带的权利要求和其等同物的范围内,本发明意欲覆盖本发明的这些修改和变化。

Claims (30)

1.一种增强现实(AR)提供设备,该设备包括:
第一数据获取单元,用于获取目标对象的第一数据;
第二数据获取单元,用于获取第二数据;以及
图像处理器,用于基于所述第一数据获得代表图像并基于所述第二数据修改所述代表图像。
2.根据权利要求1所述的AR提供设备,其中所述图像处理器对所述第一数据与所述第二数据进行比较,以结合所述第二数据分析所述第一数据,并之后基于该分析的结果,修改所述代表图像。
3.根据权利要求1所述的AR提供设备,其中所述第二数据包括以下各项中的至少一者:
提供自所述AR提供设备外部的外部数据;以及
存储于所述AR提供设备内的内部数据。
4.根据权利要求3所述的AR提供设备,其中所述外部数据包括以下各项中的至少一者:
照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器的传感器数据;以及
网络模块的网络数据。
5.根据权利要求3所述的AR提供设备,其中所述内部数据包括以下各项中的至少一者:
用户资料信息;以及
包含所述AR提供设备的装置的状态信息。
6.根据权利要求1所述的AR提供设备,该设备还包括图像显示器,该图像显示器用于显示修改后的代表图像。
7.根据权利要求1所述的AR提供设备,其中所述图像处理器修改所述代表图像的形状、轮廓、尺寸、颜色和亮度中的至少一者。
8.根据权利要求1所述的AR提供设备,其中所述图像处理器通过从所述第一数据提取图像文件来获得所述代表图像,或通过提取通过使用来自所述第一数据的信息在包含图像文件的数据库上进行搜索而找到的图像来获得所述代表图像。
9.一种增强现实(AR)提供设备,该设备包括:
第一数据获取单元,用于获取目标对象的第一数据;
第二数据获取单元,用于获取第二数据;以及
图像处理器,用于获得与所述第一数据相关的代表图像、获得与所述第二数据相关的附加图像、并对所述代表图像与所述附加图像进行合成,以创建合成图像。
10.根据权利要求9所述的AR提供设备,其中所述图像处理器对所述第一数据与所述第二数据进行比较、结合所述第二数据分析所述第一数据、并基于该分析的结果获得所述附加图像。
11.根据权利要求9所述的AR提供设备,其中所述第二数据包括以下各项中的至少一者:
提供自所述AR提供设备外部的外部数据;以及
存储于所述AR提供设备内的内部数据。
12.根据权利要求11所述的AR提供设备,其中所述外部数据包括以下各项中的至少一者:
照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器的传感器数据;以及
网络模块的网络数据。
13.根据权利要求11所述的AR提供设备,其中所述内部数据包括以下各项中的至少一者:
用户资料信息;以及
包含所述AR提供设备的装置的状态信息。
14.根据权利要求9所述的AR提供设备,该设备还包括图像显示器,该图像显示器用于显示所述合成图像。
15.根据权利要求9所述的AR提供设备,其中所述附加图像被减小尺寸并被放置于所述代表图像的上面或周围。
16.根据权利要求9所述的AR提供设备,其中所述图像处理器还被配置成通过从所述第二数据提取图像文件来获得所述附加图像,或通过提取通过使用来自所述第二数据的信息在包含图像文件的数据库上进行搜索而找到的图像来获得所述附加图像。
17.一种用于提供增强现实(AR)的方法,该方法包括:
获取用于目标对象的第一数据;
从与所述目标对象相关联的源或AR提供设备的用户获取第二数据;
获得与所述第一数据相关的代表图像;以及
基于所述第二数据修改所述代表图像。
18.根据权利要求17所述的方法,其中所述第二数据包括以下各项中的至少一者:
提供自所述AR提供设备外部的外部数据;以及
存储于所述AR提供设备内的内部数据。
19.根据权利要求18所述的方法,其中所述外部数据包括以下各项中的至少一者:
照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器的传感器数据;以及
网络模块的网络数据。
20.根据权利要求18所述的方法,其中所述内部数据包括以下各项中的至少一者:
用户资料信息;以及
包含所述AR提供设备的装置的状态信息。
21.根据权利要求17所述的方法,其中所述基于所述第二数据修改所述代表图像包括修改所述代表图像的形状、轮廓、尺寸、颜色和亮度中的至少一者。
22.根据权利要求17所述的方法,该方法还包括:
比较所述第一数据与所述第二数据,以结合所述第二数据分析所述第一数据;以及
基于该分析的结果获得附加图像。
23.根据权利要求17所述的方法,其中所述获得所述代表图像还包括:
从所述第一数据提取图像文件;或
提取通过使用来自所述第一数据的信息在包含图像文件的数据库上进行搜索而找到的图像。
24.一种用于提供增强现实(AR)的方法,该方法包括:
获取用于目标对象的第一数据;
从与所述目标对象相关联的源或AR提供设备的用户获取第二数据;
基于所述第一数据获得代表图像;
获得与所述第二数据相关的附加图像;以及
对所述代表图像与所述附加图像进行合成,以创建合成图像。
25.根据权利要求24所述的AR提供方法,其中所述第二数据包括以下各项中的至少一者:
提供自所述AR提供设备外部的外部数据;以及
存储于所述AR提供设备内的内部数据。
26.根据权利要求25所述的AR提供方法,其中所述外部数据包括以下各项中的至少一者:
照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器的传感器数据;以及
网络模块的网络数据。
27.根据权利要求25所述的AR提供方法,其中所述内部数据包括以下各项中的至少一者:
用户资料信息;以及
包含所述AR提供设备的装置的状态信息。
28.根据权利要求24所述的AR提供方法,其中对所述代表图像与所述附加图像进行合成包括创建所述附加图像以使所述附加图像被减小尺寸并被放置于所述代表图像的上面或周围。
29.根据权利要求24所述的AR提供方法,其中获得所述附加图像还包括:
从所述第二数据提取图像文件;或
提取通过使用来自所述第二数据的信息在包含图像文件的数据库上进行搜索而找到的图像。
30.根据权利要求24所述的AR提取方法,其中所述获得所述附加图像还包括:
比较所述第一数据与所述第二数据,以结合所述第二数据分析所述第一数据;以及
基于该分析的结果获得所述附加图像。
CN2011101965840A 2010-07-23 2011-07-13 通过使用附加数据来提供增强现实的设备和方法 Pending CN102402778A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100071623A KR101363559B1 (ko) 2010-07-23 2010-07-23 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법
KR10-2010-0071623 2010-07-23

Publications (1)

Publication Number Publication Date
CN102402778A true CN102402778A (zh) 2012-04-04

Family

ID=44582134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101965840A Pending CN102402778A (zh) 2010-07-23 2011-07-13 通过使用附加数据来提供增强现实的设备和方法

Country Status (4)

Country Link
US (1) US20120019547A1 (zh)
EP (1) EP2410493A2 (zh)
KR (1) KR101363559B1 (zh)
CN (1) CN102402778A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014047876A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
CN106878423A (zh) * 2017-02-21 2017-06-20 苏州亮磊知识产权运营有限公司 一种基于监控摄像头的商店营业信息提供方法及其装置
CN109462749A (zh) * 2017-09-06 2019-03-12 佳能株式会社 信息处理装置、信息处理方法以及介质
CN112291434A (zh) * 2020-10-23 2021-01-29 北京蓦然认知科技有限公司 一种基于ar的智能通话方法、装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176635B2 (en) * 2012-06-28 2019-01-08 Microsoft Technology Licensing, Llc Saving augmented realities
JP6092761B2 (ja) * 2013-12-06 2017-03-08 株式会社Nttドコモ 買い物支援装置及び買い物支援方法
KR101821982B1 (ko) 2014-01-31 2018-01-25 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨의 평가
EP3100256A4 (en) 2014-01-31 2017-06-28 Empire Technology Development LLC Augmented reality skin evaluation
WO2015116183A2 (en) * 2014-01-31 2015-08-06 Empire Technology Development, Llc Subject selected augmented reality skin
EP3100226A4 (en) 2014-01-31 2017-10-25 Empire Technology Development LLC Augmented reality skin manager
DE102014009699B4 (de) * 2014-06-26 2022-05-19 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
US11561611B2 (en) * 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067372A1 (en) * 1999-03-02 2002-06-06 Wolfgang Friedrich Utilizing augmented reality-based technologies to provide situation-related assistance to a skilled operator from remote experts
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法
CN101335712A (zh) * 2007-06-29 2008-12-31 阿尔卡特朗讯公司 用于改进来自媒体终端的rtp流中的人的外观的方法和系统
US20090102859A1 (en) * 2007-10-18 2009-04-23 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
KR100526567B1 (ko) 2002-11-13 2005-11-03 삼성전자주식회사 네비게이션장치의 표시방법
KR20090003529A (ko) * 2007-06-14 2009-01-12 엘지전자 주식회사 주변 정보 제공 방법 및 시스템
US8907941B2 (en) * 2009-06-23 2014-12-09 Disney Enterprises, Inc. System and method for integrating multiple virtual rendering systems to provide an augmented reality
US8442502B2 (en) * 2010-03-02 2013-05-14 Empire Technology Development, Llc Tracking an object in augmented reality
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067372A1 (en) * 1999-03-02 2002-06-06 Wolfgang Friedrich Utilizing augmented reality-based technologies to provide situation-related assistance to a skilled operator from remote experts
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法
CN101335712A (zh) * 2007-06-29 2008-12-31 阿尔卡特朗讯公司 用于改进来自媒体终端的rtp流中的人的外观的方法和系统
US20090102859A1 (en) * 2007-10-18 2009-04-23 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014047876A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
US9691180B2 (en) 2012-09-28 2017-06-27 Intel Corporation Determination of augmented reality information
CN106878423A (zh) * 2017-02-21 2017-06-20 苏州亮磊知识产权运营有限公司 一种基于监控摄像头的商店营业信息提供方法及其装置
CN109462749A (zh) * 2017-09-06 2019-03-12 佳能株式会社 信息处理装置、信息处理方法以及介质
US10659822B2 (en) 2017-09-06 2020-05-19 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and medium
CN109462749B (zh) * 2017-09-06 2020-08-04 佳能株式会社 信息处理装置、信息处理方法以及介质
US11202104B2 (en) 2017-09-06 2021-12-14 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and medium
CN112291434A (zh) * 2020-10-23 2021-01-29 北京蓦然认知科技有限公司 一种基于ar的智能通话方法、装置
CN112291434B (zh) * 2020-10-23 2021-07-30 北京蓦然认知科技有限公司 一种基于ar的智能通话方法、装置

Also Published As

Publication number Publication date
US20120019547A1 (en) 2012-01-26
KR20120010054A (ko) 2012-02-02
EP2410493A2 (en) 2012-01-25
KR101363559B1 (ko) 2014-02-17

Similar Documents

Publication Publication Date Title
CN102402778A (zh) 通过使用附加数据来提供增强现实的设备和方法
KR101343609B1 (ko) 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
US10739958B2 (en) Method and device for executing application using icon associated with application metadata
KR101337555B1 (ko) 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
JP6695092B2 (ja) デバイスがユーザ・インターフェースをディスプレイする方法及びそのデバイス
US10095380B2 (en) Method for providing information based on contents and electronic device thereof
US8402050B2 (en) Apparatus and method for recognizing objects using filter information
US20120158730A1 (en) Automatic discovery of metadata
US20130297604A1 (en) Electronic device and method for classification of communication data objects
US20150187139A1 (en) Apparatus and method of providing augmented reality
US11430211B1 (en) Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
CN110619098A (zh) 一种信息展示方法、装置、电子设备及存储介质
TWI470549B (zh) A method of using an image recognition guide to install an application, and an electronic device
US20140330814A1 (en) Method, client of retrieving information and computer storage medium
AU2013306549B2 (en) Method of recommending friends, and server and terminal therefor
US10055813B2 (en) Electronic device and operation method thereof
CN104281656A (zh) 在应用程序中加入标签信息的方法和装置
CN107515870B (zh) 一种搜索方法和装置、一种用于搜索的装置
CN111309240B (zh) 内容显示方法、装置和电子设备
WO2014176938A1 (en) Method and apparatus of retrieving information
KR20080029228A (ko) 위치기반 컨텐츠 제공 시스템 및 그 방법
KR20120011371A (ko) 프라이빗 태그를 제공하는 증강 현실 장치 및 방법
WO2023016050A1 (zh) 一种卡片信息显示方法及电子设备
KR20220161245A (ko) 컨텐츠 목록 제공 방법, 장치 및 컴퓨터 프로그램
Bernardos et al. Analyzing business models for mobile augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Tian Shengyun

Inventor after: Jin Xiangang

Inventor before: Tian Shengyun

Inventor before: Jiang Xinyong

Inventor before: Jin Zaimeng

Inventor before: Jin Xiangang

Inventor before: Pu Xunmin

Inventor before: Liu Longji

Inventor before: Li Guizhen

Inventor before: Zhao Huangzhu

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: TIAN SHENGYUN JIANG XINYONG JIN ZAIMENG JIN XIANGANG PARK HOON-MIN LIU LONGJI LI GUIZHEN ZHAO HUANGZHU TO: TIAN SHENGYUN JIN XIANGANG

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120404