本申请根据35U.S.C.§119(a)要求于2010年7月23日提交的韩国专利申请No.10-2010-0071623的优先权及权益,其所公开的内容作为引用而被结合于此以用于各种目的。
具体实施方式
以下参考附图更全面地说明本发明,其中,附图中示出了本发明的示例性实施方式。然而,本发明可被具体体现为许多不同的形式,并不应被解释为受限于此处阐述的具体实施方式。相反,提供这些示例性实施方式是为了使本公开更为透彻,并将向本领域技术人员完全传达本发明的范围。可以理解的是,出于公开目的,“每个中的至少一者”将被解释为意指该各自语言之后所列举的元素的任意组合,包括多个所列举的元素的组合。例如,“X、Y和Z中的至少一者”将被解释为意指仅X、仅Y、仅Z或X、Y和Z的两个或更多的任意组合(例如,XYZ、XZ、YZ、XY)。除非特别说明,贯穿整个附图及详细描述,相同的附图参考标记将被理解为指代相同的元素、特征以及结构。为了清楚、例示以及方便,这些元素的相对尺寸和绘图可能被夸大。
图1是示出了根据本发明示例性实施方式的一种增强现实(AR)提供设备的示意图。
如图1所示,AR提供设备100包括:第一数据获取单元101、第二数据获取单元102、图像处理器103以及图像显示器104。
第一数据获取单元101获取目标对象图像的第一数据。该目标对象可以是任意感兴趣的对象。例如,如果用户抓取特定区域的图像,该目标对象可以是图像中的建筑块(building block)或任意特定对象。如果该目标对象被识别,那么第一数据获取单元101可获取与该目标对象相关的第一数据。
目标对象的第一数据可以是与目标对象相关的各种AR信息。例如,该AR信息可包括目标对象的一般属性信息,包括地址、电话号码、营业时间、商业类型等。此外,该第一数据可被存储在位于单独的服务器(未示出)内的数据库内。可替换地,该第一数据还可被存储于AR提供设备100内。进一步地,该第一数据可响应于来自AR提供设备100的请求而被提供。例如,如果该AR提供设备100被应用于智能电话,第一数据获取单元101可接收与可在获取到的图像中识别出的目标对象相关的各种AR信息。
更具体地,如果用户使用安装在智能电话内的照相机对某一地点进行拍摄,则目标对象图像信息可被识别并被发送到装有数据库的服务器。作为响应,该服务器可搜索其数据库来认出目标对象,并识别与被识别出的目标对象相关的AR信息。相应地,如果存在可用于被识别出的目标对象的AR信息,则该AR信息被提取并被提供到AR提供设备100。在一个示例中,被提取出的AR信息包括在照片中识别出的目标咖啡店的地址、电话号码、菜单信息、营业时间、标志等。
第二数据获取单元102获取与第一数据不同的第二数据。
在一个示例中,该第二数据可以是可不在第一数据中被提供的附加数据。更具体地,如果该第一数据是从AR数据提供服务器提取出的AR信息,该第二数据可以是可能没有作为第一数据的一部分而从AR数据提供服务器接收的信息。此外,该第二数据可以是与目标对象相关的更详细的AR信息、第一数据的子集、或可被存储在AR数据提供服务器内的不同的AR信息集合。
例如,如果AR提供设备100被应用到智能电话,那么该第二数据可包括由该智能电话的外围设备提供的外部数据和存储在该智能电话的内部数据。在一个示例中,外部数据可包括各种传感器模块或网络模块的输入数据或输出数据,而内部数据可以是可更新的用户资料(profile)或可更新的装置资料。更具体地,该外部数据可包括从可被安装在AR提供设备100内的照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器获得的传感器数据。此外,该外部数据还可包括安装在AR提供设备100的网络模块的网络数据。可替换地,该内部数据可包括表示用户的识别信息、喜好信息等等的用户资料。此外,该内部数据可包括表示AR提供设备100被应用到的终端的状态信息的装置资料。
图像处理器103提取基于第一数据的代表图像。例如,如果该第一数据包括特定咖啡店的名称、地址、电话号码、标志等,图像处理器103可提取接收到的标志作为代表图像。可替换地,该图像处理器103可使用被包括在第一数据内的咖啡店的名称来从网上搜索相关图像,或选择参考图像(诸如,参考咖啡杯图标),以提供代表图像。
同时,图像处理器103可通过基于第二数据修改代表图像、向代表图像增加附加图像、或这二者的结合来对该代表图像进行补充。可替换地,该图像处理器103可基于独立于该代表图像的第二数据,提供补充图像、图标等等。根据AR提供设备100的使用,可对第二数据的示例性用法进行不同地应用,该示例性用法可包括修改代表图像或向代表图像增加附加图像。例如,图像处理器103可比较第一数据与第二数据,结合第二数据来对第一数据进行分析,然后根据比较或分析的结果,修改代表图像或向代表图像增加特定图标。
更具体地,如果根据用户资料(第二数据)确定用户偏爱“咖啡公司A”,则代表图像可被放大、画上轮廓、着色、画上阴影等,以使“咖啡公司A”更显著区别于在获取到的图像上的识别出的其他咖啡店或对象。此外,如果“咖啡公司A”被确定是能够无线上网的(Wi-Fi),这样的信息可作为附加图像被显示,以补充代表图像。不管该代表图像是否被修改,均可使用基于第二数据而被提供的附加图像来补充代表图像。
图8A和图8B示出了根据本发明示例性实施方式的修改后的代表图像以及代表图像与围绕该代表图像的多个附加图像的合成图像的举例。作为示例,参考图8A,图像处理器103可使用第二数据来修改代表图像801的形状、轮廓、尺寸、颜色或亮度。作为另一个示例,参考图8B,图像处理器103可使用第二数据来提取附加图像810、820和830并增加附加图像810、820和830到代表图像801周围。在一个示例中,附加图像810、820和830可以是参考图像、被存储的图像或在网络被识别的图像。
再次参考图1,图像显示器104可显示如图8A所示的代表图像或显示如图8B所示的带有补充代表图像的附加图像的代表图像。例如,该图像显示器104可以是显示面板或触摸显示面板。
通过这种方式,因为AR提供设备100使用第二数据,以通过修改后的代表图像显示与目标对象相关的AR图像(如图8A所示)或通过向代表图像增加附加图像来显示与目标对象相关的AR图像(如图8B所示),用户可更快速且容易地获得想要的信息。
图2是示出了根据本发明示例性实施方式的图像处理器的示意图。
参考图2,图像处理器200包括代表图像创建器201和图像修改器202。
代表图像创建器201基于第一数据,获得目标对象的代表图像。例如,该代表图像创建器201可提取包括在第一数据内的与目标对象相对应于的特定图像作为代表图像。在一个示例中,该特定图像可以是图标或图形图像等。作为另一个示例,该代表图像创建器201可使用包括在第一数据内的信息(诸如商业名称)作为关键字来从网上或存储参考图像的数据库搜索相关图像。在一个示例中,如果第一数据包括目标咖啡店的名称、地址、电话号码、菜单信息、营业时间以及标志图像,则该代表图像创建器201可提取该咖啡店的标志作为代表图像。
图像修改器202基于第二数据,修改获得的代表图像的形状、轮廓、尺寸、颜色、亮度等。例如,在第一数据与目标咖啡店有关并且GPS信息被获取作为第二数据的情况下,该图像修改器202可以以用户到该咖啡店的距离成比例,增加该目标咖啡店的标志尺寸。作为另一个示例,如果获得多个咖啡店的信息作为第一数据,并且装置资料(例如,电池水平)被获取作为第二数据,在电池水平低于参考阈值情况下,该图像修改器202可分析第一数据与第二数据这两者来寻找提供电池充电服务的咖啡店。此外,然后,该图像修改器202可修改该咖啡店的标志为充电器形状或如图8A所示加粗该标志的轮廓。
图3是示出了根据本发明示例性实施方式的图像处理器的示意图。该图像处理器300可以是图1所示的图像处理器103的一个示例。
如图3所示,该图像处理器300包括:代表图像创建器301、附加图像创建器302和合成图像创建器303。
代表图像创建器301基于第一数据,获得针对目标对象的代表图像。例如,该代表图像创建器301可提取被包括在第一数据内的与目标对象相关的特定图像(诸如,咖啡公司的标志)作为代表图像。作为另一个示例,该代表图像创建器301可使用被包括在第一数据内的信息(诸如,商业名称)作为关键字来从网上搜索相关的图像或从存储参考图像的数据库提取参考图像。在一个示例中,如果第一数据包括目标咖啡店的名称、地址、电话号码、菜单信息、营业时间以及标志图像,该代表图像创建器301可提取咖啡店的标志作为代表图像。可替换地,如果没有提供标志信息,那么该代表图像创建器301可使用被包括在第一数据内的商业名称来在网上或从存储参考图像的数据库搜索代表图像数据。
附加图像创建器302获得与第二数据相关的附加图像。参考图8B,该附加图像可以是基于第二数据被创建的不同图标810、820和830。例如,如果在目标商业场所接受特定的信用卡,信用卡图标810可被显示作为附加图像。作为另一个示例,如果在目标商业场所提供Wi-Fi网络服务,Wi-Fi图标820可被显示作为附加图像。作为另一个示例,如果电池水平低于参考阈值,充电图标830可被显示作为附加图像。如果附加图像创建器302确定要提取的第二数据,则获得附加图像。在一个示例中,附加图像可从存储参考图标图像的数据库被提取或通过网络在网上被搜索。
合成图像创建器303对由代表图像创建器301获得的代表图像与由附加图像创建器302获得的附加图像进行合成。在一个示例中,如图8B所示,该合成图像创建器303可减小附加图像的尺寸并将减小尺寸后的附加图像放置在代表图像上或周围。
图4示出了根据本发明示例性实施方式的第一数据。
参考图1、图2、图3和图4,第一数据可以是与目标咖啡店相关的各种AR信息,这些信息与在获取到的图像内识别出的用户感兴趣的目标相关联。例如,假设用户使用在其中安装了AR提供设备100的智能电话对某一地点进行拍摄以获取图像。进一步地,假设在获取到的图像内包括至少一个目标对象。
在一个示例中,第一数据获取单元101可获取在获取到的图像内识别出的目标咖啡店的名称、地址、电话号码、营业时间、菜单信息、标志等作为第一数据。然而,可被分类作为第一数据的所列举的类型信息仅被提供作为一示例并且不受限于这样的指定。还可获取附加信息(诸如,无线通信网络类型、是否提供移动电话电池充电服务等)作为第一数据。进一步地,图像处理器103可使用第一数据提取咖啡店的标志作为代表图像,并在图像显示器104上显示咖啡店的标志。作为代表图像的咖啡店的标志可在基于包含在第二数据内的信息被修改后被显示。此外,咖啡店的标志可与基于包含在第二数据内的信息的附加图标一起被显示。
图5示出了根据本发明示例性实施方式的第二数据。
参考图1、图4和图5,第二数据包括外部数据和内部数据。如图5所示,外部数据包括传感器数据和网络数据。在一个示例中,如果AR提供设备100被应用到智能电话,则可从安装在移动终端(诸如,智能电话)内的照相机、GPS传感器、麦克风、地磁传感器、陀螺传感器或加速度传感器获得传感器数据。此外,网络数据可包括外部环境散布到一个或多个用户的选择性加入(opt-in)的广播信息或社交网络策略(SNS)信息(诸如,网上搜索或Twitter
)。
如图5所示,内部数据包括用户资料和装置资料。用户资料可包括与用户相关的标识符、名片信息、电子邮件地址、时间表、偏爱以及其他类似信息。装置资料可包括终端状态,诸如通信网络、电池水平、当前时间、设备版本以及其他类似信息。
如图4所示,咖啡店A、B和C的标志被提取作为代表图像并被显示在显示器104上。
在一个示例中,如果GPS信息被用作第二数据,图像处理器103可随着用户靠近咖啡店A而增加咖啡店A的标志尺寸。可替换地,图像处理器103可随着用户接近咖啡店A而在咖啡店A的标志上显示距离图标来显示用户的距离信息。
作为另一个示例,如果Wi-Fi服务的可用性被用作第二数据,图像处理器103可分析第二数据与第一数据这两者,将咖啡店B检测为可使用Wi-Fi服务的咖啡店,然后加粗咖啡店B的标志的轮廓,或在咖啡店B的标志上显示Wi-Fi图标。
作为另一个示例,如果用户的咖啡偏爱信息被存储在用户资料内作为第二数据,那么图像处理器103可比较第二数据与第一数据(例如,菜单信息)以检测出出售用户偏爱的咖啡的咖啡店C。然后,图像处理器103可改变咖啡店C的标志的颜色或在咖啡店C的标志周围显示咖啡杯图标。同时,如果来自其他用户的评论被包括在第一数据中,那么可通过将作为第二数据的用户资料与作为第一数据的来自其他用户的评论进行比较和分析来检测出咖啡店C。
在另一个示例中,如果存储在装置资料中的电池水平信息被用作第二数据,并且如果电池充电服务的可用性被用作第一数据,那么,如果电池水平低于参考阈值,则图像处理器103可检测出提供电池充电服务的咖啡店A。然后,图像处理器103可改变咖啡店A的标志为充电器形状或在咖啡店A的标志周围显示充电器图标。
已出于便于描述的目的,提供了当前的示例,并且对于本领域技术人员而言很显然的是,能够使用任意其他方法来通过使用第二数据显示第一数据的内容,以用于用户认识。
图6是示出了根据本发明示例性实施方式的一种AR提供方法的流程图。该AR提供方法可由图1中示出的AR提供设备来执行。该AR提供方法将参考图1、图2、图3、图4、图5和图6在下面进行描述。
首先,获取第一数据(操作601)。例如,第一数据获取单元101可从外部服务器接收与目标对象相关的AR信息。
然后,从外部服务器获取与第一数据不相同的第二数据(操作602)。在一个示例中,第二数据获取单元102可从照相机、麦克风、GPS传感器、地磁传感器、陀螺传感器、加速度传感器以及网络模块获取外部数据。更具体地,示例性的外部数据可包括由第二数据获取单元102收集的图像信息、声音信息、传感器信息以及传输数据等等。此外,第二数据获取单元102还可获取内部数据,诸如用户资料和装置资料。
然后,创建与第一数据相关的代表图像(操作603)。例如,图像处理器103可从获取到的第一数据提取标志图像作为代表图像。可替换地,图像处理器103可基于被包括在第一数据中的信息从网上或存储参考图像的数据库搜索参考图像。
然后,基于第二数据修改代表图像(操作604)。例如,图像处理器103可相对于第二数据,比较并分析第一数据,以识别满足第一数据和第二数据这二者的标准的目标对象。如果识别出的目标对象满足第一数据和第二数据这二者的标准,则可修改目标对象的代表图像的形状、轮廓、尺寸、颜色、亮度等。
之后,显示修改后的代表图像(操作605)。例如,通过在图像显示器104上显示修改后的代表图像,用户需要的信息可被显示,以实现AR。
图7是示出了根据本发明示例性实施方式的一种AR提供方法的流程图。该AR提供方法可由图1中示出的AR提供设备来执行。该AR提供方法将参考图1、图2、图3、图4、图5、图6和图7在下面进行描述。
首先获取第一数据(操作710)。在一个示例中,第一数据获取单元101可从外部服务器接收目标对象的AR信息。
然后,获取与第一数据不相同的第二数据(操作702)。例如,第二数据获取单元102可从照相机、麦克风、GPS传感器、地磁传感器、陀螺传感器、加速度传感器以及网络模块获取外部数据。更具体地,示例性的外部数据可包括由第二数据获取单元102收集的图像信息、声音信息、传感器信息以及传输数据等等。此外,第二数据获取单元102还可获取内部数据,诸如用户资料和装置资料。
然后,创建与第一数据相关的代表图像(操作703)。例如,图像处理器103可从获取到的第一数据提取标志图像作为代表图像。可替换地,图像处理器103可基于被包括在第一数据中的信息从网上或存储参考图像的数据库搜索参考图像。
然后,创建与第二数据相关的附加图像(操作704)。例如,如图8B所示,图像处理器103可相对于第二数据,比较并分析第一数据并且创建图标图像810、820和830作为附加图像。图标图像810、820和830可以是参考图像或通过使用在第二数据发现的信息作为关键字而从网上获得。
随后,基于可能被修改或可能未被修改的代表图像和一个或多个附加图像,创建合成图像(操作705)。例如,图像处理器103可将一个或多个附加图像的尺寸减小为小于代表图像,然后增加一个或多个附加图像到代表图像上或周围。
然后,显示合成图像(操作706)。例如,通过在图像显示器104上显示可能被修改或可能未被修改的代表图像和一个或多个附加图像,用户需要的信息被显示,以实现AR。
以上描述的过程、功能、方法和/或软件可被记录、存储或固定在一个或多个计算机可读存储介质上,其中该计算机可读存储介质包括由计算机实施来使处理器执行或运行的程序指令。介质还可(以单独或结合所述程序指令)包括数据文件以及数据结构等。介质和程序指令可以是那些被特别设计并构建的介质和程序指令,或者可以是计算机软件领域技术人员所公知并可得到的一类介质和程序指令。计算机可读介质的示例包括:磁介质,诸如硬盘、软盘以及磁带;光介质,诸如CD ROM盘和DVD;磁-光介质,诸如光盘;以及特别配置来存储并运行程序指令的硬件装置,诸如只读存储器(ROM)、随机存取存储器(RAM)以及闪存等等。程序指令的示例包括机器码(诸如,由编译器产生)以及包括由计算机使用解释程序执行的较高级别码的文件。所述的硬件装置可被配置成充当一个或多个软件模块以执行上述的操作和方法,反之亦然。此外,计算机可读存储介质可被分布于通过网络连接的计算机系统中,并且计算机可读码或程序指令可以以分散的方式被存储和执行。
对于本领域技术人员而言很显然的是,在不背离本发明的精神和范围的情况下,能够进行各种修改和变化。因此,假设这些修改和变化在附带的权利要求和其等同物的范围内,本发明意欲覆盖本发明的这些修改和变化。