具体实施方式
下面参照附图更全面地描述了本发明,附图示出了本发明的实施方式。然而,本发明可以被实施为很多不同的形式并且不应该被解释为局限于本文中所陈述的实施方式。相反,提供这些实施方式从而使得本公开详尽,并且将充分地将本发明的范围传达给本领域技术人员。在附图中,为了清楚起见,可能夸大了层和区域的尺寸和相对尺寸。在附图中,相同的标号表示相同的要素。
图1例示了根据本发明的示例性实施方式的用于显示AR窗口的增强现实(AR)系统。
参照图1,该AR系统可以提供用于在用户设备100上显示一对象和该对象的详细信息的AR服务。该对象位于用户设备100上显示的图像上,并且对象可以包括例如建筑物、汽车等。AR窗口可以显示详细的信息。用户设备100可以通过调整AR窗口的尺寸、显示位置、显示样式及颜色中的至少一个来确定该AR窗口的布置样式。显示样式可以根据以识别标志所做的标记、AR窗口的组合等而不同。
在提供AR服务时,该AR系统可以包括通信网络10、用户设备100和AR服务器200。尽管图1示出了一个用户设备100和一个AR服务器200作为例子,但是本公开并不限于此。
通信网络10可以是支持用户设备100与AR服务器200之间的通信的数据传输网络。
用户设备100可以提供AR服务,并且可以是能够有线/无线通信的移动电子装置,用户设备包括但不限于智能手机、膝上型计算机等。用户设备100可以存储从用户设备100内获得的对象的AR信息或接收源于AR服务器200的对象的AR信息。
AR服务器200可以响应来自用户设备100的请求,向该用户设备100提供在该用户设备100上显示的对象的AR信息。
参照图1,用户设备100可以包括感应单元110、拍照单元120、用户输入单元130、显示单元140、存储单元150、通信单元160、AR窗口生成单元170、结合单元180以及控制单元190。
感应单元110可以感应关于用户设备100的当前位置和拍照单元120的当前视向的信息。感应单元110可以使用全球定位系统(GPS)、基于位置的服务(LBS)等来感应用户设备100的当前位置,并且使用数字式罗盘来感应拍照单元120的当前视向。感应单元110的感应结果可以用于向AR服务器200请求对象的详细信息。感应单元110可以使用诸如飞行时间(TOF)方案等技术来感应用户设备100与对象之间的距离。
拍照单元120可以对对象进行拍照并且捕捉并存储对象的图像。拍照单元120可以包括嵌入式照相机和外置照相机中的至少一个。拍照单元120可以获得静态图像和运动图像。所获得的图像可以在显示单元140上显示。
用户输出单元130可以是用于接收用户命令的操作板,并且包括使拍照单元120为对象拍照的按钮、方向键、触摸板等。通过用户输入单元130输入的用户命令的信号可以被发送至控制单元190。用户可以操纵用户输入单元130以选择本公开中描述的多种方法中的一种或更多种。
显示单元140可以显示通过拍照单元120获得的图像或通过另一拍照装置获得的图像。如果用户设备100提供了触摸式,则显示单元140可以显示触摸板的用户界面(UI)。
存储单元150可以是非易失性存储器,并且可以存储在用户设备100的操作中使用的程序或软件,并且存储在用户设备100的操作与对象的AR信息之间产生的数据。
通信单元160可以经由通信网络10与AR服务器200通信,并且可以实施为通信用物理模块和软件。例如,通信单元160可以向AR服务器200请求显示单元140上显示的真实图像上的对象的AR信息并从该AR服务器200接收AR信息。AR服务器200可以响应于来自通信单元160的请求,检索数据库(未示出)并将对象的AR信息发送到该通信单元160。
AR窗口生成单元170可以处理所接收的AR信息和关于对象在图像上的位置的位置信息以生成AR窗口。
图2例示了在图像上显示的AR窗口和对象的示例。
结合单元180可以将拍照单元120获得的图像与AR窗口生成单元170生成的AR窗口结合起来。结合的结果可以被显示在显示单元140上,如图2中所示。参照图2,显示单元140可以显示对象210和该对象210上的对应的AR窗口。
控制单元190可以包括处理器或执行处理器的功能,并且可以控制用户设备100的操作。
控制单元190可以在不使用感应单元110的感应数据的情况下识别真实图像中包括的对象。例如,控制单元190可以对真实图像和存储单元150中存储的图像进行比较并检测与该图像匹配的图像。同样地,控制单元190可以使用与检测到的图像匹配的存储的对象数据来识别图像中包括的对象。
控制单元190可以确定是否显示图像中包括的多个对象中的有意义的对象的AR窗口,所述有意义的对象具有与其相关联的AR窗口。参照图2,由于对象210具有对应的AR窗口210a,因此对象210被辨别为有意义的对象,而如缺乏对应的AR窗口所表明的,对象220不是有意义的对象。
控制单元190可以基于各种属性(诸如AR窗口的尺寸、交叠的程度、访问频度等)来调整AR窗口的尺寸、显示位置、显示样式、颜色中的至少一个,并且使用调整的结果来确定AR窗口的布置样式。控制单元190可以控制结合单元180和显示单元140以将AR窗口与对应的对象结合起来并按照确定的布置样式来显示结合的AR窗口和对象。
控制单元190可以对显示单元140上显示的多个对象中的目标对象的尺寸和与该目标对象相对应的目标AR窗口的尺寸进行比较,并且基于该比较来调整目标AR窗口的显示样式。例如,控制单元190可以检测目标对象的边缘并且确定该目标对象的尺寸。因而,由于目标AR窗口通过预定的方法生成,所以控制单元190可以识别该目标对象的尺寸。
图3例示了显示在目标对象内的AR窗口的示例。
参照图3,控制单元190可以确定是否能够将目标AR窗口310a插入到目标对象310内,如果能够将目标AR窗口310a插入到目标对象310内,则如图3中所示地在显示单元140上显示目标AR窗口310a。即,一旦目标对象310的尺寸大于与该目标对象310相对应的目标AR窗口310a的尺寸,控制单元190就可以在显示单元140上将目标AR窗口310a显示在该目标对象310内。
图4例示了根据本发明的示例性实施方式的未显示在目标对象内的AR窗口的示例。
参照图4,控制单元190可以确定目标对象420的尺寸是否小于或等于目标AR窗口420a的尺寸或者确定与另一个对象410交叠的目标对象420是否不具有足够的面积来显示目标AR窗口420a。如果确定目标对象420具有不足的面积,则控制单元190可以生成指示目标AR窗口420a的存在的识别标志420b并以生成的识别标志420b来标记目标对象420。在这种情况下,未显示目标AR窗口420a。目标AR窗口410a可以按原来的尺寸显示在对象410内。
图5例示了根据本发明的示例性实施方式的具有基于对象与用户之间的距离而调整的尺寸的AR窗口的示例。
如果对象(或多个对象)的实际位置与用户之间的距离小,则控制单元190可以以放大的尺寸来显示AR窗口,如果该距离大,则可以以缩小的尺寸(相对于AR窗口的较大尺寸显示)来显示AR窗口。对象(或多个对象)的实际位置可以与拍照单元120所拍摄的真实对象的位置有关。参照图5,对象510的位置最靠近用户或用户设备100,对象520和530依次地与对象510隔开。控制单元190可以拥有与对象510、520和530相对应的AR窗口510a、520a和530a,这些对应的AR窗口以逐渐缩小的尺寸显示在显示单元140上。
图6例示了根据本发明的示例性实施方式的具有基于对象的密度而调整的尺寸的AR窗口的示例。
控制单元190可以基于对象的密度来处理AR窗口,使得如果AR窗口的密度低(即,单个显示单元上的少量AR窗口),则控制单元190就以放大的尺寸来显示AR窗口。参照图6,五个对象和六个AR窗口被显示在一个真实图像上,并且两个对象和两个AR窗口被显示在另一个真实图像上。在左侧的图像中,由于六个AR窗口的密度增大,控制单元190可以以相对地缩小的尺寸(相对于在具有少于六个AR窗口的情况下)来显示这六个AR窗口。控制单元190可以以相对放大的尺寸(与左侧具有六个AR窗口的图像相比)来显示两个AR窗口。
以下的表格示出了如何能够将密度映射到各种AR窗口的显示尺寸的示例。
表1
另选地,控制单元190可以基于用户访问与AR窗口相对应的对象的频度来处理AR窗口显示尺寸,使得该控制单元190以相对于不频繁地访问的对象的尺寸的放大的尺寸来显示受到频繁访问的对象的AR窗口。对象的访问频度可以是参考时间内至少一个用户选择该对象的次数。访问频度可以由控制单元190或AR服务器200计数,其中计数值由控制单元190或AR服务器200存储。
另选地,控制单元190可以基于由用户所设置的优先级或重要性来处理AR窗口的显示尺寸,使得控制单元190以放大的尺寸来显示与具有较低重要性的AR窗口相对的具有较高优先级或重要性的AR窗口。用户可以通过操纵用户输入单元130或访问与AR服务器200相关的网页来为各个对象设置优先级或重要性。
图7、图8和图9例示了根据本发明的示例性实施方式的按照基于AR窗口之间的关系的显示样式显示的AR窗口的示例。
如果真实图像中包括的一个对象具有多个次对象(sub-object),则控制单元190可以将多个次对象中的一个设置为父对象并且将其它的次对象设置为子对象。例如,如果一个建筑物具有银行、餐馆和便利商店,则可以将该银行设置为父对象并且将餐馆和便利店设置为子对象。可以使具有不变的位置和尺寸的子对象的AR窗口取决于该父对象的AR窗口。基于此特征,控制单元190可以组合父对象和子对象,从而以更简单的方式显示AR窗口。
例如,控制单元190可以将存在于同一个对象710中的AR窗口710a、710b和710C组成一组,如图7中的右侧图像所示。控制单元190可以将银行设置为父对象,并且将牙科诊所和眼镜商店设置为子对象,并且不在父对象的AR窗口710c后面显示子对象的AR窗口710a和710b。在图7中,‘G’可以表示组合,指示AR窗口710c已经与至少一个其它AR窗口组合起来。
而且,控制单元190可以将与对象相关联的看起来彼此交叠的AR窗口810至860组合成至少一组,如图8中所示。参照图8,五个对象可以相对于拍照单元120的拍摄方向位于同一视向上。控制单元190可以在最前面的AR窗口810后面不显示或隐藏五个具有相同视向的AR窗口820至860。五个AR窗口820至860可以按照对象的实际位置的次序以不可见的方式显示。
而且,控制单元190可以根据预定的类别将AR窗口910至960组合起来。参照图9,控制单元190可以将显示单元140上显示的AR窗口910至960中属于同一类别的AR窗口组合成一组,并且在显示单元140上显示该组。AR窗口910至930可以属于医院类别,并且AR窗口940至960可以属于餐馆类别。控制单元190可以将AR窗口910至930组合成被代表性地显示为AR窗口910的一组,并且将AR窗口940至960组成被代表性地显示为AR窗口950的一组。被选择为可见的AR窗口可以是预先确定的,如上所述。
另选地,控制单元190可以基于彼此交叠的AR窗口的量来调整AR窗口的显示样式。换句话说,如果交叠的量落入阈值内,则控制单元190可以不处理由AR窗口生成单元170生成的AR窗口并将AR窗口显示为彼此交叠。
如果AR窗口彼此部分交叠,则控制单元190可以在与位于另一个AR窗口后面的AR窗口相对应的对象的可见部分中显示该后面的AR窗口。例如,如果第一AR窗口与位于在该第一AR窗口后面的第二AR窗口部分交叠,则控制单元190可以在与第二AR窗口相对应的对象的可见部分中显示第二AR窗口。
图10例示了根据本发明的示例性实施方式的与多个AR窗口交叠的最前面的AR窗口的显示样式。
参照图10,如果最前面的AR窗口1010与位于该最前面的AR窗口1010后面的AR窗口1020完全交叠,则控制单元190可以在AR窗口1010内以虚线显示AR窗口1020的轮廓。用户可以通过虚线指示的轮廓来识别出除了当前显示的AR窗口以外还存在另一个AR窗口。
图11例示了根据本发明的示例性实施方式的部分交叠的AR窗口的组合的显示样式的示例。
如果AR窗口彼此部分交叠,则控制单元190可以将AR窗口组合成n个组并且在显示单元140上显示这n个组。这是因为由于交叠的缘故可能难以清楚地显示AR窗口。组合的AR窗口可以以气泡的形式显示在对象的顶部或中央。
参照图11,AR窗口1110和1120以及AR窗口1130和1140可以分别彼此部分交叠。控制单元190可以将AR窗口1110至1140组合成两个组,并且在显示单元140上显示各个代表性的AR窗口1110和1140。在此实例中,控制单元190可以将表示组合的‘G’或表示配对的‘P’添加到代表性的AR窗口1110和1140。在图11中,‘C停车场’和‘B零售市场’被组合成AR窗口1110,并且‘F比萨餐馆’和‘D婚礼殿堂’被组合成AR窗口1140。
图12A和图12B例示了根据本发明的示例性实施方式的部分交叠的AR窗口的显示样式的示例。
如果要显示在真实图像上的AR窗口的数量超过参考数量,则控制单元190可以使用树形结构来组合AR窗口。参照图12A,如果多个AR窗口被显示在真实图像上,则用户可能难以识别该用户期望的信息。控制单元190可以将AR窗口分成三个组并且在显示单元140上显示被命名为‘K’、‘B’和‘F’的这三个组的各代表性的AR窗口。在这个实例中,控制单元190可以将表示组合的‘G’或表示配对的‘P’添加至代表性的AR窗口‘K’、‘B’和‘F’。可独立显示的AR窗口‘A’和‘E’中的每一个都可以被显示在显示单元140上。
图12B例示了图12A的分组的AR窗口的树形结构。参照图12B,‘K(P)’和‘I(P)’被组合为图12A的‘K(G)’,并且‘K’和‘J’被配对为该‘K(P)’,并且‘I’和‘G’被配对为‘I(P)’。配对表示两个AR窗口的组合。
图13例示了根据本发明的示例性实施方式的AR窗口的组合的解开。
如果用户选择了显示单元140上显示的n个组中的目标组,则控制单元190可以解开该目标组的组合并且将目标组中的AR窗口布置在对应的对象中。参照图13,AR窗口1110和1140是通过配对设置的代表窗口,并且AR窗口1120和1130独立地显示。如果用户通过触摸选择了AR窗口1110,则控制单元190可以确定该AR窗口1110是否具有显示配对的AR窗口1110和1111的足够空间。控制单元190可以解开AR窗口1110的配对并且将AR窗口1110和1111显示在被确定为适合显示两个AR窗口的空间上。如果解开配对,则控制单元190可以用阴影(斜线)、以灰色或其它的方式来显示AR窗口1110和1111以外的AR窗口以表示未被选择的AR窗口。
图14例示了根据本发明的示例性实施方式的AR窗口的组合的解开。
参照图12A和图14,AR窗口1210是通过组合设置的代表窗口。如果用户通过触摸选择了组合的AR窗口1210,则控制单元190可以解开AR窗口1210的组合并且分离地显示AR窗口1210和1211中的每一个。如果组合被解开并且用户选择了配对的AR窗口1210,则控制单元190可以解开该AR窗口1210的配对并且显示AR窗口1210和1212中的每一个。
图15和图16例示了显示在识别区域中的AR窗口的示例。
控制单元190可以比较对象和AR窗口的尺寸,并且根据该比较结果将AR窗口布置在显示了该对象的区域中或未显示该对象的区域中。在显示单元140的屏幕上,可以将显示了对象的区域称为识别区域,并且将未显示对象的区域称为非识别区域。
参照图15,如果对象1510的AR窗口1510a的尺寸小于该对象1510的尺寸的百分之m,则控制单元190可以在与对象1510相对应的识别区域中显示AR窗口1510a。在这个实例中,‘m’可以是参考值(例如,如85的整数),并且因而可以被调整。
参照图16,如果对象1610的AR窗口1610a的尺寸等于或大于对象1610的尺寸的m,则控制单元190可以将AR窗口1610a显示在非识别区域中。
图17例示了根据本发明的示例性实施方式的具有非识别区域中的标记的AR窗口的示例。
参照图17,如果对象1710的AR窗口1710a的尺寸大于或等于对象1710的尺寸的m并且AR窗口1710a的尺寸大于或等于非识别区域的尺寸的m,则控制单元190可以生成识别标志1710b并且通过显示该识别标志1710b来标记对象1710。
图18例示了根据本发明的示例性实施方式的AR窗口的示例。
参照图18,控制单元190可以显示位于显示单元140的聚焦区域1810内的AR窗口并且不显示位于除了聚焦区域1810以外的区域内的AR窗口。可以关于显示单元140的中心点来设置聚焦区域1810。因而,设备的用户可以预先确定范围(如聚焦区域1810)以选择性地选择要显示的那个(或那些)AR窗口。
图19例示了根据本发明的示例性实施方式的AR窗口的弹出菜单的示例。
参考图19,如果在显示单元140上显示的AR窗口中选择了目标AR窗口1910,则控制单元190可以生成并且显示示出该目标AR窗口1910的详细信息的弹出菜单1920。弹出菜单1920可以包括用于接收用户命令的输入的图标1920a和1920b。在图19所示的示例中,用户可以选择弹出菜单1920上提供的图标1920a,这可以使控制单元190执行与所选的图标1920相对应的操作。
图20是例示了根据本发明的示例性实施方式的显示AR窗口的方法的流程图。
图20的方法可以由控制单元190或图1的用户设备100的处理器来执行。
在操作2000中,用户设备可以检测真实图像中包括的对象。用户设备可以利用对象的位置信息来检测对象或通过该将图像与存储的图像进行比较来检测对象。
在操作2010中,用户设备可以使用所显示的对象的对象数据来生成AR窗口并且确定AR窗口的尺寸。用户设备可以对每个AR窗口的尺寸与每个对应的对象的尺寸进行比较并且确定AR窗口的尺寸。用户设备也可以比较每个对应的对象的位置以确定对应的AR窗口的尺寸。
在操作2020中,用户设备可以利用确定的尺寸来确定AR窗口的显示样式。例如,如果在操作2010中存在不足以显示AR窗口的面积,则用户设备可以利用指示AR窗口的存在的识别标志来标记对应的对象。而且,用户设备可以组合AR窗口并且显示该组合。
在操作2030中,用户设备可以调整AR窗口的交叠的量。例如,用户设备可以基于AR窗口是完全交叠还是部分交叠来确定AR窗口的布置样式。
在操作2040中,用户设备可以提高AR窗口的可读性。例如,用户设备可以显示位于在显示单元的聚焦区域中的AR窗口并且不显示位于聚焦区域以外的区域中的AR窗口。
在操作2050中,用户设备可以将图像和AR窗口结合起来并且显示合成的图像。
可以可选地这些操作2010至2040中的每一个操作。而且,本公开中描述的各种实施方式可以结合操作2010至2040中的一个或多个来执行,或取代操作2010至2040中的一个或多个而执行。
根据所公开的示例性实施方式,在利用用户设备显示AR窗口的方法中,各AR窗口可以被显示在对应的对象的中心并且所有AR窗口可以都被显示在一个真实图像上。
根据本发明的示例性实施方式可以被记录在包含实现由计算机所实施的各种操作的程序指令的非临时性计算机可读介质中。所述介质还可以包含数据文件、数据结构等,它们单独存在或与程序指令结合。所述介质和程序指令可以是为了本发明的目的而专门设计和构造的,或所述介质和程序指令可以是对计算机软件领域技术人员公知且可用的类型。
对于本领域技术人员而言很明显,在不偏离本发明的精神或范围的条件下,可以在本发明中做出各种修改和变型。因而,本发明旨在涵盖落入所附权利要求及其等同物的范围内的本发明的修改和变型。
相关申请的交叉引用
本申请要求于2010年8月12日提交的韩国专利申请No.10-2010-0077896的优先权,为了所有目的,此处以引证的方式并入其全部内容,就像在此进行了完整阐述一样。