CN102375741A - 用于显示增强现实窗口的用户设备和方法 - Google Patents

用于显示增强现实窗口的用户设备和方法 Download PDF

Info

Publication number
CN102375741A
CN102375741A CN2011102093238A CN201110209323A CN102375741A CN 102375741 A CN102375741 A CN 102375741A CN 2011102093238 A CN2011102093238 A CN 2011102093238A CN 201110209323 A CN201110209323 A CN 201110209323A CN 102375741 A CN102375741 A CN 102375741A
Authority
CN
China
Prior art keywords
augmented reality
window
reality window
control module
subscriber equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011102093238A
Other languages
English (en)
Inventor
闵丞晙
李光熙
张中业
金旲勇
朴惠敬
裴惠善
李钉云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of CN102375741A publication Critical patent/CN102375741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Abstract

本发明涉及用于显示增强现实窗口的用户设备和方法。用于显示增强现实窗口的用户设备包括:显示单元,其显示图像和与该图像中包括的对象相对应的增强现实窗口;以及控制单元,其通过调整增强现实窗口的尺寸、显示位置、显示样式和颜色中的至少一个来确定增强现实窗口的布置样式,并且控制显示单元按所确定的布置样式显示增强现实窗口以及对象。一种方法包括以下步骤:检测图像中的对象;生成与对象相对应的增强现实窗口;基于对属性的调整来确定增强现实窗口的布置样式;以及按所确定的布置样式来显示增强现实窗口以及对象。

Description

用于显示增强现实窗口的用户设备和方法
技术领域
本发明的示例性实施方式涉及用于显示增强现实(AR)窗口的用户设备和方法,更具体地,涉及用于以各种布置样式显示AR窗口的用户设备和方法。
背景技术
增强现实(AR)技术是与虚拟现实技术相似的技术并且涉及了用于将真实环境的对象与人造成分或信息结合起来的计算机图形技术。与仅基于虚拟空间和虚拟成分的一般虚拟现实技术不同,AR技术将真实环境的对象与人工成分或信息结合起来,从而添加了难以单独在真实环境中获得的补充信息。然而,随着在AR环境中提供的对象的数量和用于提供对象信息的窗口的数量的增加,AR服务可能未有效率地在有限的屏幕上显示这些对象和窗口。
发明内容
为了解决这个问题,可以基于对象与设备之间的距离来选择对象,只有经过过滤的选择才被显示在窗口上。然而,可能不能通过过滤操作捕捉到用户的意图。
本发明的示例性实施方式提供了用于显示增强现实(AR)窗口的用户设备和方法,该用户设备和方法可以向用户显示多个对象的多个AR窗口。
本发明的附加特征将在下面的描述中公开,并且将从描述中部分地显现,或者可以通过本发明的实践来了解。
本发明的示例性实施方式公开了一种显示增强现实(AR)窗口的用户设备,该用户设备包括:显示单元,其显示图像和与该图像中包括的对象相对应的AR窗口;以及控制单元,其通过调整所述AR窗口的属性来确定所述AR窗口的显示布置。
本发明的示例性实施方式公开了一种显示AR窗口的用户设备,该用户设备包括:显示单元,其显示图像和分别与该图像中包括的第一对象和第二对象相对应的第一AR窗口和第二AR窗口;以及控制单元,如果所述第一AR窗口和所述第二AR窗口彼此部分交叠,则所述控制单元将所述第一AR窗口和所述第二AR窗口组合成一组并与所述第一对象和所述第二对象一起显示该组。
本发明的示例性实施方式公开了一种用于显示用户设备的AR窗口以提供AR服务的方法,该方法包括以下步骤:检测图像中包括的对象;生成与该对象相对应的第一AR窗口;基于对属性的调整来确定所述第一AR窗口的布置样式;以及按照确定的布置样式将所述第一AR窗口与所述对象一起显示。
附图说明
附图被包括在本说明书中以提供对本发明的进一步理解,并结合到本说明书中且构成本说明书的一部分,附图示出了本发明的实施方式,且与说明书一起用于解释本发明的原理。
图1例示了根据本发明的示例性实施方式的用于显示AR窗口的增强现实(AR)系统。
图2例示了显示在真实图像上的AR窗口和对象的示例。
图3例示了显示在目标对象内的AR窗口的示例。
图4例示了根据本发明的示例性实施方式的未显示在目标对象内的AR窗口的示例。
图5例示了根据本发明的示例性实施方式的具有基于对象与用户之间的距离而调整的尺寸的AR窗口的示例。
图6例示了根据本发明的示例性实施方式的具有基于对象的密度而调整的尺寸的AR窗口的示例。
图7、图8和图9例示了根据本发明的示例性实施方式的按照基于AR窗口之间的关系的显示样式显示的AR窗口的示例。
图10例示了根据本发明的示例性实施方式的与AR窗口交叠的最前面的AR窗口的显示样式。
图11例示了根据本发明的示例性实施方式的部分交叠的AR窗口的组合的显示样式。
图12A和图12B例示了根据本发明的示例性实施方式的部分交叠的AR窗口的组合的显示样式的示例。
图13例示了根据本发明的示例性实施方式的AR窗口组合的解开。
图14例示了根据本发明的示例性实施方式的AR窗口组合的解开。
图15和图16例示了在识别区域中显示的AR窗口的示例。
图17例示了根据本发明的示例性实施方式的在非识别区域中具有标志的AR窗口的示例。
图18例示了根据本发明的示例性实施方式的AR窗口的示例。
图19例示了根据本发明的示例性实施方式的AR窗口的弹出菜单的示例。
图20是例示了根据本发明的示例性实施方式的显示AR窗口的方法的流程图。
具体实施方式
下面参照附图更全面地描述了本发明,附图示出了本发明的实施方式。然而,本发明可以被实施为很多不同的形式并且不应该被解释为局限于本文中所陈述的实施方式。相反,提供这些实施方式从而使得本公开详尽,并且将充分地将本发明的范围传达给本领域技术人员。在附图中,为了清楚起见,可能夸大了层和区域的尺寸和相对尺寸。在附图中,相同的标号表示相同的要素。
图1例示了根据本发明的示例性实施方式的用于显示AR窗口的增强现实(AR)系统。
参照图1,该AR系统可以提供用于在用户设备100上显示一对象和该对象的详细信息的AR服务。该对象位于用户设备100上显示的图像上,并且对象可以包括例如建筑物、汽车等。AR窗口可以显示详细的信息。用户设备100可以通过调整AR窗口的尺寸、显示位置、显示样式及颜色中的至少一个来确定该AR窗口的布置样式。显示样式可以根据以识别标志所做的标记、AR窗口的组合等而不同。
在提供AR服务时,该AR系统可以包括通信网络10、用户设备100和AR服务器200。尽管图1示出了一个用户设备100和一个AR服务器200作为例子,但是本公开并不限于此。
通信网络10可以是支持用户设备100与AR服务器200之间的通信的数据传输网络。
用户设备100可以提供AR服务,并且可以是能够有线/无线通信的移动电子装置,用户设备包括但不限于智能手机、膝上型计算机等。用户设备100可以存储从用户设备100内获得的对象的AR信息或接收源于AR服务器200的对象的AR信息。
AR服务器200可以响应来自用户设备100的请求,向该用户设备100提供在该用户设备100上显示的对象的AR信息。
参照图1,用户设备100可以包括感应单元110、拍照单元120、用户输入单元130、显示单元140、存储单元150、通信单元160、AR窗口生成单元170、结合单元180以及控制单元190。
感应单元110可以感应关于用户设备100的当前位置和拍照单元120的当前视向的信息。感应单元110可以使用全球定位系统(GPS)、基于位置的服务(LBS)等来感应用户设备100的当前位置,并且使用数字式罗盘来感应拍照单元120的当前视向。感应单元110的感应结果可以用于向AR服务器200请求对象的详细信息。感应单元110可以使用诸如飞行时间(TOF)方案等技术来感应用户设备100与对象之间的距离。
拍照单元120可以对对象进行拍照并且捕捉并存储对象的图像。拍照单元120可以包括嵌入式照相机和外置照相机中的至少一个。拍照单元120可以获得静态图像和运动图像。所获得的图像可以在显示单元140上显示。
用户输出单元130可以是用于接收用户命令的操作板,并且包括使拍照单元120为对象拍照的按钮、方向键、触摸板等。通过用户输入单元130输入的用户命令的信号可以被发送至控制单元190。用户可以操纵用户输入单元130以选择本公开中描述的多种方法中的一种或更多种。
显示单元140可以显示通过拍照单元120获得的图像或通过另一拍照装置获得的图像。如果用户设备100提供了触摸式,则显示单元140可以显示触摸板的用户界面(UI)。
存储单元150可以是非易失性存储器,并且可以存储在用户设备100的操作中使用的程序或软件,并且存储在用户设备100的操作与对象的AR信息之间产生的数据。
通信单元160可以经由通信网络10与AR服务器200通信,并且可以实施为通信用物理模块和软件。例如,通信单元160可以向AR服务器200请求显示单元140上显示的真实图像上的对象的AR信息并从该AR服务器200接收AR信息。AR服务器200可以响应于来自通信单元160的请求,检索数据库(未示出)并将对象的AR信息发送到该通信单元160。
AR窗口生成单元170可以处理所接收的AR信息和关于对象在图像上的位置的位置信息以生成AR窗口。
图2例示了在图像上显示的AR窗口和对象的示例。
结合单元180可以将拍照单元120获得的图像与AR窗口生成单元170生成的AR窗口结合起来。结合的结果可以被显示在显示单元140上,如图2中所示。参照图2,显示单元140可以显示对象210和该对象210上的对应的AR窗口。
控制单元190可以包括处理器或执行处理器的功能,并且可以控制用户设备100的操作。
控制单元190可以在不使用感应单元110的感应数据的情况下识别真实图像中包括的对象。例如,控制单元190可以对真实图像和存储单元150中存储的图像进行比较并检测与该图像匹配的图像。同样地,控制单元190可以使用与检测到的图像匹配的存储的对象数据来识别图像中包括的对象。
控制单元190可以确定是否显示图像中包括的多个对象中的有意义的对象的AR窗口,所述有意义的对象具有与其相关联的AR窗口。参照图2,由于对象210具有对应的AR窗口210a,因此对象210被辨别为有意义的对象,而如缺乏对应的AR窗口所表明的,对象220不是有意义的对象。
控制单元190可以基于各种属性(诸如AR窗口的尺寸、交叠的程度、访问频度等)来调整AR窗口的尺寸、显示位置、显示样式、颜色中的至少一个,并且使用调整的结果来确定AR窗口的布置样式。控制单元190可以控制结合单元180和显示单元140以将AR窗口与对应的对象结合起来并按照确定的布置样式来显示结合的AR窗口和对象。
控制单元190可以对显示单元140上显示的多个对象中的目标对象的尺寸和与该目标对象相对应的目标AR窗口的尺寸进行比较,并且基于该比较来调整目标AR窗口的显示样式。例如,控制单元190可以检测目标对象的边缘并且确定该目标对象的尺寸。因而,由于目标AR窗口通过预定的方法生成,所以控制单元190可以识别该目标对象的尺寸。
图3例示了显示在目标对象内的AR窗口的示例。
参照图3,控制单元190可以确定是否能够将目标AR窗口310a插入到目标对象310内,如果能够将目标AR窗口310a插入到目标对象310内,则如图3中所示地在显示单元140上显示目标AR窗口310a。即,一旦目标对象310的尺寸大于与该目标对象310相对应的目标AR窗口310a的尺寸,控制单元190就可以在显示单元140上将目标AR窗口310a显示在该目标对象310内。
图4例示了根据本发明的示例性实施方式的未显示在目标对象内的AR窗口的示例。
参照图4,控制单元190可以确定目标对象420的尺寸是否小于或等于目标AR窗口420a的尺寸或者确定与另一个对象410交叠的目标对象420是否不具有足够的面积来显示目标AR窗口420a。如果确定目标对象420具有不足的面积,则控制单元190可以生成指示目标AR窗口420a的存在的识别标志420b并以生成的识别标志420b来标记目标对象420。在这种情况下,未显示目标AR窗口420a。目标AR窗口410a可以按原来的尺寸显示在对象410内。
图5例示了根据本发明的示例性实施方式的具有基于对象与用户之间的距离而调整的尺寸的AR窗口的示例。
如果对象(或多个对象)的实际位置与用户之间的距离小,则控制单元190可以以放大的尺寸来显示AR窗口,如果该距离大,则可以以缩小的尺寸(相对于AR窗口的较大尺寸显示)来显示AR窗口。对象(或多个对象)的实际位置可以与拍照单元120所拍摄的真实对象的位置有关。参照图5,对象510的位置最靠近用户或用户设备100,对象520和530依次地与对象510隔开。控制单元190可以拥有与对象510、520和530相对应的AR窗口510a、520a和530a,这些对应的AR窗口以逐渐缩小的尺寸显示在显示单元140上。
图6例示了根据本发明的示例性实施方式的具有基于对象的密度而调整的尺寸的AR窗口的示例。
控制单元190可以基于对象的密度来处理AR窗口,使得如果AR窗口的密度低(即,单个显示单元上的少量AR窗口),则控制单元190就以放大的尺寸来显示AR窗口。参照图6,五个对象和六个AR窗口被显示在一个真实图像上,并且两个对象和两个AR窗口被显示在另一个真实图像上。在左侧的图像中,由于六个AR窗口的密度增大,控制单元190可以以相对地缩小的尺寸(相对于在具有少于六个AR窗口的情况下)来显示这六个AR窗口。控制单元190可以以相对放大的尺寸(与左侧具有六个AR窗口的图像相比)来显示两个AR窗口。
以下的表格示出了如何能够将密度映射到各种AR窗口的显示尺寸的示例。
表1
另选地,控制单元190可以基于用户访问与AR窗口相对应的对象的频度来处理AR窗口显示尺寸,使得该控制单元190以相对于不频繁地访问的对象的尺寸的放大的尺寸来显示受到频繁访问的对象的AR窗口。对象的访问频度可以是参考时间内至少一个用户选择该对象的次数。访问频度可以由控制单元190或AR服务器200计数,其中计数值由控制单元190或AR服务器200存储。
另选地,控制单元190可以基于由用户所设置的优先级或重要性来处理AR窗口的显示尺寸,使得控制单元190以放大的尺寸来显示与具有较低重要性的AR窗口相对的具有较高优先级或重要性的AR窗口。用户可以通过操纵用户输入单元130或访问与AR服务器200相关的网页来为各个对象设置优先级或重要性。
图7、图8和图9例示了根据本发明的示例性实施方式的按照基于AR窗口之间的关系的显示样式显示的AR窗口的示例。
如果真实图像中包括的一个对象具有多个次对象(sub-object),则控制单元190可以将多个次对象中的一个设置为父对象并且将其它的次对象设置为子对象。例如,如果一个建筑物具有银行、餐馆和便利商店,则可以将该银行设置为父对象并且将餐馆和便利店设置为子对象。可以使具有不变的位置和尺寸的子对象的AR窗口取决于该父对象的AR窗口。基于此特征,控制单元190可以组合父对象和子对象,从而以更简单的方式显示AR窗口。
例如,控制单元190可以将存在于同一个对象710中的AR窗口710a、710b和710C组成一组,如图7中的右侧图像所示。控制单元190可以将银行设置为父对象,并且将牙科诊所和眼镜商店设置为子对象,并且不在父对象的AR窗口710c后面显示子对象的AR窗口710a和710b。在图7中,‘G’可以表示组合,指示AR窗口710c已经与至少一个其它AR窗口组合起来。
而且,控制单元190可以将与对象相关联的看起来彼此交叠的AR窗口810至860组合成至少一组,如图8中所示。参照图8,五个对象可以相对于拍照单元120的拍摄方向位于同一视向上。控制单元190可以在最前面的AR窗口810后面不显示或隐藏五个具有相同视向的AR窗口820至860。五个AR窗口820至860可以按照对象的实际位置的次序以不可见的方式显示。
而且,控制单元190可以根据预定的类别将AR窗口910至960组合起来。参照图9,控制单元190可以将显示单元140上显示的AR窗口910至960中属于同一类别的AR窗口组合成一组,并且在显示单元140上显示该组。AR窗口910至930可以属于医院类别,并且AR窗口940至960可以属于餐馆类别。控制单元190可以将AR窗口910至930组合成被代表性地显示为AR窗口910的一组,并且将AR窗口940至960组成被代表性地显示为AR窗口950的一组。被选择为可见的AR窗口可以是预先确定的,如上所述。
另选地,控制单元190可以基于彼此交叠的AR窗口的量来调整AR窗口的显示样式。换句话说,如果交叠的量落入阈值内,则控制单元190可以不处理由AR窗口生成单元170生成的AR窗口并将AR窗口显示为彼此交叠。
如果AR窗口彼此部分交叠,则控制单元190可以在与位于另一个AR窗口后面的AR窗口相对应的对象的可见部分中显示该后面的AR窗口。例如,如果第一AR窗口与位于在该第一AR窗口后面的第二AR窗口部分交叠,则控制单元190可以在与第二AR窗口相对应的对象的可见部分中显示第二AR窗口。
图10例示了根据本发明的示例性实施方式的与多个AR窗口交叠的最前面的AR窗口的显示样式。
参照图10,如果最前面的AR窗口1010与位于该最前面的AR窗口1010后面的AR窗口1020完全交叠,则控制单元190可以在AR窗口1010内以虚线显示AR窗口1020的轮廓。用户可以通过虚线指示的轮廓来识别出除了当前显示的AR窗口以外还存在另一个AR窗口。
图11例示了根据本发明的示例性实施方式的部分交叠的AR窗口的组合的显示样式的示例。
如果AR窗口彼此部分交叠,则控制单元190可以将AR窗口组合成n个组并且在显示单元140上显示这n个组。这是因为由于交叠的缘故可能难以清楚地显示AR窗口。组合的AR窗口可以以气泡的形式显示在对象的顶部或中央。
参照图11,AR窗口1110和1120以及AR窗口1130和1140可以分别彼此部分交叠。控制单元190可以将AR窗口1110至1140组合成两个组,并且在显示单元140上显示各个代表性的AR窗口1110和1140。在此实例中,控制单元190可以将表示组合的‘G’或表示配对的‘P’添加到代表性的AR窗口1110和1140。在图11中,‘C停车场’和‘B零售市场’被组合成AR窗口1110,并且‘F比萨餐馆’和‘D婚礼殿堂’被组合成AR窗口1140。
图12A和图12B例示了根据本发明的示例性实施方式的部分交叠的AR窗口的显示样式的示例。
如果要显示在真实图像上的AR窗口的数量超过参考数量,则控制单元190可以使用树形结构来组合AR窗口。参照图12A,如果多个AR窗口被显示在真实图像上,则用户可能难以识别该用户期望的信息。控制单元190可以将AR窗口分成三个组并且在显示单元140上显示被命名为‘K’、‘B’和‘F’的这三个组的各代表性的AR窗口。在这个实例中,控制单元190可以将表示组合的‘G’或表示配对的‘P’添加至代表性的AR窗口‘K’、‘B’和‘F’。可独立显示的AR窗口‘A’和‘E’中的每一个都可以被显示在显示单元140上。
图12B例示了图12A的分组的AR窗口的树形结构。参照图12B,‘K(P)’和‘I(P)’被组合为图12A的‘K(G)’,并且‘K’和‘J’被配对为该‘K(P)’,并且‘I’和‘G’被配对为‘I(P)’。配对表示两个AR窗口的组合。
图13例示了根据本发明的示例性实施方式的AR窗口的组合的解开。
如果用户选择了显示单元140上显示的n个组中的目标组,则控制单元190可以解开该目标组的组合并且将目标组中的AR窗口布置在对应的对象中。参照图13,AR窗口1110和1140是通过配对设置的代表窗口,并且AR窗口1120和1130独立地显示。如果用户通过触摸选择了AR窗口1110,则控制单元190可以确定该AR窗口1110是否具有显示配对的AR窗口1110和1111的足够空间。控制单元190可以解开AR窗口1110的配对并且将AR窗口1110和1111显示在被确定为适合显示两个AR窗口的空间上。如果解开配对,则控制单元190可以用阴影(斜线)、以灰色或其它的方式来显示AR窗口1110和1111以外的AR窗口以表示未被选择的AR窗口。
图14例示了根据本发明的示例性实施方式的AR窗口的组合的解开。
参照图12A和图14,AR窗口1210是通过组合设置的代表窗口。如果用户通过触摸选择了组合的AR窗口1210,则控制单元190可以解开AR窗口1210的组合并且分离地显示AR窗口1210和1211中的每一个。如果组合被解开并且用户选择了配对的AR窗口1210,则控制单元190可以解开该AR窗口1210的配对并且显示AR窗口1210和1212中的每一个。
图15和图16例示了显示在识别区域中的AR窗口的示例。
控制单元190可以比较对象和AR窗口的尺寸,并且根据该比较结果将AR窗口布置在显示了该对象的区域中或未显示该对象的区域中。在显示单元140的屏幕上,可以将显示了对象的区域称为识别区域,并且将未显示对象的区域称为非识别区域。
参照图15,如果对象1510的AR窗口1510a的尺寸小于该对象1510的尺寸的百分之m,则控制单元190可以在与对象1510相对应的识别区域中显示AR窗口1510a。在这个实例中,‘m’可以是参考值(例如,如85的整数),并且因而可以被调整。
参照图16,如果对象1610的AR窗口1610a的尺寸等于或大于对象1610的尺寸的m,则控制单元190可以将AR窗口1610a显示在非识别区域中。
图17例示了根据本发明的示例性实施方式的具有非识别区域中的标记的AR窗口的示例。
参照图17,如果对象1710的AR窗口1710a的尺寸大于或等于对象1710的尺寸的m并且AR窗口1710a的尺寸大于或等于非识别区域的尺寸的m,则控制单元190可以生成识别标志1710b并且通过显示该识别标志1710b来标记对象1710。
图18例示了根据本发明的示例性实施方式的AR窗口的示例。
参照图18,控制单元190可以显示位于显示单元140的聚焦区域1810内的AR窗口并且不显示位于除了聚焦区域1810以外的区域内的AR窗口。可以关于显示单元140的中心点来设置聚焦区域1810。因而,设备的用户可以预先确定范围(如聚焦区域1810)以选择性地选择要显示的那个(或那些)AR窗口。
图19例示了根据本发明的示例性实施方式的AR窗口的弹出菜单的示例。
参考图19,如果在显示单元140上显示的AR窗口中选择了目标AR窗口1910,则控制单元190可以生成并且显示示出该目标AR窗口1910的详细信息的弹出菜单1920。弹出菜单1920可以包括用于接收用户命令的输入的图标1920a和1920b。在图19所示的示例中,用户可以选择弹出菜单1920上提供的图标1920a,这可以使控制单元190执行与所选的图标1920相对应的操作。
图20是例示了根据本发明的示例性实施方式的显示AR窗口的方法的流程图。
图20的方法可以由控制单元190或图1的用户设备100的处理器来执行。
在操作2000中,用户设备可以检测真实图像中包括的对象。用户设备可以利用对象的位置信息来检测对象或通过该将图像与存储的图像进行比较来检测对象。
在操作2010中,用户设备可以使用所显示的对象的对象数据来生成AR窗口并且确定AR窗口的尺寸。用户设备可以对每个AR窗口的尺寸与每个对应的对象的尺寸进行比较并且确定AR窗口的尺寸。用户设备也可以比较每个对应的对象的位置以确定对应的AR窗口的尺寸。
在操作2020中,用户设备可以利用确定的尺寸来确定AR窗口的显示样式。例如,如果在操作2010中存在不足以显示AR窗口的面积,则用户设备可以利用指示AR窗口的存在的识别标志来标记对应的对象。而且,用户设备可以组合AR窗口并且显示该组合。
在操作2030中,用户设备可以调整AR窗口的交叠的量。例如,用户设备可以基于AR窗口是完全交叠还是部分交叠来确定AR窗口的布置样式。
在操作2040中,用户设备可以提高AR窗口的可读性。例如,用户设备可以显示位于在显示单元的聚焦区域中的AR窗口并且不显示位于聚焦区域以外的区域中的AR窗口。
在操作2050中,用户设备可以将图像和AR窗口结合起来并且显示合成的图像。
可以可选地这些操作2010至2040中的每一个操作。而且,本公开中描述的各种实施方式可以结合操作2010至2040中的一个或多个来执行,或取代操作2010至2040中的一个或多个而执行。
根据所公开的示例性实施方式,在利用用户设备显示AR窗口的方法中,各AR窗口可以被显示在对应的对象的中心并且所有AR窗口可以都被显示在一个真实图像上。
根据本发明的示例性实施方式可以被记录在包含实现由计算机所实施的各种操作的程序指令的非临时性计算机可读介质中。所述介质还可以包含数据文件、数据结构等,它们单独存在或与程序指令结合。所述介质和程序指令可以是为了本发明的目的而专门设计和构造的,或所述介质和程序指令可以是对计算机软件领域技术人员公知且可用的类型。
对于本领域技术人员而言很明显,在不偏离本发明的精神或范围的条件下,可以在本发明中做出各种修改和变型。因而,本发明旨在涵盖落入所附权利要求及其等同物的范围内的本发明的修改和变型。
相关申请的交叉引用
本申请要求于2010年8月12日提交的韩国专利申请No.10-2010-0077896的优先权,为了所有目的,此处以引证的方式并入其全部内容,就像在此进行了完整阐述一样。

Claims (30)

1.一种显示增强现实窗口的用户设备,该用户设备包括:
显示单元,其显示图像和与该图像中包括的对象相对应的增强现实窗口;以及
控制单元,其通过调整所述增强现实窗口的属性来确定所述增强现实窗口的显示布置。
2.根据权利要求1所述的用户设备,其中,所述属性是所述增强现实窗口的尺寸、显示位置、显示样式和颜色中的一个。
3.根据权利要求2所述的用户设备,其中,所述控制单元基于预定条件来确定是否将所述对象的所述增强现实窗口显示为与所述图像中的其它对象交叠。
4.根据权利要求2所述的设备,其中,所述控制单元对所述对象的尺寸和对应于所述对象的所述增强现实窗口的尺寸进行比较,并且调整所述增强现实窗口的显示样式。
5.根据权利要求4所述的用户设备,其中,如果所述对象的尺寸大于所述增强现实窗口的尺寸,则所述控制单元确定在所述对象内显示所述增强现实窗口。
6.根据权利要求4所述的用户设备,其中,如果所述对象的尺寸小于或等于所述增强现实窗口的尺寸,或者如果所述对象由于与另一对象交叠而不具有足以显示所述增强现实窗口的面积,则所述控制单元生成指示所述增强现实窗口的存在的识别标志并且利用所生成的识别标志来标记所述对象。
7.根据权利要求2所述的用户设备,其中,所述控制单元基于所述对象的位置与所述用户设备之间的距离来确定所述增强现实窗口的尺寸。
8.根据权利要求2所述的用户设备,其中,所述控制单元基于对象的密度来放大或缩小所述增强现实窗口的尺寸。
9.根据权利要求2所述的用户设备,其中,如果所述对象的访问频度高,则所述控制单元放大所述增强现实窗口的尺寸。
10.根据权利要求2所述的用户设备,其中,所述控制单元基于所述对象的优先级来放大所述增强现实窗口的尺寸。
11.根据权利要求2所述的用户设备,其中,所述控制单元设置一组显示在所述对象中的增强现实窗口,所述组包括所述增强现实窗口和第二增强现实窗口,所述增强现实窗口和所述第二增强现实窗口布置在相同的视向上,并且所述增强现实窗口和所述第二增强现实窗口属于同一类别。
12.根据权利要求2所述的用户设备,其中,所述控制单元基于所述增强现实窗口与第二增强现实窗口的交叠程度来调整所述增强现实窗口的显示样式。
13.根据权利要求12所述的用户设备,其中,如果所述增强现实窗口和所述第二增强现实窗口彼此部分交叠,则所述控制单元确定在与所述增强现实窗口相对应的所述对象的可见部分中显示所述增强现实窗口。
14.根据权利要求12所述的用户设备,其中,如果所述增强现实窗口和所述第二增强现实窗口彼此完全交叠,则所述控制单元确定在所述第二增强现实窗口内以虚线框显示所述增强现实窗口的轮廓。
15.根据权利要求2所述的用户设备,其中,所述控制单元比较所述对象的尺寸和所述增强现实窗口的尺寸,并且基于所述比较的结果将所述增强现实窗口置于显示有所述对象的区域中或未显示所述对象的区域中。
16.根据权利要求2所述的用户设备,其中,如果所述增强现实窗口位于聚焦区域中,则所述控制单元显示所述增强现实窗口,而如果所述增强现实窗口不位于所述聚焦区域中,则所述控制单元不显示所述增强现实窗口,所述聚焦区域相对于所述显示单元的中心点设置。
17.根据权利要求2所述的用户设备,其中,如果在所述显示单元上选择了所述增强现实窗口,则所述控制单元生成弹出菜单以示出所述增强现实窗口的详细信息。
18.根据权利要求17所述的用户设备,其中,所述弹出菜单包括用于接收用户命令输入的图标,
其中,如果选择了所述图标,则所述控制单元执行与所述图标相对应的操作。
19.一种显示增强现实窗口的用户设备,该用户设备包括:
显示单元,其显示图像和分别与该图像中包括的第一对象和第二对象相对应的第一增强现实窗口和第二增强现实窗口;以及
控制单元,如果所述第一增强现实窗口和所述第二增强现实窗口彼此部分交叠,则所述控制单元将所述第一增强现实窗口和所述第二增强现实窗口组合成一组并且将所述组与所述第一对象和所述第二对象一起显示。
20.根据权利要求19所述的用户设备,其中,如果用户选择了所述组,则所述控制单元解开所述组并且将属于所述组的所述第一增强现实窗口和所述第二增强现实窗口放入它们相应的对象中。
21.根据权利要求20所述的用户设备,其中,如果解开了所述组的组合,则所述控制单元确定不显示属于另一组的第三增强现实窗口。
22.一种用于显示用户设备的增强现实窗口的方法,该方法包括以下步骤:
检测图像中包括的对象;
生成与所述对象相对应的第一增强现实窗口;
基于属性的调整来确定所述第一增强现实窗口的布置样式;以及
按照所述布置样式将所述第一增强现实窗口与所述对象一起显示。
23.根据权利要求21所述的方法,其中,所述属性是所述第一增强现实窗口的尺寸、显示位置、显示样式和颜色中的一个。
24.根据权利要求23所述的方法,该方法还包括以下步骤:
如果所述对象属于预定类别,则确定是否显示所述第一增强现实窗口。
25.根据权利要求23所述的方法,该方法还包括以下步骤:比较所述对象的尺寸和所述第一增强现实窗口的尺寸,并且基于所述比较来调整所述第一增强现实窗口的显示样式。
26.根据权利要求23所述的方法,该方法还包括以下步骤:基于所述对象的位置与用户之间的距离、增强现实窗口的密度以及所述第一增强现实窗口的访问频度,改变所述第一增强现实窗口的尺寸。
27.根据权利要求23所述的方法,该方法还包括以下步骤:将所述第一增强现实窗口和第二增强现实窗口组合成一组,所述第一增强现实窗口和所述第二增强现实窗口被布置在相同视向上或被布置成属于相同类别。
28.根据权利要求23所述的方法,该方法还包括以下步骤:基于所述第一增强现实窗口与第二增强现实窗口的交叠程度,调整所述第一增强现实窗口和所述第二增强现实窗口的显示样式。
29.根据权利要求23所述的方法,该方法还包括以下步骤:比较所述对象的尺寸和所述第一增强现实窗口的尺寸,并且基于所述比较将所述第一增强现实窗口置于显示有所述对象的区域中或未显示所述对象的区域中。
30.根据权利要求23所述的方法,该方法还包括以下步骤:如果所述第一增强现实窗口位于聚焦区域中,则显示所述第一增强现实窗口,而如果所述第一增强现实窗口不位于聚焦区域中,则不显示所述第一增强现实窗口,所述聚焦区域相对于所述显示单元的中心点设置。
CN2011102093238A 2010-08-12 2011-07-25 用于显示增强现实窗口的用户设备和方法 Pending CN102375741A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0077896 2010-08-12
KR1020100077896A KR101329882B1 (ko) 2010-08-12 2010-08-12 Ar 정보창 표시를 위한 사용자 장치 및 그 방법

Publications (1)

Publication Number Publication Date
CN102375741A true CN102375741A (zh) 2012-03-14

Family

ID=44587690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011102093238A Pending CN102375741A (zh) 2010-08-12 2011-07-25 用于显示增强现实窗口的用户设备和方法

Country Status (4)

Country Link
US (1) US20120038671A1 (zh)
EP (1) EP2418623A1 (zh)
KR (1) KR101329882B1 (zh)
CN (1) CN102375741A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN103391400A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强的真实感的方法和系统
CN103530026A (zh) * 2013-10-31 2014-01-22 北京国双科技有限公司 网页弹出框定位方法和装置
CN103838810A (zh) * 2012-11-20 2014-06-04 三星电子株式会社 使用标签信息进行图像搜索的方法和装置
CN105190484A (zh) * 2013-04-12 2015-12-23 微软技术许可有限责任公司 个人全息告示牌
CN105630160A (zh) * 2015-12-21 2016-06-01 黄鸣生 虚拟现实使用界面系统
CN107621883A (zh) * 2017-10-18 2018-01-23 炫彩互动网络科技有限公司 一种基于手机终端的虚拟现实系统及人机交互方法
CN107710108A (zh) * 2015-07-03 2018-02-16 诺基亚技术有限公司 内容浏览
CN107864225A (zh) * 2017-12-21 2018-03-30 北京小米移动软件有限公司 基于ar的信息推送方法、装置及电子设备
CN108710307A (zh) * 2018-05-28 2018-10-26 北京小米移动软件有限公司 智能设备的控制方法、装置及计算机可读存储介质
US11250604B2 (en) 2019-05-06 2022-02-15 Apple Inc. Device, method, and graphical user interface for presenting CGR files
US11385761B2 (en) 2019-05-06 2022-07-12 Apple Inc. Device, method, and graphical user interface for composing CGR files

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI558199B (zh) 2008-08-08 2016-11-11 尼康股份有限公司 Carry information machine and information acquisition system
WO2013128078A1 (en) * 2012-02-29 2013-09-06 Nokia Corporation Method and apparatus for rendering items in a user interface
CN103309895B (zh) * 2012-03-15 2018-04-10 中兴通讯股份有限公司 移动增强现实搜索方法、客户端、服务器及搜索系统
KR101844395B1 (ko) 2012-08-24 2018-04-02 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
WO2014035367A1 (en) * 2012-08-27 2014-03-06 Empire Technology Development Llc Generating augmented reality exemplars
EP2891068A4 (en) * 2012-08-31 2016-01-20 Hewlett Packard Development Co ACTIVE REGIONS OF AN IMAGE COMPRISING ACCESSIBLE LINKS
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9535496B2 (en) 2013-03-15 2017-01-03 Daqri, Llc Visual gestures
KR102098058B1 (ko) * 2013-06-07 2020-04-07 삼성전자 주식회사 뷰 모드에서 정보 제공 방법 및 장치
FR3019333B1 (fr) * 2014-03-26 2016-03-11 Schneider Electric Ind Sas Procede de generation d'un contenu en realite augmentee
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
KR101722053B1 (ko) * 2016-03-22 2017-03-31 김영덕 목적별 관심 영상으로 반복 전환하는 안내 장치 및 그 방법
WO2017122909A1 (ko) * 2016-01-14 2017-07-20 주식회사 팝스라인 단말 및 그의 제어 방법
KR101865329B1 (ko) 2016-06-23 2018-06-08 충북대학교 산학협력단 Hmd 헤드셋 장치 및 그 입력 방법
EP3548958A4 (en) * 2016-12-05 2020-07-29 Case Western Reserve University SYSTEMS, METHODS AND MEDIA FOR DISPLAYING INTERACTIVE AUGMENTED REALITY PRESENTATIONS
US10515281B1 (en) * 2016-12-29 2019-12-24 Wells Fargo Bank, N.A. Blood vessel image authentication
KR102315341B1 (ko) * 2017-03-17 2021-10-20 삼성전자주식회사 객체의 구성 정보에 대응하는 그래픽 효과를 제공하기 위한 방법 및 그 전자 장치
KR102330829B1 (ko) 2017-03-27 2021-11-24 삼성전자주식회사 전자 장치에서 증강현실 기능 제공 방법 및 장치
US10391408B2 (en) 2017-06-19 2019-08-27 Disney Enterprises, Inc. Systems and methods to facilitate user interactions with virtual objects depicted as being present in a real-world space
US10296080B2 (en) 2017-06-19 2019-05-21 Disney Enterprises, Inc. Systems and methods to simulate user presence in a real-world three-dimensional space
CN108898678B (zh) * 2018-07-09 2020-02-21 百度在线网络技术(北京)有限公司 增强现实方法和装置
US10839607B2 (en) 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
US11853533B1 (en) 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) * 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
KR102627612B1 (ko) 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
WO2021168623A1 (en) * 2020-02-24 2021-09-02 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for displaying a point of interest
KR102496201B1 (ko) * 2020-08-25 2023-02-07 (주) 사이언스쇼 혼합현실 체험 시스템 및 그 제어방법
CN112287949A (zh) * 2020-11-02 2021-01-29 杭州灵伴科技有限公司 一种基于多个特征信息的ar信息显示方法及ar显示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910006697B1 (ko) * 1987-05-25 1991-08-31 후지쓰 가부시끼가이샤 가이던스 메시지 디스플레이 제어방식
CN1991746A (zh) * 2005-12-29 2007-07-04 腾讯科技(深圳)有限公司 一种单窗口显示多对象的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088631A1 (en) * 2008-10-08 2010-04-08 Lonnie Schiller Interactive metro guide map and portal system, methods of operation, and storage medium
JP2010118019A (ja) 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
KR101099791B1 (ko) 2008-12-29 2011-12-28 한국세라믹기술원 은 나노입자 함유 메조포러스 실리카를 이용한 항균 및 흡습 기능성 원단의 제조방법
US8194101B1 (en) * 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910006697B1 (ko) * 1987-05-25 1991-08-31 후지쓰 가부시끼가이샤 가이던스 메시지 디스플레이 제어방식
CN1991746A (zh) * 2005-12-29 2007-07-04 腾讯科技(深圳)有限公司 一种单窗口显示多对象的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BLAINE BELL ET AL: "《View Management for Virtual and Augmented Reality》", 《USER INTERFACE SOFTWARE AND TECHNOLOGY》, 14 November 2001 (2001-11-14), pages 101 - 110 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391400A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强的真实感的方法和系统
CN103391400B (zh) * 2012-05-11 2018-01-02 索尼互动娱乐欧洲有限公司 用于增强的真实感的方法和系统
CN103838810A (zh) * 2012-11-20 2014-06-04 三星电子株式会社 使用标签信息进行图像搜索的方法和装置
CN103838810B (zh) * 2012-11-20 2018-12-07 三星电子株式会社 使用标签信息进行图像搜索的方法和装置
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN105190484A (zh) * 2013-04-12 2015-12-23 微软技术许可有限责任公司 个人全息告示牌
CN105190484B (zh) * 2013-04-12 2018-08-14 微软技术许可有限责任公司 个人全息告示牌
CN103530026B (zh) * 2013-10-31 2018-05-18 北京国双科技有限公司 网页弹出框定位方法和装置
CN103530026A (zh) * 2013-10-31 2014-01-22 北京国双科技有限公司 网页弹出框定位方法和装置
CN107710108B (zh) * 2015-07-03 2020-07-31 诺基亚技术有限公司 内容浏览
CN107710108A (zh) * 2015-07-03 2018-02-16 诺基亚技术有限公司 内容浏览
US10761595B2 (en) 2015-07-03 2020-09-01 Nokia Technologies Oy Content browsing
CN105630160A (zh) * 2015-12-21 2016-06-01 黄鸣生 虚拟现实使用界面系统
CN107621883A (zh) * 2017-10-18 2018-01-23 炫彩互动网络科技有限公司 一种基于手机终端的虚拟现实系统及人机交互方法
CN107621883B (zh) * 2017-10-18 2020-05-08 炫彩互动网络科技有限公司 一种基于手机终端的虚拟现实系统及人机交互方法
CN107864225A (zh) * 2017-12-21 2018-03-30 北京小米移动软件有限公司 基于ar的信息推送方法、装置及电子设备
CN108710307A (zh) * 2018-05-28 2018-10-26 北京小米移动软件有限公司 智能设备的控制方法、装置及计算机可读存储介质
CN108710307B (zh) * 2018-05-28 2021-11-30 北京小米移动软件有限公司 智能设备的控制方法、装置及计算机可读存储介质
US11250604B2 (en) 2019-05-06 2022-02-15 Apple Inc. Device, method, and graphical user interface for presenting CGR files
US11385761B2 (en) 2019-05-06 2022-07-12 Apple Inc. Device, method, and graphical user interface for composing CGR files

Also Published As

Publication number Publication date
KR20120015637A (ko) 2012-02-22
KR101329882B1 (ko) 2013-11-15
US20120038671A1 (en) 2012-02-16
EP2418623A1 (en) 2012-02-15

Similar Documents

Publication Publication Date Title
CN102375741A (zh) 用于显示增强现实窗口的用户设备和方法
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
CN102695032B (zh) 信息处理装置、信息共享方法以及终端设备
US10579134B2 (en) Improving advertisement relevance
US10210659B2 (en) Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
EP2418621B1 (en) Apparatus and method for providing augmented reality information
US20120038669A1 (en) User equipment, server, and method for selectively filtering augmented reality
US20120092369A1 (en) Display apparatus and display method for improving visibility of augmented reality object
KR20180070431A (ko) 증강 현실 구현 관리 방법 및 시스템
US20120216149A1 (en) Method and mobile apparatus for displaying an augmented reality
CN103313080A (zh) 控制设备、电子装置、控制方法和程序
JP2015001875A (ja) 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
US11627302B1 (en) Stereoscopic viewer
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
US20150193446A1 (en) Point(s) of interest exposure through visual interface
US20180247122A1 (en) Method and system of providing information pertaining to objects within premises
JP2012027606A (ja) エアタグ表示システム
US8941767B2 (en) Mobile device and method for controlling the same
US8866953B2 (en) Mobile device and method for controlling the same
KR20190127367A (ko) 효율적인 데이터 관리를 위한 가상 전시 공간 제공 방법
JP5340900B2 (ja) オブジェクト管理装置及びオブジェクト管理方法
EP3177005B1 (en) Display control system, display control device, display control method, and program
US10069984B2 (en) Mobile device and method for controlling the same
JP2014164572A (ja) 情報処理装置およびプログラム
US10542309B2 (en) Electronic device and operation method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Min Chengjun

Inventor after: Li Guangxi

Inventor after: Zhang Zhongye

Inventor before: Min Chengjun

Inventor before: Li Guangxi

Inventor before: Zhang Zhongye

Inventor before: Jin Taiyong

Inventor before: Pu Huijing

Inventor before: Pei Huishan

Inventor before: Li Dingyun

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: MIN CHENGJUN LI GUANGXI ZHANG ZHONGYE JIN DAE YONG PARK HYE KYUNG PEI HUISHAN LI DINGYUN TO: MIN CHENGJUN LI GUANGXI ZHANG ZHONGYE

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120314