CN115398879A - 用于以增强现实进行通信的电子装置及其方法 - Google Patents

用于以增强现实进行通信的电子装置及其方法 Download PDF

Info

Publication number
CN115398879A
CN115398879A CN202180027689.5A CN202180027689A CN115398879A CN 115398879 A CN115398879 A CN 115398879A CN 202180027689 A CN202180027689 A CN 202180027689A CN 115398879 A CN115398879 A CN 115398879A
Authority
CN
China
Prior art keywords
avatar
gui
display
user
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180027689.5A
Other languages
English (en)
Inventor
安修贞
亚伦·塞缪尔·法彻
安德鲁·R·麦克休
埃德加·查尔斯·埃文格里斯塔
金宰贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200063058A external-priority patent/KR20210127054A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115398879A publication Critical patent/CN115398879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467—Methods of retrieving data
    • H04M1/27475—Methods of retrieving data using interactive graphical means or pictorial representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H04M1/72472—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons wherein the items are sorted according to specific criteria, e.g. frequency of use

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种支持增强现实AR的AR装置。该AR装置包括：显示器、通信电路、可操作地连接到显示器和通信电路的至少一个处理器，以及可操作地连接到该至少一个处理器的存储器。存储器存储有指令，该指令在被执行时，使该至少一个处理器通过通信电路建立与存储有联系人应用和消息应用的用户装置的连接，检测消息应用被执行，以及以AR的方式通过显示器显示第一图形用户界面(GUI)和至少一个虚拟化身，该至少一个虚拟化身被设置在与该第一GUI相邻的位置处且对应于与该联系人应用或消息应用相关联的至少一个联系人。

Description

用于以增强现实进行通信的电子装置及其方法
技术领域
本公开涉及用于以增强现实(AR)进行通信的技术。更确切地说，本公开涉及一种AR装置，该AR装置包括显示器、通信电路、可操作地连接到显示器和通信电路的至少一个处理器，以及可操作地连接到至少一个处理器的存储器。
背景技术
随着诸如可穿戴装置或者头戴式显示器(HMD)等增强现实(AR)装置在技术上的不断进步，用户可以体验AR。例如，AR装置可以显示用户界面(UI)，例如用户所属的现实世界中的应用的图标或者执行画面。
上述信息仅作为背景信息提供以用于帮助对本公开的理解。关于上述内容中的任何部分是否可能用作本公开的现有技术，没有做出确定和断言。
发明内容
技术问题
为了体验增加现实(AR)，用户需要佩戴AR装置。即便是正佩戴着AR装置，用户仍需启动用户装置(例如智能手机)的应用。例如，用户需要在佩戴AR装置时，通过启动安装在用户装置上的消息应用与家人、朋友或者熟人通信。
因此，需要这样一种AR装置，它包括：显示器、通信电路、可操作地连接到显示器和通信电路的至少一个处理器，以及可操作地连接到该至少一个处理器的存储器。
技术方案
本公开的各个方面将至少解决上述的问题和/或缺点并至少提供以下益处。为此，本公开的一个方面提供了一种用于以AR通信的技术。
附加方面将部分地在后续的描述中进行阐述，部分地将根据描述变得清楚或者通过所呈现的实施例的运用被了解。
根据本公开的一个方面，提供了一种支持AR的AR装置。该AR装置包括：显示器；通信电路；至少一个处理器，所述至少一个处理器可操作地连接到所述显示器和所述通信电路；以及存储器，所述存储器可操作地连接到所述至少一个处理器。存储器可以存储指令，该指令在被执行时，使所述至少一个处理器：通过所述通信电路建立与用户装置的连接，所述用户装置存储有联系人应用和消息应用，检测所述消息应用被执行；以及以所述AR的方式通过所述显示器显示第一图形用户界面GUI和至少一个虚拟化身，所述至少一个虚拟化身被设置在与所述第一GUI相邻的位置处且对应于与所述联系人应用或所述消息应用相关联的至少一个联系人。
根据本公开的另一个方面，提供了一种支持AR的AR系统。所述AR系统包括AR装置和用户装置。AR装置可包括第一显示器和第一通信电路。用户装置可包括：第二显示器、第二通信电路、可操作地连接到第二显示器和第二通信电路的至少一个处理器，以及可操作地连接到所述至少一个处理器的存储器。存储器可存储与消息应用或联系人应用相关联的至少一个联系人。存储器可以存储指令，所述指令在被执行时，使所述至少一个处理器：通过第二通信电路建立与AR装置的连接，检测消息应用被执行，将要通过第一显示器以AR的方式显示的第一GUI和至少一个虚拟化身渲染为三维(3D)图像，以及通过第二通信电路向AR装置发送渲染后的第一GUI和渲染后的至少一个虚拟化身。所述至少一个虚拟化身可以对应于至少一个联系人。
本公开的其他方面、优点和显著特征将通过以下具体描述对本领域技术人员变得清楚，这些描述结合附图公开了本公开的各种实施例。
有益效果
根据说明书中公开的实施例，AR装置可提供这样一种环境：用户能够以AR的方式与对方(counterpart)自然地交换消息。
根据说明书中公开的实施例，AR装置可提供这样一种环境：即使用户穿戴着AR装置，用户也能够使用用户装置的消息应用而不受操作上的限制。
根据说明书中公开的实施例，AR装置可以在三维空间中显示存储在该用户装置中的应用的执行画面。
此外，提供了可以通过说明书直接或间接了解的各种效果。
附图说明
图1示出了根据本公开的实施例的以增强现实方式显示的图形用户界面(GUI)和虚拟化身(avatar)；
图2示出了根据本公开的实施例的网络环境下的电子装置的框图；
图3示出了根据本公开的实施例的用户装置的框图；
图4示出了根据本公开的实施例的程序模块的框图；
图5示出了根据本公开的实施例的增强现实(AR)装置的框图；
图6是根据本公开的实施例的消息应用与AR系统的硬件配置相结合的图；
图7示出了根据本公开的实施例的AR系统的用于显示第一GUI和虚拟化身的操作流程图；
图8A示出了根据本公开的实施例的包括虚拟化身的第一GUI；
图8B示出了根据本公开的实施例的与联系人相对应的虚拟化身；
图9示出了根据本公开的实施例的以AR的方式将虚拟化身从第一GUI移动到第二GUI的图形效果；
图10A示出了根据本公开的实施例的检测对虚拟化身的手势的操作；
图10B示出了根据本公开的实施例的表示虚拟化身对手势的响应的图形效果；
图11是根据本公开的实施例的AR系统的用于提供虚拟化身移动的图形效果的操作流程图；
图12示出了根据本公开的实施例的改变消息线程的操作；
图13A示出了根据本公开的实施例的用于键入消息的用户界面(UI)；
图13B示出了根据本公开的实施例的用于键入消息的UI；
图14示出了根据本公开的实施例的用于显示消息的UI；
图15A示出了根据本公开的实施例的依据观看区域输出消息的操作；
图15B示出了根据本公开的实施例的AR系统的用于依据观看区域输出消息的操作流程图；
图16示出了根据本公开的实施例的用于显示接收到的消息的UI；
图17示出了根据本公开的实施例的以AR方式的包括多个虚拟化身的第二GUI；
图18示出了根据本公开的实施例的选择设置在第二GUI上的多个虚拟化身中的一个的操作；
图19示出了根据本公开的实施例的以AR方式共享内容的操作；
图20示出了根据本公开的实施例的第二GUI中的交互场景；
图21示出了根据本公开的实施例的包括虚拟化身的图像。
在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
以下参考附图的描述有助于全面理解权利要求及其等同形式所限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例。因此，本领域技术人员应意识到，可以在不脱离本公开的范围和精神的情况下，对本文描述的各种实施例进行各种变换和修改。此外，为了简要和清楚，公知的功能和结构的描述可能被省略。
下述说明书中和权利要求中的术语和词汇并不受限于其字面含义，而是仅被发明人用来使本公开更清晰和一致地理解。因此，本领域技术人员应明确下述对本公开各种实施例的描述仅作为阐释之用而非如所附的权利要求及其等同形式那样用于对本公开的限定。
应理解，除非上下文有明确相反的表示，单数形式的“一”、“一个”和“该”包括复数的含义。因此，举例来说，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
图1示出了根据本公开的实施例的以AR方式显示的GUI和虚拟化身。
参照图1，在真实空间10中，AR装置101可以佩戴在用户50的身体的一部分(例如，头部)上。AR装置101可以指包括能够支持AR的显示器的装置。例如，AR装置101可以包括可穿戴装置和头戴式显示器(HMD)中的至少一种。
根据本公开的实施例，AR装置101可以在AR 20中输出第一GUI 30，用于以3维(3D)显示存储在用户装置(例如，智能手机，未示出)中的消息应用或联系人应用中的联系人。例如，第一GUI 30可以被称为“巢(nest)”。
根据本公开的实施例，第一GUI 30可以固定在真实空间10的指定区域中。例如，当接收到用于将第一GUI 30设置于真实空间10的桌子12上的用户输入时，AR装置101可以在桌子12上显示第一GUI 30。在这种情况下，即使AR装置101随着用户50的移动而移动，第一GUI 30的位置在真实空间10中也不会改变。根据本公开的另一实施例，第一GUI 30可以固定到用户50能够通过AR装置101观看的区域(例如，图15A的观看区域1510)的指定位置。在这种情况下，当AR装置101随着用户50的移动而移动时，第一GUI 30可以随AR装置101的移动而一起移动。
第一GUI 30可以包括与存储在用户装置中的各个联系人对应的至少一个虚拟化身(例如，32、34或36)。在本说明书中，可以描述为第一GUI 30“包括”虚拟化身。然而，根据本公开的各种实施例，AR 20中的虚拟化身32、34和36可以定位于与第一GUI 30相邻的各个位置。例如，参照放大视图22，其中AR 20是放大的，虚拟化身32、34和36可以设置在第一GUI30上。在另一个示例中，尽管没有在图1中示出，虚拟化身32、34和36可以设置在第一GUI 30的下方、侧面或内部。
虚拟化身32、34和36可以分别代表存储在用户装置中的联系人。根据本公开的实施例，用户装置(或AR装置101)的用户可以选择预先存储的模板虚拟化身之一，因此虚拟化身32、34和36的外观可以被确定的，虚拟化身32、34和36的外观可以基于包括在联系人信息中的信息(例如，年龄、性别或国家)来任意确定。可选地，可以基于对方的设置来确定虚拟化身32、34和36的外观。
与存储在用户装置中的联系人的数量相比，AR装置101能够提供的AR空间20的大小是有限的，因此根据实施例的AR装置101可以仅显示与存储在用户装置中的联系人之中的至少一个预选联系人对应的虚拟化身。例如，AR装置101可以在第一GUI 30上显示通过用户设置选择的联系人(例如，“收藏”)或具有高通信频率的联系人。
图2示出了根据本公开的实施例的网络环境200中的电子装置的框图。
参照图2，网络环境200中的电子装置201可经由第一网络298(例如，短距离无线通信网络)与电子装置202进行通信，或者经由第二网络299(例如，长距离无线通信网络)与外部电子装置204或服务器208中的至少一个进行通信。根据本公开的实施例，电子装置201可经由服务器208与外部电子装置204进行通信。根据本公开的实施例，电子装置201可包括处理器220、存储器230、输入模块250、声音输出模块255、显示模块260、音频模块270、传感器模块276、接口277、连接端278、触觉模块279、相机模块280、电力管理模块288、电池289、通信模块290、用户识别模块(SIM)296或天线模块297。在本公开的实施例中，可从电子装置201中省略上述部件中的至少一个(例如，连接端278)，或者可将一个或更多个其它部件添加到电子装置201中。在本公开的实施例中，可将上述部件中的一些部件(例如，传感器模块276、相机模块280或天线模块297)实现为单个部件(例如，显示模块260)。
处理器220可运行例如软件(例如，程序240)来控制电子装置201的与处理器220连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据本公开的一个实施例，作为所述数据处理或计算的至少部分，处理器220可将从另一部件(例如，传感器模块276或通信模块290)接收到的命令或数据存储到易失性存储器232中，对存储在易失性存储器232中的命令或数据进行处理，并将结果数据存储在非易失性存储器234中。根据本公开的实施例，处理器220可包括主处理器221(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器221在操作上独立的或者相结合的辅助处理器223(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置201包括主处理器221和辅助处理器223时，辅助处理器223可被适配为比主处理器221耗电更少，或者被适配为专用于特定的功能。可将辅助处理器223实现为与主处理器221分离，或者实现为主处理器221的部分。
在主处理器221处于未激活(例如，睡眠)状态时，辅助处理器223(而非主处理器221)可控制与电子装置201的部件之中的至少一个部件(例如，显示模块260、传感器模块276或通信模块290)相关的功能或状态中的至少一些，或者在主处理器221处于激活状态(例如，运行应用)时，辅助处理器223可与主处理器221一起来控制与电子装置201的部件之中的至少一个部件(例如，显示模块260、传感器模块276或通信模块290)相关的功能或状态中的至少一些。根据本公开的实施例，可将辅助处理器223(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器223相关的另一部件(例如，相机模块280或通信模块290)的部分。根据本公开的实施例，辅助处理器223(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置201或经由单独的服务器(例如，服务器208)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器230可存储由电子装置201的至少一个部件(例如，处理器220或传感器模块276)使用的各种数据。所述各种数据可包括例如软件(例如，程序240)以及针对与其相关的命令的输入数据或输出数据。存储器230可包括易失性存储器232或非易失性存储器234。
可将程序240作为软件存储在存储器230中，并且程序240可包括例如操作系统(OS)242、中间件244或应用246。
输入模块250可从电子装置201的外部(例如，用户)接收将由电子装置201的其它部件(例如，处理器220)使用的命令或数据。输入模块250可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块255可将声音信号输出到电子装置201的外部。声音输出模块255可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据本公开的实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块260可向电子装置201的外部(例如，用户)视觉地提供信息。显示模块260可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据本公开的实施例，显示模块260可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块270可将声音转换为电信号，反之亦可。根据本公开的实施例，音频模块270可经由输入模块250获得声音，或者经由声音输出模块255或与电子装置201直接(例如，有线地)连接或无线连接的外部电子装置(例如，外部电子装置202)的耳机输出声音。
传感器模块276可检测电子装置201的操作状态(例如，功率或温度)或电子装置201外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据本公开的实施例，传感器模块276可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口277可支持将用来使电子装置201与外部电子装置(例如，电子装置202)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据本公开的实施例，接口277可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端278可包括连接器，其中，电子装置201可经由所述连接器与外部电子装置(例如，外部电子装置202)物理连接。根据本公开的实施例，连接端278可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块279可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据本公开的实施例，触觉模块279可包括例如电机、压电元件或电刺激器。
相机模块280可捕获静止图像或运动图像。根据本公开的实施例，相机模块280可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块288可管理对电子装置201的供电。根据本公开的一个实施例，可将电力管理模块288实现为例如电力管理集成电路(PMIC)的至少部分。
电池289可对电子装置201的至少一个部件供电。根据本公开的实施例，电池289可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块290可支持在电子装置201与外部电子装置(例如，外部电子装置202、外部电子装置204或服务器208)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块290可包括能够与处理器220(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据本公开的实施例，通信模块290可包括无线通信模块292(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块294(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络298(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络299(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块292可使用存储在用户识别模块296中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络298或第二网络299)中的电子装置201。
无线通信模块292可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块292可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块292可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块292可支持在电子装置201、外部电子装置(例如，外部电子装置204)或网络系统(例如，第二网络299)中指定的各种要求。根据本公开的实施例，无线通信模块292可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块297可将信号或电力发送到电子装置201的外部(例如，外部电子装置)或者从电子装置201的外部(例如，外部电子装置)接收信号或电力。根据本发明的实施例，天线模块297可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据本公开的实施例，天线模块297可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块290(例如，无线通信模块292)从所述多个天线中选择适合于在通信网络(诸如第一网络298或第二网络299)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块290和外部电子装置之间发送或接收信号或电力。根据本公开的实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块297的一部分。
根据本公开的各种实施例，天线模块297可形成毫米波天线模块。根据本公开的实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据本公开的实施例，可经由与第二网络299连接的服务器208在电子装置201和外部电子装置204之间发送或接收命令或数据。外部电子装置202或外部电子装置204中的每一个可以是与电子装置201相同类型的装置，或者是与电子装置201不同类型的装置。根据本公开的实施例，将在电子装置201运行的全部操作或一些操作可在外部电子装置202、外部电子装置204或服务器208中的一个或更多个运行。例如，如果电子装置201应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置201可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置201除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置201。电子装置201可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置201可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置204可包括物联网(IoT)装置。服务器208可以是使用机器学习和/或神经网络的智能服务器。根据本公开的实施例，外部电子装置204或服务器208可被包括在第二网络299中。电子装置201可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智慧城市、智能汽车或医疗保健)。
图2示出的电子装置201可以是图1中的AR装置101或与AR装置101电连接并存储联系人的装置(例如，用户装置)。
图3示出了根据本公开的实施例的用户装置的框图。
参照图3，用户装置301可以指被配置为与存储在消息应用或联系人应用中的对方进行通信的装置。例如，用户装置301可以包括智能手机、平板个人计算机(PC)、移动电话、可视电话、电子书阅读器、台式PC、笔记本计算机、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗装置或家用电器。
AR装置302可以被实现为能够被用户佩戴的可穿戴装置(例如，HMD)。AR装置302可以包括用于当用户装置301运行于AR模式时提供AR的显示器。例如，当用户装置301安装在AR装置302上时，用户装置301可以运行AR模式。作为另一示例，当用户装置301未安装在AR装置302上时，用户装置301可以依据用户设置或与AR模式相关联的应用的运行来运行AR模式。当运行AR模式时，用户装置301可以通过AR装置302对AR中显示的GUI(例如，第一GUI 30和图1的虚拟化身32、34和36)进行三维渲染。在这种情况下，可以通过AR装置302的显示器输出与用户的眼睛(例如，左眼和右眼)相对应的两个屏幕。
用户装置301可以包括触摸屏320、控制器330、存储器340和通信电路350。作为另一个示例，用户装置310还可以包括图2的电子装置201中所包括的其它部件中的至少一个。
触摸屏320可以执行与图2的显示模块260的功能相同或相似的功能。触摸屏320可以包括显示面板321和/或触摸面板322。显示面板321和触摸面板322中的每一个可以实现为单独的面板。作为另一示例，触摸屏320可以仅包括显示面板321而不包括触摸面板322。
控制器330可以执行与图2的处理器220的功能相同或相似的功能。控制器330可以包括AR模式处理模块331、事件检测模块332、事件信息处理模块333和应用控制器334。包括在控制器330中的模块可以是指通过硬件或软件实现的配置。当以软件实现时，包括在控制器330中的模块可以作为指令集存储在存储器340中。控制器330可以通过执行该指令集来执行用户装置301的运行。
当用户装置301在AR模式下运行时，AR模式处理模块331可以处理与AR模式相关联的操作。例如，AR模式处理模块331可以加载存储在存储器340中的至少一个AR程序341。
事件检测模块332可以检测当运行于AR模式时发生的事件。事件检测模块332可以确定是否存在要显示在屏幕上的与当运行于AR模式时发生的事件相关联的信息。例如，当通过消息应用从对方的电子装置接收到诸如消息的内容时，事件检测模块332可以检测到事件发生。
事件信息处理模块333可以处理要被事件检测模块332检测处并且要以AR显示的信息。例如，事件信息处理模块333可以将与检测到的事件相关联的信息(例如，文本消息)转换为要以AR显示的3D图像。在这种情况下，事件信息处理模块333可以将二维(2D)信息转换为与左眼和右眼对应的信息，可以合成转换后的信息，并且可以对要在AR装置302上显示的合成的信息进行渲染。
应用控制器334可以在用户装置301在AR模式下运行时，对应用进行控制。例如，当在AR模式下运行消息应用时，应用控制器334可以屏蔽其它应用或在后台运行其他应用，以使其他应用不会干扰消息应用的执行。
存储器340可以执行与图2的存储器230的功能相同或相似的功能。存储器340可以存储AR程序341和事件相关信息342。AR程序341可以是与用户装置301的AR模式操作相关联的应用。事件相关信息342可以包括与AR中发生的事件相关联的信息。
通信电路350可以实现与图2中的通信模块190的功能相同或相似的功能。通信电路350可用于电连接到AR装置302或外部服务器。例如，通信电路350可以通过蓝牙、Wi-Fi或网络共享连接到AR装置302。作为另一示例，通信电路350可以包括有线接口。
图4是根据本公开的实施例的程序模块的框图。
参照图4，程序模块400可以包括与图2中的程序240的配置相同或相似的配置。程序模块400可以包括系统操作系统(例如，操作系统(OS))410、框架420和应用430。
系统操作系统410可以执行与图2中的操作系统242的功能相同或相似的功能。系统操作系统410可以包括至少一个系统资源管理器或至少一个装置驱动。系统资源管理器可以控制、分配或恢复系统资源。系统资源管理器可以包括至少一个管理器，例如进程管理器、内存管理器或文件系统管理器。装置驱动可以包括至少一个驱动，例如显示器驱动、相机驱动、蓝牙驱动、共享内存驱动、USB驱动、键盘驱动、Wi-Fi驱动、音频驱动或进程间通信(IPC)驱动。
例如，框架420可以包括图2的中间件244。框架420可以通过应用程序接口(API)提供应用所必需的功能，以使得应用能够有效地使用电子装置(例如，图3中的用户装置301)中的有限系统资源。当电子装置运行在AR模式下时，框架420可以控制与AR模式相关联的功能。例如，框架420可以控制至少一个AR应用(例如，多个AR应用451)。
应用430可以执行与图2中的应用246的功能相同或相似的功能。应用430可以包括多个AR应用(例如，多个AR应用451)和多个通用应用(例如，452)。AR应用可以指在AR模式下运行的应用，通用应用可以指在普通模式而不是AR模式下运行的应用。
根据本发明的实施例，应用430还可以包括AR控制应用440。AR控制应用440可以控制至少一个AR应用和/或至少一个通用应用450。例如，AR控制应用440可以执行与图3中的AR模式处理模块331、事件检测模块332、事件信息处理模块333或应用控制器334中的至少一个的功能相同或相似的功能。
根据本公开的实施例，当用户装置在AR模式或正常模式下运行时，系统操作系统410可以通知框架420事件发生了(例如，从对方的电子装置接收到文本消息)。当在用户装置以正常模式运行的情况下发生事件时，框架420可以控制通用应用的执行，使得通过用户装置的显示器(例如，图3中的触摸屏320)显示与事件相关联的画面。当在用户装置以AR模式运行的情况下发生事件时，框架420可以控制通用应用，使得与事件相关联的画面仅通过AR装置(例如，图3中的AR装置302)显示，而不通过用户装置的显示器显示，从而防止不必要的资源消耗以及防止通用应用干扰AR模式下的操作。根据本公开的另一实施例，当在用户装置以AR模式运行的情况下发生事件时，框架420可以通过控制要在用户装置的显示器和AR装置显示的事件相关画面，来提供用户能够通过用户装置控制AR装置的环境。
图5示出了根据本公开的实施例的AR装置的框图。
参照图5，AR装置501可以包括与图1的AR装置101或图3的AR装置302的配置相同或相似的配置，且可以执行与图1的AR装置101或图3的AR装置302相同或相似的功能。AR装置501可以包括通过总线510可操作地连接的存储器520、输入/输出接口530、通信接口540、传感器550、显示器560和处理器570。
存储器520可以存储空间地图521。例如，空间地图521可以指关于AR装置501周围的真实空间(例如，图1的真实空间10)的空间信息。例如，当AR装置501被用户佩戴时，AR装置501可以通过传感器550扫描周围区域来将AR装置501周围的空间生成为3D地图。AR装置501可以通过使用所生成的空间地图521来识别AR装置501的位置，或可以识别特定GUI(例如，图1的第一GUI 30或虚拟化身32、34和36)所在的位置。
存储器520可以包括用于向存储在AR装置501中的应用提供必要功能的API 522。
输入/输出接口530可以包括用于与用户交互的硬件或软件配置。例如，输入/输出接口530可以包括麦克风或扬声器。
通信接口540可以被配置为通过有线或无线方式连接到用户装置(例如，图3中的用户装置301)。通信接口540也可以称为“通信模块”或“通信电路”。
传感器550可以包括至少一个传感器。例如，传感器550可以包括以下项中的至少一个：能够感测用户的手(或手指)的移动的手部姿势传感器551、能够感测用户头部的移动的头部姿势传感器552，或其它传感器553。例如，其它传感器553可以包括以下项中的至少一个：能够识别AR装置501在真实空间中的位置的位置测量传感器，例如全球定位系统(GPS)；能够感测AR装置501的方向或移动的运动传感器，例如加速度传感器、地磁传感器和陀螺仪传感器；能够感测位于AR装置501的附近位置的外部物体的接近传感器；能够感测AR装置501周围的光的强度或色彩的红绿蓝(RGB)传感器；照度传感器；或者霍尔传感器。
显示器560可以包括用于向用户提供AR的透明(see-through)显示器565。
处理器570可以可操作地连接到存储器520、输入/输出接口530、通信接口540、传感器550和显示器560，并且可以执行AR装置501的整体操作。
图6示出了根据本公开的实施例的消息应用与AR系统的硬件配置相结合的示意图。
参照图6，AR装置610和用户装置620可以彼此电连接。例如，用户装置620可以安装在AR装置610中，AR装置610和用户装置620可以通过有线接口连接。可选地，AR装置610和用户装置620可以经由无线通信连接。AR装置610的处理器612和存储器614可以分别执行与图5的处理器570和存储器520的功能相同或相似的功能。用户装置620的处理器622和存储器624可以分别执行与图3的控制器330和存储器340的功能相同或相似的功能。
消息应用630可以存储在用户装置620的存储器624中。在这种情况下，消息应用630可以执行与图3中的的控制器330所包括的模块或图4的AR控制应用440的功能相同或相似的功能。例如，消息应用630可以对要通过AR装置610的透明显示器640(例如，图5的显示器560)显示的至少一个虚拟化身632(例如，图1的虚拟化身32、34或36)和第一GUI 634(例如，图1的第一GUI 30)进行渲染，并且可以将渲染后的第一GUI 634和渲染后的至少一个虚拟化身632发送到AR装置610。当接收到用于选择包括在第一GUI 634中的至少一个虚拟化身中的一个虚拟化身的用户输入635时，消息应用630可以渲染第二GUI 638和选中的虚拟化身636，使得选中的虚拟化身636显示在指示消息线程的第二GUI638(例如，图9中的第二GUI 920)上。消息应用630可以将渲染后的第二GUI 638和选中的虚拟化身636发送到AR装置610。当第二GUI 638被显示时，消息应用630可以接收用户输入650以输入内容。例如，内容可以包括文本、图像、3D内容或语音中的至少一种。
AR装置610可以通过透明显示器640输出通过消息应用630渲染后的第一GUI634、至少一个虚拟化身632、选中的虚拟化身636以及第二GUI 638。根据本公开的实施例，AR装置610可以通过传感器(例如，图5中的传感器550)获得用于选择虚拟化身的用户输入635和用于键入内容的用户输入650。
图7示出了根据本公开的实施例的显示第一GUI和虚拟化身的AR系统的操作流程图700。AR系统可以指包括AR装置(例如，图6的AR装置610)和用户装置(例如，图6的用户装置620)的系统。
参照图7，在操作710中，AR系统可以在AR装置和用户装置之间建立连接。AR装置与用户装置之间的连接可以通过有线或无线方式建立。例如，当AR装置以HMD实现时，用户装置可以安装在AR装置中。作为另一示例，AR装置和用户装置可以通过有线接口或无线通信协议(例如，蓝牙或Wi-Fi)进行绑定。
在操作720中，AR系统可以在AR装置和用户装置之间的连接建立时，检测用户装置的消息应用被执行。例如，消息应用可以包括能够与另一用户装置通信的应用。例如，消息应用可以用聊天应用、视频通话应用、邮件应用或社交网络服务(SNS)应用代替。
在操作730中，AR系统可以以AR方式显示包括至少一个虚拟化身(例如，图1的虚拟化身32、34或36)的第一GUI(例如，图1的GUI30)。第一GUI可以指在至少一个虚拟化身所在的空间中以AR方式可视地显示的对象。该至少一个虚拟化身可以基于存储在运行的消息应用或链接到该消息应用的联系人应用中的至少一个联系人。
图8A示出了根据本公开的实施例的包括虚拟化身的第一GUI。
参照图8A，AR装置可以以AR方式显示第一GUI 820。第一GUI 820的形状不限于图8A所示的示例，并且第一GUI 820的形状可以通过用户设置来改变。第一GUI 820可以固定到真实空间中的指定位置，或者可以固定到AR装置的显示器的指定区域。根据本公开的实施例，AR装置可以在与第一GUI 820相邻的位置(例如，第一GUI的顶面)显示至少一个虚拟化身801、802或803。AR装置可以基于第一GUI 820的大小在第一GUI 820上显示指定数量的虚拟化身。例如，AR装置可以在第一GUI820上显示依据用户设置被指定为“收藏”的联系人或具有高通信频率的联系人。
根据本公开的实施例，AR装置可以在与第一GUI 820相邻的位置处显示用于控制第一GUI 820或至少一个虚拟化身801、802或803的菜单的图标822、824和826。例如，与图标822、824和826对应的菜单可以包括第一GUI 820的编辑、收藏设置、虚拟化身的编辑、最近通信的检查或联系人的编辑中的至少一个。
图8B示出了根据本公开的实施例的与联系人相对应的虚拟化身。
参照图8B所示，AR装置可以编辑至少一个虚拟化身801、802或803，或分别与至少一个虚拟化身801、802或803对应的联系人信息811、812或813。例如，当存储在用户装置中的联系人的虚拟化身尚未生成时，AR装置可以通过用户的选择将预先存储的模板虚拟化身之一应用于联系人。当应用了模板虚拟化身的对方联系人生成了新的虚拟化身时，存储在用户装置中的虚拟化身可以从模板虚拟化身改变为由对方所生成的虚拟化身。
图9示出了根据本公开的实施例的以AR中将虚拟化身从第一GUI移动到第二GUI的图形效果。
参照图9，除了第一GUI 910之外，AR装置(例如，图6的AR装置610)可以以AR方式显示第二GUI 920。第一GUI 910可以对应于图1中的第一GUI 30或图8A中的第一GUI 820。第二GUI 920可以表示消息应用的消息线程。第二GUI 920可以被称为“巢”。在这种情况下，第一GUI 910和第二GUI 920可以分别被称为“主巢”和“次巢”。
根据本公开的实施例，第二GUI 920可以包括与AR系统的用户账号相对应的第一虚拟化身922。可以这样描述：第二GUI 920“包括”第一虚拟化身922。然而，根据本公开的各种实施例，AR装置可以将第一虚拟化身922放置在与第二GUI 920相邻的位置(例如，顶部、底部、侧面或内部)。
根据本公开的实施例，AR装置可以检测将第一GUI 910中所包括的虚拟化身911和912中的第二虚拟化身911移动(950)到第二GUI 920的用户手势955。例如，AR装置可以通过手部姿势传感器(例如，图5中的手部姿势传感器551)检测到用户手势955，用户手势955用于从第一GUI 910抓取(950)第二虚拟化身911并将抓取的第二虚拟化身911放到第二GUI920。AR装置可以依据在AR中检测到的用户手势955来提供将第二虚拟化身911从第一GUI910移动到第二GUI 920的图形效果。当第二虚拟化身911位于第二GUI 920上时，电连接到AR装置的用户装置可以与对应于第二虚拟化身911的对方联系人通信。
根据本公开的实施例，可以在第二虚拟化身911被选择之前显示第二GUI 920，可以响应于检测到偏离了第一GUI 910的用户手势955来显示第二虚拟化身911。
根据本公开的实施例，为了提供真实感，例如第一虚拟化身922和第二虚拟化身911之间在对话，AR装置可以改变第一虚拟化身922和第二虚拟化身911的位置和方向。例如，AR装置可以布置成使得第一虚拟化身922和第二虚拟化身911在第二GUI 920的相对侧彼此对面而立。
根据本公开的实施例，AR装置可以在与第二GUI 920相邻的位置显示菜单的图标925和926，菜单的图标925和926用于控制由第二GUI 920指示的消息线程。例如，与图标925和926对应的菜单可以包括以下功能中的至少一项：终止消息线程的功能；共享内容(例如，图像、视频、链接、地图、另一人的联系人、音乐、文件、语音消息或时间表中的至少一项)的功能；发送表情符号的功能。
根据本公开的实施例，AR装置可以响应于检测到将第二虚拟化身911从第二GUI920移动(950)到第一GUI 910的用户手势955，终止与由第二虚拟化身911指示的对方联系人的通信。
图10A和图10B示出了根据本公开的实施例的检测用于虚拟化身的手势的操作。图10A和图10B示出了通过使用手部姿势传感器来检测用户的手指(或手)的移动的操作。
参照图10A和图10B，在操作1001中，AR装置可以检测到用户的手指1050朝着被设置在第一GUI 1010(例如，图9中的第一GUI 910)上的虚拟化身1012移动。AR装置不仅可以检测用户手指1050的移动，还可以测量用户手指1050和虚拟化身1012之间的距离1015。
当用户的手指1050和虚拟化身1012之间的距离小于阈值时，AR装置可以确定虚拟化身1012被用户选中。根据本公开的实施例，为了通知用户该用户手指1050与虚拟化身1012之间的距离1015越来越近，AR装置可以提供表示虚拟化身1012的手势的图形效果。例如，参照图10B的操作1004，AR装置可以响应于检测到用户手指1050和虚拟化身1012之间的距离1065小于阈值，提供如下图形效果：虚拟化身1012沿用户手指1050所在的方向举起手。根据本公开的实施例，为了指引用户的手指1050能够抓住虚拟化身1012的位置所在，AR装置可以在虚拟化身1012举起的手上输出附加的图形效果(例如，光)。例如，参照图10B，在操作1005中，AR装置可以响应于用户手指1050触摸虚拟化身1012的手的事件，在虚拟化身1012的外围提供视觉图形效果1080(例如，鞭炮或花粉)。
在操作1002中，AR装置可以检测用户手指1050抓住虚拟化身1012的手势。例如，当用户手指1050触摸虚拟化身1012或者用户手指1050和虚拟化身1012之间的距离小于阈值时，AR装置可以检测到用户手指1050闭合的移动。AR装置可以响应于检测到用户手指1050抓住虚拟化身1012的手势，提供虚拟化身1012从第一GUI 1010偏离的图形效果。依据闭合的用户手指1050的移动，AR装置可以提供虚拟化身1012与用户手指1050一起移动的图形效果。
在操作1003中，响应于检测到用户的手指1050打开或者检测到虚拟化身1012位于与第二GUI 1020相邻的位置(例如，图9中的第二GUI 920)，AR装置可以在第二GUI 1020上显示虚拟化身1012。第二GUI 1020可以包括与AR装置的用户账号对应的虚拟化身1022(例如，图9的第一虚拟化身922)。
图10A示出了虚拟化身1012从第一GUI 1010移动到第二GUI 1020的实施例。然而，相同的原理也可以适用于虚拟化身1012从第二GUI 1020移动到第一GUI 1010的实施例。
图11示出了根据本公开的实施例的AR系统的用于提供虚拟化身移动的图形效果的操作流程图1100。
参照图11，在操作1110中，AR系统可以以AR显示表示消息线程的第二GUI(例如，图9的第二GUI 920)。根据本公开的实施例，第二GUI可以包括与AR系统的用户账号对应的虚拟化身(例如，图9的第一虚拟化身922)。
在操作1120中，AR系统可以检测对包括在第一GUI(例如，图9的第一GUI 910)中的虚拟化身(例如，图9的第二虚拟化身911)的第一手势。例如，AR系统可以使用手部姿势传感器检测以下移动：用户的手指移动到靠近虚拟化身的位置并且用户的手指朝着虚拟化身靠近。AR系统可以检测以下移动：在用户的手指闭合时，用户手指从第一GUI移动到第二GUI。
在操作1130中，AR系统可以基于检测到的第一手势提供虚拟化身从第一GUI移动到第二GUI的图形效果。
根据本公开的另一实施例，AR系统可以响应于在操作1120中检测到第一手势，以AR显示第二GUI。例如，当检测到用户手指抓住了虚拟化身时，AR系统可以显示第二GUI。
图12示出了根据本公开的实施例的改变消息线程的操作。
参照图12，用户装置可以为多个对方联系人生成多个消息线程。AR装置可以以AR显示表示多个消息线程的多个GUI 1231、1232、1233和1234。例如，AR装置可以在与第二GUI1220(例如，图9的第二GUI 920)相邻的位置处显示表示多个消息线程的多个GUI 1231、1232、1233和1234，这些消息线程生成于第一虚拟化身1221和第二虚拟化身1222之间。
根据本公开的实施例，AR装置可以依据用户输入在多个消息线程中选择当前消息线程。例如，AR装置可以依据以下移动在多个消息线程中选择当前消息线程：用户手指1250沿指定方向(例如，1255)滚动多个GUI 1231、1232、1233和1234，或者触摸多个GUI 1231、1232、1233和1234之一。
图13A和图13B示出了根据本公开的实施例的用于键入消息的用户界面。
参照图13A，AR装置可以显示包括第一虚拟化身1321(例如，图9中的第一虚拟化身922)和第二虚拟化身1322(例如，图9中的第二虚拟化身911)的第二GUI 1320(例如，图9的第二GUI 920)。AR装置可以在与第二GUI 1320相邻的位置处显示图标1331、1332、1333和1334，图标1331、1332和1333用于选择要发送到与第二虚拟化身1322对应的对方联系人的用户输入的类型，图标1334用于将获得的用户输入发送到与第二虚拟化身1322对应的对方联系人。例如，由图标1331、1332和1333指示的输入的类型可以包括语音输入、文本输入或反应(reaction)输入。例如，反应输入可以指出现在第一虚拟化身1321上的手势。
参照图13B，例如，AR装置可以接收用户的语音输入1341。AR装置可以通过AR装置的麦克风(例如，图5的输入/输出接口530)获得语音输入1341。作为另一示例，连接到AR装置的用户装置可以通过用户装置的麦克风(例如，图2中的输入模块250)获得语音输入1341，并且可以将获得的语音输入1341发送到AR装置。作为另一示例，AR装置可以通过以AR显示的虚拟键盘1342获得文本输入。在这种情况下，AR装置可以通过使用手部姿势传感器检测用户手指的移动来获得对虚拟键盘1342的文本输入。作为另一个示例，AR装置可以通过用户装置1343的触摸屏上的虚拟键盘的输出来获得文本输入。作为另一个示例，尽管图13B中未示出，AR装置可以通过单独连接到用户装置1343的输入装置(例如，蓝牙键盘)获得文本输入。
根据本公开的实施例，AR装置可以通过多种输入方式获得消息输入。例如，当用户装置的应用在AR模式下运行时，AR装置可以通过以AR显示的虚拟键盘1342获得消息输入，同时可以通过输出在用户装置1343的触摸屏上的键盘获得消息输入。根据本公开的另一实施例，AR装置可以将特定的输入方式设置为获得消息输入的默认方式。根据本公开的另一实施例，AR装置可以通过上一次使用的输入方式来获得消息输入。
根据本公开的实施例，AR装置可以将获得的由用户输入指示的消息(例如，语音或文本)发送给与第二虚拟化身1322对应的对方联系人。
根据本公开的实施例，AR装置可以通过在第一虚拟化身1321上显示与所发送的消息对应的文本或包括文本的对话气泡1350来提供一种真实感，就好像第一虚拟化身1321的用户直接对第二虚拟化身1322的用户说话一样。
图14示出了根据本公开的实施例的用于显示消息的UI。
参照图14，AR装置可以显示包括第一虚拟化身1421(例如，图9中的第一虚拟化身922)和第二虚拟化身1422(例如，图9中的第二虚拟化身911)的第二GUI 1420(例如，图9的第二GUI 920)。AR装置可以以AR的方式以各种形状显示从对方的电子装置接收到的消息或发送到对方的电子装置的消息。
例如，在操作1401中，AR装置可以以AR的方式显示包括与消息对应的文本的对话气泡1431。例如，对话气泡1431可以显示在与发送消息的主体(例如，AR装置的用户)对应的虚拟化身(例如，第一虚拟化身1421)上。根据本公开的实施例，AR装置可以控制对话气泡1431在指定时间后消失。
作为另一示例，在操作1402中，AR装置可以以AR显示表示语音消息的UI 1432。当接收到用于选择UI 1432的用户输入时，AR装置可以通过扬声器(例如，图5的输入/输出接口530)输出语音。
根据本公开的实施例，AR装置可以依据用户设置将消息输出为语音或文本。例如，即使AR装置获得了语音消息或语音输入，AR装置也可以通过语音到文本(STT)技术以AR的方式显示与语音对应的文本。另一方面，即使AR装置获得了文本消息或文本输入，AR装置也可以通过文本到语音(TTS)技术以AR的方式输出与文本对应的语音。
又例如，在操作1403中，AR装置可以以AR的方式显示表示消息发送记录的UI1433。根据本公开的实施例，UI 1433可以根据用户手势沿指定方向(例如，向上或向下)滚动。根据本公开的实施例，当过去了指定时间或在UI 1433中包括的文本的数量不小于指定数量时，AR装置可以通过使包括在UI 1433中的至少部分文本从AR中消失来减少视觉混乱。
图15A示出了根据本公开的实施例的依据观看区域输出消息的操作。
参照图15A，当AR装置1505(例如，图6中的AR装置610)佩戴在用户1550身体的一部分(例如，头部)上时，用户1550能够观看的AR空间由于AR装置1505的显示器(例如，图5的显示器560)的物理尺寸限制而受到限制。在本说明书中，用户1550能够通过AR装置1505观看的区域可以被称为“观看区域(例如，观看区域1510)”。例如，当包括第一虚拟化身1521(例如，图9中的第一虚拟化身922)和第二虚拟化身1522(例如，图9中的第二虚拟化身911)的第二GUI 1520(例如，图9中的第二GUI 920)被固定到真实空间中的指定位置时，取决于AR装置1505的移动，第二GUI 920可以位于观看区域1510内或者可以偏离观看区域1510。
根据本公开的实施例，AR装置1505可以基于第二GUI 1520是否偏离观看区域1510，将消息输出为文本或语音。例如，如图15A的左图所示，当第二GUI 1520位于观看区域1510内时，AR装置1505可以以文本形式(例如，1525)输出消息。作为另一示例，如图15A的右图所示，当第二GUI 1520偏离观看区域1510时，AR装置1505可以将消息输出为语音。
图15B示出了根据本公开的实施例的用于依据观看区域输出消息的AR装置的操作流程图1500。
参照图15B，在操作1560中，AR装置1505可以检测AR装置1505的移动。例如，AR装置1505可以通过头部姿势传感器(例如，图5中的头部姿势传感器552)或运动传感器来检测AR装置1505的移动。
在操作1570中，AR装置1505可以响应于检测到移动的事件确定第二GUI 1520是否位于观看区域1510内。
当第二GUI 1520位于观看区域1510之内时，在操作1580中，AR装置1505可以通过显示器显示与消息对应的文本(例如，1525)。
当第二GUI 1520不是位于观看区域1510之内时，在操作1590中，AR装置1505可以通过扬声器输出与消息对应的语音。
图16示出了根据本公开的实施例的用于显示接收到的消息的UI。
参照图16，在消息线程生成之后，用户装置(例如，图6中的用户装置620)可以从针对其的消息线程尚未生成的对方另一个联系人(例如，与第三虚拟化身1612对应的联系人)接收消息。为了通知用户从没有针对其生成消息线程的对方接收到的消息，AR装置(例如，图6的AR装置610)可以提供图形效果，该图形效果用于表示包括在第一GUI 1610(例如，图9的第一GUI 910)中的第三虚拟化身1612的手势。例如，AR装置可以提供表示第三虚拟化身1612举手的手势的图形效果。
图17示出了根据本公开的实施例的以AR方式的包括多个虚拟化身的第二GUI。
参照图17，当显示了包括第一虚拟化身1722(例如，图9中的第一虚拟化身922)和第二虚拟化身1721(例如，图9中的第二虚拟化身911)的第二GUI 1720(例如，图9的第二GUI920)时，AR装置(例如，图6的AR装置610)可以检测将包括在第一GUI 1710(例如，图9中的第一GUI 910)中的虚拟化身1711和1712之中的第三虚拟化身1712移动到第二GUI 1720。将第三虚拟化身1712移动到第二GUI 1720的用户手势可以与参照图9描述的用户手势相同或相似。例如，AR装置可以通过手部姿势传感器(例如，图5的手部姿势传感器551)检测这样的移动：用户的手指1755在抓取第三虚拟化身1712时沿指定方向1750移动第三虚拟化身1712，然后将第三虚拟化身1712放在第二GUI 1720上。
根据本公开的实施例，响应于检测到第三虚拟化身1712位于与第二GUI 1720相邻的位置，连接到AR装置的用户装置可以同时与第二虚拟化身1721的对方和第三虚拟化身1712的对方进行通信。图17示出了仅将第三虚拟化身1712添加到第二GUI 1720的实施例，但是添加到第二GUI1720的虚拟化身的数量不限于此。
根据本公开的实施例，当第三虚拟化身1712设置在与第二GUI 1720相邻的位置时，AR装置可以提供图形效果，使得包括在第二GUI 1720中的虚拟化身1712、1721和1722互相表达问候。
图18示出了根据本公开的实施例的选择设置于第二GUI上的多个虚拟化身中的一个的操作。
参照图18，AR装置1805(例如，图6中的AR装置610)可以基于佩戴AR装置1805的用户1810的注视方向，在AR 1800中选择设置在第二GUI 1820上的其余虚拟化身1822和1823中的一个，而不是与AR装置1805的用户账号对应的第一虚拟化身1821。例如，当在用户1810的注视方向1815指向第二虚拟化身1822的同时获得消息输入时，可以表示获得的消息输入是用于与第二虚拟化身1822对应的对方联系人。
尽管在图18中未示出，根据本公开的其他实施例，AR装置1805可以响应于获得用于呼叫第二虚拟化身1822的标识符或名称的用户语音，或者响应于检测到用户1810的手指指向第二虚拟化身1822，在虚拟化身1822和1823中选择第二虚拟化身1822。
图19示出了根据本公开的实施例的以AR方式共享内容的操作。
参照图19，当包括第一虚拟化身1921和第二虚拟化身1922的第二GUI 1920(例如，图18中的第二GUI 1820)被显示时，AR系统可以获得用于以AR共享内容的用户输入。例如，内容可以包括以下项中的至少一个：图像、视频、链接、地图、其他人的联系人、音乐、文件、语音消息或日程表。
例如，在操作1901中，AR系统可以检测在AR中输出的共享内容1910的用户手势。例如，用户手势可以包括抓取内容1910并将内容1910放在第二GUI 1920上的手势，类似于参考图10A描述的原理。
作为另一示例，在操作1902中，AR系统可以获得用户输入，用于以AR共享输出到用户装置1930(例如，图6中的用户装置620)的触摸屏上的内容1935。例如，用户输入可以包括在触摸屏上面向特定方向(例如，向上)的滑动输入。
图20示出了根据本公开的实施例的第二GUI中的交互场景。
参照图20，假设以AR显示包括第一虚拟化身2011和第二虚拟化身2012的第二GUI2010。操作2001至操作2003可以不按顺序执行，也可以独立执行。
参照图20，在操作2001中，AR装置(例如，图6中的AR装置610)可以通过与用户账号对应的第一虚拟化身2011来表达用户的情绪。例如，AR装置可以显示用于选择第一虚拟化身2011的各种手势的UI 2015，并且可以控制第一虚拟化身2011以表现在UI 2015中选择的手势。
在操作2002中，AR装置可以在输出从与第二虚拟化身2012对应的对方联系人处接收到的语音消息时，显示指示语音消息正在输出的UI2025。
在操作2003中，AR装置可以以AR显示输入窗口2035，使得用户能够识别获得的消息输入。
图21示出了根据本公开的实施例的包括虚拟化身的图像。
参照图21，AR装置可以提供包括在第二GUI(例如，图20的第二GUI 2010)中的虚拟化身2111、2112、2113或2114的图像2110。包括在图像2110中的虚拟化身的数量不限于图21所示的示例。例如，AR装置可以响应于用于请求图像捕获的用户输入来生成图像2110。
如上所述，根据本公开的各种实施例，支持AR的AR装置(例如，图5的AR装置501)可以包括显示器(例如，图5的显示器560)、通信电路(例如，图5的通信接口540)、可操作地连接到显示器和通信电路的处理器(例如，图5的处理器570)，以及可操作地连接到处理器的存储器(例如，图5的存储器520)。存储器可以存储指令，该指令在被执行时使处理器通过通信电路与存储联系人应用和消息应用的用户装置(例如，图3的用户装置301)建立连接，检测消息应用被执行，以及以AR的方式通过显示器显示第一GUI(例如，图1的30)和至少一个虚拟化身(例如，图1的32、34或36)，该虚拟化身被设置在与第一GUI相邻的位置处，且对应于与联系人应用或消息应用相关联的至少一个联系人。
根据本公开的实施例，指令可以使处理器以AR的方式通过显示器显示第二GUI(例如，图9的第二GUI 920)和第一虚拟化身(例如，图9的第一虚拟化身922)，第二GUI表示消息应用的消息线程并且被设置在与第一GUI间隔开的位置处，第一虚拟化身(例如，图9的第一虚拟化身922)被设置在与第二GUI相邻的位置处并且对应于用户账号。
根据本公开的实施例，AR装置还可以包括至少一个传感器(例如，图5的传感器550)、麦克风(例如，图5的输入/输出接口530)以及扬声器(例如，图5的输入/输出接口530)。该指令可以使处理器通过该至少一个传感器检测对布置在与第一GUI相邻的位置处的第二虚拟化身(例如，图9的第二虚拟化身911)的第一手势，并且响应于检测到该第一手势，通过显示器提供第二虚拟化身从第一GUI移动到第二GUI的图形效果。
根据本公开的实施例，在第一虚拟化身和第二虚拟化身被显示在与第二GUI相邻的位置时，该指令可以使处理器通过以下方式接收用于输入消息的第一用户输入：通过该至少一个传感器检测对通过显示器显示的虚拟键盘(例如，图13B的虚拟键盘1342)的第二手势；通过麦克风获得用户语音(例如，图13B的语音输入1341)；或者通过通信电路从用户装置或辅助装置接收信息。
根据本公开的实施例，该指令可以使处理器通过显示器在第一虚拟化身上显示与第一用户输入相对应的消息。
根据本公开的实施例，在第一虚拟化身和第二虚拟化身显示在与第二图形用户界面相邻的位置时，该指令可以使处理器通过通信电路接收第二虚拟化身的第一消息，以及通过扬声器输出与第一消息相对应的语音或通过显示器在第二虚拟化身上显示包括第一消息的文本。
根据本发明的实施例，在第一虚拟化身和第二虚拟化身显示在与第二图形用户界面相邻的位置时，该指令可以使处理器通过该至少一个传感器检测AR装置的移动，响应于检测到的移动，确定第二GUI是否位于显示器的观看区域(例如，图15A的观看区域1510)内，基于第二GUI位于观看域内，通过显示器在第二虚拟化身上显示与第一消息对应的文本，或基于第二GUI没有位于观看区域内，通过扬声器输出与第一消息对应的语音。
根据本公开的实施例，在第一虚拟化身和第二虚拟化身显示在与第二GUI相邻的位置处时，该指令可以使处理器通过该至少一个传感器检测对设置在与第一GUI相邻的位置处的第三虚拟化身(例如，图17的第三虚拟化身1712)的第三手势，以及响应于检测到第三手势，提供第三虚拟化身从第一GUI移动到第二GUI的图形效果。
根据本公开的实施例，在第一虚拟化身、第二虚拟化身和第三虚拟化身显示在与第二GUI相邻的位置时，该指令可以使处理器接收用于选择第二虚拟化身和第三虚拟化身中的一者的第二用户输入，通过以下方式选择第二虚拟化身和第二虚拟化身中的一者：通过该至少一个传感器检测用户注视；通过麦克风获得用户语音；或通过该至少一个传感器检测手势。
根据本公开的实施例，在第一虚拟化身、第二虚拟化身和第三虚拟化身显示在与第二GUI相邻的位置时，该指令可以使处理器通过通信电路接收设置在与第一GUI相邻的位置处的第四虚拟化身(例如，图16的第三虚拟化身1612)的第二消息，并且响应于接收到第二消息，通过显示器提供表示第四虚拟化身的移动的图形效果。
根据本公开的实施例，在消息应用被执行时，该指令可以使处理器屏蔽存储在存储器中的另一应用的执行或在后台执行其它应用。
如上所述，根据本公开的各种实施例，一种支持AR的AR系统可以包括AR装置(例如，图5的AR装置501)和用户装置(例如，图3的用户装置301)。AR装置可以包括第一显示器(例如，图5的显示器560)和第一通信电路(例如，图5的通信接口540)。用户装置可以包括第二显示器(例如，图3的触摸屏320)、第二通信电路(例如，图3的通信电路350)、可操作地连接到第二显示器和第二通信电路的处理器(例如，图3的控制器330)，以及可操作地连接到处理器的存储器(例如，图3的存储器340)。存储器可以存储与消息应用或联系人应用相关联的至少一个联系人。存储器可以存储指令，指令在被执行时，使该至少一个处理器通过第二通信电路建立与AR装置的连接，检测消息应用被执行，将要通过第一显示器以AR显示的第一GUI(例如，图1中的30)和至少一个虚拟化身(例如，图1中的32、34或36)渲染为三维(3D)图像，以及通过第二通信电路将渲染后的第一GUI和渲染后的至少一个虚拟化身发动到AR装置。该至少一个虚拟化身可以对应于至少一个联系人。
根据本公开的实施例，该指令可以使处理器：将要通过第一显示器以AR显示的第二GUI(例如，图9的第二GUI 920)和第一虚拟化身(例如，图9的第一虚拟化身922)渲染为3D图像，以及通过第二通信电路将渲染后的第二GUI和渲染后的第一虚拟化身发送到AR装置。第二GUI可以表示消息应用的消息线程并且被设置在与第一GUI间隔开的位置处。第一虚拟化身可以被设置在与第二GUI相邻的位置处并且对应于用户账号。
根据本公开的实施例，AR系统还可以包括检测用户手势的至少一个传感器(例如，图5的传感器550)、麦克风(例如，图2的输入模块250或图5的输入/输出接口530)和扬声器(例如，图2的声音输出模块255或图5的输入/输出接口530)。该指令可以使处理器通过该至少一个传感器检测对设置在与第一GUI相邻的位置处的第二虚拟化身(例如，图9的第二虚拟化身911)的第一手势，响应于检测到该第一手势，渲染第二虚拟化身从第一GUI移动到第二GUI的第一图形效果，以及通过第二通信电路将渲染后的第一图形效果发送到AR装置。
根据本公开的实施例，该指令可以使处理器通过以下方式来接收用于输入消息的第一用户输入：通过显示在第二显示器上的虚拟键盘接收文本输入；或通过麦克风获得用户语音。
根据本公开的实施例，该指令可以使处理器将与第一用户输入相对应的消息渲染为要通过第一显示器以AR显示的3D图像，以及通过第二通信电路将渲染后的消息发送到AR装置。
根据本公开的实施例，该指令可以使处理器通过第二通信电路接收第一消息，并通过扬声器输出与第一消息对应的语音或渲染包括第一消息的文本以通过第一显示器以AR进行显示。
根据本公开的实施例，该指令可以使处理器：在消息应用被执行时，屏蔽存储在存储器中的另一应用的执行或在后台执行其它应用。
根据本发明的实施例，该指令可以使处理器：通过该至少一个传感器检测对设置在与第一GUI相邻的位置处的第三虚拟化身的第三手势，响应于检测到第三手势，渲染第三虚拟化身从第一GUI移动到第二GUI的第二图形效果，以及通过第二通信电路将渲染后的第二图形效果发送到AR装置。
根据本公开的实施例，该指令可以使处理器接收用于选择第二虚拟化身和第三虚拟化身中的一者的第二用户输入，通过以下方式选择第二虚拟化身和第三虚拟化身中的一者：通过该至少一个传感器检测用户注视；通过麦克风获得用户语音；或通过该至少一个传感器检测手势。
根据本公开的实施例，所述指令可以使处理器通过第二通信电路接收设置在与第一GUI相邻的位置的第四虚拟化身的第二消息，响应于接收到第二消息，渲染表示第四虚拟化身的移动的第三图形效果，以及通过第二通信电路将渲染后的第三图形效果发送到AR装置。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标记/标号可用来指代相似或相关的元件。与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器236或外部存储器238)中的可由机器(例如，电子装置201)读取的一个或更多个指令的软件(例如，程序240)。例如，在处理器的控制下，所述机器(例如，电子装置201)的处理器(例如，处理器220)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。例如，“非暂时性存储介质”可以包括缓存，缓存中临时存储有数据。
根据本公开的实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品(例如，可下载的APP)中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据本公开的各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据本公开的各种实施例，可省略上述部件或操作中的一个或更多个，或者可添加一个或更多个其它部件或操作。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据本公开的各种实施例，由模块、程序或其它部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行。可选地，该操作中的一个或更多个操作可按照另一种顺序来运行或被省略，或者可添加一个或更多个其它操作。
虽然已经参考本公开的各种实施例来显示和描述了本公开，但本领域技术人员将理解，在不脱离所附权利要求及其等同形式所定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种支持增强现实AR的AR装置，所述AR装置包括：
显示器；
通信电路；
至少一个处理器，所述至少一个处理器可操作地连接到所述显示器和所述通信电路；以及
存储器，所述存储器可操作地连接到所述至少一个处理器，
其中，所述存储器存储有指令，所述指令在被执行时，使所述至少一个处理器：
通过所述通信电路建立与用户装置的连接，所述用户装置存储有联系人应用和消息应用，
检测所述消息应用被执行；以及
以所述AR的方式通过所述显示器显示第一图形用户界面GUI和至少一个虚拟化身，所述至少一个虚拟化身被设置在与所述第一GUI相邻的位置处且对应于与所述联系人应用或所述消息应用相关联的至少一个联系人。
2.根据权利要求1所述的AR装置，其中，所述指令还使所述至少一个处理器：
以所述AR的方式通过所述显示器显示第二GUI和第一虚拟化身，所述第二GUI表示所述消息应用的消息线程并且被设置在与所述第一GUI间隔开的位置处，所述第一虚拟化身被设置在与所述第二GUI相邻的位置处并且对应于用户账号。
3.根据权利要求2所述的AR装置，所述AR装置还包括:
至少一个传感器；
麦克风；以及
扬声器，
其中，所述指令还使所述至少一个处理器：
通过所述至少一个传感器，检测对设置在与所述第一GUI相邻的位置处的第二虚拟化身的第一手势；以及
响应于检测到所述第一手势，通过所述显示器提供所述第二虚拟化身从所述第一GUI移动到所述第二GUI的图形效果。
4.根据权利要求3所述的AR装置，其中，在所述第一虚拟化身和所述第二虚拟化身显示在与所述第二GUI相邻的位置时，所述指令还使所述至少一个处理器：
通过以下方式接收用于输入消息的第一用户输入：通过所述至少一个传感器检测对通过所述显示器显示的虚拟键盘的第二手势；通过所述麦克风获得用户语音；或通过所述通信电路从所述用户装置或者辅助装置接收信息。
5.根据权利要求4所述的AR装置，其中，所述指令还使所述至少一个处理器：
通过所述显示器在所述第一虚拟化身上显示与所述第一用户输入相对应的消息。
6.根据权利要求3所述的AR装置，其中，在所述第一虚拟化身和所述第二虚拟化身显示在与所述第二GUI相邻的位置时，所述指令进一步使得所述至少一个处理器执行以下操作：
通过所述通信电路接收所述第二虚拟化身的第一消息，以及
通过所述扬声器输出与所述第一消息对应的语音或通过所述显示器在所述第二虚拟化身上显示包括所述第一消息的文本。
7.根据权利要求6所述的AR装置，其中，在所述第一虚拟化身和所述第二虚拟化身显示在与所述第二GUI相邻的位置时，所述指令还使所述至少一个处理器：
通过所述至少一个传感器检测所述AR装置的移动；
响应于检测到的移动，确定所述第二GUI是否位于所述显示器的观看区域内；
基于所述第二GUI位于所述观看区域内，通过所述显示器在所述第二虚拟化身上显示与所述第一消息对应的文本；或
基于所述第二GUI没有位于所述观看区域内，通过所述扬声器输出与所述第一消息对应的语音。
8.根据权利要求3所述的AR装置，其中，在所述第一虚拟化身和所述第二虚拟化身显示在与所述第二GUI相邻的位置时，所述指令还使所述至少一个处理器：
通过所述至少一个传感器检测对设置在与所述第一GUI相邻的位置处的第三虚拟化身的第三手势，以及
响应于检测到所述第三手势，提供所述第三虚拟化身从所述第一GUI移动到所述第二GUI的图形效果。
9.根据权利要求8所述的AR装置，其中，在所述第一虚拟化身、所述第二虚拟化身和所述第三虚拟化身显示在与所述第二GUI相邻的位置时，所述指令还使所述至少一个处理器：
接收通过以下方式选择所述第二虚拟化身或所述第三虚拟化身中的一者的第二用户输入：通过所述至少一个传感器检测用户注视；通过所述麦克风获得用户语音；或通过所述至少一个传感器检测手势。
10.根据权利要求3所述的AR装置，其中，在所述第一虚拟化身和所述第二虚拟化身显示在与所述第二GUI相邻的位置时，所述指令还使所述至少一个处理器：
通过所述通信电路接收设置在与所述第一GUI相邻的位置处的第四虚拟化身的第二消息；以及
响应于接收到所述第二消息，通过所述显示器提供表示所述第四虚拟化身的移动的图形效果。
11.根据权利要求9所述的AR装置，其中，所述指令还使所述至少一个处理器：
在所述消息应用被执行时，屏蔽存储在所述存储器中的另一应用的执行或在后台执行其它应用。
12.一种支持增强现实AR的AR系统，所述AR系统包括：
AR装置；以及
用户装置，
其中，所述AR装置包括：
第一显示器，以及
第一通信电路，
其中，所述用户装置包括：
第二显示器，
第二通信电路，
至少一个处理器，所述至少一个处理器可操作地连接到所述第二显示器和所述第二通信电路，以及
存储器，所述存储器可操作地连接到所述至少一个处理器，
其中，所述存储器存储有与消息应用或联系人应用相关联的至少一个联系人，
其中，所述处理器存储有指令，所述指令在被执行时，使所述至少一个处理器：
通过所述第二通信电路建立与所述AR装置的连接，
检测所述消息应用被执行；
将要通过所述第一显示器以所述AR的方式显示的第一图形用户界面GUI和至少一个虚拟化身渲染为三维3D图像，以及
通过所述第二通信电路，向所述AR装置发送渲染后的第一GUI和渲染后的至少一个虚拟化身，以及
其中，所述至少一个虚拟化身与所述至少一个联系人对应。
13.根据权利要求12所述的AR系统，其中，所述指令还使所述至少一个处理器：
将要通过所述第一显示器以所述AR的方式显示的第二GUI和第一虚拟化身渲染为3D图像，以及
通过所述第二通信电路向所述AR装置发送渲染后的第二GUI和渲染后的第一虚拟化身，
其中，所述第二GUI表示所述消息应用的消息线程并且被设置在与所述第一GUI间隔开的位置处，并且
其中，所述第一虚拟化身被设置在与所述第二GUI相邻的位置处并且对应于用户账号。
14.根据权利要求13所述的AR系统，所述AR系统还包括：
至少一个传感器，所述至少一个传感器被配置为检测用户的手势；
麦克风；以及
扬声器；
其中，所述指令还使所述至少一个处理器：
通过所述至少一个传感器检测对设置在与所述第一GUI相邻的位置处的第二虚拟化身的第一手势；
响应于检测到所述第一手势，渲染所述第二虚拟化身从所述第一GUI移动到所述第二GUI的第一图形效果；以及
通过所述第二通信电路向所述AR装置发送渲染后的第一图形效果。
15.根据权利要求14所述的AR系统，其中，所述指令还使所述至少一个处理器：
通过以下方式来接收用于输入消息的第一用户输入：通过显示在所述第二显示器上的虚拟键盘接收文本输入；或通过所述麦克风获得用户语音，
将与所述第一用户输入对应的消息渲染为要通过所述第一显示器以所述AR的方式显示的3D图像；以及
通过所述第二通信电路向所述AR装置发送渲染后的消息。
CN202180027689.5A 2020-04-10 2021-04-06 用于以增强现实进行通信的电子装置及其方法 Pending CN115398879A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063008618P 2020-04-10 2020-04-10
US63/008,618 2020-04-10
KR10-2020-0063058 2020-05-26
KR1020200063058A KR20210127054A (ko) 2020-04-10 2020-05-26 증강 현실에서 커뮤니케이션을 위한 전자 장치 및 그에 관한 방법
PCT/KR2021/004277 WO2021206415A1 (en) 2020-04-10 2021-04-06 Electronic device for communicating in augmented reality and method thereof

Publications (1)

Publication Number Publication Date
CN115398879A true CN115398879A (zh) 2022-11-25

Family

ID=78006554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180027689.5A Pending CN115398879A (zh) 2020-04-10 2021-04-06 用于以增强现实进行通信的电子装置及其方法

Country Status (4)

Country Link
US (1) US11481965B2 (zh)
EP (1) EP4111673A4 (zh)
CN (1) CN115398879A (zh)
WO (1) WO2021206415A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220049907A (ko) * 2020-10-15 2022-04-22 라인플러스 주식회사 위치 기반 아바타 메신저 서비스 제공 방법 및 장치
WO2023196258A1 (en) * 2022-04-04 2023-10-12 Apple Inc. Methods for quick message response and dictation in a three-dimensional environment
US20230342026A1 (en) * 2022-04-26 2023-10-26 Snap Inc. Gesture-based keyboard text entry
US20240095984A1 (en) * 2022-09-16 2024-03-21 Apple Inc. System and method of spatial groups in multi-user communication sessions

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120216149A1 (en) * 2011-02-18 2012-08-23 Samsung Electronics Co., Ltd. Method and mobile apparatus for displaying an augmented reality
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof
US20160357252A1 (en) * 2015-06-04 2016-12-08 Anatolie Gavriliuc Establishing voice communication channel
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对
CN107734189A (zh) * 2017-11-14 2018-02-23 优酷网络技术（北京）有限公司 界面展示方法及装置
US20180308288A1 (en) * 2017-04-20 2018-10-25 Samsung Electronics, Co. Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
CN108762482A (zh) * 2018-04-16 2018-11-06 北京大学 一种大屏幕和增强现实眼镜间数据交互方法和系统
CN109525734A (zh) * 2018-12-29 2019-03-26 未来科技（襄阳）有限公司 终端设备信息在vr/ar设备上的处理方法及系统
CN109964220A (zh) * 2017-09-07 2019-07-02 华为技术有限公司 一种头像显示方法及终端
US20190339840A1 (en) * 2018-05-01 2019-11-07 Samsung Electronics Co., Ltd. Augmented reality device for rendering a list of apps or skills of artificial intelligence system and method of operating the same

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620134B2 (ja) 2009-03-30 2014-11-05 アバイア インク． グラフィカル表示を用いて通信セッションの信頼関係を管理するシステムと方法。
AU2011348122A1 (en) 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
KR102355118B1 (ko) 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
KR20160019279A (ko) 2014-08-11 2016-02-19 엘지전자 주식회사 이동단말기 및 그 제어방법
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
TWI688879B (zh) * 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US20170236330A1 (en) * 2016-02-15 2017-08-17 Julie Maria Seif Novel dual hmd and vr device with novel control methods and software
US20180095635A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180096506A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
EP3529686A4 (en) * 2017-01-13 2019-09-25 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR PROVIDING GUIDANCE IN A VIRTUAL ENVIRONMENT
KR101856940B1 (ko) * 2017-02-20 2018-05-14 주식회사 투윈글로벌 소셜 네트워크 서비스 시스템 및 이를 이용한 소셜 네트워크 서비스 방법
US10838587B2 (en) 2018-01-02 2020-11-17 Microsoft Technology Licensing, Llc Augmented and virtual reality for traversing group messaging constructs
KR20190104821A (ko) 2018-03-02 2019-09-11 주식회사 케이티 아바타 커뮤니케이션을 제공하는 서버, 단말 및 방법
US10861242B2 (en) * 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
US10540797B1 (en) * 2018-08-02 2020-01-21 Disney Enterprises, Inc. Image customization using a persona
KR102508286B1 (ko) 2018-08-27 2023-03-09 삼성전자 주식회사 가상 현실에서 정보를 제공하는 전자 장치 및 방법
US10802579B2 (en) * 2019-02-01 2020-10-13 Facebook Technologies, Llc Artificial reality system having multiple modes of engagement
US11119568B2 (en) * 2019-09-24 2021-09-14 Facebook Technologies, Llc Suspend mode feature for artificial reality systems

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120216149A1 (en) * 2011-02-18 2012-08-23 Samsung Electronics Co., Ltd. Method and mobile apparatus for displaying an augmented reality
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对
US20160357252A1 (en) * 2015-06-04 2016-12-08 Anatolie Gavriliuc Establishing voice communication channel
US20180308288A1 (en) * 2017-04-20 2018-10-25 Samsung Electronics, Co. Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
CN109964220A (zh) * 2017-09-07 2019-07-02 华为技术有限公司 一种头像显示方法及终端
CN107734189A (zh) * 2017-11-14 2018-02-23 优酷网络技术（北京）有限公司 界面展示方法及装置
CN108762482A (zh) * 2018-04-16 2018-11-06 北京大学 一种大屏幕和增强现实眼镜间数据交互方法和系统
US20190339840A1 (en) * 2018-05-01 2019-11-07 Samsung Electronics Co., Ltd. Augmented reality device for rendering a list of apps or skills of artificial intelligence system and method of operating the same
CN109525734A (zh) * 2018-12-29 2019-03-26 未来科技（襄阳）有限公司 终端设备信息在vr/ar设备上的处理方法及系统

Also Published As

Publication number Publication date
EP4111673A1 (en) 2023-01-04
WO2021206415A1 (en) 2021-10-14
US11481965B2 (en) 2022-10-25
EP4111673A4 (en) 2023-08-16
US20210319617A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US11481965B2 (en) Electronic device for communicating in augmented reality and method thereof
KR20210127054A (ko) 증강 현실에서 커뮤니케이션을 위한 전자 장치 및 그에 관한 방법
EP4177832A1 (en) Method for providing capture function and electronic device therefor
US11463486B2 (en) Electronic device and method for providing information in virtual reality
US20230289200A1 (en) Electronic device and multi-window control method of electronic device
US20230019876A1 (en) Electronic device comprising a plurality of touch screen displays and screen division method
US20240045560A1 (en) Method for capturing images for multi windows and electronic device therefor
US20230260177A1 (en) Electronic device and method for providing augmented reality content
US20230360342A1 (en) Method for providing content creation function and electronic device supporting same
US11996021B2 (en) Electronic device including expandable display and content provision method
US11996067B2 (en) Method and apparatus for displaying virtual objects in different brightnesses
KR20220017302A (ko) 전자 장치 및 그의 진동 출력 제어 방법
CN117461017A (zh) 支持多窗口的电子装置及其控制方法
CN116711302A (zh) 以低时延发送多条应用数据的方法和装置
CN116438503A (zh) 电子装置和电子装置的操作方法
US20230196499A1 (en) Electronic device and operating method thereof
US20220129139A1 (en) Electronic device and method for controlling display of a plurality of objects on wearable display device
EP4343516A1 (en) Wearable electronic device on which augmented reality object is displayed, and operating method thereof
US20240062459A1 (en) Electronic device and computer-readable storage medium for providing virtual space
US20230088965A1 (en) Electronic device for synthesizing two-dimensional object with three-dimensional object, operation method of electronic device, and non-transitory storage medium
US20230012919A1 (en) Electronic device and method for video call based on reaction service
US20230403389A1 (en) Electronic device for providing ar/vr environment, and operation method thereof
US20240071021A1 (en) Head-mounted electronic device for converting a screen of an electronic device into extended reality and electronic device connected thereto
US20240094971A1 (en) Wearable device for providing information about an application through an external display and method of controlling the wearable device
US20230412920A1 (en) Method for executing application, and electronic device supporting same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination