CN118215931A - 用于在电子装置和可穿戴电子装置之间提供与增强现实服务相关的内容的方法和装置 - Google Patents
用于在电子装置和可穿戴电子装置之间提供与增强现实服务相关的内容的方法和装置 Download PDFInfo
- Publication number
- CN118215931A CN118215931A CN202280074663.0A CN202280074663A CN118215931A CN 118215931 A CN118215931 A CN 118215931A CN 202280074663 A CN202280074663 A CN 202280074663A CN 118215931 A CN118215931 A CN 118215931A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- content
- display
- screen
- wearable electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000003993 interaction Effects 0.000 claims description 181
- 238000012545 processing Methods 0.000 claims description 121
- 238000004891 communication Methods 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims 1
- 239000011521 glass Substances 0.000 abstract description 75
- 230000000007 visual effect Effects 0.000 description 160
- 230000006870 function Effects 0.000 description 56
- 238000010586 diagram Methods 0.000 description 38
- 230000004044 response Effects 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 29
- 238000013507 mapping Methods 0.000 description 23
- 230000004913 activation Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 101001045744 Sus scrofa Hepatocyte nuclear factor 1-beta Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
各种实施例提供了一种能够在增强现实(AR)中通过使用电子装置和/或眼镜型可穿戴电子装置(例如，AR眼镜)支持各种显示方案的方法和装置。根据各种实施例的用于AR服务的AR提供装置可以包括显示器和处理器。处理器可以通过AR屏幕提供内容。处理器可以在提供内容的同时通过AR屏幕检测指定的外部对象。处理器可以基于指定的外部对象的检测来确定用于提供内容的显示模式。处理器可以基于所确定的显示模式执行控制以通过指定的外部对象的显示器来显示内容。处理器可以基于所确定的显示模式执行控制以在AR屏幕上通过与指定的外部对象相关联的虚拟显示区域显示内容。各种实施例是可能的。
Description
技术领域
本公开的实施例公开了一种能够在增强现实(AR)中使用电子装置和/或眼镜型可穿戴电子装置(例如，AR眼镜)支持各种显示方法的方法和设备。
背景技术
最近，已经进行了对诸如虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)的扩展现实(XR)技术的研究和开发。最近，VR、AR和/或MR技术已经用于各种领域(例如，娱乐活动、娱乐信息节目、智能家居和/或智能工厂)，并且用于其的电子装置的硬件部件和/或软件部件一直在研究和开发中。
例如，可穿戴电子装置可以单独地(例如，独立方法)或与至少两个装置相关联地(例如，系留方法)通过与AR服务相关的应用将各种数字内容(例如，虚拟图像)叠加在真实世界上(或用数字内容覆盖真实世界)，从而通过可穿戴电子装置的显示器提供一个图像。例如，最近，已经实现了诸如系留AR方法和独立AR方法的AR环境，其中，在系留AR方法中，电子装置(例如，智能电话)和可穿戴电子装置被连接以通过可穿戴电子装置的显示器提供由电子装置产生的虚拟内容，在独立AR方法中，可穿戴电子装置在不与电子装置连接的情况下独立地产生虚拟内容并通过显示器提供虚拟内容。
如上所述，与AR服务的最新的技术发展一致，使用AR服务的用户数量正在增加，因此用户需求也在增加。例如，使用AR服务的用户越来越需要在AR环境中更准确和直观地选择和显示内容。
发明内容
技术问题
各种实施例提供了一种方法和设备，其能够使用电子装置和/或可穿戴电子装置支持用于在AR环境中显示虚拟内容并进行装置之间的内容移动的屏幕切换。
各种实施例提供了一种方法和设备，其能够在使用可穿戴电子装置实现AR环境的同时，通过经由电子装置的显示区域和/或虚拟扩展区域提供内容来支持根据AR环境和移动环境的内容操作。
各种实施例提供了一种方法和设备，其能够在通过可穿戴电子装置显示虚拟内容的状态下，通过电子装置和可穿戴电子装置之间的交互确定用于显示虚拟内容的显示模式，并且基于所确定的显示模式通过电子装置和/或可穿戴装置提供虚拟内容。
各种实施例提供了一种方法和设备，其能够在提供AR环境的同时，通过电子装置的显示区域或可穿戴电子装置的AR环境中的电子装置的显示区域和/或基于电子装置的虚拟显示区域来提供内容。
各种实施例提供了一种方法和设备，其能够在提供AR环境的同时，基于实现AR环境的操作实体来确定提供虚拟内容的装置，并将虚拟内容提供为对应于所确定的装置的显示区域。
问题的解决方案
根据本公开的实施例的一种用于增强现实(AR)服务的AR提供装置可以包括显示器和处理器。处理器可以通过AR屏幕提供内容。处理器可以在提供内容的同时通过AR屏幕检测指定的外部对象。处理器可以基于指定的外部对象的检测来确定用于提供内容的显示模式。处理器可以基于所确定的显示模式执行控制以通过指定的外部对象的显示器来显示内容。处理器可以基于所确定的显示模式执行控制以通过AR屏幕上的与指定的外部对象相关联的虚拟显示区域显示内容。
根据本公开的实施例的一种用于增强现实(AR)服务的AR提供装置可以包括显示器和处理器。处理器可以通过显示器显示内容。处理器可以在通过显示器显示内容的同时在AR屏幕上识别与外部对象相对应的外部装置。如果外部装置是指定的外部装置，则处理器可以监视外部装置的状态的变化。处理器可以基于识别出外部装置的状态的变化来确定与内容相关的处理实体。处理器可以基于所确定的处理实体来确定内容的显示模式。处理器可以基于所确定的显示模式执行控制以通过显示器在AR屏幕上显示内容。处理器可以基于所确定的显示模式来控制外部装置通过外部装置的显示器显示内容。
根据本公开的实施例的一种提供增强现实(AR)服务的方法可以包括：通过AR屏幕提供内容，在提供内容的同时通过AR屏幕检测指定的外部对象，基于指定的外部对象的检测来确定用于提供内容的显示模式，以及基于所确定的显示模式，执行控制以通过指定的外部对象的显示器来显示内容，或者执行控制以通过AR屏幕上的与指定的外部对象相关联的虚拟显示区域显示内容。
为了解决上述问题，本公开的各种实施例可以提供一种计算机可读记录介质，所述计算机可读记录介质记录用于在处理器中执行所述方法的程序。
根据以下详细描述，本公开的进一步适用范围将变得显而易见。然而，由于本领域技术人员将清楚地理解本公开的精神和范围内的各种改变和修改，因此应当理解，详细描述和具体实施例，诸如本公开的优选实施方案，仅以示例的方式给出。
发明的有益效果
根据本公开的电子装置及其操作方法，可以使用电子装置和/或可穿戴电子装置更直观地支持用于在AR环境中显示内容(例如，AR内容)并进行装置之间的内容移动的屏幕切换。根据本公开，可以在使用可穿戴电子装置实现AR环境的同时，通过电子装置的显示区域和/或虚拟扩展区域提供内容。根据本公开，可以支持根据AR环境和移动环境的各种内容操作。
根据本公开，可以在通过可穿戴电子装置显示内容的状态下，通过电子装置和可穿戴电子装置之间的交互来确定用于显示虚拟内容的显示模式。根据本公开，可以基于所确定的显示模式通过电子装置和/或可穿戴装置以各种方式提供内容。根据本公开，可以在提供AR环境的同时通过电子装置的显示区域或可穿戴电子装置的AR环境中的电子装置的显示区域和/或基于电子装置的虚拟显示区域以各种方式提供内容。
另外，可以提供通过本文档直接或间接识别的各种效果。
附图说明
结合附图的描述，相同或相似的附图标记可以用于相同或相似的元件。
图1是示出根据各种实施例的网络环境中的电子装置的框图。
图2是示出根据各种实施例的电子装置的示例的图。
图3是示出根据实施例的可穿戴电子装置的示例的图。
图4是示出根据实施例的可穿戴电子装置的内部结构的示例的图。
图5是示出根据实施例的可穿戴电子装置的配置的示例的图。
图6是示出根据实施例的电子装置和可穿戴电子装置之间的网络环境的图。
图7a、图7b、图7c和图7d是示出根据实施例的在电子装置和可穿戴电子装置之间选择性地显示内容的示例的图。
图8是示出根据实施例的操作电子装置或可穿戴电子装置的方法的流程图。
图9是示出用于触发本公开的操作的指定交互的示例的图。
图10是示出根据实施例的操作电子装置或可穿戴电子装置的方法的流程图。
图11a至图11f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
图12a至图12f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
图13a、图13b和图13c是示出根据实施例的配置通过AR屏幕提供的与电子装置相关联的活动窗口的示例的图。
图14a至图14f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
图15a至图15f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
图16是示出根据实施例的电子装置和可穿戴电子装置之间的操作方法的图。
图17是示出根据实施例的电子装置和可穿戴电子装置之间的操作方法的图。
图18a、图18b和图18c是示出根据实施例的在电子装置与可穿戴电子装置之间操作显示模式的示例的图。
图19a和图19b是示出根据实施例的在电子装置与可穿戴电子装置之间操作显示模式的示例的图。
图20a、图20b和图20c是示出根据实施例的操作电子装置与可穿戴电子装置之间的内容镜像和交互的示例的图。
图21a、图21b和图21c是示出根据实施例的在电子装置与可穿戴电子装置之间共享内容的操作的示例的图。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的部件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2是示出根据各种实施例的电子装置的示例的图。
根据实施例，图2可以示出依据显示器类型的电子装置101的各种形状规格的示例。根据实施例，电子装置101可以包括各种形状规格，诸如条型或板型210、可折叠型220、230或240、可滚动型250和/或可滑动型260。根据实施例，电子装置101可以以各种形式实现，并且可以根据电子装置101的实现形式以各种方式提供显示器(例如，图1中的显示模块160)。
尽管在本公开中已经示出了根据实施例的电子装置101具有条型或板型外观，但是本公开不限于此。例如，所示电子装置101可以是可折叠电子装置220、230或240、可滚动电子装置250或可滑动电子装置260的一部分。
根据实施例，可折叠电子装置220、230或240可以指示这样的电子装置，其中，在该电子装置中，显示器(例如，图1中的显示模块160)的两个不同区域能够折叠以基本上彼此面对或面向相反方向。通常，可折叠电子装置220、230或240在被携带时可以处于显示器的两个不同区域被折叠成彼此面对或在相反方向上的状态，并且当它被使用时，用户可以展开显示器(例如，图1中的显示模块160)，使得两个不同区域形成基本平坦的形状。
根据实施例，可折叠电子装置220、230或240可以包括：包含基于一个折叠轴的两个显示表面(例如，第一显示表面和第二显示表面)的形状规格(例如，220或230)、和包含基于至少两个折叠轴的至少三个显示表面(例如，第一显示表面、第二显示表面和第三显示表面)的形状规格(例如，240)。各种实施例不限于此，并且这仅仅是示例性的，并且设置在电子装置101中的折叠轴的数量不限于此。
根据实施例，可折叠电子装置220、230或240的显示器(例如，图1中的显示模块160)可以根据其实现形式以各种方式(例如，向内折叠、向外折叠或向内/向外折叠)被折叠或展开。根据实施例，可折叠电子装置220、230或240可以包括各种可折叠类型，诸如垂直可折叠类型、水平可折叠类型、G可折叠类型或Z可折叠类型。
根据实施例，可滑动电子装置260或可滚动电子装置250可以指示这样的电子装置，其中，在该电子装置中，显示器(例如，图1中的显示模块160)可变形以被弯曲使得其至少一部分被卷绕或卷起，或者显示器被容纳在壳体(未示出)内。根据用户的需要，可滑动电子装置260或可滚动电子装置250可以与通过展开(例如，滑出)显示器(例如，图1中的显示模块160)或将显示器的更大区域暴露于外部而扩展的屏幕显示区域一起使用。
根据实施例，可滚动电子装置250可以包括包含卷起型显示器(例如，可滚动显示器)的形状规格。根据实施例，可滑动电子装置260或可滚动电子装置250可以具有根据用户展开显示器(例如，图1中的显示模块160)的程度而暴露于外部的显示器的区域。
图3是示出根据实施例的可穿戴电子装置的示例的图。
根据实施例，尽管在图3中示出了眼镜形式的可穿戴电子装置301(例如，眼镜型显示装置或增强现实(AR)眼镜)，但是本公开不限于此。例如，可穿戴电子装置301可以包括各种类型的装置，其包括显示器并且被穿戴(或安装)在用户身体的一部分(例如，面部或头部)上以提供增强现实(AR)、混合现实(MR)和/或虚拟现实(VR)服务。例如，可穿戴电子装置301可以以眼镜、护目镜、头盔或帽子中的至少一种的形式实现，但不限于此。下面描述的可穿戴电子装置301可以是包括上面参考图1描述的电子装置101中包括的至少一些元件的装置。尽管在以下描述中未提及，但是根据本公开的可穿戴电子装置301可以被解释为包括参考图1描述的各种元件。
根据实施例，可穿戴电子装置301可以佩戴在用户的面部上以向用户提供图像(例如，增强现实图像、混合现实图像和/或虚拟现实图像)。根据实施例，可穿戴电子装置301可以提供AR服务，其中，在AR服务中，虚拟信息(或虚拟对象)被添加到真实空间(或环境)的至少一部分。例如，可穿戴电子装置301可以向用户提供覆盖在与佩戴者的视场(FOV)相对应的真实空间上的虚拟信息。
参照图3，可穿戴电子装置301可以包括设置在与用户的双眼(例如，左眼和右眼)相对应的位置处的眼镜构件(或窗口构件)310、用于固定眼镜构件310的主框架(或主体部分)340、连接在主框架340的两端以被安装在用户的耳朵上的支撑框架(或支撑构件)350以及相机模块380(例如，拍摄相机)。
根据实施例，眼镜构件310可以包括与用户的左眼相对应的第一眼镜320和与用户的右眼相对应的第二眼镜330。根据实施例，眼镜构件310可以被主框架340支撑。例如，眼镜构件310可以适配到形成在主框架340中的开口中。根据实施例，从显示模块(例如，图5中的显示模块520)发出的AR图像可以被投影到眼镜构件310上。
根据实施例，波导或透明波导可以形成在眼镜构件310的至少一部分中。在实施例中，波导可以用于将从显示模块发出的AR图像引导到用户的眼睛。将参考与图4中的第一眼镜320和第二眼镜330相关的描述来详细描述波导。
根据实施例，尽管眼镜构件310被实现为使得第一眼镜320和第二眼镜330被分离以分别对应于用户的左眼和右眼，如图3所示，但是根据实施例，眼镜构件310可以以一个眼镜的形式实现，而不是将第一眼镜320和第二眼镜330分离开。
根据实施例，主框架340和支撑框架350可以以眼镜的形式实现。
在实施例中，主框架340可以具有能够至少部分地安装在用户鼻子上的结构。根据实施例，主框架340可以支撑眼镜构件310。根据实施例，主框架340可以由合成树脂材料形成。根据实施例，眼镜构件310适配到形成在主框架340中的开口中，使得主框架340可以支撑眼镜构件310。
在实施例中，支撑框架350可以包括安装在第一方向上的耳朵(例如，左耳)上的第一支撑框架360和安装在第二方向上的耳朵(例如，右耳)上的第二支撑框架370。例如，主框架340和支撑框架350(例如，第一支撑框架360和第二支撑框架370)可以通过铰链(未示出)耦接以被折叠。
在实施例中，支撑框架350可以可旋转地耦接到主框架340。根据实施例，支撑框架350可以包括第一支撑框架360和第二支撑框架370。当从方向‘A’观察时，第一支撑框架360可以在主框架340的左侧(例如，第一方向)耦接到主框架340。当从方向‘A’观察时，第二支撑框架370可以在主框架340的右侧(例如，第二方向)耦接到主框架340。
在实施例中，支撑框架350可以固定到主框架340。例如，耦接到主框架340的左侧的第一支撑框架360和耦接到主框架340的右侧的第二支撑框架370可以彼此耦接。根据实施例，耦接到主框架340的两侧的支撑框架350可以形成环形形状，以被佩戴为适配用户的头部。另外，支撑框架350可以被修改为可穿戴电子装置301能够佩戴在用户面部上的各种形状。
根据实施例，支撑框架350可以形成为由用户的耳朵支撑。例如，可穿戴电子装置301可以以耦接到主框架340的支撑框架350被用户的耳朵支撑这样的方式佩戴在用户的面部上。根据实施例，支撑框架350可以相对于主框架340旋转。根据实施例，支撑框架350可以旋转以接近主框架340，从而减小可穿戴电子装置301的体积。
根据实施例，显示模块(例如，图5中的显示模块520)可以输出由电子装置101的处理器120或可穿戴电子装置301的处理器(例如，图5中的处理器590)产生的AR图像。当显示模块产生AR图像并将其投影到眼镜构件310上时，AR图像中包括的对象可以与通过眼镜构件310从前方(例如，用户观看的方向)入射的可见光L组合，从而实现AR。显示模块可以是非常小的投影仪(例如，微型投影仪或微微型投影仪)。例如，显示模块可以是激光扫描显示器(LSD)、数字微镜显示器(DMD)和/或硅上液晶(LCoS)。根据实施例，显示模块可以是透明显示器。在这种情况下，显示模块中包括的发光装置可以直接设置在眼镜构件310上。另外，显示模块可以是用于实现AR的各种显示装置。
在实施例中，可以提供一对眼镜构件310、一对支撑框架350和/或一对显示模块(例如，图5中的显示模块520)以对应于用户的左眼和右眼。例如，眼镜构件310可以包括第一眼镜320和第二眼镜330，并且支撑框架350可以包括第一支撑框架360和第二支撑框架370。根据实施例，上述元件中的至少一些元件在与左眼相对应的配置和与右眼相对应的配置之间可以是不同的。
根据实施例，相机模块380可以包括例如拍摄相机(例如，前置拍摄相机)。例如，相机模块380可以被实现为设置在主框架340中，以便拍摄可穿戴电子装置301的前方(或用户观看的前方)的被摄体。例如，相机模块380可以设置在主框架340中的第一眼镜320和第二眼镜330之间的中心部分(或中心点)，以拍摄主框架340的前方。在实施例中，主框架340的前方可以指示佩戴可穿戴电子装置301的用户观看的方向。在实施例中，除了相机模块380之外，可穿戴电子装置301还可以包括多个其他相机，并且将参考图4详细描述相机模块380和多个其他相机。
图4是示出根据实施例的可穿戴电子装置的内部结构的示例的图。
根据实施例，可穿戴电子装置301可以是以佩戴在用户的面部或头部上的形式实现的装置。根据实施例，可穿戴电子装置301可以包括分别与用户的双眼(例如，左眼和右眼)相对应的多个眼镜(例如，第一眼镜320和第二眼镜330)，并且可以以眼镜的形式实现。根据实施例，可穿戴电子装置301可以向用户提供与AR服务相关的图像。根据实施例，可穿戴电子装置301可以将虚拟对象投影或显示到第一眼镜320和/或第二眼镜330上，使得用户可以观看通过可穿戴电子装置301的第一眼镜320和/或第二眼镜330识别的其上叠加有至少一个虚拟对象的真实世界。
参照图4，根据实施例的可穿戴电子装置301可以包括主框架(或主体部分)340、支撑框架(例如，第一支撑框架360和第二支撑框架370)和铰链(例如，第一铰链440-1和第二铰链440-2)。
根据实施例，主框架340和支撑框架(例如，第一支撑框架360和/或第二支撑框架370)可以安装有可穿戴电子装置301的各种元件。根据实施例，主框架340以及支撑框架360和370可以通过铰链440-1和440-2可操作地耦接。
根据实施例，主框架340可以包括形成为至少部分地支撑在用户鼻子上的部分。
根据实施例，支撑框架360和370可以包括具有能够被支撑在用户的耳朵上的形状的支撑构件。根据实施例，支撑框架360和370可以包括支撑在用户的左耳上的第一支撑框架360和支撑在用户的右耳上的第二支撑框架370。
根据实施例，第一铰链440-1可以连接第一支撑框架360和主框架340，使得第一支撑框架360相对于主框架340可旋转。根据实施例，第二铰链440-2可以连接第二支撑框架370和主框架340，使得第二支撑框架370相对于主框架340可旋转。根据另一实施例，可以省略可穿戴电子装置301的铰链440-1和440-2。例如，支撑框架360和370可以直接耦接到主框架340以被固定。
根据实施例，主框架340可以包括与用户的双眼(例如，左眼和右眼)相对应的眼镜(例如，第一眼镜320和第二眼镜330)、显示模块(例如，第一显示模块414-1和第二显示模块414-2)、波导(例如，第一波导420和第二波导430)、相机模块380(例如，拍摄相机或前置拍摄相机)、识别相机(例如，第一识别相机411-1和第二识别相机411-2)、眼睛跟踪相机(例如，第一眼睛跟踪相机412-1和第二眼睛跟踪相机412-2)、一个或多个麦克风(例如，第一麦克风441-1、第二麦克风441-2和/或第三麦克风441-3)以及一个或多个照明构件(例如，第一照明构件442-1和/或第二照明构件442-2)。
根据实施例，可穿戴电子装置301可以通过将由显示模块414-1和414-2产生的光投射到眼镜320和330上来显示各种信息。例如，由第一显示模块414-1产生的光可以被投射到第一眼镜320上，并且由第二显示模块414-2产生的光可以被投射到第二眼镜330上。根据实施例，第一眼镜320和第二眼镜330的至少一部分可以由透明材料(例如，透明构件)形成。
根据实施例，与用户的左眼相对应的第一眼镜320(或第一透明构件)可以耦接到第一显示模块414-1，并且与用户的右眼相对应的第二眼镜330(或第二透明构件)可以耦接到第二显示模块414-2。根据实施例，第一眼镜320和第二眼镜330可以由玻璃板、塑料板和/或聚合物形成，并且可以制成透明或半透明的。
根据实施例，显示模块(例如，第一显示模块414-1和第二显示模块414-2)可以包括液晶显示器(LCD)、数字微镜装置(DMD)、硅上液晶(LCoS)、有机发光二极管(OLED)或微型发光二极管(微型LED)。
根据实施例，第一眼镜320和第二眼镜330可以包括会聚透镜和/或波导(或透明波导)(例如，第一波导420和第二波导430)。根据实施例，波导420、430可以至少部分地定位在眼镜320和330的一部分中。第一波导420可以部分地定位在第一眼镜320上。第二波导430可以部分地定位在第二眼镜330上。
根据实施例，波导420和430可以用于将由显示模块414-1和414-2产生的光传输到用户的眼睛。根据实施例，从显示模块414-1和414-2发射的光可以入射在眼镜320和330的一个表面(或一端)上。入射在眼镜320和330的一个表面上的光可以通过形成(或定位)在眼镜320和330中的波导420和430传输给用户。
在实施例中，波导420和430可以由玻璃、塑料或聚合物制成，并且可以包括形成在其内部或外部的一个表面上的纳米图案。纳米图案可以包括多边形或弯曲光栅结构。根据实施例，入射在眼镜320和330的一个表面上的光可以被波导420和430内的纳米图案透射或反射，以传输给用户。根据实施例，波导420和430可以包括至少一个衍射元件(例如，衍射光学元件(DOE)或全息光学元件(HOE))或反射元件(例如，反射镜)中的至少一个。根据实施例，波导420和430可以使用至少一个衍射元件或反射元件将从显示模块414-1和414-2(例如，光源)发射的光引导到用户的眼睛。
在实施例中，衍射元件可以包括输入光学构件/输出光学构件(未示出)。输入光学构件可以指示输入光栅区域，并且输出光学构件(未示出)可以指示输出光栅区域。输入光栅区域可用作输入端，其衍射(或反射)从显示模块414-1和414-2(例如，微LED)输出的光以将其透射到眼镜(例如，第一眼镜320和第二眼镜330)。输出光栅区域可以用作出口，其将波导420和430的透射到眼镜(例如，第一眼镜320和第二眼镜330)的光衍射(或反射)到用户的眼睛。
在实施例中，反射元件可以包括用于全内反射(TIR)的全反射光学元件或全反射波导。全内反射是引导光的一种方式，其中，在该方式中，入射角被形成，使得通过输入光栅区域输入的光(例如，虚拟图像)被波导420和430的一个表面(例如，指定表面)反射约100％，从而将约100％的光透射到输出光栅区域。
根据实施例，从显示模块(例如，414-1和414-2)发射的光可以通过输入光学构件被引导到波导420和430。在波导420和430内行进的光可以通过输出光学构件被引导到用户的眼睛。
根据实施例，显示模块414-1和414-2可以包括多个面板(或显示区域)，并且多个面板可以定位在眼镜320和330上。根据实施例，显示模块414-1和414-2的至少一部分可以由透明元件形成。根据实施例，用户可以通过显示模块414-1和414-2识别显示模块414-1和414-2后面的实际空间。根据实施例，显示模块414-1和414-2可以在透明元件的至少一部分中显示虚拟对象(或虚拟信息)，使得在用户看来虚拟对象被添加到真实空间的至少一部分。根据实施例，如果显示模块414-1和414-2是透明微LED，则可以从眼镜320和330中省略波导420和430的配置。
根据实施例，可穿戴电子装置301可以包括多个相机(例如，第一相机、第二相机和第三相机)。例如，第一相机(例如，图3中的相机模块380)可以是用于拍摄与用户的视场(FoV)相对应的图像和/或测量到对象的距离的拍摄相机380(例如，RGB相机)。第二相机可以是用于识别用户注视方向的眼睛跟踪相机(眼睛跟踪相机模块)412-1或412-2。第三相机可以是用于识别特定空间的识别相机(手势相机模块)411-1或411-2。
根据实施例，拍摄相机380可以拍摄可穿戴电子装置301的前方方向，并且眼睛跟踪相机412-1和412-2可以拍摄与拍摄相机380的拍摄方向相反的方向。例如，第一眼睛跟踪相机412-1可以部分地拍摄用户的左眼，并且第二眼睛跟踪相机412-2可以部分地拍摄用户的右眼。根据实施例，可穿戴电子装置301可以基于通过拍摄相机380获得的与真实空间相关的图像信息来显示与AR服务相关的虚拟对象(或虚拟信息)。
根据实施例，可穿戴电子装置301可以基于被设置为与用户的双眼相对应的显示模块(例如，与左眼相对应的第一显示模块414-1和/或与右眼相对应的第二显示模块414-2)来显示虚拟对象。根据实施例，可穿戴电子装置301可以基于预定配置信息(例如，分辨率、帧速率、亮度和/或显示区域)来显示虚拟对象。
根据实施例，拍摄相机380可以包括高分辨率相机，诸如高分辨率(HR)相机和/或照片视频(PV)相机。例如，拍摄相机380可以利用自动聚焦功能和光学图像稳定器(OIS)功能来获得高质量图像。除了彩色相机之外，拍摄相机380还可以被实现为全局快门(GS)相机和滚动快门(RS)相机。
根据实施例，眼睛跟踪相机412-1和412-2可以检测用户的注视方向(例如，眼睛移动)。例如，眼睛跟踪相机412-1和412-2可以检测用户的瞳孔并跟踪注视方向。在实施例中，跟踪的注视方向可以用于响应于注视方向而移动包括虚拟对象的虚拟图像的中心。例如，眼睛跟踪相机412-1和412-2可以使用全局快门(GS)相机来在没有屏幕拖动的情况下检测瞳孔并跟踪快速瞳孔移动，并且眼睛跟踪相机412-1和412-2之间的性能和规格可以基本上相同。
根据实施例，识别相机411-1和411-2可以检测预定距离(例如，预定空间)和/或预定空间内的用户手势。根据实施例，识别相机411-1和411-2可以用于3DoF或6DoF头部跟踪、手部检测和/或手部跟踪。例如，识别相机411-1和411-2可以用于通过深度成像来执行6DoF的空间识别以及同时定位和映射(SLAM)功能。根据实施例，识别相机411-1和411-2可以用于识别用户手势的手势识别功能。识别相机411-1和411-2可以包括包含GS的相机。例如，识别相机411-1和411-2可以包括包含GS的相机，其像RS(滚动快门)相机一样具有较少的屏幕拖影(或减少的RS现象)，以检测和跟踪快速的手部移动和/或精细的手指移动。
根据实施例，可穿戴电子装置301可以使用至少一个相机411-1、411-2、412-1、412-2或380检测与用户的左眼和/或右眼中的主眼和/或辅眼相对应的眼睛。例如，可穿戴电子装置301可以基于用户对外部对象或虚拟对象的注视方向来检测与主眼和/或辅眼相对应的眼睛。
包括在图4所示的可穿戴电子装置301中的一个或多个相机(例如，拍摄相机380、眼睛跟踪相机412-1和412-2和/或识别相机411-1和411-2)可以不限于特定的数量和位置。例如，基于可穿戴电子装置301的形式(例如，形状或尺寸)，可以以各种方式改变一个或多个相机(例如，拍摄相机380、眼睛跟踪相机412-1和412-2和/或识别相机411-1和411-2)的数量和位置。
根据实施例，可穿戴电子装置301可以包括用于提高一个或多个相机(例如，拍摄相机380、眼睛跟踪相机412-1和412-2和/或识别相机411-1和411-2)的精度的一个或多个照明构件(或照明LED)(例如，第一照明构件442-1和第二照明构件442-2)。例如，第一照明构件442-1可以设置在与用户左眼相对应的部分中，并且第二照明构件442-2可以设置在与用户右眼相对应的部分中。
根据实施例，照明构件442-1和442-2可以根据它们附接到可穿戴电子装置301的位置而用于不同的目的。在实施例中，照明构件442-1和442-2可以用作用于在用眼睛跟踪相机412-1和412-2拍摄用户的瞳孔时提高精度(例如，易于检测眼睛注视)的辅助工具，并且可以包括产生红外波长的光的IR LED。在实施例中，如果在使用识别相机411-1和411-2拍摄用户手势时由于黑暗环境或各种光源和反射光的混合而不容易检测要拍摄的被摄体，则照明构件442-1和442-2可以用作补充环境亮度的辅助工具。
根据实施例，可穿戴电子装置301可以包括用于接收用户的语音和环境声音的麦克风(例如，第一麦克风441-1、第二麦克风441-2和第三麦克风441-3)。
根据实施例，第一支撑框架360(或第一壳体)和/或第二支撑框架370(第二壳体)可以包括印刷电路板(PCB)(例如，第一印刷电路板431-1和第二印刷电路板431-2)、用于输出音频信号的扬声器(例如，第一扬声器432-1和第二扬声器432-2)、电池(例如，第一电池433-1和第二电池433-2)和/或铰链(例如，第一铰链440-1和第二铰链440-2)。
根据实施例，印刷电路板431-1和431-2可以包括柔性板(例如，FPCB或柔性PCB)。印刷电路板431-1和431-2可以将电信号发送到可穿戴电子装置301的相应元件(例如，相机、显示模块、麦克风和/或扬声器)。
根据实施例，扬声器432-1和432-2可以包括用于将音频信号发送到用户的左耳的第一扬声器432-1和用于将音频信号发送到用户的右耳的第二扬声器432-2。
根据实施例，电池433-1和433-2可以通过电力管理模块(例如，图1中的电力管理模块188)向印刷电路板431-1和431-2提供电力。根据实施例，可穿戴电子装置301可以通过第一支撑框架360和第二支撑框架370包括多个电池433-1和433-2，并且通过电力管理模块向印刷电路板431-1和431-2提供电力。例如，多个电池433-1和433-2可以电连接到电力管理模块。
尽管未示出，但是图3和图4所示的可穿戴电子装置301可以被容纳在指定的外部装置(例如，箱体)(未示出)中。根据实施例，箱体可以包括简单地对可穿戴电子装置301进行存储和充电的功能。根据实施例，除了可穿戴电子装置301的充电和存储之外，箱体还可以包括诸如相机和/或处理器的元件，并且还可以使用上述元件用作可穿戴电子装置301的辅助运算装置。例如，当可穿戴电子装置301被容纳在箱体内时，可穿戴电子装置301可以与箱体通信(例如，有线通信和/或无线通信)，并且箱体可以执行主机装置(例如，智能电话)的一些功能。
根据实施例，可穿戴电子装置301可以单独地或与至少一个其他电子装置(例如，主机装置(例如，电子装置101))相关联地提供AR服务。例如，可穿戴电子装置301可以连接到主机装置(例如，电子装置101)，以按照通过主机装置连接到网络(例如，云)的系留AR方法进行操作，从而提供AR服务。根据实施例，可穿戴电子装置301可以进行操作以在不与主机装置(例如，电子装置101)连接的情况下按照独立方式连接到网络(例如，云)，从而提供AR服务。
图5是示出根据实施例的可穿戴电子装置的配置的示例的图。
在实施例中，图5可以示出根据实施例的电子装置301中的与支持AR服务相关联的配置的示例。根据实施例，图5所示的可穿戴电子装置301可以包括参考图3至图4描述的可穿戴电子装置301的元件。
参照图5，可穿戴电子装置301可以包括眼镜510、显示模块520、传感器模块530、通信模块540、存储器550、音频模块560、相机模块570、电池580和处理器590。根据实施例，可穿戴电子装置301中包括的元件可以被理解为例如硬件模块(例如，电路)。
眼镜510(例如，图3和图4中的第一眼镜320和/或第二眼镜330)可以包括会聚透镜和/或透明波导(例如，图4中的第一波导420和第二波导430)。例如，透明波导可以至少部分地定位在眼镜510的一部分中。根据实施例，从显示模块520发射的光可以入射在眼镜510的一端上，并且入射光可以通过形成在眼镜510内部的波导传输给用户。波导可以由玻璃或聚合物制成，并且包括形成在其内部或外部的一个表面上的纳米图案，例如多边形或弯曲光栅结构。
显示模块520可以包括多个面板(或显示区域)，并且多个面板可以定位在眼镜510上。根据实施例，显示模块520的至少一部分可以由透明元件形成，并且用户可以通过显示模块520识别显示模块520后面的真实空间。根据实施例，显示模块520可以在透明元件的至少一部分上显示虚拟对象(或虚拟信息)，使得在用户看来虚拟对象被添加到真实空间的至少一部分。
传感器模块530可以包括接近传感器531、照度传感器532和/或陀螺仪传感器533。
接近传感器531可以检测接近可穿戴电子装置301的对象。
照度传感器532可以测量可穿戴电子装置301周围的亮度。根据实施例，处理器590可以使用照度传感器532识别可穿戴电子装置301周围的亮度，并且基于亮度来改变显示模块520的亮度相关配置信息。例如，如果周围亮度大于预定值，则处理器590可以将显示模块520的亮度配置为更高以提高用户的可视性。
陀螺仪传感器533可检测可穿戴电子装置301的姿势和位置。例如，陀螺仪传感器533可以检测可穿戴电子装置301是否适当地佩戴在用户的头部上。作为另一示例，陀螺仪传感器533可检测可穿戴电子装置301或佩戴可穿戴电子装置301的用户的移动。
通信模块540可以对应于图1中所示的无线通信模块192。根据实施例，可穿戴电子装置301可以使用通信模块540通过网络与外部装置(例如，图1中的服务器201和/或其他电子装置101、102和104)执行无线通信。例如，可穿戴电子装置301可以与电子装置101执行无线通信并且彼此交换指令和/或数据。
根据实施例，可穿戴电子装置301可以通过通信模块540至少部分地由外部装置(例如，电子装置101)控制。例如，可穿戴电子装置301可以在另一外部电子装置的控制下执行至少一个功能。
根据实施例，可穿戴电子装置301可以通过通信模块540向外部装置(例如，图1中的服务器201和/或其他电子装置101、102和104)发送通过相机模块570获得的关于位于真实空间中的对象(例如，图像)的信息、关于到对象的距离的信息、用户注视信息和/或用户手势信息。
根据实施例，通信模块540可以包括天线模块545。例如，通信模块540可以支持用于确保指定频带中的性能的各种技术(例如，波束成形、多输入多输出(MIMO)和/或阵列天线)。根据实施例，天线模块545可以向外部(例如，可穿戴电子装置301的外围装置和/或服务器)发送信号或电力或从外部(例如，可穿戴电子装置301的外围装置和/或服务器)接收信号或电力。根据实施例，天线模块545可以包括多个天线(例如，阵列天线)。根据实施例，可以通过天线模块545在通信模块540与外部之间发送或接收信号或电力。
存储器550可以对应于参考图1描述的存储器130。根据实施例，当可穿戴电子装置301提供AR服务时，存储器550可以存储由可穿戴电子装置301使用的各种数据。数据可以包括例如用于软件(例如，图1中的程序140)的输入数据或输出数据以及与其相关的命令。存储器550可以存储在被执行时使处理器590进行操作的指令。指令可以作为软件存储在存储器550中，并且可以由处理器590执行。
音频模块560可以基于处理器590的控制将声音转换为电信号或将电信号转换为声音。
相机模块570可以对应于参考图3至图4描述的至少一个相机。根据实施例，相机模块570可以包括如图4所示的多个相机(例如，拍摄相机380、识别相机411-1和411-2以及眼睛跟踪相机412-1和412-2)。
电池580可以向可穿戴电子装置301的至少一个元件供电。电池580可以包括参考图4描述的多个电池。例如，电池580可以包括用于在第一支撑框架360中供电的第一电池和用于在第二支撑框架370中供电的第二电池。
处理器590可以执行存储在存储器550中的程序(例如，图1中的程序140)以控制至少一个其他元件(例如，硬件或软件元件)，并执行各种数据处理或计算。处理器120可以单独基于可穿戴电子装置301或与电子装置101结合地进行操作以向用户提供AR服务。处理器120可以通过显示模块520显示要观看的至少一个虚拟对象，使得至少一个虚拟对象(或虚拟信息)被添加到与佩戴可穿戴电子装置301的用户的注视(例如，FOV或视角(AOV))相对应的真实空间。
根据实施例，处理器590可以对应于参考图1描述的处理器120。根据实施例，处理器590可以执行应用(例如，AR应用)以在AR屏幕上控制通过数据通信链路连接到可穿戴电子装置301的外围装置，并且执行与AR服务相关的各种数据处理和计算。根据实施例，作为数据处理或计算中的至少一些，处理器590可以将通过通信模块540接收的数据存储在存储器550中，处理存储在存储器550中的数据，将结果数据存储在存储器550中，和/或将结果数据发送到外围装置(例如，电子装置101)。根据实施例，处理器590可以控制显示模块520将各种数字内容(例如，AR图像)叠加在通过显示模块520提供的真实世界上，从而显示单个图像(例如，AR屏幕)。
根据实施例，处理器590可以被包括在可穿戴电子装置301的第一支撑框架360和第二支撑框架370中的任何一个中以进行操作。根据实施例，处理器590可以包括分别在可穿戴电子装置301的第一支撑框架360和第二支撑框架370中的第一处理器(例如，主处理器)和第二处理器(例如，协处理器)，并且包括与第一处理器和第二处理器同步操作的双系统结构。
图6是示出根据实施例的电子装置和可穿戴电子装置之间的网络环境的图。
参照图6，根据实施例的电子装置101可以耦接到可穿戴电子装置301。电子装置101和可穿戴电子装置301可以通过有线或无线通信连接(例如，配对)。例如，电子装置101可以通过诸如蓝牙、蓝牙低功耗、Wi-Fi、Wi-Fi直连或超宽带(UWB)的短距离无线通信600与可穿戴电子装置301连接。
根据实施例，电子装置101可以包括智能电话、平板个人计算机(PC)、笔记本和/或显示装置(例如，监视器或TV)。根据实施例，可穿戴电子装置301可以包括AR眼镜、智能眼镜或头戴式显示器(HMD)。
可穿戴电子装置301可以直接产生与AR服务相关的数据(例如，AR图像)(例如，基于存储或处理的数据产生与AR服务相关的数据)或者从外部(例如，电子装置101或服务器(例如，图1中的服务器108))获得该数据，从而通过显示模块520显示该数据。例如，可穿戴电子装置301可以穿戴在用户的身体(例如，面部)上，并且将各种数字内容(例如，AR图像)叠加在真实世界上，以通过显示模块520显示单个图像(例如，AR屏幕)。根据实施例，可穿戴电子装置301可以从电子装置101接收图像数据(例如，AR图像)，并通过显示模块520将接收到的图像数据与真实世界中的各种对象一起显示。
根据实施例，当与电子装置101连接进行通信时，可穿戴电子装置301可以周期性地将关于由可穿戴电子装置301的相机模块570捕获的图像的信息和用户的注视信息(例如，FOV和/或AOV)发送到电子装置101，和/或如果存在可穿戴电子装置301的状态的变化(例如，位置或方向的变化)，则可穿戴电子装置301可以将其发送到电子装置101。根据实施例，可穿戴电子装置301在与电子装置101连接时可以向电子装置101提供(例如，发送)至少一条信息，诸如，图像信息、注视信息、装置信息、感测信息、功能信息和/或位置信息。
根据实施例，当提供AR服务时，电子装置101或可穿戴电子装置301可以在AR屏幕上检测(或识别)与触发本公开的操作相关的指定交互，并且响应于检测到指定交互而确定要显示内容的显示模式。根据实施例，电子装置101或可穿戴电子装置301可基于所确定的显示模式(例如，第一显示模式或第二显示模式)进行操作以通过电子装置101的显示模块160显示内容(例如，第一显示模式)或通过可穿戴电子装置301的显示模块520在AR屏幕上显示内容(例如，第二显示模式)。将参考稍后将描述的附图详细描述根据本公开的基于指定交互的检测的显示模式的不同操作。
图7a、图7b、图7c和图7d是示出根据实施例的在电子装置和可穿戴电子装置之间选择性地显示内容的示例的图。
在实施例中，图7a可以示出佩戴可穿戴电子装置301的用户观看通过可穿戴电子装置301的显示模块520提供的AR屏幕的状态。例如，图7a可以示出用户通过可穿戴电子装置301的AR屏幕观看叠加在真实空间700(或环境)的至少一部分上的内容710(或增强现实图像)(例如，第一虚拟信息711和第二虚拟信息713)的状态。根据实施例，图7b可以示出处于图7a的状态的用户将电子装置101移动到用户的视场(FOV)701中使得电子装置101被显示为与内容710重叠的状态。根据实施例，图7c可以示出如果内容710的处理实体是电子装置101，则以第一显示模式来显示内容710的示例。根据实施例，图7d可以示出如果内容710的处理实体是可穿戴电子装置301，则以第二显示模式来显示内容710的示例。在实施例中，内容710(或增强现实图像)可以是与至少一个应用相对应的图形数据，其作为虚拟对象被提供给穿戴可穿戴电子装置301的用户所位于的真实空间700。
参照图7a，可穿戴电子装置301可以处于被用户佩戴并且通过可穿戴电子装置301的显示模块520在真实空间700的至少一部分上显示一条或多条内容710(或内容相关的虚拟信息)的状态。例如，可穿戴电子装置301可以在与用户的视场701相对应的真实空间700中叠加至少一条虚拟信息，从而将其提供给用户。
在实施例中，显示内容710的情况可以包括用户对真实空间700中的真实对象执行手势输入和/或眼睛注视的情况。在实施例中，显示内容710的情况可以包括显示能够执行搜索功能的应用(例如，浏览器、购物应用和/或SNS)的执行屏幕的情况。在实施例中，显示内容710的情况可以包括显示用于播放媒体内容的应用(例如，播放器)的执行屏幕(例如，视频回放屏幕或图像回放屏幕)的情况。在实施例中，显示内容710的情况可以包括用户在虚拟空间中执行指定模拟的情况(例如，使用协作工具的情况或玩游戏的情况)。
例如，内容710可以包括由对应的应用提供的信息，诸如与第一应用相对应的虚拟信息(或虚拟对象或图形图像)、与第二应用相对应的虚拟信息和/或与第三应用相对应的虚拟信息。
根据实施例，在提供内容710的状态下，可穿戴电子装置301可以跟踪用户的注视701，并且通过显示模块520，提供与真实空间700中的对应于用户的注视701的至少一个真实对象相关的虚拟信息或者将由用户执行的指定应用的执行屏幕提供给AR屏幕(或虚拟空间)。例如，用户可以使用可穿戴电子装置301在AR服务中，根据用户的注视701的移动来使用与真实空间700中的各种真实对象相对应的内容710。
参考图7b，用户可以在使用可穿戴电子装置301使用AR服务的同时将电子装置101放置在与视场701相对应的真实空间700中。根据实施例，在通过可穿戴电子装置301提供内容710的状态下，用户可以将电子装置101放置在用户的视场可见的真实空间700中，以通过可穿戴电子装置301的显示模块520被显示。
根据实施例，如果在显示关于内容710的信息的同时检测到用于将电子装置101放置于用户的注视701上的交互(或触发)，则电子装置101或可穿戴电子装置301可以根据内容710的处理实体来确定用于显示关于内容710的信息的显示模式(例如，第一显示模式或第二显示模式)。
根据实施例，显示模式可以包括通过电子装置101的显示模块160显示AR屏幕上的内容710的第一显示模式。根据实施例，显示模式可以包括通过可穿戴电子装置301的显示模块520在虚拟空间中显示AR屏幕上的内容710的第二显示模式。
根据实施例，交互(或触发)可以包括使电子装置101的显示模块160扩展到位于通过可穿戴电子装置301的用户的注视701上的手势。根据实施例，使显示模块160扩展的手势可以包括用于滑出柔性显示器的交互和/或可滚动激活交互。
在实施例中，用于确定显示模式的处理实体可以根据例如独立方法或系留方法而不同。独立方法可以包括AR服务由可穿戴电子装置301处理的方法。系留方法可以包括AR服务由电子装置101处理并通过电子装置101和可穿戴电子装置301之间的相互操作来提供的方法。例如，在系留方法的情况下，内容710的处理实体可以是可进行操作以在第一显示模式下显示内容710的电子装置101。作为另一示例，在独立方法的情况下，内容710的处理实体可以是可进行操作以在第二显示模式下显示内容710的可穿戴电子装置301。
根据实施例，根据处理实体确定的显示模式可以根据要提供的内容710的简档是否对应于预定简档而变化。例如，如果要提供的内容710对应于指定简档，则可以确定使用虚拟空间的显示模式(例如，第二显示模式)，而不管处理实体是电子装置101还是可穿戴电子装置301。在实施例中，简档可以包括与内容710是否是与隐私相关的信息和/或内容是否是指定由用户保护的应用类别(例如，电话、个人SNS和/或金融)相关的至少一条标识信息。在实施例中，用于确定显示模式的简档可以由用户在电子装置101或可穿戴电子装置301中以各种方式预先配置。
参考图7c，图7c可以示出处理实体是电子装置101的示例。例如，图7c可以示出在以系留方法提供AR服务和/或要提供的内容710不对应于指定简档的情况下通过电子装置101的显示模式160连续显示内容710的第一显示模式的示例。例如，在电子装置101执行对与AR服务相关地正在运行的内容710或与内容710相对应的应用的处理的情况下，可以停止可穿戴电子装置301的当前屏幕显示，并且可以通过电子装置101的显示模块160显示正通过AR屏幕显示的内容710。例如，电子装置101可以在第一显示模式下通过电子装置101的显示模块160的显示区域的全部或至少一部分来显示内容710。在实施例中，对屏幕显示的停止是例如可穿戴电子装置301被取下的状态，并且可以包括例如显示模块520或可穿戴电子装置301被断电的状态。
根据实施例，第一显示模式是用于在电子装置101的显示模块160上显示通过AR屏幕提供的内容710的模式，并且可以根据电子装置101的形状规格依据用户交互以各种方式被提供。
例如，如图7c中的示例<705A>所示，如果电子装置101的形状规格是条型或者如果形状规格是可滚动类型但不存在可滚动激活交互(例如，处于关闭(或滑入)状态)，则电子装置101可以通过显示模块160的指定显示区域显示内容710。根据实施例，电子装置101可以提供显示模块160的整个区域或至少部分区域作为用于显示内容710的活动窗口720。
作为另一示例，如图7c中的示例<705B>所示，如果电子装置101的形状规格是可滚动类型，并且如果显示模块160通过可滚动激活交互703被扩展，使得除了默认区域A之外还提供扩展区域B，则电子装置101可以通过显示模块160的指定显示区域显示内容710。
根据实施例，电子装置101可以保持显示模块160的默认区域A的现有显示状态，并且提供进一步扩展的扩展区域B作为用于显示内容710的活动窗口730。根据实施例，扩展区域B的扩展程度可以根据内容710的数量、内容710的类型、内容710的显示方法(例如，横向模式或纵向模式)或内容710的显示尺寸中的至少一个而变化。
根据另一实施例，由于用户交互703反映用户对屏幕扩展的明确意图，因此电子装置101可以提供显示模块160的包括默认区域A和扩展区域B的整个区域(例如，默认区域A+扩展区域B)作为用于显示内容710的活动窗口740。
参照图7d，图7d可以示出处理实体是可穿戴电子装置301的示例。例如，图7d可以示出在以独立方法提供AR服务和/或以系留方法提供AR服务但要提供的内容710对应于指定简档的情况下，通过可穿戴电子装置301的显示模块520连续地显示内容710的第二显示模式的示例。例如，如果可穿戴电子装置301执行对与AR服务相关地正在运行的内容710或与内容710相对应的应用的处理，或者如果要提供的内容710对应于指定简档，则可穿戴电子装置301可执行以下操作。例如，映射(例如，纹理映射或锁定)的内容710可以通过可穿戴电子装置301的显示模块520被显示在位于AR屏幕中显示的真实空间700中的电子装置101的默认区域A中、电子装置101的扩展区域B中和/或与电子装置101相邻产生的虚拟区域V中。例如，可穿戴电子装置301可以根据第二显示模式通过在虚拟空间中的电子装置101的默认区域A、扩展区域B、整个区域(例如，默认区域A+扩展区域B)和/或虚拟区域V的全部或至少一部分来映射和显示内容710。
根据实施例，第二显示模式是用于通过经由可穿戴电子装置301的显示模块520提供的虚拟空间来显示内容710的模式，并且可以根据电子装置101的形状规格依据AR屏幕上的用户交互以各种方式被提供。根据实施例，第二显示模式可以是这样的模式，其中，在该模式下，通过被映射到真实空间700中的真实对象而经由AR屏幕提供的内容710将被映射并显示在AR屏幕上的电子装置101的显示模块160上。
例如，如图7d中的示例<715A>所示，如果电子装置101的形状规格是条型或者如果形状规格是可滚动类型但没有可滚动激活交互(例如，处于关闭(或滑入)状态)，则可穿戴电子装置301可以在电子装置101的显示模块160的默认区域A中和/或在基于默认区域A虚拟产生的虚拟区域V中来映射和显示内容710，其中，该默认区域A是从通过显示模块520提供的真实空间700识别出的。
根据实施例，可穿戴电子装置301可以将从通过显示模块520提供的真实空间700识别出的电子装置101的默认区域A和/或虚拟区域V映射为用于显示内容710的活动窗口770和760。在实施例中，映射到默认区域A的内容710通过AR屏幕提供，并且可以不通过电子装置101的显示模块160在真实空间中显示。在实施例中，虚拟区域V可以指示基于识别出的电子装置101与电子装置101的默认区域A相对应地数字产生并且仅通过可穿戴电子装置301的显示模块520显示的虚拟显示区域。
例如，虚拟区域V可以不是由电子装置101的实际扩展产生的扩展区域。例如，用户可以仅输入用于扩展的手势，而不是实质地扩展电子装置101，并且可以响应于此通过用虚拟区域V替换与实际扩展区域相对应的区域来提供虚拟扩展区域。如上所述，通过第二显示模式提供的内容710可以仅由通过可穿戴电子装置301的显示模块520提供的AR屏幕提供，并且可以仅由佩戴可穿戴电子装置301的用户观看和/或控制，但是可以对真实世界中的其他用户不可见。
作为另一示例，如图7d中的示例<715B>所示，如果电子装置101的形状规格是可滚动类型，并且如果显示模块160通过可滚动激活交互703被扩展，使得除了默认区域A之外还提供扩展区域B，则可穿戴电子装置301可以通过电子装置101的显示模块160的指定显示区域来显示内容710。
根据实施例，可穿戴电子装置301可以在通过显示模块520提供的真实空间700中保持电子装置101的默认区域A的现有显示状态，将进一步被扩展的扩展区域B配置为用于显示内容710的活动窗口780，并且可以将内容710映射到活动窗口780，从而提供内容710。根据另一实施例，由于用户交互703反映了用户对屏幕扩展的明确意图，因此可穿戴电子装置301可以将通过显示模块520提供的真实空间700中的包括电子装置101的默认区域A和扩展区域B的整个区域(例如，默认区域A+扩展区域B)配置为用于显示内容710的活动窗口790，并将内容710映射到活动窗口790，从而提供内容710。
如上所述，通过第二显示模式提供的内容710可以仅由通过可穿戴电子装置301的显示模块520提供的AR屏幕提供，并且可以仅由穿戴可穿戴电子装置301的用户观看和/或控制，但是可以对真实世界中的其他用户不可见。
根据实施例，尽管以系留方法提供AR服务，但是在要提供的内容710对应于指定简档的情况下，电子装置101可以通过与参考图7d描述的可穿戴电子装置301的操作相对应的操作来提供第二显示模式。根据实施例，电子装置101可以从可穿戴电子装置301获得用于第二显示模式的各种信息，并且基于所获得的信息，将与根据第二显示模式的活动窗口相关的数据(例如，坐标、位置和/或空间信息)和要在活动窗口上显示的信息发送到可穿戴电子装置301，使得可穿戴电子装置301提供第二显示模式。
根据本公开的实施例的一种用于增强现实(AR)服务的AR提供装置(例如，电子装置101或可穿戴电子装置301)可以包括显示模块(例如，电子装置101的显示模块160或可穿戴电子装置301的显示模块520)和处理器(例如，电子装置101的处理器120或可穿戴电子装置处理器301的处理器590)。处理器120或590可以进行操作以通过AR屏幕提供内容。处理器可以进行操作以在提供内容的同时通过AR屏幕检测指定的外部对象。处理器可以进行操作以基于对指定的外部对象的检测来确定用于提供内容的显示模式。处理器可以进行操作以基于所确定的显示模式来控制通过指定的外部对象的显示模块(例如，电子装置101的显示模块160)显示内容。处理器可以进行操作以基于所确定的显示模式来控制通过AR屏幕上的与指定的外部对象相关联的虚拟显示区域显示内容。
根据实施例，内容可以由AR提供装置产生用于AR服务并且通过AR提供装置的显示模块(例如，电子装置101的显示模块160或可穿戴电子装置301的显示模块520)提供，或者可以由AR提供装置产生，被发送到通过指定通信连接的外部装置，并且通过外部装置的显示模块(例如，电子装置101的显示模块160或可穿戴电子装置301的显示模块520)提供。
根据实施例，处理器120或590可以进行操作以：通过AR屏幕检测指定交互；基于指定交互的检测，确定处理内容的目标装置是电子装置101还是可穿戴电子装置301；如果目标装置被确定为电子装置101，则确定第一显示模式，其中，在第一显示模式下，AR屏幕上的内容切换为通过电子装置101被显示；并且如果目标装置被确定为可穿戴电子装置301，则确定第二显示模式，其中，在第二显示模式下，内容被映射到电子装置101并被显示在AR屏幕上。
根据实施例，基于第一显示模式的确定，处理器120或590可以进行操作以执行控制以停止显示可穿戴电子装置301的屏幕，并且控制基于与电子装置101的显示模块160相对应的显示区域显示正通过AR屏幕显示的内容。
根据实施例，处理器120或590可以进行操作以通过电子装置101的显示模块160的默认区域和/或扩展区域为正在AR屏幕上显示的内容配置指定的活动窗口，并且控制基于所配置的活动窗口来显示内容。
根据实施例，处理器120或590可以进行操作以：基于第二显示模式的确定，控制基于通过可穿戴电子装置301的显示模块590提供的AR屏幕上的与电子装置101相关联的虚拟显示区域进行内容显示。
根据实施例，基于第二显示模式的确定，处理器120或590可以进行操作以至少基于位于通过可穿戴电子装置301的显示模块590在AR屏幕上显示的真实空间中的电子装置101的默认区域、电子装置101的扩展区域和/或与电子装置101相邻产生的虚拟区域来映射和显示内容。
根据实施例，基于第二显示模式的确定，处理器120或590可以进行操作以将与电子装置101的显示模块160的扩展区域相对应的虚拟区域配置为与电子装置101的扩展区域相对应，通过电子装置101的显示模块160的默认区域和/或扩展区域为正在AR屏幕上显示的内容配置指定的活动窗口，并且控制基于所配置的活动窗口通过内容映射来显示内容。
根据实施例，如果处理器120或590根据第二显示模式提供内容，则映射到AR屏幕的内容可以仅通过AR屏幕上的与电子装置101相关联的显示区域被提供，而不是通过真实空间中的电子装置101的显示模块160被显示。
根据实施例，指定交互可以包括第一交互、第二交互和/或第三交互，在第一交互中，电子装置101进入通过可穿戴电子装置301的显示模块590提供的AR屏幕中的真实空间，在第二交互中，用户在电子装置101进入之后使用电子装置101输入指定的手势，在第三交互中，用户在电子装置进入之后通过AR屏幕上的电子装置101输入指定的菜单操纵手势。
根据实施例，处理器120或590可以进行操作以在确定处理内容的目标装置时确定内容是否对应于指定简档，并且如果内容对应于指定简档，则确定第二显示模式，以便通过AR屏幕提供指定简档的内容，而不管处理内容的目标装置如何。
根据本公开的实施例的一种用于增强现实(AR)服务的AR提供装置(例如，电子装置101或可穿戴电子装置301)可以包括显示模块(例如，电子装置101的显示模块160或可穿戴电子装置301的显示模块520)和处理器(例如，电子装置101的处理器120或可穿戴电子装置处理器301的处理器590)。处理器120或590可以进行操作以通过显示模块显示内容。处理器可以进行操作以在通过显示模块显示内容的同时从AR屏幕识别与外部对象相对应的外部装置。如果外部装置是指定的外部装置，则处理器可以进行操作以监测外部装置的状态的变化。处理器可以进行操作以基于识别出外部装置的状态的变化，确定与内容相关的处理实体。处理器可以进行操作以基于所确定的处理实体来确定内容的显示模式。处理器可以进行操作以基于所确定的显示模式，通过显示模块在AR屏幕上显示内容。处理器可以进行操作以基于所确定的显示模式，控制外部装置通过外部装置的显示模块来显示内容。
在下文中，将详细描述根据各种实施例的电子装置101和可穿戴电子装置301的操作方法。
根据实施例，下面将要描述的由电子装置101执行的操作可以由包括各种处理电路和/或可执行程序元件的电子装置101的处理器120执行。根据实施例，由电子装置101执行的操作可以存储在存储器130中并且由指令执行，该指令在被执行时使处理器120进行操作。
根据实施例，下面描述的由可穿戴电子装置301执行的操作可以由包括各种处理电路和/或可执行程序元件的可穿戴电子装置301的处理器590执行。根据实施例，由可穿戴电子装置301执行的操作可以存储在存储器550中并且由指令执行，该指令在被执行时使处理器590进行操作。
根据实施例，电子装置101和可穿戴电子装置301的操作可以根据AR服务是独立方法还是系留方法，依据处理实体而被区分，并且除了根据需要执行数据通信的操作外，本公开的通过操作显示模式来显示内容的操作可以在其间相似或相同。例如，电子装置101和可穿戴电子装置301可以执行一系列操作：在使用AR的情况下在屏幕之间快速切换，实现电子装置101和可穿戴电子装置301之间的内容移动，基于处理实体和/或指定简档来配置活动窗口，以及通过相应的活动窗口来显示内容。
图8是示出根据实施例的操作电子装置或可穿戴电子装置的方法的流程图。
图9是示出用于触发本公开的操作的指定交互的示例的图。
在实施例中，图8可以示出在电子装置101或可穿戴电子装置301根据系留方法或独立方法提供AR服务的情况下，基于指定交互，依据用于显示内容的显示模式(例如，第一显示模式或第二显示模式)通过电子装置101或可穿戴电子装置301提供内容的操作的示例。在实施例中，图8所示的操作可以由电子装置101或可穿戴电子装置301执行，并且在图8的以下描述中，为了便于描述，电子装置101或可穿戴电子装置301将被称为AR提供装置。根据实施例，电子装置101和可穿戴电子装置301还可以根据执行操作的实体而包括接收、处理和发送用于AR服务的相关数据的操作，并且将参考稍后描述的附图对其进行描述。
参考图8，在操作801中，AR提供装置(例如，电子装置101或可穿戴电子装置301)或AR提供装置的处理器(例如，电子装置101的处理器120或可穿戴电子装置301的处理器590)可以通过可穿戴电子装置301的显示模块520提供内容。根据实施例，AR提供装置、可穿戴电子装置301可以处于穿戴在用户上并且通过可穿戴电子装置301的显示模块520在AR屏幕上显示叠加在真实空间的至少一部分上的至少一条内容(或虚拟信息)的状态。
例如，可穿戴电子装置301可以在与用户的视场相对应的真实空间中叠加至少一条内容，从而将其提供给用户。根据实施例，可穿戴电子装置301可通过可穿戴电子装置301的显示模块520显示由可穿戴电子装置301直接产生用于AR服务的内容(例如，基于存储或处理的数据产生)或由电子装置101产生并通过指定通信从电子装置101获得的内容。根据实施例，用户可以浏览通过可穿戴电子装置301的显示模块520提供的AR内容。
在操作803中，AR提供装置可以通过AR屏幕检测指定交互。在实施例中，图9中示出了指定交互的示例。
参考图9，指定交互可以包括识别电子装置101进入通过可穿戴电子装置301的显示模块520提供的AR屏幕中的真实空间的第一交互(示例901)、识别在电子装置101进入之后由用户使用电子装置101输入的指定手势(例如，滑出手势或可滚动扩展手势)的第二交互(示例903)、或者识别在电子装置101进入之后由用户通过AR屏幕上的电子装置101输入的指定菜单操纵手势(例如，触摸输入)的第三交互(示例905)。
在实施例中，第二交互可以包括实质地扩展电子装置101的扩展区域的手势。在另一实施例中，第二交互可以不是电子装置101的扩展区域的实质扩展。例如，用户可以仅输入扩展手势而不实质地扩展电子装置101，并且AR提供装置可以识别用户的手势以识别第二交互。在实施例中，AR提供装置可以基于AR屏幕上的用户手检测和/或手跟踪，检测根据第二交互和/或第三交互的用户的手势。
根据实施例，指定交互的示例仅旨在帮助理解本公开，而不旨在限制本公开的实施例。例如，指定交互中的第二交互可以包括用于电子装置101的真实扩展或虚拟扩展触发，并且包括例如对电子装置101的用于扩展区域的扩展的指定硬件按钮的输入(例如，点击输入或长按输入)和对通过电子装置101的显示模块160显示的用于扩展区域的扩展的指定软件按钮的输入(例如，触摸输入或长按输入)。例如，第二交互可以包括作为能够实质地或虚拟地扩展电子装置101的扩展区域的扩展触发的各种指定输入。
在操作805中，AR提供装置可以确定用于处理内容的操作实体。根据实施例，可以根据提供AR服务的方法来不同地确定用于进行处理的操作实体。例如，在系留方法中，内容可以由电子装置101产生并提供给可穿戴电子装置301，并且内容的处理实体可以是电子装置101。作为另一示例，在独立方法的情况下，内容可以由可穿戴电子装置301直接产生和提供，并且内容的处理实体可以是可穿戴电子装置301。
例如，在系留方法中，电子装置101具有AR服务的整体操作的控制权，AR服务由电子装置101控制，并且可穿戴电子装置301可以从电子装置101获得内容，从而提供内容。作为另一示例，在独立方法中，可穿戴电子装置301具有AR服务的整体操作的控制权，并且AR服务由可穿戴电子装置301控制，并且可以提供由可穿戴电子装置301直接产生的内容。根据实施例，除了用于处理的操作实体之外，AR提供装置还可以确定要提供的内容是否对应于指定简档。例如，AR提供装置可以进行操作以优先地通过AR屏幕提供指定简档的内容，而不管处理实体如何。稍后将描述使用指定简档的操作。
在操作807中，AR提供装置可以基于确定操作实体的结果来确定用于显示内容的目标装置是电子装置101还是可穿戴电子装置301。
如果在操作807中确定目标装置是电子装置101(例如，在操作807中为“是”)，则在操作809中，AR提供装置可以确定第一显示模式。根据实施例，如果操作实体是电子装置101，则AR提供装置可以确定第一显示模式，其中，在第一显示模式下，AR屏幕上的内容切换为通过电子装置101被显示。
在操作811中，基于第一显示模式的确定，AR提供装置可以执行处理以基于与电子装置101的显示模块160相对应的显示区域来显示内容。根据实施例，如果电子装置101执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，则AR提供装置可以进行操作以停止显示可穿戴电子装置301的当前屏幕(例如，在可穿戴电子装置301被取下的状态下关闭显示模块520或可穿戴电子装置301)，并且通过电子装置101的显示模块160显示通过AR屏幕显示的内容。
根据实施例，如果与内容相关的处理实体是电子装置101，则AR提供装置可以进行操作以停止显示可穿戴电子装置301的AR屏幕，通过电子装置101的显示模块160的默认区域和/或扩展区域为正在AR屏幕上显示的内容配置指定的活动窗口(例如，基于默认区域的窗口、基于扩展区域的窗口、或基于整个区域的窗口)，并基于配置的活动窗口来显示内容。
根据实施例，如果处理实体是电子装置101，则AR提供装置可以将活动窗口配置为与电子装置101的形状规格(例如，条型或可滚动型)相对应。例如，在条型电子装置101的情况下，AR提供装置可以基于默认区域来配置活动窗口。作为另一示例，在可滚动型电子装置101的情况下，AR提供装置可以基于默认区域、部分扩展区域、整个扩展区域或整个区域中的至少一个来配置活动窗口。
如果在操作807中确定目标装置是可穿戴电子装置301(例如，在操作807中为“否”)，则在操作813中，AR提供装置可以确定第二显示模式。例如，如果操作实体是可穿戴电子装置301，则AR提供装置可以确定第二显示模式，其中，在第二显示模式下，AR屏幕上的内容被映射到AR屏幕上的实际电子装置101并被显示。
在操作815中，基于第二显示模式的确定，AR提供装置可以执行处理以基于通过可穿戴电子装置301的显示模块520提供的AR屏幕上的与电子装置101相关联的虚拟显示区域来显示内容。根据实施例，如果可穿戴电子装置301执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，或者如果要提供的内容对应于指定简档，则AR提供装置可以基于第二显示模式的确定来处理内容显示。根据实施例，AR提供装置可以进行操作以至少基于位于通过可穿戴电子装置301的显示模块520显示在AR屏幕上的真实空间中的电子装置101的默认区域、电子装置101的扩展区域和/或与电子装置101相邻产生的虚拟区域来映射(例如，纹理映射)和显示内容。例如，AR提供装置可以根据第二显示模式通过在虚拟空间中的电子装置101的默认区域、扩展区域、整个区域(例如，默认区域+扩展区域)和/或虚拟区域的全部或至少一部分来显示内容。
根据实施例，如果与内容相关的处理实体是可穿戴电子装置301，则AR提供装置可以进行操作以将与电子装置101的显示模块160的扩展区域相对应的虚拟区域配置为与电子装置101的扩展区域相对应，通过电子装置101的显示模块160的默认区域和/或扩展区域为正在AR屏幕上显示的内容配置指定的活动窗口(例如，基于默认区域的窗口或基于整个屏幕的窗口)，并且基于配置的活动窗口来映射和显示内容。
如上所述，根据本公开的AR提供装置(例如，电子装置101或可穿戴电子装置301)可以包括处理器(例如，电子装置101的处理器120或可穿戴电子装置301的处理器590)。在实施例中，处理器可以进行操作以通过可穿戴电子装置301的AR屏幕提供第一内容(和/或与内容相关的信息)。在实施例中，处理器可以进行操作以在通过AR屏幕提供内容的同时通过AR屏幕检测指定交互(例如，指定的外部对象(例如，检测电子装置101进入AR屏幕和/或检测指定的手势))。
在实施例中，基于指定交互的检测，处理器可以基于提供第二内容的处理实体来确定用于第二内容(例如，第一内容或通过处理第一内容获得的其他内容)的显示模式。
在实施例中，基于所确定的显示模式(例如，第一显示模式或第二显示模式)，处理器可以进行操作以通过电子装置101的显示模块160显示第二内容，或者通过可穿戴电子装置301的显示模块520将第二内容映射并显示到AR屏幕上的与指定的外部对象(例如，AR屏幕上的实际电子装置101)相关联的显示区域上。
在实施例中，映射到AR屏幕的第二内容可以仅通过AR屏幕上的与电子装置101相关联的显示区域被提供，而不通过真实世界中的电子装置101的显示模块160被显示。
根据实施例，如果与内容相关的处理实体是可穿戴电子装置301，则处理器可以进行操作以：在将内容显示在可穿戴电子装置301的AR屏幕上的同时，在AR屏幕中监测电子装置101的状态的变化(例如，用于可滚动激活的交互)，基于识别出电子装置101的状态的变化，基于与内容相关的处理实体确定内容的显示模式，并且基于所确定的显示模式，通过可穿戴电子装置301的显示模块520在AR屏幕上显示内容或通过电子装置101的显示模块160显示内容。
图10是示出根据实施例的操作电子装置或可穿戴电子装置的方法的流程图。
图11a至图11f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
在实施例中，图10至图11f所示的操作可以由电子装置101或可穿戴电子装置301根据用于提供AR服务的系留方法或独立方法来执行。在下文中，在图10的描述中，为了便于描述，电子装置101或可穿戴电子装置301将被称为AR提供装置。根据实施例，电子装置101和可穿戴电子装置301还可以根据执行操作的实体而包括接收、处理和发送用于AR服务的相关数据的操作，并且将参考稍后描述的附图对其进行描述。
参考图10，在操作1001中，AR提供装置(例如，电子装置101或可穿戴电子装置301)或AR提供装置的处理器(例如，电子装置101的处理器120或可穿戴电子装置301的处理器590)可以通过可穿戴电子装置301的显示模块520提供内容。这种情况的一个示例在图11a中示出。参照图11a，可穿戴电子装置301可以穿戴在用户身上，并且AR提供装置可以通过可穿戴电子装置301的显示模块520在AR屏幕1100上显示叠加在真实空间的至少一部分上的至少一条内容(或虚拟信息)1110。例如，AR提供装置可以在与用户的视场相对应的真实空间中叠加至少一条内容1110(例如，第一内容1101、第二内容1102和第三内容1103)，从而将其提供给用户。
在操作1003中，AR提供装置可以确定在AR屏幕中是否检测到电子装置101。根据实施例，AR提供装置可以跟踪电子装置101是否进入通过可穿戴电子装置301的显示模块520提供的真实空间。这种情况的一个示例在图11a中示出。参考图11a，用户可以将电子装置101移动到通过可穿戴电子装置301的显示模块520提供的AR屏幕1100中。例如，用户可以将电子装置101移动到要通过AR屏幕1100显示的对应位置，并且AR提供装置可以基于对AR屏幕1100上的对象和/或注视的跟踪来识别移动到AR屏幕1100中的电子装置101。
如果在操作1003中未检测到电子装置101(例如，在操作1003中为“否”)，则AR提供装置可以进行到操作1001并执行操作1001和后续操作。
如果在操作1003中检测到电子装置101(例如，在操作1003中为“是”)，则在操作1005中，AR提供装置可以提供针对虚拟区域的可视线索(或指南)。根据实施例，如果AR提供装置在AR屏幕上识别出电子装置101并且检测到针对电子装置101的指定交互(例如，可滚动激活交互)，则AR提供装置可以响应于指定交互提供针对虚拟区域(例如，可滚动扩展所预期的区域)的可视线索(或指南)。图11b中示出了这种情况的示例。参考图11b，AR提供装置可以基于电子装置101或电子装置101的显示模块160提供可视线索1120。根据实施例，AR提供装置可以提供与电子装置101的默认区域和/或实质扩展区域相对应的虚拟窗口指南作为可视线索1120。将参考稍后将描述的附图来描述根据实施例的可视线索1120的提供。
在操作1007中，AR提供装置可以跟踪可视线索是否与内容重叠。根据实施例，用户可以移动电子装置101，使得可视线索至少部分地与内容重叠。根据实施例，AR提供装置可以在AR屏幕中跟踪电子装置101(例如，跟踪对象)并且响应于电子装置101的移动而一起移动可视线索。图11c中示出了这种情况的示例。参考图11c，可视线索1120和内容1110的至少一部分(例如，第一内容1101)可以在AR屏幕1100上彼此重叠。
根据实施例，如果可视线索1120和内容1110(例如，第一内容1101)重叠，则AR提供装置可以激活重叠内容1110(例如，第一内容1101)(例如，将内容移动并显示在可视线索1120前方)，从而将重叠内容1110(例如，第一内容1101)和非重叠内容1110(例如，第二内容1102和第三内容1103)提供为被区分开。例如，AR提供装置可以将重叠内容1110(例如，第一内容1101)突出显示并提供为与可视线索1120相关联，使得用户可以直观地识别重叠内容1110。
根据实施例，电子装置101可以是显示模块160不被扩展并且具有固定尺寸的条型电子装置，或者可以是显示模块160可扩展的可滚动型电子装置。例如，电子装置101可以包括：包含具有固定尺寸或可变尺寸的显示模块160的智能电话、平板PC、笔记本计算机和/或显示装置(例如，监视器或TV)。
根据实施例，如果电子装置101是条型电子装置，则可以基于电子装置101的显示模块160的显示区域(例如，默认区域)提供可视线索，并且可视线索和内容可以被映射在显示区域中。根据另一实施例，如果电子装置101是可滚动型电子装置并且如果电子装置101的显示模块160处于扩展状态，则可以基于显示模块160的显示区域(例如，默认区域+扩展区域)提供可视线索，并且可视线索和内容可以被映射在显示区域中。根据另一实施例，如果电子装置101是可滚动型电子装置并且如果电子装置101的显示模块160处于非扩展状态，则显示模块160可以基于可扩展虚拟区域(例如，具有与扩展区域相对应的尺寸的虚拟区域)提供可视线索，并且可视线索和内容可以被映射在虚拟区域中。
根据实施例，通过可穿戴电子装置301的显示模块520提供的AR屏幕中的内容可以包括面向空间的内容，该面向空间的内容被映射到真实空间并且其位置可根据用户的注视或用户的移动(例如，头部移动)自适应地移动(例如，移动内容，使其在用户注视内始终可见，即，固定地显示在显示模块520中的指定区域中)。作为另一示例，通过可穿戴电子装置301的显示模块520提供的AR屏幕中的内容可以包括面向装置(或面向对象)的内容，该面向装置(或面向对象)的内容未被映射到真实空间但被固定地映射到显示模块520的AR屏幕上的特定空间(或真实空间中相应对象所位于的区域)以便不会根据用户的注视或用户的移动而移动。
根据实施例，映射(例如，重叠)可视线索和内容的操作可以根据例如内容是面向空间的内容还是面向装置的内容而变化。在面向空间的内容的情况下，用户可以通过在可穿戴电子装置301的显示模块520的AR屏幕内直接移动电子装置101来重叠内容和可视线索。在面向装置的内容的情况下，用户可以将用户的注视(例如，移动头部)移动到可穿戴电子装置301的显示模块520的AR屏幕内的电子装置101的显示模块160(例如，默认区域、扩展区域、整个区域或虚拟区域)，并且可以响应于用户注视的移动而在AR屏幕上移动内容，使得内容可以在电子装置101的对应区域中与可视线索重叠。根据实施例，AR屏幕上的内容的移动不限于用户的注视，并且可以例如通过AR屏幕上的用户手势(例如，选择并移动AR屏幕上的内容的用户手势)来执行。
在操作1009中，AR提供装置可以确定是否检测到可视线索与内容之间的重叠。根据实施例，AR提供装置可以确定内容是否重叠与电子装置101的移动对应的可视线索的位置。根据实施例，AR提供装置可以在指定的时间段内执行操作1007至1009。
如果在操作1009中检测到可视线索与内容之间没有重叠(例如，在操作1009中为“否”)，则在操作1011中，AR提供装置可以执行用户指定的操作。根据实施例，如果在指定时间段内没有检测到可视线索与内容之间的重叠，则AR提供装置可以从AR屏幕去除可视线索并继续提供内容。根据实施例，AR提供装置可以检测用户在AR屏幕上的指定输入，响应于指定输入而去除可视线索，并且执行与指定输入相对应的操作(或功能)(例如，改变内容)。
如果在操作1009中检测到可视线索与内容之间的重叠(例如，在操作1009中为“是”)，则在操作1013中，AR提供装置可以检测指定交互(或操作触发器)。根据实施例，如果检测到可视线索与内容之间的重叠，则AR提供装置可以确定触发用于通过指定的目标装置来显示通过与可视线索的重叠而选择的对应内容的操作(例如，操作触发器)的交互。图11d中示出了这种情况的示例。
参考图11d，用户可以基于可视线索1120与AR屏幕1100上的第一内容1101之间的重叠来输入用于选择和确定第一内容1101的指定交互1130，并且通过目标装置显示第一内容1101。在实施例中，指定交互可以包括例如滑出或可滚动扩展手势、对用于扩展触发的指定硬件按钮的输入、或对用于扩展触发的指定软件按钮的输入。
在操作1015中，AR提供装置可以基于指定交互的检测来确定用于显示内容的目标装置。根据实施例，AR提供装置可以确定与用于显示通过重叠选择的内容的目标装置相对应的显示模式(例如，第一显示模式或第二显示模式)。例如，AR提供装置可以基于内容处理实体和/或内容的指定简档来确定显示模式和与其对应的目标装置。
在操作1017中，AR提供装置可以基于目标装置产生用于内容的活动窗口。根据实施例，如果目标装置是电子装置101，则AR提供装置可以基于电子装置101的显示区域来配置用于内容的活动窗口。根据另一实施例，如果目标装置是可穿戴电子装置301，则AR提供装置可以基于在可穿戴电子装置301的AR屏幕上显示的电子装置101的显示区域和/或与显示区域相邻的虚拟区域来配置用于内容的活动窗口。
根据实施例，当配置活动窗口时，AR提供装置可以根据用户的意图基于可视线索与内容的重叠状态(或重叠区域)，在默认区域、扩展区域或整个区域中的至少一个中配置活动窗口。例如，如果内容(例如，第一内容1101)与可视线索重叠，则AR提供装置可以在扩展区域中配置用于显示内容的活动窗口。作为另一示例，如果内容(例如，第一内容1101)与AR屏幕上的电子装置101(例如，电子装置101的默认区域)和可视线索两者重叠，则AR提供装置可以在整个区域(例如，默认区域+扩展区域(或虚拟区域))中配置用于显示相应的内容的活动窗口。作为另一示例，如果一条内容(例如，第一内容1101)被布置在可视线索中，则AR提供装置可以在整个区域(例如，默认区域+扩展区域)中配置用于显示相应的内容的活动窗口。
作为另一示例，如果多条内容(例如，第一内容1101和第二内容1102)与可视线索重叠，则AR提供装置可以在默认区域和扩展区域中的每一个中配置活动窗口，以分别在默认区域和扩展区域中显示多条内容。作为另一示例，多条内容中的一条内容(例如，第一内容1101)与可视线索重叠，并且如果多条内容中的另一条内容(例如，第二内容1102)与电子装置101(例如，电子装置101的默认区域)重叠，例如，如果根据用户的意图布置每条内容，则AR提供装置可以在扩展区域中配置用于第一内容1101的活动窗口，并且在默认区域中配置用于第二内容1102的活动窗口，以便将内容显示为符合根据用户的意图的布置。例如，在通过用户输入将第二内容叠加在第一扩展区域上的情况下，AR提供装置可以将第二内容映射到显示模块160的第一扩展区域并提供第二内容。根据实施例，可以与要显示的内容的条数相对应地划分活动窗口。
根据实施例，如稍后将描述的，可视线索可以通过用户输入(例如，可视线索扩展交互)而变化(例如，扩展)。根据实施例，如果一条内容(例如，第一内容1101)被布置在扩展的可视线索中(例如，与扩展的可视线索重叠)，则AR提供装置可以扩展电子装置101的显示模块160以对应于扩展的可视线索，并且配置活动窗口以便通过扩展的扩展区域和默认区域的整个区域在整个扩展屏幕上显示一条内容。根据另一实施例，如果多条内容(例如，第一内容1101和第二内容1102)被布置在扩展的可视线索中(例如，与扩展的可视线索重叠)，则AR提供装置可以在默认区域和扩展区域中的每一个中配置活动窗口，以便分别在默认区域和扩展区域中显示多条内容，或者在扩展区域中配置至少一个活动窗口，以便在与扩展的可视线索对应的扩展区域中显示多条内容。
在操作1019中，AR提供装置可以执行处理以基于目标装置的活动窗口提供内容。根据实施例，AR提供装置可以通过目标装置提供与第一显示模式或第二显示模式相对应的内容。例如，AR提供装置可以以第一显示模式显示内容，其中，在第一显示模式下，通过在电子装置101中配置的活动窗口(例如，电子装置101的真实显示区域)提供内容。作为另一示例，AR提供装置可以以第二显示模式显示内容，其中，在第二显示模式下，通过可穿戴电子装置301的AR屏幕中的基于电子装置101配置的活动窗口虚拟地映射并提供内容。在图11e和图11f中示出了这种情况的示例。
根据实施例，图11e可以示出根据第一显示模式提供内容的示例。参考图11e，基于第一显示模式的确定，AR提供装置可以执行处理以基于与电子装置101的显示模块160相对应的实质显示区域(例如，通过滑出而扩展出的扩展区域)显示由用户在AR屏幕1100上选择和确定的内容1110。根据实施例，如果电子装置101执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，则AR提供装置可以进行操作以停止显示可穿戴电子装置301的当前屏幕(例如，在可穿戴电子装置301被取下的状态下关闭显示模块520或可穿戴电子装置301)，并且通过电子装置101的显示模块160在真实空间中继续显示由用户在正通过AR屏幕1100显示的内容1100中选择和确定的第一内容1101。
在实施例中，通过显示模块160显示的内容(例如，第一内容1101)可以与在AR屏幕1100上显示的内容(例如，第一内容1101)相同，或者可以是通过处理(例如，调整尺寸)在AR屏幕1100上显示的内容以对应于显示模块160的显示区域而获得的另一条内容。这里，正在AR屏幕1100上显示的内容和要移动到电子装置101并通过显示模块160显示的内容可以包括基本上相同的执行屏幕(或内容)并且具有连续性，并且其显示尺寸可以根据显示区域而变化。
根据实施例，图11f可以示出根据第二显示模式提供内容的示例。参考图11f，基于第二显示模式的确定，AR提供装置可以执行处理以基于通过可穿戴电子装置301的显示模块520提供的AR屏幕1100上的与电子装置101相关联的虚拟区域显示内容1110。根据实施例，如果可穿戴电子装置301执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，或者如果要提供的内容对应于指定简档，则AR提供装置可以执行以下操作。例如，AR提供装置可以进行操作以将正通过AR屏幕1100显示的内容1100中由用户选择和确定的第一内容1101映射(例如，纹理映射)到位于通过可穿戴电子装置301的显示模块520在AR屏幕1100上显示的真实空间中的电子装置101的默认区域、电子装置101的扩展区域和/或与电子装置101相邻产生的虚拟区域，并在其上显示第一内容1101。
例如，AR提供装置可以根据第二显示模式通过AR屏幕1100(例如，虚拟空间)中的电子装置101的默认区域、其扩展区域和/或虚拟区域中的全部或至少一部分显示由用户选择和确定的第一内容1101，并且保持AR屏幕1100上的剩余未选择内容(例如，第二内容1102和第三内容1103)的现有显示状态。
在实施例中，通过映射在指定区域中显示的内容(例如，第一内容1101)可以与在AR屏幕1100上显示的内容(例如，第一内容1101)相同，或者可以是通过处理(例如，调整尺寸)在AR屏幕1100上显示的内容以对应于指定区域而获得的另一条内容。这里，在AR屏幕1100上显示的内容和通过映射显示的内容可以包括实质上相同的执行屏幕(或内容)并且具有连续性，并且其显示尺寸可以根据显示区域而变化。
根据实施例，元素1190可以示出在真实空间中观看的电子装置101而不是在通过可穿戴电子装置301的显示模块520提供的AR屏幕1100上的电子装置101的显示模块160的显示状态的示例。如所示出的，电子装置101可以通过默认区域保持如图11a所示正在电子装置101中执行(或操作)的屏幕显示，并且向与显示模块160的扩展相对应的扩展区域1195(例如，通过滑出扩展的区域)提供空白屏幕或指定屏幕。
例如，电子装置101可以响应于显示模块160的扩展而提供由指定功能的执行所产生的屏幕(例如，基于指定应用的执行的分屏或正在运行的应用的整个屏幕(例如，将在默认区域中显示的屏幕显示为全屏))作为指定屏幕。根据实施例，真实空间中的电子装置101的显示模块160可以处于关闭的状态。
例如，在第二显示模式下，基于AR屏幕1100上的电子装置101的显示模块160显示的屏幕(例如，第一内容1101的显示屏幕)和通过真实空间中的电子装置101的显示模块160显示的屏幕可以是不同的，并且电子装置101的显示模块160可以不在真实空间中显示AR屏幕1200上的内容(例如，第一内容1101)。
图12a至图12f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
根据实施例，除了参考图10至图11f描述的操作之外，图12a至图12f还可以示出根据用户输入改变用于提供内容的显示区域的示例。
参考图12a，AR提供装置(例如，电子装置101或可穿戴电子装置301)可以通过可穿戴电子装置301的显示模块520向AR屏幕1200提供内容(例如，第一内容1201、第二内容1202和第三内容1203)。根据实施例，可穿戴电子装置301可以穿戴在用户身上，并且AR提供装置可以通过可穿戴电子装置301的显示模块520在AR屏幕1200上显示叠加在真实空间的至少一部分上的至少一条内容(或虚拟信息)。例如，AR提供装置可以在与用户的视场相对应的真实空间中叠加至少一条内容(例如，第一内容1201、第二内容1202和第三内容1203)，从而将其提供给用户。
根据实施例，在上述情况下，用户可以将电子装置101移动到通过可穿戴电子装置301的显示模块520提供的AR屏幕1200中。根据实施例，如果AR提供装置在AR屏幕1200上检测到针对电子装置101的用户指定交互(例如，可滚动激活交互)，则AR提供装置可以响应于指定交互提供针对虚拟区域(例如，可滚动扩展所预期的区域)的可视线索(或指南)1220。在实施例中，指定交互可以包括例如滑出或可滚动扩展手势、对用于扩展触发的指定硬件按钮的输入、或对用于扩展触发的指定软件按钮的输入。AR提供装置可以提供与电子装置101的默认区域和/或实质扩展区域相对应的虚拟窗口指南作为可视线索1220。将参考稍后将描述的附图来描述根据实施例的可视线索1220的提供。
根据实施例，用户可以移动电子装置101，使得可视线索1220至少部分地与AR屏幕1200上的第一内容1201重叠。根据实施例，AR提供装置可以在AR屏幕1200中跟踪电子装置101(例如，跟踪对象)并且响应于电子装置101的移动而一起移动可视线索1220。根据实施例，响应于用户对电子装置101的移动，可视线索1220和第一内容1201可以在AR屏幕1200上彼此重叠。根据实施例，如果可视线索1220和第一内容1201彼此重叠，则AR提供装置可以激活重叠的第一内容1201(例如，将内容移动并显示在可视线索1220前方)，从而将重叠的第一内容1201和剩余的非重叠内容(例如，第二内容1202和第三内容1203)提供为被区分开。例如，AR提供装置可以突出显示并提供重叠的第一内容1201以与可视线索1220相关联，使得用户可以直观地识别重叠的第一内容1201。
根据实施例，电子装置101可以是显示模块160不扩展并且具有固定尺寸的条型电子装置，或者可以是显示模块160可扩展的可滚动型电子装置。例如，电子装置101可以包括智能电话、平板PC、笔记本计算机和/或显示装置(例如，监视器或TV)，其包括具有固定尺寸或可变尺寸的显示模块160。
根据实施例，如果电子装置101是条型电子装置，则可以基于电子装置101的显示模块160的显示区域(例如，默认区域)提供可视线索，并且可以将可视线索和内容映射在显示区域中。
根据另一实施例，如果电子装置101是可滚动型电子装置并且如果电子装置101的显示模块160处于扩展状态，则可以基于显示模块160的显示区域(例如，默认区域+扩展区域)提供可视线索，并且可以将可视线索和内容映射在显示区域中。
根据实施例，如果电子装置101是可滚动型电子装置并且如果电子装置101的显示模块160处于非扩展状态，则显示模块160可以基于可扩展虚拟区域(例如，具有与扩展区域相对应的尺寸的虚拟区域)提供可视线索，并且可视线索和内容可以被映射在虚拟区域中。
根据实施例，通过可穿戴电子装置301的显示模块520提供的AR屏幕中的内容可以包括面向空间的内容，该面向空间的内容被映射到真实空间并且其位置可根据用户的注视或用户的移动(例如，头部移动)自适应地移动(例如，移动内容，使其在用户注视内始终可见，即，固定地显示在显示模块520中的指定区域中)。作为另一示例，通过可穿戴电子装置301的显示模块520提供的AR屏幕中的内容可以包括面向装置(或面向对象)的内容，该面向装置(或面向对象)的内容未被映射到真实空间但被固定地映射到显示模块520的AR屏幕上的特定空间(或真实空间中相应对象所位于的区域)，以便不会根据用户的注视或用户的移动而移动。
根据实施例，映射(例如，重叠)可视线索和内容的操作可以根据例如内容是面向空间的内容还是面向装置的内容而变化。例如，在面向空间的内容的情况下，用户可以通过在可穿戴电子装置301的显示模块520的AR屏幕内直接移动电子装置101来重叠内容和可视线索。作为另一示例，在面向装置的内容的情况下，用户可以将用户的注视(例如，移动头部)移动到可穿戴电子装置301的显示模块520的AR屏幕内的电子装置101的显示模块160(例如，默认区域、扩展区域、整个区域或虚拟区域)，并且可以响应于用户的注视的移动而在AR屏幕上移动内容，使得内容可以与电子装置101的对应区域中的可视线索重叠。
根据实施例，AR屏幕上的内容的移动不限于用户的注视，并且可以例如通过AR屏幕上的用户手势(例如，选择和移动AR屏幕上的内容的用户手势)来执行。根据实施例，除了通过重叠第一内容1201进行选择之外，用户还可以输入用于改变(例如，扩展)可视线索1220的第一交互1230(例如，可视线索扩展交互)，以便通过重叠可视线索1220进一步选择另一条内容(例如，第二内容1202)。在实施例中，AR提供装置可以响应于第一交互而扩展可视线索1220并提供可视线索1220。图12b中示出了这种情况的示例。
尽管在实施例中描述了基于用户的交互来扩展(例如，改变)可视线索1220，但是该示例仅旨在帮助理解本公开，而不旨在限制本公开的实施例。例如，可视线索1220(不限于基于用户交互而变化)可以自动变化。例如，如果在显示与可视线索1220重叠的内容时，可视线索1220的扩展区域的尺寸不适于显示内容(例如，过度大于或小于内容的可显示尺寸)，则AR提供装置可以计算能够显示重叠内容的扩展区域的尺寸，并改变(例如，扩展)可视线索1220以符合所计算的扩展区域的尺寸，从而提供可视线索1220。
参考图12b，AR提供装置可以改变(例如，扩展)可视线索1220以符合第一交互的可变尺寸(或移动距离)并将其提供给AR屏幕1200。根据实施例，如图12b所示，当可视线索1220被扩展时，另一条内容(例如，第二内容1202)以及第一内容1201可以与可视线索1220重叠。根据实施例，如果可视线索1220除了第一内容1201之外还与第二内容1202重叠，则AR提供装置可以进一步激活重叠的第二内容1202(例如，将内容移动并显示在可视线索1220前方)，从而将重叠的第一内容1201和第二内容1202提供为与剩余的非重叠内容(例如，第三内容1203)区分开。例如，AR提供装置可以突出显示并提供重叠的第一内容1201和第二内容1202以与可视线索1220相关联，使得用户可以直观地识别重叠的第一内容1201和第二内容1202。
参考图12c，除了通过第一内容1201和第二内容1202的重叠进行的选择之外，用户可以移动电子装置101以便进一步选择另一条内容(例如，第三内容1203)。根据实施例，为了选择并排布置在AR屏幕1200上的所有内容(例如，第一内容1201、第二内容1202和第三内容1203)，用户可以移动电子装置101，使得可视线索1220至少部分地与AR屏幕1200上的第三内容1203重叠。
参考图12c中的示例，电子装置101可以在右方向上移动，并且可视线索1220也可以响应于电子装置101的移动而移动。这里，第一内容1201、第二内容1202和第三内容1203可以被固定以在不改变它们的位置的情况下被显示。根据实施例，第一内容1201、第二内容1203和第三内容1205的重叠部分可以响应于电子装置101的移动而变化。例如，第一内容1201可以位于电子装置101的显示模块160上，第二内容1202可以通过替换第一内容1201而位于第一内容1201曾位于的区域中，并且第三内容1203还可以位于第二内容1202曾位于的区域中。
参照图12d，AR提供装置可以检测触发通过指定的目标装置显示由用户选择的至少一条内容(例如，第一内容1201、第二内容1202或第三内容1203)的操作(例如，操作触发器)的第二交互1240。例如，用户可以选择和确定AR屏幕1200上的第一内容1201、第二内容1202和第三内容1203，并输入指定的第二交互1240(例如，可滚动扩展手势、另一指定的触摸手势或基于语音的命令)以通过目标装置显示所选择的第一内容1201、第二内容1202和第三内容1203。
根据实施例，AR提供装置可以基于第二交互1240的检测来确定用于显示内容的目标装置。根据实施例，AR提供装置可以确定与用于显示由用户选择的内容的目标装置相对应的显示模式(例如，第一显示模式或第二显示模式)。例如，AR提供装置可以基于内容处理实体和/或内容的指定简档来确定显示模式和与其对应的目标装置。
根据实施例，AR提供装置可以通过目标装置来提供符合第一显示模式或第二显示模式的内容。例如，AR提供装置可以以第一显示模式显示内容，其中，在第一显示模式下，通过基于电子装置101的显示模块160的真实显示区域来提供内容。作为另一示例，AR提供装置可以以第二显示模式显示内容，其中，在第二显示模式下，通过可穿戴电子装置301的AR屏幕1200中的基于电子装置101配置的虚拟显示区域来映射和提供内容。在图12e和图12f中示出了这种情况的示例。
根据实施例，图12e可以示出根据第一显示模式提供内容的示例。
参考图12e，基于第一显示模式的确定，AR提供装置可以执行处理以基于与电子装置101的显示模块160相对应的实质显示区域(例如，默认区域和通过滑出而扩展的扩展区域)来显示AR屏幕1200上的由用户选择和确定的内容(例如，第一内容1201、第二内容1202和第三内容1203)。
根据实施例，如果电子装置101执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，则AR提供装置可以进行操作以停止显示可穿戴电子装置301的当前屏幕(例如，在可穿戴电子装置301被取下的状态下关闭显示模块520或可穿戴电子装置301)，并且通过真实空间中的电子装置101的显示模块160继续显示AR屏幕上的由用户选择和确定的第一内容1201、第二内容1202和第三内容1203。
根据实施例，AR提供装置可以在显示模块160上显示内容以符合AR屏幕1200上每条内容1201、1202或1203与电子装置101重叠的位置。例如，第一内容1201可以与AR屏幕1200上的电子装置101的默认区域重叠，并且第一内容1201可以通过真实空间中的电子装置101的显示模块160的默认区域被提供。例如，第二内容1202可以与AR屏幕1200上的电子装置101的第一扩展区域重叠，并且第二内容1202可以通过真实空间中的电子装置101的显示模块160的第一扩展区域被提供。例如，第三内容1203可以与AR屏幕1200上的电子装置101的第二扩展区域重叠，并且第三内容1203可以通过真实空间中的电子装置101的显示模块160的第二扩展区域被提供。
根据实施例，图12f可以示出根据第二显示模式提供内容的示例。
参考图12f，基于第二显示模式的确定，AR提供装置可以执行处理以基于通过可穿戴电子装置301的显示模块520提供的AR屏幕1200上的与电子装置101相关联的虚拟区域来显示内容(例如，第一内容1201、第二内容1202和第三内容1203)。
根据实施例，如果可穿戴电子装置301执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，或者如果要提供的内容对应于指定简档，则AR提供装置可以执行以下操作。例如，AR提供装置可以进行操作以将由用户从AR屏幕1200选择和确定的第一内容1201、第二内容1202和第三内容1203映射(例如，纹理映射)到位于通过可穿戴电子装置301的显示模块520显示在AR屏幕1200上的真实空间中的电子装置101的默认区域、电子装置101的扩展区域和/或与电子装置101相邻产生的虚拟区域，并在其上显示它们。例如，AR提供装置可以根据第二显示模式通过AR屏幕1200(例如，虚拟空间)中的电子装置101的默认区域、其扩展区域和/或虚拟区域中的全部或至少一部分显示由用户选择和确定的第一内容1201、第二内容1202和第三内容1203。
根据实施例，元素1290可以示出在真实空间中观看的电子装置101而不是在通过可穿戴电子装置301的显示模块520提供的AR屏幕1200上的电子装置101的显示模块160的显示状态的示例。如所示出的，电子装置101可以通过默认区域保持如图12a所示的在电子装置101中执行(或操作)的屏幕显示，并且向与显示模块160的扩展相对应的扩展区域1295(例如，通过滑出扩展的区域)提供空白屏幕或指定屏幕。例如，电子装置101可以响应于显示模块160的扩展来提供由指定功能的执行而产生的屏幕(例如，基于指定应用的执行的分屏或正在运行的应用的整个屏幕(例如，将在默认区域中显示的屏幕显示为全屏))，作为指定屏幕。根据实施例，真实空间中的电子装置101的显示模块160可以处于关闭的状态。
例如，在第二显示模式下，基于AR屏幕1200上的电子装置101的显示模块160显示的屏幕(例如，第一内容1201、第二内容1202和第三内容1203的显示屏幕)和通过真实空间中的电子装置101的显示模块160显示的屏幕可以是不同的，并且电子装置101的显示模块160可以不在真实空间中显示AR屏幕1200上的内容(例如，第一内容1201、第二内容1202和第三内容1203)。
根据实施例，AR提供装置可以将内容布置和显示为与AR屏幕1200上的每条内容1201、1202或1203与电子装置101重叠的位置相对应。例如，第一内容1201可以与AR屏幕1200上的电子装置101的默认区域重叠，并且第一内容1201可以被映射并提供给电子装置101的显示模块160的默认区域。例如，第二内容1202可以与AR屏幕1200上的电子装置101的第一扩展区域(或第一虚拟区域)重叠，并且第二内容1202可以被映射并提供给电子装置101的显示模块160的第一扩展区域(或第一虚拟区域)。例如，第三内容1203可以与AR屏幕1200上的电子装置101的第二扩展区域(或第二虚拟区域)重叠，并且第三内容1203可以被映射并提供给电子装置101的显示模块160的第二扩展区域(或第二虚拟区域)。
图13a、图13b和图13c是示出根据实施例的配置通过AR屏幕提供的与电子装置相关联的活动窗口的示例的图。
根据实施例，图13a、图13b和图13c可以示出向AR屏幕提供针对预期屏幕的可视线索的各种示例，其中，在预期屏幕中，用户在AR屏幕1300上选择的内容将根据第一显示模式或第二显示模式被显示。根据实施例，活动窗口可以被配置为与第一显示模式或第二显示模式中的给定可视线索相对应。例如，根据本公开，可以使用可视线索预先引导用户了解预期屏幕，其中，在该预期屏幕中，用户在AR屏幕1300上选择的内容将被以相应的显示模式显示。
参考图13a，在图13a中，可以向虚拟区域V提供针对活动窗口的可视线索1310，同时保持电子装置101的默认区域A。在实施例中，可以根据与默认区域A相对应的尺寸(或比率)来产生虚拟区域V，或者可以根据与电子装置101的可扩展的扩展区域相对应的尺寸(或比率)来产生虚拟区域V。根据实施例，如果在显示内容时可视线索1310的扩展区域的尺寸不适于显示内容(例如，过度大于或小于内容的可显示尺寸)，则AR提供装置可以计算能够显示重叠内容的扩展区域的尺寸，并改变(例如，扩展)可视线索1310以符合所计算的扩展区域的尺寸，从而提供该可视线索1310。因此，虚拟区域V可以根据可变的可视线索1310的尺寸(或比率)而变化。
参考图13b，在图13b中，由于用户交互(例如，可滚动激活手势)反映用户对电子装置101的屏幕扩展的明确意图，因此可以向包括电子装置101的默认区域A和虚拟区域V的整个区域提供针对活动窗口的可视线索1320。例如，包括电子装置101的显示模块160的默认区域和扩展区域的整个区域(例如，默认区域+扩展区域)可以被配置为用于显示内容的活动窗口。
参考图13c，在图13c中，可以在AR屏幕1300上基于电子装置101被实质地扩展的扩展区域E来提供针对活动窗口的可视线索1330。例如，如果电子装置101的显示模块160被实质地扩展，则扩展区域E可以被配置为用于显示内容的活动窗口。
根据实施例，如图13a至图13c所示，可视线索1310、1320和1330可以通过用户输入(例如，可视线索扩展交互)来改变(例如，扩展)。根据实施例，如果一条内容(例如，第一内容)被布置在扩展的可视线索中(例如，与扩展的可视线索重叠)，则AR提供装置可以扩展电子装置101的显示模块160以对应于扩展的可视线索，并且配置活动窗口以便通过扩展的扩展区域和默认区域的整个区域在整个扩展屏幕上显示一条内容。根据另一实施例，如果多条内容(例如，第一内容和第二内容)被布置在扩展的可视线索中(例如，与扩展的可视线索重叠)，则AR提供装置可以在默认区域和扩展区域中的每一个中配置活动窗口，以便分别在默认区域和扩展区域中显示多条内容，或者在扩展区域中配置至少一个活动窗口，以便在与扩展的可视线索对应的扩展区域中显示多条内容。
根据实施例，当配置活动窗口时，AR提供装置可以根据用户的意图基于可视线索和内容的重叠状态(或重叠区域)在默认区域、扩展区域或整个区域中的至少一个中配置活动窗口。
例如，如果内容与可视线索重叠，则AR提供装置可以在扩展区域中配置用于显示内容的活动窗口。作为另一示例，如果内容与AR屏幕上的可视线索和电子装置101(例如，电子装置101的默认区域)两者重叠，则AR提供装置可以在整个区域(例如，默认区域+扩展区域(或虚拟区域))中配置用于显示相应的内容的活动窗口。作为另一示例，如果多条内容(例如，第一内容和第二内容)与可视线索重叠，则AR提供装置可以在默认区域和扩展区域中的每一个中配置活动窗口，以分别在默认区域和扩展区域中显示多条内容。
作为另一示例，多条内容中的一条内容(例如，第一内容)与可视线索重叠，并且如果其另一条内容(例如，第二内容)与电子装置101(例如，电子装置101的默认区域)重叠，例如，如果根据用户的意图(例如，选择内容并将内容移动到特定区域的用户输入)布置每条内容，则AR提供装置可以在扩展区域中配置用于第一内容的活动窗口，并且在默认区域中配置用于第二内容的活动窗口，以便将内容显示为符合根据用户意图的布置。例如，在通过用户输入将第二内容叠加在第一扩展区域上的情况下，AR提供装置可以将第二内容映射到显示模块160的第一扩展区域并提供第二内容。根据实施例，可以与要显示的内容的条数相对应地划分活动窗口。
图14a至图14f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
在实施例中，图14a至图14f所示的操作可以由可穿戴电子装置301根据提供AR服务的独立方法来执行。例如，图14a至图14f可以示出电子装置101不能处理与AR服务相关地正在运行的内容或与内容相对应的应用的示例。根据实施例，图14a至图14f可以示出以下操作的示例：将通过可穿戴电子装置301的显示模块520提供的AR屏幕上显示的内容与电子装置101相关联地映射和显示在AR屏幕上，并且处理针对被显示为映射到电子装置101的内容的用户输入。例如，图14a至图14f可以包括在电子装置101的显示模块160被扩展(例如，滑出)之后使用电子装置101以独立方法操纵通过可穿戴电子装置301执行的内容的示例。在实施例中，在图14a至图14f中，内容由可穿戴电子装置301以独立方法实现(或使用)，并且可以是例如不能由电子装置101处理的内容。
参照图14a，可穿戴电子装置301可以通过可穿戴电子装置301的显示模块520向AR屏幕1400提供内容1410。根据实施例，可穿戴电子装置301可以穿戴在用户身上，并且叠加在真实空间的至少一部分上的至少一条内容(或虚拟信息)可以通过可穿戴电子装置301的显示模块520显示在AR屏幕1400上。例如，可穿戴电子装置301可以在与用户的视场相对应的真实空间中叠加至少一条内容1410，从而将其提供给用户。
参考图14b，在上述情况下，用户可以将电子装置101移动到通过可穿戴电子装置301的显示模块520提供的AR屏幕1400中。
参考图14c，如果可穿戴电子装置301在AR屏幕1400上检测到针对电子装置101的用户指定交互(例如，可滚动激活交互)，则可穿戴电子装置301可以响应于指定交互提供针对虚拟区域(例如，可滚动扩展所预期的区域或计算为符合内容1410的尺寸的区域)的可视线索(或指南)1420。可穿戴电子装置301可以提供与电子装置101的默认区域和/或实质扩展区域相对应的虚拟窗口指南作为可视线索1420。
根据实施例，用户可以移动电子装置101，使得可视线索1420与AR屏幕1400上的内容1410重叠。根据实施例，可穿戴电子装置301可以在AR屏幕1400中跟踪电子装置101(例如，跟踪对象)，并且可视线索1420也可以响应于电子装置101的移动而移动。根据实施例，响应于用户对电子装置101的移动，可视线索1420和内容1410可以在AR屏幕1400上彼此重叠。根据实施例，如果可视线索1420和内容1410重叠，则可穿戴电子装置301可以激活重叠内容1401(例如，将内容移动并显示在可视线索1420前方)，从而提供要区分的重叠内容1401。例如，可穿戴电子装置301可以突出显示并提供重叠内容1410以与可视线索1420相关联，使得用户可以直观地识别重叠(或用户选择的)内容1410。
在实施例中，可穿戴电子装置301可以基于与用户的附加交互相对应的可变尺寸(或移动距离)来改变(例如，扩展)可视线索1420，并将其提供给AR屏幕1400。例如，用户可以进一步扩展可视线索1420，使得AR屏幕1400上的所有内容1410都包括在可视线索1420中，使得内容1410可以根据可视线索1420的附加扩展与可视线索1420重叠。
根据实施例，AR提供装置可以基于内容1410的尺寸确定能够显示内容1410的可视线索1420的尺寸，并且可以根据所确定的尺寸自动执行可视线索1420的附加扩展。例如，如果在显示内容时可视线索1420的扩展区域的尺寸不适于显示内容(例如，过度大于或小于内容的可显示尺寸)，则可以计算能够显示重叠内容1410的扩展区域的尺寸，并且可以改变(例如，扩展)可视线索1420以符合所计算的扩展区域的尺寸，然后提供可视线索1420。因此，电子装置101的扩展区域V可以根据可变的可视线索1420的尺寸(或比率)而变化。
参照图14d，可穿戴电子装置301可检测触发用于通过指定的目标装置显示由用户选择的内容1410的操作(例如，操作触发器)的交互1430。例如，用户可以从AR屏幕1400选择和确定内容1401，并输入指定交互1430(例如，可滚动扩展手势、另一指定的触摸手势或基于语音的命令)以通过目标装置显示所选择的内容1410。
根据实施例，可穿戴电子装置301可以基于交互1430的检测来确定用于显示内容1410的目标装置。根据实施例，AR提供装置可以确定与用于显示由用户选择的内容1410的目标装置相对应的显示模式(例如，第一显示模式或第二显示模式)。例如，可穿戴电子装置301可以基于内容1410的处理实体和/或内容1410的指定简档来确定显示模式和与其对应的目标装置。
根据实施例，可穿戴电子装置301可以通过目标装置提供与第一显示模式或第二显示模式相对应的内容。例如，可穿戴电子装置301可以以第一显示模式显示内容1410，其中，在第一显示模式下，通过基于电子装置101的显示模块160的真实显示区域来提供内容。根据实施例，内容1410可以包括由可穿戴电子装置301以独立方法实现(或使用)的内容。例如，内容1410可以指示不能由电子装置101处理的内容。因此，当以第一显示模式提供内容1410时，可穿戴电子装置301可以进行操作以镜像内容1410并将其提供给电子装置101。作为另一示例，可穿戴电子装置301可以以第二显示模式显示内容1410，其中，在第二显示模式下，通过可穿戴电子装置301的AR屏幕1400中的基于电子装置101配置的虚拟显示区域来映射和提供内容。在图14e和图14f中示出了这种情况的示例。
根据实施例，图14e可示出根据第一显示模式通过电子装置101提供可穿戴电子装置301的内容的示例。参照图14e，基于第一显示模式的确定，可穿戴电子装置301可以执行处理以基于与电子装置101的显示模块160相对应的实质显示区域(例如，默认区域和通过滑出而扩展的扩展区域)来显示AR屏幕1400上的由用户选择和确定的内容1410。
根据实施例，如果可穿戴电子装置301执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，则可穿戴电子装置301可以进行操作以将用户从AR屏幕1400选择的内容1410镜像并发送到电子装置101，并通过真实空间中的电子装置101的显示模块160继续显示内容。例如，可穿戴电子装置301可以执行对与AR服务相关地正在运行的内容或与内容相对应的应用的处理，并且电子装置101可以通过指定的通信从可穿戴电子装置301接收(例如，镜像)由用户在可穿戴AR屏幕1400上选择和确定的内容1410，并通过电子装置101的显示模块160显示镜像的内容1410。
根据实施例，可穿戴电子装置301可以将正在处理的显示模块520的内容1410发送到电子装置101，以在电子装置101的显示模块160上被显示。例如，内容1410的传输实体和处理实体可以是可穿戴电子装置301。根据实施例，电子装置101可以用于显示从可穿戴电子装置301发送的内容1410或相关信息。
根据实施例，电子装置101可以扩展显示模块160以对应于可穿戴电子装置301的AR屏幕1400上的正被处理的内容1410的尺寸或可视线索1420的尺寸，并且基于默认区域和扩展区域来显示从可穿戴电子装置301接收的内容1410。例如，内容1410可以与AR屏幕1400上具有进一步扩展的尺寸的可视线索1420重叠，并且在真实空间中，电子装置101的显示模块160可以被扩展(滑出)以对应于可视线索1420的尺寸，使得可以通过默认区域和扩展区域或通过具有对应尺寸的扩展区域(不包括默认区域)来提供内容1410。例如，可以基于用户在AR屏幕1400上通过可视线索1420指定的预定比率来确定电子装置101的扩展区域的尺寸。
根据实施例，电子装置101可以进行操作以检测用于控制与通过显示模块160显示的内容1410相关的功能的用户输入(或交互)1440，并处理与用户输入1440相对应的功能。根据实施例，电子装置101可以识别在内容1410中检测到用户输入1440的点(例如，触摸点)，并且将关于检测到的点的相关信息(例如，坐标和/或空间信息)发送到可穿戴电子装置303，使得可穿戴电子装置301处理与相关信息相关的功能。
可穿戴电子装置301可以基于从电子装置101接收的相关信息来识别在电子装置101中检测到用户输入1440的点(例如，触摸点)，基于识别结果执行处理以执行相关功能，并将通过处理产生的内容数据发送到电子装置101。电子装置101可从可穿戴电子装置301接收处理结果(例如，内容数据)，将接收到的处理结果反映在显示模块160上的内容1410上，并通过显示模块160显示其结果屏幕。
根据实施例，将参考稍后将描述的附图描述在电子装置101的显示模块160被扩展(例如，滑出)之后使用电子装置101以独立方法来操纵通过可穿戴电子装置301执行的内容的示例。
根据实施例，图14f可以示出根据第二显示模式提供内容的示例。
参照图14f，基于第二显示模式的确定，可穿戴电子装置301可以执行处理以基于通过可穿戴电子装置301的显示模块520提供的AR屏幕1400上的与电子装置101相关联的虚拟区域来显示内容1410。根据实施例，如果可穿戴电子装置301执行对与AR服务相关地正在执行的内容或与内容相对应的应用的处理，或者如果要提供的内容对应于指定简档，则可穿戴电子装置301可执行以下操作。例如，可穿戴电子装置301可以进行操作以将由用户在AR屏幕1400上选择和确定的内容1410映射(例如，纹理映射)到位于通过可穿戴电子装置301的显示模块520在AR屏幕1400上显示的真实空间中的电子装置101的默认区域、电子装置101的扩展区域和/或与电子装置101相邻产生的虚拟区域，并在其上显示它们。例如，可穿戴电子装置301可以根据第二显示模式通过AR屏幕1400(例如，虚拟空间)中的电子装置101的默认区域、其扩展区域和/或的虚拟区域中的全部或至少一部分来显示由用户选择和确定的内容1410。
根据实施例，可穿戴电子装置301可以将内容1410布置并显示在AR屏幕1400上的与电子装置101相关联的具有与可视线索1420相对应的尺寸的虚拟区域中。例如，内容1410可以重叠AR屏幕1400中的与可视线索1420相对应的虚拟区域，并且AR提供装置可以基于可视线索1420产生具有对应尺寸的活动窗口(例如，虚拟区域)并将内容1410映射到活动窗口，从而提供内容1410。
根据实施例，元素1490可以示出在真实空间中观看的电子装置101而不是在通过可穿戴电子装置301的显示模块520提供的AR屏幕1400上的电子装置101的显示模块160的显示状态的示例。如所示出的，电子装置101可通过默认区域或整个区域显示在图14a所示的正在电子装置101中执行(或操作)的屏幕，或者保持默认区域中的显示，并向与显示模块160的扩展相对应的扩展区域1495(例如，通过滑出扩展的区域)提供空白屏幕或指定屏幕。例如，电子装置101可以响应于显示模块160的扩展来提供由指定功能的执行而产生的屏幕(例如，基于指定应用的执行的分屏或正在运行的应用的整个屏幕(例如，将在默认区域中显示的屏幕显示为全屏))，作为指定屏幕。根据实施例，真实空间中的电子装置101的显示模块160可以处于关闭的状态。
例如，在第二显示模式下，基于AR屏幕1400上的电子装置101的显示模块160显示的屏幕(例如，第一内容1410的显示屏幕)和通过真实空间中的电子装置101的显示模块160显示的屏幕可以是不同的，并且电子装置101的显示模块160可以不在真实空间中显示AR屏幕1400上的内容(例如，第一内容1410)。
根据实施例，可穿戴电子装置301可以进行操作以跟踪和检测用于控制与AR屏幕1400上的内容1410相关的功能的用户输入(或交互)1450，并且处理与用户输入1450对应的功能。根据实施例，当基于第二显示模式显示内容1410时，独立方法中的可穿戴电子装置301可以执行处理以基于诸如注视跟踪和对象检测的技术来跟踪和检测用户输入1450，计算在内容1410中检测到用户输入1450的点(例如，触摸点)，并执行相关功能。
根据实施例，可穿戴电子装置301可以检测针对AR屏幕1400上的内容1410的用户输入(或交互)，并且可以在可穿戴电子装置301中执行对用户输入的处理。根据实施例，可穿戴电子装置301可以从电子装置101接收与用户输入有关的信息，并且使电子装置101处理由电子装置101进行的用户输入。
图15a至图15f是示出根据实施例的电子装置或可穿戴电子装置的操作场景的示例的图。
在实施例中，图15a至图15f所示的操作可以由电子装置101或可穿戴电子装置301根据用于提供AR服务的系留方法或独立方法来执行。在下文中，为了便于描述，电子装置101或可穿戴电子装置301将被称为AR提供装置。
根据实施例，图15a至图15f可以示出以下示例：通过可穿戴电子装置301的显示模块520提供的AR屏幕中显示的内容之中的根据指定简档或用户设置(例如，用户的保护配置)的内容(例如，受保护内容或隐私内容)不被显示在真实空间中的电子装置101的显示模块160上。参考图15a，AR提供装置(例如，电子装置101或可穿戴电子装置301)可以通过可穿戴电子装置301的显示模块520向AR屏幕1500提供内容(例如，第一内容1510和第二内容1520)。根据实施例，可穿戴电子装置301可以穿戴在用户身上，并且AR提供装置可以通过可穿戴电子装置301的显示模块520在AR屏幕1500上显示叠加在真实空间的至少一部分上的至少一条内容(或虚拟信息)。例如，AR提供装置可以在与用户的视场相对应的真实空间中叠加至少一条内容(例如，第一内容1510和第二内容1520)，从而将其提供给用户。
根据实施例，在上述情况下，用户可以将电子装置101移动到通过可穿戴电子装置301的显示模块520提供的AR屏幕1500中。根据实施例，如果AR提供装置在AR屏幕1500上检测到针对电子装置101的指定交互(例如，可滚动激活交互)，则AR提供装置可以响应于指定交互提供针对虚拟区域(例如，可滚动扩展所预期的区域)的可视线索(或指南)1530。AR提供装置可以提供与电子装置101的默认区域和/或实质扩展区域相对应的虚拟窗口指南作为可视线索1530。
根据实施例，用户可以移动电子装置101，使得可视线索1530至少部分地与AR屏幕1500上的第一内容1510重叠。根据实施例，AR提供装置可以在AR屏幕1500中跟踪电子装置101(例如，跟踪对象)并且响应于电子装置101的移动而一起移动可视线索1530。根据实施例，响应于用户对电子装置101的移动，可视线索1530和第一内容1510可以在AR屏幕1500上彼此重叠。根据实施例，如果可视线索1530和第一内容1510彼此重叠，则AR提供装置可以激活重叠的第一内容1510(例如，将内容移动并显示在可视线索1530的前方)，从而将重叠的第一内容1510和剩余的非重叠内容(例如，第二内容1520)提供为被区分开。例如，AR提供装置可以突出显示并提供重叠的第一内容1510以与可视线索1530相关联，使得用户可以直观地识别重叠的第一内容1510。
根据实施例，除了通过第一内容1510的重叠进行选择之外，用户还可以改变(例如，扩展)可视线索1530，以便通过可视线索1530的重叠来进一步选择另一条内容(例如，第二内容1520)。在实施例中，AR提供装置可以响应于用户输入来扩展可视线索1530并提供可视线索1530。图15b中示出了这种情况的示例。
参考图15b，AR提供装置可以改变(例如，扩展)可视线索1530并将其提供给AR屏幕1500。根据实施例，如图15b所示，当可视线索1530被扩展时，第一内容1510和第二内容1520可以与可视线索1530重叠。根据实施例，如果可视线索1530除了第一内容1510之外还与第二内容1520重叠，则AR提供装置可以进一步激活重叠的第二内容1520(例如，将内容移动并显示在可视线索1530的前方)，从而突出显示第一内容1510和第二内容1520以与可视线索1530相关联并提供它们。
根据实施例，在上述情况下，用户可以将至少一条内容配置为受保护(或隐藏)。例如，如图15b所示，用户可以输入与第二内容1520相关联的第一交互1540(例如，保护配置交互)以将第二内容1520配置为受保护。在实施例中，对AR屏幕1500上的内容的第一交互1540可以包括用于保护指定内容的指定触摸手势(例如，长按手势)、调用和选择用于保护指定内容的菜单的交互、或者能够指示保护指定内容的基于语音的命令。根据实施例，可以至少基于与用于保护内容的交互相对应的输入或被指定为释放保护的另一交互来从保护中释放受保护(或隐藏)的内容。
在实施例中，AR提供装置可以检测第一交互1540，并且基于第一交互1520的检测，将表示(或通知)内容(例如，第二内容1520)被配置为受保护(或隐藏)的保护对象1550与对应内容相关联(或映射)地进行提供。图15c中示出了这种情况的示例。
根据实施例，图15b示出了基于用户的第一交互1540来将内容(例如，第二内容1520)配置为受保护(或隐藏)的示例。根据另一实施例，关于内容的保护(或隐藏)配置，如果内容的简档属于指定简档，则内容可以在没有用户干预(例如，第一交互1540的输入)的情况下被自动配置为受保护(或隐藏)。在实施例中，AR提供装置可以识别内容(例如，第二内容1520)是否具有指定简档，并且基于识别出内容具有指定简档，自动将指示(或通知)内容(例如，第二内容1520)被配置为受保护(或隐藏)的保护对象1550与该内容相关联(或映射)地进行提供。图15c中示出了这种情况的示例。
参考图15c，AR提供装置可以基于第一交互1540的检测或指定简档的检测，与作为相应内容的第二内容1520相关联地显示保护对象1550。例如，AR提供装置可以将保护对象1550提供为与第二内容1520相关联，使得用户可以直观地识别AR屏幕1500上提供的各种内容中的指定保护的内容。根据实施例，保护对象1550可以以各种形式提供，以直观地指示相应内容被配置为受保护(或隐藏)并且在真实空间中不可见。例如，保护对象1550可以包括静态或动态文本和/或图像，并且可以以各种形状提供。根据实施例，保护对象1550可被提供为至少部分地与对应内容重叠。
参照图15d，AR提供装置可以检测触发通过指定的目标装置显示由用户选择的至少一条内容(例如，第一内容1510或第二内容1520)的操作(例如，操作触发器)的第二交互1560。例如，用户可以在AR屏幕1500上选择和确定第一内容1510和第二内容1520，并且输入指定的第二交互1560(例如，可滚动扩展手势、另一指定的触摸手势或基于语音的命令)以用于通过目标装置显示所选择的第一内容1510和第二内容1520。
根据实施例，AR提供装置可以基于第二交互1560的检测来确定用于显示内容的目标装置。根据实施例，AR提供装置可以确定与用于显示由用户选择的内容的目标装置相对应的显示模式(例如，第一显示模式或第二显示模式)。例如，AR提供装置可以基于内容的处理实体来确定显示模式和与其对应的目标装置。
根据实施例，AR提供装置可以通过目标装置提供与第一显示模式或第二显示模式相对应的内容。例如，AR提供装置可以以第一显示模式显示内容，其中，在第一显示模式下，通过真实空间中的基于电子装置101的显示模块160的真实显示区域来提供内容。作为另一示例，AR提供装置可以以第二显示模式显示内容，其中，在第二显示模式下，通过可穿戴电子装置301的AR屏幕1500中的基于电子装置101配置的虚拟显示区域来映射和提供内容。在图15e和图15f中示出了这种情况的示例。
根据实施例，图15e可以示出根据第一显示模式提供内容的示例。参考图15e，基于第一显示模式的确定，AR提供装置可以执行处理以基于与电子装置101的显示模块160相对应的实质显示区域(例如，默认区域和通过滑出而扩展的扩展区域)，在由用户在AR屏幕1500上选择和确定的内容(例如，第一内容1510和第二内容1520)之中显示未被配置为受保护的第一内容1510并且不显示被配置为受保护的第二内容1520(例如，受保护内容或隐藏内容)。
根据实施例，根据第一显示模式，AR提供装置可以进行操作以通过真实空间中的电子装置101的显示模块160继续显示由用户在AR屏幕1500上选择和确定的第一内容1510和第二内容1520，使得在显示模块160上仅显示第一内容1510，而不显示在AR屏幕1500中被配置为受保护的第二内容1520。
如图15e所示，电子装置101可以打开并扩展显示模块160，在显示模块160的指定区域(例如，默认区域和/或扩展区域)之中，在用于第一内容1510的区域(例如，第一扩展区域)中显示第一内容1510，而不在用于第二内容1520的区域(例如，第二扩展区域)中显示第二内容1520，并且提供作为空的空间或停用(或关闭)的第二扩展区域1525。
根据实施例，图15f可以示出根据第二显示模式提供内容的示例。
参考图15f，基于第二显示模式的确定，AR提供装置可以执行处理以基于通过可穿戴电子装置301的显示模块520提供的AR屏幕1500上的与电子装置101相关联的虚拟区域来显示内容(例如，第一内容1510和第二内容1520)。例如，AR提供装置可以执行处理以根据第二显示模式来显示未被配置为受保护的第一内容1510和被配置为受保护的第二内容1520(例如，受保护内容或隐藏内容)两者。
根据实施例，根据第二显示模式，AR提供装置可以进行操作以将由用户从AR屏幕1500选择和确定的第一内容1510和第二内容1520映射(例如，纹理映射)到位于AR屏幕1500上显示的真实空间中的电子装置101的默认区域、电子装置101的扩展区域和/或与电子装置101相邻产生的虚拟区域，并在其上显示它们。
如图15f所示，电子装置101可以打开并扩展显示模块160，在显示模块160的指定区域(例如，默认区域和/或扩展区域)之中，在用于第一内容1510的区域(例如，第一扩展区域)中显示第一内容1510，并且在用于第二内容1520的区域(例如，第二扩展区域)中显示第二内容1520。例如，AR提供装置可以根据第二显示模式通过AR屏幕1500(例如，虚拟空间)内的电子装置101的默认区域、其扩展区域和/或虚拟区域中的全部或至少一部分来映射和显示由用户选择和确定的第一内容1510和第二内容1520。
根据实施例，元素1590可以示出在真实空间中观看的电子装置101而不是在通过可穿戴电子装置301的显示模块520提供的AR屏幕1500上的电子装置101的显示模块160的显示状态的示例。如所示出的，电子装置101可通过默认区域或整个区域显示在图15a中所示的正在电子装置101中执行(或操作)的屏幕，或者保持默认区域中的显示，并向与显示模块160的扩展相对应的扩展区域1595(例如，通过滑出扩展的区域)提供空白屏幕或指定屏幕。例如，电子装置101可以响应于显示模块160的扩展来提供由指定功能的执行而产生的屏幕(例如，基于指定应用的执行的分屏或正在运行的应用的整个屏幕(例如，将在默认区域中显示的屏幕显示为全屏))，作为指定屏幕。根据实施例，真实空间中的电子装置101的显示模块160可以处于关闭的状态。
例如，在第二显示模式下，基于AR屏幕1500上的电子装置101的显示模块160显示的屏幕(例如，第一内容1410的显示屏幕)和通过真实空间中的电子装置101的显示模块160显示的屏幕可以是不同的，并且电子装置101的显示模块160可以不在真实空间中显示AR屏幕1500上的内容(例如，第一内容1410)。
根据实施例，AR提供装置可以根据在AR屏幕1500上选择和确定的内容(例如，第一内容1510和第二内容1520)是否被配置为受保护，将基于电子装置101的显示和基于可穿戴电子装置301的显示提供为是不同的。例如，如图15e所示，被配置为受保护的内容(例如，第二内容1520)可以不通过真实空间中的电子装置101的显示模块160显示。例如，如图15f所示，被配置为受保护的内容(例如，第二内容1520)可以被映射和显示到仅在AR屏幕1500的用户虚拟空间中的电子装置101的显示模块160上，使得仅穿戴可穿戴电子装置301的用户能够看到该内容。
图16是示出根据实施例的电子装置和可穿戴电子装置之间的操作方法的图。
在实施例中，图16所示的操作可以示出在电子装置101和可穿戴电子装置301基于系留方法提供AR服务的环境中，基于显示模式(例如，第一显示模式或第二显示模式)通过电子装置101或可穿戴电子装置301提供内容的示例。
下面将要描述的由电子装置101执行的操作可以由电子装置101的处理器120执行，该处理器120包括电子装置101的各种处理电路和/或可执行程序元件。下面将要描述的由可穿戴电子装置301执行的操作可以由可穿戴电子装置301的处理器590执行，该处理器590包括可穿戴电子装置301的各种处理电路和/或可执行程序元件。
参照图16，在操作1601中，可以通过指定的通信方法连接电子装置101和可穿戴电子装置301。例如，电子装置101和可穿戴电子装置301可以通过有线或无线通信连接(例如，配对)。例如，电子装置101和可穿戴电子装置301可以通过短距离无线通信(诸如蓝牙、蓝牙低功耗、Wi-Fi、Wi-Fi直连或超宽带(UWB))或有线通信(诸如USB)彼此连接。根据实施例，电子装置101可以包括智能电话、平板个人计算机(PC)和/或笔记本计算机。根据实施例，可穿戴电子装置301可以包括AR眼镜、智能眼镜或头戴式显示器(HMD)。
在操作1603中，电子装置101(或电子装置101的处理器120)可以执行用于AR服务的相关应用。例如，电子装置101可以基于用于操纵电子装置101中的应用的执行的用户输入或者从可穿戴电子装置301接收到用于指示应用的执行的请求来执行应用。
在操作1605中，电子装置101可以基于应用的执行，将内容发送到可穿戴电子装置301。例如，电子装置101可以处理用于AR服务的内容。根据实施例，电子装置101可以通过指定的通信向可穿戴电子装置301发送相关内容数据，以在可穿戴电子装置301上显示内容。
在操作1607中，可穿戴电子装置301(或可穿戴电子装置301的处理器590)可以在AR屏幕上显示内容。例如，可穿戴电子装置301可以处于被穿戴在用户身体(例如，面部)上的状态，并且从电子装置101接收的内容可以叠加在真实世界上并通过显示模块520显示为单个图像(例如，AR屏幕)。根据实施例，可穿戴电子装置301可以从电子装置101接收内容(例如，图像数据或AR图像)，并通过显示模块520将接收到的内容与真实世界中的各种对象一起显示。
在操作1609中，可穿戴电子装置301可以产生AR信息。例如，AR信息可以包括关于由可穿戴电子装置301在AR屏幕上识别的目标对象的信息、与根据AR屏幕上的用户手势输入和/或眼睛跟踪的用户动作相关的交互信息、关于在AR屏幕上识别的对象的对象信息、关于在AR屏幕上识别的对象的位置信息(例如，坐标和/或空间信息)、和/或关于在AR屏幕上显示的内容的位置信息中的至少一条信息。
根据实施例，交互可以包括识别电子装置101进入通过可穿戴电子装置301的显示模块520提供的AR屏幕的真实空间的第一交互、识别在电子装置101进入之后由用户使用电子装置101输入的指定手势(例如，滑出手势或可滚动扩展手势)的第二交互、或者识别在电子装置101进入之后由用户通过电子装置101输入到AR屏幕上的指定菜单操纵手势(例如，触摸输入)的第三交互。
在实施例中，第二交互可以包括实质地扩展电子装置101的扩展区域的手势。在另一实施例中，第二交互可以不是电子装置101的扩展区域的实质扩展。例如，用户可以仅输入扩展手势而不实质地扩展电子装置101，并且可穿戴电子装置301可以识别用户的手势以识别第二交互。在实施例中，可穿戴电子装置301可以基于AR屏幕上的用户手检测和/或手跟踪，检测根据第二交互和/或第三交互的用户的手势。
在操作1611中，可穿戴电子装置301可以向电子装置101发送AR信息。例如，可穿戴电子装置301可以通过指定的通信向电子装置101发送AR信息。根据实施例，可以实时地、周期性地或至少基于根据AR屏幕上的各种状态变化获得新信息的时间来发送AR信息。
在操作1613中，电子装置101可以检测指定交互。例如，电子装置101可以从可穿戴电子装置301接收AR信息，并分析接收到的AR信息以检测指定交互。在实施例中，指定交互可指示用于确定用于显示内容的显示模式的操作触发器。根据实施例，当通过可穿戴电子装置301在AR屏幕上显示内容时，电子装置101可以基于AR信息来识别电子装置101被定位在用户的注视上的指定交互(或触发)。
根据实施例，电子装置101可以基于AR信息识别电子装置101进入通过可穿戴电子装置301的显示模块520提供的AR屏幕的真实空间的第一交互、与在电子装置101进入之后由用户使用电子装置101输入的指定手势(例如，滑出手势或可滚动扩展手势)相关的第二交互、或者与在电子装置101进入之后由用户通过电子装置101输入到AR屏幕上的指定菜单操纵手势(例如，触摸输入)相关的第三交互。
在操作1615中，电子装置101可以基于指定交互的检测来确定内容的显示模式。例如，电子装置101可以检测(或识别)指定交互，并且响应于检测到指定交互，将用于显示内容的显示模式确定为对应于至少一个指定条件。根据实施例，电子装置101可以至少基于用于处理与AR服务相关地正被运行的内容的处理实体和/或指定简档来确定用于显示内容的显示模式。
根据实施例，如果电子装置101检测到指定交互，则电子装置101可以根据用于处理与AR服务相关地正被运行的内容的处理实体来确定用于显示关于内容的信息的显示模式(例如，第一显示模式或第二显示模式)。根据各种实施例，根据内容的处理实体，显示模式可以包括通过电子装置101的显示模块160显示AR屏幕上的内容的第一显示模式(例如，包括基于镜像的显示模式)或通过可穿戴电子装置301的显示模块520在虚拟空间(例如，AR屏幕)中将AR屏幕上的内容映射到AR屏幕上的电子装置101并在其中显示该内容的第二显示模式。
例如，在系留方法的情况下，内容或内容的应用的处理实体可以是电子装置101，并且第一显示模式可以被确定为内容的显示模式。例如，即使在系留方法中，如果可穿戴电子装置301能够根据内容的属性执行处理(例如，处理实体的切换)，或者如果根据用户的意图(例如，继续使用AR环境)将用于显示内容的目标装置明确地指定为可穿戴电子装置301，则可以将第二显示模式确定为内容的显示模式。
根据实施例，在独立方法的情况下，内容或内容的应用的处理实体可以是可穿戴电子装置301，并且第二显示模式可以被确定为内容的显示模式。例如，即使在独立方法中，如果电子装置101能够根据内容的属性执行处理(例如，处理实体的切换)，或者如果根据用户的意图将显示内容的目标装置明确地指定为电子装置101(例如，电子装置101的显示模块160在真实空间中的镜像或实质扩展)，则可以将第一显示模式确定为用于显示内容的显示模式。
根据实施例，根据处理实体确定的显示模式可以根据内容的简档是否对应于预先指定的简档而变化。例如，如果内容对应于指定简档，则无论处理实体是电子装置101还是可穿戴电子装置301，都可以确定用于相应内容(例如，指定简档的内容)的使用虚拟空间的显示模式(例如，第二显示模式)。
在操作1617中，基于确定结果，电子装置101可以确定显示模式是第一显示模式还是第二显示模式。根据实施例，基于所确定的显示模式(例如，第一显示模式或第二显示模式)，电子装置101可以进行操作以通过电子装置101的显示模块160显示内容(例如，第一显示模式)或者通过可穿戴电子装置301的显示模块520在AR屏幕上显示内容(例如，第二显示模式)。
如果在操作1617中确定显示模式是第一显示模式，则在操作1621中，电子装置101可以基于电子装置101的显示模块160的指定区域来配置活动窗口。例如，电子装置101可以在显示模块160中的实质显示区域(例如，默认区域和/或根据滑出扩展的扩展区域)中确定与针对AR屏幕上的内容所确定的位置和/或尺寸相对应的区域，作为用于显示内容的指定区域。电子装置101可以识别显示模块160中的指定区域(例如，识别默认区域和/或扩展区域)并且将指定区域配置为用于内容的活动窗口。
根据实施例，如果显示模式被确定为第一显示模式，则电子装置101可以进行操作以向可穿戴电子装置301提供指示在第一显示模式下的操作的信息，并通过可穿戴电子装置301显示该信息。例如，基于第一显示模式的确定，电子装置101可以进行操作以通过可穿戴电子装置301显示指南，从而将其提供给用户，其中，该指南声明由于切换到第一显示模式而要通过电子装置101来显示内容，使得可穿戴电子装置301将被取下。
根据实施例，基于第一显示模式的确定，电子装置101可连同指南一起或在指南之后向可穿戴电子装置301发送指示停止显示可穿戴电子装置301的屏幕的相关命令(例如，关闭显示模块520或可穿戴电子装置301)。例如，可穿戴电子装置301可以进行操作以从电子装置101接收指南和控制命令，将指南显示预定时间段，然后根据控制命令停止显示屏幕。作为另一示例，如果可穿戴电子装置301被用户取下，则可穿戴电子装置301可以进行操作以自动停止显示屏幕。
在操作1623中，电子装置101可以通过显示模块160中的活动窗口提供(例如，显示)内容。
在操作1625中，电子装置101可以处理通过电子装置101输入的用户交互(例如，基于所显示的内容的用户的触摸输入)。根据实施例，电子装置101可以进行操作以检测用于控制与通过显示模块160显示的内容相关的功能的用户交互，并处理与用户交互对应的功能。根据实施例，电子装置101可以识别在内容中检测到用户交互的点(例如，触摸点)，基于识别的结果(例如，触摸输入坐标)处理其以执行相关功能，并且通过显示模块160根据处理结果来显示内容。
如果在操作1617中确定显示模式是第二显示模式，则在操作1631中，电子装置101可以基于AR屏幕的电子装置101来映射活动窗口。例如，电子装置101可以基于AR信息识别AR屏幕上的电子装置101的状态(例如，位置、其是否被扩展和/或其是否被虚拟扩展)，并且基于识别结果确定用于在AR屏幕上显示内容的虚拟区域的信息(例如，位置和/或尺寸)。根据实施例，电子装置101可以基于所确定的关于虚拟区域的信息来映射活动窗口。
在操作1633中，电子装置101可将映射信息发送到可穿戴电子装置301。例如，电子装置101可以产生与活动窗口的映射相关的映射信息，并通过指定的通信将映射信息发送到可穿戴电子装置301。
在操作1635中，可穿戴电子装置301可以通过AR屏幕上的活动窗口提供内容。例如，可穿戴电子装置301可以从电子装置101接收映射信息，并且基于映射信息，基于AR屏幕上的电子装置来映射活动窗口。根据实施例，可穿戴电子装置301可以进行操作以基于AR屏幕的活动窗口来映射和显示内容。
在操作1637中，可穿戴电子装置301可以处理输入到AR屏幕上的用户交互(例如，基于在AR屏幕上显示的内容输入的用户手势)。根据实施例，可穿戴电子装置301可以跟踪和检测用于控制与AR屏幕上的内容相关的功能的用户交互。根据实施例，可穿戴电子装置301可以基于诸如注视跟踪和对象识别的技术来跟踪和检测用户输入，计算在AR屏幕上的内容中检测到用户交互的点(例如，触摸点)，并且将相关信息(或交互输入信息)(例如，坐标和/或空间信息)发送到电子装置101。
根据实施例，电子装置101可以基于从可穿戴电子装置301接收的相关信息来识别AR屏幕的内容中检测到用户交互的点(例如，触摸点)，基于识别的结果执行处理以执行相关功能，并根据处理结果将内容数据发送到可穿戴电子装置301。根据实施例，可穿戴电子装置301可以从电子装置101接收内容数据并将接收到的内容数据反映到AR屏幕上的内容，从而显示其结果屏幕(例如，内容数据被映射到AR屏幕上的电子装置101的屏幕)。
根据实施例，即使在第二显示模式下，可穿戴电子装置301也可以通过电子装置101对AR屏幕上的内容执行用户交互。例如，即使在第二显示模式下，用户也可以在真实空间中通过电子装置101执行用户交互，并且电子装置101可以处理与用户交互相对应的功能，并且可以通过连接可穿戴电子装置301和电子装置101的指定通信将相关内容数据发送到可穿戴电子装置301。可穿戴电子装置301可以进行操作以从电子装置101接收并显示根据用户交互处理的内容数据，从而提供在电子装置101中的用户交互的处理结果。
图17是示出根据实施例的电子装置和可穿戴电子装置之间的操作方法的图。
在实施例中，图17所示的操作可以示出在可穿戴电子装置301基于独立方法提供AR服务的环境中，基于显示模式(例如，第一显示模式或第二显示模式)通过电子装置101或可穿戴电子装置301提供内容的示例。
下面将要描述的由可穿戴电子装置301执行的操作可以由可穿戴电子装置301的处理器590执行，该处理器590包括可穿戴电子装置301的各种处理电路和/或可执行程序元件。下面将要描述的由电子装置101执行的操作可以由电子装置101的处理器120执行，该处理器120包括电子装置101的各种处理电路和/或可执行程序元件。
参照图17，在操作1701中，可以通过指定的通信方法连接电子装置101和可穿戴电子装置301。例如，电子装置101和可穿戴电子装置301可以通过有线或无线通信连接(例如，配对)。例如，电子装置101和可穿戴电子装置301可以通过短距离无线通信(诸如蓝牙、蓝牙低功耗、Wi-Fi、Wi-Fi直连或超宽带(UWB))或有线通信(诸如USB)彼此连接。根据实施例，电子装置101可以包括智能电话、平板PC和/或笔记本计算机。根据实施例，可穿戴电子装置301可以包括AR眼镜、智能眼镜或头戴式显示器(HMD)。
在操作1703中，可穿戴电子装置301(或可穿戴电子装置301的处理器590)可以执行AR服务。例如，可穿戴电子装置301可以基于用于操纵可穿戴电子装置301中的应用的执行的用户输入或者从电子装置101接收到用于指示执行AR服务的请求来执行与AR服务相关的应用。
在操作1705中，可穿戴电子装置301可以基于AR服务的执行，在AR屏幕上显示内容。例如，可穿戴电子装置301可以处理用于AR服务的内容。根据实施例，可穿戴电子装置301可以处于被穿戴在用户身体(例如，面部)上的状态，并且通过显示模块520将内容(例如，图像数据或AR图像)与真实世界中的各种对象一起显示。
在操作1707中，可穿戴电子装置301可以检测指定交互。在实施例中，指定交互可指示用于确定用于显示内容的显示模式的操作触发器。根据实施例，可穿戴电子装置301可以在AR屏幕上显示内容时识别电子装置101被定位在用户的注视上的指定交互(或触发)。例如，可穿戴电子装置301可以识别电子装置101进入通过可穿戴电子装置301的显示模块520提供的AR屏幕的真实空间的第一交互、与在电子装置101进入之后由用户使用电子装置101输入的指定手势(例如，滑出手势或可滚动扩展手势)相关的第二交互、或者与在电子装置101进入之后由用户通过电子装置101输入到AR屏幕上的指定菜单操纵手势(例如，触摸输入)相关的第三交互。
在操作1709中，可穿戴电子装置301可以基于指定交互的检测来确定内容的显示模式。例如，可穿戴电子装置301可以检测(或识别)指定交互，并且响应于检测到指定交互，将用于显示内容的显示模式确定为对应于至少一个指定条件。根据实施例，可穿戴电子装置301可以至少基于用于处理与AR服务相关地正在运行的内容的处理实体和/或指定简档来确定用于显示内容的显示模式。
根据实施例，如果可穿戴电子装置301检测到指定交互，则可穿戴电子装置可以根据用于处理与AR服务相关地正在运行的内容的处理实体来确定用于显示关于内容的信息的显示模式(例如，第一显示模式或第二显示模式)。根据各种实施例，根据内容的处理实体，显示模式可以包括通过电子装置101的显示模块160显示AR屏幕上的内容的第一显示模式(例如，包括基于镜像的显示模式)或通过可穿戴电子装置301的显示模块520在虚拟空间(例如，AR屏幕)中将AR屏幕上的内容映射到AR屏幕上的电子装置101并在其中显示该内容的第二显示模式。
例如，在系留方法的情况下，内容或内容的应用的处理实体可以是电子装置101，并且第一显示模式可以被确定为内容的显示模式。作为另一示例，即使在系留方法中，如果可穿戴电子装置301能够根据内容的属性执行处理(例如，处理实体的切换)，或者如果根据用户的意图(例如，继续使用AR环境)将用于显示内容的目标装置明确地指定为可穿戴电子装置301，则可以将第二显示模式确定为内容的显示模式。
根据另一实施例，在独立方法的情况下，内容或内容的应用的处理实体可以是可穿戴电子装置301，并且第二显示模式可以被确定为内容的显示模式。作为另一示例，即使在独立方法中，如果电子装置101能够根据内容的属性执行处理(例如，处理实体的切换)，或者如果根据用户的意图将显示内容的目标装置明确地指定为电子装置101(例如，电子装置101的显示模块160在真实空间中的镜像或实质扩展)，则可以将第一显示模式确定为用于显示内容的显示模式。
根据实施例，根据处理实体确定的显示模式可以根据内容的简档是否对应于预先指定的简档而变化。例如，如果内容对应于指定简档，则无论处理实体是电子装置101还是可穿戴电子装置301，都可以确定用于相应内容(例如，指定简档的内容)的使用虚拟空间的显示模式(例如，第二显示模式)。
在操作1711中，基于确定结果，可穿戴电子装置301可以确定显示模式是第一显示模式还是第二显示模式。根据实施例，基于所确定的显示模式(例如，第一显示模式或第二显示模式)，可穿戴电子装置301可以进行操作以通过电子装置101的显示模块160显示内容(例如，第一显示模式)或者通过可穿戴电子装置301的显示模块520在AR屏幕上显示内容(例如，第二显示模式)。
如果在操作1711中确定显示模式是第二显示模式，则在操作1721中，可穿戴电子装置301可以基于AR屏幕上的指定区域来映射内容。例如，可穿戴电子装置301可以将AR屏幕上的与电子装置101相关联的显示区域(例如，默认区域和/或根据滑出而扩展的扩展区域)和/或虚拟显示区域之中的与针对AR屏幕上的内容确定的位置和/或尺寸相对应的区域确定为用于显示内容的指定区域。可穿戴电子装置301可以识别指定区域(例如，识别默认区域、扩展区域和/或虚拟区域)，基于指定区域为内容配置活动窗口，并将内容映射到活动窗口。
在操作1723中，可穿戴电子装置301可以通过AR屏幕上的活动窗口提供(例如，显示)内容。
在操作1725中，可穿戴电子装置301可以处理输入到AR屏幕上的用户交互(例如，基于在AR屏幕上显示的内容输入的用户手势)。根据实施例，可穿戴电子装置301可以跟踪和检测用于控制与AR屏幕上的内容相关的功能的用户交互。根据实施例，可穿戴电子装置301可以基于诸如注视跟踪和对象识别的技术来跟踪和检测用户交互，识别AR屏幕的内容中检测到用户交互的点(例如，触摸点)(例如，识别交互输入信息)，基于识别的结果(例如，触摸输入坐标)执行处理以执行相关功能，并根据处理结果将内容映射到AR屏幕(例如，活动窗口)，从而显示该内容。
根据实施例，即使在第二显示模式下，可穿戴电子装置301也可以通过电子装置101对AR屏幕上的内容执行用户交互。例如，即使在第二显示模式下，用户也可以在真实空间中通过电子装置101执行用户交互，并且电子装置101可以计算检测到用户交互的点(例如，触摸点)并通过连接可穿戴电子装置301和电子装置101的指定通信将相关信息(或交互输入信息)(例如，坐标和/或空间信息)发送到可穿戴电子装置301。可穿戴电子装置301可以进行操作以从电子装置101接收相关信息，基于接收到的相关信息识别AR屏幕上的内容中检测到用户交互的点(例如，触摸点)，基于识别出的结果执行处理以执行相关功能，将处理结果反映到内容，并显示其结果屏幕(例如，内容被映射到AR屏幕上的电子装置101的屏幕)。
如果在操作1711中显示模式被确定为第一显示模式，则在操作1731中，可穿戴电子装置301可以基于AR屏幕的电子装置101来映射内容。例如，可穿戴电子装置301可以识别AR屏幕上的电子装置101的状态(例如，位置、其是否被扩展和/或其是否被虚拟扩展)或识别指定的用户意图(例如，执行镜像)，并且基于识别结果，确定关于用于在AR屏幕的电子装置101中显示内容的显示区域的信息(例如，位置和/或尺寸)。根据实施例，可穿戴电子装置301可以基于所确定的关于显示区域的信息来映射内容。
根据实施例，如果显示模式被确定为第一显示模式，则可穿戴电子装置301可以进行操作以向AR屏幕提供指示在第一显示模式下的操作的信息。例如，基于第一显示模式的确定，可穿戴电子装置301可在AR屏幕上显示指南，从而将其提供给用户，其中，该指南声明由于切换到第一显示模式而要通过电子装置101来显示内容，使得可穿戴电子装置301将被取下。
根据实施例，基于第一显示模式的确定，可穿戴电子装置301可连同指南一起或者在指南之后停止显示可穿戴电子装置301的屏幕(例如，关闭显示模块520)。例如，可穿戴电子装置301可以进行操作以在显示指南达预定时间段之后停止显示屏幕。作为另一示例，如果可穿戴电子装置301被用户取下，则可穿戴电子装置301可以进行操作以自动停止显示屏幕。根据实施例，在停止屏幕显示的同时，可穿戴电子装置301可以通过连接可穿戴电子装置301和电子装置101的指定通信来继续执行与电子装置101的关于内容的处理的通信，作为内部(或后台)操作。例如，可穿戴电子装置301可以进行以下操作：通过指定的通信从电子装置101接收交互输入信息，处理与其对应的内容，并将处理结果发送到电子装置101。
在操作1733中，可穿戴电子装置301可以向电子装置101发送映射信息。例如，可穿戴电子装置301可以产生与内容映射相关的映射信息，并通过指定的通信将映射信息发送到电子装置101。
在操作1735中，电子装置101可以基于映射信息识别显示模块160上的指定区域。例如，电子装置101可以从可穿戴电子装置301接收映射信息，并分析映射信息以识别用于在电子装置101的显示模块160中显示内容的指定区域。例如，电子装置101可以基于映射信息确定用于在电子装置101的显示模块160中显示内容的显示区域(例如，默认区域和/或扩展区域)。
在操作1737中，电子装置101可以基于显示模块160中的指定区域来配置用于内容的活动窗口。
在操作1739中，电子装置101可以通过显示模块160中的活动窗口提供(例如，显示)内容。
在操作1741中，电子装置301可以处理通过电子装置101输入的用户交互(例如，基于所显示的内容的用户的触摸输入)。根据实施例，电子装置101可以进行操作以检测用于控制与通过显示模块160显示的内容相关的功能的用户交互，并处理与用户交互对应的功能。
根据实施例，电子装置101可以识别在内容中检测到用户交互的点(例如，触摸点)，并基于识别的结果来执行处理以执行相关功能。根据实施例，电子装置101可以通过显示模块160根据处理结果来显示内容。根据实施例，电子装置101可以通过显示模块160检测用户交互(例如，触摸输入)，并且计算在通过显示模块160提供的内容中检测到用户交互的点(例如，触摸点)。根据实施例，电子装置101可以将关于检测到用户交互的点的相关信息(或交互输入信息)(例如，坐标和/或空间信息)发送到可穿戴电子装置301。
根据实施例，可穿戴电子装置301可以基于从电子装置101接收的相关信息来识别在AR屏幕的内容中检测到用户交互的点(例如，触摸点)，并且基于识别的结果来执行处理以执行相关功能。根据实施例，可穿戴电子装置301可以根据处理结果向电子装置101发送内容数据。
根据实施例，电子装置101可以从可穿戴电子装置301接收内容数据。根据实施例，电子装置101可以将接收到的内容数据反映到显示模块160上的内容，从而显示其结果屏幕(例如，反映内容数据的屏幕)。
图18a、图18b和图18c是示出根据实施例的在电子装置与可穿戴电子装置之间操作显示模式的示例的图。
在实施例中，图18a、图18b和图18c可以示出在电子装置101和可穿戴电子装置301基于系留方法或独立方法提供AR服务的环境中，基于第一显示模式的确定，通过电子装置101提供内容的示例。根据实施例，图18a、图18b和图18c可以示出电子装置101的形状规格是可滚动类型的示例。
参考图18a，图18a可以示出电子装置101进入通过可穿戴电子装置301的显示模块520的AR屏幕1800并且用户在AR屏幕1800上执行针对电子装置101的指定交互(例如，可滚动激活交互)的示例。例如，用户可以将电子装置101移动到AR屏幕1800中，然后使用电子装置101输入指定的手势(例如，滑出手势或可滚动扩展手势)。
在实施例中，指定手势可以包括实质地扩展电子装置101的扩展区域(例如，实质地滑出电子装置101的显示模块160)的手势。在实施例中，指定手势可以不是电子装置101的扩展区域的实质扩展。例如，用户可以仅输入扩展手势而不实质地扩展电子装置101。在实施例中，可以基于AR屏幕1800上的用户的手检测和/或手跟踪来检测指定手势。
参照图18b和图18c，图18b和图18c可以示出基于显示模式被确定为第一显示模式，在真实空间(例如，第一显示模式)中通过电子装置101的实际显示模块160提供正在通过AR屏幕1800操作(例如，显示)的内容的示例。
在实施例中，图18b可以示出电子装置101的显示模块160响应于指定交互而扩展并且通过显示模块160的扩展区域B来显示正在AR屏幕1800上操作的内容1810的示例。根据实施例，电子装置101可以保持显示模块160的默认区域A的现有状态，并且提供根据指定交互扩展的扩展区域B作为用于显示内容1810的活动窗口。
在实施例中，图18c可以示出电子装置101的显示模块160响应于指定交互而扩展并且通过显示模块160的包括默认区域A和扩展区域B的整个区域来显示正在AR屏幕1800上操作的内容1820的示例。例如，用户的指定交互可以反映用户扩展屏幕的明确意图。因此，电子装置101可以提供显示模块160的包括默认区域A和扩展区域B的整个区域(例如，默认区域A+扩展区域B)作为用于显示内容1820的活动窗口。
根据实施例，可以基于根据用户的意图的可视线索与内容的重叠状态(或重叠区域)在电子装置101的默认区域A、扩展区域B或整个区域(例如，默认区域A+扩展区域B)中的至少一个中配置活动窗口。根据实施例，如果内容1810和1820与可视线索重叠，则可以基于扩展区域B配置活动窗口，使得相应的内容将在电子装置101的扩展区域B中被显示。根据实施例，如果内容1810和1820与电子装置101(例如，电子装置101的默认区域A)和AR屏幕上的可视线索两者重叠，则可以基于电子装置101的整个区域(例如，默认区域A+扩展区域B)来配置活动窗口，使得相应的内容将在整个区域中被显示。根据实施例，如果一条内容1810或1820被布置在可视线索中，则可以基于电子装置101的整个区域(例如，默认区域A+扩展区域B)来配置活动窗口，使得相应的内容将在整个区域中被显示。
根据实施例，如果多条内容(例如，第一内容和第二内容)与可视线索重叠，则可以基于默认区域A和扩展区域B中的每一个来配置活动窗口，使得多条内容将在电子装置101的默认区域A和扩展区域B中被单独显示。根据实施例，多条内容中的一条内容(例如，第一内容)与可视线索重叠，并且如果其中的另一条内容(例如，第二内容)与电子装置101(例如，电子装置101的默认区域A)重叠，例如，如果根据用户的意图布置每条内容，则可以在扩展区域B中配置用于第一内容的第一活动窗口，并且可以在默认区域A中配置用于第二内容的第二活动窗口，以便将第一内容和第二内容显示为符合根据用户意图的布置。
根据实施例，可以通过用户输入(例如，可视线索扩展交互)来改变(例如，扩展)可视线索。根据实施例，如果一条内容(例如，第一内容)被布置在扩展的可视线索中(例如，与扩展的可视线索重叠)，则电子装置101的显示模块160可以被扩展以对应于扩展的可视线索，并且活动窗口可以被配置，以便通过包括扩展的扩展区域B和默认区域A的整个区域(例如，默认区域A+扩展区域B)在整个扩展屏幕上显示一条内容。根据实施例，如果多条内容(例如，第一内容和第二内容)被布置在扩展的可视线索中(例如，与扩展的可视线索重叠)，则可以在默认区域A和扩展区域B中的每一个中配置活动窗口，以便分别在默认区域A和扩展区域B中显示多条内容，或者可以在扩展区域中配置至少一个活动窗口，以便在与扩展的可视线索相对应的扩展区域B中显示多条内容。
根据实施例，如果电子装置101和/或可穿戴电子装置301确定在AR服务的操作期间基于第一显示模式来显示内容，则它可以进行操作以停止显示可穿戴电子装置301的AR屏幕1800，通过电子装置101的显示模块160的默认区域和/或扩展区域为正在AR屏幕上显示的内容配置指定的活动窗口，并且基于配置的活动窗口来显示该内容。
图19a和图19b是示出根据实施例的在电子装置与可穿戴电子装置之间操作显示模式的示例的图。
在实施例中，图19a和图19b可以示出在电子装置101和可穿戴电子装置301基于系留方法或独立方法提供AR服务的环境中，基于第二显示模式的确定，通过可穿戴电子装置301提供内容的示例。根据实施例，图19a和图19b可以示出电子装置101的形状规格是可滚动类型的示例。
参考图19a，图19a可以示出将内容1910映射(例如，纹理映射)到AR屏幕1900上的电子装置101的扩展区域并显示内容1910的示例。参考图19b，图19b示出了在真实空间中观看的电子装置101的状态，其可如所示出的，示出在真实空间中的电子装置101的扩展区域中不显示内容的状态的示例。
如图19a和图19b所示，如果电子装置101和/或可穿戴电子装置301确定在AR服务的操作期间基于第二显示模式来显示内容，则可以仅通过可穿戴电子装置301的AR屏幕1900(例如，通过AR屏幕1900上的电子装置101的显示模块160的扩展区域)与电子装置101相关联地显示内容1910。与此不同，真实空间中的电子装置101可以将相应的区域(例如，扩展区域)提供为空白空间或非活动空间(或被关闭)(1920)，而不是显示通过AR屏幕1900显示的内容1910。
根据实施例，如图19a和图19b所示，穿戴可穿戴电子装置301的第一用户可以检查和控制AR屏幕1900上的内容1910，而真实空间中的至少一个第二用户不能通过电子装置101检查内容1910。
根据实施例，当基于第二显示模式向AR屏幕1900提供内容1910时，电子装置101和/或可穿戴电子装置301还可以对AR屏幕1900上的电子装置101的显示模块160中的内容1910被映射到的区域提供图形处理。例如，为了确保用户的可见性，可以虚拟地改变AR屏幕1900上的电子装置101的显示模块160中的内容1910被映射到的区域的颜色(例如，背景颜色)。例如，可以提供图形效果，该图形效果将内容1910被映射并显示的区域的背景提供为与内容1910的代表性颜色(例如，主色)形成对比的颜色。
图20a、图20b和图20c是示出根据实施例的操作电子装置与可穿戴电子装置之间的内容镜像和交互的示例的图。
在实施例中，图20a、图20b和图20c可以示出在电子装置101和可穿戴电子装置301基于系留方法或独立方法提供AR服务的环境中，通过可穿戴电子装置301执行AR屏幕上的至少一条内容到电子装置101的镜像，并且基于通过电子装置101输入的交互来控制AR屏幕上的至少一条内容的示例。
根据实施例，电子装置101和/或可穿戴电子装置301可以在根据第二显示模式通过AR屏幕显示内容的同时，基于用户的意图来执行镜像功能。例如，用户可以处于通过仅在可穿戴电子装置301中可操作的应用使用AR服务的状态。根据实施例，用户可以激活镜像功能以通过电子装置101的显示模块160显示AR屏幕上的内容。在实施例中，镜像功能可以包括例如这样的功能：在通过AR屏幕显示内容的同时，根据在可穿戴电子装置301中可操作的应用来将内容(例如，镜像内容)镜像在电子装置101上，从而也通过电子装置101的显示模块160显示内容。
根据实施例，可穿戴电子装置301可以将用户可通过可穿戴电子装置301检查和控制的各种控制信息(例如，部件、对象和/或窗口)镜像在电子装置101上以在电子装置101上显示。
根据实施例，镜像功能可以使可穿戴电子装置301能够对内容执行处理，并且使电子装置101能够显示从可穿戴电子装置301发送(或镜像)的内容。
参照图20a、图20b和图20c，电子装置101可以通过显示模块160显示从可穿戴电子装置301发送的内容2010。根据实施例，用户可以使用电子装置101来控制在可穿戴电子装置301的AR屏幕上显示的内容。例如，用户可以基于在电子装置101的显示模块160上显示的内容2010，输入与对AR屏幕上的内容的控制有关的各种手势(例如，触摸手势)。
根据实施例，用户可以针对电子装置101的显示模块160上显示的内容2010执行用于通过屏幕触摸操作旋转内容2010的第一手势输入(例如，图20a)、用于通过屏幕放大操作(例如，捏合放大)放大内容2010的第二手势输入(例如，图20b)、或用于通过屏幕缩小操作(例如，捏合缩小)减小内容2010的第三手势输入(例如，图20c)。
与本公开中的内容控制相关的各种手势不限于此。尽管未示出，但是例如，可以包括各种手势，诸如通过屏幕移动操作向上、向下、向左和向右移动内容2010的手势或通过屏幕多点触摸移动操作来回移动内容2010的手势。
根据实施例，电子装置101可以检测图20a、图20b和/或图20c所示的用户输入，计算在显示模块160上的内容中检测到用户输入的点(例如，触摸点)，并将相关信息(例如，坐标和/或空间信息)发送到电子装置101。根据实施例，可穿戴电子装置301可以将从电子装置101接收的相关信息转换为AR屏幕上的坐标信息，并将转换后的坐标信息处理为用于控制AR屏幕的内容的用户输入。
根据实施例，可穿戴电子装置301可以执行控制AR屏幕的内容的处理(例如，执行相关功能)以对应于基于电子装置101的用户输入并将其反映在AR屏幕上的内容上，从而显示其结果屏幕。例如，可穿戴电子装置101可以识别图20a、图20b和/或图20c所示的用户输入，并且响应于该用户输入，旋转、放大或缩小AR屏幕上的内容，从而显示其结果屏幕。
图21a、图21b和图21c是示出根据实施例的在电子装置与可穿戴电子装置之间共享内容的操作的示例的图。
在实施例中，图21a、图21b和图21c可以示出在电子装置101和可穿戴电子装置301基于系留方法或独立方法提供AR服务的环境中，基于第二显示模式的确定通过可穿戴电子装置301来提供内容，并且与真实空间中电子装置101共享通过可穿戴电子装置301提供的内容的至少一部分的示例。根据实施例，图21a、图21b和图21c可以示出电子装置101的形状规格是可滚动类型的示例。
参考图21a，图21a可以示出将内容2110映射(例如，纹理映射)到AR屏幕2100上的电子装置101的扩展区域并显示内容2110的示例。参考图21b，图21b示出了在真实空间中观看的电子装置101的状态，其可以如所示出的，示出在真实空间中的电子装置101的扩展区域中不显示内容的状态的示例。
如图21a和图21b所示，如果电子装置101和/或可穿戴电子装置301确定在AR服务的操作期间基于第二显示模式来显示内容，则可以仅通过可穿戴电子装置301的AR屏幕2100(例如，通过AR屏幕2100上的电子装置101的显示模块160的扩展区域)与电子装置101相关联地显示内容2110。与此不同，真实空间中的电子装置101可以将对应区域(2120)(例如，扩展区域)提供为空白空间或非活动空间(或被关闭)，而不是显示通过AR屏幕2100显示的内容2110。
根据实施例，如图21a和图21b所示，穿戴可穿戴电子装置301的第一用户可以检查和控制AR屏幕2100上的内容2110，而真实空间中的至少一个第二用户不能通过电子装置101检查内容2110。
根据实施例，在图21a和图21b所示的环境中，电子装置101和/或可穿戴电子装置301可以在通过AR屏幕2110显示内容2110的同时，基于用户的意图来执行共享功能。根据实施例，用户可以激活使AR屏幕2100上的内容2110(或内容2110的至少一部分(例如，内容数据))能够与电子装置101共享(例如，通过电子装置101的显示模块160传输内容2110的内容数据(或文件传输)或其部分公开)的共享功能。在实施例中，共享功能可以包括例如这样的功能：可穿戴电子装置301在对AR屏幕2100上的要与电子装置101共享的内容2110进行显示的同时，向电子装置101发送内容2110(或内容2110的至少一部分)。
参考图21a，电子装置101和/或可穿戴电子装置301可以处理针对AR屏幕2100上的映射到电子装置101的内容2110的用户交互(例如，基于AR屏幕2100上显示的内容输入的用户手势)。根据实施例，电子装置101和/或可穿戴电子装置301可以进行操作以跟踪和检测用于执行共享功能以共享AR屏幕2100上的内容2110(例如，内容2110的至少一部分)的用户交互，并且响应于用户交互来处理与电子装置101共享内容2110的功能。
根据实施例，用户可以输入从AR屏幕2100上的映射到电子装置101的第二区域(例如，扩展区域)的内容2110中选择特定对象(例如，文本和/或图像)并将其拖动到第一区域(例如，默认区域)的手势(例如，参考图21a中的示例从右区域拖动到左区域的手势)。根据实施例，可穿戴电子装置301可以跟踪和检测与注视共享功能相关的用户输入，并且通过指定的通信将在AR屏幕2100上检测到用户输入的点(例如，触摸点)处的内容2110(例如，所选择的特定对象)发送到电子装置101。
根据实施例，电子装置101可以进行操作以检测对来自可穿戴电子装置301的内容2110(例如，内容2110的至少一部分)的接收，将接收到的内容2110存储在电子装置101的存储器130中，和/或通过显示模块160显示内容2110。根据实施例，如果从可穿戴电子装置301接收到内容2110，则如图21c所示，电子装置101可以以指定的形式(例如，以弹出形式)向用户提供来自可穿戴电子装置301的声明内容2110将被共享的信息。例如，电子装置101可以以弹出窗口的形式提供引导窗口2150，其中，引导窗口2150通知存在将被与可穿戴电子装置301共享的内容2110，并且使得能够接收和存储共享内容2110或拒绝(取消)接收共享内容2110。
根据实施例，当提供与由用户共享的内容2110相关的引导窗口2150时，如图21c所示，电子装置101可以在保持图21b所示的状态(例如，扩展区域的非活动状态)的同时，将引导窗口2150提供为弹出窗口。根据实施例，如果用户选择了共享内容2110的接收和存储，则电子装置101可以从可穿戴电子装置301接收共享内容2110并将其存储在存储器130中。根据实施例，电子装置101可以通过显示模块160的默认区域(例如，图21a中的左侧区域)提供(例如，显示)所接收和存储的内容2110。例如，电子装置101可以在保持扩展区域的不活动状态的同时，通过默认区域显示共享内容2110。例如，假设电子装置101通过默认区域显示聊天窗口的状态，电子装置101可以进行操作以在聊天窗口上以附加文件的形式反映来自可穿戴电子装置301的共享内容2110，并在默认区域的聊天窗口内显示该共享内容2110。
根据本公开的实施例的一种提供增强现实(AR)服务的方法可以包括：通过AR屏幕提供内容，在提供内容的同时通过AR屏幕检测指定的外部对象，基于指定的外部对象的检测来确定用于提供内容的显示模式，以及基于所确定的显示模式，执行控制以通过指定的外部对象的显示模块(例如，电子装置101的显示模块160)来显示内容，或者执行控制以通过AR屏幕上的与指定的外部对象相关联的虚拟显示区域来显示内容。
根据实施例，外部对象的检测可以包括通过AR屏幕检测指定交互。
根据实施例，显示模式的确定可以包括：基于指定交互的检测来确定处理内容的目标装置是电子装置101还是可穿戴电子装置301；如果目标装置被确定为电子装置101，则确定第一显示模式，其中，在第一显示模式下，AR屏幕上的内容切换为通过电子装置101被显示；并且如果目标装置被确定为可穿戴电子装置301，则确定第二显示模式，其中，在第二显示模式下，内容被映射到电子装置101并被显示在AR屏幕上。
根据实施例，执行控制以显示内容可以包括：基于第一显示模式的确定，执行控制以停止显示可穿戴电子装置301的屏幕，并且控制基于与电子装置101的显示模块160相对应的显示区域显示正通过AR屏幕显示的内容。
根据实施例，执行控制以显示内容可以包括：通过电子装置101的显示模块160的默认区域和/或扩展区域为正在AR屏幕上显示的内容配置指定的活动窗口，以及控制基于所配置的活动窗口显示内容。
根据实施例，执行控制以显示内容可以包括：基于第二显示模式的确定，控制基于通过可穿戴电子装置301的显示模块590提供的AR屏幕上的与电子装置101相关联的虚拟显示区域显示内容。
根据实施例，执行控制以显示内容可以包括：基于第二显示模式的确定，将与电子装置101的显示模块160的扩展区域相对应的虚拟区域配置为与电子装置101的扩展区域相对应，至少基于电子装置101的显示模块160的默认区域、扩展区域和/或虚拟区域来为正在AR屏幕上显示的内容配置指定的活动窗口，以及控制基于所配置的活动窗口通过内容映射来显示内容。
根据实施例，如果根据第二显示模式提供内容，则映射到AR屏幕的内容可以仅通过AR屏幕上的与电子装置101相关联的显示区域被提供，而不是通过真实空间中的电子装置101的显示模块160被显示。
根据实施例，该方法还可以指示当确定处理内容的目标装置时确定内容是否对应于指定简档，并且如果内容对应于指定简档，则确定第二显示模式以便通过AR屏幕提供指定简档的内容，而不管处理内容的目标装置如何。
本说明书和附图中公开的各种实施例仅作为具体示例呈现，以容易地解释本公开的技术内容并帮助理解本公开，并且不旨在限制本公开的范围。因此，除了本文公开的实施例之外，本公开的范围应被解释为涵盖源自本公开的技术精神的所有改变或修改。
Claims (15)
1.一种用于增强现实AR服务的AR提供装置，所述AR提供装置包括：
显示器；以及
处理器，
其中，所述处理器被配置为：
通过AR屏幕提供内容；
在提供所述内容的同时，通过所述AR屏幕来检测指定的外部对象；
基于所述指定的外部对象的检测，确定用于提供所述内容的显示模式；以及
基于所确定的显示模式，执行控制以通过所述指定的外部对象的显示器来显示所述内容，或者执行控制以通过所述AR屏幕上的与所述指定的外部对象相关联的虚拟显示区域来显示所述内容。
2.根据权利要求1所述的装置，其中，所述内容由所述AR提供装置产生用于AR服务，并且通过所述AR提供装置的显示器提供，或者
所述内容由所述AR提供装置产生，被发送到通过指定通信连接的外部装置，并通过所述外部装置的显示器提供。
3.根据权利要求1所述的装置，其中，所述处理器被配置为：
通过所述AR屏幕检测指定交互；
基于所述指定交互的检测，确定处理所述内容的目标装置是电子装置还是可穿戴电子装置；
在所述目标装置被确定为所述电子装置的情况下，确定第一显示模式，其中，在所述第一显示模式下，所述AR屏幕上的所述内容切换为通过所述电子装置被显示；以及
在所述目标装置被确定为所述可穿戴电子装置的情况下，确定第二显示模式，其中，在所述第二显示模式下，所述内容被映射到所述电子装置并被显示在所述AR屏幕上。
4.根据权利要求3所述的装置，其中，所述处理器被配置为：基于所述第一显示模式的确定，执行控制以停止显示所述可穿戴电子装置的屏幕，并且控制基于与所述电子装置的显示器相对应的显示区域显示正通过所述AR屏幕显示的所述内容。
5.根据权利要求4所述的装置，其中，所述处理器被配置为：
通过所述电子装置的显示器的默认区域和/或扩展区域为正在所述AR屏幕上显示的所述内容配置指定的活动窗口；以及
控制基于所配置的活动窗口显示所述内容。
6.根据权利要求3所述的装置，其中，所述处理器被配置为：基于对所述第二显示模式的确定，控制基于通过所述可穿戴电子装置的显示器提供的AR屏幕上的与所述电子装置相关联的虚拟显示区域显示所述内容。
7.根据权利要求6所述的装置，其中，所述处理器被配置为：基于所述第二显示模式的确定，至少基于位于通过所述可穿戴电子装置的显示器提供的AR屏幕上的所述电子装置的默认区域、所述电子装置的扩展区域和/或与所述电子装置相邻产生的虚拟区域来映射和显示所述内容。
8.根据权利要求6所述的装置，其中，所述处理器被配置为：
基于所述第二显示模式的确定，将与所述电子装置的显示器的扩展区域相对应的虚拟区域配置为与所述电子装置的所述扩展区域相对应；
通过所述电子装置的显示器的默认区域和/或所述扩展区域为正在所述AR屏幕上显示的内容配置指定的活动窗口；以及
控制基于所配置的活动窗口通过内容映射来显示所述内容。
9.根据权利要求6所述的装置，其中，在所述处理器根据所述第二显示模式提供所述内容的情况下，映射到所述AR屏幕的所述内容仅通过所述AR屏幕上的与所述电子装置相关联的显示区域被提供，而不是通过真实空间中的所述电子装置的显示器被显示。
10.根据权利要求3所述的装置，其中，所述指定交互包括第一交互、第二交互和/或第三交互，其中，在所述第一交互中，所述电子装置进入通过所述可穿戴电子装置的显示器提供的所述AR屏幕，在所述第二交互中，用户在所述电子装置进入之后使用所述电子装置输入指定的手势，在所述第三交互中，用户在所述电子装置进入之后通过所述AR屏幕上的所述电子装置输入指定的菜单操纵手势。
11.根据权利要求3所述的装置，其中，所述处理器被配置为：
在确定处理所述内容的所述目标装置的情况下，确定所述内容是否对应于指定简档，以及
在所述内容对应于所述指定简档的情况下，确定所述第二显示模式，以便通过所述AR屏幕提供所述指定简档的内容，而不管处理所述内容的所述目标装置如何。
12.根据权利要求1所述的装置，其中，所述处理器被配置为：
在通过所述显示器显示所述内容的同时，在所述AR屏幕上识别与所述外部对象相对应的外部装置；
在所述外部装置是指定的外部装置的情况下，监测所述外部装置的状态的变化；
基于识别出所述外部装置的状态的变化，确定与所述内容相关的处理实体；
基于所确定的处理实体来确定所述内容的显示模式；以及
基于所确定的显示模式，通过显示器在所述AR屏幕上显示所述内容，或者控制所述外部装置通过所述外部装置的显示器显示所述内容。
13.一种提供增强现实AR服务的方法，所述方法包括：
通过AR屏幕提供内容；
在提供所述内容的同时，通过所述AR屏幕来检测指定的外部对象；
基于所述指定的外部对象的检测，确定用于提供所述内容的显示模式；以及
基于所确定的显示模式，执行控制以通过所述指定的外部对象的显示器来显示所述内容，或者执行控制以通过所述AR屏幕上的与所述指定的外部对象相关联的虚拟显示区域显示所述内容。
14.根据权利要求13所述的方法，其中，检测所述外部对象包括通过所述AR屏幕检测指定交互，并且
其中，确定所述显示模式包括：
基于所述指定交互的检测，确定处理所述内容的目标装置是电子装置还是可穿戴电子装置；
在所述目标装置被确定为所述电子装置的情况下，确定第一显示模式，其中，在所述第一显示模式下，所述AR屏幕上的内容切换为通过所述电子装置被显示；以及
在所述目标装置被确定为是所述可穿戴电子装置的情况下，确定第二显示模式，其中，在所述第二显示模式下，所述内容被映射到所述电子装置并被显示在所述AR屏幕上。
15.根据权利要求14所述的方法，其中，执行控制以显示所述内容包括：
基于所述第一显示模式的确定，执行控制以停止显示所述可穿戴电子装置的屏幕，并且控制基于与所述电子装置的显示器相对应的显示区域显示正通过所述AR屏幕显示的所述内容；以及
基于所述第二显示模式的确定，控制基于通过所述可穿戴电子装置的显示器提供的AR屏幕上的与所述电子装置相关联的虚拟显示区域显示内容。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210153043A KR20230067197A (ko) | 2021-11-09 | 2021-11-09 | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 |
| KR10-2021-0153043 | 2021-11-09 | ||
| PCT/KR2022/017539 WO2023085763A1 (ko) | 2021-11-09 | 2022-11-09 | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118215931A true CN118215931A (zh) | 2024-06-18 |
Family
ID=86228434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280074663.0A Pending CN118215931A (zh) | 2021-11-09 | 2022-11-09 | 用于在电子装置和可穿戴电子装置之间提供与增强现实服务相关的内容的方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11934735B2 (zh) |
| EP (1) | EP4339873A4 (zh) |
| CN (1) | CN118215931A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240071002A1 (en) * | 2022-08-30 | 2024-02-29 | Rovi Guides, Inc. | Systems and methods for pinning content items to locations in an augmented reality display based on user preferences |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101252169B1 (ko) * | 2011-05-27 | 2013-04-05 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| JP5821526B2 (ja) * | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9024844B2 (en) * | 2012-01-25 | 2015-05-05 | Microsoft Technology Licensing, Llc | Recognition of image on external display |
| KR102100911B1 (ko) * | 2013-08-30 | 2020-04-14 | 엘지전자 주식회사 | 안경형 단말기와 이를 포함하는 시스템 및 안경형단말기의 제어방법 |
| US9183612B2 (en) | 2013-09-04 | 2015-11-10 | Qualcomm Incorporated | Wearable display device use-based data processing control |
| US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
| CN103558909B (zh) | 2013-10-10 | 2017-03-29 | 北京智谷睿拓技术服务有限公司 | 交互投射显示方法及交互投射显示系统 |
| KR102251710B1 (ko) | 2014-11-04 | 2021-05-14 | 넥시스 주식회사 | 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 컴퓨터로 독출 가능한 기록매체 |
| KR102265086B1 (ko) | 2014-11-07 | 2021-06-15 | 삼성전자 주식회사 | 정보를 공유하기 위한 가상 환경 |
| US20160196693A1 (en) * | 2015-01-06 | 2016-07-07 | Seiko Epson Corporation | Display system, control method for display device, and computer program |
| US10338673B2 (en) | 2015-09-16 | 2019-07-02 | Google Llc | Touchscreen hover detection in an augmented and/or virtual reality environment |
| KR20170060485A (ko) * | 2015-11-24 | 2017-06-01 | 삼성전자주식회사 | 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법 |
| KR20170089662A (ko) | 2016-01-27 | 2017-08-04 | 엘지전자 주식회사 | 증강현실을 제공하는 웨어러블 디바이스 |
| US10275023B2 (en) | 2016-05-05 | 2019-04-30 | Google Llc | Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality |
| CN106569725A (zh) | 2016-11-09 | 2017-04-19 | 北京小米移动软件有限公司 | 为智能眼镜提供输入的方法、装置及触摸设备 |
| JP2020521217A (ja) * | 2017-05-19 | 2020-07-16 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード |
| US11023109B2 (en) | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
| US11614793B2 (en) | 2018-02-28 | 2023-03-28 | Logitech Europe S.A. | Precision tracking of user interaction with a virtual input device |
| US11049322B2 (en) * | 2018-06-18 | 2021-06-29 | Ptc Inc. | Transferring graphic objects between non-augmented reality and augmented reality media domains |
| CN111837174B (zh) * | 2018-06-25 | 2023-03-28 | 麦克赛尔株式会社 | 头戴式显示器、头戴式显示器协作系统及其方法 |
| KR102638956B1 (ko) | 2018-11-26 | 2024-02-22 | 삼성전자주식회사 | 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법 |
| JP7244541B2 (ja) * | 2018-12-03 | 2023-03-22 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
| KR102539579B1 (ko) * | 2018-12-18 | 2023-06-05 | 삼성전자주식회사 | 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법 |
| KR20200076325A (ko) * | 2018-12-19 | 2020-06-29 | 삼성전자주식회사 | 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법 |
| KR20200098034A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
| WO2020263838A1 (en) | 2019-06-24 | 2020-12-30 | Magic Leap, Inc. | Virtual location selection for virtual content |
| US11231827B2 (en) | 2019-08-03 | 2022-01-25 | Qualcomm Incorporated | Computing device and extended reality integration |
| KR20210063928A (ko) | 2019-11-25 | 2021-06-02 | 삼성전자주식회사 | 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
| CN115280282A (zh) * | 2020-03-12 | 2022-11-01 | 麦克赛尔株式会社 | 信息终端装置及其应用动作模式控制方法 |
| JP2021157277A (ja) | 2020-03-25 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN118140169A (zh) * | 2021-09-27 | 2024-06-04 | 三星电子株式会社 | 用于显示内容的电子装置和方法 |
| US11778269B1 (en) * | 2021-10-29 | 2023-10-03 | Miles C. Hess | Perceptual threshold trigger |
-
2022
- 2022-11-09 CN CN202280074663.0A patent/CN118215931A/zh active Pending
- 2022-11-09 EP EP22893183.8A patent/EP4339873A4/en active Pending
- 2022-11-22 US US17/992,213 patent/US11934735B2/en active Active
-
2024
- 2024-03-18 US US18/608,190 patent/US20240220185A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4339873A1 (en) | 2024-03-20 |
| EP4339873A4 (en) | 2024-05-01 |
| US20230146677A1 (en) | 2023-05-11 |
| US20240220185A1 (en) | 2024-07-04 |
| US11934735B2 (en) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102629346B1 (ko) | 복수의 카메라 모듈들을 포함하는 폴더블 전자 장치 | |
| KR101649663B1 (ko) | 이동 단말기 및 그 제어방법 | |
| US10412379B2 (en) | Image display apparatus having live view mode and virtual reality mode and operating method thereof | |
| KR20200129584A (ko) | 복수의 카메라들을 이용한 촬영 제어 방법 및 폴더블 장치 | |
| US9500867B2 (en) | Head-tracking based selection technique for head mounted displays (HMD) | |
| EP3299933B1 (en) | Method for displaying a navigator associated with content and electronic device for implementing the same | |
| US12013727B2 (en) | Electronic device including flexible display | |
| WO2022134632A1 (zh) | 作品处理方法及装置 | |
| US20240220185A1 (en) | Apparatus and method for providing contents related to augmented reality service between electronic device and wearable electronic device | |
| US20220350414A1 (en) | Electronic device for executing function based on hand gesture and method for operating thereof | |
| CN114208150A (zh) | 用于提供相机预览图像的电子装置及其操作方法 | |
| US11733952B2 (en) | Wearable electronic device including display, method for controlling display, and system including wearable electronic device and case | |
| WO2022057644A1 (zh) | 设备交互方法、电子设备及交互系统 | |
| US20240103289A1 (en) | Wearable electronic device and method for controlling power path thereof | |
| US12050726B2 (en) | Augmented reality device for changing input mode and method thereof | |
| US20230152900A1 (en) | Wearable electronic device for displaying virtual object and method of controlling the same | |
| US12033382B2 (en) | Electronic device and method for representing contents based on gaze dwell time | |
| KR102151206B1 (ko) | 이동 단말기 및 그 제어방법 | |
| KR20230088100A (ko) | 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법 | |
| KR20220074165A (ko) | 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치 | |
| KR20230067197A (ko) | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 | |
| US20240048668A1 (en) | Electronic device for supporting various communications during video call, and operating method therefor | |
| KR20230118010A (ko) | 입력 모드를 전환하는 증강 현실 장치 및 그 방법 | |
| KR20240019668A (ko) | 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법 | |
| KR20240029482A (ko) | 전자 장치의 화면을 확장 현실 환경으로 변환하는 머리 착용형 전자 장치 및 그와 연결된 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |