CN116438503A - 电子装置和电子装置的操作方法 - Google Patents

电子装置和电子装置的操作方法 Download PDF

Info

Publication number
CN116438503A
CN116438503A CN202180073756.7A CN202180073756A CN116438503A CN 116438503 A CN116438503 A CN 116438503A CN 202180073756 A CN202180073756 A CN 202180073756A CN 116438503 A CN116438503 A CN 116438503A
Authority
CN
China
Prior art keywords
electronic device
external electronic
user
processor
reality environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180073756.7A
Other languages
English (en)
Inventor
河宪晙
金胜年
严俊煊
李镇喆
金炫秀
金铉埈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200177194A external-priority patent/KR20220086939A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116438503A publication Critical patent/CN116438503A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种根据本文件中公开的示例性实施例的电子装置可以包括：显示器；通信电路；至少一个相机；存储器；以及处理器，所述处理器可操作地连接到所述显示器、所述通信电路、所述至少一个相机和所述存储器。根据示例性实施例，所述存储器可以包括指令，所述指令在被运行时使所述处理器：通过所述显示器来提供增强现实(AR)环境或虚拟现实(VR)环境；通过所述通信电路连接到一个或更多个外部电子装置；通过所述显示器来显示所述一个或更多个外部电子装置；基于输入界面切换事件，在所述一个或更多个显示的外部电子装置当中指定第一外部电子装置；以及通过使用所指定的第一外部电子装置，在所述AR环境或所述VR环境中控制所述电子装置的操作。

Description

电子装置和电子装置的操作方法
技术领域
本公开中公开的各种实施例涉及电子装置和该电子装置的操作方法。
背景技术
增强现实(AR)是用于在电子装置的显示器上显示的真实视频上叠加和显示虚拟信息的技术。虚拟现实(VR)是用于在电子装置的显示器上显示虚拟信息和/或预先捕获的预览图像的技术。
随着可穿戴装置例如头戴式显示器(HMD)被开发，电子装置可以辨识用户的外部环境，并且给用户提供反映所辨识的外部环境的增强现实环境。
发明内容
技术问题
提供增强现实环境和/或虚拟现实环境的电子装置可以接收使用姿势的输入，但是可能缺少用于诸如触觉反馈的更直观输入体验的元件。另外，所述电子装置可能难以在空间中仅仅通过所述姿势来辨识用户的输入意图。另外，当所述电子装置使用相机用于识别所述姿势时，可能无法识别所述相机的视角的盲区(blind spot)中的所述姿势。
本公开中公开的各种示例实施例是为了提供这样的电子装置，所述电子装置在增强现实环境和/或虚拟现实环境被激活时，使用向外部电子装置提供所述增强现实环境和/或所述虚拟现实环境的所述电子装置的姿势直观地提供输入方法/技术的至少部分。
本公开中公开的各种示例实施例是为了提供这样的电子装置，所述电子装置在增强现实环境和/或虚拟现实环境被激活时，将与多个外部电子装置当中的一个外部电子装置的操作相关的控制方法提供给另一外部电子装置。
技术方案
一种根据示例实施例的电子装置可以包括：显示器；通信电路；至少一个相机；存储器；以及处理器，所述处理器可操作地连接到所述显示器、所述通信电路、所述至少一个相机和所述存储器。根据示例实施例，所述存储器存储有指令，所述指令在被运行时被配置为使所述至少一个处理器：通过所述显示器来提供增强现实环境或虚拟现实环境；通过所述通信电路来连接所述电子装置和至少一个外部电子装置；通过所述显示器来显示所述至少一个外部电子装置；基于输入界面切换事件，在所显示的至少一个外部电子装置当中指定第一外部电子装置；以及使用所指定的第一外部电子装置，在所述增强现实环境或所述虚拟现实环境中控制所述电子装置的操作。
一种根据示例实施例的电子装置可以包括：显示器；通信电路；至少一个相机；存储器；以及至少一个处理器，所述至少一个处理器可操作地连接到所述显示器、所述通信电路、所述至少一个相机和所述存储器。根据示例实施例，所述存储器存储有指令，所述指令在被运行时被配置为使所述至少一个处理器：通过所述显示器来提供增强现实环境或虚拟现实环境；通过所述通信电路来连接所述电子装置和外部电子装置；通过所述显示器来显示所述外部电子装置；激活第一输入模式，所述第一输入模式用于在提供所述增强现实环境或所述虚拟现实环境的同时使用用户的手势来控制所述电子装置；以及激活第二输入模式，所述第二输入模式用于在所述第一输入模式被激活的同时基于接收到由所述用户提供的输入界面切换请求，使用所述手势和所述外部电子装置来控制所述电子装置。
一种根据实施例的电子装置的操作方法可以包括：通过显示器来提供增强现实环境或虚拟现实环境的操作；通过通信电路来连接所述电子装置和至少一个外部电子装置的操作；通过所述显示器来显示所述至少一个外部电子装置的操作；基于输入界面切换事件，在所显示的至少一个外部电子装置当中指定第一外部电子装置的操作；以及使用所指定的第一外部电子装置，在所述增强现实环境或所述虚拟现实环境中控制所述电子装置的操作的操作。
有益效果
根据特定示例实施例，可以提供这样的电子装置，所述电子装置使用向外部电子装置提供增强现实环境和/或虚拟现实环境的电子装置的姿势来直观地提供输入方法的至少部分。
根据某些示例实施例，可以提供这样的电子装置，所述电子装置在增强现实环境和/或虚拟现实环境被激活时，将与多个外部电子装置当中的一个外部电子装置的操作相关的控制方法提供给另一外部电子装置。
另外，可以提供通过本公开直接或间接识别的各种效果。
附图说明
关于附图的描述，可以针对相同或类似的元件使用相同或类似的附图标记。另外地，从结合附图进行的以下详细描述，某些实施例的上述及其他方面、特征和优点将更清楚，在附图中：
图1是示出了根据各种示例实施例的网络环境100中的电子装置101的框图。
图2是根据各种示例实施例的电子装置的框图。
图3是根据各种示例实施例的电子装置的框图和外部电子装置的框图。
图4是根据各种示例实施例的电子装置的框图。
图5是用于示出根据各种示例实施例的电子装置的操作的视图。
图6是用于示出根据各种示例实施例的电子装置的操作的视图。
图7是用于示出根据各种示例实施例的电子装置的操作的视图。
图8是用于示出根据各种示例实施例的电子装置的操作的视图。
图9是用于示出根据各种示例实施例的电子装置的操作的视图。
图10是根据各种示例实施例的电子装置的操作方法的流程图。
图11是根据各种示例实施例的电子装置的操作方法的流程图。
图12是根据各种示例实施例的电子装置的操作方法的流程图。
关于附图的描述，相同或类似的附图标记可以用于相同或类似的部件。
本文描述的任一实施例可以结合本文描述的任何其他实施例使用。
具体实施方式
图1是示出了根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可以经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可以经由服务器108与电子装置104进行通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在各种实施例中，可以从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可以将一个或更多个其他部件添加到电子装置101中。在一些实施例中，可以将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个部件(例如，显示模块160)。
处理器120可以运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦接的至少一个其他部件(例如，硬件部件或软件部件)，并可以执行各种数据处理或计算。根据示例实施例，作为所述数据处理或计算的至少部分，处理器120可以将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储在易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可以将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可以控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可以与主处理器121一起控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可以将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。
存储器130可以存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可以包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
可以将程序140作为软件存储在存储器130中，并且程序140可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子装置101的外部(例如，用户)接收将由电子装置101的另一部件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例，可以将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可以向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可以将声音转换为电信号，反之亦可。根据实施例，音频模块170可以经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)耦接或无线耦接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可以检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相对应的电信号或数据值。根据实施例，传感器模块176可以包括例如姿势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)耦接或无线耦接的一个或更多个特定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可以包括连接器，其中，电子装置101可以经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以管理对电子装置101的供电。根据实施例，可以将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可以对电子装置101的至少一个部件供电。根据实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可以经由第一网络198(例如，短距离通信网络，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可以将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可以支持在4G网络之后的5G网络以及下一代通信技术(例如新无线(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可以支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可以将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可以包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，可以由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的部件(例如，射频集成电路(RFIC))可以附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可以经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互耦接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可以经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可以在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可以执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可以使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可以使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可以包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2是根据各种示例实施例的电子装置的框图。
参照图2，根据实施例的电子装置201(例如，图1中的电子装置101)可以包括：包括处理电路的至少一个处理器220(例如，图1中的处理器120)、包括通信电路的通信模块290(例如，图1中的通信模块190)、包括电路的电力管理模块288(例如，图1中的电力管理模块188)、包括至少一个传感器或感测电路的传感器模块276(例如，图1中的传感器模块176)、包括相机的相机模块280(例如，图1中的相机模块180)、存储器230(例如，图1中的存储器130)和/或包括显示器的显示模块260(例如，图1中的显示模块160)。根据实施例，电子装置201可以通过连接端235(例如，USB TYPE-C)连接到第二电力管理模块237。
根据示例实施例，电子装置201可以是可以被穿戴在用户的身体部位上的可穿戴装置。例如，电子装置201可以被穿戴在用户的头部上。例如，电子装置的显示模块260可以包括头戴式显示器(HMD)。在下文中，可以假定将稍后描述的电子装置201是这样的电子装置，该电子装置被穿戴在用户的头部上，并且在该电子装置被穿戴时使头戴式显示器定位在用户的眼睛前面。当用户正在穿戴电子装置201时用户看的方向可以被称为第一方向，而与第一方向相反并且朝向用户的方向可以被称为第二方向。
根据示例实施例，处理器220可以运行存储器230中存储的程序(例如，图1中的程序140)，以控制至少一个其他部件(例如，硬件部件或软件部件)并且执行各种数据处理或操作。根据示例实施例，处理器220可以向用户提供增强现实环境(和/或增强现实服务)。处理器220可以通过显示模块260输出至少一个虚拟对象，使得该至少一个虚拟对象通过被添加到与穿戴电子装置201的用户的视场相对应的真实空间而被看到。根据示例实施例，处理器220可以向用户提供虚拟现实环境(和/或虚拟现实服务)。处理器220可以通过显示模块260显示虚拟图像或虚拟视频。
根据示例实施例，在通过显示模块260显示的真实空间中显示的、包含至少一个虚拟对象的内容可以被称为增强现实内容。例如，显示模块260可以显示由电子装置201生成的或通过通信模块290从另一电子装置(例如，图1中的电子装置102和电子装置104或图1中的服务器108)接收到的增强现实内容。根据示例实施例，在虚拟现实环境中通过显示模块260显示的内容可以被称为虚拟现实内容。例如，处理器220可以从另一电子装置(例如，图1中的电子装置102和电子装置104或图1中的服务器108)接收虚拟现实内容。
根据示例实施例，电子装置201的显示模块260可以包括至少一个显示面板(例如，第一显示面板和/或第二显示面板)。显示面板可以由透明装置形成或者包括透明装置，使得用户可以通过显示模块260辨识真实空间。显示模块260可以在显示面板的至少一部分上显示至少一个虚拟对象，使得穿戴电子装置201的用户可以看到该虚拟对象被添加到真实空间。例如，用户的视场可以包括用户可以辨识对象的角度或范围。根据示例实施例，虚拟现实环境的显示模块260可以显示有关真实空间拍摄的预览视频。
根据示例实施例，电子装置201的传感器模块276可以包括接近传感器221、照度传感器222和/或陀螺仪传感器223。根据示例实施例，接近传感器221可以感测与电子装置201相邻的对象。照度传感器222可以测量电子装置201周围的亮度的程度。根据示例实施例，陀螺仪传感器223可以感测电子装置201的姿态和/或位置。例如，陀螺仪传感器223可以感测电子装置201是否被适当地穿戴在用户的头部上。作为另一示例，陀螺仪传感器223可以感测电子装置201或穿戴电子装置201的用户的移动。
根据示例实施例，电子装置201可以通过通信模块290(例如，无线通信电路)执行与另一电子装置(例如，图1中的电子装置102和电子装置104)的无线通信。例如，电子装置201可以执行与便携式电子装置(例如，智能电话)的无线通信，并且电子装置201可以至少部分地由另一外部电子装置(例如，便携式电子装置)控制。例如，电子装置201可以在另一外部电子装置的控制下执行至少一个功能。
根据示例实施例，电子装置201的相机模块280可以包括姿势相机211、眼睛跟踪相机213、深度相机215和/或RGB相机217中的至少一者。根据示例实施例，姿势相机211可以感测用户的移动。例如，至少一个姿势相机211可以设置在电子装置201中，并且可以感测用户的手在设置距离内的移动。姿势相机211可以包括用于辨识与电子装置201的周围空间相关的信息(例如，位置和/或方向)的同步定位与地图构建相机(SLAM相机)。可以基于姿势相机211的拍摄可用范围设置姿势相机211的姿势辨识区域。根据示例实施例，眼睛跟踪相机213可以跟踪用户的左眼和/或右眼的移动。根据示例实施例，处理器220可以使用眼睛跟踪相机213来识别左眼的凝视方向和/或右眼的凝视方向。根据示例实施例，深度相机215可以测量到定位在电子装置201前面的对象的距离。深度相机215可以包括飞行时间(TOF)相机和/或深度相机。根据示例实施例，电子装置201可以使用眼睛跟踪相机213来辨识定位在用户正在看的凝视范围(例如，FOV)内的对象之一，并且通过凭借深度相机或凭借TOF相机计算出深度来测量到对应对象的距离。根据示例实施例，RGB(红绿蓝)相机217可以感测与对象的颜色相关的信息和关于到对象的距离的信息。根据示例实施例，相机模块280中包括的姿势相机211、眼睛跟踪相机213、深度相机215和/或RGB相机217可以被独立地包括在电子装置201中，或者那些相机中的一些相机可以被实现为集成相机。例如，深度相机215和RGB相机217可以被实现为一个集成相机。根据示例实施例，相机模块280可以被设置为：在当用户正穿戴电子装置201时与用户的眼睛相对应的位置处在第一方向上执行拍摄。根据示例实施例，相机模块280可以在用户看的方向上拍摄视频。
根据示例实施例，相机模块280可以辨识定位在用户的凝视范围内的外部对象。例如，由相机模块280辨识的外部对象可以是身体部位(诸如用户的手)或任意对象。
根据示例实施例，相机模块280可以识别外部对象的位置。例如，相机模块280可以识别对象相对于电子装置的相对位置。作为另一示例，相机模块280可以基于由相机模块280辨识的一个外部对象识别另一外部对象的位置。
根据示例实施例，相机模块280可以识别用户的手指的位置。例如，相机模块280可以基于进行用户的手的指点操作的手指的尖端(例如，指甲的尖端)识别手指的位置。根据示例实施例，处理器220可以将所识别的用户的手指的位置存储在存储器230中。例如，处理器220可以在增强现实内容上辨识的用户的手指的尖端(例如，指甲的尖端)上显示虚拟内容(例如，点或手指图标)以便容易地识别用户。
根据示例实施例，电力管理模块288和电力管理模块237可以管理对电子装置201的供电。电力管理模块288和电力管理模块237可以包括直接连接到处理器220以供应电力的第一电力管理模块288，和/或通过连接端235(例如，TYPE-C)供应电力的第二电力管理模块237。第二电力管理模块237可以在功能上连接到电池239以管理更大量的电力。根据示例实施例，电子装置201可以使用从电力管理模块288和电力管理模块237供应的电力来驱动相机模块280中包括的至少一个相机。电子装置201可以通过基于使用至少一个相机获取的信息调整通过显示模块260提供的显示信息来管理所消耗的电力。图2所示的电子装置201中包括的至少一个相机(例如，姿势相机211、眼睛跟踪相机213、深度相机215和/或RGB相机217)的数目和位置不受限制。例如，至少一个相机的数目和位置可以基于电子装置201的形状(例如，形式或大小)而变化。
根据示例实施例，处理器220可以响应于用户针对虚拟对象或通过相机模块280感测到的真实对象的选择输入来通过显示模块260向用户提供关于选定对象的信息。将参照要稍后描述的附图来描述由根据实施例的电子装置201的处理器220执行的操作。
图3是根据各种示例实施例的电子装置的框图和外部电子装置的框图。
本文描述的任一实施例可以结合本文描述的任何其他实施例使用。
参照图3，电子装置310(例如，图1中的电子装置101和/或图2中的电子装置201)可以包括：显示器311(例如，图1中的显示模块160和/或图2中的显示模块260)、相机312(例如，图1中的相机模块180和/或图2中的相机模块280)、存储器313(例如，图1中的存储器130和/或图2中的存储器230)、通信电路314(例如，图1中的通信模块190和/或图2中的通信模块290)和/或包括处理电路的处理器315(例如，图1中的处理器120和/或图2中的处理器220)。在下文中，将描述提供增强现实环境和/或虚拟现实环境的电子装置310的实施例。
根据示例实施例，电子装置310可以是上述包括被构造为穿戴在用户的身体部位(例如，头部)上(或者耦接到用户的身体部位(例如，头部))的显示器311的可穿戴装置。
根据示例实施例，显示器311可以在其至少一部分中包括透明装置，使得用户可以通过显示器311辨识电子装置310外部的真实空间。根据示例实施例，显示器311可以向用户提供增强现实(AR)环境。例如，显示器311可以包括头戴式显示器(HMD)，并且可以向正在身体部位(例如，头部)上穿戴显示器311的用户提供增强现实环境。例如，当用户将电子装置310穿戴在头部上(或者将电子装置310耦接到头部)时，显示器311可以给用户提供包括在真实空间上另外地显示的至少一个虚拟对象的增强现实环境。例如，当用户将电子装置310穿戴在头部上(或者将电子装置310耦接到头部)时，显示器311可以在显示器311的至少一部分上显示至少一个虚拟对象，使得用户在视觉上辨识出该至少一个虚拟对象被添加到通过显示器311辨识的真实空间。根据各种实施例，显示器311可以在虚拟现实环境中显示真实空间拍摄的预览视频。即使在这种情况下，也可以应用将稍后描述的实施例。
根据示例实施例，相机312可以包括辨识用户的手的移动的第一相机、获取与用户的凝视方向或头部正面对的方向相对应的图像的第二相机、和/或辨识用户的眼睛的移动的第三相机。例如，第一相机能够辨识用户的手势。例如，第二相机可以辨识用户的凝视方向或者辨识用户的头部(或颈部)正面对的方向，并且获取与所辨识的方向相对应的外部图像。例如，第三相机可以辨识(或感测)用户的瞳孔的移动。作为另一示例，第一相机或第二相机可以辨识用户的手势和用户的凝视方向或用户的头部(或颈部)正面对的方向，并且辨识(或感测)与所辨识的方向相对应的外部移动。
根据示例实施例，存储器313可以存储由处理器315运行的至少一个程序、应用、数据或指令。根据示例实施例，存储器313可以包括图1所示的存储器130的至少一部分。根据示例实施例，存储器313可以包括用于使将稍后描述的电子装置310的至少一些操作能够被执行的信息或指令。根据示例实施例，存储器313可以包括与由处理器315运行的多个应用相关的指令。
根据示例实施例，通信电路314可以支持电子装置310与外部电子装置320之间的通信。例如，通信电路314可以使电子装置310能够与外部电子装置320进行通信。例如，通信电路314可以在无线通信方案(例如，蓝牙、WiFi和5G通信方案)中将电子装置310和外部电子装置320彼此连接。例如，通信电路314可以向外部电子装置320提供(或发送)用于控制电子装置310的操作的控制信号(例如，电信号和/或电子信号)。例如，通信电路314可以在无线通信方案(例如，蓝牙、WiFi和5G通信方案)中发送和接收用于与外部电子装置320一起控制电子装置310的操作的控制信号(例如，电信号和/或电子信号)。在各种实施例中，通信电路314可以将电子装置310连接到多个外部电子装置。
根据示例实施例，至少一个处理器315可以在增强现实环境中将控制电子装置310的权限转移(或移交或提供)给外部电子装置320。根据示例实施例，处理器315可以辨识输入界面切换事件。例如，处理器315可以在用户的姿势(例如，手势和/或凝视)指向外部电子装置320时辨识输入界面切换事件。例如，处理器315可以在用户的手势指向外部电子装置320持续指定时间时或者基于用户的手势指向外部电子装置320的状态下的虚拟点击操作来辨识输入界面切换事件。例如，处理器315可以在用户的凝视指向外部电子装置320持续指定时间时辨识输入界面切换事件。
根据示例实施例，处理器315可以至少基于辨识的输入界面切换事件将外部电子装置320选择(或指定)为电子装置310的输入装置。处理器315可以通过所选择的外部电子装置320接收用户输入，并且从外部电子装置320接收与所接收到的用户输入相对应的控制信号。处理器315可以基于控制信号执行电子装置的与用户输入相对应的操作(或任务)(例如，画面控制操作或数据处理操作)。
根据示例实施例，处理器315可以基于外部电子装置320中包括的硬件部件或外部电子装置320的处理来使用外部电子装置320在增强现实环境和/或虚拟现实环境中执行或进行控制以执行电子装置310的至少一些操作。
根据示例实施例，外部电子装置320可以从用户接收原始数据并且将所接收到的原始数据提供给电子装置310。处理器315可以使用所接收到的原始数据来执行各种处理操作。根据实施例，处理器315可以使用外部电子装置320的传感器模块321来从用户接收用户输入，并且从外部电子装置320接收与所接收到的用户输入相对应的电信号。处理器315可以基于所接收到的电信号执行与用户输入相对应的操作(或任务)。例如，当外部电子装置320包括触摸板(或触摸屏)和/或物理按钮时，用户可以向外部电子装置320的触摸板和/或物理按钮提供诸如滚动、点击和/或拖曳的用户输入。外部电子装置320可以向电子装置310提供与用户输入相对应的输入信号。电子装置310的处理器315可以基于所接收到的输入信号辨识出通过外部电子装置320接收到用户输入，并且执行对应的操作。例如，处理器315可以基于输入信号滚动、点击和/或拖曳显示器311上显示的画面。
根据示例实施例，处理器315可以使用外部电子装置320的处理器322来对在外部电子装置320中接收到的用户输入执行一些处理操作。根据示例实施例，处理器315可以基于在外部电子装置320中接收到的用户输入来通过外部电子装置320的处理器322执行第一处理操作(例如，针对电子装置310的用户界面的控制操作)，并且执行第二处理操作(例如，包括渲染、编码、解码和/或转码(trans coding)的相对高级的数据处理操作)。
根据示例实施例，当外部电子装置320能够执行相对高级的数据处理操作时，处理器315可以通过外部电子装置320控制电子装置310的操作。例如，外部电子装置320可以包括智能电话。
根据示例实施例，处理器315可以使用外部服务器(未示出)(例如，云服务器和移动边缘计算(MEC))来执行电子装置310的操作。根据示例实施例，当电子装置310支持流服务、云服务和/或可穿戴平台时，处理器315可以使能够使用外部服务器来执行电子装置310的一些操作。
根据示例实施例的处理器315可以基于所连接的外部电子装置320中包括的硬件部件或所连接的外部电子装置320所支持的处理方法在上述方案中使用外部电子装置320来执行电子装置310的一些操作。
在下文中，参照将在下面描述的附图描述为由电子装置310执行的操作可以被称为由处理器315执行。根据示例实施例，通过外部电子装置320输入的输入信号以及电子装置310的上述画面控制操作(滚动、点击和/或拖曳)或数据处理操作(例如，数据输入)仅是为了方便描述的示例，并且本公开不限于此。
根据示例实施例，处理器315可以辨识将在增强现实环境中在用户的视场中显示的多个外部电子装置(未示出)当中的两个或更多个外部电子装置确定(或选择)为输入装置的输入界面切换事件。例如，处理器315可以基于多个外部电子装置的位置与用户的凝视方向(和/或电子装置310的位置)的一致(coincidence)来辨识输入界面切换事件。根据一个实施例，处理器315还可以确定用户的凝视是否停留在多个外部电子装置中的至少一个外部电子装置上达设定时间或更长时间。例如，处理器315可以基于用户的凝视停留在多个外部电子装置中的至少一个外部电子装置上达设定时间或更长时间的事实来辨识输入界面切换事件。根据示例实施例，处理器315可以基于所辨识的输入界面切换事件来使多个外部电子装置当中的第一外部电子装置能够接收用于控制第二外部电子装置的至少一些操作的输入信号。根据示例实施例，在处理器315创建和/或提供给用户的增强现实环境中，当用户向第一外部电子装置提供指定输入时，第二外部电子装置可以执行与该指定输入相对应的操作。
参照图3，外部电子装置320(例如，图1中的电子装置102或电子装置104)可以包括传感器模块321、处理器322、通信电路323和/或包括电路的反馈模块324。根据示例实施例，外部电子装置320可以包括智能电话、智能手表、智能戒指和/或蓝牙耳机中的至少一者。可以提供多个此类外部装置320。
根据示例实施例，传感器模块321可以包括触摸传感器和/或6轴传感器(例如，6轴加速度/陀螺仪传感器)。例如，传感器模块321可以使用触摸传感器来感测用户的触摸。例如，传感器模块321可以使用6轴传感器来感测外部电子装置320的倾斜角度和/或移动速度。
根据示例实施例，处理器322可以从电子装置310接收用于控制电子装置310的权限的至少一部分。例如，处理器322可以使用传感器模块321来接收滚动、点击和/或拖曳的用户输入，并且可以向电子装置310发送所接收到的用户输入。例如，处理器322可以通过通信电路323向电子装置310提供与所接收到的用户输入相对应的电信号和/或电子信号。例如，电子装置310的处理器315可以响应于所接收到的电信号和/或电子信号来滚动、点击和/或拖曳显示器311的画面。例如，处理器322可以从用户接收要输入到电子装置310的数据，并且可以通过通信电路323向电子装置310提供所接收到的数据。例如，电子装置310的处理器315可以将所接收到的数据输出到显示器311。例如，电子装置310的处理器315可以使用所接收到的数据来执行各种数据处理操作。根据各种实施例，处理器322可以接收用户输入，并且处理与所接收到的用户输入相对应的数据的至少一部分以针对电子装置310执行与用户输入相对应的操作(或任务)。
根据示例实施例，通信电路323可以支持无线通信方案(例如，蓝牙、WiFi和/或5G通信方案)。例如，通信电路323可以向电子装置310发送电信号和/或电子信号，使得电子装置310执行与用户输入相对应的操作(或任务)(例如，画面控制或数据处理)。
根据示例实施例，反馈模块324可以向用户提供反馈。例如，反馈模块324可以包括声学模块、触觉模块和/或发光模块。根据示例实施例，反馈模块324可以给用户提供机械刺激和/或电刺激，从而通知电子装置310已经执行了与用户输入相对应的操作。例如，处理器322可以向电子装置310提供用于使得显示器311的画面被滚动、点击和/或拖曳的电信号和/或电子信号。在这种情况下，反馈模块324可以生成声音、振动和/或光，使得用户辨识出用于滚动、点击和/或拖曳电子装置310的输入已经被输入。
根据示例实施例，电子装置310可以使用外部电子装置320来至少部分地控制电子装置310的操作。根据示例实施例，电子装置310可以使用相机312来辨识用户的姿势(例如，手势和/或凝视)，并且激活接收用于至少基于所辨识的姿势控制电子装置310的操作的输入的第一输入模式。根据示例实施例，电子装置310可以激活接收用于至少基于输入界面切换事件使用外部电子装置320控制电子装置310的操作的输入的第二输入模式。根据示例实施例，电子装置310可以接收可以使用外部电子装置320来控制电子装置310的操作的输入信号，使得可以减少用户的疲劳，并且用户可以更直观地执行输入。
根据示例实施例，电子装置310可以接收可以使用第一外部电子装置来控制第二外部电子装置的操作的输入信号。例如，电子装置310可以辨识定位在用户的视场(FOV)中的第一外部电子装置和第二外部电子装置。根据示例实施例，基于用户的凝视停留的时间和/或用户的凝视方向，电子装置310可以从第一外部电子装置接收可以控制第二外部电子装置的至少一些操作的输入信号。根据示例实施例，电子装置310可以基于用户的交互直观地控制第二外部电子装置的操作，从而给用户提供改进的用户体验。
图4是根据各种示例实施例的电子装置的框图。
根据实施例，电子装置400(例如，图1中的电子装置101、图2中的电子装置201和/或图3中的电子装置310)可以包括：显示器410(例如，图1中的显示模块160、图2中的显示模块260和/或图3中的显示器311)、相机420(例如，图1中的相机模块180、图2中的相机模块280和/或图3中的相机312)、存储器430(例如，图1中的存储器130、图2中的存储器230和/或图3中的存储器313)、通信电路440(例如，图1中的通信模块190、图2中的通信模块290和/或图3中的通信电路314)和/或包括处理电路的处理器450(例如，图1中的处理器120、图2中的处理器220和/或图3中的处理器315)。因为图4所示的部件与图3所示的电子装置310的部件相同或基本上相同，所以将省略冗余描述。在下文中，将描述与电子装置310提供增强现实环境和/或虚拟现实环境的情况相关的实施例。
根据示例实施例，相机420可以包括多个相机。根据示例实施例，多个相机当中的第一相机可以通过跟踪用户的手的移动来辨识手势。根据示例实施例，多个相机当中的第二相机可以辨识与用户的凝视方向或用户的头部正面对的方向相对应的外部空间。例如，第二相机可以获取与用户的凝视方向或用户的头部正面对的方向相对应的外部图像。根据示例实施例，多个相机当中的第三相机可以辨识用户的瞳孔的移动。例如，处理器450可以基于由第三相机辨识的用户的瞳孔的移动来获取与用户的凝视停留在对象上的时间相关的信息。作为另一示例，第一相机或第二相机可以执行基本上相同的操作。作为另一示例，可以省略第一相机和第二相机中的一者。
根据示例实施例，处理器450可以在增强现实环境中激活使用用户的姿势作为电子装置400的输入方法的第一输入模式。例如，用户的姿势可以包括用户的手势和/或用户的凝视。例如，处理器450可以在增强现实环境中使用相机420来辨识用户的姿势，并且在增强现实环境中创建和/或显示表示用户的姿势的移动的用户界面(UI)。例如，用户界面可以包括显示器410上显示的从用户的手指的尖端延伸的指示线。在各种实施例中，用户界面可以包括显示器410上显示的、指示用户的手指的尖端的位置的环形光标。根据示例实施例，处理器450可以基于用户的姿势在增强现实环境中的移动来移动用户界面。
根据示例实施例，处理器450可以辨识激活第二输入模式和第三输入模式之一的输入界面切换事件。例如，第二输入模式可以对应于使用外部电子装置(例如，图1中的电子装置102、电子装置104和/或图3中的外部电子装置320)作为电子装置400的输入方法的方案。例如，第三输入模式可以对应于使用用户的姿势和外部电子装置的混合体(mixture)作为电子装置400的输入方法的方案。根据示例实施例，处理器450可以基于外部电子装置中包括的硬件部件和/或处理来确定第二输入模式和第三输入模式之一。
根据示例实施例，在增强现实环境中，处理器450可以辨识输入界面切换事件，所述输入界面切换事件包括用户的将用户界面定位在外部电子装置被定位在的位置处的第一手势和/或虚拟地点击外部电子装置的第二手势。根据示例实施例，处理器450可以基于所辨识的输入界面切换事件来激活使用外部电子装置作为电子装置400的输入方法的第二输入模式。
根据示例实施例，处理器450可以确定外部电子装置(或外部电子装置的硬件部件)的配置文件，并且基于所确定的外部电子装置的配置文件来激活第二输入模式。根据示例实施例，当外部电子装置是智能电话时，处理器450可以激活接收用于通过智能电话来控制用户界面的移动的输入信号的第二输入模式。例如，外部电子装置可以在发送用于控制电子装置400的操作的输入信号之后通过智能电话向用户提供振动、声音和/或光中的一者作为反馈。在各种实施例中，处理器450可以基于外部电子装置的硬件部件来控制外部电子装置处理从用户接收到的用户输入。
根据示例实施例，处理器450可以确定外部电子装置(和/或外部电子装置的硬件部件)的配置文件，并且基于所确定的外部电子装置的配置文件来激活第三输入模式。例如，当外部电子装置是智能手表或智能戒指时，处理器450可以激活通过在外部电子装置正被穿戴在用户的身体部位上的同时辨识用户的手势来控制用户界面的移动、并且通过智能手表或智能戒指向用户提供振动、声音和/或光中的一者作为反馈的第三输入模式。例如，当外部电子装置是蓝牙耳机时，处理器450可以激活辨识用户的手势并且接收用于控制用户界面的信号、以及通过蓝牙耳机向用户提供声音作为反馈的第三输入模式。根据各种实施例，处理器450可以使用外部服务器(未示出)来控制电子装置400的操作。
根据各种实施例，处理器450可以辨识定位在用户的视场中的第一外部电子装置和第二外部电子装置，并且接收可以使用第一外部电子装置来控制第二外部电子装置的操作的输入信号。例如，处理器450可以辨识出第一外部电子装置和第二外部电子装置被定位在与用户的凝视方向(或用户的头部正面对的方向)相对应的区域中达设定时间。例如，处理器450可以辨识用户的凝视方向以辨识出电子装置400、第一外部电子装置和第二外部电子装置被定位在虚拟直线上达设定时间。根据示例实施例，当第一外部电子装置和第二外部电子装置被定位在与用户的凝视方向相对应的区域中达设定时间时，处理器450可以接收到用于通过第一外部电子装置来控制第二外部电子装置的操作的输入信号的至少一部分。例如，当第一外部电子装置包括显示器时，处理器450可以在第一外部电子装置的显示器上显示用于控制第二外部电子装置的操作的控制UI。例如，当通过第一外部电子装置的显示器上显示的控制UI接收到用户输入时，处理器450可以使第二外部电子装置能够执行与所接收到的用户输入相对应的操作(或任务)。在下文中，参照将稍后描述的附图被描述为由电子装置400执行的操作可以被称为由处理器450执行。
图5是用于示出根据各种示例实施例的电子装置的操作的视图。
参照图5，用户501可以将电子装置500(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310和/或图4中的电子装置400)穿戴在其头部上。在下文中，将描述与电子装置500提供增强现实环境和/或虚拟现实环境的情况相关的实施例。
根据示例实施例，在被穿戴在用户501的头部上的状态下，电子装置500可以使用相机(例如，图1中的相机模块180、图2中的相机模块280、图3中的相机312和/或图4中的相机420)来辨识用户501的手势510。根据示例实施例，电子装置500可以激活使用所辨识的手势510作为输入的第一输入模式。
根据示例实施例，电子装置500可以在增强现实环境和/或虚拟现实环境中创建用户界面515，使得用户501可以在视觉上辨识所辨识的用户501的手势510的移动。例如，用户界面515可以包括从用户501的手指的尖端延伸的指示线和/或指示该指示线的终点的圆。根据示例实施例，电子装置500可以基于用户501的手势510的移动来移动用户界面515。
参照图5，电子装置500可以辨识输入界面切换事件。例如，电子装置500可以辨识用户501将用户界面515定位在外部电子装置520(例如，图1中的电子装置102、电子装置104和/或图3中的外部电子装置320)在增强现实环境和/或虚拟现实环境中被显示在的点处的第一手势517。作为另一示例，电子装置500可以辨识用户501的使用用户界面515虚拟地触摸在增强现实环境和/或虚拟现实环境中显示的外部电子装置520的第二手势518。根据示例实施例，电子装置500可以基于对包括第一手势517和/或第二手势518的输入界面切换事件的辨识来指定(或选择)外部电子装置520并且将外部电子装置520用作输入方法。根据示例实施例，电子装置500可以至少基于对输入界面切换事件的辨识来激活使用外部电子装置520作为电子装置500的输入方法的第二输入模式。
参照图5，根据实施例的电子装置500可以控制用户界面515，使得用户界面515响应于外部电子装置520的移动而移动。例如，在第二输入模式下，电子装置500可以基于用户界面515沿着外部电子装置520移动来执行电子装置500的各种操作。根据示例实施例，外部电子装置520的显示器525可以显示用于控制电子装置500的画面。例如，画面可以包括至少一个对象。例如，当通过外部电子装置520中包括的显示器525(或触摸屏)接收到用户输入时，电子装置500可以在增强现实环境和/或虚拟现实环境中执行与所接收到的用户输入相对应的操作(和/或任务)。例如，可以在外部电子装置520的显示器525上接收与在电子装置500的显示器上显示的画面上点击相对应的用户输入。电子装置500可以基于通过外部电子装置520接收到的用户输入在增强现实环境和/或虚拟现实环境中控制电子装置500的显示器上显示的画面。根据示例实施例，外部电子装置520还可以包括向用户501提供反馈的反馈模块。例如，电子装置500可以基于通过外部电子装置520对与用户输入相对应的操作(例如，点击)的执行使用外部电子装置520来向用户501提供包括振动、声音和/或光中的至少一者的反馈。作为示例，因为用户501必须举起其手使得用户501的手被包括在视场(FOV)中以便手势被相机辨识，所以用户501的身体疲劳可能增加。根据示例实施例，电子装置500的用户501能够使用外部电子装置520来控制电子装置500的操作，使得可以减少身体疲劳。
图6是用于示出根据各种示例实施例的电子装置的操作的视图。
参照图6，用户601可以将电子装置600(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400和/或图5中的电子装置500)穿戴在其头部上。在下文中，将描述与电子装置600提供增强现实环境和/或虚拟现实环境的情况相关的实施例。
根据示例实施例，在被穿戴在用户601的头部上的状态下，电子装置600可以使用相机(例如，图1中的相机模块180、图2中的相机模块280、图3中的相机312和/或图4中的相机420)来辨识用户601的手势610。根据示例实施例，电子装置600可以激活使用手势610作为电子装置600的输入方法的第一输入模式。
根据示例实施例，电子装置600可以在增强现实环境和/或虚拟现实环境中创建连同手势610一起移动的用户界面615，使得用户601可以在视觉上辨识手势610的移动。例如，用户界面615可以为光标的形式。根据示例实施例，电子装置600可以基于用户601的手势610的移动来移动用户界面615。
参照图6，电子装置600可以辨识输入界面切换事件。例如，电子装置600可以辨识将用户界面615定位在外部电子装置620(例如，图1中的电子装置102或电子装置104和/或图3中的外部电子装置320)在增强现实环境和/或虚拟现实环境中被显示在的点处的第一手势617。作为另一示例，电子装置600可以辨识使用用户界面615虚拟地触摸外部电子装置620的第二手势618。根据示例实施例，电子装置600可以基于包括第一手势617和/或第二手势618的输入界面切换事件来指定外部电子装置620。根据示例实施例，电子装置600可以激活使用所指定的外部电子装置620作为电子装置600的输入方法的第二输入模式。
参照图6，电子装置600可以响应于外部电子装置620的移动来控制用户界面615移动。例如，在第二输入模式下，电子装置600可以基于外部电子装置620的操作来执行电子装置600的操作。根据示例实施例，外部电子装置620的显示器625可以显示用于控制电子装置600的画面。例如，画面可以包括至少一个对象。例如，用户601可以向外部电子装置620中包括的触摸屏625(或触摸板)提供用户输入。电子装置600可以从外部电子装置620接收用户输入并且可以执行与所接收到的用户输入相对应的操作(或任务)。例如，用户601可以向外部电子装置620输入滚动外部电子装置620的触摸屏625的用户输入(例如，滚动输入)。电子装置600可以基于用户601的由外部电子装置620的触摸屏625接收到的滚动输入在增强现实环境和/或虚拟现实环境中滚动电子装置600的显示器上显示的显示画面。在各种实施例中，当外部电子装置620接收到通过触摸屏625输入的数据时，电子装置600可以使用通过触摸屏625输入的数据在增强现实环境和/或虚拟现实环境中执行数据输入操作。根据示例实施例，外部电子装置620还可以包括向用户601提供反馈的反馈模块。例如，当通过外部电子装置620执行与用户输入相对应的操作(例如，滚动)时，电子装置600可以使用外部电子装置620来向用户601提供包括振动、声音和/或光中的至少一者的反馈。
图7是用于示出根据各种示例实施例的电子装置的操作的视图。
参照图7，用户701可以将电子装置700(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500和/或图6中的电子装置600)穿戴在其头部上。在下文中，将描述与电子装置700提供增强现实环境和/或虚拟现实环境的情况相关的实施例。
根据示例实施例，电子装置700可以使用相机(例如，图1中的相机模块180、图2中的相机模块280、图3中的相机312或图4中的相机420)来辨识用户701的手势710。根据一个实施例，电子装置700可以激活使用用户701的手势710作为电子装置700的输入方法的第一输入模式。电子装置700可以在增强现实环境和/或虚拟现实环境中创建用户界面715，使得用户701可以在视觉上辨识用户701的手势710的移动。根据示例实施例，电子装置700可以基于用户701的手势710的移动来控制用户界面715移动。
参照图7，电子装置700可以识别在被穿戴在用户701的头部上的状态下与用户701的视场(FOV)相对应的区域(或空间)750。根据示例实施例，电子装置700可以通过相机来获取与用户701的凝视方向和/或用户701的头部正面对的方向相对应的图像，以辨识与视场(FOV)相对应的区域750中包括的外部电子装置720。根据示例实施例，电子装置700可以使用相机来辨识用户701的瞳孔的移动。根据示例实施例，电子装置700可以使用相机来获取关于用户701的与用户701的瞳孔正面对的方向相对应的凝视730停留(或保持)在外部电子装置720上的时间的信息。根据示例实施例，电子装置700可以确定用户701的凝视730停留在外部电子装置720上的时间是否等于或大于设定时间。例如，当用户701的凝视730停留在外部电子装置720上的时间等于或大于设定时间时，电子装置700可以辨识出已经发生了输入界面切换事件。
根据示例实施例，电子装置700可以基于输入界面切换事件确定用户701的凝视730已经停留在其上达设定时间或更长时间的外部电子装置720的配置文件和/或外部电子装置720中包括的硬件部件，并且基于所确定的配置文件和/或硬件部件确定电子装置700的输入方案。例如，当作为对外部电子装置720的配置文件和/或外部电子装置720的硬件部件的确定结果而辨识出外部电子装置720是能够从用户701接收用户输入的装置时，电子装置700可以将第二输入模式确定为电子装置700的输入方案。根据示例实施例，当外部电子装置720对应于智能电话时，电子装置700可以激活使用外部电子装置720作为电子装置700的输入方法的第二输入模式。例如，第二输入模式可以对应于未必使用用户701的手势710作为电子装置700的输入方法、而是使用外部电子装置720作为电子装置700的输入方法的输入方案。
参照图7，电子装置700可以响应于外部电子装置720的移动来控制用户界面715移动。例如，当外部电子装置720包括智能电话时，电子装置700可以基于通过外部电子装置720接收到的用户输入执行电子装置700的操作(例如，滚动、点击和/或拖曳)。根据示例实施例，当外部电子装置720包括反馈模块(例如，图3中的反馈模块324)时，电子装置700可以通过外部电子装置720向用户701提供针对电子装置700的操作的反馈(例如，声音、振动和/或光)。
图8是用于示出根据各种示例实施例的电子装置的操作的视图。
参照图8，用户801可以将电子装置800(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600和/或图7中的电子装置700)穿戴在其头部上。在下文中，将描述与电子装置800提供增强现实环境和/或虚拟现实环境的情况相关的实施例。
根据示例实施例，电子装置800可以使用相机(例如，图1中的相机模块180、图2中的相机模块280、图3中的相机312或图4中的相机420)来辨识用户801的手势810。根据示例实施例，电子装置800可以激活使用用户801的手势810作为电子装置800的输入方法的第一输入模式。电子装置800可以在增强现实环境和/或虚拟现实环境中创建用户界面815，使得用户801可以在视觉上辨识用户801的手势810的移动。根据示例实施例，电子装置800可以基于用户801的手势810的移动来控制用户界面815移动。
参照图8，电子装置800可以识别与用户801的视场(FOV)相对应的区域(或空间)850。根据示例实施例，电子装置800可以通过相机来获取与用户801的凝视方向或用户801的头部正面对的方向相对应的图像，以辨识与视场(FOV)相对应的区域850中包括的外部电子装置820。根据示例实施例，电子装置800可以使用相机来辨识用户801的瞳孔的移动。例如，电子装置800可以使用相机来获取关于用户801的凝视830停留(或保持)在外部电子装置820上的时间的信息。例如，当用户801的凝视830停留在外部电子装置820上的时间等于或大于设定时间时，电子装置800可以辨识出已经发生了输入界面切换事件。
根据示例实施例，电子装置800可以基于输入界面切换事件确定用户801的凝视830已经停留在其上达设定时间或更长时间的外部电子装置820的配置文件和/或外部电子装置820中包括的硬件部件，并且基于所确定的配置文件和/或硬件部件确定电子装置800的输入方案。例如，当作为对外部电子装置820的配置文件和/或外部电子装置820的硬件部件的确定结果而辨识出外部电子装置820是在从用户801接收用户输入时受限制的装置时，电子装置800可以将第三输入模式确定为电子装置800的输入方案。限制可以包括例如有无显示器、显示器的大小、有无按钮、或穿戴部位。例如，当外部电子装置820对应于智能手表、智能戒指和蓝牙耳机中的一者时，电子装置800可以激活一起使用用户801的手势810和外部电子装置820作为电子装置800的输入方法的第三输入模式。例如，第三输入模式可以对应于使用用户801的手势810和外部电子装置820的混合体作为电子装置800的输入方法的输入方案。
参照图8，电子装置800可以在外部电子装置820被穿戴在用户801的身体部位上的状态下辨识用户801的手势810。电子装置800可以基于所辨识的手势810来控制用户界面815移动，并且可以控制针对电子装置800的操作(例如，滚动、点击和/或拖曳)的反馈(例如，声音、振动和/或光)通过外部电子装置820中包括的反馈模块821被提供给用户801。例如，当外部电子装置820是包括触觉模块的智能手表时，电子装置800可以基于用户801的手势810接收各种输入，执行与输入相对应的操作，并且向用户801提供与输入或操作相对应的反馈(例如，振动)。
图9是用于示出根据各种示例实施例的电子装置的操作的视图。
参照图9，用户901可以将电子装置900(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600、图7中的电子装置700和/或图8中的电子装置800)穿戴在其头部上。在下文中，将描述与电子装置900提供增强现实环境和/或虚拟现实环境的情况相关的实施例。
根据示例实施例，电子装置900可以通过至少一个通信电路连接到多个外部电子装置920和940。根据示例实施例，电子装置900可以确定与多个外部电子装置920和940的相对位置或对准状态。电子装置900可以基于所确定的相对位置或对准状态使用第一外部电子装置920来控制第二外部电子装置940的至少一些操作。
根据示例实施例，电子装置900可以使用相机(例如，图1中的相机模块180、图2中的相机模块280、图3中的相机312和/或图4中的相机420)来辨识用户901的手势910。根据示例实施例，电子装置900可以在增强现实环境和/或虚拟现实环境中显示用户界面915，使得用户901可以在视觉上辨识用户901的手势910的移动。
参照图9，电子装置900可以识别与用户901的视场(FOV)相对应的区域(或空间)950。根据示例实施例，电子装置900可以通过相机来获取与用户901的凝视方向或用户901的头部正面对的方向相对应的图像，以辨识与视场(FOV)相对应的区域950中包括的多个外部电子装置920、940和960。
根据示例实施例，电子装置900可以使用相机来辨识用户901的瞳孔的移动。例如，电子装置900可以使用相机来辨识定位(或对准)在与用户901的凝视930相对应的区域中的第一外部电子装置920和第二外部电子装置940。在各种实施例中，电子装置900可以识别用户901的凝视930的角度和/或第一外部电子装置920的位置和第二外部电子装置940的位置，以辨识第一外部电子装置920和第二外部电子装置940是否被定位(或对准)在与用户901的凝视930相对应的区域中。
根据示例实施例，当第一外部电子装置920和第二外部电子装置940被定位(或对准)在与用户901的凝视930相对应的区域中并且用户901的凝视930停止在第一外部电子装置920上达设定时间时，电子装置900可以辨识出已经发生了输入界面切换事件。在各种实施例中，当第一外部电子装置920和第二外部电子装置940被定位(或对准)在与用户901的凝视930相对应的区域中并且用户界面915停留在第一外部电子装置920上达设定时间时，电子装置900可以辨识出已经发生了输入界面切换事件。
例如，当用户901的凝视930停止在第一外部电子装置920上达设定时间时，电子装置900可以选择第一外部电子装置920作为控制定位在与用户901的凝视930相对应的区域中的第二外部电子装置940的输入方法。
参照图9，电子装置900可以使用(或选择)第一外部电子装置920作为第二外部电子装置940的输入方法。例如，第一外部电子装置920可以包括智能电话，而第二外部电子装置940可以包括物联网(IoT)和电子装置(例如，智能TV)。根据示例实施例，电子装置900可以基于对第一外部电子装置920的选择来显示用于在第一外部电子装置920上控制第二外部电子装置940的操作的控制界面945。例如，控制界面945可以包括与第二外部电子装置940的操作相关的至少一个对象。例如，电子装置900可以显示用于在第一外部电子装置920上改变包括智能TV的外部电子装置940的频道或音量的控制界面945。电子装置900的用户901可以通过控制界面945向第一外部电子装置920提供用户输入。电子装置900可以基于由第一外部电子装置920接收到的用户输入控制第二外部电子装置940工作。
在各种实施例中，第二外部电子装置940可以是在增强现实环境和/或虚拟现实环境中显示的虚拟对象而不是真实对象。即使当第二外部电子装置940是虚拟对象时，也可以选择第一外部电子装置920作为用于在与上述实施例中的方案相同或类似的方案中控制第二外部电子装置940的输入方法。
根据本公开的示例实施例的电子装置(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600、图7中的电子装置700、图8中的电子装置800和/或图9中的电子装置900)可以包括：显示器(例如，图1中的显示模块160、图2中的显示模块260、图3中的显示器311和/或图4中的显示器410)；通信电路(例如，图1中的通信模块190、图2中的通信模块290、图3中的通信电路314和/或图4中的通信电路440)；至少一个相机(例如，图1中的相机模块180、图2中的相机模块280、图3中的相机312和/或图4中的相机420)；存储器(例如，图1中的存储器130、图2中的存储器230、图3中的存储器313和/或图4中的存储器430)；以及至少一个处理器(例如，图1中的处理器120、图2中的处理器220、图3中的处理器315和/或图4中的处理器450)，所述至少一个处理器可操作地连接到所述显示器、所述通信电路、所述至少一个相机和所述存储器。根据示例实施例，所述存储器可以存储指令，所述指令在被运行时被配置为使所述至少一个处理器：通过所述显示器来提供增强现实(AR)环境或虚拟现实(VR)环境；通过所述通信电路连接到所述电子装置和至少一个外部电子装置；通过所述显示器来显示所述至少一个外部电子装置；基于输入界面切换事件，在所显示的至少一个外部电子装置当中指定第一外部电子装置；以及使用所指定的第一外部电子装置，在所述增强现实环境或所述虚拟现实环境中控制所述电子装置的操作。
根据示例实施例，所述至少一个相机可以包括用于辨识用户的手势的第一相机，并且所述指令可以使所述处理器在所述增强现实环境或所述虚拟现实环境中创建用户界面，所述用户界面基于所述手势的移动而移动。
根据示例实施例，所述指令可以使所述处理器基于所述输入界面切换事件来指定所述第一外部电子装置，所述输入界面切换事件包括：将所创建的用户界面定位在所述第一外部电子装置被显示在的点处的第一手势；以及使用所述用户界面虚拟地触摸所述第一外部电子装置的第二手势。
根据示例实施例，所述指令可以使所述处理器：基于所述第一外部电子装置在所述增强现实环境或所述虚拟现实环境中的移动来移动所述用户界面。
根据示例实施例，所述指令可以使所述处理器：在所述第一外部电子装置包括触摸屏时，基于由用户通过所述触摸屏提供的输入在所述增强现实环境或所述虚拟现实环境中执行滚动操作或数据输入操作。
根据示例实施例，所述指令可以使所述处理器：在所述第一外部电子装置包括触觉模块、声学模块和发光模块中的至少一者时，使用所述触觉模块、所述声学模块和所述发光模块中的至少一者来提供与所述电子装置的操作相关的反馈，所述反馈包括振动、声音和光中的至少一者。
根据示例实施例，所述至少一个相机可以包括用于辨识用户的凝视方向的第二相机，并且所述指令可以使所述处理器：基于所述第一外部电子装置被定位在与所述第二相机辨识出的用户的凝视方向相对应的区域中达设定时间的所述输入界面切换事件来指定所述第一外部电子装置。
根据示例实施例，所述指令可以使所述处理器在所述增强现实环境或所述虚拟现实环境中创建用户界面，所述用户界面基于所述第一外部电子装置的移动而移动。
根据示例实施例，所述至少一个相机可以包括用于辨识用户的头部的面对方向的第二相机，并且所述指令可以使所述处理器：在所述至少一个外部电子装置中包括的所述第一外部电子装置和第二外部电子装置被定位在与用户的凝视方向或所述第二相机辨识出的用户的头部的面对方向相对应的区域中达设定时间时，将控制所述第二外部电子装置的操作的权限指配给所述第一外部电子装置。
根据示例实施例，所述指令可以使所述处理器：使所述第一外部电子装置能够显示用于控制所述第二外部电子装置的操作的控制界面，并且在所述第一外部电子装置包括触觉模块、声学模块和发光模块中的至少一者时，使用所述触觉模块、所述声学模块和所述发光模块中的至少一者来提供与所述第二外部电子装置的操作相关的反馈，所述反馈包括振动、声音和光中的至少一者。
根据本公开的实施例的电子装置(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600、图7中的电子装置700、图8中的电子装置800或图9中的电子装置900)包括：显示器(例如，图1中的显示模块160、图2中的显示模块260、图3中的显示器311或图4中的显示器410)；通信电路(例如，图1中的通信模块190、图2中的通信模块290、图3中的通信电路314或图4中的通信电路440)；至少一个相机(例如，图1中的相机模块180、图2中的相机模块280、图3中的相机312或图4中的相机420)；存储器(例如，图1中的存储器130、图2中的存储器230、图3中的存储器313或图4中的存储器430)；以及处理器(例如，图1中的处理器120、图2中的处理器220、图3中的处理器315或图4中的处理器450)，所述处理器可操作地连接到所述显示器、所述通信电路、所述至少一个相机和所述存储器。根据示例实施例，所述存储器存储有指令，所述指令在被运行时使所述处理器：通过所述显示器来提供增强现实(AR)环境或虚拟现实(VR)环境；通过所述通信电路连接到外部电子装置；通过所述显示器来显示所述外部电子装置；激活第一输入模式，所述第一输入模式用于在提供所述增强现实环境或所述虚拟现实环境的同时使用用户的手势来控制所述电子装置；以及激活第二输入模式，所述第二输入模式用于在所述第一输入模式被激活的同时基于接收到由所述用户提供的输入界面切换请求，使用所述手势和所述外部电子装置来控制所述电子装置。
根据示例实施例，所述指令可以使所述处理器：在所述增强现实环境或所述虚拟现实环境中显示指示所述第一输入模式是否被激活的用户界面；以及基于所述用户的将所述用户界面定位在所述外部电子装置上的手势来激活所述第二输入模式。
根据示例实施例，所述指令可以使所述处理器：使用所述至少一个相机来辨识所述用户的凝视方向或所述用户的头部的面对方向；以及通过辨识出所述外部电子装置被定位在与所述凝视方向或所述头部的面对方向相对应的区域中达设定时间来激活所述第二输入模式。
根据示例实施例，所述指令可以使所述处理器：响应于所述第二输入模式的激活在所述外部电子装置中包括的显示器上显示支持所述第二输入模式的控制界面；以及基于通过所述控制界面接收到的用户输入执行与所述用户输入相对应的任务。
根据示例实施例，所述任务可以包括以下中的至少一者：与在所述增强现实环境或所述虚拟现实环境中的用户输入相对应地滚动所述显示器上显示的画面的操作和输入数据的操作。
图10是根据各种实施例的电子装置的操作方法的流程图。
根据示例实施例，在操作1010中，电子装置(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600、图7中的电子装置700、图8中的电子装置800或图9中的电子装置900)可以通过显示器(例如，图1中的显示模块160、图2中的显示模块260、图3中的显示器311或图4中的显示器410)来提供增强现实(AR)环境或虚拟现实(VR)环境。例如，显示器可以包括至少部分透明的显示器。
根据示例实施例，在操作1020中，电子装置可以通过通信电路(例如，图1中的通信模块190、图2中的通信模块290、图3中的通信电路314或图4中的通信电路440)连接到至少一个外部电子装置(例如，图3中的外部电子装置320或图5至图9中的外部电子装置520、620、720、820、920和940)。例如，电子装置可以通过无线通信方案(例如，蓝牙、WiFi和5G通信方案)连接到至少一个外部电子装置。
根据示例实施例，在1030操作中，电子装置可以通过显示器来显示至少一个外部电子装置。例如，电子装置可以在显示器上显示在增强现实环境或虚拟现实环境中添加的至少一个外部电子装置。作为另一示例，当电子装置的显示器的至少部分是透明的时，电子装置的用户可以通过显示器的透明部分观察外部电子装置。在各种实施例中，电子装置可以通过在显示器上显示在真实空间中拍摄的预览视频来提供虚拟现实环境。
根据示例实施例，在操作1040中，电子装置可以基于输入界面切换事件在至少一个外部电子装置当中指定第一外部电子装置。
在示例实施例中，电子装置可以辨识输入界面切换事件，所述输入界面切换事件包括用户的将用户界面定位在第一外部电子装置被定位在增强现实环境或虚拟现实环境中在的位置处的第一手势和/或虚拟地点击第一外部电子装置的第二手势。电子装置可以基于所辨识的界面切换事件在至少一个外部电子装置当中指定(或选择)第一外部电子装置。
在示例实施例中，电子装置可以在增强现实环境或虚拟现实环境中基于用户的凝视停留(或保持)在至少一个外部电子装置当中的第一外部电子装置上达设定时间来辨识输入界面切换事件。当用户的凝视停留(或保持)在第一外部电子装置上达设定时间时，电子装置可以在至少一个外部电子装置当中指定(或选择)第一外部电子装置。
根据示例实施例，在操作1050中，可以使用所指定的第一外部电子装置在增强现实环境或虚拟现实环境中控制电子装置的操作。例如，电子装置可以基于从第一外部电子装置接收到的用户输入控制电子装置的操作。例如，当在外部电子装置中包括的触摸屏(或触摸板)上从用户接收到用户输入时，电子装置可以执行与所接收到的用户输入相对应的操作(或任务)。例如，当用户向外部电子装置中包括的触摸屏提供滚动、点击和/或拖曳输入时，电子装置可以在增强现实环境或虚拟现实环境中对电子装置的显示器执行滚动、点击和/或拖曳操作。
图11是根据各种实施例的电子装置的操作方法的流程图。
根据示例的实施例，在1110中，电子装置(例如、图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600、图7中的电子装置700、图8中的电子装置800或图9中的电子装置900)可以在增强现实环境和/或虚拟现实环境中激活使用用户的姿势作为电子装置的输入方案的第一输入模式。例如，用户的姿势可以包括用户的手势和/或用户的凝视。
根据示例实施例，在操作1120中，电子装置可以辨识出用户界面被定位在外部电子装置在增强现实环境和/或虚拟现实环境中通过显示器(例如，图1中的显示模块160、图2中的显示模块260、图3中的显示器311或图4中的显示器410)被显示或观察在的点处。根据示例实施例，当用户界面被定位持续指定时间时，电子装置可以指定(或选择)外部电子装置。例如，用户界面可以是沿着手势移动使得用户可以在第一输入模式下在视觉上辨识手势的对象。在示例实施例中，在用户界面被定位在外部电子装置被显示在的点处之后，电子装置可以进一步执行使用用户界面虚拟地点击外部电子装置的操作。
根据示例实施例，在操作1130中，电子装置可以辨识外部电子装置的配置文件和/或外部电子装置中包括的硬件部件。根据示例实施例，电子装置可以确定所指定的(或选择的)外部电子装置的配置文件和/或外部电子装置的硬件部件，并且在外部电子装置的配置文件对应于第一配置文件时执行操作1140。例如，当外部电子装置能够执行相对高级的数据处理操作时，电子装置可以执行操作1140。根据示例实施例，电子装置可以确定所指定的(或选择的)外部电子装置的配置文件，并且在外部电子装置的配置文件对应于第二配置文件时执行操作1150。例如，当外部电子装置能够执行相对低级的数据处理操作时，电子装置可以执行操作1150。
根据示例实施例，在操作1140中，电子装置可以激活第二输入模式。根据示例实施例，当外部电子装置能够执行相对高级的数据处理操作(例如，渲染、编码、解码和/或转码)时，电子装置可以激活第二输入模式。例如，当外部电子装置对应于智能电话时，电子装置可以激活第二输入模式。根据示例实施例，第二输入模式可以对应于用于使用所指定的(或选择的)外部电子装置来控制电子装置的操作的输入模式。例如，电子装置可以基于在所指定的(或选择的)外部电子装置上接收到的用户输入在增强现实环境和/或虚拟现实环境中执行各种操作(例如，画面控制操作或数据处理操作)。
根据示例实施例，在操作1150中，电子装置可以激活第三输入模式。根据示例实施例，当外部电子装置能够执行相对低级的数据处理操作(例如，用户输入的感测和对应输入信号的传输)时，电子装置可以激活第三输入模式。例如，当外部电子装置对应于智能手表、智能戒指和/或蓝牙耳机时，电子装置可以激活第三输入模式。根据示例实施例，第三输入模式可以对应于用于使用用户的手势作为电子装置的输入方法来控制电子装置的操作、并且使用所指定的(或选择的)外部电子装置来向用户提供对电子装置的操作的反馈(例如，振动、声音和/或光)的输入模式。
图12是根据各种实施例的电子装置的操作方法的流程图。
根据示例实施例，在操作1211中，电子装置1200(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600、图7中的电子装置700、图8中的电子装置800或图9中的电子装置900)可以与第一外部电子装置1203和第二外部电子装置1205连接(或配对)。例如，第一外部电子装置1203可以包括智能电话。
根据示例实施例，在操作1212中，第一外部电子装置1203可以与第二外部电子装置1205连接(或配对)。例如，第二外部电子装置1205可以包括IoT电子装置(例如，智能TV)。在各种实施例中，可以省略操作1212。在这种情况下，第一外部电子装置1203和第二外部电子装置1205可以不彼此直接连接，而是可以通过电子装置1200彼此间接连接。
根据示例实施例，在操作1221中，电子装置1200可以在增强现实环境和/或虚拟现实环境中识别(或辨识)第一外部电子装置1203的位置。例如，电子装置1200可以使用深度相机(例如，图2中的深度相机215)在增强现实环境和/或虚拟现实环境中识别第一外部电子装置1203被定位在的点。
根据示例实施例，在操作1222中，电子装置1200可以在增强现实环境和/或虚拟现实环境中识别(或辨识)第二外部电子装置1205的位置。例如，电子装置1200可以使用深度相机(例如，图2中的深度相机215)在增强现实环境和/或虚拟现实环境中识别第二外部电子装置1205被定位在的点。
根据示例实施例，在操作1230中，电子装置1200可以在增强现实环境和/或虚拟现实环境中确定电子装置1200的位置、第一外部电子装置1203的位置和第二外部电子装置1205的位置是否对准(或电子装置1200、第一外部电子装置1203和第二外部电子装置1205的位置的对准状态)。根据示例实施例，当第一外部电子装置1203和第二外部电子装置1205被定位在与电子装置1200的用户的凝视方向相对应的区域中时，电子装置1200可以确定电子装置1200的位置、第一外部电子装置1203的位置和第二外部电子装置1205的位置对准，并且执行操作1241。在各种实施例中，电子装置1200可以进一步确定用户的凝视停留在第一外部电子装置1203上的时间是否等于或大于设定时间。例如，当确定电子装置1200的位置、第一外部电子装置1203的位置和第二外部电子装置1205的位置对准并且用户的凝视停留在第一外部电子装置1203上的时间等于或大于设定时间时，电子装置1200可以执行操作1241。
根据示例实施例，当电子装置1200的位置、第一外部电子装置1203的位置和第二外部电子装置1205的位置在增强现实环境和/或虚拟现实环境中未对准时，电子装置1200可以再次执行操作1221和操作1222。
根据示例实施例，在操作1241中，电子装置1200可以选择第一外部电子装置1203作为用于在增强现实环境和/或虚拟现实环境中控制第二外部电子装置1205的输入方法。
根据示例实施例，在操作1245中，第一外部电子装置1203可以在第一外部电子装置1203的显示器上显示被配置为控制第二外部电子装置1205的操作的控制界面。例如，当第二外部电子装置1205是智能TV时，第一外部电子装置1203可以在第一外部电子装置1203的显示器上显示被配置为控制第二外部电子装置1205的开/关、频道号和/或音量水平(volume level)的控制界面。
根据示例实施例，在操作1247中，在增强现实环境和/或虚拟现实环境中，电子装置1200可以控制第二外部电子装置1205。例如，在将电子装置1200穿戴在其头部上的状态下，电子装置1200的用户可以将用户输入(例如，音量增大)输入到在第一外部电子装置1203上显示的、与第二外部电子装置1205相关的控制界面。第一外部电子装置1203可以向电子装置1200提供与通过控制界面接收到的用户输入相对应的第一控制信号。电子装置1200可以基于所接收到的第一控制信号来控制第二外部电子装置1205的操作。例如，当穿戴电子装置1200的用户将指示第二外部电子装置1205的音量增大的用户输入输入到在第一外部电子装置1203上显示的控制界面时，第一外部电子装置1203可以向电子装置1200发送与所输入的用户输入相对应的第一控制信号。电子装置1200可以基于所接收到的第一控制信号来向第二外部电子装置1205提供用于将第二外部电子装置1205的音量水平设置为较大的值的第二控制信号。
根据示例实施例，电子装置1200可以在增强现实环境和/或虚拟现实环境中直观地控制多个外部电子装置1203和1205的操作。例如，电子装置1200可以基于多个外部电子装置1203和1205在增强现实环境和/或虚拟现实环境中是否对准和/或用户的凝视停止的时间中的至少一者选择多个外部电子装置1203和1205中的一者作为用于控制另一者的输入方法。
根据本公开的实施例的电子装置(例如，图1中的电子装置101、图2中的电子装置201、图3中的电子装置310、图4中的电子装置400、图5中的电子装置500、图6中的电子装置600、图7中的电子装置700、图8中的电子装置800或图9中的电子装置900)的操作方法包括：通过显示器(例如，图1中的显示模块160、图2中的显示模块260、图3中的显示器311或图4中的显示器410)来提供增强现实(AR)环境或虚拟现实(VR)环境的操作；通过通信电路(例如，图1中的通信模块190、图2中的通信模块290、图3中的通信电路314或图4中的通信电路440)连接到至少一个外部电子装置(例如，图3中的外部电子装置320或图5至图9中的外部电子装置520、620、720、820、920和940)的操作；通过所述显示器来显示所述至少一个外部电子装置的操作；基于输入界面切换事件，在所显示的至少一个外部电子装置当中指定第一外部电子装置的操作；以及使用所指定的第一外部电子装置，在所述增强现实环境或所述虚拟现实环境中控制所述电子装置的操作的操作。
根据示例实施例，所述方法可以进一步包括：在所述增强现实环境或所述虚拟现实环境中创建用户界面的操作，所述用户界面基于使用所述电子装置中包括的相机辨识的用户的手势的移动而移动，并且指定所述第一外部电子装置的操作可以包括：基于所述输入界面切换事件来指定所述第一外部电子装置的操作，所述输入界面切换事件包括将所创建的用户界面定位在所述第一外部电子装置被显示在的点处的第一手势，以及使用所述用户界面虚拟地触摸所述第一外部电子装置的第二手势。
根据示例实施例，所述方法可以进一步包括：在所述第一外部电子装置包括触觉模块、声学模块和发光模块中的至少一者时，使用所述触觉模块、所述声学模块和所述发光模块中的至少一者来提供与所述电子装置的操作相关的反馈的操作，所述反馈包括振动、声音和光中的至少一者。
根据示例实施例，指定所述第一外部电子装置的操作可以包括：基于所述第一外部电子装置被定位在与使用所述电子装置中包括的相机辨识的用户的凝视方向相对应的区域中达设定时间的所述输入界面切换事件来指定所述第一外部电子装置的操作。
根据示例实施例，所述方法可以进一步包括：使用所述电子装置中包括的相机来辨识用户的凝视方向或所述用户的头部的面对方向的操作；以及在所述至少一个外部电子装置中包括的所述第一外部电子装置和第二外部电子装置被定位在与用户的凝视方向或用户的头部的面对方向相对应的区域中达设定时间时，将控制所述第二外部电子装置的操作的权限指配给所述第一外部电子装置的操作。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可以用来指代相似或相关的元件。将理解的是，与项相应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可以与所述另一元件直接(例如，有线地)耦接、与所述另一元件无线连接、或经由第三元件与所述另一元件耦接。
如与本公开的各种实施例关联使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在机器(例如，电子装置101)的处理器(例如，处理器120)的控制下，该处理器可以在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来分发计算机程序产品，或者可以经由应用商店(例如，Play StoreTM)在线分发(例如，下载或上传)计算机程序产品，或者可以直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线分发的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可以省略上述部件中的一个或更多个部件，或者可以添加一个或更多个其他部件。可选择地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可以仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可以顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可以按照不同的顺序来运行或被省略，或者可以添加一个或更多个其他操作。

Claims (15)

1.一种电子装置，所述电子装置包括：
显示器；
通信电路；
至少一个相机；
存储器；以及
至少一个处理器，所述至少一个处理器可操作地连接到所述显示器、所述通信电路、所述至少一个相机和所述存储器，
其中，所述存储器存储有指令，所述指令在被运行时被配置为使所述至少一个处理器：
通过所述显示器来提供增强现实环境或虚拟现实环境中的至少一者；
进行控制以通过所述通信电路来连接所述电子装置和至少一个外部电子装置；
进行控制以通过所述显示器来显示所述至少一个外部电子装置；
至少基于输入界面切换事件，在所显示的至少一个外部电子装置当中指定第一外部电子装置；以及
使用所指定的第一外部电子装置，在所述增强现实环境或所述虚拟现实环境中控制所述电子装置的操作。
2.根据权利要求1所述的电子装置，其中，所述至少一个相机包括用于辨识用户的手势的第一相机，
其中，所述指令被配置为使所述至少一个处理器：在所述增强现实环境或所述虚拟现实环境中的至少一者中创建用户界面，所述用户界面基于所述手势的移动而移动。
3.根据权利要求2所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：基于所述输入界面切换事件指定所述第一外部电子装置，所述输入界面切换事件包括将所创建的用户界面定位在所述第一外部电子装置被显示在的点处的第一手势，以及使用所述用户界面虚拟地触摸所述第一外部电子装置的第二手势。
4.根据权利要求2所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：基于所述第一外部电子装置在所述增强现实环境或所述虚拟现实环境中的至少一者中的移动来移动所述用户界面。
5.根据权利要求1所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：在所述第一外部电子装置包括触摸屏时，基于由用户通过所述触摸屏提供的输入在所述增强现实环境或所述虚拟现实环境中的至少一者中执行滚动操作或数据输入操作。
6.根据权利要求1所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：在所述第一外部电子装置包括触觉模块、声学模块和发光模块中的至少一者时，使用所述触觉模块、所述声学模块和所述发光模块中的至少一者来提供与所述电子装置的操作相关的反馈，所述反馈包括振动、声音和光中的至少一者。
7.根据权利要求1所述的电子装置，其中，所述至少一个相机包括用于辨识用户的凝视方向的第二相机，
其中，所述指令被配置为使所述至少一个处理器：基于所述第一外部电子装置被定位在与所述第二相机辨识出的用户的凝视方向相对应的区域中达设定时间的所述输入界面切换事件来指定所述第一外部电子装置。
8.根据权利要求7所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：在所述增强现实环境或所述虚拟现实环境中的至少一者中创建用户界面，所述用户界面基于所述第一外部电子装置的移动而移动。
9.根据权利要求1所述的电子装置，其中，所述至少一个相机包括用于辨识用户的头部的面对方向的第二相机，
其中，所述指令被配置为使所述至少一个处理器：基于所述至少一个外部电子装置中包括的所述第一外部电子装置和第二外部电子装置被定位在与用户的凝视方向或所述第二相机辨识出的用户的头部的面对方向相对应的区域中达设定时间，将控制所述第二外部电子装置的操作的权限指配给所述第一外部电子装置。
10.根据权利要求9所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：
使所述第一外部电子装置能够显示用于控制所述第二外部电子装置的操作的控制界面；以及
基于所述第一外部电子装置包括触觉模块、声学模块和发光模块中的至少一者，使用所述触觉模块、所述声学模块和所述发光模块中的至少一者来提供与所述第二外部电子装置的操作相关的反馈，所述反馈包括振动、声音和光中的至少一者。
11.一种电子装置，所述电子装置包括：
显示器；
通信电路；
至少一个相机；
存储器；以及
至少一个处理器，所述至少一个处理器可操作地连接到所述显示器、所述通信电路、所述至少一个相机和所述存储器，
其中，所述存储器存储有指令，所述指令在被运行时被配置为使所述至少一个处理器：
通过所述显示器来提供增强现实环境或虚拟现实环境中的至少一者；
进行控制以通过所述通信电路来连接所述电子装置和外部电子装置；
进行控制以通过所述显示器来显示所述外部电子装置；
激活第一输入模式，所述第一输入模式用于在提供所述增强现实环境或所述虚拟现实环境中的至少一者的同时使用用户的手势来控制所述电子装置；以及
激活第二输入模式，所述第二输入模式用于在所述第一输入模式被激活的同时基于接收到由所述用户提供的输入界面切换请求，使用所述手势和所述外部电子装置来控制所述电子装置。
12.根据权利要求11所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：
进行控制以在所述增强现实环境或所述虚拟现实环境中的至少一者中显示指示所述第一输入模式是否被激活的用户界面；以及
基于所述用户的将所述用户界面定位在所述外部电子装置上的手势来激活所述第二输入模式。
13.根据权利要求11所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：
使用所述至少一个相机来辨识所述用户的凝视方向或所述用户的头部的面对方向；以及
通过辨识出所述外部电子装置被定位在与所述凝视方向或所述头部的面对方向相对应的区域中达设定时间来激活所述第二输入模式。
14.根据权利要求11所述的电子装置，其中，所述指令被配置为使所述至少一个处理器：
进行控制以响应于所述第二输入模式的激活在所述外部电子装置中包括的显示器上显示支持所述第二输入模式的控制界面；以及
基于通过所述控制界面接收到的用户输入执行与所述用户输入相对应的任务。
15.根据权利要求14所述的电子装置，其中，所述任务包括以下中的至少一者：与在所述增强现实环境或所述虚拟现实环境中的至少一者中的用户输入相对应地滚动所述显示器上显示的画面的操作和输入数据的操作。
CN202180073756.7A 2020-12-17 2021-11-09 电子装置和电子装置的操作方法 Pending CN116438503A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200177194A KR20220086939A (ko) 2020-12-17 2020-12-17 전자 장치 및 전자 장치의 동작 방법
KR10-2020-0177194 2020-12-17
PCT/KR2021/016257 WO2022131549A1 (ko) 2020-12-17 2021-11-09 전자 장치 및 전자 장치의 동작 방법

Publications (1)

Publication Number Publication Date
CN116438503A true CN116438503A (zh) 2023-07-14

Family

ID=82023057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180073756.7A Pending CN116438503A (zh) 2020-12-17 2021-11-09 电子装置和电子装置的操作方法

Country Status (3)

Country Link
US (1) US11822728B2 (zh)
EP (1) EP4195005A1 (zh)
CN (1) CN116438503A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11789530B2 (en) * 2021-11-17 2023-10-17 Meta Platforms Technologies, Llc Gaze-based user interface with assistant features for smart glasses in immersive reality applications

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR101672212B1 (ko) * 2010-06-15 2016-11-04 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101239284B1 (ko) 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
KR20130120599A (ko) * 2012-04-26 2013-11-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9514570B2 (en) * 2012-07-26 2016-12-06 Qualcomm Incorporated Augmentation of tangible objects as user interface controller
US8933970B2 (en) * 2012-09-11 2015-01-13 Longsand Limited Controlling an augmented reality object
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US9460314B2 (en) * 2013-12-01 2016-10-04 Apx Labs, Inc. Systems and methods for providing task-based instructions
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
AU2016341196B2 (en) * 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
KR102471977B1 (ko) * 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
CN105573500B (zh) 2015-12-22 2018-08-10 王占奎 眼动控制的智能ar眼镜设备
JP6765846B2 (ja) 2016-04-25 2020-10-07 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10509487B2 (en) 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
US10237509B1 (en) 2016-08-05 2019-03-19 Apple Inc. Systems with keyboards and head-mounted displays
US10438389B2 (en) * 2016-11-07 2019-10-08 Htc Corporation Method, device, and non-transitory computer readable storage medium for displaying virtual reality or augmented reality environment according to a viewing angle
KR102656528B1 (ko) 2016-11-25 2024-04-12 삼성전자주식회사 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
KR102391965B1 (ko) * 2017-02-23 2022-04-28 삼성전자주식회사 가상현실 서비스를 위한 화면 제어 방법 및 장치
US10468022B2 (en) * 2017-04-03 2019-11-05 Motorola Mobility Llc Multi mode voice assistant for the hearing disabled
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
KR102479052B1 (ko) * 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
KR102409947B1 (ko) 2017-10-12 2022-06-17 삼성전자주식회사 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control
US10890982B2 (en) * 2018-12-18 2021-01-12 Samsung Electronics Co., Ltd. System and method for multipurpose input device for two-dimensional and three-dimensional environments
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
KR102237659B1 (ko) 2019-02-21 2021-04-08 한국과학기술원 입력 방법 및 이를 수행하는 장치들
US11493989B2 (en) * 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system
US11533192B2 (en) * 2021-04-26 2022-12-20 At&T Intellectual Property I, L.P. Method and system for augmenting presentation of media content using devices in an environment

Also Published As

Publication number Publication date
US11822728B2 (en) 2023-11-21
US20220197394A1 (en) 2022-06-23
EP4195005A1 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
KR102656447B1 (ko) 컨트롤러와 접촉된 신체 부위에 따라 그래픽 객체를 다르게 표시하는 방법 및 전자 장치
US11481965B2 (en) Electronic device for communicating in augmented reality and method thereof
US20230222744A1 (en) Electronic device for providing augmented reality content and operation method thereof
KR20220086939A (ko) 전자 장치 및 전자 장치의 동작 방법
US11822728B2 (en) Electronic device and operation method thereof
US11996021B2 (en) Electronic device including expandable display and content provision method
US11334152B2 (en) Electronic device and content executing method using sight-line information thereof
US20230005227A1 (en) Electronic device and method for offering virtual reality service
US11895286B2 (en) Device and method for transmitting data of multiple applications with low latency
US11630639B2 (en) Control method of electronic device using a plurality of sensors and electronic device thereof
US20240071021A1 (en) Head-mounted electronic device for converting a screen of an electronic device into extended reality and electronic device connected thereto
US11941315B2 (en) Wearable electronic device for displaying augmented reality object and method for operating the same
KR20200095691A (ko) 밀리미터 웨이브를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
US11829527B2 (en) Augmented reality device, electronic device interacting with augmented reality device, and controlling method thereof
US20230128520A1 (en) Electronic device and method for providing augmented reality
US20230152899A1 (en) Wearable device for communicating with at least one counterpart device according to trigger event and control method therefor
US20220129139A1 (en) Electronic device and method for controlling display of a plurality of objects on wearable display device
US20230289025A1 (en) Method for controlling electronic device by using stylus, and electronic device for receiving input from stylus by using method
US20230260177A1 (en) Electronic device and method for providing augmented reality content
US20230236705A1 (en) Electronic device having foldable display and method for controlling same
US20240069351A1 (en) Electronic device for controlling wearable device based on input of electronic device and method thereof
US20220383598A1 (en) Method and apparatus for displaying augmented reality object
US20240053869A1 (en) Communication method and device using avatar in virtual space
US20240048668A1 (en) Electronic device for supporting various communications during video call, and operating method therefor
US20230185421A1 (en) Electronic device having a flexible display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination