CN117940826A - 电子装置、头戴式显示装置、可穿戴装置及其操作方法 - Google Patents

电子装置、头戴式显示装置、可穿戴装置及其操作方法 Download PDF

Info

Publication number
CN117940826A
CN117940826A CN202280058208.1A CN202280058208A CN117940826A CN 117940826 A CN117940826 A CN 117940826A CN 202280058208 A CN202280058208 A CN 202280058208A CN 117940826 A CN117940826 A CN 117940826A
Authority
CN
China
Prior art keywords
wearable device
electronic device
mode
signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280058208.1A
Other languages
English (en)
Inventor
裵栽晟
朴喜灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117940826A publication Critical patent/CN117940826A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据各种实施例,可以提供一种电子装置,该电子装置包括通信电路和至少一个处理器,所述至少一个处理器被配置为:经由通信电路建立与头戴式显示装置和可穿戴装置的通信;经由通信电路从头戴式显示装置接收与身体的至少特定部分相关联的信息;当经由通信电路从可穿戴装置接收到第一信号时,将图像发送到头戴式显示器,其中,图像是基于与身体的至少特定部分相关联的信息生成的图像,并且包括与第一信号相关联的至少一个图形对象。

Description

电子装置、头戴式显示装置、可穿戴装置及其操作方法
技术领域
本公开涉及电子装置、头戴式显示装置、可穿戴装置及其操作方法。
背景技术
最近,正在开发提供包括增强现实(AR)、虚拟现实(VR)或混合现实(MR)的扩展现实(XR)的服务。
用于在提供这种XR服务的环境中提供用户交互的方法包括手势方法、控制器方法和混合方法。
发明内容
技术问题
电子装置(例如,智能电话)可以处理从可用作一种控制器的头戴式显示装置和/或可穿戴装置(例如,智能手表)接收到的信息,以提供基于扩展现实(XR)的服务。例如,电子装置(例如,智能电话)可以在用户使用可穿戴装置(例如,智能手表)进行输入时基于从可穿戴装置(例如,智能手表)接收到的信号来控制通过头戴式显示装置提供的沉浸式内容(例如,基于扩展现实技术的内容)。使用可穿戴装置(例如,智能手表)的沉浸式内容控制方法可以被称为混合型方法。可穿戴装置(例如,智能手表)不仅可以充当用于控制沉浸式内容(例如,扩展的基于现实的内容)的控制器,还可以用于提供可穿戴装置自身的功能(例如,用于检查消息、接收呼叫、或提供手表屏幕的服务)。因此,可穿戴装置会导致与接收到的用户输入相对应的故障。例如,尽管用户在使用混合现实服务时向可穿戴装置进行输入以接收可穿戴装置自己的服务,但是可穿戴装置也可以提供用于控制沉浸式内容的功能。作为另一个示例,尽管用户在使用混合现实服务时向可穿戴装置进行输入以控制沉浸式内容,但是可穿戴装置也可以提供其自己的服务。
根据各种实施例,电子装置、头戴式显示装置、可穿戴装置及其操作方法可以通过管理用于提供可穿戴装置的功能的多种模式以及将可穿戴装置的模式设置为多个模式中满足指定条件的特定模式来解决可穿戴装置在提供混合现实服务的环境中发生故障的问题。
本公开的实施例可以提供一种电子装置、头戴式显示装置、可穿戴装置及其操作方法,其可以通过基于双手要放置的概率确定是否将可穿戴装置的模式设置为用于控制沉浸式内容的模式来在提供混合现实服务的环境中灵活地设置可穿戴装置的模式。
技术方案
根据各种实施例,可以提供一种包括通信电路和至少一个处理器的电子装置,其中所述至少一个处理器被配置为:通过所述通信电路建立与头戴式显示装置和可穿戴装置的通信连接;通过所述通信电路从所述头戴式显示装置接收与至少一个特定的身体部位相关联的信息;以及在通过所述通信电路从所述可穿戴装置接收到第一信号时,向所述头戴式显示装置发送图像,所述图像包括与所述第一信号相关联的至少一个图形对象且是基于与所述至少一个特定的身体部位相关联的信息生成的。
根据各种实施例,可以提供一种用于操作电子装置的方法,该方法包括:通过通信电路建立与头戴式显示装置和可穿戴装置的通信连接;通过所述通信电路从所述头戴式显示装置接收与至少一个特定的身体部位相关联的信息;以及在通过所述通信电路从所述可穿戴装置接收到第一信号时,向所述头戴式显示装置发送图像,所述图像包括与所述第一信号相关联的至少一个图形对象且是基于与所述至少一个特定的身体部位相关联的信息生成的。
根据各种实施例,可以提供一种可穿戴电子装置,所述可穿戴电子装置包括至少一个传感器和通信电路以及至少一个处理器,其中所述至少一个处理器被配置为:通过所述通信电路建立与电子装置的通信连接,通过所述通信电路从所述电子装置接收用于设置所述可穿戴装置的模式的信号,基于根据接收到的信号所述可穿戴装置的模式被设置为第一模式,使用至少一个传感器识别输入,提供与所识别的输入相对应的内容,以及基于根据接收到的信号所述可穿戴装置的模式被设置为第二模式,通过所述通信电路向所述电子装置发送包括关于所识别的输入的信息的第一信号。
根据各种示例性实施例,可以提供一种头戴式显示(HMD)装置,所述HMD装置包括:多个相机、通信电路以及至少一个处理器,其中,所述至少一个处理器被配置为:通过所述通信电路建立与电子装置的通信连接,使用所述多个相机获得多个图像,基于所述多个图像中的至少一些图像,获得与至少一个特定的身体部位相关联的信息,通过所述通信电路向所述电子装置发送与所述至少一个特定的身体部位相关联的信息,以及基于与所述至少一个特定的身体部位相关联的信息的发送,通过所述通信电路从所述电子装置接收包括至少一个图形对象的图像。
本公开的实施例不限于前述方面,并且本领域技术人员根据下面结合附图的详细描述将容易地理解其他方面。
有益效果
根据各种实施例,可以提供一种电子装置、头戴式显示装置、可穿戴装置及其操作方法,其可以通过管理用于提供可穿戴装置的功能的多个模式以及将可穿戴装置的模式设置为多个模式中满足指定条件的特定模式来解决可穿戴装置在提供混合现实服务的环境中发生故障的问题。
根据各种实施例,可以提供一种电子装置、头戴式显示装置、可穿戴装置及其操作方法,其可以通过确定是否根据双手要放置的概率将可穿戴装置的模式设置为用于控制沉浸式内容的模式来在提供混合现实服务的环境中灵活地设置可穿戴装置的模式。
附图说明
图1是示出根据各种实施例的在网络环境中的电子装置的视图。
图2a是示出根据各种实施例的使用扩展现实(XR)技术的电子装置的示例的图。
图2b是示出根据各种实施例的使用扩展现实(XR)的电子装置的另一示例的图。
图2c是示出根据各种实施例的使用可穿戴装置(例如,智能手表或无线耳机)来控制通过头戴式显示装置提供的沉浸式内容(或视图)的示例性操作的图。
图3是示出根据各种实施例的增强现实装置的示例性结构的图。
图4是示出根据各种实施例的增强现实装置的示例性配置的框图。
图5是示出根据各种实施例的增强现实装置的显示器和眼睛跟踪相机的示例性结构的图。
图6是示出根据各种实施例的可穿戴装置的前透视图。
图7是示出根据各种实施例的图6的电子装置的后透视图。
图8a是示出根据各种实施例的可穿戴装置的框图。
图8b是示出根据各种实施例的可穿戴装置的模式的示例的图。
图9a是示出根据各种实施例的电子装置的示例性配置的图。
图9b是示出根据各种实施例的电子装置的另一示例性配置的图。
图10是示出根据各种实施例的电子装置、HMD装置和可穿戴装置的示例性操作的流程图。
图11a是示出根据各种实施例的电子装置、HMD装置和可穿戴装置的示例性操作的图。
图11b是示出根据各种实施例的由HMD装置显示基于使用可穿戴装置的输入而生成的基于扩展现实(XR)技术的图像的示例性操作的图。
图12a和图12b是示出根据各种实施例的电子装置设置可穿戴装置的模式的操作的示例的图。
图13是示出根据各种实施例的电子装置的示例性操作的流程图。
图14是示出根据各种实施例的电子装置的示例性操作的流程图。
图15是示出根据各种实施例的用于设置可穿戴装置的模式的参数值的示例的图。
图16a是示出根据各种实施例的电子装置基于从可穿戴装置接收到的控制信号来移动通过HMD装置显示的对象的示例性操作的图。
图16b是示出根据各种实施例的用于通过HMD装置移动要显示的对象的操作以及针对每个操作的可穿戴装置的模式的图。
图17a是示出根据各种实施例的电子装置基于从可穿戴装置接收到的控制信号通过HMD装置显示特定画面的示例性操作的图。
图17b是示出根据各种实施例的用于通过HMD装置显示特定画面的操作以及针对每个操作的可穿戴装置的模式的图。
图18是示出根据各种实施例的电子装置的示例性操作的流程图。
图19是示出根据各种实施例的电子装置的示例性操作的流程图。
图20是示出根据各种实施例的多个区域和概率信息的示例的图。
图21是示出根据各种实施例的电子装置的示例性操作的流程图。
图22是示出根据各种实施例的电子装置的示例性操作的流程图。
图23是示出根据各种实施例的电子装置的示例性操作的流程图。
具体实施例
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子装置101中省略上述部件中的至少一个(例如,连接端178),或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中,可将上述部件中的一些部件(例如,传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如,显示模块160)。
处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如,当电子装置101包括主处理器121和辅助处理器123时,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如,显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。根据实施例,辅助处理器123(例如,神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如,可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如,服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合,但不限于此。另外地或可选地,人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如,按钮)或数字笔(例如,手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入模块150获得声音,或者经由声音输出模块155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如,毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术,诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如,电子装置104)或网络系统(例如,第二网络199)中指定的各种要求。根据实施例,无线通信模块192可支持用于实现eMBB的峰值数据速率(例如,20Gbps或更大)、用于实现mMTC的丢失覆盖(例如,164dB或更小)或者用于实现URLLC的U平面延迟(例如,对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小,或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可包括多个天线(例如,阵列天线)。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的组件(例如,射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例,天线模块197可形成毫米波天线模块。根据实施例,毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如,阵列天线),其中,RFIC设置在印刷电路板的第一表面(例如,底表面)上,或与第一表面相邻并且能够支持指定的高频带(例如,毫米波带),所述多个天线设置在印刷电路板的第二表面(例如,顶部表面或侧表面)上,或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施例,可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中,外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例,外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如,智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体,并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
结合图1对电子装置101进行的描述可以应用于以下对电子装置210、头戴式显示装置221和控制可穿戴装置223的描述,并且下面可以不再给出重复描述。
在下文中,根据各种实施例,将描述电子装置(例如,电子装置210(例如,终端)和可穿戴装置220(例如,头戴式显示器(HMD))和控制可穿戴装置223(例如,智能手表223a、无线耳机223b)))和服务器230)的示例。
图2a是示出根据各种实施例的使用扩展现实(XR)技术的电子装置(例如,电子装置210和可穿戴装置220)的示例的图。图2b是示出根据各种实施例的使用扩展现实(XR)的电子装置(例如,电子装置210、可穿戴装置220和服务器230)的另一示例的图。图2c是示出根据各种实施例的使用可穿戴装置(例如,智能手表223a或无线耳机223b)控制通过头戴式显示装置提供的沉浸式内容(或视图)的操作的示例的视图。
根据各种实施例,参照图2a,用于使用扩展现实(XR)技术(或提供扩展现实服务)的装置可以包括电子装置210和可穿戴装置220。扩展现实技术可以包括虚拟现实(VR)技术、增强现实(AR)技术、以及混合现实(MR)技术,但不限于此,还可以包括用于为用户提供沉浸式体验的各种类型的技术。
根据各种实施例,电子装置210可以包括终端,例如智能电话、平板电脑、笔记本电脑等。
根据各种实施例,可穿戴装置220可以包括头戴式显示装置221和控制可穿戴装置223等。术语“控制可穿戴装置223”是用于对可穿戴装置220中除了头戴式显示装置221之外的可穿戴装置进行分类的术语,并且不限于该描述,除了头戴式显示装置221之外的其他可穿戴装置可以由“控制可穿戴装置223”之外的其他术语定义。例如,头戴式显示装置221可以包括眼镜型头戴式显示装置、2D/3D头戴式显示装置、AR头戴式显示装置和VR头戴式显示装置,并且不限于所描述的,还可以包括佩戴在用户头上以能够向用户的眼睛提供沉浸式内容(例如,基于XR技术的内容)的装置。同时,头戴式显示装置221还可以是面戴式显示(FMD)装置。作为另一示例,控制可穿戴装置223可以包括除头戴式显示装置221之外的其他类型的用户身体可穿戴装置,例如智能手表223a、无线耳机223b或操纵杆装置。下面描述头戴式显示装置221和控制可穿戴装置223的各种示例。
根据各种实施例,装置(例如,电子装置210、头戴式显示装置221和控制可穿戴装置223)可以控制提供给用户的沉浸式内容(例如,基于XR技术的内容)。例如,装置(例如,电子装置210、头戴式显示装置221和控制可穿戴装置223)可以彼此建立通信连接并基于发送和/或接收的信息来控制(例如,更新、改变或移动)由头戴式显示装置221向用户提供的沉浸式内容(例如,基于XR技术的内容)。例如,可以通过例如Wi-Fi、蓝牙和BLE这样的短距离无线通信方案来建立通信连接,也可以通过除所描述的通信连接方案(例如,3G、4G/LTE、NR或其他蜂窝通信或光通信)之外的无线通信连接方案和有线通信连接方案来建立通信连接。例如,电子装置210可以基于从头戴式显示装置221接收到的信息(例如,与用户的身体部位(例如,手、头或注视)相关联的信息)和/或从控制可穿戴装置223(例如,智能手表)接收的信号来控制要通过头戴式显示装置221显示的沉浸式内容(例如,基于XR技术的内容)。在实施例中,电子装置210可以基于控制可穿戴装置223(例如,智能手表)和佩戴控制可穿戴装置223的用户的身体部位的移动来控制沉浸式内容。例如,电子装置210可以基于从控制可穿戴装置223(例如,智能手表)接收的信号来控制沉浸式内容。作为另一示例,电子装置210还可以基于佩戴控制可穿戴装置223(例如,智能手表)的身体部位(例如,手臂或手)来控制沉浸式内容。参照图2c,多个区域(包括子区域S1'和S1”的向前区域S1和向下区域S2)可以通过头戴式显示装置221捕获,并且沉浸式内容可以基于根据捕获的结果识别出的控制可穿戴装置223的位置和/或身体部位(例如,双手)的位置而被控制。例如,在使用包括在头戴式显示装置221中的多个相机捕获的空间中,由具有针对佩戴用户的HMD装置221的身体部位(例如,头部H)的前方的视场(FOV)的至少一些相机所捕获的空间可以被称为向前区域S1,并且由具有针对用户身体部位(例如,头部H)的向下的FOV的至少一些相机捕获的空间可以被称为向下区域S2。在这种情况下,由捕获前方区域S1的相机所捕获的空间可以被称为子区域(例如,S1'和S1”)。可以基于在捕获的空间内识别的控制可穿戴装置223的位置、用户注视的位置和/或用户的手的位置来设置控制可穿戴装置223的模式,这将在下面描述。由电子装置210控制沉浸式内容的技术可以被称为混合型内容控制技术。作为提供混合型内容控制技术的操作的至少一部分,电子装置210可以将控制可穿戴装置223(例如,智能手表)的模式设置为用于控制沉浸式内容的模式,并基于模式设置从控制可穿戴装置223(例如,智能手表)接收用于控制沉浸式内容的信号。下面更详细地描述电子装置210的操作。根据实施例,电子装置210可以基于从控制可穿戴装置223(例如,智能手表)接收的信号来控制沉浸式内容。由电子装置210来控制沉浸式内容的技术可以被称为控制器型内容控制技术。根据实施例,电子装置210可以仅基于用户的身体部位(例如,手)的移动来控制沉浸式内容。通过电子装置210来控制沉浸式内容的技术可以被称为手势型内容控制技术。电子装置210可以依据用户是否佩戴了控制可穿戴装置223以及所佩戴的可穿戴装置的类型从内容控制技术中选择特定的内容控制技术。例如,如果用户佩戴智能手表,则电子装置210可以从内容控制技术中选择混合型内容控制技术并控制沉浸式内容。
同时,但不限于此,除了电子装置210之外的装置可以控制通过头戴式显示装置221显示的内容。例如,参照图2b,可以实现除电子装置210之外的远程服务器230,并且服务器230可以基于从电子装置210接收的信息和/或可穿戴装置来控制要通过头戴式显示装置221显示的沉浸式内容。由服务器230控制沉浸式内容的操作可以类似于上述操作由电子装置210来执行,并且可以不给出其重复描述。作为另一示例,在这些装置之中,HMD装置221和/或控制可穿戴装置223,而不是电子装置210,可以执行控制电子装置210的沉浸式内容的上述操作。
下面参照图3、图4和图5更详细地描述根据各种实施例的头戴式显示装置221(在下文中,增强现实装置300(例如,AR头戴式显示装置))的示例。如上所述,头戴式显示装置不限于以下示例(增强现实装置),并且其可以被实现为能够向用户的眼睛提供沉浸式内容(例如,基于XR技术的内容)的各种装置(例如,眼镜型头戴式显示装置、2D/3D头戴式显示装置、以及VR头戴式显示装置)。
图3是示出根据各种实施例的增强现实装置的示例性结构的图。
根据各种实施例,增强现实装置300可以包括一个或更多个第一相机311-1和311-2、一个或更多个第二相机312-1和312-2以及一个或更多个第三相机213。根据各种实施例,通过一个或更多个第一相机311-1和311-2获得的图像可以用于检测用户的手势、跟踪用户的头部和/或空间识别。根据各种实施例,一个或更多个第一相机311-1和311-2可以是全局快门(GS)相机或卷帘快门(RS)相机。根据各种实施例,一个或更多个第一相机311-1和311-2可以通过深度捕获来执行同时定位和建图(SLAM)操作。根据各种实施例,一个或更多个第一相机311-1和311-2可以执行3DoF和/或6DoF的空间识别。
根据各种实施例,通过一个或更多个第二相机312-1和312-2获得的图像可用于检测和跟踪用户的瞳孔。根据各种实施例,一个或更多个第二相机312-1和312-2可以是GS相机。根据各种实施例,一个或更多个第二相机312-1和312-2可分别对应于左眼和右眼,并且一个或更多个第二相机312-1和312-2可具有相同的性能。
根据各种实施例,一个或更多个第三相机213可以是高分辨率相机。根据各种实施例,一个或更多个第三相机213可以执行自动对焦(AF)功能和OIS功能。根据各种实施例,一个或更多个第三相机313可以是GS相机或RS相机。根据各种实施例,一个或更多个第三相机313可以是彩色相机。
根据各种实施例,增强现实装置300可以包括一个或更多个发光元件314-1和314-2。发光元件314-1和314-2不同于下面描述的用于将光照射到显示器的屏幕输出区域的光源。根据各种实施例,发光装置314-1和314-2可以照射光以促进通过一个或更多个第二相机312-1和312-2检测和跟踪用户的瞳孔的瞳孔检测。根据各种实施例,发光装置314-1和314-2中的每一个可以包括LED。根据各种实施例,发光装置314-1和314-2可以照射红外波段中的光。根据各种实施例,发光装置314-1和314-2可附接在增强现实装置300的框架周围。根据各种实施例,发光装置314-1和314-2可定位在一个或更多个第一相机311-1和311-2周围,并且当增强现实装置300在黑暗环境中使用时可以通过一个或更多个第一相机311-1和311-2辅助姿势检测、头部跟踪和空间识别。根据各种实施例,发光装置314-1和314-2可定位在一个或更多个第三相机313周围,并且当增强现实装置300在黑暗环境中使用时可以通过一个或更多个第三相机313辅助获得图像。
根据各种实施例,增强现实装置300可以包括电池335-1和335-2。电池335-1和335-2可以存储用于操作增强现实装置300的其余组件的电力。
根据各种实施例,增强现实装置300可以包括第一显示器351、第二显示器352、一个或更多个输入光学构件353-1和353-2、一个或更多个透明构件390-1和390-2、以及一个或更多个屏幕显示部分354-1和354-2。根据各种实施例,第一显示器351和第二显示器352可以包括例如液晶显示器(LCD)、数字镜装置(DMD)、硅上液晶(LCoS)或有机发光二极管(OLED)或微型发光二极管(micro LED)。根据各种实施例,当第一显示器351和第二显示器352由液晶显示装置、数字镜面显示装置或硅液晶显示装置中的一个形成时,增强现实装置300可以包括光源以用于将光照射到显示器的屏幕输出区域。根据各种实施例,当第一显示器351和第二显示器352可以自己产生光时,例如,当由有机发光二极管或微型LED形成时,即使不包括单独的光源,增强现实装置300可以向用户提供良好质量的虚拟图像。
根据各种实施例,一个或更多个透明构件390-1和390-2可被设置为当用户佩戴增强现实装置300时面向用户的眼睛。根据各种实施例,一个或更多个透明构件390-1和390-2可以包括玻璃板、塑料板和聚合物中的至少一种。根据各种实施例,当用户佩戴增强现实装置300时,用户可以通过一个或更多个透明构件390-1和390-2观看外部世界。根据各种实施例,一个或更多个输入光学构件353-1和353-2可以将由第一显示器351和第二显示器352产生的光引导到用户的眼睛。根据各种实施例,基于由第一显示器351和第二显示器352产生的光的图像可以形成在一个或更多个透明构件390-1和390-2上的一个或更多个屏幕显示部分354-1和354-2上,并且用户可以观看形成在一个或更多个屏幕显示部分354-1和354-2上的图像。
根据各种实施例,增强现实装置300可以包括一个或更多个光波导(未示出)。光波导可以将第一显示器351和第二显示器352产生的光传输到用户的眼睛。增强现实装置300可以包括与左眼和右眼中的每一个相对应的一个光波导。根据各种实施例,光波导可以包括玻璃、塑料或聚合物中的至少一种。根据各种实施例,光波导可以包括形成在内部或一个外表面上的纳米图案,例如,多边形或弯曲的光栅结构。根据各种实施例,光波导可以包括自由形状型棱镜,并且在这种情况下,光波导可以通过反射镜向用户提供入射光。根据各种实施例,光波导可以包括至少一个衍射元件(例如,衍射光学元件(DOE)或全息光学元件(HOE))或反射元件(例如,反射镜)中的至少一种,并且使用包括在光波导中的至少一个衍射元件或反射元件将从光源发射的显示光引导至用户的眼睛。根据各种实施例,衍射元件可以包括输入/输出光学元件。根据各种实施例,反射元件可以包括引起全反射的构件。
根据各种实施例,增强现实装置300可以包括一个或更多个音频输入装置362-1、362-2和362-3以及一个或更多个音频输出装置363-1和363-2。
根据各种实施例,增强现实装置300可以包括第一PCB 370-1和第二PCB 370-2。第一PCB 370-1和第二PCB 370-2可以将电信号传输到增强现实装置300中包括的组件,例如下面参照图2描述的第一相机311、第二相机312、第三相机313、显示模块250、音频模块261和传感器280。根据各种实施例,第一PCB 370-1和第二PCB 370-2可以是FPCB。根据各种实施例,第一PCB 370-1和第二PCB 370-2均可以包括第一基板、第二基板以及设置在第一基板和第二基板之间的中介层。
图4是示出根据各种实施例的增强现实装置的示例性配置的框图。
增强现实装置400可以包括处理器(例如,包括处理电路)410、包括第一相机431、第二相机432和第三相机433的多个相机430、电源管理集成电路(PMIC)421、左充电器422、左无线充电天线424、左电池423、右充电器425、右无线充电天线427、右电池426、右显示器控制器(例如,包括电路)441、右显示器442、左显示器控制器(例如,包括电路)443、左显示器444、通信电路450、接近传感器461、6轴传感器462、磁传感器463、按键470、存储器480、扬声器放大器491、音频输出装置(例如,包括音频输出电路)492、以及语音输入装置(例如,包括语音输入电路)493。
根据各种实施例,处理器410可以控制增强现实装置400的其他组件,例如,第一相机431、第二相机432、第三相机433、PMIC 421、右显示器控制器441、左显示器控制器443、通信电路450、存储器480和扬声器放大器491,并且可以执行各种数据处理或计算。
根据各种实施例,上面结合图3描述的一个或更多个第一相机311-1和311-2、一个或更多个第二相机312-1和312-2以及一个或更多个第三相机313的细节可以同样地分别应用于第一相机431、第二相机432和第三相机433。根据各种实施例,增强现实装置400可包括多个的第一相机431、第二相机432和第三相机433中的至少一个。
根据各种实施例,PMIC 421可以将存储在左电池423和右电池426中的电力转换为具有增强现实装置400的其他组件所需的电流或电压,并将其供应给增强现实装置400的其他组件。根据各种实施例,右电池426可以被实现为图3的电池335-1,并且左电池423可以被实现为图2的电池335-2。根据各种实施例,左充电器422可以基于通过左无线充电天线424接收到的无线电力对左电池423充电。根据各种实施例,右充电器425可以基于通过右无线充电天线424接收到的无线电力对右电池426充电。
根据各种实施例,右显示器控制器441和右显示器442可以配置上面参照图3描述的第一显示器351。根据各种实施例,右显示器控制器441可以控制右显示器442的驱动器。根据各种实施例,右显示器442可以通过传送光源来显示画面。根据各种实施例,左显示器控制器443和左显示器444可以配置上面参照图2描述的第二显示器352。根据各种实施例,左显示器控制器443可以控制左显示器444的驱动器。根据各种实施例,左显示器444可以通过传送光源来显示画面。
根据各种实施例,通信电路450可以支持与增强现实装置400外部的电子装置建立无线通信信道并通过所建立的通信信道执行通信。
根据各种实施例,增强现实装置400还可以包括除了接近传感器461、6轴传感器462和磁传感器463之外的其他各种类型的传感器。
根据各种实施例,存储器480可以存储由增强现实装置400的至少一个组件(例如,处理器410)使用的各种数据。
根据各种实施例,扬声器放大器491可以与音频输出装置492连接以生成要传送到音频输出装置492的数据。根据各种实施例,音频输出装置492可以包括扬声器。
图5是示出根据各种实施例的增强现实装置的显示器和眼睛跟踪相机的示例性结构的图。
增强现实装置500(例如,图3的增强现实装置300)可以包括显示器521、投影透镜522、输入光学构件523、显示光波导524、输出光学构件525、眼睛跟踪相机510、第一分光器541、眼睛跟踪光波导542和/或第二分光器543。
在增强现实装置500中,显示器521可以是图3中所示的第一显示器351或第二显示器352。从显示器521输出的光可以被投影透镜522折射并会聚到较小的孔径区域。被投影透镜522折射的光可以穿过输入光学构件523(例如,图3的输入光学构件353-1和353-2)并且入射到显示光波导524上,然后可以穿过显示光波导524并通过输出光学构件525被输出。从输出光学构件525输出的光可以被用户的眼睛530看到。在下文中,在本公开中,表述“在显示器上显示对象”可以是例如,从显示器521输出的光通过输出光学构件525输出,并且通过由输出光学构件525输出的光,用户的眼睛530可以看到对象的形状。此外,表述“控制显示器显示对象”可以指例如从显示器521输出的光通过输出光学构件525被输出,并且通过由输出光学构件525输出的光,控制显示器521使得用户的眼睛530看到对象的形状。
从用户的眼睛530反射的光535可以穿过第一分光器541并入射到眼睛跟踪光波导542上,然后可以穿过眼睛跟踪光波导542并通过第二分光器543输出到眼睛跟踪相机510。根据各种实施例,从用户的眼睛530反射的光535可以是从图3的发光装置314-1和314-2输出的并且从用户的眼睛530反射的光。根据各种实施例,眼睛跟踪相机510可以是图3中示出的一个或更多个第二相机312-1和312-2。
下面参照图6至图8描述根据各种实施例的控制可穿戴装置223(下文中,可穿戴装置600)的示例。如上所述,控制可穿戴装置223不限于以下示例(可穿戴装置600),而是可以被实现为可以穿戴在用户的身体部位上的各种类型的电子装置。
图6是示出根据各种实施例的示例性可穿戴装置600的前透视图。图7是根据各种实施例的图6的可穿戴装置600的后透视图。
参照图6和图7,根据实施例,可穿戴装置600(例如,图1的电子装置)可以包括:壳体610,壳体610包括第一表面(或前表面)610A、第二表面(或后表面)610B、和围绕第一表面610A与第二表面610B之间的空间的侧表面610C;以及紧固构件650和660,紧固构件650和660连接到壳体610的至少一部分并且被配置为允许可穿戴装置600可拆卸地穿戴在用户的身体部位上(例如,他的手腕或脚踝)。根据实施例(未示出),壳体可以表示形成图6的第一表面610A、第二表面610B和侧表面610C的一部分的结构。根据实施例,第一表面610A的至少一部分可以具有基本透明的前板601(例如,包括各种涂层的玻璃板或聚合物板)。第二表面610B可以由基本上不透明的后盖607形成。后盖607可以由例如层压或有色玻璃、陶瓷、聚合物、金属(例如,铝、不锈钢(STS)或镁)或其中至少两种的组合形成。侧表面610C可以由侧边框结构(或“侧构件”)606形成,侧边框结构606联接到前板601和后盖607并且包括金属和/或聚合物。根据实施例,后盖607和侧边框板606可以一体地形成在一起并且包括相同的材料(例如,例如铝的金属)。紧固构件650和660可以由各种材料形成各种形状。柔性的单体结构或多单元链节可以由织物、皮革、橡胶、聚氨酯、金属、陶瓷或其中至少两种的组合形成。
根据实施例,由导电材料形成的电极682和683可以形成在可穿戴装置600的后盖607的一个区域中。
根据实施例,可穿戴装置600可以包括显示器620、音频模块605和608、传感器模块611、键输入装置602和690以及连接器孔609中的至少一个或更多个。根据实施例,电子装置600可以排除至少一个组件(例如,键输入装置602和690、连接器孔609或传感器模块611)或者可以添加其他组件。
显示器620可以通过前板601的大部分是可见的。显示器620可以具有与前板601的形状相对应的形状,例如圆形、椭圆形或多边形。显示器620可以与触摸检测电路、能够测量触摸的强度(压力)的压力传感器和/或指纹传感器联接或邻近地设置。
音频模块605和608可以包括麦克风孔605和扬声器孔608。麦克风孔605内部可以具有麦克风以获得外部声音。根据实施例,可以存在多个能够检测声音的方向的麦克风。扬声器孔608可用于外部扬声器或电话通话的听筒。根据实施例,扬声器孔608和麦克风孔605可以被实现为单个孔,或者可以包括扬声器而没有扬声器孔608(例如,压电扬声器)。
传感器模块611可以产生与可穿戴装置600的内部操作状态或外部环境状态相对应的电信号或数据值。传感器模块611可以包括设置在壳体610的第二表面610B上的例如生物计量传感器模块611(例如心率监测器(HRM)传感器)。可穿戴装置600可以包括未示出的传感器模块,例如手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、握力传感器、颜色传感器、红外(IR)传感器、生物计量传感器、温度传感器、湿度传感器或照度传感器中的至少一种。
键输入装置602和690可以包括设置在壳体610的第一表面610A上以在至少一个方向上可旋转的滚轮键602(或边框键)和/或设置在壳体610的侧表面610C上的键按钮690。滚轮键可以具有与前板601的形状相对应的形状。根据实施例,可穿戴装置600可以排除上述键输入装置602和690中的全部或一些,并且排除的键输入装置602和690可以实现为其他形式,例如显示器620上的软键。连接器孔609可以容纳用于发送和接收电力和/或去往/来自外部电子装置的数据的连接器(例如,通用串行总线(USB)连接器)。可以包括另一个连接器孔(未示出),用于容纳用于向外部电子装置发送音频信号和从外部电子装置接收音频信号的连接器。可穿戴装置600还可以包括连接器盖(未示出),以覆盖例如连接器孔609的至少一部分并且防止和/或减少不期望的材料进入连接器孔。
紧固构件650和660可经由锁定构件651和661可拆卸地紧固至壳体610的至少部分。紧固构件650和660可包括紧固构件652、紧固构件联接孔653、带引导构件654和带紧固环655中的一个或更多个。
紧固构件652可以被配置为允许壳体610以及紧固构件650和660紧固到用户的身体部位(例如,手腕或脚踝)。紧固构件联接孔653可以将壳体610以及紧固构件650和660紧固到与紧固构件652相对应的用户的身体部位。带引导构件654可以被配置为当紧固构件652配合到紧固构件联接孔653之一中时将紧固构件652的运动限制到一定程度,从而使得紧固构件650和660能够紧密地紧固到使用者的身体部位上。当紧固构件652配合到紧固构件联接孔653之一中时,带紧固环655可以限制紧固构件650和660的运动范围。
图8a是示出根据各种实施例的可穿戴装置600的示例性配置的框图。图8b是示出根据各种实施例的可穿戴装置600的模式的示例的图。
参照图8a,可穿戴装置600可以包括显示器820、键输入装置810、至少一个传感器830、通信电路840、处理器850和存储器860。显示器820可以像在图6中描述的显示器600一样被实现,并且键输入装置810可以被实现为类似于图6中描述的键输入装置602和690,因此可以不重复描述。
根据各种实施例,传感器830可以被实现为识别由可穿戴装置600接收的用户输入。例如,如图8a所示,传感器830可以包括用于感测在显示器820上接收到的用户输入(例如,触摸)的触摸传感器831、用于感测可穿戴装置600的移动的惯性传感器833、以及用于使用键输入装置810感测用户输入(例如,键按钮按下或滚轮键(或边框键)旋转)的键输入传感器835。触摸传感器831可以被实现为包括在显示器820中的触摸屏,但不限于此。键输入传感器835可以被实现为包括电连接到键输入装置810的电气元件(例如,电容器和/或开关),使得当按键按钮被按下或滚轮键被旋转时电气值被改变。不限于所描述和/或示出的那些,传感器830还可以包括用于感测由可穿戴装置600接收的用户输入的各种类型的传感器830。
根据各种实施例,通信电路840可以与装置(例如,电子装置210、HMD装置221和服务器230)建立通信连接。通信电路840可以支持短距离无线通信方案,例如Wi-Fi、蓝牙和BLE,并且通信电路840还可以支持除所描述的通信连接方案之外的无线通信连接方案(例如,3G、4G/LTE、NR或其他蜂窝通信或光通信)和有线通信连接方案。通信电路840可以被实现为图1的通信模块190,因此省略其重复的说明。
根据实施例,处理器850可以控制可穿戴装置600的整体操作。处理器850可以包括应用处理器(AP)、中央处理单元(CPU)、图形处理单元(GPU)、显示处理单元(DPU)或神经处理单元(NPU)中的至少一个。下面描述的处理器850的操作可以根据存储在存储器860中的模块(例如,模式确定模块861)的执行来执行。包括在存储器860中的至少一些模块(例如,模式确定模块861)可以以软件、固件或其至少两个或更多个的组合来实现(例如,执行)。例如,模块可以实现为可由处理器850执行的应用、程序、计算机代码、指令、例程或进程的形式。因此,当模块(例如,模式确定模块861)被处理器850执行时,模块(例如,模式确定模块861)可以触发处理器850来执行与模块相关联的操作(或者模块可以提供的功能)。因此,当下面描述特定模块执行操作时,可以将其解释为处理器850随着特定模块被执行而执行操作。另选地,模块(例如,模式确定模块861)可以被实现为特定应用的一部分。另选地,不限于所描述和/或示出的内容,每个模块可以被实现为与处理器850分离的硬件装置(例如,处理器或控制电路)。同时,下面所描述的模块的至少一些操作可以被实现为单独的模块而不是相应的模块。下面描述每个模块。下面描述的模块的操作可以被理解为当如上所述执行该模块时触发的处理器850的操作。
根据各种实施例,模式确定模块861可以基于可穿戴装置600的模式来执行操作。例如,参照图8b,可穿戴装置600的模式可以包括待机模式800a、启用模式800b和控制器模式800c。在实施例中,可穿戴装置600的模式可以控制可穿戴装置600的操作和/或可穿戴装置600的状态。例如,可穿戴装置600可以根据可穿戴装置600的模式800执行下面的表1所示的操作或者可以控制可穿戴装置600的状态。
[表1]
在实施例中,可穿戴装置600的模式可以确定是否控制沉浸式内容(例如,基于XR技术的内容)。可穿戴装置600可以根据可穿戴装置600的模式是否是控制器模式800c来确定是否控制沉浸式内容。例如,当可穿戴装置600的模式是待机模式800a或启用模式800b时,可穿戴装置600可以避免将用于控制沉浸式内容的信号发送到电子装置210(例如,智能电话)。如果在可穿戴装置600的模式是待机模式800a或启用模式800b的状态下可穿戴装置600使用传感器830识别到用户的输入,则可穿戴装置600可以执行与用户的输入相对应的操作并且避免向电子装置210(例如,智能电话)发送信号(或者控制不执行操作)。作为示例,如果在可穿戴装置600的模式是启用模式800b的状态下用户按下键输入装置810中的主页键,则可穿戴装置600可以在显示器820上显示主屏幕并且避免向电子装置210(例如,智能电话)发送指示主页键被按下的信号。不限于所描述的,可以基于用户输入来执行提供消息检查服务的操作、提供呼叫服务的操作、或显示特定画面(例如,手表屏幕或身体信息屏幕)的操作,这是众所周知的技术,因此省略详细描述。作为另一示例,如果可穿戴装置600的模式是控制器模式800c,则可穿戴装置600可以将用于控制沉浸式内容的信号发送到电子装置210(例如,智能电话)。如果在可穿戴装置600的模式是控制器模式800c的状态下可穿戴装置600使用传感器830识别到用户的输入,则可穿戴装置600可以避免执行与用户输入相对应的操作并且向电子装置210(例如,智能电话)发送与所识别的输入相对应的信号。例如,如果在可穿戴装置600的模式是控制器模式800c的状态下用户按下键输入装置810中的主页键,则可穿戴装置600可以避免在显示器820上显示主屏幕的操作,并且将指示主页键被按下的信号发送到电子装置210(例如,智能电话)。根据各种实施例,模式确定模块861可以基于从可穿戴装置600接收的用户输入和/或从另一外部装置(例如,电子装置210)接收的信号来确定可穿戴装置600的模式。以下对各实施例进行说明。
在实施例中,模式确定模块861可以识别特定的输入(例如,用户的输入)并且可以确定与所识别的特定的输入相对应的可穿戴装置600的模式(例如,待机模式800a、启用模式800b或控制器模式800c)。例如,可穿戴装置600可以存储关于针对可穿戴装置600的每个模式的特定的输入的信息,并且如果所识别的用户输入对应于特定的输入,则将可穿戴装置600的模式设置为特定模式。作为示例,当识别到手掌触摸时,可穿戴装置600可以将可穿戴装置600的模式从当前模式(例如,启用模式800b或控制器模式800c)改变(或切换或设置)为待机模式800a。作为另一示例,如果识别到除了手掌触摸之外的使用键输入装置810的输入(例如,触摸屏上的触摸、滚轮键旋转或按键按钮按压(例如,双击)),则可穿戴装置600可以将可穿戴装置600的模式从待机模式800a改变(或切换或设置)到启用模式800b和/或控制器模式800c。同时,如果在可穿戴装置600的模式是控制器模式800c的状态下可穿戴装置600识别到特定的输入,则可穿戴装置600可以忽略该特定的输入(可以替代地向电子装置210(例如,智能电话)发送与该特定的输入相对应的控制信号)。然而,不限于所描述的那些,如果即使在可穿戴装置600的模式是控制器模式800c的状态下可穿戴装置600也接收到用于从控制器模式800c切换到启用模式800b的特定的输入,则可穿戴装置600可以将可穿戴装置600的模式从控制器模式800c改变(或切换或设置)到启用模式800b。换言之,可穿戴装置600可以在控制器模式800c下接收到特定的输入时执行模式切换,但是可以避免对特定的输入之外的其他输入执行模式切换,但不限于此。此外,在这种情况下,可穿戴装置600可以管理针对待机模式800a和启用模式800b中的每一个的指定的输入(例如,在识别到与待机模式800a或启用模式800b相对应的输入时切换到待机模式800a或启用模式800b)并且可以不管理针对控制器模式800c的指定的输入(例如,没有用于切换到控制器模式800c的指定的输入),但不限于此。
此外,根据实施例,如果指定时间过去了,则模式确定模块861可以将可穿戴装置600的模式设置为待机模式800a。例如,如果在可穿戴装置223的模式被设置为启用模式800b或控制器模式800c之后在指定时间内没有识别到输入,则可穿戴装置600可以将可穿戴装置223的模式设置为待机模式800a。
此外,在实施例中,如果接收到呼叫或接收到通知消息,则模式确定模块861可以将可穿戴装置600的模式设置为启用模式800b。
此外,在实施例中,如果使用传感器识别到预设条件,则模式确定模块861可以将可穿戴装置600的模式从控制器模式800c设置为另一模式(例如,待机模式800a或启用模式800b)。
此外,在实施例中,模式确定模块861可以从外部装置(例如,电子装置210(例如,智能电话))接收用于模式设置的信号,并将可穿戴装置600的模式设置为与接收到的信号相对应的模式。例如,当从电子装置210(例如,智能电话)接收到用于设置为启用模式800b的信号(例如,指示checkglance=Y的信号)时,可穿戴装置600可以将可穿戴装置223的模式设置为启用模式800b,并且在接收到用于设置为控制器模式800c的信号(例如,指示checkcontrol=Y的信号)时,将可穿戴装置223的模式设置为控制器模式800c。
在下文中,参照图9a和图9b更详细地描述根据各种实施例的电子装置210的配置的示例。下面将要描述的头戴式显示装置221的配置和可穿戴装置223的配置可以如上所述来实现,并且下面将不再给出重复描述。
图9a是示出根据各种实施例的电子装置210的示例性配置的图。图9b是示出根据各种实施例的电子装置210的另一示例性配置的图。
根据各种实施例,参照图9a,电子装置210可以包括通信电路910、处理器920和存储器930。同时,电子装置210可以被实现为包括图1中描述的电子装置101的组件,但不限于图9a所示的情况,并且下面不会给出其重复描述。
根据各种实施例,通信电路910可以与装置(例如,HMD装置223、可穿戴装置223和服务器230)建立通信连接。通信电路910可以支持短距离无线通信方案,例如Wi-Fi、蓝牙和BLE,并且通信电路840还可以支持除了所描述的通信连接方案之外的无线通信连接方案(例如,3G、4G/LTE、NR或其他蜂窝通信或光通信)和有线通信连接方案。通信电路910可以被实现为图1的通信模块190,因此省略其重复的说明。
根据实施例,处理器920可以控制电子装置210的整体操作。处理器920可以包括AP、CPU、GPU、DPU或NPU中的至少一个。下面描述的处理器920的操作可以根据存储在存储器930中的模块(例如,HMD控制模块940)的执行来执行。包括在存储器930中的至少一些模块(例如,HMD控制模块940)可以以软件、固件或其至少两个或更多个的组合来实现(例如,执行)。例如,模块可以以可由处理器920执行的应用、程序、计算机代码、指令、例程或进程的形式来实现。因此,当模块(例如,HMD控制模块940)被处理器920执行时,模块(例如,HMD控制模块940)可以触发处理器920来执行与模块相关联的操作(或者模块可以提供的功能)。因此,当下面描述特定模块执行操作时,可以被解释为处理器920随着特定模块被执行而执行操作。另选地,模块(例如,HMD控制模块940)可以被实现为特定应用的一部分。或者,不限于所描述和/或示出的,每个模块可以被实现为与处理器920分离的硬件装置(例如,处理器或控制电路)。同时,下面所描述的模块的至少一些操作可以被实现为单独的模块而不是相应的模块。下面描述每个模块。下面描述的模块的操作可以理解为当如上所述执行该模块时所触发的处理器920的操作。
根据各种实施例,HMD控制模块940可以执行用于控制头戴式显示装置221的至少一种处理操作,并且可以将处理的结果发送到头戴式显示装置221。例如,HMD控制模块940可以从头戴式显示装置221接收信息(例如,与用户的身体和/或应用信息相关联的信息),并且可以处理接收到的信息并将处理的结果发送到头戴式显示装置221。该信息可以包括关于与头戴式显示装置221相关联(或以头戴式显示装置221为中心)的3D坐标系(或周围3D环境数据)的信息、与身体部位的位置相关联的信息或与对象(例如,可穿戴装置223)的位置相关联的信息。关于3D坐标系的信息可以包括关于针对基于由头戴式显示装置221的多个相机捕获的图像识别出的周围空间的3D坐标系(x,y,z)的信息。如下所述,电子装置210可以管理关于周围空间的集成3D信息,该信息是通过在3D坐标系中反映身体部位的位置和/或方向(例如,手的3D坐标、偏转角、滚动、和/或头部的俯仰方向,或注视的3D矢量)以及对象(例如,可穿戴装置223)的位置(例如,3D坐标)而生成的。作为另一示例,HMD控制模块940可以基于3D信息生成基于扩展现实(XR)技术的图像,并且可以将所生成的图像发送到头戴式显示装置221。在下文中,进一步描述包括在HMD控制模块940中的各个模块的操作。
根据各种实施例,可穿戴装置模式控制模块980可以生成用于基于从头戴式显示装置221接收的信息来设置可穿戴装置223(例如,智能手表)的模式(例如,待机模式800a、启用模式800b和控制器模式800c)的信号。电子装置210(例如,处理器920)可以通过通信电路910将所生成的信号发送到可穿戴装置223(例如,智能手表)。如上所述,可穿戴装置223(例如,模式确定模块861)可以将可穿戴装置223(例如,模式确定模块861)的模式设置为启用模式800b或控制器模式800c。同时,参照图9b,电子装置210可以被实现为确定可穿戴装置223的模式并且将关于所确定的模式的信息发送到可穿戴装置223。例如,电子装置210可以包括可穿戴装置223的模式确定模块861,而不是信号生成模块950,并且可以基于模式确定模块861来确定可穿戴装置223的模式,并将关于所确定的模式的信息传送到可穿戴装置223。根据各种实施例,基于从头戴式显示装置221接收到的与用户的至少一个特定的身体部位相关联的信息(例如,与该至少一个特定的身体部位的位置相关联的信息),身体跟踪模块960可以识别(或管理或更新)关于与头戴式显示装置221(或以头戴式显示装置221为中心)相关联的3D坐标系(或周围3D环境数据)中的特定的身体部位的位置信息(例如,3D坐标值或矢量值)。从头戴式显示装置221接收到的与特定的身体部位相关联的信息可以包括基于由头戴式显示装置221捕获的图像由头戴式显示装置221分析出的与双手、注视或头部中的至少一个的位置和/或方向相关联的信息。电子装置210可以基于与位置和/或方向相关联的信息来识别身体部位的位置(例如,3D坐标系中的3D坐标)和/或方向(例如,3D坐标系中的滚动、偏转或俯仰方向的角度)。换言之,与位置和/或方向相关联的信息可以用作用于识别针对周围空间的3D坐标系中的身体的位置和/或方向的原始数据。例如,眼睛跟踪模块961可以获得指示与头戴式显示装置221相关联(或以头戴式显示装置221为中心)的3D坐标系(或周围3D环境数据)中的注视位置的3D坐标值和/或3D矢量值。作为示例,眼睛跟踪模块961可以基于捕获图像以跟踪注视位置的HMD装置221的相机的位置以及从HMD装置221接收到的指示注视位置的坐标值或矢量值来获得3D坐标系中的3D坐标值和/或3D矢量值。例如,眼睛跟踪模块961可以识别与3D坐标系中的相机的位置相对应的3D坐标值,并且将指示注视方向的方向矢量应用于所识别的3D坐标值,从而获得指示3D坐标系中的注视方向的3D矢量值。作为另一示例,手部跟踪模块963可以基于接收到的手位置相关信息(例如,手移动方向的数据和手识别图像的数据以及捕获图像的相机的位置),获得指示用户的至少一只手在与头戴式显示装置221相关联(或以头戴式显示装置221为中心)的3D坐标系(或周围3D环境数据)中的位置的3D坐标值。作为另一示例,头部跟踪模块964可以获得在与头戴式显示装置221相关联的(或以头戴式显示装置221为中心的)3D坐标系(或周围3D环境数据)中指示头部的位置和/或头部的旋转角度(例如,偏转角、俯仰角和滚动角)的3D坐标值。
根据各种实施例,对象跟踪模块970可以获得指示可穿戴装置223(例如,智能手表)在与头戴式显示器相关联(或以头戴式显示装置221为中心)的3D坐标系(或周围3D环境数据)中的位置的3D坐标值。
根据各种实施例,信号生成模块950可以基于从身体跟踪模块960和对象跟踪模块970获得的信息来生成用于设置可穿戴装置223(例如,智能手表)的模式(例如,启用模式800和控制器模式800c)的信号。根据实施例,信号生成模块950可以生成用于将可穿戴装置223的模式设置为启用模式800b的信号。例如,在确定用户具有启用可穿戴装置223的意图(或使用可穿戴装置223(例如,智能手表)的意图)时,信号生成模块950可以生成用于将可穿戴装置223的模式设置为启用模式800b的信号。作为示例,如果指示用户的注视在3D坐标系中的位置的值(例如,3D矢量)和指示可穿戴装置223(例如,智能手表)的位置的值(例如,3D坐标)彼此对应(例如,3D矢量穿过3D坐标),则信号生成模块950可以生成用于将可穿戴装置223的模式设置为启用模式800b的信号。根据实施例,信号生成模块950可以生成用于将可穿戴装置223的模式设置为控制器模式800c的信号。同时,不限于所描述的那些,下面描述其他示例。例如,当确定用户具有使用可穿戴装置223(例如,智能手表)来控制沉浸式内容的意图时,信号生成模块950可以生成用于将可穿戴装置223的模式设置为控制器模式800c的信号。信号生成模块950可以确定双手的位置是否满足指定条件,作为确定用户是否具有使用可穿戴装置223(例如,智能手表)来控制沉浸式内容的意图的操作的一部分。作为示例,信号生成模块950可以识别用户的手的位置将被移动到3D坐标系中的特定区域的概率,并且如果识别的概率超过阈值,则确定用户有意图控制沉浸式内容和/或生成用于将可穿戴装置223的模式设置为启用模式800b的信号。同时,不限于所描述的那些,下面描述其他示例。
同时,信号生成模块950可以被实现为对象跟踪模块970的一部分。
根据各种实施例,图像(或视图)生成模块990可以获得由HMD控制模块940获得的集成3D信息,并且基于3D信息生成沉浸式内容。沉浸式内容可以包括图像,该图像包括基于扩展现实(XR)技术生成的至少一个图形对象。图像(或视图)生成模块990可以获得上述集成3D信息,其中对象(例如,用户的身体部位和/或对象)的位置已经在HMD装置221周围的3D坐标系中同步,并且将基于应用(或程序)995的执行而获得的图形对象渲染到所获得的3D信息上,从而生成图像。例如,图像(或视图)生成模块990可以将3D信息传送到正在运行的应用995,并基于从应用995接收到的图形对象、屏幕和坐标信息来执行渲染操作。在这种情况下,图像(或视图)生成模块990可以基于从可穿戴装置223(例如,智能手表)接收到的用于控制沉浸式内容的信号来生成图像,作为生成沉浸式内容的操作的一部分。电子装置210(例如,处理器920)可以通过通信电路910将包括由图像(或视图)生成模块990渲染的图形对象的图像发送到头戴式显示装置221。头戴式显示装置221可以显示接收到的图像。
根据各种实施例,如上所述,图形渲染模块991可以获得由HMD控制模块940获得的集成3D信息,并且基于3D信息产生包括至少一个图形对象的图像。例如,图形渲染模块991可以将3D信息传送到正在运行的应用995,并且基于从应用995接收到的图形对象、屏幕和坐标信息来执行渲染操作。在这种情况下,图形渲染模块991可以接收用于控制(例如,控制视觉属性,例如移动、变换或重新着色)从对象控制模块993接收到的对象的信息,并且基于接收到的信息来控制和渲染包括在图像中的至少一个对象。
根据各种实施例,对象控制模块993可以基于从可穿戴装置223(例如,智能手表)接收的用于控制沉浸式内容的信号来控制至少一个对象。控制操作可以包括控制视觉属性,例如对象的移动、变换或重新着色,但不限于所描述的那些,可以包括用于控制视觉属性的各种类型的操作。同时,如果提供的对象包括除视觉属性之外的其他属性(例如,听觉或触觉属性),则其可以基于接收到的信号来控制其他属性(例如,听觉或触觉属性)。
在下文中,描述根据各种实施例的用于使用扩展现实(XR)技术的电子装置210、头戴式显示装置221(下文中,HMD装置221)和控制可穿戴装置223(下文中,可穿戴装置223)的操作的示例。
根据各种实施例,电子装置210可以基于从HMD装置221接收到的信息(例如,与用户的身体部位的位置、姿势和/或方向相关联的信息或者关于可穿戴装置223的位置的信息)来生成用于设置可穿戴装置223的模式的信号并将所生成的信号发送到可穿戴装置223。可穿戴装置223可以与从电子装置210接收到的信号相对应地设置可穿戴装置223的模式,并且如果设置模式是控制器模式800c,则将与识别的输入相对应的控制信号发送到电子装置210。电子装置210可以基于接收到的控制信号生成基于扩展现实技术的图像,并将生成的图像发送到HMD装置221。
图10是示出根据各种实施例的电子装置210、HMD装置221和可穿戴装置223的示例性操作的流程图1000。根据各种实施例,图10中所示的操作不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以执行比图10的操作更多或更少的操作。下文中,接合图11a、图11b、图12a和图12b来描述图10。
图11a是示出根据各种实施例的电子装置210、HMD装置221和可穿戴装置223的示例性操作的图。图11b是示出根据各种实施例的由HMD装置221显示基于使用可穿戴装置223的输入生成的基于扩展现实(XR)技术的图像的示例性操作的图。图12a和图12b是示出根据各种实施例的由电子装置210设置可穿戴装置223的模式的操作的示例的图。
根据各种实施例,在可穿戴装置223和HMD装置221被用户V1佩戴并打开之后,电子装置210可以在操作1001中与可穿戴装置223建立通信连接,并且在操作1003中与HMD装置建立通信连接。如上所述,电子装置210可以使用例如Wi-Fi、蓝牙和BLE的短距离无线通信方案来与可穿戴装置223和HMD装置221建立通信连接,并且它还可以使用除所描述的通信连接方案之外的无线通信连接方案(例如,3G、4G/LTE、NR或其他蜂窝通信或光通信)和有线通信连接方案来建立通信连接。
根据各种实施例,电子装置210可以基于通信连接配置来接收指示可穿戴装置223和/或HMD装置221是否被穿戴的信息。例如,可穿戴装置223和/或HMD装置221可以通过传感器来检测用户V1是否穿戴了可穿戴装置,并且可以将检测到的信息发送到电子装置210。如上所述,电子装置210可以基于识别出可穿戴装置223和HMD装置221被穿戴来从基于扩展现实技术的内容控制技术(例如,结合图2a至图2c描述的控制器类型、手势类型或混合类型)中选择混合类型内容控制技术。电子装置210可以基于混合型内容控制技术的选择来执行下面描述的操作1011至1013。
根据各种实施例,在操作1005中,HMD装置221可以使用多个相机430获得(或捕捉)多个图像。根据各种实施例,在操作1007中,HMD装置221可以基于多个图像中的至少一些图像获得多个信息。根据各种实施例,在操作1009中,HMD装置221可以将多个信息发送到电子装置210。如上面针对HMD控制模块940所述,多个信息可以包括以下各项中的至少一个:关于针对HMD装置221的周围空间的3D坐标的信息;与身体部位的位置和/或姿势相关的信息(例如,双手h1和h2的位置、头部H的旋转角度和/或注视的方向);或与可穿戴装置223的位置相关联的信息。在实施例中,HMD装置221可以基于由多个相机430中的每一个捕获的图像以及多个相机430的相应位置来识别HMD装置221的周围空间(例如,HMD装置221的实际周围空间),并且识别HMD装置221在所识别的周围空间中的位置。作为识别HMD装置221的位置和周围空间的操作的至少一部分,HMD装置221可以比较由多个相机捕获的图像中的对象(或地标),并且如果作为比较的结果检测到相同的对象,则基于关于检测到相同的对象的已经捕获到图像的相机的位置和/或深度信息来计算捕获的图像的坐标值(例如,3D坐标值)。HMD装置221的操作可以包括SLAM操作。进一步地,在实施例中,如图11a所示,HMD装置221可以基于使用多个相机430中的面向前方区域(S1,包括S1’和S1”)(或者具有针对前方区域S1的FOV)的相机(未示出)捕获的图像来识别用户V1的头部H的偏转、俯仰和/或滚动方向的旋转角度。此外,在实施例中,如图11a所示,HMD装置221可以从使用多个相机430中的面向向下区域S2(或具有针对向下区域S2的FOV)的相机(未示出)捕获的图像中检测手h1和h2两者和/或可穿戴装置223,并且识别每一个手h1和h2的3D移动方向(例如,3D矢量)或者可穿戴装置223和/或检测到的手h1和h2中的每一只手的3D位置(例如,3D坐标)。进一步地,在实施例中,如图11a所示,HMD装置221可以基于由捕获用户V1的眼睛的相机和/或面向前方区域的相机捕获的图像来识别用户V1的注视方向(例如,3D矢量)。
同时,不限于所描述的那些,HMD装置221可以将使用多个相机430获得的多个图像发送到电子装置210,并且电子装置210可以执行用于获得关于用户V1的身体部位的信息以及与HMD装置221相关联的3D信息的类似于HMD装置221的上述操作的操作。
根据各种实施例,在操作1011中,电子装置210可以获得(或生成)用于基于多个信息确定可穿戴装置223的模式的信号。根据各种实施例,在操作1013中,电子装置210可以将获得的信号发送到可穿戴装置223。例如,基于从HMD装置221接收的多个信息(例如,关于针对HMD装置221的周围空间的3D坐标的信息、关于HMD装置221在周围空间中的3D坐标的信息、与身体部位的位置和/或姿势相关联的信息(例如,手h1和h2的位置、头部H的旋转角度和/或注视的方向)、或与可穿戴装置223的位置相关的信息中的至少之一),电子装置210可以生成用于将可穿戴装置223的模式设置为启用模式800b或控制器模式800c的信号。例如,电子装置210可以基于多个接收到的信息来识别与同一坐标系(例如,针对HMD装置221的周围空间的3D坐标系)(或在同一坐标系中)相关联的关于身体部位的位置的信息和/或关于可穿戴装置223的位置的信息,并且可以基于所识别的关于位置的信息来生成用于设置可穿戴装置223的模式的信号。作为示例,电子装置210可以基于从HMD装置221接收到的与HMD装置221的周围空间的3D坐标中的身体部位的位置和/或姿势相关联的信息来识别身体部位的旋转角度和/或3D坐标,并且可以基于与可穿戴装置223的位置相关联的信息来识别可穿戴装置223的3D坐标。电子装置210可以生成用于基于关于所识别的可穿戴装置223的3D坐标和/或身体部位的旋转角度和/或3D坐标的信息来设置可穿戴装置223的模式的信号。下面描述由电子装置210生成信号的操作的示例。
根据各种实施例,电子装置210可以根据确定用户V1是否具有启用可穿戴装置223的意图(或使用可穿戴装置223(例如,智能手表)的意图)的结果来生成与设置可穿戴装置223(例如,智能手表)的启用模式800b相关联的信号。该信号可以包括指示确定的结果的参数(例如,checkglance)的特定值(例如,指示否或是的值)(或特定信息)。下面参照图15详细描述由电子装置210设置包括第一信号的参数(例如,checkglance)的具体值的操作。当确定用户V1具有意图时,电子装置210可以生成用于设置为启用模式800b的第一信号(例如,如下所述的checkglance=是)。例如,电子装置210可以确定是否在可穿戴装置223上检测到用户V1的注视,并且如果检测到注视,则生成用于设置启用模式800b的第一信号。作为确定是否在可穿戴装置223上检测到用户V1的注视的操作的至少一部分,电子装置210可以确定在同一坐标系中(例如,在3D坐标系中)指示用户V1的注视的位置的坐标值是否对应于指示可穿戴装置223(例如,智能手表)的位置的坐标值。作为另一示例,电子装置210可以确定可穿戴装置223和电子装置210之间的距离是否在指定的距离内,并且如果在指定的距离内,则生成用于设置启用模式800b的第一信号。作为识别可穿戴装置223和电子装置210之间的距离的操作的至少一部分,电子装置210可以使用用于测量距可穿戴装置223的距离的传感器(例如,到达角(AOA)通信电路910)来识别距可穿戴装置223的距离。
根据各种实施例,电子装置210可以根据基于多个信息来确定用户V1是否具有使用可穿戴装置223(例如,智能手表)来控制沉浸式内容(例如,基于扩展现实技术的内容)的意图的结果,来生成与设置可穿戴装置223(例如,智能手表)的控制器模式800c相关联的信号。该信号可以包括指示确定的结果的参数(例如,checkcontroller)的特定值(例如,指示否、停留或是的值)(或特定信息)。下面参照图15详细描述由电子装置210设置包括信号的参数(例如,checkcontroller)的具体值的操作。当确定用户V1具有意图时,电子装置210可以生成用于将可穿戴装置223的模式设置为控制器模式800c的第二信号(例如,如下所述的checkglance=是)。在实施例中,电子装置210可以基于用户V1的手h1和h2的位置来生成第二信号。例如,当手h1和h2进入特定区域的概率大于阈值时,电子装置210可以生成用于将可穿戴装置223的模式设置为控制器模式800c的第二信号。特定区域可以被预设为在用户V1的多个区域(例如,上述的S1和S2)之中用户V1期望使用可穿戴装置223控制沉浸式内容的部分区域(或者用于控制的最佳区域),但不限于此。下面参照图19和图20对特定区域进行进一步描述。作为识别手h1和h2将移动到(或进入)特定区域的概率的操作的至少一部分,电子装置210可以从预先存储的关于要移动到特定区域的概率的信息中识别与头部H的旋转角度以及手h1和h2在3D坐标系中的3D位置相对应的概率。下面参照图19和图20来描述由电子装置210识别概率的操作。例如,当手h1和h2位于特定区域中时,电子装置210可以产生用于将可穿戴装置223的模式设置为控制器模式800c的第二信号。作为确定手h1和h2是否位于特定区域中的操作的至少一部分,电子装置210可以执行将特定区域的3D坐标与手h1和h2中的每一只手的3D坐标进行比较的操作。根据实施例,当检测到与用户V1的佩戴可穿戴装置223的身体部位(例如,手臂或手)相关联的指定手势时,电子装置210可以生成用于将可穿戴装置223的模式设置为控制器模式800c的第二信号。
根据各种实施例,在操作1015中,可穿戴装置223可以确定(或设置)与在操作1015中接收到的信号相对应的模式。根据各种实施例,当由可穿戴装置223接收到输入时,可穿戴装置223可以在操作1017中使用传感器获得控制信号。根据各种实施例,在操作1019中,可穿戴装置223可以将控制信号发送到电子装置210。例如,如图12a所示,当接收到第一信号1211(例如,包括checkglance=是的信号)时,可穿戴装置223可以将可穿戴装置223的模式设置为启用模式800b,或者如图12b所示,当接收到第二信号1221(例如,包括checkcontroller=是的信号)时,将可穿戴装置223的模式设置为控制器模式800c。在这种情况下,如下面参照图15所描述的,第二信号1221可以包括针对另一参数的特定值(例如,checkglance=否)以及针对特定参数的特定值(例如,checkcontroller=是)。例如,如果包括针对另一参数的特定值(例如,checkglance=否),则可穿戴装置223可以根据针对特定参数的特定值(例如,checkglance=是)将可穿戴装置223的模式从启用模式800b改变为控制器模式800c。不限于所描述的那些,如上所述,可穿戴装置223可以基于从可穿戴装置223识别的手势或输入而不是从电子装置210接收到的信号1211或1221来设置可穿戴装置223的模式。通过模式设置,可穿戴装置223可以识别用户V1的输入。例如,可穿戴装置223可以使用传感器830来识别使用上述键输入装置810(例如,键按钮、滚轮键或触摸屏)接收到的用户V1的输入(例如,图11b的按下键的输入(按下)、旋转滚轮键的输入(旋转)、或者在触摸屏上触摸的输入(触摸)),并且下面可以不给出其重复描述。根据实施例,如图12a所示,如果在可穿戴装置223的模式是启用模式800b的状态下识别出用户V1的输入,则可穿戴装置223可以执行与用户的输入(例如,图11b的按下键的输入(按下)、旋转滚轮键的输入(旋转)、或者在触摸屏上触摸的输入(触摸))相对应的控制操作。作为示例,如果在可穿戴装置223的模式是启用模式800b的状态下用户V1按下了键输入装置810中的主页键,则可穿戴装置223可以在显示器(例如,显示器820)上显示主屏幕并且避免向电子装置210发送指示主页键被按下的信号。此外,在实施例中,如图12的1202所示,当在可穿戴装置223的模式是控制器模式800c的状态下识别出用户V1的输入时,可穿戴装置223可以向电子装置210(例如,智能电话)发送用于控制沉浸式内容的信号(例如,控制信号1223)。作为示例,如果在可穿戴装置223的模式是控制器模式800c的状态下用户V1按下键输入装置810中的主页键,则可穿戴装置223可以避免在显示器上显示主屏幕,并且将包括指示主页键被按下的信息的控制信号1223发送到电子装置210。
根据各种实施例,在操作1021中,电子装置210可以基于控制信号生成包括至少一个图形对象的图像。根据各种实施例,在操作1023中,电子装置210可以将所生成的图像发送到HMD装置221。例如,电子装置210可以生成与控制信号1223中包括的信息相对应的图像,并且将所生成的图像发送到HMD装置221。电子装置210可以将由可穿戴装置223接收到的针对用户V1的输入的每个信息与特定功能相关联并且预先存储它们,并基于关于包括在接收到的信号中的用户V1的输入的信息和预先存储的信息之间的比较来执行特定功能。特定功能可以包括调用特定画面的功能和控制当前显示的画面的功能(例如,控制显示的图形对象的功能或画面切换的功能)。根据实施例,电子装置210可以通过基于控制信号1223渲染图形对象(图11b的1110)来生成图像,并将所生成的图像发送到HMD装置221。例如,如果包括在控制信号1223中的信息是指示主页按钮被按下的信息,则电子装置210可以识别调用与指示主页按钮被按下的信息相对应的应用托盘的功能,通过渲染应用托盘来生成图像,并且将包括应用托盘的图像发送到HMD装置221。此外,在实施例中,电子装置210可以基于控制信号1223来控制(例如,移动、改变或选择)包括在通过HMD装置221显示(或渲染)的图像中的至少一个图形对象(例如,图11b的1120),生成反映控制结果(或针对受控图形对象渲染)的图像,并将所生成的图像发送到HMD装置221。例如,如果控制信号1223中包括的信息是指示滚轮键被旋转的信息,则电子装置210可以识别与指示滚轮键被旋转的信息相对应的移动所选择的对象的功能,通过渲染处于改变的位置的至少一个对象来生成图像,并将至少一个位置改变的对象图像发送至HMD装置221。对象可与滚轮键顺时针旋转的距离成比例地向右移动,并且对象可与滚轮键逆时针旋转的距离成比例地向左移动,但不限于此。
下面根据各种实施例描述电子装置210的操作的示例。由于可以结合下面描述的操作来执行装置的上述操作中的至少一些(例如,图10的流程图1000的操作),因此可以不提供重复的描述。
根据各种实施例,电子装置210可以基于与身体部位相关联的信息(例如,手h1和h2的位置和/或头部H的旋转角度(例如,沿俯仰方向的旋转角度))向可穿戴装置223发送用于设置可穿戴装置223的模式的信号。当基于将可穿戴装置223的模式设置为控制器模式800c从可穿戴装置223接收到第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)时,电子装置210可以生成与第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)相关联的图像并将生成的图像发送到HMD装置221。
图13是示出根据各种实施例的电子装置210的示例性操作的流程图1300。根据各种实施例,图13中所示的操作可以不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以进行比图13的操作更多或更少的操作。
根据各种实施例,在操作1301中,电子装置210可以通过通信电路910与头戴式显示装置221和可穿戴装置223建立通信连接。例如,在可穿戴装置223和HMD装置221被用户V1佩戴并打开时,电子装置210可以使用例如Wi-Fi、蓝牙或BLE之类的短距离无线通信方案来与可穿戴装置223和HMD装置221建立通信连接。电子装置210的操作1301可以像如上所述的电子装置210的操作1001和1003一样被执行,并且下面可以不给出其重复描述。
根据各种实施例,在操作1303中,电子装置210可以从头戴式显示装置221接收与用户V1的至少一个特定的身体部位相关联的信息。例如,如上所述,电子装置210可以从HMD装置221接收以下各项中的至少一个:关于HMD装置221的周围空间的3D坐标的信息、关于HMD装置221在周围空间中的3D坐标的信息、与身体部位的位置和/或姿势相关联的信息(例如,手h1和h2的位置、头部H的旋转角度、或者注视的方向)、或者与可穿戴装置223的位置相关联的信息)。电子装置210的操作1303可以像结合HMD装置221的操作1009描述的由电子装置210接收信息的操作一样被执行,并且下面可以不给出其重复描述。
根据各种实施例,在操作1305中,如果通过通信电路910从可穿戴装置223接收到第一信号,则电子装置210可以将包括与第一信号相关联的3D图形对象的图像发送到头戴式显示装置221,该图像是基于与至少一个特定的身体部位相关联的信息生成的。电子装置210可以基于将可穿戴装置223设置为控制器模式800c从可穿戴装置223接收第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)并且将与接收到的第一信号相对应的沉浸式内容发送给头戴式显示装置221。电子装置210可以识别与相同坐标系(例如,针对HMD装置221的周围空间的3D坐标系)相关联(或在相同坐标系中)的关于身体部位的信息(例如,手h1和h2的坐标和/或头部H的旋转角度),并基于所识别的身体部位位置相关信息(例如,手h1和h2的坐标和/或头部H的旋转角度)向可穿戴装置223发送用于将可穿戴装置223的模式设置为控制器模式800c的信号。作为示例,如上所述,如果基于手h1和h2的坐标和/或头部H的旋转角度计算出手h1和h2位于特定区域的概率大于阈值,则电子装置210可以生成用于将可穿戴装置223的模式设置为控制器模式800c的信号(例如,包括controllercheck=是的信号)并且将所生成的信号发送到可穿戴装置223。当在电子装置210基于该信号将可穿戴装置223设置为控制器模式800c之后由可穿戴装置223接收到用户V1的输入时,可穿戴装置223可以向电子装置210发送与用户V1对电子装置210的输入相对应的第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)。电子装置210可以基于包括在接收到的第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)中的信息来生成图像,并将生成的图像发送到HMD装置221。可以像如上所述的电子装置210的操作1011、1013和1021那样执行电子装置210的操作1305,并且下面将不再给出其重复描述。
下面根据各种实施例描述电子装置210的操作的示例。由于可以结合下面描述的操作来执行装置的上述操作中的至少一些(例如,图10的流程图1000的操作和图13的流程图1300的操作),并且因此,可以不提供重复的描述。
根据各种实施例,电子装置210可以基于与身体部位相关联的信息(例如,手h1和h2的位置和/或头部H的旋转角度(例如,俯仰方向的旋转角度))来设置用于设置可穿戴装置223的模式的参数(例如,checkglance或checkcontroller)的值(或信息),并将包括参数的设置值的信号发送到可穿戴装置223。可穿戴装置223可以将可穿戴装置223的模式设置为与信号中包括的参数的值相对应的模式(例如,启用模式800b或控制器模式800c)。
图14是示出根据各种实施例的电子装置210的示例性操作的流程图1400。根据各种实施例,图14中所示的操作可以不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以进行比图14的操作更多或更少的操作。下面参照图15、图16a和图16b以及图17a和图17b来描述图14。
图15是示出根据各种实施例的用于设置可穿戴装置223的模式的参数值的示例的图。图16a是示出根据各种实施例的电子装置210基于从可穿戴装置223接收的控制信号来移动通过HMD装置221显示的对象的示例性操作的图。图16b是示出根据各种实施例的用于移动通过HMD装置221要显示的对象的示例性操作以及针对每个操作的可穿戴装置223的模式的图。图17a是示出根据各种实施例的电子装置210基于从可穿戴装置223接收的控制信号通过HMD装置221显示特定画面的示例性操作的图。图17b是示出根据各种实施例的用于通过HMD装置221显示特定画面的示例性操作以及针对每个操作的可穿戴装置223的模式的图。
根据各种实施例,在操作1401中,电子装置210可以通过通信电路910建立与头戴式显示装置221和可穿戴装置223的通信连接,并且在操作1403中,从头戴式显示装置221接收与用户的至少一个特定的身体部位相关联的信息。例如,在可穿戴装置223和HMD装置221被用户佩戴并打开之后,电子装置210可以使用例如Wi-Fi、蓝牙或BLE这样的短距离无线通信方案建立与可穿戴装置223和HMD装置221的通信连接。如上所述,基于通信连接,电子装置210可以从HMD装置221接收以下各项中的至少一个:关于针对HMD装置221的周围空间的3D坐标的信息、关于HMD装置221在周围空间中的3D坐标的信息、与身体部位的位置和/或姿势相关联的信息(例如,手h1和h2的位置、头部H的旋转角度和/或注视的方向)、或与可穿戴装置223的位置相关联的信息。电子装置210的操作1401可以像如上所述的电子装置210的操作1001和1003一样被执行,并且电子装置210的操作1403可以如结合HMD装置221的操作1009描述的像由电子装置210接收信息的操作一样被执行,并且下面不会给出其重复描述。
根据各种实施例,在操作1405中,基于与至少一个特定的身体部位相关联的信息,电子装置210可以获得关于与使用可穿戴装置223的意图相关联的第一参数的信息(或值)或者关于与使用可穿戴装置223来控制沉浸式内容的意图相关联的第二参数的信息(或值)。例如,电子装置210可以基于接收的与至少一个特定的身体部位相关联的信息来确定是否存在使用可穿戴装置223(例如,智能手表)的意图和/或使用可穿戴装置223(例如,智能手表)控制沉浸式内容的意图,并基于确定的结果来确定关于第一参数(例如,checkglance)和/或第二参数(例如,checkcontroller)的信息(或值)。电子装置210可以将包括第一参数(例如,checkglance)的所确定的值或第二参数(例如,checkcontroller)的值中的至少一个的信号发送到可穿戴装置223。可穿戴装置223可以基于信号中包括的第一参数(例如,checkglance)的值或第二参数(例如,checkcontroller)的值来设置可穿戴装置223的模式。在下文中,描述确定电子装置210的参数值的操作以及基于所确定的参数值设置可穿戴装置223的模式的示例。
根据各种实施例,电子装置210可以根据确定用户是否具有启用可穿戴装置223的意图(或者使用可穿戴装置223(例如,智能手表)的意图)的结果来确定第一参数(例如,checkglance)的值。在确定用户具有意图时,电子装置210可以将第一参数(例如,checkglance)的值设置为第一值(例如,指示是的值),或者在确定用户没有意图时,将第一参数(例如,checkglance)的值设置为第二值(例如,指示否的值)。例如,作为确定用户使用可穿戴装置223的意图的操作的至少一部分,电子装置210可以确定是否在可穿戴装置223上检测到用户的注视,并且如果检测到注视,则确定第一值(例如,指示是的值)作为第一参数(例如,checkglance)的值,并且如果没有检测到注视,则确定第二值(例如,指示否的值)作为第一参数(例如,checkglance)的值。电子装置210用于确定用户使用可穿戴装置223的意图的其他操作可以如上所述执行,并且下面将不再给出其重复描述。
根据各种实施例,利用可穿戴装置223(例如,智能手表)基于多个信息,电子装置210可以根据确定用户是否具有控制沉浸式内容(例如,基于扩展现实技术的内容)的意图的结果来确定第二参数(例如,checkcontroller)的值。在确定存在控制沉浸式内容的意图时,电子装置210可以将针对第二参数(例如,checkcontroller)的值设置为第一值(例如,指示是的值),或者在确定不存在控制沉浸式内容的意图时,将针对第二参数(例如,checkcontroller)的值设置为第二值(例如,指示否的值)。例如,作为确定是否存在控制沉浸式内容的意图的操作的至少一部分,电子装置210可以确定手h1和h2位于特定区域中的概率是否大于阈值。例如,如果概率大于阈值,则电子装置210可以将针对第二参数(例如,checkcontroller)的值设置为第一值(例如,指示是的值),并且如果概率小于阈值,则可以将针对第二参数的值设置为第二值(例如,指示否的值)或第三值(例如,指示停留的值)。下面参照图19和图20进一步描述基于概率设置针对第二参数(例如,checkcontroller)的值的操作。
在下文中,参照图15描述根据各种实施例的基于发送到可穿戴装置223的信号中包括的第一参数(例如,checkglance)或第二参数(例如,checkcontroller)中的至少一个的值来设置可穿戴装置223的模式的示例。
根据各种实施例,可以基于包括在信号中的第一参数(例如,checkglance)或第二参数(例如,checkcontroller)中的至少一个的值将可穿戴装置223的模式设置为待机模式800a。例如,参照图15,如果由可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且在可穿戴装置223的模式是待机模式800a的状态下第二参数(例如,checkcontroller)的值是第二值(例如,指示否的值)或第三值(例如,指示停留的值),则可穿戴装置223的模式可以保持在待机模式800a。作为另一示例,参照图15,如果由可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且在可穿戴装置223的模式是启用模式800b的状态下第二参数(例如,checkcontroller)的值是第二值(例如,指示否的值),则可穿戴装置223的模式可以从启用模式800b改变为待机模式800a。作为另一示例,参照图15,如果可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且在可穿戴装置223的模式是控制器模式800c的状态下第二参数(例如,checkcontroller)的值是第二值(例如,指示否的值),则可穿戴装置223的模式可以从控制器模式800c改变为待机模式800a。
根据各种实施例,基于包括在信号中的第一参数(例如,checkglance)或第二参数(例如,checkcontroller)中的至少一个的值,可穿戴装置223的模式可以被设置为启用模式800b。作为示例,参照图15,在可穿戴装置223的模式是待机模式800a的状态下,如果可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第一值(例如,指示是的值),则可穿戴装置223的模式可以从待机模式800a改变为启用模式800b。在这种情况下,虽然未示出,但是可穿戴装置223的模式可以基于第一参数(例如,checkglance)的值是第一值(例如,指示是的值)从待机模式800a改变到启用模式800b,而与第二参数(例如,checkcontroller)的值无关。作为另一示例,参照图15,在可穿戴装置223的模式是启用模式800b的状态下,如果第一参数(例如,checkglance)的值是第一值(例如,指示是的值)而不考虑包括在由可穿戴装置223从电子装置210接收的信号中的第二参数(例如,checkcontroller)的值,或者如果第一参数(例如,checkglance)的值是第二值(例如,指示否的值)但是第二参数(例如,checkcontroller)的值是第三值(例如,指示停留的值),则可穿戴装置223的模式可以保持在启用模式800b。作为示例,参照图15,如果在可穿戴装置223的模式是控制器模式800c的状态下由可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第一值(例如,指示是的值),则可穿戴装置223的模式可以从控制器模式800c改变为启用模式800b。在这种情况下,尽管未示出,但是基于第一参数(例如,checkglance)的值是第一值(例如,指示是的值)而不考虑第二参数(例如,checkcontroller)的值,可穿戴装置223的模式可以从控制器模式800c改变为启用模式800b。。
根据各种实施例,基于信号中包括的第一参数(例如,checkglance)或第二参数(例如,checkcontroller)中的至少一个的值,可穿戴装置223的模式可以被设置为控制器模式800c。作为示例,参照图15,在可穿戴装置223的模式是待机模式800a的状态下,如果由可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且第二参数(例如,checkcontroller)的值是第一值(例如,指示是的值),则可穿戴装置223的模式可以从待机模式800a改变为控制器模式800c。作为另一示例,参照图15,在可穿戴装置223的模式是启用模式800b的状态下,如果由可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且第二参数(例如,checkcontroller)的值是第一值(例如,指示是的值),则可穿戴装置223的模式可以从启用模式800b改变为控制器模式800c。作为另一示例,参照图15,在可穿戴装置223的模式是控制器模式800c的状态下,如果由可穿戴装置223从电子装置210接收到的信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且第二参数(例如,checkcontroller)的值是第一值(例如,指示是的值)或第三值(例如,指示停留的值),则可穿戴装置223的模式可以保持在控制器模式800c。
根据各种实施例,在操作1407和/或操作1411中,电子装置210可发送包括关于第一参数的信息(或值)和/或关于第二参数的信息(或值)的信号,并且在操作1409和/或操作1413中,基于信号的发送来执行至少一个操作。例如,电子装置210可以向可穿戴装置223发送包括针对第一参数(例如,checkglance)的值(例如,指示是、停留或否的值)和/或针对第二参数(例如,checkcontroller)的值(例如,指示是、停留或否的值)。根据实施例,至少一个操作可以包括控制要通过HMD装置221显示的沉浸式内容的操作。例如,电子装置210可以基于信号的发送从可穿戴装置223接收控制信号,或者如图16a和图16b所示通过基于控制信号来移动通过HMD显示的至少一个对象来生成图像,或者如图17a和图17b所示生成包括至少一个图像的图像并将生成的图像发送到HMD装置221。下面描述每个示例。
根据各种实施例,基于包括关于第一参数的信息(或值)和/或关于第二参数的信息(或值)的信号的发送,电子装置210可以从可穿戴装置223接收控制信号并基于接收到的控制信号来控制(例如,移动、变换或选择)要通过HMD装置221显示的对象1600。例如,如图16a和图16b的1601和1602所示,电子装置210可以通过在特定坐标处渲染至少一个图形对象1600来生成包括图形对象1600的图像,并将所生成的图像发送到HMD装置221。HMD装置221可以向用户提供(例如,显示)至少一个对象1600。在这种情况下,如图16b的1602所示,用户可以注视可穿戴装置223并且她佩戴可穿戴装置223的特定的手h1向前伸展。电子装置210可以基于从HMD装置221接收到的信息来识别与用户的注视的位置(例如,3D矢量)相对应的可穿戴装置223的位置(例如,3D坐标),并且向可穿戴装置223发送包括针对第一参数(例如,checkglance)的第一值(例如,指示是的值)。基于信号的接收,可穿戴装置223可以将可穿戴装置223的模式从待机模式800a设置为启用模式800b。在这种情况下,尽管在可穿戴装置223的模式被设置为启用模式800b之后,用户的注视被移动使得可穿戴装置223的位置(例如,3D坐标)不对应于用户的注视的位置(例如,3D坐标),因此,由可穿戴装置223接收到的信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),如果第二参数(例如,checkcontroller)的值是第三值(例如,指示停留的值),则可穿戴装置223的模式可以保持在启用模式800b。此后,如图16a中的①和图16b的1603所示,如果用户注视至少一个对象,则电子装置210可以基于从HMD装置221接收到的信息来识别出该对象的位置(例如,3D坐标)对应于用户的注视的位置(例如,3D矢量),并基于识别来选择对象。如图16a的②和图16b的1603所示,在选择了对象之后,基于从HMD装置221接收到的信息,电子装置210可以确定可穿戴装置223的位置(例如,3D坐标)不对应于用户的注视的位置(例如,3D矢量)以及手h1和h2的要放置在特定区域中的位置的概率大于阈值,电子装置210可以向可穿戴装置223发送包括针对第一参数(例如,checkglance)的第二值(例如,指示否的值)以及针对第二参数(例如,checkcontroller)的第一值(例如,指示是的值)的信号。基于信号的接收,可穿戴装置223可以将可穿戴装置223的模式从启用模式800b设置为控制器模式800c。同时,如图16b的1604所示,如果用户注视回可穿戴装置223,则电子装置210可以将包括针对第一参数(例如,checkglance)的第一值(例如,指示是的值)的信号发送到可穿戴装置223。在这种情况下,可穿戴装置223的模式可以从控制器模式800c改变回启用模式800b。如图16a的③和④以及图16b的1605所示,如果在可穿戴装置223的模式是启用模式800b的状态下由可穿戴装置223接收到输入(例如,滚轮键的旋转或触摸屏上的触摸),则电子装置210可以接收包括与来自可穿戴装置223的输入相对应的信息的控制信号。因此,电子装置210可以将选择的对象1600移动与滚轮键旋转相对应的距离并对其进行渲染,从而生成图像,并基于触摸屏上的触摸来固定移动的对象1600的位置。如图16b的1606所示,如果手h1和h2向后移动,则电子装置210可以基于从HMD装置221接收到的信息来确定手h1和h2将要放置在特定区域中的概率小于阈值,并且向可穿戴装置223发送包括针对第二参数(例如,checkcontroller)的第二值(例如,指示否的值)的信号。因此,可穿戴装置223的模式可以从控制器模式800c设置为待机模式800a。
根据各种实施例,基于包括关于第一参数的信息(或值)和/或关于第二参数的信息(或值)的信号的发送,电子装置210可以从可穿戴装置223接收控制信号并基于接收到的控制信号来生成包括要通过HMD装置221显示的特定对象1700的图像。例如,如图17a中的①和图17b的1701所示,电子装置210可以不生成要通过HMD装置221显示的图像。因此,HMD装置221也可以不显图像。然而,不限于那些描述和/或示出的,如上文结合图16a和图16b描述的,电子装置210可以通过在特定的坐标处渲染至少一个图形对象来生成包括图形对象的图像,并将生成的图像发送到HMD装置221。在这种情况下,如图17a的②和图17b的1702所示,用户可以注视可穿戴装置223并且她佩戴可穿戴装置223的手h1向前伸展。电子装置210可以基于从HMD装置221接收到的信息来识别与用户的注视的位置(例如,3D矢量)相对应的可穿戴装置223的位置(例如,3D坐标),并且向可穿戴装置223发送包括针对第一参数(例如,checkglance)的第一值(例如,指示是的值)的信号。基于信号的接收,可穿戴装置223可以将可穿戴装置223的模式从待机模式800a设置为启用模式800b。此后,如图17b的1703所示,电子装置210可以基于从HMD装置221接收到的信息来确定手h1和h2将被放置在特定区域中的概率大于阈值,并且向可穿戴装置223发送包括针对第二参数(例如,checkcontroller)的第一值(例如,指示是的值)的信号。基于信号的接收,可穿戴装置223可以将可穿戴装置223的模式从启用模式800b设置为控制器模式800c。如图17a的③至⑤以及图17b的1703至1705所示,如果在可穿戴装置223的模式是启用模式800b的状态下由可穿戴装置223接收到输入(例如,键输入、滚轮键的旋转或触摸屏上的触摸),则电子装置210可以接收包括与来自可穿戴装置223的输入相对应的信息的控制信号。因此,电子装置210可以获得包括与键输入相对应的对象(或用于执行应用的图标)1700(例如,应用托盘)的图像,并且将获得的图像的一部分发送到HMD装置221。HMD装置221可以提供(例如,显示)包括如图17a和图17b的1703至1705中所示的对象的图像。电子装置210可以基于滚轮键旋转来获得要发送到HMD装置221的图像的其他部分,并将获得的图像的部分发送到HMD装置221。因此,如图17a的④和图17b的1704所示,HMD装置221可以切换包括应用托盘的图像并提供它。如图17a的⑤所示,电子装置210可以从正在显示的对象1700之中选择与用户的注视相对应的特定对象1700a,并且如图17a的⑥和图17b的1705所示可以基于触摸屏上的触摸来执行与所选择的对象1700a(或图标)相对应的应用,获得执行的应用的画面,渲染所获得的画面,并将其发送到HMD装置221。如图17b的1706所示,如果手h1和h2向后移动,则电子装置210可以基于从HMD装置221接收到的信息来确定手h1和h2将放置于特定区域中的概率小于阈值,并且向可穿戴装置223发送包括针对第二参数(例如,checkcontroller)的第二值(例如,指示否的值)的信号。因此,可穿戴装置223的模式可以从控制器模式800c设置为待机模式800a。
同时,不限于所描述的那些,当基于发送到可穿戴装置223的信号中的参数中包括的值将可穿戴装置223的模式设置为待机模式800a或控制器模式800c时,至少一个操作可以不被执行。
下面根据各种实施例描述电子装置210的操作的示例。由于装置的上述操作中的至少一些(例如,图10的流程图1000的操作、图13的流程图1300的操作、以及图14的流程图1400的操作)可以结合下面描述的操作来执行,因此,不会提供重复的描述。
根据各种实施例,作为确定使用可穿戴装置223控制沉浸式内容的意图的操作的至少一部分,电子装置210可以识别使用一只手的手势,并且如果没有识别到使用一只手的手势,则确定用户具有基于手h1和h2的位置使用可穿戴装置223来控制沉浸式内容的意图。
图18是示出根据各种实施例的电子装置210的示例性操作的流程图1800。根据各种实施例,图18中所示的操作可以不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以执行比图18的操作更多或更少的操作。
根据各种实施例,在操作1801中,电子装置210可以通过通信电路910与头戴式显示装置221和可穿戴装置223建立通信连接,并且在操作1803中,从头戴式显示装置221接收与用户的至少一个特定的身体部位相关联的信息。例如,在可穿戴装置223和HMD装置221被用户佩戴并打开之后,电子装置210可以使用例如Wi-Fi、蓝牙或BLE这样的短距离无线通信方案与可穿戴装置223和HMD装置221建立通信连接。如上所述,基于通信连接,电子装置210可以从HMD装置221接收以下各项中的至少一个:关于HMD装置221的周围空间的3D坐标的信息、关于HMD装置221在周围空间中的3D坐标的信息、与身体部位的位置和/或姿势相关的信息(例如,手h1和h2的位置、头部H的旋转角度和/或注视的方向)、或与可穿戴装置223的位置相关联的信息。电子装置210的操作1801可以像如上所述的电子装置210的操作1001和1003一样被执行,并且电子装置210的操作1803可以像如结合HMD装置221的操作1009描述的通过电子装置210接收信息的操作一样被执行,并且下面不会给出其重复描述。
根据各种实施例,在操作1805中,电子装置210可以识别用户的身体部位的姿势。根据各种实施例,在操作1807中,电子装置210可以确定识别的手势是否是特定的手势。例如,电子装置210可以确定佩戴可穿戴装置223的身体部位(例如,手臂或手h1)的手势是否对应于特定的手势(例如,捏合手势)。特定的手势可以是将可穿戴装置223的模式设置为控制器模式800c的预定义手势。不限于所描述的捏合手势,特定的手势可以包括各种类型的手势,并且特定的手势可以通过用户的设置被设置为各种手势。
根据各种实施例,如果识别的手势不对应于特定的手势,则电子装置210可以在操作1809中确定手h1和h2的位置是否满足指定条件。例如,如上所述,电子装置210可以确定手h1和h2的位置要放置于特定区域中的概率是否大于阈值和/或手的位置位于特定区域中。如果概率大于阈值和/或双手位于特定区域中,则电子装置210可以确定满足指定条件。如果概率小于阈值和/或双手位于特定区域之外(或者当没有位于特定区域中时),则电子装置210可以确定不满足指定条件。下面参照图19和图20来描述由电子装置210确定概率的操作。
根据各种实施例,如果识别的手势对应于特定的手势或者双手h1和h2的位置满足指定条件,则在操作1811中电子装置210可以向可穿戴装置223发送用于将可穿戴装置223的模式设置为控制器模式800c的信号(例如,包括针对checkcontroller指示是的值的信号)。同时,如上所述,在确定双手h1和h2的位置不满足指定条件时,电子装置210可以将第二参数(例如,checkcontroller)的值设置为指示“停留”的值或指示“否”的值,并将包括该值的信号发送到可穿戴装置223。
同时,不限于所描述的那些,电子装置210可以设置针对单个参数(例如,checkmode)的值,而不是第一参数(例如,checkglance)和第二参数(例如,checkcontroller),并且将包括针对单个参数(例如,checkmode)的设定值的信号发送到可穿戴装置223。针对单个参数(例如,checkmode)可设置的多个值可以包括用于将可穿戴装置223的模式设置为待机模式800a、启用模式800b或控制器模式800c中的至少一个的值。可穿戴装置223可以基于接收到的信号中包括的针对单个参数(例如,checkmode)的值来设置可穿戴装置223的模式,并且执行如上所述的操作,并且下面将不再给出其重复描述。
下面根据各种实施例描述电子装置210的操作的示例。由于装置的上述操作中的至少一些(例如,图10的流程图1000的操作、图13的流程图1300的操作、图14的流程图1400的操作、以及图18的流程图1500的操作)可以结合下面描述的操作来执行,因此,可以不提供重复的描述。
根据各种实施例,作为确定用户使用可穿戴装置223(例如,智能手表)来控制沉浸式内容的意图的操作的至少一部分,电子装置210可以执行比较用户的手h1和h2将要放置在多个区域中的特定区域中的概率的操作。作为识别双手h1和h2将要放置在特定区域中的概率的操作的至少一部分,电子装置210可以执行在电子装置210中先前存储的与头部H的旋转角度和手位置相对应的概率信息之中识别与当前识别的头部H的旋转角度和手h1和h2的位置相对应的概率的操作。
图19是示出根据各种实施例的电子装置210的示例性操作的流程图1900。根据各种实施例,图19中所示的操作可以不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以执行比图19的操作更多或更少的操作。
图20是示出根据各种实施例的多个区域和概率信息的示例的图。
根据各种实施例,在操作1901中,电子装置210可以通过通信电路910与头戴式显示装置221和可穿戴装置223建立通信连接。根据各种实施例,在操作1903中,电子装置210可以从头戴式显示装置221接收与用户的至少一个特定的身体部位相关联的信息。例如,在可穿戴装置223和HMD装置221被用户穿戴并打开之后,电子装置210可以使用例如Wi-Fi、蓝牙或BLE这样的短距离无线通信方案建立与可穿戴装置223和HMD装置221的通信连接。如上所述,基于通信连接,电子装置210可以从HMD装置221接收以下各项中的至少一个:关于HMD装置221的周围空间的3D坐标的信息、关于HMD装置221在周围空间中的3D坐标的信息、与身体部位的位置和/或姿势相关的信息(例如,手h1和h2的位置、头部H的旋转角度和/或注视的方向)或与可穿戴装置223的位置相关联的信息。电子装置210的操作1901可以像如上所述的电子装置210的操作1001和1003一样被执行,并且电子装置210的操作1903可以像如结合HMD装置221的1009描述的由电子装置210接收信息的操作一样被执行,并且下面不会给出其重复描述。
根据各种实施例,在操作1905中,电子装置210可以基于预先存储的概率信息和与至少一个特定的身体部位相关联的信息来识别用户的手h1和h2将要放置在多个区域中的概率。例如,基于关于手h1和h2中的每一只手(例如,右手和左手)针对先前存储在电子装置210中的头部H的每个旋转角度(例如,俯仰方向的角度)将被移动到多个区域的概率的信息、所识别的手h1和h2的位置以及头部H的旋转角度,电子装置210可以在用户的手h1和h2中的每一只手放置在区域中之后的指定时间(或者识别每个位置的时间)识别用户的手h1和h2将要放置在状态0、状态1、状态2和状态3多个区域中的概率。参照图20的2001,用户的头部H的向前区域S1和向下区域S2(或者由HMD装置221的多个相机340可捕捉的区域)可以被划分(或识别)为状态0、状态1、状态2和状态3多个区域。电子装置210可以预先存储关于多个划分区域状态0、状态1、状态2和状态3的位置的信息(例如,关于3D坐标的信息),并且比较所识别的手h1或h2的位置与存储的多个区域的位置,从而识别出手当前所在的区域。同时,不限于所描述和/或示出的那些,区域可以被划分为更多区域或者被划分为各种形状。状态0、状态1、状态2和状态3多个区域之中的第一区域(例如,状态3)可以被称为用户意图使用可穿戴装置223来控制沉浸式内容的区域,第二区域(例如,状态0)可以被称为没有这种意图的区域,但是不限于所描述的那些,其他各种设置也是可行的。参照下面的方程式1和图20的2002,关于先前存储在电子装置210中的多个概率(例如,p00、p01、p10、p11、p12、p21、p22、p23、p32、p33)的每个信息可以包括位于一个区域中的手在指定时间后保持在该区域中(或保持其位置)或者移动到另一个区域的概率。
[方程式1]
n=0和1,0<l<180
在方程式1中,pxy可以表示概率,x可以表示手所在的当前区域,并且y可以表示在指定时间之后手将要放置的区域。例如,p01可以表示在指定时间之后手从状态0移动到状态1的概率。n可以表示左手或右手。例如,n=0可以表示左手,并且n=1可以表示右手。θ可以表示头部H的俯仰方向上的角度,但是不限于所描述的那些,关于多个概率的信息还可以包括关于头部H的偏转和/或滚动方向上的角度的概率信息。
在手位于一个区域(例如,状态0)后,位于多个区域(例如,状态0、状态1、状态2和状态3)中的每个区域的概率(例如,p00、p01、p02和p03)的总和可以是100%。换言之,对分别由p00、p01、p02和p03表示的概率值求和的结果可以是针对100%的值(例如,1)。每个概率可以根据在手位于一个区域中指定的时间之后针对头H的俯仰方向上的每个角度θ对手所在的区域进行多次实验的结果来计算,并且关于所计算的概率的信息可以被提供给电子装置210。
参照方程式1,电子装置210可以存储关于对于头H的俯仰方向上的每个角度θ左手(n=0)和右手(n=1)中的每一个从一个区域移动到另一个区域的多个概率的信息。电子装置210可以基于每只手h1和h2(例如,左手和右手)的3D坐标之间的比较以及基于从HMD装置221接收的信息的关于多个区域中的每一个区域的3D坐标的信息来识别每只手h1和h2当前所处的区域。电子装置210可以在存储的关于多个概率的信息之中识别关于与头部H的俯仰方向的角度相对应的概率的信息,并根据关于概率的信息来识别手将从手被识别出当前所放置的区域移动到多个区域(例如,状态0、状态1、状态2和状态3)中的每一个区域的概率。
根据各种实施例,电子装置210可根据用户的选择将多个划分的区域之中的特定区域设置为用户意图使用可穿戴装置223控制沉浸式内容的区域。例如,电子装置210可以根据设置应用的执行通过HMD装置221以不同的视觉属性(例如,不同的颜色)提供多个区域(例如,状态0、状态1、状态2和状态3)。如果用户在提供多个区域的同时将双手放置在多个区域中的特定区域中(或者使用放置了双手的可穿戴装置223),则电子装置210可以基于所识别的输入来识别用户的输入并管理其中放置了双手的特定区域,作为稍后控制沉浸式内容的区域。根据实施例,电子装置210可以基于从HMD装置221接收到的信息来识别用户的输入。此外,在实施例中,电子装置210可以基于从可穿戴装置223接收到的控制信号来识别用户的输入。在这种情况下,当执行设置应用时,电子装置210可以向可穿戴装置223发送用于将可穿戴装置223的模式设置为控制器模式800c的信号,并且基于此,从可穿戴装置223接收控制信号。
根据各种实施例,在操作1907中,电子装置210可以确定针对所识别的第一区域的第一概率是否大于第一阈值,并且如果第一概率大于第一阈值,则电子装置210可以在操作1909中发送包括针对第二参数的第一值的信号。例如,基于识别概率的操作,如果移动到多个区域(例如,状态0、状态1、状态2和状态3)之中的上述特定第一区域(例如,状态3)的概率大于阈值,则电子装置210可以将第二参数(例如,checkcontroller)的值设置为第一值(例如,指示是的值)。电子装置210可以向可穿戴装置223发送包括第二参数(例如,checkcontroller)的第一值(例如,指示是的值)的信号。
根据各种实施例,如果针对第一区域的第一概率小于阈值,则在操作1911中电子装置210可以确定第二概率是否大于第二阈值,并且如果第二概率大于第二阈值,则电子装置210可以在操作1913中发送包括针对第二参数的第二值的信号。例如,基于识别概率的操作,如果在多个区域之中移动到上述特定的第二区域(例如,状态0)的概率大于阈值,则电子装置210可以将第二参数(例如,checkcontroller)的值设置为第二值(例如,指示否的值)。电子装置210可以向可穿戴装置223发送包括第二参数(例如,checkcontroller)的第二值(例如,指示否的值)的信号。
根据各种实施例,如果针对第二区域的第二概率小于阈值,则在操作1915中电子装置210可以发送包括针对第二参数的第三值的信号。例如,基于识别概率的操作,如果在多个区域之中移动到上述特定的第二区域(例如,状态0)的概率小于阈值,则电子装置210可以将第二参数(例如,checkcontroller)的值设置为第三值(例如,指示停留的值)。电子装置210可以向可穿戴装置223发送包括第二参数(例如,checkcontroller)的第三值(例如,指示停留的值)的信号。
下面根据各种实施例描述电子装置210的操作的示例。由于可以结合下面描述的操作执行装置的上述操作中的至少一些操作(例如,图10的流程图1000的操作、图13的流程图1300的操作、图14的流程图1400的操作、图18的流程图1800和图19的流程图1900的操作),因此,不会提供重复的描述。
根据各种实施例,电子装置210可以基于用户的手h1和h2的位置的移动来更新关于用于设置与用户使用可穿戴装置223来控制混合内容的意图相关联的第二参数(例如,checkcontroller)的值的多个概率的信息。
图21是示出根据各种实施例的电子装置210的示例性操作的流程图2100。根据各种实施例,图21中所示的操作不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以进行比图21的操作更多或更少的操作。
根据各种实施例,在操作2101中,电子装置210可以通过通信电路910与头戴式显示装置221和可穿戴装置223建立通信连接。根据各种实施例,在操作2103中,电子装置210可以从头戴式显示装置221接收与用户的至少一个特定的身体部位相关联的信息。例如,在可穿戴装置223和HMD装置221被用户穿戴并打开之后,电子装置210可以使用例如Wi-Fi、蓝牙或BLE这样的短距离无线通信方案建立与可穿戴装置223和HMD装置221的通信连接。如上所述,基于通信连接,电子装置210可以从HMD装置221接收以下各项中的至少一个:关于针对HMD装置221的周围空间的3D坐标的信息、关于HMD装置221在周围空间中的3D坐标的信息、与身体部位的位置和/或姿势相关联的信息(例如,手h1和h2的位置、头部H的旋转角度和/或注视的方向)或与可穿戴装置223的位置相关联的信息。电子装置210的操作2101可以像如上所述的电子装置210的操作1001和1003一样被执行,并且电子装置210的操作2103可以像如结合HMD装置221的1009所描述的由电子装置210接收信息的操作一样被执行,并且下面不会给出其重复描述。
根据各种实施例,在操作2105中,电子装置210可以基于预先存储的概率信息和与至少一个特定的身体部位相关联的信息来识别用户的手h1和h2要被放置在用于控制沉浸式内容的多个区域中的概率。例如,如上面结合方程式1所描述的,在识别用户的手h1和h2中的每一只手的位置的当前时间之后的指定时间,基于关于手h1和h2中的每一只手(例如,右手和左手)将被移动到针对预先存储在电子装置210中的头部H的每个旋转角度(例如,在俯仰方向上的角度)的多个区域的概率的信息、所识别的手h1和h2的位置以及头部H的旋转角度,电子装置210可以识别用户的手h1和h2要被放置在多个区域(例如,状态0、状态1、状态2和状态3)中的概率。电子装置210的操作2105可以像如上所述的电子装置210的操作1905一样被执行,并且下面将不再给出其重复描述。
根据各种实施例,在操作2107中,电子装置210可以确定手(例如,右手或左手)是否在指定时间内位于特定区域中,并且如果手在指定时间内位于特定区域中,则在操作2109中增加所识别的概率之中与特定区域相关联的概率值。例如,在识别出特定的手(例如,左手或右手)当前所处的区域的时间之后的指定时间,电子装置210可以基于从HMD装置221接收到的信息(例如,关于手h1和h2的位置的信息)来识别特定的手(例如,左手或右手)所位于的特定区域。在这种情况下,电子装置210可以增大针对多个识别的区域的概率之中与特定区域相对应的概率。因此,可以减小剩余区域的概率。例如,参考方程式1,电子装置210可以识别出左手当前位于状态0并且可以识别p01、p02、p03和p04。基于识别出在指定时间之后左手位于状态2,电子装置210可以增加由p02指示的概率值并减少其余的p00、p01和p03的概率值。在改变后,p01、p02、p03和p04之和可以是表示100%概率的值(例如,1)。不限于所描述的那些,电子装置210可以确定特定的手(例如,左手或右手)是否从不对应于状态0的位置(例如,状态1、状态2或状态3)移动到特定位置(例如,状态0、状态1、状态2或状态3)并增大对应于移动的概率。
根据各种实施例,电子装置210可以积累关于特定的手(例如,左手或右手)的移动信息,并且如果特定的手(例如,左手或右手)从一个位置到另一位置的移动次数是基于积累的移动信息的预设数量或更多,则增大对应于从一个位置到另一位置的移动的概率。例如,电子装置210可以识别出特定的手(例如,左手或右手)在指定时间之后从特定位置移动到另一位置,并且可以连续地存储识别出的信息。在这种情况下,当根据该信息识别出在指定时间之后特定的手(例如,左手)的位置从一个位置(例如,状态0)移动到另一位置(例如,状态2)的次数是预设数量或更多时,电子装置210可以增大与特定的手的移动相对应的概率(例如,p02)。在这种情况下,电子装置210可以减小剩余概率(例如,p00、p01和p03),使得p01、p02、p03和p04之和变为表示100%的值(例如,1)。
下面根据各种实施例描述可穿戴装置223的操作的示例。由于可以结合下面描述的操作来执行装置的上述操作中的至少一些(例如,图10的流程图1000的操作、图13的流程图1300的操作、图14的流程图1400的操作、图18的流程图1800的操作、图19的流程图1900和图21的流程图2100的操作),因此,不会提供重复的描述。
根据各种实施例,可穿戴装置223可以基于包括在从电子装置210接收的信号中的第一参数和/或第二参数的值来确定可穿戴装置223的模式(例如,待机模式800a、启用模式800b或控制器模式800c)。可穿戴装置223可以根据可穿戴装置223的模式来确定是否向电子装置210发送与所识别的用户输入相对应的控制信号。
图22是示出根据各种实施例的可穿戴装置223的示例性操作的流程图2200。根据各种实施例,图22中所示的操作不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以执行比图22的操作更多或更少的操作。
根据各种实施例,在操作2201中,可穿戴装置223可以通过通信电路910与电子装置210建立通信连接。例如,在用户佩戴并打开之后,可穿戴装置223可以使用例如Wi-Fi、蓝牙或BLE这样的短距离无线通信方案建立与电子装置210(和/或HMD装置221)的通信连接。可穿戴装置223可以使用传感器来检测用户的佩戴,并且基于通信连接配置向电子装置210发送包括指示可穿戴装置223的佩戴的信息的信号。
根据各种实施例,在操作2203中,可穿戴装置223可以从电子装置210接收用于设置可穿戴装置223的模式的信号。根据各种实施例,在操作2205中,可穿戴装置223可以设置与该信号相对应的可穿戴装置223的模式。例如,可穿戴装置223可以接收包括针对第一参数(例如,checkglance)的值或针对第二参数(例如,checkcontroller)的值的信号。如上面结合图15所描述的,如果信号中包括的第一参数(例如,checkglance)的值是第一值(例如,指示是的值),则可穿戴装置223可以将可穿戴装置223的模式从待机模式800a改变为启用模式800b、维持启用模式800b、或者从控制器模式800c改变到启用模式800b。此外,如上面结合图15所描述的,如果信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且第二参数(例如,checkcontroller)的值是第一值(例如,指示是的值),则可穿戴装置223可以将模式从待机模式800a或启用模式800b改变为控制器模式800c或维持控制器模式800c。此外,如上面结合图15所描述的,如果信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且第二参数(例如,checkcontroller)的值是第二值(例如,如果值指示否),则可穿戴装置223可以将可穿戴装置223的模式维持为待机模式800a或者将模式从启用模式800b或控制器模式800c改变为待机模式800a。进一步如上面结合图15描述的,如果信号中包括的第一参数(例如,checkglance)的值是第二值(例如,指示否的值),并且第二参数(例如,checkcontroller)的值是第三值(例如,指示停留的值),可穿戴装置223可以维持当前设置的模式。
根据各种实施例,如上面结合表1所描述的,可穿戴装置223可以根据模式设置执行与显示、触摸屏和解锁相关联的操作。
根据各种实施例,在操作2207中,可穿戴装置223可以使用至少一个传感器830来识别输入。例如,如果使用可穿戴装置223的键输入装置810接收到用户的输入,则可穿戴装置223可以使用传感器830识别输入。
根据各种实施例,在操作2209中,可穿戴装置223可以确定可穿戴装置223的模式是否是第一模式,并且如果可穿戴装置223的模式是第一模式,则在操作2211中可穿戴装置223可以执行与获得的控制信号相对应的操作。例如,当在处于启用模式800b的状态下使用传感器830识别到用户的输入时,可穿戴装置223可以执行与用户输入相对应的操作并且可以避免将信号发送到电子装置210(例如,智能电话)的操作(或控制不执行该操作)。作为示例,如果在可穿戴装置223的模式是启用模式800b的状态下用户按下键输入装置810中的主页键,则可穿戴装置223可以在显示器上显示主屏幕并且避免向电子装置210发送指示主页键被按下的信号。
根据各种实施例,如果可穿戴装置223的模式不是第一模式,则可穿戴装置223可以在操作2213中确定可穿戴装置223的模式是否是第二模式。如果可穿戴装置223的模式是第二模式,则在操作2215中,可穿戴装置223可以通过通信电路840将获得的控制信号发送到电子装置210。例如,当在处于控制器模式800c的状态下使用传感器830识别到用户的输入时,可穿戴装置223可以避免执行与用户的输入相对应的操作,并向电子装置210(例如,智能电话)发送与识别到的输入相对应的信号。作为示例,如果在可穿戴装置223的模式是控制器模式800c的状态下用户按下键输入装置810中的主页键,则可穿戴装置223可以避免在显示器上显示主屏幕并向电子装置210发送指示主页键被按下的信号。
同时,根据各种实施例,如果可穿戴装置223的模式不是第二模式,则可穿戴装置223可以将可穿戴装置223的模式设置为与用户输入相对应的模式。例如,在处于待机模式800a的状态下识别到用户输入时,可穿戴装置223可以设置与用户输入相对应的可穿戴装置223的模式。例如,如果识别到使用键输入装置810的输入(例如,触摸屏上的触摸、滚轮键旋转、或按键按钮按压),则可穿戴装置223可以将可穿戴装置223的模式从待机模式800a改变(或切换或设置)到启用模式800b和/或控制器模式800c。
下面根据各种实施例描述HMD装置221的操作的示例。由于可以结合下面描述的操作来执行装置的上述操作中的至少一些(例如,图10的流程图1000的操作、图13的流程图1300的操作、图14的流程图1400的操作、图18的流程图1800、图19的流程图1900、图21的流程图2100和图22的流程图2200的操作),因此,不会提供重复的描述。
根据各种实施例,HMD装置221可以获得使用多个相机430捕获的多个图像,并且将基于多个获得的图像获得的多个信息发送到电子装置210。基于使用多个相机430中的至少一些相机获得包括身体部位(例如,右手和左手中的至少一个)的多个图像中的至少一些图像,HMD装置221可以接收基于由可穿戴装置223从电子装置210接收的控制信号生成的沉浸式内容。
图23是示出根据各种实施例的HMD装置221的示例性操作的流程图2300。根据各种实施例,图23中所示的操作可以不限于所示的顺序,而是可以以其他各种顺序执行。根据各种实施例,可以执行比图23的操作更多或更少的操作。
根据各种实施例,在操作2301中,HMD装置221可以通过通信电路450建立与电子装置210的通信连接。例如,在由用户佩戴并打开之后,HMD装置221可以使用例如Wi-Fi、蓝牙或BLE这样的短距离无线通信方案建立与电子装置210(和/或可穿戴装置223)的通信连接。HMD装置221可以使用传感器来检测用户的佩戴,并且基于通信连接配置向电子装置210发送包括指示HMD装置221的佩戴的信息的信号。
根据各种实施例,HMD装置221可以在操作2303中使用多个相机430获得多个图像。根据各种实施例,在操作2305中,HMD装置221可以基于多个图像中的至少一些图像来获得与用户的至少一个特定的身体部位相关联的信息。根据各种实施例,在操作2307中,HMD装置221可以向电子装置210发送与至少一个特定的身体部位相关联的信息。例如,HMD装置221可以使用多个相机430中的一些相机来捕获向前区域和/或向下区域,并且使用其他一些相机来捕获用户的眼睛。如上所述,基于由多个相机430捕获的多个图像,HMD装置221可以获得关于针对HMD装置221的周围空间的3D坐标的信息、关于HMD装置221在周围空间中的3D坐标的信息、与身体部位的位置和/或姿势相关联的信息(例如,手h1和h2的位置、头部H的旋转角度和/或注视的方向)、或与可穿戴装置223的位置相关联的信息。HMD装置221可以将多个信息发送到电子装置210,并且基于关于特定的身体部位的位置和/或姿势的信息(例如,手h1和h2的位置、头部H的旋转角度和/或注视的方向)的发送可以从电子装置210接收包括至少一个对象的图像。
根据各种实施例,在操作2309中,基于与至少一个特定的身体部位相关联的信息的发送,HMD装置221可以通过通信电路910从电子装置210接收包括3D图形对象的图像。例如,HMD装置221可以获得包括身体部位(例如,右手和左手中的至少一个)的多个图像中的至少一些图像,并且基于向电子装置210发送根据多个获得的图像中的至少一些图像而生成的信息,从电子装置210接收包括基于来自可穿戴装置223的控制信号由电子装置210生成的至少一个图形对象的图像。例如,HMD装置221可以获得包括用户的身体部位(例如,右手和左手中的至少一个)的多个图像中的至少一些图像,并且基于多个图像中的至少一些图像向电子装置210发送关于身体部位(例如,右手和左手中的至少一个)的位置的信息。如上所述,针对第二参数,电子装置210可以基于接收到的关于身体部位的信息发送用于将可穿戴装置223的模式设置为控制器模式800c的信号,因此,电子装置210可以从可穿戴装置223接收控制信号。电子装置210可以基于接收到的控制信号生成包括至少一个图形对象的图像,并将其发送到HMD装置221。如上面结合图5所描述的,HMD装置221可以向用户提供接收到的图像。同时,不限于所描述的那些,HMD装置221可以从电子装置210接收图像,尽管它没有获得包括身体部位(例如,右手和左手中的至少一个)的多个图像中的至少一些图像。例如,电子装置210可以将基于应用的执行和/或驱动而获得的图像发送到HMD装置221。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),包括:通信电路(例如,图9a的通信电路910);以及至少一个处理器(例如,图9a的处理器920),其与通信电路(例如,图9a的通信电路910)可操作地连接,其中,至少一个处理器(例如,图9a的处理器920)被配置为:通过通信电路(例如,图9a的通信电路910)建立与头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)和可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的通信连接,通过通信电路(例如,图9a的通信电路910)从头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)接收与至少一个特定的身体部位相关联的信息,并且在通过通信电路(例如,图9a的通信电路910)从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收到第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)时,向头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)发送图像,所述图像包括与第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)相关联的至少一个图形对象,且是基于与至少一个特定的身体部位相关联的信息生成的。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中,所述至少一个处理器(例如,图9a的处理器920)还被配置为:通过通信电路(例如,图9a的通信电路910)从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收包括指示可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)被佩戴的信息的信号,以及基于接收到的信号,向头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)发送包括与从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收的第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)相关联的至少一个图形对象的图像。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中,至少一个处理器(例如,图9a的处理器920)还被配置为:基于接收到的信号,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送与设置可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式相关联的信号,并且其中,可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式包括与通过头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)提供的图像的控制相关联的第一模式以及不同于第一模式的第二模式。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中与至少一个特定的身体部位相关联的信息包括与用户的手的位置相关联的信息,并且其中,至少一个处理器(例如,图9a的处理器920)被配置为:基于与用户的手的位置相关联的信息,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送与设置可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的第一模式相关联的第二信号(例如,图12a的第一信号1211或图12b的第一信号1221),基于第二信号(例如,图12a的第一信号1211或图12b的第一信号1221)的发送,从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的),并且向头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)发送包括与第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)相关联的至少一个图形对象的图像。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中,至少一个处理器(例如,图9a的处理器920)还被配置为:基于与手的位置相关联的信息,确定手的位置是否满足指定条件,基于手的位置满足指定条件,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送包括用于将可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式设置为第一模式的第一信息的第三信号(例如,包括checkcontroller=是的信号),并基于手的位置不满足指定条件,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送包括用于将可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式设置为与第一模式不同的第二模式的第二信息的第四信号(例如,包括checkcontroller=否或停留的信号)。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中,至少一个处理器(例如,图9a的处理器920)还被配置为,作为确定手的位置是否满足指定条件的至少一部分:确定手将要放置在特定区域中的第一概率是否大于阈值,基于第一概率大于阈值,将包括第一信息的第三信号(例如,包括checkcontroller=是的信号)发送到可穿戴装置(例如,图2a和图2b的控制可穿戴装置223),并且基于第一概率小于阈值,发送包括第二信息的第四信号(例如,包括checkcontroller=否或停留的信号)。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),还包括存储器,其中至少一个处理器(例如,图9a的处理器920)被配置为:通过通信电路(例如,图9a的通信电路910)从头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)接收与用户头部的旋转角度相关联的信息,以及在先前存储在存储器中的关于位于特定区域中的多个概率的信息之中识别与手的位置和旋转角度相对应的第一概率。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中,所述至少一个处理器(例如,图9a的处理器920)还被配置为:基于从识别出手的位置的时间起的指定时间内手的位置位于特定区域中,增大存储在存储器中的多个概率中的第一概率。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),还包括存储器,其中至少一个处理器(例如,图9a的处理器920)还被配置为:通过通信电路(例如,图9a的通信电路910)从头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)接收与用户头部的旋转角度相关联的信息,以及在关于先前存储在存储器中的位于特定区域中的多个概率的信息中识别与手的位置和旋转角度相对应的第一概率。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中与至少一个特定的身体部位相关联的信息包括与手的佩戴了可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的特定的手的位置相关联的信息,其中,至少一个处理器(例如,图9a的处理器920)还被配置为:基于与特定的手的位置相关联的信息,识别特定的手的姿势,确定识别出的手势是否对应于特定的手势,基于识别的手势对应于特定的手势,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送包括用于将可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式设置为第一模式的第一信息的第三信号(例如,包括checkcontroller=是的信号),并且基于识别出的手势不对应于特定的手势,确定手的位置是否满足指定条件。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中,与至少一个特定的身体部位相关联的信息包括与用户的注视的位置和/或方向相关联的信息,其中,至少一个处理器(例如,图9a的处理器920)还被配置为:通过通信电路(例如,图9a的通信电路910)从头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)接收与可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)相关联的信息,并且基于与用户的注视的位置和/或方向相关联的信息以及与可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的位置相关联的信息,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送包括与设置可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的第二模式相关联的信息的第三信号(例如,包括checkcontroller=是的信号)。
根据各种示例性实施例,可以提供一种电子装置(例如,图2a和图2b的电子装置210),其中,至少一个处理器(例如,图9a的处理器920)还被配置为:基于第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)来获得关于由可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收的输入的信息,并且生成包括与关于所识别的输入的信息相对应的至少一个对象的图像。
根据各种示例性实施例,可以提供一种用于操作电子装置(例如,图2a和图2b的电子装置210)的方法,包括:通过电子装置(例如,图2a和图2b的电子装置210)的通信电路(例如,图9a的通信电路910)建立与头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)和可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的通信连接,通过通信电路(例如,图9a的通信电路910)从头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)接收与至少一个特定的身体部位相关联的信息,并且在通过通信电路(例如,图9a的通信电路910)从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收到第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)时,向头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)发送图像,所述图像包括与第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)相关联的至少一个图形对象,且是基于与至少一个特定的身体部位相关联的信息生成的。
根据各种示例性实施例,可以提供的方法还包括:通过通信电路(例如,图9a的通信电路910)从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收包括指示可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)被佩戴的信息的信号,并且基于接收到的信号,向头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)发送包括与从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收到的第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)相关联的至少一个图形对象的图像。
根据各种示例性实施例,可以提供的方法还包括:基于接收到的信号,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送与设置可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式相关联的信号,其中,可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式包括与通过头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)提供的图像的控制相关联的第一模式以及不同于第一模式的第二模式。
根据各种示例性实施例,可以提供一种方法,其中与至少一个特定的身体部位相关联的信息包括与用户的手的位置相关联的信息,该方法还包括:基于与用户的手的位置相关联的信息,向可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)发送与设置可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的第一模式相关联的第二信号(例如,图12a的第一信号1211或图12b的第一信号1221),基于第二信号(例如,图12a的第一信号1211或图12b的第一信号1221)的发送,从可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)接收第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的),并且向头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)发送包括与第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)相关联的至少一个图形对象的图像。
根据各种示例性实施例,可以提供一种可穿戴电子装置(例如,图2a和图2b的电子装置210),包括:至少一个传感器(例如,图8a的传感器830),以及通信电路(例如,图8a的通信电路840),以及至少一个处理器(例如,图8a的处理器850),其中,所述至少一个处理器(例如,图8a的处理器850)被配置为:通过通信电路(例如,图8a的通信电路840)建立与电子装置(例如,图2a和图2b的电子装置210)的通信连接,通过通信电路(例如,图8a的通信电路840)从电子装置(例如,图2a和图2b的电子装置210)接收用于设置可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式的信号(例如,图12a的第一信号1211或图12b的第一信号1221),使用至少一个传感器(例如,图8a的传感器830)来识别输入,基于可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式根据接收到的信号(例如,图12a的第一信号1211或图12b的第一信号1221)被设置为第一模式,提供与所识别的输入相对应的内容,并且基于可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式根据接收到的信号(例如,图12a的第一信号1211或图12b的第一信号1221)被设置为第二模式,通过通信电路(例如,图8a的通信电路840)向电子装置(例如,图2a和图2b的电子装置210)发送包括关于识别的输入的信息的第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)。
根据各种示例性实施例,可以提供一种可穿戴装置(例如,图2a和图2b的控制可穿戴装置223),其中,至少一个处理器(例如,图8a的处理器850)还被配置为,当在可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式被设置为第二模式的状态下识别到输入时:避免提供与输入相对应的内容并向电子装置(例如,图2a和图2b的电子装置210)发送第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)。
根据各种示例性实施例,可以提供一种可穿戴装置(例如,图2a和图2b的控制可穿戴装置223),其中,至少一个处理器(例如,图8a的处理器850)还被配置为:在可穿戴装置(例如,图2a和图2b的控制可穿戴装置223)的模式被设置为第二模式的状态下识别到输入时,基于该输入是第一输入,向电子装置(例如,图2a和图2b的电子装置210)发送包括要触发通过头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)提供特定的图像的第一信息的第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的),并且基于该输入为第二输入,向电子装置(例如,图2a和图2b的电子装置210)发送包括要触发对通过头戴式显示装置(例如,图2a和图2b的头戴式显示装置221)显示的至少一个对象进行控制的第二信息的第一信号(例如,结合图10的操作1019和图12b的控制信号1223描述的)。
根据各种示例性实施例,可以提供一种头戴式显示(HMD)装置(例如,图2a和图2b的HMD装置221),包括:多个相机(例如,图4的多个相机430)、通信电路(例如,图4的通信电路450)以及至少一个处理器(例如,图4的处理器410),所述至少一个处理器可操作地与多个相机和通信电路(例如,图4的通信电路450)连接,其中,至少一个处理器(例如,图4的处理器410)被配置为:通过通信电路(例如,图4的通信电路450)建立与电子装置(例如,图2a和图2b的电子装置210)的通信连接,使用相机获得多个图像,基于多个图像中的至少一些获得与至少一个特定的身体部位相关联的信息,通过通信电路(例如,图4的通信电路450)向电子装置(例如,图2a和图2b的电子装置210)发送与至少一个特定的身体部位相关联的信息,并且基于与至少一个特定的身体部位相关联的信息的发送,通过通信电路(例如,图4的通信电路450)从电子装置(例如,图2a和图2b的电子装置210)接收包括至少一个图形对象的图像。
虽然已经参考各种示例性实施例示出和描述了本公开,但是应当理解,各种示例性实施例旨在是说明性的而不是限制性的。本领域技术人员还应当理解,在不脱离本公开的真实精神和完整范围的情况下,可以做出形式和细节上的各种改变,包括所附权利要求及其等同形式。还应当理解,本文描述的任何实施例可以与本文描述的任何其他实施例结合使用。

Claims (15)

1.一种电子装置,所述电子装置包括:
通信电路;以及
至少一个处理器,所述至少一个处理器与所述通信电路可操作地连接;其中,所述至少一个处理器被配置为:
通过所述通信电路建立与头戴式显示装置和可穿戴装置的通信连接;
通过所述通信电路从所述头戴式显示装置接收与至少一个特定的身体部位相关联的信息;以及
基于通过所述通信电路从所述可穿戴装置接收到第一信号,向所述头戴式显示装置发送图像,所述图像包括与所述第一信号相关联的至少一个图形对象且是基于与所述至少一个特定的身体部位相关联的信息生成的。
2.根据权利要求1所述的电子装置,其中,所述至少一个处理器还被配置为:
通过所述通信电路从所述可穿戴装置接收包括指示所述可穿戴装置被佩戴的信息的信号;以及
基于接收到的信号,向所述头戴式显示装置发送包括与从所述可穿戴装置接收到的所述第一信号相关联的所述至少一个图形对象的图像。
3.根据权利要求2所述的电子装置,其中,所述至少一个处理器还被配置为:基于接收到的信号,向所述可穿戴装置发送与设置所述可穿戴装置的模式相关联的信号,其中,所述可穿戴装置的模式包括与通过所述头戴式显示装置提供的图像的控制相关联的第一模式和不同于所述第一模式的第二模式。
4.根据权利要求3所述的电子装置,其中,与所述至少一个特定的身体部位相关联的信息包括与用户的手的位置相关联的信息,并且
其中,所述至少一个处理器还被配置为:
基于与所述用户的手的位置相关联的信息,向所述可穿戴装置发送与设置所述可穿戴装置的所述第一模式相关联的第二信号;
基于所述第二信号的发送,从所述可穿戴装置接收所述第一信号;以及
向所述头戴式显示装置发送包括与所述第一信号相关联的所述至少一个图形对象的图像。
5.根据权利要求4所述的电子装置,其中,所述至少一个处理器还被配置为:
基于与所述手的位置相关联的信息,识别所述手的位置是否满足指定条件;
基于所述手的位置满足所述指定条件,向所述可穿戴装置发送包括第一信息的第三信号,所述第一信息用于将所述可穿戴装置的模式设置为所述第一模式;以及
基于所述手的位置不满足所述指定条件,向所述可穿戴装置发送包括第二信息的第四信号,所述第二信息用于将所述可穿戴装置的模式设置为不同于所述第一模式的所述第二模式。
6.根据权利要求5所述的电子装置,其中,所述至少一个处理器还被配置为,作为识别所述手的位置是否满足所述指定条件的至少一部分:
识别所述手将被放置在特定区域中的第一概率是否大于阈值;
基于所述第一概率大于所述阈值,向所述可穿戴装置发送包括所述第一信息的所述第三信号;以及
基于所述第一概率小于所述阈值,发送包括所述第二信息的所述第四信号。
7.根据权利要求6所述的电子装置,所述电子装置还包括存储器;
其中,所述至少一个处理器还被配置为:
通过所述通信电路从所述头戴式显示装置接收与所述用户的头部的旋转角度相关联的信息;以及
在先前存储在所述存储器中的关于位于所述特定区域中的多个概率的信息之中,识别与所述手的位置和旋转角度相对应的所述第一概率。
8.根据权利要求7所述的电子装置,其中,所述至少一个处理器还被配置为:基于从识别出所述手的位置的时间起的指定时间内所述手的位置位于所述特定区域中,增大存储在所述存储器中的所述多个概率中的所述第一概率。
9.根据权利要求8所述的电子装置,其中,所述至少一个处理器还被配置为:基于输入从多个区域中选择所述特定区域。
10.根据权利要求5所述的电子装置,其中,与所述至少一个特定的身体部位相关联的信息包括与所述用户的手中佩戴了所述可穿戴装置的特定的手的位置相关联的信息,
其中,所述至少一个处理器还被配置为:
基于与所述特定的手的位置相关联的信息来识别所述特定的手的手势;
识别所识别的手势是否对应于特定的手势;
基于所识别的手势对应于所述特定的手势,向所述可穿戴装置发送包括所述第一信息的所述第三信号,所述第一信息用于将所述可穿戴装置的模式设置为所述第一模式;以及
基于识别出的手势不对应于所述特定的手势,确定所述手的位置是否满足所述指定条件。
11.根据权利要求4所述的电子装置,其中,与所述至少一个特定的身体部位相关联的信息包括与所述用户的注视的方向和/或位置相关联的信息,
其中,所述至少一个处理器还被配置为:
通过所述通信电路从所述头戴式显示装置接收与所述可穿戴装置的位置相关联的信息;以及
基于与所述用户的注视的方向和/或位置相关联的信息以及与所述可穿戴装置的位置相关联的信息,向所述可穿戴装置发送包括与设置所述可穿戴装置的所述第二模式相关联的信息的第三信号。
12.根据权利要求1所述的电子装置,其中,所述至少一个处理器还被配置为:
基于所述第一信号获得关于由所述可穿戴装置接收到的输入的信息;以及
生成包括与关于所识别的输入的信息相对应的所述至少一个图形对象的图像。
13.一种用于操作电子装置的方法,所述方法包括:
通过所述电子装置的通信电路建立与头戴式显示装置和可穿戴装置的通信连接;
通过所述通信电路从所述头戴式显示装置接收与至少一个特定的身体部位相关联的信息;以及
基于通过所述通信电路从所述可穿戴装置接收到第一信号,向所述头戴式显示装置发送图像,所述图像包括与所述第一信号相关联的至少一个图形对象,且是基于与所述至少一个特定的身体部位相关联的信息生成的。
14.根据权利要求13所述的方法,所述方法还包括:
通过所述通信电路从所述可穿戴装置接收包括指示所述可穿戴装置被佩戴的信息的信号;以及
基于接收到的信号,向所述头戴式显示装置发送包括与从所述可穿戴装置接收到的所述第一信号相关联的所述至少一个图形对象的图像。
15.根据权利要求14所述的方法,所述方法还包括:基于接收到的信号,向所述可穿戴装置发送与设置所述可穿戴装置的模式相关联的信号,其中,所述可穿戴装置的模式包括与通过所述头戴式显示装置提供的图像的控制相关联的第一模式和不同于所述第一模式的第二模式。
CN202280058208.1A 2021-08-26 2022-05-30 电子装置、头戴式显示装置、可穿戴装置及其操作方法 Pending CN117940826A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210113191A KR20230030930A (ko) 2021-08-26 2021-08-26 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
KR10-2021-0113191 2021-08-26
PCT/KR2022/007691 WO2023027300A1 (ko) 2021-08-26 2022-05-30 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN117940826A true CN117940826A (zh) 2024-04-26

Family

ID=85321800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280058208.1A Pending CN117940826A (zh) 2021-08-26 2022-05-30 电子装置、头戴式显示装置、可穿戴装置及其操作方法

Country Status (5)

Country Link
US (1) US20230074476A1 (zh)
EP (1) EP4365659A4 (zh)
KR (1) KR20230030930A (zh)
CN (1) CN117940826A (zh)
WO (1) WO2023027300A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
KR102229890B1 (ko) * 2014-05-30 2021-03-19 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
KR102303115B1 (ko) * 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
KR20160039939A (ko) * 2014-10-02 2016-04-12 한국과학기술연구원 헤드 마운티드 디스플레이 및 그 제어 방법
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
KR20180113301A (ko) * 2017-04-06 2018-10-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어방법
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
KR102696363B1 (ko) * 2018-12-04 2024-08-20 삼성전자주식회사 웨어러블 장치에서 생체 신호의 측정을 가이드 하기 위한 방법
US10948976B1 (en) * 2019-02-06 2021-03-16 Facebook Technologies, Llc Systems and methods for electric discharge-based sensing via wearables donned by users of artificial reality systems
KR102623349B1 (ko) * 2019-04-05 2024-01-11 삼성전자 주식회사 빔을 이용하여 외부 장치와 페어링 하는 방법 및 그를 위한 전자 장치
US11023035B1 (en) * 2019-07-09 2021-06-01 Facebook Technologies, Llc Virtual pinboard interaction using a peripheral device in artificial reality environments

Also Published As

Publication number Publication date
EP4365659A1 (en) 2024-05-08
KR20230030930A (ko) 2023-03-07
US20230074476A1 (en) 2023-03-09
EP4365659A4 (en) 2024-10-09
WO2023027300A1 (ko) 2023-03-02

Similar Documents

Publication Publication Date Title
US11914835B2 (en) Method for displaying user interface and electronic device therefor
US11947728B2 (en) Electronic device for executing function based on hand gesture and method for operating thereof
EP4195005A1 (en) Electronic device and operation method of electronic device
CN116830065A (zh) 用于跟踪用户注视并提供增强现实服务的电子装置及其方法
US12050726B2 (en) Augmented reality device for changing input mode and method thereof
US12073017B2 (en) Wearable electronic device for displaying virtual object on a surface of a real object and method of controlling the same
US20230152900A1 (en) Wearable electronic device for displaying virtual object and method of controlling the same
US12062127B2 (en) Wearable electronic device controlling noise canceling of external wearable electronic device and method of operating the same
EP4357838A1 (en) Electronic device and method for displaying content
US11762486B2 (en) Electronic device for performing plurality of functions using stylus pen and method for operating same
US12056416B2 (en) Augmented reality device and electronic device interacting with augmented reality device
EP4365659A1 (en) Electronic device, head-mounted display device, wearable device, and operation method thereof
US12008170B2 (en) Electronic device for controlling at least one external device and operating method thereof
US11927756B2 (en) Method for providing augmented reality image and head mounted display device supporting the same
US20240046578A1 (en) Wearable electronic device displaying virtual object and method for controlling the same
US12039098B2 (en) Electronic device and operation method of electronic device for controlling external electronic device
US11829527B2 (en) Augmented reality device, electronic device interacting with augmented reality device, and controlling method thereof
US20230249033A1 (en) Electronic device for providing exercise content based on recognition space and operating method thereof
US20230152899A1 (en) Wearable device for communicating with at least one counterpart device according to trigger event and control method therefor
US20240303949A1 (en) Method for providing user interface and wearable electronic device for supporting the same
US20240054740A1 (en) Augmented reality device and electronic device interacting with augmented reality device
KR20240085818A (ko) 가상 공간에서 사용자 입력을 식별하기 위한 전자 장치 및 방법
KR20230120055A (ko) 인식 공간을 기반으로 운동 컨텐츠를 제공하는 전자 장치 및 그 동작 방법
KR20240094948A (ko) 객체에 대한 정보를 획득하기 위한 전자 장치 및 방법
KR20240081242A (ko) 운동 보조 피드백을 제공하는 방법 및 이를 위한 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination