CN118251643A - 用于锚定增强现实对象的电子设备和方法 - Google Patents

用于锚定增强现实对象的电子设备和方法 Download PDF

Info

Publication number
CN118251643A
CN118251643A CN202280075971.5A CN202280075971A CN118251643A CN 118251643 A CN118251643 A CN 118251643A CN 202280075971 A CN202280075971 A CN 202280075971A CN 118251643 A CN118251643 A CN 118251643A
Authority
CN
China
Prior art keywords
display
augmented reality
anchor
electronic device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280075971.5A
Other languages
English (en)
Inventor
卢民真
权徒一
李在庸
韩仁善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210158812A external-priority patent/KR20230072256A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN118251643A publication Critical patent/CN118251643A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文件涉及用于锚定增强现实对象的电子设备和方法。根据一个实施例,一种电子设备包括存储器、显示器和可操作地连接到存储器和显示器的至少一个处理器,其中至少一个处理器可以被配置为:控制显示器,使得在增强现实空间中显示至少一个增强现实对象;获取被指定给所述至少一个增强现实对象的锚定属性信息;基于所述锚定属性信息,根据用户的移动来标识锚定到所述至少一个增强现实对象的内容的锚定类型;以及控制显示器,使得表示锚定类型的视觉效果被显示在内容中。其他实施例也是可能的。

Description

用于锚定增强现实对象的电子设备和方法
技术领域
一种实施例涉及一种用于锚定增强现实对象的电子设备和方法。
背景技术
最近的电子设备出于用户方便的目的而具有各种形状因子,并且提供多样化的服务或功能。在根据电子设备的各种服务或功能的执行的信息中,各种服务由增强现实技术提供。
增强现实(AR)是虚拟现实的一部分,并且是通过将虚拟对象或信息与实际环境合成来允许虚拟对象看起来存在于原始环境中的计算机图形方案。增强现实(AR)是一种向用户显示虚拟事物在用户用他的眼睛看到的现实世界上的重叠的技术。它示出了通过将附加信息和虚拟世界与现实世界实时混合而获得的单个图像,因此,它也被称为混合现实(MR)。
随着智能电话最近被广泛使用,AR技术恰好在各种现实环境中具有各种应用,并且其使用正在扩展,诸如基于位置的服务、移动游戏或教育部门。增强现实技术可以提供用于固定在增强现实空间中显示的对象的锚定方案。
发明内容
“技术问题”
当在增强现实环境中显示信息时,各种虚拟对象可以在用户周围广泛散步和显示,因为对空间没有限制。传统的增强现实技术不考虑取决于每个虚拟对象的用户运动和上下文的分类标准,并且被分割,导致用户混淆。
传统的增强现实技术根据用户的身体运动(例如,头部/手部/身体)对增强现实中提供的信息提供不同的锚定方案,并且当对象和环境的属性通过根据用户的交互将虚拟对象信息匹配到真实环境的操作而改变时,可以改变用户和对应的虚拟对象之间的锚定方案。然而,用户难以感知传统增强现实技术中的锚定方案的改变。
根据本公开的实施例,可以提供一种用于锚定增强现实对象的电子设备和方法,以供用户根据在增强现实空间和用户上下文中显示的对象的属性来识别锚定方案(或锚定类型)。
“技术解决方案”
根据本公开的实施例,电子设备可以包括存储器、显示器和与存储器和显示器可操作地连接的至少一个处理器。至少一个处理器可以被配置为控制显示器在增强现实空间上显示至少一个增强现实对象,获得被指定给至少一个增强现实对象的锚定属性信息,基于锚定属性信息根据用户的运动来标识锚定到至少一个增强现实对象的内容的锚定类型,以及控制显示器显示表示内容的锚定类型的视觉效果。
根据实施例,一种用于电子设备中的操作的方法可以包括:控制电子设备的显示器在增强现实空间上显示至少一个增强现实对象,获得指定给至少一个增强现实对象的锚定属性信息,基于锚定属性信息根据用户的运动标识锚定到至少一个增强现实对象的内容的锚定类型,以及控制电子设备的显示器显示表示内容的锚定类型的视觉效果。
“有利效果”
根据实施例,用于锚定增强现实对象的电子设备和方法可以将表示取决于在增强现实空间中显示的对象的属性的锚定类型的视觉效果应用于锚定到对象的内容并显示它,从而允许用户通过用户的运动或用户交互容易地识别增强现实对象的锚定类型的变化,并且可以根据用户的运动根据每个对象的属性显示不规则地分散在用户周围的锚定类型的增强现实对象。从而允许用户容易地识别应用于每个对象的锚定类型。
附图说明
图1是示出根据各种实施例的网络环境的视图;
图2是示出根据实施例的提供增强现实技术的电子设备的透视图;
图3A和图3B是示出根据实施例的电子设备中的增强现实空间中的锚定方案的示例的视图;
图4是示出根据实施例的电子设备中的操作方法的流程图;
图5是示出根据实施例的电子设备中的操作方法的流程图;
图6是示出根据实施例的电子设备中的操作方法的示例的视图;
图7是示出根据实施例的电子设备中的操作方法的示例的视图;
图8是示出根据实施例的电子设备中的操作方法的流程图;
图9A和图9B是示出根据实施例的电子设备中的操作方法的示例的视图;以及
图10A、图10B、图10C、图10D和图10E是示出根据实施例的电子设备中的操作方法的示例的视图。
在整个说明书和附图中,相同或相似的附图标记可以用于指代相同或相似的元件。
具体实施方式
在下文中,将参考附图描述根据各种实施例的电子设备。在各种实施例中使用的术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如,人工智能电子设备)。
图1是示出根据各种实施例的网络环境100中的电子设备101的框图。参考图1,网络环境100中的电子设备101可以经由第一网络198(例如,短距离无线通信网络)与电子设备102通信,或者经由第二网络199(例如,长距离无线通信网络)与电子设备104或服务器108中的至少一个通信。根据实施例,电子设备101可以经由服务器108与电子设备104通信。根据实施例,电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端子178、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可以从电子装置101中省略组件中的至少一个(例如,连接端子178),或者可以在电子装置101中添加一个或多个其他组件。根据实施例,部件中的一些(例如,传感器模块176、相机模块180或天线模块197)可以集成到单个部件(例如,显示模块160)中。
处理器120可以执行例如软件(例如,程序140)以控制与处理器120耦合的电子设备101的至少一个其他组件(例如,硬件或软件组件),并且可以执行各种数据处理或计算。根据一个实施例,作为数据处理或计算的至少一部分,处理器120可以将从另一部件(例如,传感器模块176或通信模块190)接收的命令或数据存储在易失性存储器132中,处理存储在易失性存储器132中的命令或数据,并将得到的数据存储在非易失性存储器134中。根据实施例,处理器120可以包括主处理器121(例如,中央处理单元(CPU)或应用处理器(AP))或可独立于主处理器121操作或与主处理器121结合操作的辅助处理器123(例如,图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器集线器处理器或通信处理器(CP))。例如,当电子设备101包括主处理器121和辅助处理器123时,辅助处理器123可以被配置为使用比主处理器121更低的功率或者被指定用于指定功能。辅助处理器123可以被实现为与主处理器121分离或作为主处理器121的一部分。
辅助处理器123可以在主处理器121处于非活动(例如,睡眠)状态时代替主处理器121,或者在主处理器121处于活动状态(例如,执行应用)时与主处理器121一起控制与电子设备101的组件中的至少一个组件(例如,显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,辅助处理器123(例如,图像信号处理器或通信处理器)可以被实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的一部分。根据实施例,辅助处理器123(例如,神经处理单元)可以包括为人工智能模型处理指定的硬件结构。可以经由机器学习来生成人工智能模型。这样的学习可以例如由执行人工智能的电子设备101或经由单独的服务器(例如,服务器108)来执行。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、深度Q网络或其两个或更多个的组合,但不限于此。附加地或替代地,人工智能模型可以包括除硬件结构之外的软件结构。
存储器130可以存储由电子设备101的至少一个组件(例如,处理器120或传感器模块176)使用的各种数据。各种数据可以包括例如软件(例如,程序140)和用于与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
程序140可以作为软件存储在存储器130中,并且可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子装置101的外部(例如,用户)接收要由电子装置101的其他组件(例如,处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如,按钮)或数字笔(例如,手写笔)。
声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于通用目的,诸如播放多媒体或播放记录。接收器可以用于接收呼入呼叫。根据实施例,接收器可以被实现为与扬声器分离或作为扬声器的一部分。
显示模块160可以向电子装置101的外部(例如,用户)可视地提供信息。显示模块160可以包括例如显示器、全息图设备或投影仪以及用于控制显示器、全息图设备和投影仪中的对应一个的控制电路。根据实施例,显示模块160可以包括被配置为检测触摸的触摸传感器或被配置为测量由触摸产生的力的强度的压力传感器。
音频模块170可以将声音转换为电信号,反之亦然。根据实施例,音频模块170可以经由输入模块150获得声音,或者经由声音输出模块155或与电子装置101直接(例如,有线地)或无线地耦合的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可以检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后生成与检测到的状态相对应的电信号或数据值。根据实施例,传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物计量传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持用于电子装置101直接(例如,有线地)或无线地与外部电子装置(例如,电子装置102)耦合的一个或多个指定协议。根据实施例,接口177可以包括例如高清多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子178可以包括连接器,电子装置101可以经由该连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端子178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可以将电信号转换成可以由用户经由他的触感或动觉感觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可以包括例如马达、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据实施例,相机模块180可以包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以管理供应给电子装置101的电力。根据一个实施例,功率管理模块188可以被实现为例如功率管理集成电路(PMIC)的至少一部分。
电池189可以向电子设备101的至少一个组件供电。根据实施例,电池189可以包括例如不可再充电的一次电池、可再充电的二次电池或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并且经由建立的通信信道执行通信。通信模块190可以包括一个或多个通信处理器,其可独立于处理器120(例如,应用处理器(AP))操作并且支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可以包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的对应一个可以经由第一网络198(例如,短距离通信网络,诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如,局域网(LAN)或广域网(WAN))与外部电子设备104通信。这些各种类型的通信模块可以被实现为单个组件(例如,单个芯片),或者可以被实现为彼此分离的多个组件(例如,多个芯片)。无线通信模块192可以使用存储在订户识别模块196中的订户信息(例如,国际移动订户身份(IMSI))来识别或认证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可以支持4G网络之后的5G网络和下一代通信技术(例如,新无线电(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠和低延迟通信(URLLC)。无线通信模块192可以支持高频带(例如,mmWave频带)以实现例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术,例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如,电子装置104)或网络系统(例如,第二网络199)中指定的各种要求。根据实施例,无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如,20Gbps或更大)、用于实现mMTC的丢失覆盖(例如,164dB或更小)、或用于实现URLLC的U平面延迟(例如,对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小,或者1ms或更小的往返)。
天线模块197可以向外部(例如,外部电子设备)发送信号或电力或从外部(例如,外部电子设备)接收信号或电力。根据实施例,天线模块197可包括一个天线,该天线包括由形成在基板(例如,印刷电路板(PCB))上的导体或导电图案形成的辐射器。根据实施例,天线模块197可以包括多个天线(例如,天线阵列)。在这种情况下,可以通过例如通信模块190从多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。然后,可以经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。根据实施例,除了辐射器之外的其他部件(例如,射频集成电路(RFIC))可以进一步形成为天线模块197的一部分。
根据各种实施例,天线模块197可形成毫米波天线模块。根据实施例,mmWave天线模块可以包括印刷电路板、设置在印刷电路板的第一表面(例如,底表面)上或与第一表面相邻并且能够支撑指定的高频带(例如,mmWave频带)的RFIC、以及设置在印刷电路板的第二表面(例如,顶表面或侧表面)上或与第二表面相邻并且能够发送或接收指定的高频带的信号的多个天线(例如,阵列天线)。
上述部件中的至少一些可以相互耦合并且经由外设间通信方案(例如,总线、通用输入和输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))在其间传送信号(例如,命令或数据)。
根据实施例,可以经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。外部电子设备102或104各自可以是与电子设备101相同或不同类型的设备。根据实施例,可以在外部电子装置102、104或108中的一个或多个处执行要在电子装置101处执行的操作中的全部或一些操作。例如,如果电子装置101应当自动地或者响应于来自用户或另一装置的请求来执行功能或服务,则电子装置101可以请求一个或多个外部电子装置执行功能或服务的至少一部分,而不是执行功能或服务,或者除了执行功能或服务之外,电子装置101还可以请求一个或多个外部电子装置执行功能或服务的至少一部分。接收请求的一个或多个外部电子装置可以执行所请求的功能或服务的至少一部分,或者与请求相关的附加功能或附加服务,并将执行的结果传送到电子装置101。电子装置101可以在对结果进行进一步处理或不进行进一步处理的情况下提供结果,作为对请求的回复的至少一部分。为此,例如,可以使用云计算、分布式计算、移动边缘计算(MEC)或客户端-服务器计算技术。电子设备101可以使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中,外部电子设备104可以包括物联网(IoT)设备。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例,外部电子设备104或服务器108可以包括在第二网络199中。电子设备101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如,智能家居、智能城市、智能汽车或医疗保健)。
图2是示出根据实施例的提供增强现实技术的电子设备的透视图。
参照图1和图2,根据实施例,电子装置200可以是图1的电子装置101或与图1的电子装置101通信的电子装置102或104或能够在涵盖增强现实(AR)或混合现实(MR)的扩展现实环境(XR)中提供与增强现实技术相关的服务的装置,类似于图1的电子装置101。如图2所示,电子设备200可以是被配置为佩戴在用户的身体上的设备(例如,头戴式显示器(HMD)或眼镜型AR眼镜设备)。例如,电子设备200可以被配置为与外部电子设备(例如,移动设备)耦合,以能够使用外部电子设备的组件(例如,显示模块、相机模块、声音输出模块或其他组件)。不限于此,电子设备200可以以可穿戴在用户的身体上的其他各种形式实现。
根据实施例,电子设备200可以控制显示模块160配置增强现实空间,该增强现实空间显示与在用户所在的周围环境中捕获的真实环境相对应的增强现实图像(例如,二维(2D)或三维(3D)图像),并且在增强现实空间中显示至少一个增强现实对象以用于用户交互。
根据实施例,电子设备200可以包括处理器120、存储器130、显示模块160、传感器模块176、包括多个相机的相机模块180、充电模块(例如,图1的电池189)和通信模块190。电子装置200可进一步包含声音输出模块155、输入模块150或图1中所展示的其它组件。另外,电子设备200还可以包括提供增强现实功能(例如,服务或方案)所需的其他组件。
返回参考图2,描述了根据实施例的电子设备200。如上所述,电子设备200不限于眼镜类型(例如,AR眼镜)增强现实设备,并且其可以被实现为能够向用户的眼睛提供沉浸式内容(例如,基于XR技术的内容)的各种设备(例如,AR头戴式类型显示类型、2D/3D头戴式显示设备或VR头戴式显示设备)。
根据实施例,电子设备200可以包括一个或多个第一相机211-1和211-2、一个或多个第二相机212-1和212-2以及一个或多个第三相机213。根据实施例,通过一个或多个第一相机211-1和211-2获得的图像可以用于检测用户的手势、跟踪用户的头部和/或空间识别。一个或多个第一相机211-1和211-2可以是全局快门(GS)相机或滚动快门(RS)相机。根据实施例,一个或多个第一相机211-1和211-2可以通过深度捕获来执行同时定位和地图构建(SLAM)操作。一个或多个第一相机211-1和211-2可以执行用于3DoF和/或6DoF的空间识别。
根据实施例,通过一个或多个第二相机212-1和212-2获得的图像可用于检测和跟踪用户的瞳孔。一个或多个第二相机212-1和212-2可以是GS相机。一个或多个第二相机212-1和212-2可以分别对应于左眼和右眼。一个或多个第二相机212-1和212-2可以具有相同的性能。一个或多个第三相机213可以是高分辨率相机。一个或多个第三相机213可以执行自动聚焦(AF)功能和光学图像稳定(OIS)功能。根据实施例,一个或多个第三相机213可以是GS相机或滚动快门(RS)相机。根据实施例,一个或多个第三相机213可以是彩色相机。
根据实施例,电子设备200可以包括一个或多个发光设备214-1和214-2。发光元件214-1和214-2不同于下面描述的光源,用于将光照射到显示器的屏幕输出区域。根据实施例,发光设备214-1和214-2可以照射光,以便于通过一个或多个第二相机212-1和212-2检测和跟踪用户瞳孔时的瞳孔检测。根据实施例,发光设备214-1和214-2中的每一个可以包括LED。根据实施例,发光设备214-1和214-2可以照射红外波段的光。根据实施例,发光设备214-1和214-2可以附接在增强现实设备200的框架周围。根据实施例,发光设备214-1和214-2可以位于一个或多个第一相机211-1和211-2周围,并且当在黑暗环境中使用增强现实设备200时,可以帮助一个或多个第一相机211-1和211-2进行手势检测、头部跟踪和空间识别。根据实施例,发光设备214-1和214-2可以位于一个或多个第三相机213周围,并且当在黑暗环境中使用增强现实设备200时,可以帮助一个或多个第三相机213获得图像。
根据实施例,电子设备200可以包括电池235-1和235-2。电池235-1和235-2可以存储用于操作增强现实设备200的剩余组件的电力。
根据实施例,电子设备200可以包括第一显示器251、第二显示器252、一个或多个输入光学构件253-1和253-2、一个或多个透明构件290-1和290-2、以及一个或多个屏幕显示部分254-1和254-2。根据实施例,第一显示器251和第二显示器252可以包括例如液晶显示器(LCD)、数字镜设备(DMD)、硅基液晶(LCoS)或有机发光二极管(OLED)或微型发光二极管(微型LED)。根据实施例,当第一显示器251和第二显示器252由液晶显示设备、数字镜显示设备或硅液晶显示设备中的一种形成时,增强现实设备200可以包括用于将光照射到显示器的屏幕输出区域的光源。根据实施例,当第一显示器251和第二显示器252可以自己生成光时,例如,当由有机发光二极管或微LED形成时,即使不包括单独的光源,增强现实设备200也可以向用户提供良好质量的虚拟图像。
根据实施例,包括在电子设备200中的一个或多个透明构件290-1和290-2可以被设置为当用户佩戴增强现实设备200时面向用户的眼睛。一个或多个透明构件290-1和290-2可以包括玻璃板、塑料板和聚合物中的至少一种。当用户穿戴增强现实设备200时,用户可以通过一个或多个透明构件290-1和290-2观看外部世界。
根据实施例,电子设备200中包括的一个或多个输入光学构件253-1和253-2可以将由第一显示器251和第二显示器252产生的光引导到用户的眼睛。可以通过由第一显示器251和第二显示器252生成的光在一个或多个透明构件290-1和290-2上方的一个或多个屏幕显示部分254-1和254-2上形成图像,并且用户可以看到在一个或多个屏幕显示部分254-1和254-2上形成的图像。
根据实施例,电子装置200可包括一个或多个光波导(未示出)。光波导可以将由第一显示器251和第二显示器252生成的光传递到用户的眼睛。增强现实设备200可以包括与左眼和右眼中的每一个相对应的一个光波导。根据实施例,光波导可以包括玻璃、塑料或聚合物中的至少一种。根据实施例,光波导可以包括形成在一个外表面上或内部的纳米图案,例如多边形或弯曲光栅结构。根据实施例,光波导可以包括自由形状型棱镜,并且在这种情况下,光波导可以通过反射镜向用户提供入射光。根据实施例,光波导可以包括至少一个衍射元件(例如,衍射光学元件(DOE)或全息光学元件(HOE))或反射元件(例如,反射镜)中的至少一个,并且使用包括在光波导中的至少一个衍射元件或反射元件将从光源发射的显示光引导到用户的眼睛。根据实施例,衍射元件可以包括输入/输出光学元件。根据实施例,反射元件可以包括引起全反射的构件。
根据实施例,电子设备200可以包括一个或多个声音输入设备262-1、262-2和262-3以及一个或多个声音输出设备263-1和263-2。
根据实施例,电子设备200可以包括第一PCB 270-1和第二PCB 270-2。第一PCB270-1和第二PCB 270-2可以将电信号传输到包括在增强现实设备200中的部件,诸如包括在相机模块180、显示模块160、音频模块170和传感器模块176中的第一相机211-1和211-2、第二相机212和第三相机213。根据实施例,第一PCB 270-1和第二PCB 270-2可以是FPCB。根据实施例,第一PCB 270-1和第二PCB 270-2各自可以包括第一基板、第二基板和设置在第一基板和第二基板之间的内插器。
图3A和图3B是示出根据实施例的电子设备中的增强现实空间中的锚定方案的示例的视图。
参照图1、图2、图3A和图3B,根据实施例,处理器120可以电连接到电子装置200(例如,图1的电子装置101)的其他组件并且可以控制其他组件。处理器120可以根据由电子设备200提供的各种功能(例如,操作、服务或程序)的执行来执行各种数据处理或计算。处理器120可以执行各种数据处理或计算以在增强现实空间310中显示针对真实周围环境捕获的图像320,并且在增强现实空间310上显示至少一个增强现实对象311或321(例如,主菜单或执行图标)以用于与捕获的图像320中包括的实际事物相关的用户交互。处理器120可以执行各种数据处理或计算以表示用于在增强现实空间中显示的增强现实对象311或321的锚定方案以由用户识别。
根据实施例,如图3A和图3B所示,处理器120可以控制显示模块160(例如,图2的第一显示器251和第二显示器252)显示与由相机模块180(例如,图2的第一相机211-1或211-2)捕获的真实周围环境相对应的图像(例如,2D图像或3D图像)。
根据实施例,处理器120可以控制显示模块160在增强现实空间310上显示至少一个增强现实对象311或321。如图3A和3B所示,处理器120可以在增强现实空间310上显示用于用户交互的增强现实对象311或321。增强现实对象311或321可经显示以在用户的视场区域(例如,FOV区域)301中与待由佩戴电子装置200的用户识别的图像320重叠。处理器120可以在增强现实空间上相对于图像320布置或显示至少一个其他增强现实对象(未示出)。布置在增强现实空间310上的增强现实对象中的一些可以被设置在用户的视场区域301之外,并且如果根据用户的运动的方向被包括在用户的视场区域301中,则它们可以被显示以供用户观看。
根据实施例,如图3A和3B所示,处理器120可以将锚定方案应用于增强现实对象311或321,以提供与增强现实对象311或321重叠或相邻的固定的内容313或323。处理器120可以控制显示模块160将锚定到至少一个增强现实对象311或321的内容313或323固定到增强现实空间310的指定位置,或者根据用户的运动(例如,手303的运动)移动它并显示它。处理器120可以将视觉效果(例如,颜色、灰度效果、阴影效果、影响效果或图形元素(标记或符号))应用于内容313或323,以允许用户识别增强现实对象311或321被锚定。处理器120可以获得指定给增强现实对象311或321的锚定属性信息,以显示锚定到增强现实对象311或321的内容313或323,并且基于锚定属性信息来标识指定给增强现实对象311或321的锚定类型。这里,锚定属性信息可以包括关于适用于增强现实对象311或321的锚定类型的标识信息、与要应用的视觉效果相关的信息(例如,颜色、阴影、阴影、灰度效果、阴影效果、放大效果或图形元素(标记或符号))、显示位置信息或指示与其他内容的关联的关联信息中的至少一个。
根据实施例,处理器120可以对每个锚定类型应用不同的视觉效果。例如,锚定类型可以包括空间锚定类型、手锚定类型、头部锚定类型、主体锚定类型或物体锚定类型中的至少一种。例如,如图3A所示,锚定到在增强现实空间310上显示的增强现实对象311的内容313可以通过空间锚定类型锚定并被显示,其中对其应用表示空间锚定的视觉效果(例如,放大效果)。例如,如图3B所示,锚定到在增强现实空间310上显示的增强现实对象321的内容323可以通过手锚定类型锚定并且被显示,其中对其应用表示手锚定的视觉效果(例如,以不同颜色显示和手动画的显示)。
根据实施例,如果用户选择锚定到增强现实对象311的内容313,则处理器120可以控制以执行指定给增强现实对象311的功能,并且改变对象属性并显示改变后的对象321,如图3A和3B所示。处理器120可以基于指定给改变后的对象321的锚定属性信息来识别锚定类型(例如,手锚定),并控制显示模块160显示已经应用了表示锚定类型的视觉效果的内容323。处理器120可以检测用户的运动(例如,手部运动)并且控制显示模块160根据用户的运动来移动和显示应用了视觉效果的内容323。处理器120可以根据用户的运动显示包括动画的内容323,并且与内容313的视觉效果不同地(例如,以不同的颜色)显示内容323的视觉效果。
返回参考图1和图2,根据实施例,当所识别的锚定类型是空间锚定类型时,处理器120可以控制显示模块160显示锚定为与要固定在增强现实空间的指定位置的增强现实对象重叠或相邻的内容。这里,内容被固定并显示在指定位置,而不根据用户的运动而移动。处理器120可以控制显示模块160内容应用和显示视觉效果,该视觉效果表示空间锚定类型以允许用户识别空间锚定。
根据实施例,当锚定类型是手锚定类型时,处理器120可以控制显示模块160根据用户的手相对于用户的头部的运动来移动和显示与增强现实对象重叠或相邻锚定的内容。处理器120可以控制显示模块160应用表示手锚定类型的视觉效果,以允许用户识别空间锚定到内容并显示它。在检测到用户的手离开视场区域时,处理器120可以控制显示模块160应用如同内容从视场区域消失一样的效果,并将内容显示为透明或消失。在检测到用户的手进入视场区域时,处理器120可以控制显示模块160应用如同内容出现回来的效果或者显示内容回来。
根据实施例,当锚定类型是头部锚定类型时,处理器120可以控制显示模块160根据用户的头部的运动来移动和显示与增强现实对象重叠或相邻锚定的内容。处理器120可以控制显示模块160根据用户的头部的运动来移动和显示与增强现实对象1011重叠或相邻锚定的内容。处理器120可以控制显示模块160应用表示头部锚定类型的视觉效果,以允许用户识别内容的头部锚定类型并显示它。电子设备200可以控制显示模块160显示内容以不离开用户的视场区域。
根据实施例,当要应用于在增强现实空间中显示的增强现实对象的锚定类型是身体锚定类型时,处理器120可以控制显示模块160移动和显示与增强现实对象重叠或相邻锚定的内容,同时根据用户的身体运动保持距用户的身体的预定距离。处理器120可以控制显示模块160应用表示身体锚定类型的视觉效果,以允许用户识别内容的身体锚定类型并显示它。
根据实施例,当要应用于在增强现实空间中显示的增强现实对象的锚定类型是对象锚定类型时,处理器120可以控制显示模块160显示锚定内容以保持与增强现实对象相邻的预定距离。处理器120可以控制显示模块160根据用户的运动来移动和显示内容,同时保持距增强现实对象的预定距离,其中增强现实对象固定但不移动。处理器120可以根据用户的运动来移动(或旋转)并提供内容,使得在视场区域内始终观看用户。处理器120可以控制显示模块160应用表示对象锚定类型的视觉效果,以允许用户识别到内容的对象锚定并显示它。
根据实施例,处理器120可以确定匹配位置以将增强现实对象与增强现实空间匹配,并且根据用户的运动将增强现实对象移动并显示到所确定的匹配位置。处理器120可以将增强现实对象与增强现实空间中的所确定的匹配位置相匹配,并且如果增强现实对象的锚定类型被改变,则处理器120可以控制显示模块160显示表示改变的锚定类型的视觉效果。
上面已经结合图1和图2描述了图1和图2的电子设备101或200的主要组件。然而,根据实施例,图1和图2的所有组件不是必要组件,并且电子装置101或200可以用比所示组件更多或更少的组件来实现。以上结合图1和图2描述的电子设备101或200的主要部件的位置可以根据本发明实施例而变化。
根据实施例,提供了一种电子装置(例如,图1的电子装置101和/或图2的电子装置200)。在一些实施例中,处理器110可以包括存储器(例如,图1的存储器130)、显示器(例如,图1的显示模块160或图2的第一显示器251和第二显示器252)以及与存储器和显示器可操作地连接的至少一个处理器(例如,图1的处理器120)。至少一个处理器可以被配置为控制显示器在增强现实空间上显示至少一个增强现实对象,获得被指定给至少一个增强现实对象的锚定属性信息,基于锚定属性信息根据用户的运动来标识锚定到至少一个增强现实对象的内容的锚定类型,以及控制显示器显示表示内容的锚定类型的视觉效果。
根据实施例,至少一个处理器还可以被配置为控制显示器以与表示另一锚定类型的视觉效果不同地显示表示所识别的锚定类型的视觉效果,以允许用户将所识别的锚定类型与另一锚定类型区分开。
根据实施例,至少一个处理器还可以被配置为:当至少一个增强现实对象的属性改变时,根据改变的属性识别另一锚定类型的改变,并且控制显示器显示表示内容的改变的其他锚定类型的另一视觉效果。
根据实施例,至少一个处理器还可以被配置为控制显示器响应于用户的运动而移动和显示至少一个增强现实对象以将至少一个增强现实对象与增强现实空间相匹配,响应于用户的运动而确定匹配位置,将增强现实对象与在所确定的匹配位置中显示在增强现实空间上的与真实周围环境相对应的图像相匹配,并且如果增强现实对象的锚定类型改变,控制所述显示器以显示表示改变的锚定类型的视觉效果。
根据实施例,至少一个处理器还可以被配置为:当锚定类型是空间锚定时,控制显示器在与增强现实对象重叠或相邻的同时,在增强现实空间的指定位置中固定和显示对其应用了表示空间锚定的视觉效果的内容。
根据实施例,至少一个处理器还可以被配置为:当锚定类型是手锚定类型时,控制显示器在与增强现实对象重叠或相邻时,根据用户的手相对于用户的头部的运动来移动并显示应用了表示手锚定类型的视觉效果的内容。
根据实施例,至少一个处理器还可以被配置为:当锚定类型是头部锚定时,控制显示器在与增强现实对象重叠或相邻时,根据用户的头部的运动来移动并显示应用表示头部锚定的视觉效果的内容。
根据实施例,至少一个处理器还可以被配置为:当锚定类型是身体锚定时,控制显示器在与增强现实对象重叠或相邻时,根据用户的身体的运动来移动并显示应用了表示身体锚定的视觉效果的内容。可以在与用户的身体保持预定距离的同时移动内容。
根据实施例,至少一个处理器还可以被配置为:当锚定类型是对象锚定时,控制显示器显示应用了表示对象锚定的视觉效果的内容,同时保持距增强现实对象的指定距离,并且根据用户的运动移动和显示内容。
根据实施例,至少一个处理器还可以被配置为:当在增强现实空间上显示多个增强现实对象时,控制显示器显示应用了表示分别用于多个增强现实对象的锚定类型的视觉效果的内容中的每一个,识别多个增强现实对象之间的关联并对彼此相关联的对象进行分类,并且控制显示器显示表示与分类的对象的关联的视觉效果。
参考上述附图描述了电子设备中的操作方法。
图4是示出根据实施例的电子设备中的操作方法的示例的视图。
参考图4,根据实施例,在操作401中,电子设备(例如,图1的电子设备101或图2的电子设备200)可以在增强现实空间上显示至少一个增强现实对象。电子设备可以在增强现实空间上显示与由相机模块(例如,图1的相机模块180或图2的第一相机211-1或211-2)捕获的真实周围环境相对应的图像。电子设备可以在与图像重叠的同时通过显示器(例如,图1的显示模块160或图2的第一显示器251和第二显示器252)在增强现实空间上显示至少一个虚拟增强现实对象。
在操作403中,电子设备可以获得被指定给至少一个增强现实对象的锚定属性信息。这里,锚定属性信息可以包括关于适用于增强现实对象的锚定类型的标识信息、与要应用的视觉效果相关的信息(例如,颜色、阴影、灰度效果、阴影效果、影响效果或图形元素(标记或符号))、显示位置信息或指示与其他内容的关联的关联信息中的至少一个。
在操作405中,电子设备可以基于锚定属性信息根据用户的运动来标识锚定到至少一个增强现实对象的内容的锚定类型。内容可以与至少一个增强现实对象重叠或相邻地锚定。电子设备可以将锚定到至少一个增强现实对象的内容固定在增强现实空间的指定位置,或者根据用户的运动来移动和显示它。
在操作407中,电子设备可以显示表示内容的锚定类型的视觉效果(例如,颜色、灰度效果、阴影效果、影响效果或图形元素(标记或符号)),以允许用户识别锚定类型。电子设备可以对每个锚定类型应用不同的视觉效果。例如,锚定类型可以包括空间锚定类型、手锚定类型、头部锚定类型、主体锚定类型或物体锚定类型中的至少一种。
参考上面结合图4描述的操作方法详细描述电子设备中的操作方法。
图5是示出根据实施例的电子设备中的操作方法的视图。图6是示出根据实施例的电子设备中的操作方法的示例的视图。
参照图5和图6,根据实施例,在操作501中,电子装置(例如,图1的电子装置101或图2的电子装置200)可以在增强现实空间610上显示增强现实对象611。电子设备可以在增强现实空间610上显示与由相机模块(例如,图1的相机模块180或图2的第一相机211-1或211-2)捕获的真实周围环境相对应的图像620(例如,2D或3D图像)。例如,增强现实对象611可以与包括在图像620中的至少一个对象相关联,并且被显示为与图像620重叠并且与至少一个相关联的对象相邻。
在操作503中,电子装置可以在增强现实对象611上显示通过第一锚定类型(例如,空间锚定类型)锚定的第一内容613。电子设备可以基于指定给增强现实对象611的锚定属性信息来标识要应用于增强现实对象611的第一锚定类型(例如,空间锚定类型)。第一内容613可以与增强现实对象611重叠和相邻地锚定。电子设备可以检测用户的运动,并且根据用户的运动来移动和显示锚定到至少一个增强现实对象611的第一内容613。
在操作505中,电子设备可以向锚定到增强现实对象611的第一内容613显示表示第一锚定类型(例如,空间锚定)的视觉效果。例如,如图6的(b)所示,电子设备可以向第一内容613显示表示第一锚定类型的视觉效果(例如,放大第一颜色效果),以允许用户识别第一锚定类型。
在操作507中,电子设备可以识别在增强现实空间610上显示的增强现实对象611的对象属性是否已经改变。当识别出对象属性已经改变时,电子设备可以执行操作505。如果属性尚未改变,则电子设备可以终止操作。例如,如图6所示,如果电子设备检测到用户的手601并且检测到选择增强现实对象611的用户输入,则电子设备可以标识增强现实对象611的对象属性已经被改变。
在操作509中,如果增强现实对象的属性改变,则电子设备可以在增强现实空间610上显示具有改变的属性的增强现实对象621。电子设备可以检测用户的运动并且基于被指定给增强现实对象621的对象属性信息来标识第二锚定类型(例如,手锚定类型)。例如,如图6所示,增强现实对象611可以是表示用于控制位于增强现实空间610中的事物(例如,TV)的功能的对象(例如,主菜单)。具有改变的属性的增强现实对象621可以是表示用于根据增强现实对象611的执行来控制事物(例如,TV)的至少一个子功能的对象(例如,子菜单)。取决于通过选择增强现实对象611而执行的功能(例如,应用或程序),增强现实对象621可以以各种形式显示。
在操作511中,电子设备可以显示第二内容623,对第二内容623应用了表示被识别为与增强现实对象621重叠和相邻的第二锚定类型的视觉效果。如图6所示,电子设备可以应用与第一锚定类型不同的视觉效果(例如,不同的颜色),以允许用户识别第二锚定类型到第二内容623并显示它。第二内容623可以包括与用户的手部运动相对应的动态手部动画。电子设备可以以与要与第一内容613区分开的第二内容623不同的颜色显示表示第二锚定类型的视觉效果。
参考上面结合图4描述的操作方法详细描述电子设备中的操作方法。
图7是示出根据实施例的电子设备中的操作方法的示例的视图。
参考图7,根据实施例,电子设备(例如,图1的电子设备101或图2的电子设备200)可以在增强现实空间710上显示与由相机模块(例如,图1的相机模块180或图2的第一相机211-1或211-2)捕获的真实周围环境相对应的图像720(例如,2D或3D图像)和虚拟增强现实对象711,如图7的(a)所示。例如,增强现实对象711可以与包括在图像720中的至少一个对象相关联,并且通过与图像620重叠并且与至少一个相关联的对象相邻的显示器(例如,图1的显示模块160或图2的第一显示器251和第二显示器252)显示在增强现实空间上。
根据实施例,如果发生与锚定相关的事件,则电子设备可以基于指定给增强现实对象711的锚定属性信息来标识锚定类型(例如,头部锚定类型),如图7的(b)所示,并且如果检测到用户的运动(例如,头部运动),则显示已经将表示所标识的锚定类型的视觉效果应用于增强现实对象711的第一内容721。第一内容721可以被显示为与增强现实对象711重叠和相邻。
根据实施例,如图7的(c)所示,电子装置可以检测用于将第一内容721与对应于真实周围环境的图像720匹配的用户交互(例如,手701的运动),并根据用户交互确定图像720中的匹配位置。如图7的(d)所示,电子设备可以将增强现实对象711移动到匹配位置,将增强现实对象711与图像720匹配并显示它,使得增强现实对象711被视为与匹配位置中的真实周围环境匹配。这里,在增强现实对象711中,当通过用户交互改变对象属性时,也可以改变应用于对象的锚定类型。例如,如图7的(c)和(d)所示,电子设备可以显示由第一锚定类型(例如,头部锚定类型)锚定的第一内容721,以在移动和匹配增强现实对象711时保持。作为另一示例,如图7的(c)和(d)所示,当移动和匹配增强现实对象711时,电子设备可以显示增强现实对象711,当通过第一锚定类型(例如,头部锚定类型)锚定的第一内容721被移除时,增强现实对象711已经被解除锚定。作为另一示例,如图7的(c)和(d)所示,当移动和匹配增强现实对象711时,电子设备可以显示由根据增强现实对象711的对象属性的变化而改变的第二锚定类型(例如,空间锚定类型)锚定的第二内容723。
电子装置可以应用表示通过将增强现实对象711匹配到与真实周围环境相对应的图像720而改变的锚定类型(例如,空间锚定类型)的视觉效果,并显示第二内容723。电子设备可以与应用于第一内容721的视觉效果不同地(例如,以不同的颜色)显示应用于第二内容723的视觉效果。
图8是示出根据实施例的电子设备中的操作方法的流程图。图9A和图9B是示出根据实施例的电子设备中的操作方法的示例的视图。
参照图8、图9A和图9B,在操作801中,根据实施例,电子设备(例如,图1的电子设备101或图2的电子设备200)可以在增强现实空间上显示与由相机模块(例如,图1的相机模块180或图2的第一相机211-1或211-2)捕获的真实周围环境相对应的图像(例如,2D或3D图像)和多个增强现实对象911、912、913、914和915。
在操作803,电子设备可以识别与针对多个增强现实对象911、912、913、914和915的锚定相关的事件的发生。如果事件被识别为发生,则电子设备可以执行操作805,否则执行操作807。
在操作805中,电子设备可以显示已经应用了表示多个增强现实对象911、913、915、917和919的相应锚定类型的视觉效果的内容921、923、925、927和929。内容921、923、925、927和929可以分别与增强现实对象911、913、915、917和919重叠和相邻地显示。可以针对内容921、923、925、927和929各自识别的锚定类型将不同的视觉效果应用于内容921、923、925、927和929。例如,电子设备可以通过将相同的锚定类型(例如,空间锚定)应用于多个增强现实对象911、913、915、917和919来显示视觉效果。例如,如图9A所示,电子设备可以显示已经将视觉效果应用于存在于用户903的视场区域中的对象911a和913a的内容921a和923a中的每一个。当用户903相对于与增强现实空间上显示的真实事物相对应的对象901在左/右方向905上移动(例如,头部运动)时,可以改变视场区域。如果视场区域改变,则电子设备可以显示已经将视觉效果应用于改变的视场区域中存在的对象911b和913b或911c和913c的内容921b和923b或921c和923c中的每一个。电子设备可以应用这样的效果,如同当视场区域根据用户的运动(例如,移动到不同的位置或头部运动)而改变时,在改变之前用于在视场区域中显示的内容921a和923a不显示或消失(例如,透明地显示或显示内容以在与用户的运动相反的方向上淡出)。
在操作807,电子设备可以检测用户在视场区域中的运动,并且识别用户在多个增强现实对象911、913、915、917和919中的第一对象911上的运动是否保持指定时间(例如,2至3秒)。如果用户的运动被识别为在指定时间内保持,则电子设备可以执行操作809,否则执行操作811。
在操作809,电子设备可以根据用户的运动识别在多个增强现实对象911、913、915、917和919中是否存在锚定类型已经改变的对象。如果识别出锚定类型已经改变的对象,则电子装置可以执行操作811,否则执行操作807。
在操作811中,电子设备可以识别在多个增强现实对象911、913、915、917和919中已经改变了特定增强现实对象(在下文中,作为示例,第一对象911)的锚定类型。电子设备可以将表示改变的锚定类型(例如,头部锚定类型)的视觉效果应用于锚定到第一对象911的第一内容921并显示它。
在操作813中,电子设备可以识别多个增强现实对象911、913、915、917和919之间的关联。电子设备可以对彼此相关联的内容进行分组和分类,并将包括在同一组中的内容相关联,并应用表示该关联的视觉效果931和941(例如,显示连接线、内容分组或相同的符号(或标记)),并显示它们。电子设备可以基于包括在关于多个增强现实对象911、913、915、917和919中的每一个的锚定标识信息中的关联信息来标识关联,或者针对每个锚定类型单独地标识关联。
在操作815中,电子装置可以识别是否发生与解锚定相关的事件。如果与解锚定相关的事件被识别为发生,则电子设备可以终止操作,否则执行操作807,重复用于根据用户的运动将视觉效果应用于锚定到对象的内容的操作。
图10A、图10B、图10C、图10D和图10E是示出根据实施例的电子设备中的操作方法的示例的视图。
参考图10A,根据实施例,当要应用于在增强现实空间上显示的增强现实对象1011的锚定类型是如图10A的(a)、(b)和(c)所示的头部锚定类型时,电子设备200(例如,图1的电子设备101或图2的电子设备200)可以根据用户的头部1001的运动来移动和显示与增强现实对象1011重叠和相邻锚定的内容1021。电子设备200可以将表示头部锚定类型的视觉效果应用于内容1021并显示它,以允许用户识别头部锚定类型。电子设备200可以显示内容1021以不离开用户的视场区域1031。
参考图10B,根据实施例,当要应用于在增强现实空间上显示的增强现实对象1011的锚定类型是手锚定类型时,电子设备200可以根据用户的手1003相对于用户的头部1001的运动来移动和显示与增强现实对象1011重叠和相邻锚定的内容1023。电子设备200可以将表示手锚定类型的视觉效果应用于内容1023并显示它,以允许用户识别手锚定类型。如图10B的(a)所示,电子设备200可以检测用户的手1003,并且如果保持预定时间,则通过用户的手1003的运动来识别手锚定类型。如图10B的(b)所示,在检测到用户的手1003在视场区域1031内的运动时,电子设备可以响应于手部运动而移动并显示内容1023。如图10B的(c)所示,在检测到用户的手1003离开视场区域时,电子设备可以控制显示模块160应用如同内容从视场区域消失一样的效果,并将内容显示为透明或消失。如果用户的手1003返回到视场区域1031中,则电子设备可以应用如同内容1023返回出现的效果或者再次显示内容1023。
参考图10C,根据实施例,当要应用于在增强现实空间上显示的增强现实对象1011的锚定类型是空间锚定类型时,电子设备200可以将与增强现实对象1011重叠和相邻锚定的内容1025固定并显示在增强现实空间的指定位置。这里,如图10C的(a)、(b)和(c)所示,内容1025被固定并显示在指定位置,而不根据用户的运动而移动。电子设备200可以应用表示空间锚定类型的视觉效果,以允许用户识别空间锚定到内容1025并显示它。
参考图10D,根据实施例,当要应用于在增强现实空间上显示的增强现实对象1011的锚定类型是对象锚定类型时,电子设备200可以显示锚定以保持与增强现实对象1011相邻的预定距离的内容1027。如图10D的(a)、(b)和(c)所示,电子设备可以根据用户的运动来移动和显示内容1027,同时在增强现实对象1011固定但不移动的情况下保持距增强现实对象1011的预定距离。电子设备200可以根据用户的运动来移动(或旋转)并提供内容1027,使得在视场区域1031内始终观看用户。电子设备200可以应用表示对象锚定类型的视觉效果,以允许用户识别到内容1027的对象锚定并显示它。
参考图10E,根据实施例,当要应用于在增强现实空间上显示的增强现实对象1011的锚定类型是身体锚定类型时,电子设备200可以根据用户的身体的运动来移动和显示与增强现实对象1011重叠和相邻锚定的内容1029,同时保持距用户的身体的预定距离,如图10E的(a)、(b)和(c)所示。电子设备200可以将表示身体锚定类型的视觉效果应用于内容1029并显示它,以允许用户识别身体锚定类型。
根据实施例,一种用于在电子设备(例如,图1和图2的电子设备101)中操作的方法可以包括控制电子设备的显示器(例如,图1的显示模块160或图2的显示器251和显示器252)在增强现实空间上显示至少一个增强现实对象,获得指定给至少一个增强现实对象的锚定属性信息,基于锚定属性信息,根据用户的运动来标识锚定到至少一个增强现实对象的内容的锚定类型,以及控制电子设备的显示器显示表示内容的锚定类型的视觉效果。
根据实施例,表示锚定类型的视觉效果可以与设置为另一锚定类型的视觉效果不同地设置。
根据实施例,该方法还可以包括:当至少一个增强现实对象的属性被改变时,根据改变的属性来标识另一锚定类型的改变,并且控制显示器显示表示内容的改变的其他锚定类型的另一视觉效果。
根据实施例,该方法还可以包括:显示器响应于用户的运动而移动和显示至少一个增强现实对象以将至少一个增强现实对象与增强现实空间匹配,响应于用户的运动而确定匹配位置,将增强现实对象与在所确定的匹配位置中显示在增强现实空间上的与真实周围环境相对应的图像匹配,并且如果增强现实对象的锚定类型改变,则确定至少一个增强现实对象的锚定类型。控制所述显示器以显示表示改变的锚定类型的视觉效果。
根据实施例,控制显示器显示表示锚定类型的视觉效果可以包括:当锚定类型是空间锚定时,控制显示器在增强现实空间的指定位置中固定和显示表示空间锚定的视觉效果被应用于的内容,同时与增强现实对象重叠或相邻。
根据实施例,控制显示器以显示表示锚定类型的视觉效果可以包括:当锚定类型是手锚定类型时,根据用户的手相对于用户的头部在与增强现实对象重叠或相邻时的运动,控制显示器移动并显示表示手锚定类型的视觉效果被应用到的内容,并且当锚定类型是头部锚定时,控制显示器移动并显示表示头部锚定的视觉效果被应用到的内容。根据所述用户的头部的运动,同时与所述增强现实对象重叠或相邻。
根据实施例,控制显示器以显示表示锚定类型的视觉效果可以包括:当锚定类型是身体锚定时,控制显示器在与增强现实对象重叠或相邻时根据用户的身体的运动来移动并显示表示身体锚定的视觉效果被应用到的内容。可以在与用户的身体保持预定距离的同时移动内容。
根据实施例,控制显示器以显示表示锚定类型的视觉效果可以包括:当锚定类型是对象锚定时,控制显示器以显示被应用表示对象锚定的视觉效果的内容,同时保持距增强现实对象的指定距离,并且根据用户的运动来移动和显示内容。
根据实施例,该方法还可以包括:当在增强现实空间上显示多个增强现实对象时,控制显示器显示应用了表示分别用于多个增强现实对象的锚定类型的视觉效果的内容中的每一个,标识多个增强现实对象之间的关联并对彼此相关联的对象进行分类,以及控制显示器显示表示与分类的对象的关联的视觉效果。
根据实施例,可以提供一种存储包括指令的程序的非暂时性存储介质,所述指令当由电子设备的处理器执行时,使得电子设备能够控制电子设备的显示器在增强现实空间上显示至少一个增强现实对象,获得指定给至少一个增强现实对象的锚定属性信息,基于锚定属性信息根据用户的运动识别锚定到至少一个增强现实对象的内容的锚定类型,以及控制电子设备的显示器显示表示内容的锚定类型的视觉效果。
本文公开的实施例是为了描述和理解所公开的技术而提出的,并且不限制本公开的范围。因此,本公开的范围应被解释为包括基于本公开的技术精神的所有改变或另一实施例。
根据本公开的各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可以包括例如便携式通信设备(例如,智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的实施例,电子装置不限于上述那些。
应当理解,本公开的各种实施例和其中使用的术语并不旨在将本文阐述的技术特征限制于特定实施例,并且包括相应实施例的各种改变、等同物或替换。关于附图的描述,类似的附图标记可以用于指代类似或相关的元件。应当理解,除非相关上下文另有明确说明,否则对应于项目的名词的单数形式可以包括一个或多个事物。如本文所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”之类的短语中的每一个可以包括在相应的一个短语中一起列举的项目的所有可能组合。如本文所使用的,诸如“第一”和“第二”或“第一”和“第二”的术语可以用于简单地将相应的组件与另一个组件区分开,并且不在其他方面(例如,重要性或顺序)限制组件。应当理解,如果元件(例如,第一元件)在有或没有术语“可操作地”或“通信地”的情况下被称为“与另一元件(例如,第二元件)耦合”、“耦合到另一元件”、“与另一元件连接”或“连接到另一元件”,则意味着该元件可以直接(例如,有线地)、无线地或经由第三元件与另一元件耦合。
如本文所使用的,术语“模块”可以包括以硬件、软件或固件实现的单元,并且可以与其他术语(例如,“逻辑”、“逻辑块”、“部件”或“电路”)互换使用。模块可以是适于执行一个或多个功能的单个集成部件或其最小单元或部分。例如,根据实施例,模块可以以专用集成电路(ASIC)的形式实现。
本文阐述的各种实施例可以被实现为包括存储在机器(例如,电子设备101)可读的存储介质(例如,内部存储器136或外部存储器138)中的一个或多个指令的软件(例如,程序140)。例如,机器(例如,电子装置101)的处理器(例如,处理器120)可以调用存储在存储介质中的一个或多个指令中的至少一个,并且在处理器的控制下使用或不使用一个或多个其他组件的情况下执行它。这允许操作机器以根据所调用的至少一个指令执行至少一个功能。一个或多个指令可以包括由编译器生成的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。其中,术语“非暂时性”简单地意味着存储介质是有形设备,并且不包括信号(例如,电磁波),但是该术语不区分数据半永久地存储在存储介质中的位置和数据临时存储在存储介质中的位置。
根据实施例,可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为商品在卖方和买方之间交易。计算机程序产品可以以机器可读存储介质(例如,光盘只读存储器(CD-ROM))的形式分布,或者经由应用商店(例如,PlayStoreTM)在线分布(例如,下载或上传),或者直接在两个用户设备(例如,智能电话)之间分布(例如,下载或上传)。如果在线分发,则计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质中,诸如制造商服务器的存储器、应用商店的服务器或中继服务器。
根据各种实施例,上述组件中的每个组件(例如,模块或程序)可以包括单个实体或多个实体。多个实体中的一些实体可以单独地设置在不同的部件中。根据各种实施例,可以省略上述组件中的一个或多个,或者可以添加一个或多个其他组件。替代地或附加地,多个组件(例如,模块或程序)可以集成到单个组件中。在这种情况下,根据各种实施例,集成组件仍然可以以与在集成之前由多个组件中的对应组件执行的方式相同或相似的方式执行多个组件中的每个组件的一个或多个功能。根据各种实施例,由模块、程序或另一组件执行的操作可以顺序地、并行地、重复地或启发式地执行,或者操作中的一个或多个可以以不同的顺序执行或省略,或者可以添加一个或多个其他操作。

Claims (15)

1.一种电子设备(101、200),包括:
存储器(130);
显示器(160、251、252);以及
至少一个处理器(120),与所述存储器和所述显示器可操作地连接,
其中,所述至少一个处理器被配置为:
控制所述显示器在增强现实空间上显示至少一个增强现实对象,
获得被指定给所述至少一个增强现实对象的锚定属性信息,
基于所述锚定属性信息,根据用户的运动来标识锚定到所述至少一个增强现实对象的内容的锚定类型,以及
控制所述显示器显示表示所述内容的所述锚定类型的视觉效果。
2.根据权利要求1所述的电子设备,其中,所述至少一个处理器还被配置为:
控制所述显示器以与表示另一锚定类型的视觉效果不同地显示表示所标识的锚定类型的视觉效果,以允许所述用户将所标识的锚定类型与所述另一锚定类型区分开,
当所述至少一个增强现实对象的属性被改变时,根据改变的属性来标识另一锚定类型的改变,以及
控制所述显示器显示另一视觉效果,所述另一视觉效果表示对所述内容的改变的所述另一锚定类型。
3.根据权利要求1或2所述的电子设备,其中,所述至少一个处理器还被配置为:
控制所述显示器响应于所述用户的运动而移动和显示所述至少一个增强现实对象,以将所述至少一个增强现实对象与所述增强现实空间匹配,
响应于所述用户的运动确定匹配位置,
在所确定的匹配位置中将所述增强现实对象与在所述增强现实空间上显示的与真实周围环境相对应的图像相匹配,以及
如果所述增强现实对象的锚定类型被改变,则控制所述显示器显示表示改变的锚定类型的视觉效果。
4.根据权利要求1至3中任一项所述的电子设备,其中,所述至少一个处理器还被配置为:
当所述锚定类型是空间锚定时,控制所述显示器在所述增强现实空间的指定位置中固定和显示应用了表示所述空间锚定的视觉效果的内容,同时与所述增强现实对象重叠或相邻。
5.根据权利要求1至4中任一项所述的电子设备,其中,所述至少一个处理器还被配置为:
当所述锚定类型是手锚定类型时,控制所述显示器在与所述增强现实对象重叠或相邻时根据所述用户的手相对于所述用户的头部的运动来移动并显示应用了表示所述手锚定类型的视觉效果的内容,
当所述锚定类型是头部锚定时,控制所述显示器在与所述增强现实对象重叠或相邻时,根据所述用户的头部的运动来移动并显示应用了表示所述头部锚定的视觉效果的内容,以及
当所述锚定类型是身体锚定时,控制所述显示器在与所述增强现实对象重叠或相邻时,根据所述用户的身体的运动来移动并显示应用了表示所述身体锚定的视觉效果的内容,以及
其中,所述内容在与所述用户的身体保持预定距离的同时被移动。
6.根据权利要求1至5中任一项所述的电子设备,其中,所述至少一个处理器还被配置为:
当所述锚定类型是对象锚定时,控制所述显示器在保持距所述增强现实对象的指定距离的同时显示应用了表示所述对象锚定的视觉效果的内容,并且根据所述用户的运动来移动和显示所述内容。
7.根据权利要求1至6中任一项所述的电子设备,其中,所述至少一个处理器还被配置为:
当在所述增强现实空间上显示多个增强现实对象时,控制所述显示器显示应用了表示分别用于所述多个增强现实对象的锚定类型的视觉效果的内容中的每一个,
标识所述多个增强现实对象之间的关联并对彼此相关联的对象进行分类,以及
控制所述显示器显示表示与所分类的对象的关联的视觉效果。
8.一种用于在电子设备(101,200)中操作的方法,所述方法包括:
控制所述电子设备的显示器(160、251、252)在增强现实空间上显示至少一个增强现实对象;
获得被指定给所述至少一个增强现实对象的锚定属性信息;
基于所述锚定属性信息,根据用户的运动来标识锚定到所述至少一个增强现实对象的内容的锚定类型;以及
控制所述显示器显示表示所述内容的所述锚定类型的视觉效果。
9.根据权利要求8所述的方法,还包括:
当所述至少一个增强现实对象的属性被改变时,根据改变的属性来标识另一锚定类型的改变;以及
控制所述显示器显示另一视觉效果,所述另一视觉效果表示所述内容的改变的所述另一锚定类型。
10.根据权利要求8或9所述的方法,还包括:
响应于所述用户的运动,控制所述显示器移动并显示所述至少一个增强现实对象,以将所述至少一个增强现实对象与所述增强现实空间相匹配;
响应于所述用户的运动确定匹配位置;
在所确定的匹配位置中将所述增强现实对象与在所述增强现实空间上显示的与真实周围环境相对应的图像进行匹配;以及
如果所述增强现实对象的锚定类型被改变,则控制所述显示器显示表示改变的锚定类型的视觉效果。
11.根据权利要求8至10中任一项所述的方法,其中,控制所述显示器显示表示所述锚定类型的所述视觉效果包括:
当所述锚定类型是空间锚定时,控制所述显示器在与所述增强现实对象重叠或相邻的同时,在所述增强现实空间的指定位置中固定和显示应用了表示所述空间锚定的视觉效果的内容。
12.根据权利要求8至11中任一项所述的方法,其中,控制所述显示器显示表示所述锚定类型的所述视觉效果包括:
当所述锚定类型是手锚定类型时,控制所述显示器在与所述增强现实对象重叠或相邻时根据所述用户的手相对于所述用户的头部的运动来移动并显示应用了表示所述手锚定类型的视觉效果的内容;
当所述锚定类型是头部锚定时,控制所述显示器在与所述增强现实对象重叠或相邻时根据所述用户的头部的运动来移动并显示应用了表示所述头部锚定的视觉效果的内容;以及
当所述锚定类型是身体锚定时,控制所述显示器在与所述增强现实对象重叠或相邻时根据所述用户的身体的运动来移动并显示应用了表示所述身体锚定的视觉效果的内容,以及
其中,所述内容在与所述用户的身体保持预定距离的同时被移动。
13.根据权利要求8至12中任一项所述的方法,其中,控制所述显示器显示表示所述锚定类型的所述视觉效果包括:
当所述锚定类型是对象锚定时,控制所述显示器在保持距所述增强现实对象的指定距离的同时显示应用了表示所述对象锚定的视觉效果的内容,并且根据所述用户的运动来移动和显示所述内容。
14.根据权利要求8至13中任一项所述的方法,还包括:
当在所述增强现实空间上显示多个增强现实对象时,控制所述显示器显示应用了表示分别用于所述多个增强现实对象的锚定类型的视觉效果的内容中的每一个;
标识所述多个增强现实对象之间的关联并对彼此相关联的对象进行分类;以及
控制所述显示器显示表示与所分类的对象的关联的视觉效果。
15.一种存储程序的非暂时性存储介质,所述程序包括指令,所述指令在由电子设备(101、200)的处理器(120)执行时使得所述电子设备能够:
控制所述电子设备的显示器(160、251、252)在增强现实空间上显示至少一个增强现实对象;
获得被指定给所述至少一个增强现实对象的锚定属性信息;
基于所述锚定属性信息,根据用户的运动来标识锚定到所述至少一个增强现实对象的内容的锚定类型;以及
控制所述显示器显示表示所述内容的所述锚定类型的视觉效果。
CN202280075971.5A 2021-11-17 2022-11-16 用于锚定增强现实对象的电子设备和方法 Pending CN118251643A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0158812 2021-11-17
KR1020210158812A KR20230072256A (ko) 2021-11-17 2021-11-17 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
PCT/KR2022/018078 WO2023090846A1 (ko) 2021-11-17 2022-11-16 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
CN118251643A true CN118251643A (zh) 2024-06-25

Family

ID=86323815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280075971.5A Pending CN118251643A (zh) 2021-11-17 2022-11-16 用于锚定增强现实对象的电子设备和方法

Country Status (3)

Country Link
US (1) US20230154060A1 (zh)
EP (1) EP4372527A1 (zh)
CN (1) CN118251643A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor

Also Published As

Publication number Publication date
EP4372527A1 (en) 2024-05-22
US20230154060A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
US11914835B2 (en) Method for displaying user interface and electronic device therefor
US20130328763A1 (en) Multiple sensor gesture recognition
US20230199328A1 (en) Method of removing interference and electronic device performing the method
KR20220062938A (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
US20240281110A1 (en) Electronic device for displaying icon, its operation method, and non-transitory storage medium
EP4156083A1 (en) Method and apparatus for displaying virtual objects in different brightnesses
EP4372527A1 (en) Electronic device and method for anchoring augmented reality object
US12050726B2 (en) Augmented reality device for changing input mode and method thereof
US12056416B2 (en) Augmented reality device and electronic device interacting with augmented reality device
KR20230088100A (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
KR20230072256A (ko) 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
US20240054694A1 (en) Electronic device for placing object according to space in augmented reality and operation method of electronic device
US20240045943A1 (en) Apparatus and method for authenticating user in augmented reality
US20240303949A1 (en) Method for providing user interface and wearable electronic device for supporting the same
US20240054740A1 (en) Augmented reality device and electronic device interacting with augmented reality device
US20240119683A1 (en) Electronic device and method for providing ar information using watch face image
EP4390644A1 (en) Wearable device that groups and provides plurality of application execution screens and method for controlling same
US11927756B2 (en) Method for providing augmented reality image and head mounted display device supporting the same
US20240048668A1 (en) Electronic device for supporting various communications during video call, and operating method therefor
US20240104695A1 (en) Electronic device for controlling resolution of each of plurality of areas included in image acquired from camera and method thereof
US20240087220A1 (en) Electronic device and method of providing content sharing based on object
US20240107251A1 (en) Electronic device for changing audio signal based on information related to visual object and method thereof
US20240078069A1 (en) Electronic device and method for controlling display of at least one external object among one or more external objects
KR20240072880A (ko) 가상 현실 공간 상에 가상 객체를 제공하기 위한 전자 장치 및 방법
KR20240056365A (ko) 웨어러블 전자 장치의 위치를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination