CN109471522A - 用于在虚拟现实中控制指示器的方法和电子设备 - Google Patents

用于在虚拟现实中控制指示器的方法和电子设备 Download PDF

Info

Publication number
CN109471522A
CN109471522A CN201811051914.5A CN201811051914A CN109471522A CN 109471522 A CN109471522 A CN 109471522A CN 201811051914 A CN201811051914 A CN 201811051914A CN 109471522 A CN109471522 A CN 109471522A
Authority
CN
China
Prior art keywords
electronic equipment
reference position
display
control unit
peripheral control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811051914.5A
Other languages
English (en)
Other versions
CN109471522B (zh
Inventor
李宁必
金铉埈
南秉勋
俞政在
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109471522A publication Critical patent/CN109471522A/zh
Application granted granted Critical
Publication of CN109471522B publication Critical patent/CN109471522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了用于在虚拟现实(VR)中控制指示器的电子设备。该电子设备包括显示器、通信电路、与显示器和通信电路电连接的处理器、以及与处理器电连接的存储器，其中，存储器可以存储指令，所述指令使得处理器能够：通过通信电路从外部控制器接收控制信号，至少基于所接收的控制信号识别方向，确定通过显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置，并且控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。

Description

用于在虚拟现实中控制指示器的方法和电子设备
技术领域
本公开涉及用于通过外部控制器在虚拟现实屏幕上控制指示器(pointer)的方法和电子设备。
背景技术
通常，虚拟现实(VR)是指由计算机图形创建的类似于真实生活环境的环境或情景，并且意味着允许人类通过他的感觉器官感觉到它、就像他与它交互一样的界面。用户可以通过设备操纵实时地与虚拟现实互操作，并且可以具有与真实世界中的感官体验类似的感官体验。
通过支持虚拟现实服务的电子设备，可以在诸如教育、游戏、导航、广告或博客(blog)服务的各种服务中容易地或经常地遇到这样的虚拟现实技术。例如，电子设备可以将一个屏幕分成左手部分和右手部分，并且在屏幕的左手部分和右手部分上分别显示与左眼对应的图像和与右眼对应的图像。正在开发可耦合显示器的(display-couplable)头戴式设备(HMD)或头戴式显示器(HMD)，其允许用户在全视图模式下观看分屏上显示的图像。当在全视图模式下提供与用户的眼睛相对应的图像时，用户可以接收虚拟现实服务。
提供虚拟现实空间的电子设备可以指定(指向)虚拟现实空间内的特定点，或者使用HMD设备或与HMD设备交互工作(interwork)的外部控制器(例如，手动控制器)选择或指定在虚拟现实空间中显示的至少一个对象。例如，当穿戴HMD设备的用户转动他的头或者移动或操纵他手中的外部控制器时，可以指定由HMD设备提供的虚拟现实屏幕上的特定点，或者可以指定或选择显示的任何一个对象。
当通过与HMD设备交互工作的外部控制器指向虚拟现实空间中的特定点时，可能相对于用户的视角难以选择特定对象，因为与用户观看虚拟现实空间中的点(例如，虚拟眼睛或虚拟相机)的角度相对应的参考位置不同于与外部控制器相对应的参考位置。例如，在VR空间中具有不同距离的多个对象中的至少一些彼此重叠的情况下，在用户的视场区域(例如，视场(FOV)区域)中未示出的对象可能被选择，或当通过外部控制器移动该点时，指示器可能不会以自然和无缝的方式移动。
以上信息仅作为背景信息呈现，以帮助对本公开的理解。关于上述任何内容是否适用为关于本公开的现有技术，没有做出确定，并且没有断言。
发明内容
本公开的各方面旨在解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开的一个方面是提供一种用于在虚拟现实中控制指示器的方法和电子设备，其可以通过允许在位于距对应于与头戴式设备(HMD)交互工作的外部控制器的参考位置的指定距离内的点处显示指示器，或允许基于位于指定距离内的点来选择对象，而考虑到用户的视角来选择对象或显示指示器。
另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中是清晰的，或者可以通过实践所呈现的实施例来获知。
根据本公开的一方面，提供了一种电子设备。该电子设备包括显示器、通信电路、与显示器和通信电路电连接的至少一个处理器、以及与至少一个处理器电连接的存储器，其中，存储器可以存储指令，所述指令指示至少一个处理器：通过通信电路从外部控制器接收控制信号；至少基于所接收的控制信号识别方向；确定通过显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置；以及控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。
根据本公开的另一方面，提供了一种电子设备。该电子设备包括显示器、通信电路、与显示器和通信电路电连接的至少一个处理器、以及与至少一个处理器电连接的存储器，其中，存储器可以存储指令，所述指令指示至少一个处理器：通过通信电路从外部控制器接收控制信号；至少基于所接收的控制信号识别方向；在虚拟空间中的处于沿所识别的方向源自(oriented from)与外部控制器相关的第一参考位置的线上的位置之中、确定离开与通过显示器显示的虚拟空间的中心点对应的第二参考位置的指定的第一距离范围内的第一位置；以及控制显示器以基于确定的第一位置在虚拟空间的屏幕上显示指示器。
根据本公开的另一方面，提供了一种用于在虚拟现实(VR)中控制指示器的方法。该方法包括：通过电子设备的通信电路从外部控制器接收控制信号；至少基于所接收的控制信号识别方向；确定通过电子设备的显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置；以及控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。
根据本公开的另一方面，提供了一种用于在虚拟现实(VR)中控制指示器的方法。该方法包括：通过电子设备的通信电路从外部控制器接收控制信号；至少基于所接收的控制信号识别方向；在虚拟空间中的处于沿所识别的方向源自与外部控制器相关的第一参考位置的线上的位置之中、确定离开与通过显示器显示的虚拟空间的中心点对应的第二参考位置的指定的第一距离范围内的第一位置；以及控制显示器以基于确定的第一位置在虚拟空间的屏幕上显示指示器。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员将变得清晰。
附图说明
从以下结合附图进行的描述中，本公开的某些实施例的以上和其他方面、特征和优点将更加清晰，在附图中：
图1是示出根据本公开的实施例的包括在虚拟现实(VR)中控制指示器的电子设备的网络环境的视图；
图2是示出根据本公开的实施例的电子设备的透视图；
图3是示出根据本公开的实施例的每个设备的详细结构的框图；
图4是示出根据本公开的实施例的头戴式设备(HMD)的示例的视图；
图5是示出根据本公开的实施例的外部控制器的示例的视图；
图6是示出根据本公开的实施例的在HMD设备上安装电子设备的示例的视图；
图7是示出根据本公开的实施例的在HMD设备上安装电子设备的示例的视图；
图8是示出根据本公开的实施例的用于在VR中控制指示器的过程的流程图；
图9是示出根据本公开的实施例的在HMD设备上显示的屏幕的示例的视图；
图10是示出根据本公开的实施例的电子设备的屏幕模式的视图；
图11是示出根据本公开的实施例的在穿戴HMD设备的同时通过外部控制器控制HMD设备的示例的视图；
图12是示出根据本公开的实施例的用于使用HMD设备控制指示器的方法的视图；
图13是示出根据本公开的实施例的用于使用外部控制器控制指示器的方法的视图；
图14是示出根据本公开的实施例的用于使用外部控制器控制指示器的方法的视图；
图15是示出根据本公开的实施例的使用外部控制器控制指示器的概念的视图；
图16是示出根据本公开的实施例的使用外部控制器控制指示器的概念的视图；
图17是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图；
图18是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图；
图19是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图；
图20是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图；
图21是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图；
图22是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图；
图23是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图；
图24是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图；
图25是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图；
图26是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图；
图27是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图；
图28是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图；
图29是示出根据本公开的实施例的HMD设备的配置的示例的框图；以及
图30是示出根据本公开的实施例的程序模块的框图。
在整个附图中，相同的附图标记将被理解为表示相同的部件、组件和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说清楚的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
应理解，单数形式“一种(a)”、“一种(an)”和“该”包括复数指代物，除非上下文另有明确说明。因此，例如，对“组件表面”的引用包括对一个或多个这样的表面的引用。
如本文所使用的，术语“A或B”或“A和/或B中的至少一个”可以包括A和B的所有可能组合。如本文所使用的，术语“第一”和“第二”可以修饰各种组件，而与重要性和/或顺序无关，并用于将组件与另一组件区分开，而不限制组件。将理解，当元件(例如，第一元件)被称为(可操作地或通信地)与另一元件(例如，第二元件)耦合/耦合到另一元件(例如，第二元件)，或与另一元件(例如，第二元件)连接/连接到另一元件(例如，第二元件)时，它可以直接或通过第三元件与另一元件耦合或连接/耦合或连接到另一元件。术语“多个”可以表示至少两个或更多个。
如本文所使用的，术语“配置为”可以与其他术语互换使用，例如在上下文中以硬件或软件“适合于”、“能够”、“修改为”、“制造为”、“适配为”、“能”、或“设计为”。相反，术语“配置为”可以表示设备可以与另外的设备或部件一起执行操作。例如，术语“配置(或设置)为执行A、B和C的处理器”可以表示可通过运行存储在存储器设备中的一个或多个软件程序来执行操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)或用于执行操作的专用处理器(例如，嵌入式处理器)。
例如，根据本公开的各种实施例的电子设备的示例可以包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、医疗设备、相机或HMD设备中的至少一个。HMD设备可以包括附件型设备(例如，手表、戒指、手环、脚镯、项链、眼镜、隐形眼镜或头戴式设备(HMD)或头戴式显示器(HMD))、织物或衣服集成设备(例如，电子衣服)、身体附着型设备(例如，皮肤垫或纹身)或身体可植入设备中的至少一个。在一些实施例中，智能家用电器的示例可包括电视(TV)、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(如Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(XboxTM、PlayStationTM)、电子词典、电子钥匙、便携式摄录机或电子相框中的至少一个。
根据实施例，电子设备可以包括各种医疗设备(例如，各种各样便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁性资源血管造影(MRA)设备、磁性资源成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声设备)、导航设备、全球导航卫星系统(GNSS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、航海电子设备(例如，航海导航设备或陀螺罗盘)、航空电子设备、安全设备、车辆头部单元、工业或家用机器人、无人机、自动柜员机(ATM)、销售点(POS)设备或物联网(IoT)设备(例如，灯泡、各种传感器、喷水器、火警、恒温器、路灯、烤面包机、健身器材、热水箱、加热器或锅炉)中的至少一种。根据本公开的各种实施例，电子设备的示例可以是家具、建筑物/结构或车辆的一部分或整件、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、气体或电磁波的设备)中的至少一个。根据本公开的各种实施例，电子设备可以是柔性的，或者可以是上面列举的电子设备的组合。根据实施例，电子设备不限于上面列出的实施例。如这里所使用的，术语“用户”可以表示使用电子设备的人或其他设备(例如，人工智能电子设备)。
根据实施例，全向或多向成像相机系统是指可以相对于固定注视点捕捉全部或一些方向上的图像的相机系统。全向图像可以包括观察者在他或她旋转到适当位置并向上或向下看时可以看到的所有视图。全向成像相机系统可以使用配备有特定类型反射镜的相机(例如，双曲面反射镜)或多个相机在所有方向上捕捉图像。相机可以将捕捉的全向图像数据提供给电子设备或服务器。
可以在可穿戴的头戴式电子设备(例如，HMD)上播放或显示通过各种方法产生的图像数据，并且当HMD设备穿戴在用户的身体部分(例如，用户的头部)上时，图像数据可以显示在屏幕上。HMD设备可以感测其加速度、角速度或倾斜的方向，并在屏幕上显示图像数据之中的与感测的信息相对应的观看方向的图像数据(例如，部分图像或对应于视场(FOV)的图像数据)。HMD设备可以改变并显示与用户的动作对应的屏幕。因此，用户可以通过观看改变的屏幕来享受逼真的体验。
如本文所使用的，在电子设备上播放并在屏幕上显示的“图像数据”可以包括下述数据：其中至少图像中的与用户或电子设备的定向对应的部分可以根据定向在屏幕上显示为部分图像。例如，图像数据可以包括虚拟现实(VR)图像、360度图像、全景图像、动画、卡通、静止图像或全景图片中的至少一个。
如本文所使用的，“部分图像”或“FOV区域(或观察的FOV区域)-对应图像”可以表示在图像数据中可显示的整个图像数据之中的、对应于指定方向的显示在屏幕上的至少部分图像。因为“部分图像”或“FOV区域-对应图像”可以表示整个图像数据之中的、显示在电子设备的屏幕上的至少部分图像，所以其也可以被称为“显示的图像”或“显示的数据”。
根据各种实施例，与通过HMD设备(或显示器)显示的屏幕区域(例如，部分图像或对应于FOV区域的图像)的虚拟空间的中心点对应的参考位置(在下面表示为“第二参考位置”)可以对应于观看屏幕区域的用户的眼睛(或相机)的位置。
根据各种实施例，电子设备还可以被解释为与HMD设备连接的外部设备或外部电子设备。提供关于通过HMD设备显示的虚拟现实中的指示器的控制信息的控制器可以通过有线/无线通信装置从HMD设备的外部提供控制信息，并且可以表示为外部控制器以便于描述。
根据各种实施例，可以将通过HMD设备(或显示器)显示的VR空间中的与外部控制器相关的参考位置(下面表示为“第一参考位置”)确定为针对与VR空间的中心点对应的参考位置的相对位置。例如，假设用户的眼睛位于与VR空间的中心点对应的参考位置，与外部控制器相关的参考位置可以是当用户用他的手持有外部控制器时的相对位置。例如，与外部控制器相关的参考位置可以被设置为与VR空间的中心点对应的参考位置的右侧和下侧(当用户用他的右手持有外部控制器时)、或者该参考位置的左侧和下侧(当用户用他的左手持有外部控制器时)。
根据各种实施例，VR空间中可以存在至少一个三维(3D)对象。外部控制器可以作为VR空间中的虚拟对象存在。根据各种实施例，可以在通过沿外部控制器的定向进行光线投射(raycast)而击中3D对象处的位置生成指示器，并且可以将击中的对象处理为已经被选择。用户可以识别所生成的指示器的位置并操纵外部控制器以选择他期望的对象。
根据各种实施例，“光线投射”可以表示通过绘制虚拟线来感测对象的功能，就像沿特定定向发射激光束。根据各种实施例，可以通过从特定参考位置将光线投射功能应用于指定方向来确定在预定距离内击中的对象。
图1是示出根据本公开的实施例的包括电子设备的网络环境100中的电子设备101的框图。
参考图1，网络环境100中的电子设备101可以经由第一网络198(例如，短距离无线通信网络)与电子设备102通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108通信。根据实施例，电子设备101可以经由服务器108与电子设备104通信。根据实施例，电子设备101可以包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块190、用户识别模块196和天线模块197。在一些实施例中，电子设备101可以排除组件中的至少一个或者可以添加另外的组件。在一些实施例中，一些组件可以被实现为集成在一起，例如，就像传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)嵌入在显示设备160(例如，显示器)中。
处理器120可以驱动例如软件(例如，程序140)以控制与处理器120连接的电子设备101的至少一个其他组件(例如，硬件或软件组件)并且可以处理或计算各种数据。处理器120可以在易失性存储器132上加载和处理从另一组件(例如，传感器模块176或通信模块190)接收的命令或数据，并且处理器120可以将得到的数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理单元(CPU)或应用处理器)、以及附加地或替选地，辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器、传感器集线器处理器或通信处理器)独立于主处理器121操作，并且比主处理器121消耗更少的电力，或者被指定用于指派的功能。这里，辅助处理器123可以与主处理器121分开操作或嵌入在主处理器121中。
在这种情况下，在主处理器121处于非活动(例如，睡眠)状态的情况下，辅助处理器123可以替代主处理器121来控制与电子设备101的组件中的至少一个(例如，显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于活动状态(例如，执行应用)的情况下，辅助处理器123可以与主处理器121一起控制上述功能或状态中的至少一些。根据实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可以实现为与辅助处理器123在功能上相关的另一组件(例如，相机模块180或通信模块190)的一部分。存储器130可以存储由电子设备101的至少一个组件(例如，处理器120)使用的各种数据，例如，软件(例如，程序140)以及用于与软件相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
作为存储在存储器130中的软件的程序140可以包括例如操作系统(OS)142、中间件144或应用146。
输入设备150可以是用于从电子设备101的外部(例如，用户)接收命令或数据的设备，该命令或数据将用于电子设备101的组件(例如，处理器120)。输入设备150可以包括例如麦克风、鼠标或键盘。
声音输出设备155可以是用于将声音信号输出到电子设备101的外部的设备。声音输出设备155可以包括例如用于诸如播放多媒体或录制和播放的一般目的的扬声器、以及仅用于呼叫接收目的的接收器。根据实施例，接收器可以与扬声器一体地或分开地形成。
显示设备160可以是用于在视觉上向电子设备101的用户提供信息的设备。显示设备160可以包括例如显示器、全息图设备或投影仪以及用于控制显示器、全息图设备或投影仪的控制电路。根据实施例，显示设备160可以包括能够测量触摸的压力强度的触摸电路或压力传感器。
音频模块170可以将声音转换为电信号，反之亦然。根据实施例，音频模块170可以通过输入设备150获得声音，或者通过声音输出设备155或与电子设备101有线地或无线地连接的外部电子设备(例如，电子设备102(例如，扬声器或耳机)输出声音。
传感器模块176可以生成与电子设备101的内部操作状态(例如，功率或温度)或外部环境状态对应的电信号或数据值。传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、颜色传感器、红外(IR)传感器、生物传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持指定的协议，该协议使得能够与外部电子设备(例如，电子设备102)进行有线或无线连接。根据实施例，接口177可以包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接(connecting)端子178(例如，连接(connection)端子)可以包括连接器，例如，HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)，其能够物理上将电子设备101与外部电子设备(例如，电子设备102)连接。
触觉模块179可以将电信号转换为可由用户通过他的触觉或动觉(kinestheticsensation)识别的机械刺激(例如，振动或运动)或电刺激。触觉模块179可以包括例如电动机、压电元件或电刺激器。
相机模块180可以捕捉静止图像或运动图像。根据实施例，相机模块180可以包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
电源管理模块188可以是用于管理提供给电子设备101的电力的模块。电源管理模块188可以被配置为例如电源管理集成电路(PMIC)的至少一部分。
电池189可以是用于向电子设备101的至少一个组件供电的设备。电池189可以包括例如不可再充电的主(primary)电池、可再充电的二次(secondary)电池、或燃料电池。
通信模块190可以支持在电子设备101和外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立有线或无线通信信道，并且通过所建立的通信信道来执行通信。通信模块190可以包括独立于处理器120(例如，应用处理器)操作的一个或多个通信处理器，并且支持有线或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。无线通信模块192和有线通信模块194中相应的一个可以被用于通过第一网络198(例如，短距离通信网络，如蓝牙(BT)、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，如蜂窝网络、因特网或通信网络(例如，LAN或广域网(WAN))与外部电子设备通信。上面列举的类型的通信模块190可以在单个芯片中实现或者各自在单独的芯片中实现。
根据实施例，无线通信模块192可以使用存储在用户识别模块196中的用户信息来区分和认证通信网络中的电子设备101。
天线模块197可以包括用于向外部发送或从外部接收信号或电力的一个或多个天线。根据实施例，通信模块190(例如，无线通信模块192)可以通过适合于通信方案的天线向外部电子设备发送或从外部电子设备接收信号。
上述组件中的一些可以通过外设间通信方案(例如，总线、通用输入/输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))被连接在一起，在它们之间传递信号(例如，命令或数据)。
根据实施例，可以经由与第二网络199耦合的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。每个电子设备102可以具有与电子设备101相同或不同的类型。根据实施例，在电子设备101上执行的所有或一些操作可以在一个或多个其他外部电子设备上运行。根据实施例，当电子设备101应自动地或在请求时执行特定功能或服务时，电子设备101代替或者除了自己执行功能或服务之外，可以请求外部电子设备101执行与其相关联的至少一些功能。接收请求的外部电子设备可以执行所请求的功能或附加功能，并将执行的结果传送到电子设备101。电子设备101可以通过原样或另外地处理接收的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算、或客户端-服务器计算技术。
图2是示出根据本公开的实施例的电子设备的透视图。
参考图2，在三轴直角坐标系中，“X”、“Y”和“Z”可以分别表示电子设备200(例如，图1的电子设备101)的宽度、长度和高度方向。
电子设备200可以包括外壳201-1。根据实施例，外壳201-1可以由导电和/或非导电构件形成。根据实施例，电子设备200可以包括布置为在外壳201-1的至少一部分中暴露的触摸屏显示器201-2(例如，图1的显示设备160)。根据实施例，触摸屏显示器201-2可以作为包括压力传感器的压力响应触摸屏显示器进行操作。根据实施例，电子设备200可以包括接收器201-3，其被布置在外壳201-1中以输出对方的语音。根据实施例，电子设备200可以包括麦克风设备201-4，其被布置在外壳201-1内部以将用户的语音发送给对方。根据实施例，电子设备200可以包括耳机插孔连接器201-10，其被布置在外壳201-1内部以允许耳机的耳机插孔插入其中。
根据实施例，电子设备200可以包括被布置为在触摸屏显示器201-2中暴露或者通过窗口执行功能而不被暴露以执行电子设备200的各种功能的组件。根据实施例，组件可以包括至少一个传感器模块201-5。传感器模块201-5可以包括例如照度传感器(例如，光学传感器)、接近传感器(例如，光学传感器)、红外(IR)传感器、超声传感器、指纹识别传感器或虹膜识别传感器。根据实施例，组件可以包括相机设备201-6。根据实施例，组件可以包括指示器201-7(例如，发光二极管(LED)设备)，以在视觉上向用户提供关于电子设备的状态信息。根据实施例，组件中的至少一个可以被布置成通过外壳201-1的至少一部分暴露。
根据实施例，电子设备200可以包括布置在麦克风设备201-4的一侧的扬声器设备201-8。根据实施例，电子设备可以包括连接器201-9(例如，图1的连接端子178)，其被布置在麦克风设备201-4的相对侧上以使得能够连接到外部设备。根据实施例，连接器201-9可以是插座型连接器。
根据实施例，开口201-19可以被形成在外壳201-1的至少一部分中以暴露连接器201-9，并且连接器201-9可以被布置在开口201-19中。根据实施例，头型外部连接器可以沿前向或后向方向耦合到连接器201-9。根据实施例，外部连接器可以连接到外部设备。在连接器201-9耦合到外部连接器时，电子设备200可以连接到外部设备。根据实施例，外部设备可以是可连接到电子设备200的各种外部设备。例如，外部设备可以包括音频设备、计算机、充电器、存储器、电风扇或天线(例如，数字多媒体广播天线或频率调制(FM)天线)。
多个电子设备200可以经由有线或无线通信连接在一起并进行操作。例如，智能电话可以与可穿戴设备(例如，HMD设备)耦合以提供内容。例如，智能电话和可穿戴设备(例如，HMD设备)可以耦合在一起并进行操作。
根据实施例，HMD设备可以是靠近用户的眼睛放置的或穿戴在用户的头部上以显示图像的设备。HMD设备可以提供用于提供增强现实(AR)的透视(see-through)功能或用于提供虚拟现实(VR)的闭视(see-closed)功能中的至少一个。透视功能可以表示当在单个视频中实时提供附加信息或图像的同时，通过显示器将实际的外部图像递送到用户的眼睛的功能。闭视功能可以表示在视频中从显示器提供内容的功能。
在下文中，在执行与控制HMD设备的虚拟现实中的指示器有关的操作的描述中，电子设备可以被解释为连接到HMD设备的外部设备或外部电子设备。提供关于通过HMD设备显示的虚拟现实中的指示器的控制信息的控制器可以通过有线/无线通信装置从HMD设备的外部提供控制信息，并且可以表示为外部控制器以便于描述。
图3是示出根据本公开的实施例的每个设备的详细结构的框图。
参考图3，根据实施例，电子设备200(例如，图1的电子设备101)可以与HMD设备310或外部控制器320通信数据，从而与HMD设备310或外部控制器320互操作。
电子设备200可以包括处理器210(例如，图1的处理器120)、存储器220(例如，图1的存储器130)、通信电路230(例如，图1的通信模块190)、电源电路240(例如，图1的电源管理模块188)、电池250(例如，图1的电池189)、存储设备260(例如，图1的内部存储器136和/或外部存储器138)、显示设备270(例如，图1的显示设备160)、传感器280(例如，图1的传感器模块176)和输出设备290(例如，图1的声音输出设备155)。
处理器210可以包括图形处理器和应用处理器。图形处理器可以在显示设备(例如，显示器)270上使虚拟现实(VR)空间可视化。应用处理器可以通过存储在存储器220中的一个或多个指令来执行各种功能。
存储器220可以存储处理器210可以执行的各种指令。电子设备200还可以包括与存储器220分开的存储设备260，例如微安全数字(SD)卡。
通信电路230可以包括无线通信电路(例如，图1的无线通信模块192)和有线通信模块(例如，图1的有线通信模块194)。无线通信可以包括蜂窝通信，其使用例如以下各项中的至少一个：长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。根据实施例，无线通信可以包括例如以下各项中的至少一个：Wi-Fi、光保真(Li-Fi)、蓝牙(BT)、低功率蓝牙(BLE)、zigbee、近场通信(NFC)、磁安全传输(MST)、射频或体域网(BAN)。根据实施例，无线通信可以包括全球导航卫星系统(GNSS)。GNSS可以是例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(以下称“北斗”)或伽利略、或欧洲的基于全球卫星的导航系统。在下文中，术语“GPS”和“GNSS”在本文中可互换使用。有线连接可以包括例如以下各项中的至少一个：通用串行总线(USB)、耳机插孔、高清晰度多媒体接口(HDMI)、推荐标准(RS)-232、电力线通信(PLC)或普通老式电话服务(POTS)。
电源电路240可以是用于管理供应给电子设备200的电力的模块。电源管理模块188可以被配置为例如电源管理集成电路(PMIC)的至少一部分。根据实施例，电源电路可以包括电池充电电路，该电池充电电路可以用于对电池250充电，使得电池250可以被重复使用。
显示设备270可以是用于在视觉上向电子设备200的用户提供信息的设备。显示设备270可以包括例如显示器、全息图设备或投影仪以及用于控制显示器、全息图设备或投影仪的控制电路。根据实施例，显示设备270可以包括能够测量触摸的压力强度的触摸电路或压力传感器。
传感器280可以包括惯性测量单元(IMU)。根据实施例，IMU可以包括加速计、陀螺仪、磁力计和高度计。
输出设备290可以包括例如音频模块，以便可听地向电子设备200的用户提供信息。
HMD设备310可以包括触摸板311(例如，图1的输入设备150)、按钮312(例如，图1的输入设备150)、通信电路313(例如，图1的通信模块190)和传感器314(例如，图1的传感器模块176)。
作为能够从HMD设备310的用户接收数据的输入模块的触摸板311可以采用例如电容、电阻、红外(IR)或超声方案中的至少一种方案。触摸板311还可以包括控制电路。触摸板311还可以包括触觉层并且可以向用户提供触觉反应。
作为能够从HMD设备310的用户接收数据的输入模块的按钮312可以包括例如物理键按钮、光学键按钮、触发器或键区。HMD设备310可以包括多个按钮，例如，主页按钮、取消按钮、上/下按钮和左/右按钮中的任何一个或多个。根据实施例，HMD设备310可以设置多个按钮312的各自的相应的功能。
作为用于与另一电子设备发送或接收数据的模块的通信电路313可以包括无线通信电路和有线通信电路。根据实施例，电子设备200的通信电路230可以适用。
传感器314可以测量由用户做出的HMD设备310的运动，并且可以包括例如IMU。根据实施例，IMU可以包括接近传感器、加速计、陀螺仪、磁力计和高度计。根据实施例，接近传感器可以用于检测穿戴HMD设备310的用户。根据实施例，HMD设备310可以使用通信电路313将由传感器314获得的各种类型的数据发送到电子设备200。
外部控制器320可以包括触摸板321(例如，图1的输入设备150)、按钮322(例如，图1的输入设备150)、通信电路323(例如，图1的通信模块190)、显示设备324(例如，图1的显示设备160)、存储器325(例如，图1的存储器130)、处理器326(例如，图1的处理器120)、存储设备327(例如，图1的存储器130)、电池328(例如，图1的电池189)、传感器329(例如，图1的传感器模块176)、以及麦克风330(例如，图1的输入设备150)。
对于触摸板321，作为从外部控制器320的用户接收数据的模块，根据实施例，HMD设备310的触摸板311或电子设备200的显示设备270可以适用。
按钮322可以是用于从外部控制器320的用户接收数据的模块。根据实施例，外部控制器320可以包括多个按钮322。对于按钮322，例如，HMD设备310的按钮312可以适用。
作为用于与电子设备200或HMD设备310执行数据通信的模块的通信电路323可以包括无线通信电路和有线通信电路。例如，电子设备200的通信电路230可以适用。根据实施例，外部控制器320可以使用通信电路323将由传感器329获得的数据发送到电子设备200。
作为向外部控制器320的用户提供信息的模块的显示设备324可以包括例如发光二极管(LED)。
存储器325可以包括被执行以操作处理器326的各种指令并且可以存储与按钮322对应的预定功能。根据实施例，可以与存储器325分开地添加存储设备327。
在外部控制器320被无线操作的情况下，作为供电的模块的电池328可包括例如可再充电的二次电池。
传感器329可以是能够检测外部控制器320的运动的模块。例如，HMD设备310的传感器314或电子设备200的传感器280可以适用。
麦克风330可以是用于接收各种声音的模块。用户可以通过麦克风330输入语音命令。根据实施例，可以使用通信电路323将麦克风330接收的语音数据发送到电子设备200。
根据实施例，电子设备包括显示器、通信电路、与显示器和通信电路电连接的处理器、以及与处理器电连接的存储器，其中，存储器可以存储指令，所述指令被执行以使得处理器能够：通过通信电路从外部控制器接收控制信号，至少基于所接收的控制信号识别方向，确定通过显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置，并且控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。
根据实施例，存储器可以存储指令，所述指令被执行以控制处理器选择处于从与虚拟空间的中心点相对应的第二参考位置到第一位置的线上的至少一个对象。
根据实施例，存储器可以存储指令，所述指令被执行以控制处理器选择在处于从第二参考位置到第一位置的线上的至少一个对象之中、位于距第二参考位置的最短距离内的对象。
根据实施例，可以通过考虑保持外部控制器的用户的手臂的位置来设置与外部控制器相关的第一参考位置。
根据实施例，存储器可以存储指令，所述指令被执行以控制处理器在朝向第一位置离开与通过显示器显示的屏幕区域的虚拟空间的中心点对应的第二参考位置的指定的第二距离范围内的第二位置处显示指示器。
根据实施例，存储器可以存储指令，所述指令被执行以使得处理器能够基于所选择的对象与第二参考位置之间的距离来控制指示器的显示。
根据实施例，存储器可以存储指令，所述指令被执行以使得处理器能够基于所选择的对象与第二参考位置之间的距离来确定指示器的大小。
根据实施例，存储器可以存储指令，所述指令被执行以控制处理器显示是否选择了至少一个对象。
根据实施例，电子设备包括显示器、通信电路、与显示器和通信电路电连接的处理器、以及与处理器电连接的存储器，其中，存储器可以存储指令，所述指令被执行以使得处理器能够：通过通信电路从外部控制器接收控制信号，至少基于所接收的控制信号识别方向，在虚拟空间中的处于沿所识别的方向源自与外部控制器相关的第一参考位置的线上的位置之中、确定离开与通过显示器显示的虚拟空间的中心点对应的第二参考位置的指定的第一距离范围内的第一位置，并且控制显示器以基于确定的第一位置在虚拟空间的屏幕上显示指示器。
根据实施例，存储器可以存储指令，所述指令被执行以控制处理器选择处于从第二参考位置到第一位置的线上的至少一个对象。
图4是示出根据本公开的实施例的HMD设备的示例的视图。
参考图4，HMD设备310(例如，图3的HMD设备310)可以以各种形式实现以便穿戴在用户的头上。
根据实施例，HMD设备310可以包括用于在视觉上向用户提供VR空间的前盖315、取消键(后退键)312_1、用于控制声音音量的音量键312_2、以及用于用户的输入的触摸板311。用户可以通过穿戴HMD设备310并移动他的头来操纵HMD设备310。根据实施例，VR空间可以包括三维(3D)空间。用户可以从VR空间内的任何位置看到360度方向上的整个空间。根据实施例，电子设备200的显示器可以根据HMD设备310的指向方向通过屏幕提供与用户穿戴的HMD设备310在VR空间中指向的方向相对应的一些区域(例如，部分区域或FOV区域(或观察的FOV区域))的图像。
图5是示出根据本公开的实施例的外部控制器的示例的视图。
参考图5，外部控制器320可以以用户使用他的身体部位(例如，握在手中)操纵的形式实现，例如遥控器。根据实施例，外部控制器320可以包括多个按钮322，其例如包括用于显示显示屏的主页按钮322_1、用于显示当前显示的屏幕的先前屏幕(prior screen)的取消按钮322_2、用于调节声音音量的音量按钮322_3、用于选择指向的显示对象的触发按钮322_4、或者用于用户的输入的触摸板321，如图5所示。
根据实施例，用户可以通过主页按钮322_1和取消按钮322_2改变显示器上的屏幕，通过音量按钮322_3调节所播放的声音的音量，并通过操纵触摸板321移动在VR空间中的用户的FOV区域内显示的指示器或对象。根据实施例，当用户通过移动他手中的外部控制器320来操纵外部控制器320时，在VR空间中指向的位置可以对应于外部控制器320的移动而移动。
根据实施例，图4所示的HMD设备310或图5所示的外部控制器320可以用于执行各种操作，诸如显示电子设备200的显示屏幕(例如，VR空间的FOV区域)，在显示器上移动屏幕或选择用户的FOV区域内的对象，或者移动或删除对象。
图6是示出根据本公开的实施例的HMD设备的透视图。
参考图6，HMD设备600可以包括：主框架610，被配置为可拆卸地与例如智能电话(例如，图2的电子设备200)的电子设备200连接；以及安装件620，与主框架610连接以将主框架610紧固到用户的身体部位。
主框架610可以包括用于控制电子设备200的用户输入模块611、与电子设备200的连接器201-9连接的第一接口单元612、显示位置调节器613、接近传感器614、或与外部电源或另一外部输入设备连接的第二接口单元(未示出)。
根据实施例，用户输入模块611可以包括物理键、物理按钮、触摸键、操纵杆、滚轮键或触摸板中的至少一个。当用户输入模块611是触摸板时，触摸板可以被布置在主框架610的侧表面上。触摸板可以包括控制对象(例如，用于控制声音或图像的图形用户界面(GUI))以表示电子设备200或HMD设备600的功能。
第一接口单元612可以支持HMD设备600以与电子设备200通信。第一接口单元612可以连接到电子设备200的接口单元(例如，通用串行总线(USB)端口)。第一接口单元612可以将从用户输入模块611生成的用户输入信号传送到电子设备200。例如，第一接口单元612可以将从用户输入模块611接收的用户输入信号(例如，触摸输入)发送到电子设备200。电子设备200可以执行与用户输入信号对应的功能。例如，电子设备200可以响应于触摸输入调节音量或播放视频。
接近传感器614可以无接触地(即，无需接触)感测对象的接近以检测对象的位置。例如，在感测到预设感测距离内的对象(例如，用户的身体部位)时，接近传感器614可以将感测到的信号传送到HMD设备600的主控制器。当未能在预定感测距离内感测到对象时，接近传感器614可以不向主控制器发送信号。主控制器可以基于由接近传感器614感测的信号确定用户穿戴了HMD设备600。为了容易地检测HMD设备600是否被穿戴，接近传感器614可以被提供在主框架610内部的上部，以便当用户穿戴HMD设备600时被放置在邻近用户的前额。
尽管这里使用了接近传感器，但是替选地可以使用能够检测HMD设备600是否被穿戴的其他传感器。例如，加速度传感器、陀螺仪传感器、地磁传感器、手势传感器、生物(或生物特征)传感器、触摸传感器、照明(或照度)传感器或抓握传感器中的至少一个或多个可以安装在主框架610中。
主框架610可以被配置为可拆卸地与外部设备(例如，电子设备200)耦合。例如，主框架610可以包括用于容纳电子设备200的空间、结构或空腔。主框架610形成该空间的部分可以包括弹性材料。主框架610中的形成该空间的部分可以至少部分地由柔性材料形成，以取决于要在空间中容纳的各种尺寸的设备来改变空间的尺寸或体积。
可以在主框架610的后表面(内表面)上添加面部接触部分。包括至少一个透镜的透镜组件可以插入面部接触部分中的处于面向用户的眼睛的位置处的部分中。在透镜组件中，显示器或透明/半透明透镜可以与面部接触部分一体地或可拆卸地形成。面部接触部分的一部分可以包括鼻部凹部，该鼻部凹部被成形为架在(seat)用户的鼻子上。
根据实施例，主框架610可以由如塑料的材料形成，以在穿戴时给予用户舒适的感觉并且支撑电子设备200。替选地，主框架610可以由玻璃、陶瓷、金属(例如铝)或金属合金(例如钢、不锈钢、钛或镁合金)中的至少一种材料形成，以得到更好的强度或外观。
安装件620可以穿戴在用户的身体部位上。安装件620可以由弹性带形成。根据实施例，安装件620可以包括眼镜镜腿、头盔或带子。
根据实施例，HMD设备600还可以包括用于紧固与主框架610耦合的电子设备200的盖子630。盖子630可以如钩子那样在物理上，或通过磁体或电磁体耦合到主框架610。盖子630可以防止电子设备200由于用户的运动而从主框架610脱离并且保护电子设备200免受外部冲击。
主框架610和电子设备200的显示器可以彼此面对地耦合在一起。用户可以通过将电子设备200的连接器201-9放入主框架610的第一接口单元612中，并且然后将盖子630装配在其上来将HMD设备600与电子设备200耦合。
根据实施例，外部设备(例如，电源)可连接到的连接器615可以被形成在HMD设备600的主框架610的一侧(例如，底部)。
图7是示出根据本公开的实施例的用户穿戴其上安装有电子设备720(例如，图2的电子设备200或图6的电子设备200)的HMD设备700的示例的视图。
参考图7，用户可以将安装有电子设备720的HMD设备700放在他的头上。用户可以通过HMD设备700的透镜观看电子设备720的显示器的屏幕。
此外，如图7所示，用户可以通过在可穿戴设备700的主框架710的侧表面上提供的触摸板730来控制电子设备720的功能或HMD设备700的功能。根据实施例，在VR模式下的信息显示也可以在例如智能电话或移动电话上、以及在HMD设备(例如，HMD设备700)上实现。
图8是示出根据本公开的实施例的用于在VR中控制指示器的过程的流程图。
参考图8，在操作801中，安装在HMD设备(例如，图3的HMD设备310、图4的HMD设备310、图6的HMD设备600或图7的HMD设备700)上的电子设备(例如，图1的电子设备101、102或104，图2的电子设备200或图3的电子设备200)可以通过通信电路从外部控制器(例如，图3的外部控制器320或图5的外部控制器320)接收指定的控制信号。
在操作803中，电子设备(例如，电子设备的处理器(例如，图1的处理器120或图3的处理器210))可以至少基于接收的控制信号来识别方向。
在操作805中，电子设备可以确定在通过显示器显示的虚拟空间中沿所识别的方向位于距与外部控制器相关的第一参考位置的指定的第一距离(或第一距离范围)内的第一点。
在操作807中，电子设备(例如，电子设备的处理器)可以控制显示器以基于确定的第一点在虚拟空间的屏幕上显示指示器。
在操作809中，电子设备(例如，电子设备的处理器)可以执行控制以选择位于从与通过显示器显示的屏幕区域的虚拟空间的中心点对应的第二参考位置到第一点的线上的至少一个对象。
根据实施例，一种用于操作电子设备的方法可以包括：通过电子设备的通信电路从外部控制器接收控制信号；至少基于所接收的控制信号识别方向；确定通过电子设备的显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置；以及控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。
根据实施例，该方法还可以包括执行控制以选择处于从与虚拟空间的中心点相对应的第二参考位置到第一位置的线上的至少一个对象。
根据实施例，该方法还可以包括执行控制以选择在处于从第二参考位置到第一位置的线上的至少一个对象之中、位于距第二参考位置的最短距离内的对象。
根据实施例，可以通过考虑保持外部控制器的用户的手臂的位置来设置与外部控制器相关的第一参考位置。
根据实施例，该方法还可以包括执行控制以在朝向第一位置离开与通过显示器显示的屏幕区域的虚拟空间的中心点对应的第二参考位置的指定的第二距离范围内的第二位置处显示指示器。
根据实施例，该方法还可以包括基于所选择的对象与第二参考位置之间的距离来控制指示器的显示。
根据实施例，该方法还可以包括基于所选择的对象与第二参考位置之间的距离来确定指示器的大小。
根据实施例，该方法还可以包括执行控制以显示是否选择了至少一个对象。
根据实施例，一种用于操作电子设备的方法可以包括：通过电子设备的通信电路从外部控制器接收控制信号；至少基于所接收的控制信号识别方向；在虚拟空间中的处于沿所识别的方向源自与外部控制器相关的第一参考位置的线上的位置之中、确定离开与通过显示器显示的虚拟空间的中心点对应的第二参考位置的指定的第一距离范围内的第一位置；以及控制电子设备的显示器以基于确定的第一位置在虚拟空间的屏幕上显示指示器。
根据实施例，该方法还可以包括执行控制以选择处于从第二参考位置到第一位置的线上的至少一个对象。
图9是示出根据本公开的实施例的当用户穿戴HMD设备时在HMD设备上显示的屏幕的示例的视图。
参考图9，用户901可以将可穿戴设备的外壳放在她的头上。可穿戴设备可以与电子设备902耦合。用户可以在电子设备902的显示器上显示的虚拟空间上观看屏幕。
电子设备902可以显示虚拟空间的图像。虚拟空间的图像可以包括至少一个对象。用户可以通过以360度转动来识别虚拟空间的图像。用户901可以通过用她的眼睛观察图像来观看VR屏幕(VR screen)。可以通过用户901、电子设备902或HMD设备的运动(偏航、俯仰或滚转)来改变并显示在电子设备902上显示的VR屏幕。
根据实施例，电子设备902的显示器可以在HMD模式下输出屏幕911。HMD模式屏幕911可以是以3D立体图像配置的显示屏幕，并且可以是与对应于电子设备902的指定方向的区域对应的部分图像。例如，当用户901让他的脸朝上时，电子设备902可以相应地向上移动，并且电子设备902可以显示HMD模式屏幕911的屏幕905，屏幕905对应于相对于参考位置的上部区域。
根据实施例，HMD设备或安装在HMD设备上的电子设备902可以感测加速度、角速度或倾斜的方向并在HMD模式屏幕911上显示与感测的信息对应的观看方向的图像数据(例如，部分图像或对应于FOV区域的图像数据)。HMD可以改变并显示与用户的动作对应的屏幕912。因此，用户可以通过观看改变的屏幕来享受逼真的体验。
根据实施例，与通过HMD设备(或显示器)显示的屏幕区域(例如，部分图像或对应于FOV区域的图像)的虚拟空间的中心点对应的参考位置(第二参考位置)可以对应于用户901(或相机)的观看屏幕区域的眼睛的位置。
图10是示出根据本公开的实施例的电子设备的屏幕模式的视图。
参考图10，电子设备1000可以是例如图1的电子设备101、102或104、图2的电子设备200或图3的电子设备200。当电子设备1000在正常模式下操作时，它可以显示一个操作屏幕1010，如图10的上部所示。
根据实施例，当电子设备1000安装在HMD设备上时，它可以在VR模式(例如，HMD模式)下操作，如图10的下部所示。当电子设备1000在VR模式下操作时，可以分开地显示与用户的左眼对应的屏幕1020a和与用户的右眼对应的另一屏幕1020b。在VR模式的屏幕中，一个图像可以被分开显示为两个图像1020a和1020b。
上述电子设备或HMD设备是根据各种实施例的能够显示图像数据的设备的示例，但是本公开的各种实施例不限于此。例如，本公开的各种实施例可以应用于能够显示图像数据的任何类型的设备。
图11是示出根据本公开的实施例的在穿戴HMD设备的同时通过外部控制器控制HMD设备的示例的视图。
参考图11，提供虚拟现实空间的电子设备可以使用HMD设备1101或与HMD设备1101交互工作的外部控制器1102(例如，手动控制器)指定(指向)虚拟现实空间内的特定点或者选择或指定在虚拟现实空间中显示的至少一个对象。例如，当穿戴HMD设备1101的用户移动他的头部或者移动或操纵他手中的外部控制器1102时，可以指定由HMD设备1101提供的虚拟现实屏幕上的特定点，或者可以指定或选择显示的任何一个对象。
图12示出根据本公开的实施例的电子设备(例如，图2的电子设备200)使用HMD设备1210指向用户的观看FOV区域内的特定位置的示例。
在穿戴HMD设备1210的用户操纵HMD设备1210时，电子设备可以指向VR空间1200内的任何位置。根据实施例，电子设备可以基于HMD设备1210的位置或角度(方向)指向VR空间1200中的、HMD设备1210正指向的特定位置。指向的位置可以是HMD设备1210在VR空间1200中正指向的特定位置。根据实施例，VR空间1200可以以球体的形式显示，如图12所示，并且可以在球体的表面上显示图像。
参考图12，向用户显示的VR空间1200的FOV区域1201是由坐标(0,0)、(0,y_FOV)、(x_FOV,0)和(x_FOV,y_FOV)构成的平面，HMD设备1210指向的位置可以是p_head_controller(x,y)。例如，电子设备可以通过操纵指向位置来将HMD设备1210指向在用户的FOV区域1201中显示的多个对象中的一个特定对象。根据实施例，p_head_controller可以对应于用户的FOV区域的中心点。根据实施例，由于VR空间是3D空间，因此用户的FOV区域1201可以以3D形状提供给用户。
根据实施例，电子设备可以控制显示器以在用户的FOV区域1201中的与HMD设备1210指向的位置1220对应的坐标处显示指示器图标。
根据实施例，在穿戴HMD 1210的用户向左/向右或向上/向下移动她的头部的情况下，电子设备可以取决于指向的位置改变用户的FOV区域1201。例如，HMD设备1210指向的位置1220可以是用户的FOV区域1201的中心点(x1,y1)。作为另一示例，电子设备可以使用包括在HMD设备1210中的触摸板1211将在用户的FOV区域1201中显示的指向的位置1220从(x1,y1)移动到(x2,y2)。例如，HMD设备1210指向的位置1220可以不是用户的FOV区域1201的中心点。
图13示出根据本公开的实施例的电子设备(例如，图2的电子设备200)使用外部控制器1350指向用户的观看FOV区域1301内的特定位置的示例。
参考图13，根据实施例，在用户用手中的外部控制器1350操纵外部控制器1350的情况下，电子设备可以至少基于外部控制器1350的定向指向VR空间1300的用户的FOV区域1301中的任何位置。根据实施例，电子设备可以基于外部控制器1350的位置或外部控制器1350定向的角度(方向)指向VR空间1300中的特定位置，如图13所示。例如，特定位置可以是外部控制器1350指向的位置。在电子设备上显示的VR空间1300的用户的FOV区域1301是由坐标(0,0)、(0,y_FOV)、(x_FOV,0)和(x_FOV,y_FOV)构成的平面的情况下，外部控制器1350指向的位置1330可以是p_hand_controller(x,y)。例如，取决于外部控制器1350指示的方向，电子设备可以指向在用户的FOV区域1301中显示的多个对象中的特定对象。
根据实施例，图13所示的用户的FOV区域1301可以与图12所示的用户的FOV区域1201相同。根据实施例，用户的FOV区域1301可以被确定为VR空间1300中的相对于HMD设备1310的位置或角度的至少部分区域。
根据实施例，电子设备可以控制显示器以在用户的FOV区域1301中的与外部控制器1350指向的位置1330对应的坐标处显示指示器(或指示器图标)。
根据实施例，在外部控制器1350的位置或定向改变的情况下，电子设备可以基于外部控制器1350的位置和方向移动指向的位置1330。电子设备可以使用包括在外部控制器1350中的触摸板将在用户的FOV区域1301中显示的指向的位置1330从例如(x2,y2)移动到另一个位置1320(例如，(x1,y1))。根据实施例，电子设备可以在用户的FOV区域1301中的指向的位置1330处显示指示器(或指示器图标)。
根据实施例，电子设备可以通过FOV区域1301显示VR空间1300中的从外部控制器的位置1350到外部控制器1350指向的位置1330的引线的至少一部分，如图13所示。
图14示出根据本公开的实施例的电子设备(例如，图2的电子设备200)使用外部控制器1450指向用户的观看FOV区域1401内的特定位置1430的示例。
根据实施例，在多个对象可以包括在VR空间1400中并且VR空间1400中的用户可观看的区域是用户的FOV区域1401的情况下，电子设备200可以使用外部控制器1450控制显示在用户的FOV区域1401中的多个对象。
参考图14，当用户穿戴HMD设备1410并抓住外部控制器1450以操纵HMD设备1410和/或外部控制器1450时，电子设备可以根据HMD设备1410和/或外部控制器1450的操纵指向VR空间1400中的任何位置。根据实施例，电子设备可以使用HMD设备1410和/或外部控制器1450选择在VR空间1400中显示的对象。例如，在选择媒体对象时，电子设备可以播放所选择的媒体对象。参考图14，外部控制器1450指向的位置1430可以是(x2,y2)，并且HMD设备1410指向的位置1420可以是(x1,y1)。
根据实施例，电子设备可以取决于指向的对象的特性执行各种操纵。例如，在指向的对象是执行对象的情况下，电子设备可以执行、删除、移动对象或对对象进行其他各种类型的控制。可以以3D生成VR空间1400，并且根据实施例可以对其进行各种设置。参考图14，电子设备可以在球形VR空间1400中将用户可观看的FOV区域1401显示为二维(2D)平面。根据实施例，电子设备可以在用户的FOV区域1401中显示各种对象。例如，电子设备可以显示：包括多个字符对象和菜单图标的游戏应用的执行屏幕；包括多个图像对象的照片库；包括文本、图像、统一资源定位符(URL)或其他各种对象的互联网应用的执行窗口；或电影播放屏幕。
根据实施例，电子设备可以基于HMD设备1410在VR空间1400中的位置或者HMD设备1410的方向(角度)指向VR空间1400中的任何位置。
根据实施例，电子设备可以基于外部控制器1450在VR空间1400中的位置或外部控制器1450的方向(角度)指向VR空间1400中的任何位置。可以显示外部控制器1450指向的位置1430或与HMD设备1410在用户的FOV区域1401中的定向对应的位置1420，如图14所示。根据实施例，电子设备还可以显示外部控制器1450的引线。
根据实施例，电子设备可以使用HMD设备1410或外部控制器1450指向VR空间1400中的任何位置。参考图14，电子设备可以取决于HMD设备1410指示的方向指向用户的FOV区域1401中的第一位置(x1,y1)，并且取决于外部控制器1450指示的方向指向用户的FOV区域1401中的第二位置(x2,y2)。
图15是示出根据本公开的实施例的使用外部控制器控制指示器的概念的视图。
参考图15，在从通过显示器显示的VR空间上与外部控制器1520相关的参考位置(为了说明目的而表示为“第一参考位置”)沿第一方向1521a进行光线投射(raycast)时，可以击中第四对象1534，并且可以在第四对象1534上显示指示器。用户可以从对应于VR空间的中心点的参考位置(为了说明目的而表示为“第二参考位置1510”)识别在第四对象1534上显示的指示器。
根据实施例，当用户移动以将外部控制器1520从第一方向1521a定向到第二方向1521b时，外部控制器1520沿第二方向1521b进行光线投射，使得可以击中第三对象1533并且可以在第三对象1533上显示指示器。当用户沿第一注视方向1511a跟踪并注视指示器时，由于第三对象1533与第四对象1534之间的参考位置差以及距离差，可能不会连续显示指示器，而是指示器可能在被击中的对象变化的时刻突然向右移动。
根据实施例，在从通过显示器显示的VR空间上与外部控制器1520相关的参考位置(第一参考位置)沿第三方向1521c进行光线投射时，可以击中第一对象1531，并且可以在第一对象1531上显示指示器。用户可以从对应于VR空间的中心点的参考位置(第二参考位置1510)识别在第一对象1531上显示的指示器。
根据实施例，当用户移动以将外部控制器1520从第三方向1521c定向到第四方向1521d时，外部控制器1520可以沿第四方向1521d进行光线投射。
在沿第二注视方向1511b跟踪并注视指示器时，用户可以预测第二对象1532将被击中。然而，当外部控制器1520进行光线投射时，第二对象1532可能被第一对象1531隐藏，并且因此可能未被击中。
图16是示出根据本公开的实施例的使用外部控制器控制指示器的概念的视图。
参考图16，在从通过显示器显示的VR空间上与外部控制器1620相关的参考位置(为了说明目的而表示为“第一参考位置”)沿第一方向1621a进行光线投射时，可以击中第四对象1634。根据实施例，在沿第一方向1621a离开与外部控制器1620相关的参考位置(第一参考位置)的指定距离(例如，第一距离)——或者距离范围——可以显示指示器。根据实施例，尽管图16为了说明目的示出与指定距离对应的位置用直线1640表示，但是替选地用对应于距与外部控制器1620相关的第一参考位置或第二参考位置1610相同距离的曲线显示位置。
根据实施例，当用户移动以将外部控制器1620从第一方向1621a定向到第二方向1621b时，外部控制器1620可以沿第二方向1621b进行光线投射。根据实施例，在沿第二方向1621b离开与外部控制器1620相关的参考位置(第一参考位置)的指定距离(例如，第一距离)——或者距离范围——可以显示指示器。
根据实施例，可以将击中的对象确定为通过沿用户的注视方向进行光线投射而被击中的对象。例如，在沿第二方向1621b距与外部控制器1620相关的参考位置(第一参考位置)的指定距离(例如，第一距离)——或者距离范围——(例如在位置1641处)可以显示指示器，并且用户可以识别在距与VR空间的中心点对应的参考位置(为了说明目的而表示为“第二参考位置”)的指定距离内显示的指示器。
根据实施例，在用户沿第一注视方向1611a跟踪并注视指示器的情况下，因为它是通过沿第一注视方向1611a对指示器进行光线投射而被击中的第四对象1634，所以这样的过程可以被执行以击中第四对象1634。根据实施例，在离开与外部控制器1620相关的参考位置(第一参考位置)的指定距离(例如，第一距离)——或者距离范围——可以显示指示器，并且用户可以从对应于用户的注视角度的参考位置(第二参考位置)确定是否通过光线投射来击中对象。因此，以用户的注视角度在屏幕上可以连续显示指示器的移动。例如，由于可以连续显示指示器在屏幕上显示的位置，因此可以防止指示器的不连续显示，该不连续显示可能由于VR空间上的对象之间的距离差而产生。
根据实施例，在通过显示器显示的VR空间上从与外部控制器1620相关的参考位置(第一参考位置)向第三方向1621c进行光线投射时，外部控制器1620可以沿第三方向1621c进行光线投射。根据实施例，在沿第三方向离开与外部控制器1620相关的参考位置(第一参考位置)的指定距离(例如，在位置1642处)可以显示指示器。
根据实施例，可以通过从通过显示器显示的屏幕区域的VR空间的中心点向指示器被显示的位置进行光线投射来确定击中的对象。例如，在沿第三方向1621c距与外部控制器1620相关的参考位置(第一参考位置)的指定距离可以显示指示器，并且用户可以识别在距与VR空间的中心点对应的参考位置(第二参考位置)的指定距离内显示的指示器。
根据实施例，在用户沿第三注视方向1611c跟踪并注视指示器的情况下，因为它是通过沿第三注视方向1611c对指示器进行光线投射而被击中的第二对象1632，所以这样的过程可以被执行以击中第二对象1632。根据实施例，在离开与外部控制器1620相关的参考位置(第一参考位置)的指定距离(例如，第一距离)——或者距离范围——可以显示指示器，并且用户可以确定是否通过从对应于用户的注视角度的参考位置(第二参考位置)进行光线投射来击中对象。因此，尽管在外部控制器1620的参考位置处第二对象1632被第一对象1631隐藏，但是第二对象1632可以在用户的注视角度被观看并且因此可以被选择。
根据各种实施例，下面参考图17至23描述在VR空间中显示指示器或选择对象的各种示例。尽管为了说明的目的，在以下实施例中通过电子设备的显示器显示的VR空间被示为圆形，其中VR空间是3D空间，但是VR空间可以表示为如图12和14所示的球体。
图17是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图。
根据实施例，电子设备(例如，图2的电子设备200)可以通过通信电路从外部控制器(例如，图3的外部控制器320)接收控制信号。控制信号可以至少包含与外部控制器的定向相关的信息。
例如，从外部控制器接收的控制信号可以包含与四元数对应的定向信息，但是本公开的各种实施例不限于此。外部控制器可以通过能够确定方向的至少一个传感器(例如，陀螺仪传感器或加速度传感器)生成与四元数对应的定向信息(例如，如Q＝S+Xi+Yj+Zk中的S、X、Y和Z)，并将包含所生成的定向信息的控制信号发送到电子设备。根据实施例，在定向信息的初始值中，可以通过按压外部控制器的指定按钮(例如，长按)来初始化外部控制器的定向。
参考图17，指示器可以显示在第一位置1741处，第一位置1741是沿至少基于所接收的控制信号的方向离开在通过电子设备的显示器显示的虚拟空间中与外部控制器相关的参考位置(第一参考位置1720)的指定的第一距离(或第一距离范围)。根据实施例，由于在离开第一参考位置1720的相同距离的位置处显示指示器，因此可以将指示器可被显示的位置表示为以第一参考位置1720为其中心点的圆1740(或球体)。
例如，在图17的实施例中，可以沿基于从外部控制器接收的控制信号的方向从VR空间中与外部控制器相关的第一参考位置1720执行光线投射。根据实施例，在作为离开第一参考位置1720的指定距离的位置(例如，第一位置1741)处可以显示指示器。根据实施例，可以在屏幕上显示引线1721，以指示从第一参考位置1720向作为离开的指定距离的第一位置1741发生光线投射。
根据实施例，电子设备可以执行控制以选择位于从与通过显示器显示的屏幕区域的虚拟空间的中心点对应的参考位置(第二参考位置1710)到第一位置1741的线1711上的至少一个对象。根据实施例，电子设备可以执行控制以选择在位于从第二参考位置1710到第一位置1741的线1711上的至少一个对象之中、位于距第二参考位置1710的最短距离内的对象。例如，可以选择图17的对象1730。
根据实施例，如图17所示的用于选择对象或显示指示器的方法可以如下以编程代码实现。
pointerPosition＝controller.position+(controller.forward*Distance)
raycast from camera.position to pointerPosition
//pointer's target position＝controller's position+pointer 10m(distance)ahead in controller's orientation
Vector3 targetPos＝origin.position+transform.forward*distance；
RaycastHit hitInfo；
Collider hitObj＝null；
float dist＝Vector3.Distance(Camera.main.transform.position,targetPos)；
//direction that camera will raycast＝pointer's target position-camera's position Vector3 direction＝(targetPos-Camera.main.transform.position).normalized；
//gets object hit by raycast(hitObj:object hit.An effect may beapplied to the object when necessary.)
if(Physics.Raycast(Camera.main.transform.position,direction,outhitInfo,dist)){
hitObj＝hitInfo.collider；
}
图18是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图。
根据实施例，电子设备(例如，图2的电子设备200)可以通过通信电路从外部控制器接收控制信号。控制信号可以至少包含与外部控制器的定向相关的信息。
参考图18，可以沿至少基于所接收的控制信号的方向从通过电子设备的显示器显示的虚拟空间中与外部控制器相关的参考位置(第一参考位置1820)执行光线投射。
根据实施例，电子设备可以在第一位置1841处显示指示器，第一位置1841是离开下述位置之中的、与通过显示器显示的屏幕区域的虚拟空间的中心点对应的参考位置(第二参考位置1810)的指定距离：这些位置处于从通过电子设备的显示器显示的虚拟空间中与外部控制器(例如，图3的外部控制器320)相关的第一参考位置1820开始沿至少基于所接收的控制信号的方向的线上。
根据实施例，由于指示器被显示在离开第二参考位置1810的相同距离的位置处，因此可以将指示器可被显示的位置表示为以第二参考位置1810作为其中心点的圆1840(或球体)。
例如，在图18的实施例中，可以沿基于从外部控制器接收的控制信号的方向从VR空间中的与外部控制器相关的第一参考位置1820执行光线投射。根据实施例，指示器可以被显示在作为离开第二参考位置1810的指定距离的位置(例如，第一位置1841)处。根据实施例，在屏幕上可以第一参考位置1820和第一位置1841之间显示引线1821。
根据实施例，电子设备可以执行控制以选择位于从与通过显示器显示的屏幕区域的虚拟空间的中心点对应的第二参考位置1810到第一位置1841的线1811上的至少一个对象。根据实施例，电子设备可以执行控制以选择在位于从第二参考位置1810到第一位置1841的线1811上的至少一个对象之中、位于距第二参考位置1810的最短距离内的对象。例如，可以选择图18的对象1830。
根据实施例，如图18所示的用于选择对象或显示指示器的方法可以通过例如矩阵计算来实现。
例如，在指示器的第一位置1841是(x，y，z)的情况下，可以通过以下等式获得第一位置1841。假设第二参考位置＝(x0，y0，z0)，半径＝r，外部控制器的向量v＝(vx，vy，vz)，球体的等式可以表示为下面的等式1。
(x-x0)2+(y-y0)2+(z-z0)2＝r2...等式1
与从外部控制器光线投射的直线1821有关的等式可以表示为下面的等式2。
x＝x1+vxt
y＝y1+vyt
z＝z1+vzt...等式2
等式2中的t可以通过下面的等式3获得。
(x1+vxt-x0)2+(y1+vyt-y0)2+(z1+vzt-z0)2＝r2...等式3
在使用上面的等式3计算t之后，可以通过代入上面的等式2中的t来计算与指示器的位置对应的坐标(x，y，z)。
图19是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图。
根据实施例，电子设备(例如，图2的电子设备200)可以通过通信电路从外部控制器(例如，图3的外部控制器320)接收控制信号。控制信号可以至少包含与外部控制器的定向相关的信息。
参考图19，指示器可以显示在第一位置1941处，第一位置1941是沿至少基于所接收的控制信号的方向离开通过电子设备的显示器显示的虚拟空间中的与外部控制器相关的参考位置(第一参考位置1920)的指定的第一距离(或第一距离范围)。根据实施例，由于基于作为离开第一参考位置1920的相同距离的位置显示指示器，可以将第一位置1941可被显示的地方表示为以第一参考位置1920作为其中心点的圆1940(或球体)。
例如，在图19的实施例中，电子设备可以在第二位置1951处显示指示器，第二位置1951是朝向第一位置1941离开与通过显示器显示的屏幕区域的虚拟空间的中心点对应的参考位置(第二参考位置1910)的指定的第二距离(或第二距离范围)。根据实施例，由于基于作为离开第二参考位置1910的相同距离的位置显示指示器，可以将第二位置1951可被显示的地方表示为以第二参考位置1910作为其中心点的圆1950(或球体)。
可以从VR空间中的与外部控制器相关的第二参考位置1910到基于从外部控制器接收的控制信号的第一位置1941执行光线投射。根据实施例，指示器可以被显示在作为离开第二参考位置1910的指定距离的位置(例如，第二位置1951)处。根据实施例，可以在屏幕上显示引线1921以指示从第一参考位置1920到作为离开指定距离的第一位置1941发生光线投射。
根据实施例，电子设备可以执行控制以选择位于从与通过显示器显示的屏幕区域的虚拟空间的中心点对应的第二参考位置1910到第二位置1951的线1911上的至少一个对象。根据实施例，电子设备可以执行控制以选择在位于从第二参考位置1910到第二位置1951的线1911上的至少一个对象之中、位于距第二参考位置1910的最短距离内的对象。例如，可以选择图19的对象1930。
根据实施例，如图19所示的用于选择对象或显示指示器的方法可以如下以编程代码实现。
firstHitPoint＝controller.forward*Distance
pointerPosition＝(firstHitPoint-camera.position).normalized*Distance
raycast from camera.position to pointerPosition
在编程代码中，normalized(归一化)可以执行用于归一化向量值以获得向量的方向性的计算。将计算的值乘以距离可以呈现作为在定向上离开的距离的位置。在上面的等式中，“distance(距离)”可以表示虚拟球体的半径。例如，可以将半径设置为虚拟空间中的指定值(例如，10m)。
图20是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图。
根据实施例，电子设备(例如，图2的电子设备200)可以通过通信电路从外部控制器(例如，图3的外部控制器320)接收控制信号。控制信号可以至少包含与外部控制器的定向相关的信息。
参考图20，指示器可以显示在第一位置2041处，第一位置2041是沿至少基于所接收的控制信号的方向离开通过电子设备的显示器显示的虚拟空间中的与外部控制器2020相关的参考位置(第一参考位置2001)的指定的第一距离(或第一距离范围)。考虑到用户抓住外部控制器2020的情况，可以将与外部控制器相关的第一参考位置2001设置为从保持外部控制器2020的用户的手延伸的臂2000的肘部的位置。
根据实施例，由于在作为离开第一参考位置2001的相同距离的位置处显示指示器，可以将指示器可被显示的位置表示为以第一参考位置2001作为其中心点的圆2040(或球体)。
例如，在图20的实施例中，可以沿基于从外部控制器接收的控制信号的方向从VR空间中的与外部控制器相关的第一参考位置2001(例如，对应于从保持外部控制器2020的用户的手延伸的臂2000的肘部)执行光线投射。根据实施例，指示器可以被显示在作为离开第一参考位置2001的指定距离的位置(例如，第一位置2041)处。根据实施例，可以在屏幕上显示引线2021以指示从第一参考位置2001到作为离开指定距离的第一位置2041发生光线投射。
根据实施例，电子设备可以执行控制以选择位于从与通过显示器显示的屏幕区域的虚拟空间的中心点对应的参考位置(第二参考位置2010)到第一位置2041的线2011上的至少一个对象。根据实施例，电子设备可以执行控制以选择在位于从第二参考位置2010到第一位置2041的线2011上的至少一个对象之中、位于距第二参考位置2010的最短距离内的对象。例如，可以选择图20的对象2030。
根据图20的实施例的用于显示指示器或选择对象的方法可以类似于根据图18的实施例的方法来实现，并且可以实现为使用肘部作为其轴来移动外部控制器，而不是从用户的角度利用虚拟臂的手腕移动外部控制器。在图18的实现等式中，可以通过将外部控制器的轴设置在下臂的长度后面来实现类似的方法。
图21是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图。
根据实施例，电子设备(例如，图2的电子设备200)可以通过通信电路从外部控制器(例如，图3的外部控制器320)接收控制信号。控制信号可以至少包含与外部控制器的定向相关的信息。
参考图21，可以基于第一位置2141显示指示器，第一位置2141是沿至少基于所接收的控制信号的方向离开通过电子设备的显示器显示的虚拟空间中的与外部控制器相关的参考位置(第一参考位置2101)的指定的第一距离(或第一距离范围)。考虑到用户抓住外部控制器2120的情况，可以将与外部控制器相关的第一参考位置2101设置为从保持外部控制器2120的用户的手延伸的臂2100的肘部的位置。根据实施例，由于基于作为离开第一参考位置2101的相同距离的位置显示指示器，可以将第一位置2141可被显示的地方表示为以第一参考位置2101作为其中心点的圆2140(或球体)。
例如，在图21的实施例中，电子设备可以在第二位置2151处显示指示器，第二位置2151是朝向第一位置2141离开与通过显示器显示的屏幕区域的虚拟空间的中心点对应的参考位置(第二参考位置2110)的指定的第二距离(或第二距离范围)。根据实施例，由于基于作为离开第二参考位置2110的相同距离的位置显示指示器，可以将第二位置2151可被显示的地方表示为以第二参考位置2110作为其中心点的圆2150(或球体)。
可以从VR空间中的与外部控制器相关的第二参考位置2110到第一位置2141执行光线投射，其中第一位置2141是基于从外部控制器接收的控制信号的。根据实施例，指示器可以被显示在作为离开第二参考位置2110的指定距离的位置(例如，第二位置2151)处。根据实施例，可以在屏幕上显示引线2121以指示从第一参考位置2101到作为离开指定距离的第一位置2141发生光线投射。
根据实施例，电子设备可以执行控制以选择位于从与通过显示器显示的屏幕区域的虚拟空间的中心点对应的第二参考位置2110到第二位置2151的线2111上的至少一个对象。根据实施例，电子设备可以执行控制以选择在位于从第二参考位置2110到第二位置2151的线2111上的至少一个对象之中、位于距第二参考位置2110的最短距离内的对象。例如，可以选择图21的对象2130。
根据实施例，如图21所示的用于选择对象或显示指示器的方法可以如下以编程代码实现。
firstHitPoint＝controllerAxis.forward*Distance
pointerPosition＝(firstHitPoint-camera.position).normalized*Distance
raycast from camera.position to pointerPosition
在编程代码中，normalized(归一化)可以执行用于归一化向量值以获得向量的方向性的计算。将计算的值乘以距离可以呈现作为在定向上离开的距离的位置。在上面的等式中，“distance(距离)”可以表示虚拟球体的半径。例如，可以将半径设置为虚拟空间中的指定值(例如，10m)。
图22是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图。
根据实施例，电子设备(例如，图2的电子设备200)可以通过通信电路从外部控制器(例如，图3的外部控制器320)接收控制信号。控制信号可以至少包含与外部控制器的定向相关的信息。
参考图22，可以基于第一位置2241显示指示器，第一位置2241是沿至少基于所接收的控制信号的方向离开通过电子设备的显示器显示的虚拟空间中的与外部控制器相关的参考位置(第一参考位置2220a)的指定的第一距离(或第一距离范围)。考虑到用户抓住外部控制器2220的情况，可以将与外部控制器2220相关的第一参考位置2220a设置为外部控制器2220的尖端的位置，其中将从保持外部控制器2220的用户的手延伸的臂2200的肘部的位置2200a取作轴。根据实施例，由于基于作为离开第一参考位置2220a的相同距离的位置显示指示器，可以将第一位置2241可被显示的地方表示为以第一参考位置2220a作为其中心点的圆2240(或球体)。
例如，在图22的实施例中，电子设备可以在第二位置2251处显示指示器，第二位置2251是朝向第一位置2241离开与通过显示器显示的屏幕区域的虚拟空间的中心点对应的参考位置(第二参考位置2210)的指定的第二距离(或第二距离范围)。根据实施例，由于基于作为离开第二参考位置2210的相同距离的位置显示指示器，可以将第二位置2251可被显示的地方表示为以第二参考位置2210作为其中心点的圆2250(或球体)。
可以从VR空间中的与外部控制器相关的第二参考位置2210到第一位置2241执行光线投射，其中第一位置2241是基于从外部控制器接收的控制信号的。根据实施例，指示器可以被显示在作为离开第二参考位置2210的指定距离的位置(例如，第二位置2251)处。根据实施例，可以在屏幕上显示引线2221以指示从第一参考位置2220a到作为离开指定距离的第一位置2241发生光线投射。
根据实施例，电子设备可以执行控制以选择位于从与通过显示器显示的屏幕区域的虚拟空间的中心点对应的第二参考位置2210到第二位置2251的线2211上的至少一个对象。根据实施例，电子设备可以执行控制以选择在位于从第二参考位置2210到第二位置2251的线2211上的至少一个对象之中、位于距第二参考位置2210的最短距离内的对象。例如，可以选择图22的对象2230。
根据实施例，如图22所示的用于选择对象或显示指示器的方法可以如下以编程代码实现。
firstHitPoint＝controller.forward*Distance
pointerPosition＝(firstHitPoint-camera.position).normalized
raycast from camera.position to pointerPosition
lazerLine＝DrawLine(controller.position,pointerPosition)
在编程代码中，normalized(归一化)可以执行用于归一化向量值以获得向量的方向性的计算。将计算的值乘以距离可以呈现作为在定向上离开的距离的位置。在上面的等式中，“distance(距离)”可以表示虚拟球体的半径。例如，可以将半径设置为虚拟空间中的指定值(例如，10m)。
图23是示出根据本公开的实施例的使用外部控制器控制指示器的示例的视图。
参考图23，当移动图22的示例中的外部控制器2220时，从保持外部控制器2220的手延伸的臂2200的肘部的位置2200a可以被取作运动的轴。由于第一参考位置2220a已经被设置到外部控制器2220的尖端，所以第一参考位置2220a和第二参考位置2210可以相对于彼此改变。在这种情况下，外部控制器2220可以具有6的自由度(DOF)。
根据实施例，可以基于所选择的对象2230和第二参考位置2210之间的距离来不同地显示指示器2251。例如，由于指示器2251可以被实现为定位在离开空间中的第二参考位置2210的预定距离，所以指示器可以取决于给出与所选择的对象2230的视角的距离被不同地显示。
例如，随着所选择的对象2230与第二参考位置2210之间的距离减小，指示器2251可以被放大。在选择对象2230时，可以添加各种效果，诸如变化的阴影、颜色、亮度或色度，调节大小，或设立边界，以在视觉上指示对象2230的选择。
在下文中，参考图24至图28描述在VR空间中实现本公开的各种实施例的各种示例。
图24是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图。
参考图24，选择按钮2420可以在VR屏幕2400上显示为各种形状的对象。
根据实施例，可以显示从外部控制器(例如，图3的外部控制器320)光线投射的线2410。在确定相对于从外部控制器光线投射的线击中对象时，与用户看到的不同，可能在选择按钮2420后面显示指示器2441，由此未能击中选择按钮2420。
图25和图26是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图。
参考图25和图26，可以在VR屏幕2500上显示各种对象(例如，菜单和图像2530)。
根据实施例，可以显示从外部控制器2510(例如，图3的外部控制器320)光线投射的线2520，并且指示器2521或2522可以显示在沿外部控制器2510进行光线投射的方向的指定的距离中。可以沿用户的注视方向执行光线投射以允许选择对象，使得能够在用户的注视角度处更容易地选择对象。例如，在从图25的位置2521向右移动指示器时，指示器可以显示在图26的位置2522处。当在允许选择对象2530的同时在用户的注视角度处穿过对象2530的边界时，可以自然且无缝地显示指示器。
图27和图28是示出根据本公开的实施例的在VR屏幕上显示指示器的示例的视图。
参考图27和图28，可以在VR屏幕2700上显示各种对象(例如，菜单按钮2730)。
根据实施例，可以显示从外部控制器2710(例如，图3的外部控制器320)光线投射的线2720，并且指示器2721或2722可以显示在沿外部控制器2710进行光线投射的方向的指定的距离中。可以沿用户的注视方向执行光线投射以允许选择对象，使得能够在用户的注视角度处更容易地选择对象。例如，在从图27的位置2721向左移动指示器时，指示器可以显示在图28的位置2722处。当在允许取消选择对象2730的同时在用户的注视角度处穿过对象2730的边界时，可以自然且无缝地显示指示器。
图29是示出根据本公开的实施例的HMD设备2900的另一配置的框图。
参考图29，HMD设备2900可以向用户提供与由独立于要安装在其上的电子设备(例如，显示设备)的上述电子设备提供的操作相同或类似的操作。HMD设备2900可以包括微控制单元(MCU)2910、通信模块2920、传感器模块2930、输入模块2940、注视跟踪模块2950、振动器2952、聚焦模块2954、电源管理模块2960、电池2962、显示器2970和相机模块2980。
通信模块2920可以包括例如通用串行总线(USB)模块2921、Wi-Fi模块2922、蓝牙(BT)模块2923、近场通信(NFC)模块2924、以及全球定位系统(GPS)模块2925。传感器模块2930可以包括例如手势传感器2931、陀螺仪传感器2932、气压传感器2933、磁传感器2934、加速度传感器2935、抓握传感器2936、接近传感器2937、红-绿-蓝(RGB)传感器2938和接近传感器2939中的至少一个。输入模块2940可以包括触摸板2941和按钮2942。
HMD设备2900可以包括可以固定方式安装在主体中的显示器2970，而不是具有其中电子设备(例如，显示设备)被可拆卸地耦合的结构。
图30是示出根据本公开的实施例的程序140的框图3000。
参考图30，根据实施例，程序140可以包括用于控制电子设备101的一个或多个资源的操作系统(OS)142、中间件144或可在OS上执行的应用146。OS 142可以包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。程序140的至少一部分可以例如在制造时预先加载在电子设备101上，或者可以在用户的使用环境中由外部电子设备(例如，电子设备102或104或服务器108)下载或更新。
OS 142可以控制(例如，分配或恢复)电子设备101的系统资源(例如，处理器、存储器或电源)。附加地或替选地，OS 142可以包括一个或多个驱动程序以驱动电子设备101的其他硬件设备，例如，输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块290、用户识别模块296或天线模块297。
中间件144可以向应用146提供各种功能，使得应用146可以使用从电子设备101的一个或多个资源提供的功能或信息。中间件144可以包括例如应用管理器3001、窗口管理器3003、多媒体管理器3005、资源管理器3007、电源管理器3009、数据库管理器3011、包管理器3013、连接管理器3015、通知管理器3017、位置管理器3019、图形管理器3021、安全管理器3023、电话管理器3025或语音识别管理器3027。应用管理器3001可以管理例如应用146的生命周期。窗口管理器3003可以管理例如屏幕上使用的GUI资源。多媒体管理器3005可以掌握例如播放媒体文件所需的格式，并使用适合于格式的编解码器来对媒体文件执行编码或解码。资源管理器3007可以管理例如应用146的源代码或存储空间。电源管理器3009可以管理例如电池的容量、温度或功率，并使用这样的相应信息确定和提供操作电子设备101所需的电源信息。根据实施例，电源管理器3009可以与基本输入/输出系统(BIOS)互工作。
数据库管理器3011可以生成、搜索或改变要在应用146中使用的数据库。包管理器3013可以管理例如以包文件的形式分发的应用的安装或更新。连接管理器3015可以管理例如电子设备101和外部电子设备之间的无线或有线连接。通知管理器3017可以提供例如用于向用户通知发生的事件(例如，呼叫、消息或警告)的功能。例如，位置管理器3019可以管理关于电子设备101的位置信息。图形管理器3021可以管理要提供给用户的图形效果及其相关用户界面。例如，安全管理器3023可以提供系统安全性或用户认证。电话管理器3025可以管理例如电子设备101的语音呼叫或视频呼叫功能。语音识别管理器3027可以将例如用户的语音数据发送到服务器108，并且接收与基于语音数据或基于语音数据转换的文本数据要在电子设备101上执行的功能对应的命令。根据实施例，中间件3044可以动态地删除一些现有组件或添加新组件。根据实施例，中间件144的至少一部分可以作为OS 142的一部分被包括，或者可以在与OS 142分开的软件中实现。
应用146可以包括例如像主页3051、拨号器3053、短消息服务(SMS)/多媒体消息服务(MMS)3055、即时消息(IM)3057、浏览器3059、相机3061、警报3063、联系人3065、语音识别3067、电子邮件3069、日历3071、媒体播放器3073、相册3075或手表3077、健康3079(例如，测量锻炼程度或血糖)或环境信息3081(例如，气压、湿度或温度信息)的应用。根据实施例，应用146还可以包括信息交换应用(未示出)，其能够支持电子设备101和外部电子设备之间的信息交换。信息交换应用可以包括例如用于将指定的信息(例如，呼叫、消息或警告)传送到外部电子设备的通知中继应用或用于管理外部电子设备的设备管理应用。通知中继应用可以将与在电子设备101的另一应用(例如，电子邮件应用3069)处发生的事件(例如，电子邮件的接收)对应的通知信息传送到外部电子设备，或者通知中继应用可以从外部电子设备接收通知信息并将通知信息提供给电子设备101的用户。设备管理应用可以控制外部电子设备或其某个组件(例如，外部电子设备的显示设备或相机模块)的电源(例如，开启或关闭)或功能(例如，亮度、分辨率或焦点的调节)。附加地或替选地，设备管理应用可以支持在外部电子设备上运行的应用的安装、删除或更新。
电子设备的每个上述组件可以包括一个或多个部件，并且部件的名称可以随电子设备的类型而变化。根据本公开的各种实施例的电子设备可以包括前述组件中的至少一个，省略其中的一些，或者包括其他附加组件。一些组件可以组合成实体，但是实体可以执行与组件可以执行的功能相同的功能。
术语“模块”可以指包括硬件、软件和固件之一或其组合的单元。术语“模块”可以与单元、逻辑、逻辑块、组件或电路互换使用。模块可以是集成组件的最小单元或部分。模块可以是执行一个或多个功能的最小单元或部分。模块可以机械地或电子地实现。例如，模块可以包括已经是已知的或未来将要开发的、执行某些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)中的至少一个。
根据实施例，设备的至少一部分(例如，模块或其功能)或方法(例如，操作)可以被实现为例如以程序模块的形式存储在计算机可读存储介质中的指令。当由处理器(例如，处理器120)执行时，指令可以使处理器能够执行相应的功能。计算机可读存储介质可以是例如存储器130。
计算机可读存储介质可以包括硬件设备(诸如硬盘、软盘和磁带(例如，磁带))、光学介质(诸如致密盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光介质(诸如软光盘)、ROM、随机存取存储器(RAM)、闪存等。程序指令的示例不仅可以包括机器语言代码，还可以包括可由各种计算装置使用解释器执行的高级语言代码。上述硬件设备可以被配置为作为一个或多个软件模块操作以执行本公开的各种实施例，反之亦然。
根据本公开的各种实施例的模块或编程模块可以包括前述组件中的至少一个或多个，省略其中的一些，或者还包括其他附加组件。根据本公开的各种实施例的由模块、编程模块或其他组件执行的操作可以顺序地，同时地，重复地或启发地执行。此外，一些操作可以以不同的顺序执行，或者被省略，或者包括其他附加操作。
根据实施例，提供了一种存储有指令的存储介质，所述指令被配置为由至少一个处理器执行，以使得至少一个处理器能够执行至少一个操作，该操作在用于在VR中控制指示器的方法中可以包括：通过电子设备的通信电路从外部控制器接收控制信号，至少基于所接收的控制信号识别方向，确定通过电子设备的显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置，并且控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。
根据实施例，提供了一种存储有指令的存储介质，所述指令被配置为由至少一个处理器执行，以使得至少一个处理器能够执行至少一个操作，该操作可以包括：通过电子设备的通信电路从外部控制器接收控制信号；至少基于所接收的控制信号识别方向；在虚拟空间中的处于沿所识别的方向源自与外部控制器相关的第一参考位置的线上的位置之中、确定离开与通过电子设备的显示器显示的虚拟空间的中心点对应的第二参考位置的指定的第一距离范围内的第一位置；以及控制显示器以基于确定的第一位置在虚拟空间的屏幕上显示指示器。
如从前面的描述中会明白，根据各种实施例，用于在VR中控制指示器的方法和电子设备可以通过下述方式考虑到用户的视角来选择对象或显示指示器：该方式允许在位于距对应于与HMD设备交互工作的外部控制器的参考位置的指定的距离内的点处显示指示器，或基于位于指定的距离内的点选择对象。
例如，即使在VR空间中具有不同距离的多个对象中的至少一些彼此重叠的情况下，也可以直观地选择以用户的视角观看的对象，并且当通过外部控制器移动指示器时，可以在屏幕上以自然、无缝的方式显示指示器。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
显示器；
通信电路；
至少一个处理器，与显示器和通信电路电连接；以及
存储器，与至少一个处理器电连接，
其中，所述存储器存储指令，所述指令指示所述至少一个处理器：
通过通信电路从外部控制器接收控制信号，
至少基于所接收的控制信号识别方向，
确定通过显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置，
并且
控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。
2.如权利要求1所述的电子设备，其中，所述指令还指示所述至少一个处理器：
选择处于从与虚拟空间的中心点相对应的第二参考位置到第一位置的线上的至少一个对象。
3.如权利要求2所述的电子设备，其中，所述指令还指示所述至少一个处理器：
选择在处于从第二参考位置到第一位置的线上的至少一个对象之中、位于距第二参考位置的最短距离内的对象。
4.如权利要求1所述的电子设备，其中，通过考虑保持外部控制器的用户的手臂的位置来设置与外部控制器相关的第一参考位置。
5.如权利要求1所述的电子设备，其中，所述指令还指示所述至少一个处理器：
在朝向第一位置离开与虚拟空间的中心点相对应的第二参考位置的指定的第二距离范围内的第二位置处显示指示器。
6.如权利要求2所述的电子设备，其中，所述指令还指示所述至少一个处理器：
基于所选择的对象与第二参考位置之间的距离来控制指示器的显示。
7.如权利要求6所述的电子设备，其中，所述指令还指示所述至少一个处理器：
基于所选择的对象与第二参考位置之间的距离来确定指示器的大小。
8.如权利要求2所述的电子设备，其中，所述指令还指示所述至少一个处理器：
显示是否选择了至少一个对象。
9.一种用于在虚拟现实(VR)中控制指示器的方法，所述方法包括：
通过电子设备的通信电路从外部控制器接收控制信号；
至少基于所接收的控制信号识别方向；
确定通过电子设备的显示器显示的虚拟空间中的、处于沿所识别的方向离开与外部控制器相关的第一参考位置的指定的第一距离范围内的第一位置；以及
控制显示器以基于第一位置在虚拟空间的屏幕上显示指示器。
10.如权利要求9所述的方法，还包括：
执行控制以选择处于从与虚拟空间的中心点相对应的第二参考位置到第一位置的线上的至少一个对象。
11.如权利要求10所述的方法，还包括：
执行控制以选择在处于从第二参考位置到第一位置的线上的至少一个对象之中、位于距第二参考位置的最短距离内的对象。
12.如权利要求9所述的方法，其中，通过考虑保持外部控制器的用户的手臂的位置来设置与外部控制器相关的第一参考位置。
13.如权利要求9所述的方法，还包括：
执行控制以在朝向第一位置离开与虚拟空间的中心点相对应的第二参考位置的指定的第二距离范围内的第二位置处显示指示器。
14.如权利要求10所述的方法，还包括：
基于所选择的对象与第二参考位置之间的距离来控制指示器的显示；以及
基于所选择的对象与第二参考位置之间的距离来确定指示器的大小。
15.如权利要求10所述的方法，还包括：执行控制以显示是否选择了至少一个对象。
CN201811051914.5A 2017-09-08 2018-09-10 用于在虚拟现实中控制指示器的方法和电子设备 Active CN109471522B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170115455A KR102374408B1 (ko) 2017-09-08 2017-09-08 가상 현실에서의 포인터 제어 방법 및 전자 장치
KR10-2017-0115455 2017-09-08

Publications (2)

Publication Number Publication Date
CN109471522A true CN109471522A (zh) 2019-03-15
CN109471522B CN109471522B (zh) 2023-11-28

Family

ID=63517740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811051914.5A Active CN109471522B (zh) 2017-09-08 2018-09-10 用于在虚拟现实中控制指示器的方法和电子设备

Country Status (5)

Country Link
US (1) US10901531B2 (zh)
EP (1) EP3454182B1 (zh)
KR (1) KR102374408B1 (zh)
CN (1) CN109471522B (zh)
WO (1) WO2019050338A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201039A (zh) * 2020-09-18 2022-03-18 聚好看科技股份有限公司 一种实现虚拟现实的显示设备
CN114461057A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 Vr显示控制方法、电子设备及计算机可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
US10540015B2 (en) * 2018-03-26 2020-01-21 Chian Chiu Li Presenting location related information and implementing a task based on gaze and voice detection
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
USD891452S1 (en) * 2018-07-27 2020-07-28 Dassault Systemes Americas Corp. Display screen portion with graphical user interface for augmented reality
JP2020129263A (ja) * 2019-02-08 2020-08-27 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
EP3995934A1 (en) * 2020-11-05 2022-05-11 XRSpace CO., LTD. Method and system of modifying position of cursor
TWI815207B (zh) * 2020-11-19 2023-09-11 仁寶電腦工業股份有限公司 頭戴顯示裝置
CN116438503A (zh) * 2020-12-17 2023-07-14 三星电子株式会社 电子装置和电子装置的操作方法
KR20230069680A (ko) 2021-11-12 2023-05-19 최동원 증강현실에서 목표점을 가리키는 곡선을 표시하는 전자 장치 및 방법
US11789602B1 (en) * 2022-04-18 2023-10-17 Spatial Systems Inc. Immersive gallery with linear scroll
KR20240002828A (ko) * 2022-06-30 2024-01-08 주식회사 와이엠엑스 가상 공간에 있는 3d 오브젝트 상의 특정 위치와 연동된 메모를 공유할 수 있는 실시간 vr 회의시스템 및 방법
KR20240002829A (ko) * 2022-06-30 2024-01-08 주식회사 와이엠엑스 가상 공간에 있는 3d 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 vr 회의시스템 및 방법
US12061344B2 (en) * 2022-08-29 2024-08-13 Samsung Electronics Co., Ltd. Electronic device for controlling wearable device based on input of electronic device and method thereof

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050116929A1 (en) * 2003-12-02 2005-06-02 International Business Machines Corporation Guides and indicators for eye tracking systems
CN104423584A (zh) * 2013-09-02 2015-03-18 Lg电子株式会社 可佩戴的装置及其输出内容的方法
CN105190477A (zh) * 2013-03-21 2015-12-23 索尼公司 用于在增强现实环境中的用户交互的头戴式显示装置
US20160364198A1 (en) * 2015-06-11 2016-12-15 Samsung Electronics Co., Ltd. Method for sharing images and electronic device performing thereof
JP2017004539A (ja) * 2016-07-19 2017-01-05 株式会社コロプラ 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
US20170185148A1 (en) * 2015-12-28 2017-06-29 Colopl, Inc. Information processing method and information processing system
US20170228921A1 (en) * 2016-02-08 2017-08-10 Google Inc. Control system for navigation in virtual reality environment
CN107077297A (zh) * 2014-11-11 2017-08-18 高通股份有限公司 用于基于手指压力和方向来控制光标的系统和方法
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296757A (ja) * 2002-03-29 2003-10-17 Canon Inc 情報処理方法および装置
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
EP2830700B1 (en) 2012-03-30 2017-09-27 Boston Scientific Neuromodulation Corporation Leads with x-ray fluorescent capsules for electrode identification and methods of manufacture and use
US9323338B2 (en) * 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US10088971B2 (en) 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
KR20160096422A (ko) 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
JP6677239B2 (ja) * 2015-03-05 2020-04-08 ソニー株式会社 情報処理装置、制御方法、およびプログラム
KR102547245B1 (ko) 2015-05-27 2023-06-22 주식회사 넥슨코리아 가상 현실 디스플레이 시스템 및 방법
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
WO2016209010A1 (ko) 2015-06-24 2016-12-29 주식회사 브이터치 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20160378176A1 (en) 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
WO2017201162A1 (en) * 2016-05-17 2017-11-23 Google Llc Virtual/augmented reality input device
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
US20180101986A1 (en) * 2016-10-10 2018-04-12 Aaron Mackay Burns Drawing in a 3d virtual reality environment
US10409444B2 (en) * 2017-09-01 2019-09-10 Microsoft Technology Licensing, Llc Head-mounted display input translation
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050116929A1 (en) * 2003-12-02 2005-06-02 International Business Machines Corporation Guides and indicators for eye tracking systems
CN105190477A (zh) * 2013-03-21 2015-12-23 索尼公司 用于在增强现实环境中的用户交互的头戴式显示装置
CN104423584A (zh) * 2013-09-02 2015-03-18 Lg电子株式会社 可佩戴的装置及其输出内容的方法
CN107077297A (zh) * 2014-11-11 2017-08-18 高通股份有限公司 用于基于手指压力和方向来控制光标的系统和方法
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对
US20160364198A1 (en) * 2015-06-11 2016-12-15 Samsung Electronics Co., Ltd. Method for sharing images and electronic device performing thereof
US20170185148A1 (en) * 2015-12-28 2017-06-29 Colopl, Inc. Information processing method and information processing system
US20170228921A1 (en) * 2016-02-08 2017-08-10 Google Inc. Control system for navigation in virtual reality environment
JP2017004539A (ja) * 2016-07-19 2017-01-05 株式会社コロプラ 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201039A (zh) * 2020-09-18 2022-03-18 聚好看科技股份有限公司 一种实现虚拟现实的显示设备
CN114201039B (zh) * 2020-09-18 2023-08-29 聚好看科技股份有限公司 一种实现虚拟现实的显示设备
CN114461057A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 Vr显示控制方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3454182B1 (en) 2021-11-24
WO2019050338A1 (en) 2019-03-14
US10901531B2 (en) 2021-01-26
KR102374408B1 (ko) 2022-03-15
US20190079599A1 (en) 2019-03-14
CN109471522B (zh) 2023-11-28
KR20190028238A (ko) 2019-03-18
EP3454182A1 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
CN109471522A (zh) 用于在虚拟现实中控制指示器的方法和电子设备
US10929005B2 (en) Electronic device, wearable device, and method of controlling displayed object in electronic device
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
EP3293723A1 (en) Method, storage medium, and electronic device for displaying images
KR102265086B1 (ko) 정보를 공유하기 위한 가상 환경
US10019962B2 (en) Context adaptive user interface for augmented reality display
KR20160027864A (ko) 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들
KR20170109297A (ko) 전방위 영상을 제공하는 전자 장치 및 방법
CN110019918B (zh) 虚拟宠物的信息展示方法、装置、设备及存储介质
KR20170042877A (ko) 머리 장착형 전자 장치
KR20170019081A (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
KR102641881B1 (ko) 전방위 영상을 획득하는 방법 및 장치
CN105892572B (zh) 用于显示内容的方法和装置
CN107861613A (zh) 显示与内容相关联的导航器的方法和实现其的电子装置
CN108370488A (zh) 音频提供方法及其设备
KR20190130770A (ko) Vr/ar 콘텐트를 제공하는 전자 장치
KR102632270B1 (ko) 전자 장치 및 파노라마 영상 표시와 생성 방법
CN110223237A (zh) 调节图像参数的方法及终端设备
KR20180065727A (ko) 객체를 디스플레이하기 위한 방법 및 그 전자 장치
KR20160136646A (ko) 화면을 표시하는 전자 장치, 그 제어 방법
US20200090704A1 (en) Electronic device and screen image display method for electronic device
KR102679047B1 (ko) 전자 장치 및 전자 장치 제어 방법
CN108476314A (zh) 内容显示方法以及执行该方法的电子装置
US20240103685A1 (en) Methods for controlling and interacting with a three-dimensional environment
US20240087221A1 (en) Method and apparatus for determining persona of avatar object in virtual space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant