CN107861613A - 显示与内容相关联的导航器的方法和实现其的电子装置 - Google Patents

显示与内容相关联的导航器的方法和实现其的电子装置 Download PDF

Info

Publication number
CN107861613A
CN107861613A CN201710858334.6A CN201710858334A CN107861613A CN 107861613 A CN107861613 A CN 107861613A CN 201710858334 A CN201710858334 A CN 201710858334A CN 107861613 A CN107861613 A CN 107861613A
Authority
CN
China
Prior art keywords
content
omniselector
object information
user
electronic installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710858334.6A
Other languages
English (en)
Other versions
CN107861613B (zh
Inventor
韩宗铉
李昊暎
李彩京
金宝根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107861613A publication Critical patent/CN107861613A/zh
Application granted granted Critical
Publication of CN107861613B publication Critical patent/CN107861613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了一种显示与内容相关联的导航器的方法和实现其的电子装置。各种实施例提供了一种电子装置和操作所述电子装置的方法。所述电子装置包括：显示器；存储器；至少一个处理器，被功能地连接到显示器或存储器。所述至少一个处理器被配置为：获取与执行的内容相关联的内容类型或对象信息；使用所述内容类型或所述对象信息来创建导航器；将创建的导航器布置在执行的内容中；根据用户的注视信息来显示创建的导航器。其他实施例也可以实现。

Description

显示与内容相关联的导航器的方法和实现其的电子装置
技术领域
各种实施例涉及一种用于显示与内容相关联的导航器的方法和显示器。
背景技术
随着数字技术的最近发展，已经广泛使用各种类型的电子装置，诸如移动通信终端、个人数字助理(PDA)、电子管理器、智能电话、平板个人计算机(PC)和可穿戴装置。这样的电子装置在其硬件和/或软件部分中不断地被改进以支持并增强其功能。
同时，可穿戴装置可以是各种类型的装置，例如头戴式显示器、智能眼镜、智能手表、智能腕带、隐形眼镜型装置、环型装置、鞋型装置、衣服型装置或手套型装置，其能够可拆卸地附接到人体的一部分或一件衣服。这种可穿戴装置可与电子装置相结合使用。此外，可穿戴装置可以通过实现虚拟现实或增强现实来提供各种用户体验。
发明内容
各种实施例提供了一种电子装置，所述电子装置包括显示器、存储器和被功能地连接到显示器或存储器的至少一个处理器。所述至少一个处理器可以被配置为：获取与执行的内容相关联的内容类型或对象信息；使用内容类型或对象信息来创建导航器；将创建的导航器布置在执行的内容中；并根据用户的注视信息来显示创建的导航器。
本公开的各种实施例提供了一种操作电子装置的方法。所述方法可以包括：获取与执行的内容相关联的内容类型或内容信息，使用内容类型或对象信息来创建导航器，将创建的导航器布置在执行的内容中，并且根据用户的注视信息来显示创建的导航器。
根据各种实施例，通过显示与VR内容相关联的导航器，用户能够容易地在导航器中选择期望的项目。
根据各种实施例，通过在用户的上端或下端布置与VR内容相关联的导航器，能够减少用户的视野干扰并利用内容的失真区域。
根据各种实施例，能够将VR空间中的存在于用户视野之外的项目配置并显示为能够容易地被用户获取的导航器。
根据各种实施例，能够在不与VR内容重叠的区域中布置导航器，并且可以根据用户的视角来显示导航器。
根据各种实施例，能够通过基于用户位置和内容中的项目之间的距离在导航器中布置项目来方便内容内的空间移动。
附图说明
从结合附图进行的以下详细描述中，本公开的上述和其它方面、特征和优点将变得更加明显，其中:
图1是示出根据各种实施例的电子装置的配置的示图；
图2是示出根据各种实施例的头戴式显示器的立体图；
图3是示出根据各种实施例的将电子装置耦接到头戴式显示器的示例的透视图；
图4是示出用户佩戴根据各种实施例的头戴式显示器的示例的示图；
图5是示出根据各种实施例的操作电子装置的方法的流程图；
图6是示出根据各种实施例的在内容中布置导航器的示例的示图；
图7是示出根据各种实施例的基于内容配置导航器的示例的示图；
图8是示出根据各种实施例的显示电子装置的导航器的方法的流程图；
图9是示出根据各种实施例的根据用户的视角显示导航器的示例的示图；
图10是示出根据各种实施例的根据与外部装置的交互来显示导航器的示例的示图；
图11是示出根据各种实施例的控制电子装置的导航器的方法的流程图；
图12是示出根据各种实施例的在导航器中提供对象信息的示例的示图；
图13是示出根据各种实施例的执行与导航器相关联的功能的示例的示图。
具体实施方式
下面将参照附图来描述本公开的各种示例实施例。然而，本文使用的示例实施例和术语并不旨在将本公开中描述的技术特征限制于特定实施例，并且应被解释为包括本公开的示例实施例的修改、等同物和/或替代物。在附图的说明中，相同的附图标号被用于相同的元件。此外，本公开的示例实施例被建议用于解释和理解本文公开的技术特征，并不限制本公开。因此，本公开应被解释为包括基于本公开的技术思想或各种其它实施例的所有改变。
根据本公开的示例实施例，电子装置可以包括使用各种处理器(诸如应用处理器(AP)、通信处理器(CP)、图形处理单元(GPU)以及中央处理单元(CPU))中的一个或更多个的各种装置(如所有信息和通信装置、多媒体装置、可穿戴装置以及针对其的应用装置)，其支持根据本公开的各种示例实施例的功能(例如，显示功能、在低功率模式下运行的屏幕关闭功能(例如，熄屏显示(always-on display)))。
根据本公开的示例实施例的电子装置可以包括例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、移动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗装置、相机或可穿戴装置(例如，智能眼镜、头戴式装置(HMD)或智能手表)中的至少一个。
根据本公开的示例实施例，电子装置可以是智能家电。例如，智能家电可以包括电视(TV)、数字通用盘(DVD)播放器、冰箱、空调、清洁器、洗衣机、机顶盒、家庭自动化控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如XboxTM和PlayStationTM)或电子相框中的至少一个。此外，根据本公开的示例实施例的电子装置可以包括导航装置或物联网中的至少一个。
根据各种实施例，电子装置可以是上述装置中的一个或者一个或更多个装置的组合。根据特定实施例，电子装置可以是柔性电子装置。此外，根据本公开的示例实施例的电子装置不限于上述装置，并且可以随着技术进步包括新的电子装置。
此外，在各种示例实施例中使用的术语“用户”可以指使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。根据各种实施例的模块或编程模块可以包括本公开的各种元件中的至少一个，或者可以省略一些元件，或者还可以包括另外的其他元件。根据各种实施例的由模块、编程模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方法来执行。此外，可以以不同的顺序执行部分操作、省略部分操作，或者可以添加其他操作。
在下文中，将参照附图来描述根据本公开的各种示例实施例的用于提供与通知相关的用户界面的方法和设备。然而，由于本公开的各种示例实施例不受以下描述的约束或限制，所以应注意，本公开能够被应用于基于以下实施例的各种示例实施例。在下面描述的各种示例实施例中，将通过示例的方式来描述硬件研究方法。然而，由于本公开的各种示例实施例包括使用硬件和软件两者的技术，所以本公开的各种示例实施例不排除基于软件的研究方法。
图1是示出根据各种示例实施例的电子装置的配置的示图。
参照图1，根据本公开的各种示例实施例的电子装置100可以包括无线通信单元110、用户输入单元(例如，输入电路或输入模块)120、触摸屏130、音频处理器140、存储器150、接口160、相机模块170、控制器180和电源模块190。图1中示出的电子装置100的元件在本公开的各种示例实施例中并不是必需的，因此电子装置可以包括比图1中示出的元件更多的元件或比图1中示出的元件更少的元件。
无线通信单元110可以包括实现电子装置100和另一外部电子装置之间的无线通信的一个或更多个模块。根据各种示例实施例，无线通信单元110可以包括用于与附近的外部电子装置进行通信的模块(例如，短距离通信模块、远距离通信模块等)。例如，无线通信单元110可以包括移动通信模块111、无线局域网(LAN)模块113、短距离通信模块115和位置计算模块117。
移动通信模块111可以在移动通信网络上与基站、外部电子装置和各种服务器(例如，集成服务器、提供商服务器、内容服务器、互联网服务器或云服务器)中的至少一个交换无线电信号。无线电信号可以包括语音信号、数据信号或各种格式的控制信号。响应于用户请求，移动通信模块111可以将用于操作电子装置100的各种数据发送到外部装置(例如，服务器或其他电子装置)。根据各种示例实施例，移动通信模块111可以基于各种通信方式来交换无线电信号。例如，通信方法可以包括但不限于长期演进(LTE)、高级LTE(LTE-A)、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)或正交频分多址(OFDMA)。
无线LAN模块113可以指用于无线地连接到互联网并且与其他外部电子装置形成无线LAN链路的模块。无线LAN模块113可以被嵌入在电子装置100中，或者可以被设置在电子装置100的外部。无线互联网技术可以使用无线保真(WiFi)、无线宽带(Wibro)、全球微波互联接入(WiMax)、高速下行分组接入(HSDPA)或毫米波(mmWave)等。无线LAN模块113可以经由网络(例如，无线互联网)与和电子装置100连接的另一外部电子装置互通，以将电子装置100的各种数据发送到外部(例如，外部电子装置或服务器)或者从外部接收数据。无线LAN模块113可以根据电子装置100的设置或用户输入来保持开启状态或者可以被开启。
短距离通信模块115可以指用于执行短距离通信的模块。短距离通信技术可以使用蓝牙、蓝牙低能量(BLE)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、Zigbee、近场通信(NFC)等。短距离通信模块115可以经由网络(例如，短距离通信网络)与和电子装置100连接的另一外部电子装置(例如，外部音频装置)互通，以将电子装置100的各种数据发送到外部电子装置或从外部电子装置接收数据。短距离通信模块115可以根据电子装置100的设置或用户输入来保持开启状态或者可以被开启。
位置计算模块117是用于获取电子装置100的位置的模块，并且可以包括例如全球定位系统(GPS)。位置计算模块117可以根据三角测量法原理来测量电子装置100的位置。例如，位置计算模块117可以计算关于距离三个或更多个基站的距离的距离信息和时间信息，然后可以通过将三角测量法应用于计算出的信息，根据纬度、经度和高度来计算三维的当前位置信息。可选地，位置计算模块117可以通过实时地从三个或更多个卫星连续地接收电子装置100的位置信息来计算位置信息。可以以各种方式获取电子装置100的位置信息。
用户输入单元120可以响应于用户输入来产生用于控制电子装置100的操作的输入数据。用户输入单元120可以包括用于检测用户的各种输入的至少一个输入模块。例如，用户输入单元120可以包括键盘、圆顶开关、物理按钮、触摸(电容/电阻)、点动&梭动开关、和传感器。根据一个实施例，用户输入单元120可以包括电子笔(或笔)。根据一个实施例，用户输入单元120可被实现为接收压力触摸输入。用户输入单元120可以使用户输入单元120的一部分以按钮的形式形成在电子装置100的外部，并且用户输入单元120的一部分或整体可以被实现为触摸面板。根据本公开的各种示例实施例，用户输入单元120可以接收用于启动电子装置100的操作的用户输入，并且可以根据用户输入产生输入信号。
触摸屏130可以指同时执行输入功能和显示功能的输入和输出装置，并且可以包括显示器131和触摸传感器133。触摸屏130可以在电子装置100与用户之间提供输入和输出接口，可以将用户的触摸输入发送到电子装置100，并且可以用作显示从电子装置100到用户的输出的介质。触摸屏130可以向用户显示视觉输出。视觉输出可以以文本、图形、视频及其组合的形式来显示。根据本公开的示例实施例，触摸屏130可以通过显示器131根据电子设备100的操作来显示各种屏幕。触摸屏130可以在通过显示器131显示特定屏幕时通过触摸传感器133检测基于来自用户的触摸、悬停或悬浮手势中的至少一个的事件(例如，触摸事件、接近事件，悬停事件或悬浮手势事件)，并可以根据所述事件将输入信号发送到控制器180。
根据本公开的各种实施例，显示器131可以显示(输出)将在电子装置100中被处理的各种信息。例如，显示器131可以显示与以下操作相关联的用户界面或图形用户界面(GUI)：根据用户的注视信息来显示与执行的内容相关联的导航器的操作。
根据本公开的各种示例实施例，显示器131可以显示(输出)在电子装置100中处理的各种信息。例如，显示器131可以显示与以下操作相关联的用户界面(UI)或图形用户界面(GUI))：当在屏幕关闭状态下检测到通知事件时在显示器上显示用于编写通知的第一用户界面的操作；以及当包括在第一用户界面中的用于固定显示的对象被选择时显示与该通知相关联的第二用户界面的操作。
显示器131可以支持根据风景模式的屏幕显示、根据肖像模式的屏幕显示或根据电子装置100的旋转方向(或布置方向)在风景模式和肖像模式之间改变的屏幕显示。显示器131可以使用各种显示器。根据各种示例实施例，显示器131可以使用弯曲显示器。例如，显示器131可以包括能够通过像纸一样薄的或柔性的基板被弯曲、扭曲、卷曲而不会被损坏的弯曲显示器。
弯曲显示器可以被固定到外壳(例如，主体)并且可以保持弯曲状态。根据各种示例实施例，除了弯曲显示器之外，电子装置100还可以通过使用能够如柔性显示器那样被自由地弯曲或展开的显示装置来实现。根据各种示例实施例，显示器131可以通过在液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、有源矩阵OLED(AMOLED)显示器或电子纸中使用塑料膜来替换封装液晶的玻璃基板来提供能够被折叠和展开的灵活性。根据各种示例实施例，显示器131可以被延伸到电子装置100中的至少一侧(左侧、右侧、上侧和下侧中的至少一个)。
触摸传感器133可以位于显示器131中并且可以检测接触或接近触摸屏130的表面的用户输入。根据本公开的示例实施例，触摸传感器133可以接收用于启动与电子装置100的使用相关的操作的用户输入，并且可以根据用户输入产生输入信号。用户输入可以包括基于单触摸、多触摸、悬停或悬浮手势中的至少一个输入的触摸事件或接近事件。例如，可以以敲击、拖动、轻拂、滑动、轻弹、拖动&释放、或绘画手势(例如，手写等)的方法来输入用户输入。
音频处理器140可以将从控制器180接收到的音频信号发送到扬声器141，并且可以将从麦克风143接收到的音频信号(诸如语音)发送到控制器180。音频处理器140可以在控制器180的控制下将语音/声音数据转换为可听见的声音并通过扬声器141输出可听见的声音，并且可以将从麦克风143接收的音频信号(诸如语音)转换为数字信号并可以将数字信号发送到控制器180。音频处理器140可以根据插入到数据中的音频处理信息(例如，声音效果、音乐文件等)来输出对用户输入进行响应的音频信号。
扬声器141可以输出从无线通信单元110接收到的或存储在存储器150中的音频数据。扬声器141可以输出与在电子装置100中执行的各种操作(功能)相关的音频信号。尽管它们未在本公开的实施例中示出，但是扬声器141可以具有可附接和可拆卸的耳机、头戴式耳机、或通过外部端口连接到电子装置100的头戴式耳机。
麦克风143可以接收外部音频信号并将其处理为电声数据。可以实现各种降噪算法以减少在麦克风143接收外部音频信号的过程中出现的噪声。麦克风143可以用于输入音频流，诸如语音命令(例如，用于启动音乐应用操作的语音命令)。麦克风143可以包括安装在电子装置100中的内部麦克风和连接到电子装置的外部麦克风。
存储器150可以存储由控制器180执行的一个或更多个程序，并且可以执行临时地存储输入/输出的数据的功能。输入/输出的数据可以包括诸如视频、图像、照片、音频等的文件。存储器150可以用于存储获取的数据，并且实时获取的数据可以被存储在临时存储装置中，或者被确定为将被存储的数据可以被存储在能够长时间存储数据的存储装置中。
根据各种示例实施例，存储器150可以存储用于进行以下操作的指令：获取与执行的内容相关联的内容类型或对象信息，使用内容类型或对象信息来创建导航器，将创建的导航器布置在内容中，并且根据用户的注视信息来显示导航器。存储器150可以存储用于在屏幕关闭状态下检测通知事件的指令、用于在显示器上显示用于编写通知的第一用户界面的指令、用于从用户接收通知编写输入的指令、以及用于当包括在第一用户界面中的用于固定显示的对象被选择时显示与所述通知相关的第二用户界面的指令。根据各种示例实施例，存储器150可以存储当被执行时使控制器180(例如，一个或更多个处理器)执行以下操作的指令：在屏幕关闭状态下检测通知事件，在显示器上显示用于编写通知的第一用户界面，从用户接收通知编写输入，并且当包括在第一用户界面中的用于固定显示的对象被选择时，显示与该通知相关的第二用户界面。
存储器150可以持续地或临时地存储电子装置100的操作系统(OS)、与使用触摸屏130的输入和显示的控制相关的程序、与电子装置100的各种操作(功能)的控制相关的程序、以及通过每个程序的操作而产生的各种数据。
存储器150可以包括扩展存储器(例如，外部存储器)或内部存储器。存储器150可以包括诸如闪存型存储器、硬盘型存储器、微型存储器和卡型存储器(例如，安全数字(SD)卡或eXtream数字(XD)卡)的存储器、以及动态随机存取存储器(DRAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦除PROM(EEPROM)和磁性RAM(MRAM)、磁盘和光盘之中的至少一种类型的存储介质。电子装置100可以与在互联网上执行存储器150的存储功能的网络存储器有关地进行操作。
存储器150可以存储各种软件。例如，软件元素可以包括操作系统软件模块、通信软件模块、图形软件模块、用户界面软件模块、运动图像专家组(MPEG)模块、相机软件模块、一个或更多个应用软件模块。此外，由于作为软件元素的模块可以由指令集来表示，所以该模块可以被称为指令集。该模块也可以被称为程序。
OS软件模块可以包括用于控制正常系统操作的各种软件元素。控制正常系统操作可指例如管理并控制存储器、控制并管理电源等。此外，OS软件模块可以执行在各种硬件(装置)和软件元素(模块)之间畅通地通信的功能。通信软件模块能够通过无线通信单元110与诸如计算机、服务器或移动终端的另一电子装置进行通信。此外，通信软件模块可以由与相应的通信方法相应的协议结构形成。
图形软件模块可以包括用于在触摸屏130上提供并显示图形的各种软件元素。术语“图形”可以被用于表示文本、网页、图标、数字图像、视频、动画等。图形软件模块可以包括与用户界面相关的各种软件元素。例如，图形软件模块可以包括关于用户界面的状态如何改变的信息或者用户界面的状态在何种情况下被改变的信息。
MPEG模块可以包括实现与数字内容(例如，视频、音频)相关的处理和功能(例如，产生、再现、分发和发送内容的的功能)的软件元素。相机软件模块可以包括实现与相机相关的处理和功能的相机相关软件元素。应用模块可以包括包括渲染引擎的网页浏览器、电子邮件、即时消息、文字处理、键盘仿真、地址簿、微件、数字权限管理(DRM)、虹膜扫描、语境认知、语音识别、基于位置的服务等。根据各种示例实施例，应用模块可以在输出与选择的单元相应的声音样本时处理显示选择的单元的代表颜色的操作(功能)，并且在两个单元之间的区域上显示跟踪效果。
接口160可以从另一外部电子装置接收数据，或者可以被供电并向电子装置100的各个元件发送电力。接口160可以将电子装置100的内部数据发送到另一外部电子装置。例如，有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、音频输入/输出端口、视频输入/输出端口、耳机端口等可以包括在接口160中。
相机模块170可以指支持电子装置100的拍摄功能的元件。相机模块170可以在控制器180的控制下拍摄特定对象，并将拍摄的数据(例如，图像)发送到显示器131和控制器180。相机模块170可以包括一个或更多个图像传感器。例如，相机模块170可以包括被设置在电子装置100的前表面(例如，与显示器131共面的表面)上的前置传感器(例如，前置相机)和被设置在电子装置100的后表面(例如，底表面)上的后置传感器(例如，后置相机)。
控制器180可以控制电子装置100的整体操作。例如，控制器180可以执行与VR内容或AR内容执行(或播放)、音乐播放、语音通信、数据通信、视频通信等相关联的各种控制。控制器180可以通过使用一个或更多个处理器来实现，或者控制器180可以被称为处理器。例如，控制器180可以包括作为单独元件的通信处理器(CP)、应用处理器(AP)、接口(例如，通用输入/输出(GPIO))或内部存储器，或者可以将它们集成为一个或更多个集成电路。
AP可以通过执行各种软件程序来执行电子装置100的各种功能，并且CP可以处理并控制语音通信和数据通信。此外，控制器180可以执行存储在存储器150中的特定软件模块(指令集)，并且执行与该模块相应的各种特定功能。
在本公开的各种实施例中，控制器180可以被配置为执行获取与执行的内容相关联的内容类型或对象信息的操作、使用内容类型或对象信息创建导航器的操作、将创建的导航器布置在内容中的操作、以及根据用户的注视信息显示导航器的操作。将参照以下附图来描述根据本公开的各种实施例的控制器180的控制操作。
根据各种示例性实施例，除了上述功能之外，控制器180还可以控制与电子装置100的正常功能相关的各种操作。例如，当特定应用被执行时，控制器180可以控制应用的管理和屏幕显示。此外，控制器180可以接收与由基于触摸或基于接近的输入接口(例如，触摸屏130)支持的各种触摸事件输入或接近事件输入相应的输入信号，并且可以根据输入信号来控制功能管理。此外，控制器180可以基于有线通信或无线通信来控制各种数据的交换。
电源模块190可以在控制器180的控制下被提供外部电力或内部电力，并且可以提供用于执行各个元件的操作的电力。根据本公开的示例实施例，电源模块190可以在控制器180的控制下向显示器131、相机模块170等供电或者切断向显示器131、相机模块170等的电力供应。
此外，在一些情况下，本说明书中描述的实施例可以由控制器180来实现。另外，根据基于软件的实现，可以通过使用单独的软件模块来实现本说明书中描述的诸如程序和功能的实施例。每个软件模块可以执行本说明书中描述的一个或更多个功能和操作。
图2是示出根据各种实施例的头戴式显示器的透视图。
参照图2，头戴式显示器200可以被实现为与电子装置100一体地实现的可穿戴装置。例如，头戴式显示器200包括主框架210和安装单元220，其中，安装单元220被连接到主框架210并被配置为将主框架210固定到用户身体的一部分。此外，主框架210可以包括用户输入模块211和显示位置调节单元213。
例如，用户输入模块211可以包括物理键、物理按钮、触摸键、操纵杆、轮键和触摸面板中的至少一个。在一个实施例中，当用户输入模块211是触摸面板时，触摸面板可以被布置在主框架210的侧面上。触摸面板可以包括被配置为指示头戴式显示器200的功能的控制对象(例如，被配置为控制内容的GUI)。
根据一个实施例，主框架210还可以在主框架210的外表面上包括显示位置调节单元213。主框架210可以包括能够容纳装置(诸如电子装置)的空间、结构或空腔。主框架210的后侧还可以包括被配置为与用户的面部接触的面部接触部件，并且在面向用户的两只眼睛的位置处的包括至少一个透镜的透镜组件可以被插入到面部接触部件的一部分中。透镜组件可以被配置为使得显示器或透明/半透明透镜能够被一体地或可拆卸地固定。面部接触部件的一部分可以包括具有用户的鼻子能够被舒适地插入的形状的鼻部凹槽。
主框架210可以包括塑料材料、以及例如玻璃、陶瓷、金属(例如，铝)和金属合金(例如，钢、不锈钢、或钛合金或镁合金)中的至少一种，以确保强度或美观。
安装单元220可以将头戴式显示器200固定到用户身体的一部分。安装单元220可以被配置为包括由弹性材料形成的带。在其他实施例中，安装单元220可以包括眼镜边撑、头盔或条带。
图3是示出根据各种实施例的将电子装置耦接到头戴式显示器的示例的透视图。
参照图3，头戴式显示器可以包括主框架310、安装单元320和盖体330，其中，盖体330被配置为固定耦接到主框架310的电子装置100。用户可以通过将电子装置100耦接到主框架310并且然后紧固盖体330来装配头戴式显示器。此时，主框架310和电子装置100的显示器131可以被耦接为彼此面对。
主框架310可以包括被配置为能够控制外部装置(例如，电子装置100)的用户输入模块311、被配置为支持与电子装置100的通信的连接器312、以及显示位置调节单元313。由于用户输入模块311与上面参照图2描述的相似，所以可以省略其详细描述。主框架310可以被配置为允许电子装置100可拆卸地被附接到主框架310。例如，主框架310可以包括被配置为容纳电子装置100的空间、结构或空腔。形成主框架310中的空间的部件可以包括弹性材料。形成主框架310中的空间的部件可以包括柔性材料以便改变空间的尺寸，使得可以在该空间中容纳各种尺寸的电子装置100。主框架310的后侧还可以包括与用户面部接触的面部接触部件。
连接器312可以支持与电子装置100的通信。连接器312可以被连接到电子装置100的电连接部件(例如，USB端口)，并且可以向电子装置100提供由用户输入模块311产生的用户输入信号。例如，连接器312可以使用USB接口被连接到电子装置100，并且可以将从触摸面板接收到的触摸输入发送到电子装置100。电子装置100可以执行与由用户输入模块311产生的触摸输入相应的功能。例如，电子装置100可以响应于触摸输入来控制内容执行。
盖体330可以使用例如钩体或任何其它适合的耦接器(诸如，磁体或电磁体)被物理地耦接到主框架310。盖体330可以防止电子装置100由于用户的移动而与主框架310分离，并且可以保护电子装置100免受外部影响。
图4是示出用户佩戴根据各种实施例的头戴式显示器的示例的示图。
参照图4，用户能够佩戴头戴式显示器200，以便可视化地查看(例如，观看)头戴式显示器200(或耦接在头戴式显示器200中)的屏幕。例如，当头戴式显示器200和电子装置100彼此耦接时，用户可以在佩戴头戴式显示器200时查看电子装置100的显示器131的屏幕。
下面描述的电子装置100可以是图1的电子装置100、图2的头戴式显示器200或者如图3示出的与电子装置耦接的头戴式显示器。
图5是示出根据各种实施例的操作电子装置的方法的流程图。
参照图5，在操作501，电子装置100(例如，控制器180)可以执行内容。所述内容可以指能够通过实现虚拟现实或增强现实来提供用户体验的数据。例如，用户可以选择将经由控制器180被执行(或播放)的内容，然后控制器可以执行选择的内容。
在操作503，电子装置100(例如，控制器180)可以识别内容类型(例如，内容正在被播放的格式)。可以根据配置内容的方法、格式或属性以各种内容类型来配置内容。例如，内容类型可以涉及内容的显示格式，其中，内容的显示格式包括16:9内容类型、全景内容类型、180度内容类型或360度内容类型中的至少一种。例如，16：9内容类型可以是内容以16：9的宽高比被配置的类型。16：9内容类型可以是所有16：9内容在用户的视角(例如，120°)内可见的内容类型。全景内容类型可以是使留下用户查看所有方向的印象的内容类型，并且可以比16：9内容具有更大的宽高比。全景内容可以具有比用户的视角稍大的角度(例如，180°至360°)。
16：9内容或全景内容可以是二维内容。180度内容或360度内容可以是三维内容。180度内容可以是三维内容被配置为具有半球形状的类型。360度内容可以是三维内容被配置为具有球形形状的类型。
在操作505，电子装置100(例如，控制器180)可以获取对象信息。对象信息可以是包括在内容中的项目、偏好、对象或空间中的至少一个。对象信息可以指示用户当前可见的是什么(例如，项目、偏好、对象或空间)、或者不可见但包括在内容中的对象。当内容已经包括对象信息时，控制器180可以从内容提取对象信息。可选地，当内容不包括对象信息时，控制器180可以分析(或解析)内容以创建对象信息。
在操作507，电子装置100(例如，控制器180)可以使用识别的内容类型和获取的对象信息来产生导航器。导航器可以指示与内容相关联的指南、快速菜单和索引。可以根据内容类型和对象信息来不同地创建导航器。根据各种实施例的控制器180可以根据内容类型来不同地创建导航器的类型。根据各种实施例的控制器180可以基于在用户位置和对象信息之间的距离来在导航器中布置对象信息。
例如，导航器可以围绕用户位置以圆形的形式被创建。可选地，除了圆形之外，导航器可以以三角形、正方形或多边形中的至少一个的形式被创建。在下面的描述中，将描述以圆形形式创建导航器的示例。
当内容类型是16:9内容类型时，控制器180可以创建导航器，使得对象信息被布置在用户的注视信息(例如，120度的视角)内。控制器180创建导航器，使得参照中心点在大圆形(例如，第一圆形)中布置小圆形(例如，第二圆形)，并且第一圆形和第二圆形在它们之间的部分(例如，1/3(120°))中具有间隔。在第一圆形和第二圆形之间的剩余部分(例如，2/3(240°))中可以不指示间隔。控制器180可以将与16:9内容相关联的对象信息布置在第一圆形和第二圆形之间的空间中。控制器180可以基于在用户位置和对象信息之间的距离将对象信息布置在导航器中。例如，靠近用户位置存在的对象可以位于靠近用户位置，远离用户位置存在的对象可以位于远离用户位置。
当内容类型是全景内容类型时，控制器180可以创建导航器，使得参照中心点在第一圆形中布置第二圆形，并且第一圆形和第二圆形在它们之间围绕整个360度区域具有间隔。控制器180可以将与全景内容相关联的对象信息布置在第一圆形和第二圆形之间的空间中。当内容类型是180度内容类型时，控制器180可以创建具有一个圆形的导航器，并且可以将对象信息布置在圆形的半个区域(例如，1/2)中。当内容类型是360度内容类型时，控制器180可以创建具有一个圆形的导航器，并且可以将对象信息布置在圆形的整个区域中。
在操作509，电子装置100(例如，控制器180)可以将将被显示的导航器布置在显示内容内。例如，控制器180可以将导航器布置在模拟的显示视场内的位置，其中，导航器不被显示为与执行的内容重叠。当内容正被显示在虚拟现实中时，建筑物的屋顶、天空等大部分被显示在用户头部“上方”的模拟中，并且建筑物的楼层、地面等可以被显示在用户脚部附近。也就是说，由于在用户头部“上方”或者在用户脚部附近显示的内容更少地被查看或注意的事实，所以在用户头部“上方”或者在用户脚部附近显示的内容可能并不重要。因此，控制器180能够使导航器被显示在上端区域(例如，“头部”部分或者在虚拟现实中在用户头部的上方或附近的显示区域中)或下端区域(例如，“脚部”部分、或者在虚拟现实中在用户的视场下方、可能在他们的脚部附近的显示区域中)。可选地，控制器180可以将导航器布置在除了用户的上端区域或下端区域之外的在内容中的用户注意或交互最少的一些其他“无意义”(或无用的)空间中。也就是说，控制器180可以将导航器布置在用户的上端或下端区域中，使得能够利用内容的失真区域并且可以减少用户的视觉干扰。
在操作511，电子装置100(例如，控制器180)可以根据用户的注视信息来显示导航器，用户的注视信息指示用户的注意力相对于显示器集中在哪里。例如，注视信息可以包括注视方向(例如，用户视线)、视角以及包括用户的任何旋转的移动中的至少一个。在内容的执行期间，用户可能正在向前直视。因此，当用户正在向前看时，被布置在用户的上端区域或下端区域的导航器可能不是可见的。当用户的注视信息被定位为看向用户的上端区域或下端区域时，控制器180可以显示导航器。用户可以通过查看导航器并在导航器中选择对象信息来直接移动到期望的项目(或空间)。
图6是示出根据各种实施例的在内容(例如，虚拟现实内容)中布置导航器的示例的示图。
参照图6，电子装置100(例如，控制器180)可以围绕用户611的位置布置第一导航器613或第二导航器615。例如，控制器180可以将第一导航器613布置在用户611的上端区域(例如，头部)或者可以将第二导航器615布置在用户611的下端区域(例如，脚部)中。根据实施例的控制器180可以布置第一导航器613和第二导航器615两者或者布置第一导航器613和第二导航器615中的一个。第一导航器613和第二导航器615可以彼此相同、彼此相似或彼此不同。当布置第一导航器613和第二导航器615两者时，控制器180可以将第二导航器615配置和布置成不同于第一导航器613。
第三导航器620示出第一导航器613和第二导航器615中的任何一个的可能的显示布局。在第三导航器620中，可以围绕用户位置621形成在大圆形和小圆形之间的间隔625，可以布置对象信息623，并且可以显示用户视野627。当内容类型是16：9内容或全景内容时，可以形成两个圆形之间的间隔625。控制器180可以根据内容类型来调整间隔的宽度。例如，控制器180可以将16：9内容的间隔形成为比全景内容的间隔更窄。可选地，控制器180可以根据包括在内容中的对象信息来调整间隔的宽度。
控制器180可以基于用户位置621和每条对象信息之间的距离来确定每条对象信息的位置。当内容类型是16:9内容或全景内容时，对象信息623可以被布置在两个圆形之间的间隔625中。可选地，当内容类型是180度内容时，对象信息623可以被布置在例如圆形的半个区域(1/2)中。当内容类型是360度内容时，对象信息623可以被布置在圆形的整个区域中。
用户视野627指示用户的查看信息(例如，视角或查看方向)。在16：9内容的情况下，可以围绕用户的查看信息形成两个圆形之间的间隔625。在16:9内容的情况下，导航器中的所有对象信息可以被显示在用户视野627中。在全景内容、180度内容或360度内容的情况下，用户视野627可以根据用户移动他/她的头部(例如，顺时针或逆时针)的方向而变化。根据用户视野627(例如，他在虚拟现实中正看向的特定方向)，先前对用户眼睛不可见的对象信息可能变得可见。
图7是示出根据各种实施例的基于内容配置导航器的示例的示图。
参照图7，第一导航器710示出了在16:9内容的情况下被配置(或形成)的导航器的示例。第一导航器710可以被配置为在围绕用户位置715的大圆形和小圆形之间的部分(例如，1/3或120°)中具有间隔711。在第一导航器710中布置间隔711的位置可以与用户的注视信息相应。在16:9内容的情况下，间隔711的长度可以根据用户的注视信息(例如，120度)来确定。在16：9内容的情况下，间隔711的长度可以等于用户当前的视角。在第一圆形和第二圆形之间的剩余部分(例如，2/3或240°)中可以不指示有间隔。控制器180可以基于用户位置715和每条对象信息之间的距离将每条对象信息布置在第一导航器710中。例如，第一条对象信息712、第二条对象信息713和第三条对象信息714可以是存在于与用户位置715不同的位置的各个项目。
第二导航器720示出了针对全景内容配置的导航器的示例。第二导航器720可以被配置为使得围绕用户位置725形成大圆形和小圆形，并且第二导航器720在两个圆形之间具有间隔或空间721。在全景内容的情况下，间隔721的长度可以是包括圆形的整个周长的长度。控制器180可以基于用户位置725和每条对象信息之间的距离将每条对象信息布置在第二导航器720中。例如，第一条对象信息722、第二条对象信息723、第三条对象信息724和第四条对象信息727可以是存在于与用户位置725不同的位置的各个项目。此外，控制器180可以基于用户的注视信息来确定每条对象信息的位置。例如，参照当前的用户的注视信息，第一条对象信息722、第二条对象信息723或第三条对象信息724可以与用户的视野(例如，查看方向)相应，并且第四条对象信息727可以位于与用户的视野相对的位置。这里，“与用户的视野相对的位置”可以指它存在于用户的后面。
第三导航器730示出当内容为180度内容时配置的导航器的示例。第三导航器730可以以围绕用户位置735的一个圆形的形式来配置，并且对象信息可以被布置在圆形的一半区域731(例如，1/2)中。控制器180可以基于用户位置735和每条对象信息之间的距离将每条对象信息布置在第三导航器730中。此外，控制器180可以基于用户的注视信息来确定每条对象信息的位置。例如，第一条对象信息732可以是参照用户视野(例如，查看方向)存在于第二条对象信息733左侧的项目，并且第三条对象信息734可以是参照用户视野存在于第二条对象信息733右侧的项目。
第四导航器740示出在360度内容的情况下配置的导航器的示例。第四导航器740可以以围绕用户位置745的一个圆形的形式来配置，并且对象信息可以被布置在圆形的整个区域741中。控制器180可以基于用户位置745与每条对象信息之间的距离将每条对象信息布置在第四导航器740中。此外，控制器180可以基于用户视野来确定每条对象信息的位置。
例如，第一条对象信息742、第二条对象信息743或第三条对象信息744可以是存在于用户前方的项目，第四条对象信息746、第五条对象信息747或第六条对象信息748可以是存在于用户后面的项目。此外，第一条对象信息742或第六条对象信息748可以是靠近用户位置745存在的项目并且第二条对象信息743或第五条对象信息747可以是距离用户位置745较长距离存在的项目。
图8是示出根据各种实施例的显示电子装置的导航器的方法的流程图。
参照图8，在操作801，电子装置100(例如，控制器180)可以显示导航器。控制器180可以根据用户的注视信息来显示导航器。也就是说，它可以是用户正在看向当前导航器的状态。当显示导航器时，控制器180可以执行(播放)内容。因此，当用户看向执行的内容而没有看向导航器时，控制器180可以通过执行的内容的三维用户界面(UI)向用户提供用户体验。
在操作803，电子装置100(例如，控制器180)可执行头部跟踪。控制器180可以跟踪用户头部沿着任意方向或方向组合(包括向上、向下、向左或向右)的移动。例如，当导航器显示在用户脚部下方时，控制器180可以在用户查看(或注视)用户脚部下方的位置(例如，在模拟的虚拟现实中的“下方”)时跟踪用户头部的顺时针或逆时针运动。
在操作805，电子装置100(例如，控制器180)可以根据头部跟踪来改变并显示导航器。由于内容是显示虚拟现实或增强现实的内容，所以内容(或内容的映射)可以根据用户的移动而移动。控制器180可以根据内容的移动来改变并显示导航器。例如，在在操作801正在显示根据16:9内容的导航器(例如，第一导航器710)的情况下，控制器180可以根据头部跟踪在顺时针或逆时针方向上改变导航器中的间隔，并且可以改变间隔中的对象信息。可选地，当导航器是与16：9内容相关联的导航器时，控制器180可以固定导航器而不改变它。
可选地，在在操作801正在显示根据全景内容的导航器(例如，第二导航器720)的情况下，控制器180可以根据头跟踪来改变导航器中的对象信息。例如，控制器180可以根据头部跟踪来显示与用户视野相应的对象信息。也就是说，在操作801，先前未包括在用户视野中的对象信息可以随后在操作805被显示。此外，控制器180可以以相同或相似的方式来处理根据360度内容的导航器(例如，第四导航器740)。可选地，在在操作801正在显示与180度内容相应的导航器(例如，第三导航器730)的情况下，控制器180可以根据头部跟踪顺时针或逆时针地改变导航器中的半球形区域，并且可以改变半球形区域中的对象信息。
根据各种实施例的控制器180可以从与电子装置100连接(或配对)的外部装置接收与头部跟踪相应的旋转信号，并且可以基于旋转信号来改变并显示导航器。例如，外部装置可以是手表型可穿戴装置，并且手表型可穿戴装置可以包括被布置在外部的可旋转的旋转体。用户可以旋转手表型可穿戴装置的旋转体。手表型可穿戴装置可以将与用户的旋转输入相应的旋转信号发送到电子装置100。
在操作807，电子装置100(例如，控制器180)可以确定对象信息是否被选择。例如，用户可以通过例如“推动”他们的一个脚的运动来选择导航器中的被放置在用户脚部下方的对象信息。对于这种情况，VR外围设备将不得不附接到用户的脚部，或者电子装置100的相机(例如，相机模块170)跟踪用户的脚部移动。基于头部跟踪，当用户的注视信息(例如，视线)在一条或多条对象信息上保持了预定时间或更长时间时，控制器180可以确定该对象信息被选择。
当对象信息被选择时，控制器180可以执行操作809，但是当对象信息未被选择时，控制器180可以返回到操作803。
在操作809，电子装置100(例如，控制器180)可以对与选择的对象信息相应的内容进行改变。例如，在操作801正被执行的内容可以是与第一博物馆相应的内容，并且在操作809中正被执行的内容可以是与第二博物馆相应的内容。也就是说，每个内容可以包括与不同项目(例如，第一博物馆和第二博物馆)中的一个相应的内容，并且控制器180可以提供包括与每个项目相应的对象信息的导航器。根据各种实施例的控制器180可以显示与选择的对象信息相关联的缩略图。
在操作811，电子装置100(例如，控制器180)可以显示与改变后的内容相关联的导航器。例如，控制器180可以执行以下操作：辨别改变后的内容的内容类型，获取改变后的内容的对象信息，使用内容类型和对象信息来创建导航器，将导航器布置在改变后的内容中，并且根据用户的注视信息来显示导航器。也就是说，控制器180可以在执行图5的操作503至操作509之后执行操作811。
图9是示出根据各种实施例的根据用户的视角显示导航器的示例的示图。
参照图9，第一导航器910示出了基于用户的头部跟踪915来改变用户的注视信息913的示例。第一导航器910可以具有围绕用户位置911布置的对象信息。控制器180可以基于用户的头部跟踪915的方向来改变并显示对象信息。头部跟踪915的方向(例如，注视方向)可以是从用户的视点沿顺时针方向。第二导航器920示出了已经根据头部跟踪915改变了对象信息之后的示例。第二导航器920可以响应于沿着顺时针方向在第一导航器910中发生的头部跟踪915来显示位于用户位置921右侧的对象信息。在第二导航器920中，可以在用户的注视信息923中显示位于第一导航器910右侧的对象信息。
第三导航器930示出了基于用户的视线(或注视方向)933选择对象信息935的示例。用户可以通过将视线停留在用户视野信息931中所包括的对象信息项目中的任何一个上至少预定时间来查看(或注视)所述对象信息项目中的任何一个。控制器180可以从包括在用户当前正在查看的信息931中的各种对象信息项目之中选择用户视线933被保持至少预定时间的对象信息935。第四导航器940示出与显示与第三导航器930的选择的对象信息935相应的内容的相关联的导航器。控制器180可以将内容改变为与对象信息935相应的内容，并且可以配置并显示与改变后的内容相关联的第四导航器940。由于第四导航器940被配置具有与第三导航器930的内容不同的内容，所以第四导航器940可以不同于第三导航器930。例如，第四导航器940可以包括与第三导航器930的对象信息不同的对象信息。
图10是示出根据各种实施例的根据与外部装置的交互来显示导航器的示例的示图。
参照图10，电子装置100(例如，控制器180)可以根据外部装置1010的交互来改变并显示导航器1020。例如，控制器180可以从与电子装置100连接的(或配对的)外部装置1010接收旋转信号。外部装置可以是手表型可穿戴装置，并且本公开的手表型可穿戴装置可以设置有可旋转的旋转体。用户可以旋转手表型可穿戴装置的旋转体。手表型可穿戴装置可以将与用户的旋转输入相应的旋转信号发送到电子装置100。旋转信号可以包括顺时针方向1015和逆时针方向1013。控制器180可以基于旋转信号来改变并显示导航器1020。可以根据与顺时针方向1023或逆时针方向1021相应的旋转信号，在对象信息被改变的状态下显示导航器1020。
根据各种实施例的控制器180可以使用外部装置来放大或缩小内容的映射。例如，当用户沿顺时针方向旋转旋转体时，控制器180可以放大内容的映射，并且当用户沿逆时针方向旋转旋转体时，控制器180可以缩小内容的映射。相反地，当用户沿顺时针方向旋转旋转体时，控制器180可以缩小内容的映射，并且当用户沿逆时针方向旋转旋转体时，控制器180可以放大内容的映射。
根据各种实施例的控制器180可以一起控制内容映射缩放功能和导航器改变功能。例如，当用户沿顺时针方向旋转旋转体时，控制器180可以放大内容的映射，并且可以在导航器沿顺时针方向移动的状态下显示导航器。可选地，当用户沿逆时针方向旋转旋转体时，控制器180可以缩小内容的映射，并且可以在导航器沿逆时针方向移动的状态下显示导航器。
图11是示出根据各种实施例的控制电子装置的导航器的方法的流程图。
参照图11，在操作1101，电子装置100(例如，控制器180)可以显示导航器。控制器180可以根据用户的注视信息来显示导航器。由于操作1101与操作801相似，因此可以省略其详细描述。
在操作1103，电子装置100(例如，控制器180)可以确认用户的焦点。用户的焦点可以通过例如眼睛跟踪来确认。例如，控制器180可以使用眼睛跟踪技术来确认用户的视线。以类似于头部跟踪的方式，当执行虚拟现实(VR)内容或增强现实(AR)内容时，可以使用眼睛跟踪来方便用户输入。
在操作1105，电子装置100(例如，控制器180)可以识别与用户焦点相应的对象信息(例如，屏幕上显示的对象)。例如，控制器180可以从包括在显示的导航器中的一个或更多个对象信息项目中识别用户焦点指向的位置的对象信息。类似于选择对象信息的操作，控制器180可以检测用户焦点是否朝向特定对象置留了预定时间(例如，3秒或5秒)。可选地，相对于选择对象信息的操作的时间，控制器180可以识别用户焦点在更短的预定时间(例如，1秒)内所指向的对象信息。可选地，当用户使用他们的脚部来选择(例如，按压)显示的导航器中的对象信息时，控制器180可以识别选择的对象信息。例如，VR外围设备将不得不必须被附接到用户的脚部或者电子装置100的相机(例如，相机模块170)跟踪用户的脚部移动。
在操作1107，电子装置100(例如，控制器180)可以显示与识别的对象信息相应的缩略图。缩略图可以是与对象信息相关联的内容的代表性图像(例如，原始图像)。控制器180可以在识别的对象信息旁边以弹出窗口或发言气球的形式来显示缩略图。可选地，控制器180可以将缩略图显示在导航器内。例如，当导航器以圆形的形式显示并且包括每条对象信息时，控制器180可以在圆形内部显示缩略图。用户可以查看缩略图并且可以确认与对象信息相关联的内容。
在操作1109，电子装置100(例如，控制器180)可以确定用户焦点是否被保持。例如，控制器180可以确定用户焦点是否在识别的对象信息上被保持了预定时间。
当用户焦点被保持时，控制器180可以执行操作1111，并且当用户焦点不被保持时，控制器180返回到操作1103。用户可以使用他的/她的视线的位置来确认与每个对象信息相应的缩略图，并且可以选择期望的对象信息。
在操作1111，电子装置100(例如，控制器180)可以执行与对象信息相关联的功能。例如，当对象信息与运动图像相关联时，控制器180可以播放相应的运动图像。可选地，当对象信息与对方的联系人信息相应时，控制器180可以尝试将呼叫连接到对方的联系人信息。可选地，控制器180可以显示与对象信息相关联的另外的信息。例如，当对象信息与对方的联系人信息相应时，控制器180可以显示针对对方的联系人信息的可执行功能(例如，电话、消息、信使等)的列表。
图12是示出根据各种实施例的在导航器中提供对象信息的示例的示图。
参照图12，第一导航器1210可以显示包括对象信息1211的一条或更多条对象信息。控制器180可以确认用户视线1213，其中，用户视线1213指向包括在第一导航器1210中的对象信息1211。随后，第二导航器1220示出显示与用户的视线(现在1221)指向的对象信息相关联的缩略图1223的示例。缩略图1223可以是与用户视线1221指向的对象信息相关联的内容的代表图像(或第一图像)。控制器180可以将缩略图1223显示在靠近或接近用户视线1221指向的对象信息的位置。当用户视线在预定时间内指向一条对象信息时，控制器180可以显示第三导航器1230。第三导航器1230示出缩略图(现在1233)与另外的信息1235一起被显示的示例，如由与用户视线(现在1231)相应的对象信息被显示所示。另外的信息1235可以表示与对象信息相关联的另外的功能或一些另外的内容信息。
第四导航器1240示出显示与在第一导航器1210中用户视线所指向的对象信息相关联的缩略图的另一示例。在元素1210中通过用户视线1213对对象1211进行初始指示之后，控制器180可以在第四导航器1240的整个区域中(例如，在圆形内部)显示用户视线1213指向的对象信息的缩略图。在第四导航器1240中，可以在缩略图上显示对象信息。第五导航器1250示出显示与第一导航器1210中的用户视线指向的对象信息相关联的缩略图的另一示例。
图13是示出根据各种实施例的执行与导航器相关联的功能的示例的示图。
参照图13，在第一导航器1310中，可以布置一个或更多条对象信息。对象信息可以是对方或联系人信息(例如，关于一个或更多个人)。在执行的内容中，对象信息的布置位置可以根据对方位置与用户位置的距离多远来确定。控制器180可以使用眼睛跟踪来识别在第一导航器1310中用户视线1311指向的对象信息。第二导航器1320示出显示与用户视线1321指向的对象信息相关联的缩略图1323的示例。控制器180可以将缩略图1323显示在靠近用户视线1321指向的对象信息的位置。可选地，控制器180可以在第二导航器1320的整个区域中显示用户视线1321指向的对象信息的缩略图1323。
当用户的视线在预定时间内指向一条对象信息时，控制器180可以显示第三导航器1330。第三导航器1330示出显示针对与用户视线1331相应的对象信息的缩略图1333和另外的信息1335的示例。在控制器180中，当对象信息是人(例如，对方信息)时，与人相关联的另外的功能可以是例如电话功能、共享功能和查看功能。电话功能可以是呼叫对方。共享功能可以是邀请对方到用户的位置。可选地，共享功能可以是共享被执行的内容中的关于其他用户和对方的信息。查看功能可以是移动到对方的位置。
在本公开的实施例中，计算机可读记录介质可以包括记录有用于执行以下操作的程序的计算机可读记录介质：获得与被执行的内容相关联的内容类型或对象信息，使用内容类型或对象信息创建导航器，将创建的导航器布置在内容中，并根据用户的注视信息显示导航器。
计算机可读存储介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，CD-ROM、DVD)、磁光介质(例如，光盘)、内部存储器等。指令可以包括由编译器制作的代码或能够由解释器执行的代码。根据各种实施例的由模块、编程模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方式来执行。可以根据另一顺序来执行至少一些操作，可以省略一些操作，或者还可以包括其他操作。
在本说明书和附图中公开的实施例被提供仅为了容易地描述和帮助对本公开的透彻理解，而不是旨在限制本公开。因此，应被解释为，除了本文公开的实施例之外，从本公开的技术思想推导的所有修改和改变或修改和改变的形式都落入本公开内。

Claims (15)

1.一种电子装置，包括：
显示器；
存储器；
至少一个处理器，被功能性地连接到显示器或存储器，其中，所述至少一个处理器被配置为：
获取与执行的内容相关联的内容类型或对象信息；
使用所述内容类型或所述对象信息来创建导航器；
将创建的导航器布置在内容中；
根据用户的注视信息来显示导航器。
2.如权利要求1所述的电子装置，其中，所述内容类型是16:9内容类型、全景内容类型、180度内容类型和360度内容类型中的至少一个。
3.如权利要求1所述的电子装置，其中，所述对象信息是包括在内容中的项目、偏好、对象或空间中的至少一个。
4.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：
根据内容类型，不同地创建导航器的布局；
根据用户的模拟位置与执行的内容中显示的所述对象信息之间的距离，在导航器中布置所述对象信息。
5.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：
从内容提取所述对象信息或通过分析内容来创建所述对象信息。
6.如权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
执行头部跟踪；
基于头部跟踪来改变并显示导航器。
7.如权利要求1所述的电子装置，还包括：通信单元，其中，所述至少一个处理器还被配置为：
从可操作地耦接到通信单元的外部装置接收旋转信号；
根据接收到的旋转信号来改变并显示导航器。
8.如权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
当包括在导航器中的对象信息被选择时，将执行的内容改变为与选择的对象信息相应的内容；
配置与改变后的内容相关联的导航器。
9.如权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
当包括在导航器中的对象信息被选择时，显示与选择的对象信息相关联的缩略图。
10.如权利要求9所述的电子装置，其中，所述至少一个处理器还被配置为：
当用户的注视方向在选择的对象信息上保持了预定时间时，执行与选择的对象信息相关联的功能。
11.如权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：
参照用户的位置，将导航器布置在内容中的用户的上端区域或下端区域中。
12.一种操作电子装置的方法，所述方法包括：
获取与执行的内容相关联的内容类型或对象信息；
使用所述内容类型或所述对象信息来创建导航器；
将创建的导航器布置在内容中；
根据用户的注视信息来显示导航器。
13.如权利要求12所述的方法，其中，所述内容类型是16：9内容类型、全景内容类型、180度内容类型和360度内容类型中的至少一个。
14.如权利要求12所述的方法，其中，所述对象信息是包括在内容中的项目、偏好、对象或空间中的至少一个。
15.如权利要求12所述的方法，其中，创建导航器的步骤包括：
根据所述内容类型，不同地创建导航器的形状；
基于用户位置与所述对象信息之间的距离，在中布置所述对象信息。
CN201710858334.6A 2016-09-21 2017-09-21 显示与内容相关联的导航器的方法和实现其的电子装置 Active CN107861613B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0120610 2016-09-21
KR1020160120610A KR102632795B1 (ko) 2016-09-21 2016-09-21 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치

Publications (2)

Publication Number Publication Date
CN107861613A true CN107861613A (zh) 2018-03-30
CN107861613B CN107861613B (zh) 2021-11-19

Family

ID=59997073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710858334.6A Active CN107861613B (zh) 2016-09-21 2017-09-21 显示与内容相关联的导航器的方法和实现其的电子装置

Country Status (4)

Country Link
US (1) US11054963B2 (zh)
EP (1) EP3299933B1 (zh)
KR (1) KR102632795B1 (zh)
CN (1) CN107861613B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341568A (zh) * 2021-06-04 2021-09-03 深圳市前海合航科技有限公司 智能穿戴及空气净化组合装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
KR102632795B1 (ko) 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
KR102035743B1 (ko) * 2019-06-18 2019-11-26 (주)킨사이트 의류 또는 잡화 부착 디스플레이 시스템 및 방법
US11800231B2 (en) * 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
KR20220003254A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
WO2023046902A1 (fr) * 2021-09-27 2023-03-30 All Virtual Systeme d'interface homme-machine
FR3127596A1 (fr) * 2021-09-27 2023-03-31 All Virtual Notice Technique Lanceur Tools

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1302154A (zh) * 1999-12-30 2001-07-04 汤姆森多媒体公司 在数字电视屏幕上显示应用系统的方法和装置
CN102609175A (zh) * 2010-11-24 2012-07-25 通用电气公司 使用略图导航器施加序列级操作和比较图像的系统和方法
CN103069820A (zh) * 2010-08-09 2013-04-24 夏普株式会社 显示装置、显示控制方法、显示控制程序及计算机可读取的记录介质
US20130339864A1 (en) * 2012-06-15 2013-12-19 Nokia Corporation Method and apparatus for providing mixed-reality connectivity assistance
US20140375683A1 (en) * 2013-06-25 2014-12-25 Thomas George Salter Indicating out-of-view augmented reality images
US20150153913A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for interacting with a virtual menu
US20150193018A1 (en) * 2014-01-07 2015-07-09 Morgan Kolya Venable Target positioning with gaze tracking
US20160232879A1 (en) * 2015-02-05 2016-08-11 Samsung Electronics Co., Ltd. Method and electronic device for displaying screen

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054149A (ko) 2000-05-24 2000-09-05 전연택 3차원 가상여행 시스템
US6759972B2 (en) * 2001-11-27 2004-07-06 Digicomp Research Corporation Tour group notification method
CN102483843B (zh) * 2009-08-19 2014-12-03 西门子公司 透视图的连续确定
US9007430B2 (en) 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US8902255B2 (en) 2011-06-18 2014-12-02 Microsoft Corporation Mobile platform for augmented reality
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
JP6186775B2 (ja) 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
KR102238775B1 (ko) * 2014-02-10 2021-04-09 삼성전자주식회사 전자 장치에서 증강 현실을 이용한 장비 관리 장치 및 방법
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
KR102632795B1 (ko) 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1302154A (zh) * 1999-12-30 2001-07-04 汤姆森多媒体公司 在数字电视屏幕上显示应用系统的方法和装置
CN103069820A (zh) * 2010-08-09 2013-04-24 夏普株式会社 显示装置、显示控制方法、显示控制程序及计算机可读取的记录介质
CN102609175A (zh) * 2010-11-24 2012-07-25 通用电气公司 使用略图导航器施加序列级操作和比较图像的系统和方法
US20130339864A1 (en) * 2012-06-15 2013-12-19 Nokia Corporation Method and apparatus for providing mixed-reality connectivity assistance
US20140375683A1 (en) * 2013-06-25 2014-12-25 Thomas George Salter Indicating out-of-view augmented reality images
US20150153913A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for interacting with a virtual menu
US20150193018A1 (en) * 2014-01-07 2015-07-09 Morgan Kolya Venable Target positioning with gaze tracking
US20160232879A1 (en) * 2015-02-05 2016-08-11 Samsung Electronics Co., Ltd. Method and electronic device for displaying screen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341568A (zh) * 2021-06-04 2021-09-03 深圳市前海合航科技有限公司 智能穿戴及空气净化组合装置

Also Published As

Publication number Publication date
EP3299933A1 (en) 2018-03-28
KR102632795B1 (ko) 2024-02-02
KR20180032005A (ko) 2018-03-29
EP3299933B1 (en) 2022-12-28
CN107861613B (zh) 2021-11-19
US11054963B2 (en) 2021-07-06
US20180081520A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
KR102585237B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
US11043031B2 (en) Content display property management
US20210405761A1 (en) Augmented reality experiences with object manipulation
CN107861613A (zh) 显示与内容相关联的导航器的方法和实现其的电子装置
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
KR20170053280A (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US20150138084A1 (en) Head-Tracking Based Selection Technique for Head Mounted Displays (HMD)
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
US11422380B2 (en) Eyewear including virtual scene with 3D frames
US11195341B1 (en) Augmented reality eyewear with 3D costumes
CN117916777A (zh) 手工制作的增强现实努力证据
US20240062279A1 (en) Method of displaying products in a virtual environment
CN117897680A (zh) 基于物理动作的增强现实通信交换
CN110494840A (zh) 电子设备和用于电子设备的屏幕图像显示方法
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video
US12019773B2 (en) Timelapse of generating a collaborative object
US20240070302A1 (en) Collaborative object associated with a geographical location
US20240071020A1 (en) Real-world responsiveness of a collaborative object
KR101989992B1 (ko) 영상표시장치, 및 그 동작방법
KR20240051260A (ko) 사용자 상태를 나타내기 위한 스냅샷 메시지들
CN117940964A (zh) 手工制作的增强现实体验

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant