CN108353161B - 电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法 - Google Patents

电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法 Download PDF

Info

Publication number
CN108353161B
CN108353161B CN201680064286.7A CN201680064286A CN108353161B CN 108353161 B CN108353161 B CN 108353161B CN 201680064286 A CN201680064286 A CN 201680064286A CN 108353161 B CN108353161 B CN 108353161B
Authority
CN
China
Prior art keywords
electronic device
pointer
present disclosure
movement
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680064286.7A
Other languages
English (en)
Other versions
CN108353161A (zh
Inventor
金玲里
郑崇晓
权五允
尹徐暎
洪有珍
禹周景
李恩姃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108353161A publication Critical patent/CN108353161A/zh
Application granted granted Critical
Publication of CN108353161B publication Critical patent/CN108353161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Position Input By Displaying (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

公开了一种电子设备以及用于控制通过该电子设备显示的对象的方法。该方法包括：感测电子设备的移动；在电子设备的显示器上输出立体图像；与感测到的移动相对应地在立体图像中将第一对象从第一位置移动到第二位置；以及将第一对象和第二对象中的一个移动到另一对象的位置。

Description

电子设备、可穿戴设备和用于控制通过电子设备显示的对象 的方法
技术领域
本公开总体上涉及电子设备，并且更具体地涉及可穿戴电子设备和用于控制通过这种电子设备显示的对象的方法。
背景技术
已经引入了许多可穿戴在人体上的电子设备。这样的电子设备通常被称为可穿戴设备，并且以各种类型提供，例如头戴式装置、眼镜、手表、手环、隐形眼镜、戒指、鞋子、衣服或穿戴在人体或衣服上的其他方式，导致便携性和可访问性增加。
头戴式可穿戴设备(例如，头戴式显示器(HMD))正在迅速发展。HMD可以以提供增强现实(AR)的透视类型以及以提供虚拟现实(VR)的观看闭合(see-closed)类型来提供图像。
透视类型可以使用半透射镜片的特性来将虚拟对象或目标与真实基准合成或组合，以增强否则可能难以获得的附加信息。观看闭合类型将两个显示器置于用户眼前，并允许用户通过独立画面单独观看通过外部输入提供的诸如游戏、电影、流媒体或广播之类的内容，以便用户可以仅关注该内容。
根据现有技术进行的研究是如下方法：允许诸如智能电话之类的配备有单独显示器的电子设备被安装在可穿戴设备上作为用于可穿戴设备的显示装置。
发明内容
技术问题
在将电子设备安装在可穿戴设备上以供使用时，可以考虑与用户输入有关的数据(例如，运动加速度)，以控制通过电子设备的显示器输出的对象。然而，对于这一点，现有技术在考虑这些数据的可穿戴设备技术的发展方面存在不足，导致本领域需要改进对通过电子设备显示器输出的对象的控制。
问题的解决方案
本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。
因此，本公开的一方面在于提供一种配备有显示装置的电子设备，当该电子设备被安装在可穿戴设备上时，可以识别感测到的用户输入，在所显示的对象之中识别与用户输入相关的对象，确定该对象是用户想要选择的对象，并输出该对象。
根据本公开的一方面，一种电子设备，包括显示器；传感器，感测电子设备的移动；以及处理器，进行控制以在显示器上显示左眼图像和右眼图像，与由传感器感测到的移动相对应地在与左眼图像和右眼图像相对应的立体图像中将第一对象从第一位置移动到第二位置，以及将第一对象移动到第二对象的位置，或者将第二对象移动到第一对象的位置。
根据本公开的另一方面，一种用于控制通过电子设备显示的对象的方法，包括：感测电子设备的移动；在电子设备的显示器上输出立体图像；与感测到的移动相对应地在立体图像中将第一对象从第一位置移动到第二位置；以及将第一对象移动到第二对象的位置，或者将第二对象移动到第一对象的位置。
发明的有益效果
根据本公开的实施例，通过电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法，可以与电子设备的感测到的移动相对应地控制多个对象的移动，并且可以将第一对象和与第一对象相关的第二对象中的一个对象移动到另一对象的位置，使得用最小的用户移动来控制对象的移动。
附图说明
通过参考以下结合附图给出的详细描述，本公开的上述和其他方面、特征和优点将变得更好理解，在附图中：
图1示出了根据本公开的实施例的电子设备的配置；
图2示出了根据本公开的实施例的控制通过电子设备显示的对象的方法；
图3示出了根据本公开的实施例的由电子设备根据至少一个参考来确定多个对象中的至少一个对象的方法；
图4a和图4b示出了根据本公开的实施例的可穿戴设备的示例；
图5示出了根据本公开的实施例的用户穿戴安装有电子设备的可穿戴设备的示例；
图6示出了根据本公开的实施例的电子设备的画面模式；
图7示出了根据本公开的实施例的当电子设备安装在可穿戴设备上时电子设备的显示画面的示例；
图8a至图8d示出了根据本公开的实施例的通过电子设备显示的画面；
图9示出了根据本公开的实施例的通过电子设备显示的画面；
图10示出了根据本公开的实施例的以HMD模式显示的画面；
图11示出了根据本公开的实施例的当移动对象时的情形；
图12示出了根据本公开的实施例的当移动对象时的情形；
图13示出了根据本公开的实施例的当移动对象时的情形；
图14示出了根据本公开的实施例的移动通过电子设备显示的对象的方法；
图15示出了根据本公开的实施例的当移动所显示的对象时的情形；
图16示出了根据本公开的实施例的当移动所显示的对象时的情形；
图17示出了根据本公开的实施例的在移动所显示的对象的情况下的应用执行画面的示例；
图18示出了根据本公开的实施例的当移动所显示的对象时的情形；
图19示出了根据本公开的实施例的在移动所显示的对象的情况下的应用执行画面的示例；
图20示出了根据本公开的实施例的在移动所显示的对象的情况下的应用执行画面的示例；
图21示出了根据本公开的实施例的当运行所显示的对象时的情形；
图22示出了根据本公开的实施例的示例网络环境；
图23示出了根据本公开的实施例的电子设备的配置；以及
图24示出了根据本公开的实施例的示例程序模块结构。
具体实施方式
参考附图描述本公开的实施例。然而，应理解，本公开不限于这些实施例，并且对这些实施例的所有改变和/或等同或替换也属于本公开的范围。贯穿说明书和附图，相同或类似的附图标记可以用于指代相同或类似的元件。为了清楚和简洁起见，将省略公知功能和/或配置的描述。
如本文所使用的，表述“具有”、“可以具有”、“包括”或“可以包括”特征(例如，数字、功能、操作或诸如部件等组件)指示存在该特征，而不排除其他特征的存在。
如本文所使用的，表述“A或B”、“A和/或B中的至少一项”和“A和/或B中的一个或多个”可以包括A和B的所有可能组合。例如，“A或B”、“A和B中的至少一个”和“A或B中的至少一个”可以指示：(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B。
如本文使用的，术语“第一”和“第二”可以修饰各种组件，而与重要性和/或顺序无关，并且被用于在不限制组件的情况下将组件与另一组件区分开来。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而与设备的重要性或顺序无关。在不脱离本公开范围的情况下，第一组件可以被称为第二组件，反之亦然。
将理解，当一元件(例如，第一元件)被称为操作地或者通信地“耦接到另一元件(例如，第二元件)/与另一元件耦接”或者“连接到另一元件/与另一元件连接”时，该第一元件可以直接耦接到该第二元件/与该第二元件直接耦接或直接连接到该第二元件/与该第二元件直接连接，或者可以经由第三元件耦接到该第二元件/与该第二元件耦接或连接到该第二元件/与该第二元件连接。相反，将理解，当第一元件被称为“直接耦接到第二元件/与第二元件直接耦接”或者“直接连接到第二元件/与第二元件直接连接”时，没有第三元件存在于第一元件和第二元件之间。
如本文所使用的，取决于场景，表述“被配置(或设置)为”可以与表述“适合于”、“具有......的能力”、“被设计为”、“适于”、“被制造为”或者“能够......”互换使用。表述“被配置(或设置)为”不是在本质上指示“在硬件上被专门设计为”。相反，表述“被配置为”可以指示设备可以与另一设备或设备的部件一起执行操作。例如，表述“被配置(或设置)为执行A、B和C的处理器”可以指示可以通过执行存储在存储器设备中的一个或多个软件程序来执行操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)、或者用于执行操作的专用或嵌入式处理器。
本文使用的术语仅被设置为描述其一些实施例，而不限制本公开的其他实施例的范围。将理解，单数形式“一”、“一个”和“该”包括复数指代，除非上下文另外清楚地说明。本文使用的包括技术和科学术语的所有术语具有与本公开实施例所属领域的普通技术人员通常所理解的含义相同的含义。还将理解，诸如在常用词典中定义的术语等的术语应被解释为其含义与在相关技术的上下文中的含义相一致，而不应将其解释为理想的或过于正式的意义，除非本文明确如此定义。本文中定义的术语不应被解释为排除本公开的实施例。
例如，根据本公开的实施例的电子设备可以包括以下项中的至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、个人数字助理(PDA)、便携多媒体播放器(PMP)、运动图像专家组(MPEG)层音频3(MP3)播放器、移动医疗设备、相机或可穿戴设备。
根据本公开的实施例，可穿戴设备可以包括以下项中的至少一个：饰品式设备(例如，手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或HMD)、衣料或服饰集成设备(例如，电子服饰)、身体附着型设备(例如，皮肤贴或纹身)、或身体植入式设备(例如，可植入电路)。
根据本公开的实施例，电子设备可以是家用电器，例如电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干燥器、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或GoogleTVTM)、游戏机(XboxTM、PlayStationTM)、电子词典、电子钥匙、摄像机或电子相框。
根据本公开的实施例，电子设备的示例可以包括以下项中的至少一个：各种医疗设备(包括多功能便携式医疗测量设备(例如，血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像或超声设备)、导航设备、全球导航卫星系统(GNSS)接收器、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、汽车信息娱乐设备、航海电子设备(例如，航海导航设备或陀螺罗盘)、航空电子设备、安全设备、车辆头单元、工业或家庭机器人、自动柜员机(ATM)、销售点(POS)设备或物联网设备(例如，灯泡、各种传感器、电表或燃气表、洒水器、火警、恒温调节器、街灯、烤面包机、健身器材、热水箱、加热器或烧水壶)。
根据本公开的实施例，电子设备的示例可以是以下项中的至少一个：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或例如用于测量水、电、燃气或电磁波的各种测量设备。电子设备可以是上面列出的设备中的一个或其组合，并且可以是柔性电子设备。本文公开的电子设备不限于以上列出的设备，并且可以根据新技术的发展包括新电子设备。
根据本公开的实施例，对象可以是通过立体图像在显示器上输出的指示，并且当选择特定对象时，可以在电子设备上执行针对所选择的对象预先设置的操作。
根据本公开的实施例，指针对象可以是指示特定对象的对象。当利用位于第一对象的区域中的指针对象输入预设的用户输入时，可以在电子设备上执行与第一对象有关的操作。
根据本公开的实施例，电子设备的移动可以包括电子设备基于预设的参考位置的移动角度。例如，用户可以在他/她的脸上穿戴安装有电子设备的可穿戴设备，并且可以向上、向下、向左或向右移动他/她的脸部角度，并且电子设备可以将该移动确定为电子设备的移动。
根据本公开的实施例，第一对象到第二对象的移动可以指示第一对象进入多个对象中与第一对象相关的第二对象的区域中，并且可以将第一对象和第二对象显示为彼此重叠。
在下文中，参考附图描述根据本公开的实施例的电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法。如本文使用的，术语“用户”可以表示使用电子设备的人或人工智能电子设备。
图1示出了根据本公开的实施例的电子设备的配置。
参考图1，电子设备101可以包括显示器110、传感器模块120、处理器130和存储器140。
根据本公开的实施例，当电子设备101被安装在可穿戴设备102上时，电子设备101可以以HMD模式操作。当电子设备101与可穿戴设备102功能性地连接时，可以通过电子设备101输出HMD模式画面。
当电子设备101被安装在可穿戴设备102上并以HMD模式操作时，通过显示器110显示的画面可以显示分别对应于用户的左眼和右眼的两个画面。
当电子设备101被安装在可穿戴设备102上时，显示器110可以例如以立体图像的方式输出VR画面。
传感器模块120可以包括对电子设备101的移动加速度进行感测的加速度传感器121以及对触摸输入进行感测的触摸传感器122，并且传感器模块120还可以包括能够对电子设备101或者另一电子设备的移动进行感测的各种传感器。例如，根据电子设备101的移动角度，可以选择在VR空间中显示的对象，或者可以移动指示特定对象是可选的指针对象。
根据本公开的实施例，电子设备101可以在VR空间中设置参考位置，并且传感器模块120可以基于设置的参考位置来感测电子设备101移动的角度。例如，作为参考位置，可以设置当用户观看所佩戴的电子设备102的正面时与电子设备101的角度相对应的位置值。由用户指定的其他位置值可以被设置为参考位置。
处理器130可以包括VR画面输出单元131、对象显示控制器132、对象移动控制器133和对象选择设置单元134，并且还可以包括用于控制基于所确定的用户移动显示的对象的各种组件。
VR画面输出单元131可以执行控制以输出VR画面，例如输出用于选择和控制VR画面中包括的对象的指针对象。指针对象可以执行控制以输出在VR画面上具有固定位置的固定指针、以及对象被捕捉或者移动指针随着电子设备101移动而移动的位置。
根据本公开的实施例，当确定电子设备101被安装在可穿戴设备102上时，VR画面输出单元131可以执行控制以通过显示器110输出立体图像并且在其他情况下输出VR画面。
对象显示控制器132可以执行控制以通过显示器110显示应用执行画面中包括的对象或指针对象的移动。例如，当根据至少一个参考将特定对象设置为可选的时，对象显示控制器132可以显示该对象，使得指针对象与该对象重叠。
对象移动控制器133可以基于通过传感器模块120感测到的电子设备101的移动角度来控制通过VR画面显示的对象的移动。
根据本公开的实施例，对象移动控制器133还可以考虑从可穿戴设备102识别的传感器输入来控制对象的移动。
当根据通过传感器模块120感测到的电子设备101的移动使得指针对象具有固定位置并且VR画面的第一对象被包括在具有固定位置的指针对象的区域中时，对象选择设置单元134可以确定第一对象被指出。
根据本公开的实施例，当指针对象被定位为与特定对象重叠时，对象选择设置单元134可以设置为使得重叠对象可以被选择。例如，在识别出预设输入(例如，用于使对象被设置为可选的手势输入或按钮选择)后，对象选择设置单元134可以执行控制以运行与和指针对象重叠的对象有关的操作。
根据本公开的实施例，对象选择设置单元134可以根据至少一个参考来确定在VR画面上输出的对象之中与电子设备101的移动相对应的对象，该至少一个参考可以包括指针对象和每个对象的位置、对象的重要性以及输入方法或对象之间的连接的属性，或者还可以包括用于确定旨在由用户从多个对象中选择的对象的各种参考。
存储器140包括指针控制信息141和应用程序142，并且还可以包括用于确定电子设备101的移动并且基于电子设备101的移动来确定要选择的对象的信息。
指针控制信息141可以包括用于将在立体图像中输出的对象移动到另一对象的信息。例如，该信息可以包括与每个对象和指针对象的位置、对象的重要性以及输入方法或对象之间的连接的属性有关的信息，并且还可以包括用于将多个对象中的任何一个对象移动到另一个对象的位置中的信息。
应用程序142可以包括与用于在立体图像画面上运行的应用相关的信思。
可穿戴设备102可以包括用于输出HMD模式画面的设备。例如，电子设备101和可穿戴设备102可以被配置在它们各自的设备中，或者两者可以被配置在单个设备中。
根据本公开的实施例，在识别出电子设备101和可穿戴设备102功能性地耦接在一起或电连接在一起时，电子设备101的显示器110可以执行控制以输出HMD模式画面。
图2示出了根据本公开的实施例的控制通过电子设备显示的对象的方法。
参考图2，在步骤210中，电子设备可以感测电子设备的移动，例如通过与电子设备功能性地连接的设备或通过电子设备中的加速度传感器或陀螺仪传感器。
在步骤220中，电子设备可以与感测到的移动相对应地将立体图像中的第一对象从第一位置移动到第二位置。例如，可以与电子设备相对于预定位置的角度相对应地，在立体图像中向上、向下、向左或向右移动第一对象。
在步骤230中，电子设备可以将第一对象和第二对象中的一个对象移动到另一对象的位置。例如，电子设备可以根据正在运行的应用的类型或者对象是否被移动来确定是移动第一对象还是第二对象。
根据本公开的实施例，当第二对象是画面上的固定对象时，与电子设备的移动相对应地移动的第一对象可以移动到第二对象的位置。
根据本公开的实施例，当第二对象是以连续动作在画面上移动的进度条对象时，第二对象可以与电子设备的移动相对应地移动到第一对象的位置。
图3示出了根据本公开的实施例的由电子设备根据至少一个参考来确定多个对象中的至少一个对象的方法。
根据本公开的实施例，对象以及对象之间的指针对象被显示在从电子设备输出的画面上，并且位于对象之间的指针对象可以根据针对对象的至少一个参考而移动到对象中的任何一个对象的区域中。
可以以不同的顺序执行下面描述的图3的步骤，或者可以改变或省略至少一个配置。
参考图3，在步骤311中，电子设备可以确定是否可以确定对象之间的指针对象的位置。
当在步骤311中确定对象之间的位置是可确定的时，在步骤321中，电子设备可以识别对象之中位于最靠近指针对象的对象。
当在步骤311中确定对象之间的位置不是可确定的时，在步骤312中，电子设备可以例如基于运行对应对象的计数和与用户的相关性之一来确定对象之间的重要性是否是可确定的。
当在步骤312中确定对象之间的重要性是可确定的时，在步骤322中，电子设备可以识别重要性较高的对象。
当在步骤312中确定对象之间的重要性不是可确定的时，电子设备313可以确定指针对象的移动方向是否是可确定的。
当在步骤313中确定指针对象的移动方向是可确定的时，在步骤323中，电子设备可以在对象之中识别位于指针对象移动的方向上的对象。
当在步骤313中确定指针对象的移动方向不是可确定的时，在步骤314中，电子设备可以确定对象之间的连接属性是否是可确定的。例如，对象之间的连接属性可以是与先于对象被选择的对象和每个对象有关的相关信息，并且可以考虑该连接属性以在对象之中识别与指针对象相关的对象。
当在步骤314中确定对象之间的连接属性是可确定的时，在步骤324中，电子设备可以在对象之中识别与先前选择的对象相关的对象。
当在步骤314中确定对象之间的连接属性不是可确定的时，在步骤315中，电子设备可以确定是否输入了除用于控制指针对象的用户移动之外的用户输入。例如，用户输入可以包括用户的语音数据、诸如触摸之类的手势输入、生物信息或通过电子设备输入的与用户有关的其他输入。
当在步骤315中确定其他用户输入的输入是可确定的时，在步骤325中，电子设备可以在对象之中识别与输入的用户输入相关的对象。
当执行上述操作321、322、323、324和325中的至少一个时，在步骤330中，电子设备可以将指针对象移动到通过上述操作识别出的对象的区域中。
图4a和图4b示出了根据本公开的实施例的可穿戴设备的示例。
参考图4a和图4b，例如，可穿戴设备410可以是图1的电子设备102。可穿戴设备410可以仅提供不具有与电子设备420的通信功能的安装件或支撑件的功能。可穿戴设备410可以包括主体401和盖体402。
当电子设备420被安装在可穿戴设备410上时，盖体402可以覆盖电子设备420的后表面的边缘以紧固到可穿戴设备410，使得电子设备420可以保持在安装位置。可穿戴设备410可以具有可供用户将可穿戴设备410穿戴在他/她的头上的支撑件。
可穿戴设备410可以具有分别对应于用户(穿戴者)的眼睛的镜片403。在电子设备420被安装在可穿戴设备410上的情况下，用户可以通过镜片403来观看电子设备420的显示器。如图所示，可穿戴设备410可以具有允许电子设备420安装在可穿戴设备410上的机械或仪器结构。
根据本公开的实施例，可穿戴设备410可以包括图1所示的电子设备101的组件中的至少一个组件，例如触摸面板、按钮、轮键和触摸板。触摸面板可以接收用户的触摸输入，例如用户在触摸面板上的触摸或触摸面板附近的悬停输入。当电子设备420被安装时，可穿戴设备410可以经由诸如USB之类的接口与电子设备420连接以与电子设备420进行通信。
电子设备420可以响应于从可穿戴设备410接收的输入来控制与该输入相对应的功能，例如响应于接收到的输入而调整音量或控制画面(例如，HMD模式的图像播放画面)。例如，当电子设备420被安装在可穿戴设备410上时，电子设备420的外部设备连接单元可以与可穿戴设备410的连接单元电连接以实现设备之间的通信。
图5示出了根据本公开的实施例的用户穿戴安装有电子设备的可穿戴设备的示例。
在图5中，用户可以通过设置在可穿戴设备510的侧表面中的触摸板530来控制电子设备520或可穿戴设备510的功能。
参考图4a、图4b和图5，电子设备420和520可以是图1的电子设备101，例如具有显示装置的智能电话。可穿戴设备410和510可以是图1的电子设备101或可穿戴设备102，或者可以是仪器型可穿戴安装件。
如图4a、图4b和图5所示，电子设备420和520可以被安装在可穿戴设备410和510上，使得显示器(即，触摸屏530)面向用户的脸部。用户可以通过靠近可穿戴设备410和510的盖体将电子设备420和520紧固到可穿戴设备410和510。在图5中，用户可以在他/她的头上穿戴安装有电子设备520的可穿戴设备510，并且可以通过可穿戴设备510的镜片来观看电子设备520的显示器的画面。
图6示出了根据本公开的实施例的电子设备的画面模式。
参考图6，电子设备600可以是如图4a、图4b和图5所示的电子设备420或520。当在正常模式下操作时，电子设备600可以显示如图6的上部画面所示的一个操作画面610。
根据本公开的实施例，当被安装在可穿戴设备上时，电子设备600可以以HMD模式操作，如图6的下部画面所示。当电子设备600以HMD模式操作时，可以区别地显示与用户的左眼相对应的画面620a和与用户的右眼相对应的另一画面620b。在HMD模式的画面中，一个图像可以分开显示为两个图像620a和620b。
根据本公开的实施例，当电子设备600被安装在可穿戴设备上并且以HMD模式操作时，可以确定与HMD模式相对应的画面(与左眼相对应的画面620a和与右眼相对应的画面620b)的显示区域或显示位置。
图7示出了根据本公开的实施例的当电子设备安装在可穿戴设备上时电子设备的显示画面的示例。
参考图7，用户701可以穿戴安装有电子设备702的可穿戴设备703。例如，可以在电子设备702的显示器上输出HMD模式画面721。
根据本公开的实施例，以三维(3D)立体图像来配置HMD模式画面721，并且可以通过电子设备702来输出HMD模式画面721的对象之中与电子设备702的移动点相对应的对象。例如，当用户701抬起他/她的脸部时，电子设备702可以相应地向上移动，并且可以通过电子设备702输出位于HMD模式画面721的参考位置之上的画面和对象。
根据本公开的实施例，当在HMD模式画面721上输出指针对象时，电子设备702可以根据电子设备702的移动来控制指针对象。
图8a至图8d示出了根据本公开的实施例的通过电子设备显示的画面。
参考图8a，电子设备可以输出画面800a，该画面800a包括用于至少一个网页的缩略图图像810a或用于访问特定网页的控制对象820a。例如，当通过画面800a选择缩略图图像中的一个时，电子设备可以访问与所选择的缩略图图像810a相对应的网站。
根据本公开的实施例，当选择控制对象820a中的一个时，电子设备可以执行诸如返回或者转到主屏幕之类的操作，以控制先前选择的对象(例如，缩略图图像810a)。
参考图8b，电子设备可以输出用于运行至少一个应用的程序(例如，“快速访问”)的执行画面800b。例如，至少一个应用可以在电子设备上运行预设时间，或者可以根据执行次数来指定至少一个应用。
根据本公开的实施例，执行画面可以包括用于至少一个应用的缩略图图像810b。例如，当选择缩略图图像810b中的一个时，电子设备可以运行与所选择的缩略图图像相对应的应用，或者可以运行与所选择的缩略图图像相对应的网站或新网站。
参考图8c，电子设备可以输出媒体播放应用的执行画面800c，其可以包括输出播放媒体文件的区域810c和用于控制媒体文件播放的区域820c。
参考图8d，通过电子设备显示的画面800d可以包括至少一个程序的缩略图图像810d和与特定程序相关的对象。例如，至少一个程序可以包括用于运行至少一个应用的程序(例如，“快速访问”)、网络浏览器(例如，VR网络)或书签，并且还可以包括根据电子设备上运行预设时间的计数而指定的程序的缩略图图像。
根据本公开的实施例，当针对任何一个程序的区域(例如，缩略图图像810d)输入用户输入或重叠了指针对象时，电子设备可以运行与所选择的缩略图图像810d有关的程序。
图9示出了根据本公开的实施例的通过电子设备显示的画面。
参考图9，电子设备可以输出HMD模式画面900，HMD模式画面900可以包括对象，例如至少一个应用的执行画面的第一网页911、第二网页912和第三网页913以及执行预先指定的操作的指针对象901和按钮对象902。
根据本公开的实施例，指针对象901可以随着电子设备移动而移动，并且当移动的指针对象901与输出对象中的一个重叠时，可以执行控制以便突出显示与指针对象901重叠的对象。例如，可以执行控制，以使得可以通过HMD模式画面900上的特定对象输出指针对象901被重叠的其他指示(例如，通过放大或增亮)。
根据本公开的实施例，当指针对象901位于第二网页912和按钮对象902之间时，电子设备可以将指针对象901移动到第二网页912和按钮对象902之一的位置中。例如，电子设备可以基于第二网页912和按钮对象902中的每一个与指针对象901之间的距离以及指针对象901的移动方向将指针对象901移动到所述对象之一的位置中。
图10示出了根据本公开的实施例的以HMD模式显示的画面。
参考图10，HMD模式画面1000可以包括至少一个对象，例如用于执行预先指定的操作的第一对象1011和第二对象1012以及用于指示该至少一个对象的指针对象1001。
根据本公开的实施例，可以根据穿戴输出HMD模式画面1000的电子设备的用户的移动来控制指针对象1001的移动。
根据本公开的实施例，当指针对象1001被移动到第一对象1011与第二对象1012之间的区域中时，电子设备可以根据至少一个参考来移动指针对象1001以与第一对象1011或第二对象1012中的一个重叠。例如，当指针对象1001与第一对象1011之间的距离大于指针对象1001与第二对象1012之间的距离时，电子设备可以将指针对象1001移动到第二对象1012的位置中。
图11示出了根据本公开的实施例的当移动对象时的情形。
参考图11，HMD模式画面1100可以包括至少一个对象，例如用于执行预先指定的操作的第一对象(例如，“A”)1101和第二对象(例如，“B”)1102以及用于指示该至少一个对象的指针对象(例如，“P”)1103。
根据本公开的实施例，可以根据穿戴输出HMD模式画面1100的电子设备的用户的移动来控制指针对象1103的移动。
当指针对象1103位于第一对象1101与第二对象1102之间达预设时间(例如，3秒)时，电子设备可以根据指针对象1103的移动方向来移动指针对象1103以与第一对象1101或第二对象1102中的一个重叠。例如，当指针对象1103在从第一对象1101到第二对象1102的方向上移动时，电子设备可以将指针对象1103移动到显示第二对象的区域中，以使得指针对象1103被显示为与第二对象1102重叠。
图12示出了根据本公开的实施例的当移动对象时的情形。
参考图12，HMD模式画面可以包括用于输入预先指定的字符的键区对象1200或用于指示至少一个对象的指针对象1201。键区对象1200可以包括与至少一个字符(例如，字母字符、数字、符号、辅音或元音)有关的对象(例如，“j”按钮或“i”按钮)。
根据本公开的实施例，可以根据穿戴输出HMD模式画面的电子设备的用户的移动来控制指针对象1201的移动。
根据本公开的实施例，当指针对象1201位于“j”按钮与“i”按钮之间达预设时间时，电子设备可以识别指针对象1201先前所在的对象并移动指针对象1201以与指针对象1201先前所在的对象重叠。例如，当指针对象1201先前位于与辅音相对应的“s”按钮上时，电子设备可以将指针对象1201移动到显示“i”按钮的区域中以与对应于元音的“i”按钮重叠。
根据本公开的实施例，可以将键区对象1200设置为接收韩语字符的输入。当输入诸如
Figure BDA0001648876620000161
或“까”之类的显示句子结尾的字符时，电子设备可以将指针对象1201移动到在与指针对象1201邻近的对象之中与句点相对应的对象中。
图13示出了根据本公开的实施例的当移动对象时的情形。
参考图13，HMD模式画面1300可以包括以下项中的至少一个：用于执行预先指定的操作的第一对象(例如，“A”)1301和第二对象(例如，“B”)1302以及用于指示至少一个对象的指针对象(例如，“P”)1303。
根据本公开的实施例，可以根据穿戴输出HMD模式画面1300的电子设备的用户的移动来控制指针对象1303的移动。
根据本公开的实施例，当指针对象1303位于第一对象1301与第二对象1302之间达预设时间时，电子设备还可以考虑除了用户的移动之外的用户输入(例如，语音数据或触摸输入)来移动指针对象1303以与第一对象1301和第二对象1302之一重叠。
例如，电子设备还可以考虑用户的语音数据将指针对象1303移动到显示第二对象的区域中，以使得指针对象1303被显示为与第一对象1301重叠，该第一对象1301与语音数据中包含的信息(例如，用于运行图库应用的命令、输入第二对象1302的名称(“B”)或“右手”)相关。
例如，当通过电子设备或可穿戴设备感测到的触摸输入被识别为预先指定的输入(例如，向左的滑动输入)时，电子设备可以将指针对象1303移动到与指定输入相对应的对象中。
图14示出了根据本公开的实施例的移动通过电子设备显示的对象的方法。
参考图14，在步骤1410中，电子设备可以确定指针对象是否位于特定对象的预设区域内。例如，预设区域可以包括特定对象的至少一部分。
当在步骤1410中确定指针对象并非位于预设区域内时，在步骤1420中，电子设备可以确定指针对象是否位于独立对象的区域中，例如整个显示区域中除特定对象的区域之外的区域的至少一部分。
当在步骤1420中确定指针对象并非位于独立对象的区域中时，在步骤1430中，电子设备可以确定是否识别出以连续动作移动的对象。例如，以连续动作移动的对象可以包括进度条上的指示符。
当在步骤1410、1420或1430中确定指针对象位于预设区域中或独立区域中或者对象以连续动作移动时，在步骤1440中，电子设备可以将指针对象移动到用户眼睛聚焦的位置中。例如，用户眼睛聚焦的位置可以对应于用户眼睛保持的地方以及电子设备相对于预先指定的参考位置向上、向下、向左或向右移动的角度。
图15示出了根据本公开的实施例的当移动所显示的对象时的情形。
参考图15，电子设备可以输出媒体播放应用的执行画面1500，其可以包括媒体文件播放的区域和用于控制媒体文件播放的视频控制器按钮1510。例如，当指针对象1501在画面1500的预设区域中具有固定位置达预定时间时，可以输出视频控制器按钮1510。
根据本公开的实施例，当输出视频控制器按钮1510时，电子设备可以将指针对象1501移动到视频控制器按钮1510的位置中。
根据本公开的实施例，电子设备可以控制所显示的对象的移动，以用最小的用户移动来执行与对象有关的各种操作。
图16示出了根据本公开的实施例的当移动所显示的对象时的情形。
参考图16，电子设备可以在HMD模式下输出通过用户管理被设置为书签的对象列表的应用的执行画面1600。例如，执行画面1600可以包括分别对应于书签的缩略图图像1610和用于控制缩略图图像的控制按钮区域1620。控制按钮区域1620可以包括：用于选择所有缩略图图像的“全选”按钮1621，用于取消对缩略图图像的选择的“取消”按钮1622，以及用于确保缩略图图像被选择的“完成”按钮1623。
根据本公开的实施例，当通过执行画面运行预设操作时，电子设备可以将指针对象1601移动到控制按钮区域1620中。例如，当从书签中选择至少一个对象(例如，1611、1612或1613)，并且电子设备以允许电子设备面向较低方向的角度移动时，电子设备可以将指针对象1601移动到取消按钮1622或完成按钮1623的位置中。
根据本公开的实施例，考虑到执行画面1600上的每个按钮的至少一个参考位置，电子设备可以将指针对象1601移动到取消按钮1622或完成按钮1623之一的区域中或者取消按钮1622与完成按钮1623之间的区域中。
根据本公开的实施例，在通过执行画面未能在预定时间内感测到用户的移动时，电子设备可以将指针对象1601移动到全选按钮1621的位置中。
图17示出了根据本公开的实施例的在移动所显示的对象的情况下的应用执行画面的示例。
参考图17，电子设备1700可以输出媒体播放应用的执行画面，例如视频文件。执行画面可以包括视频文件播放的区域1710和用于控制视频文件播放的控制按钮区域1720。
根据本公开的实施例，控制按钮区域1720可以包括具有指示播放时间的第一对象1721和随着电子设备移动而移动的指针对象1701的进度条区域1720。
根据本公开的实施例，进度条区域1720的第一对象1721可以随着媒体文件的播放以预定动作移动，并且可以随着电子设备的移动而移动到指针对象1701的位置。
用户可以将指针对象1701固定到与第一时间相对应的区域达预定时间。例如，电子设备可以识别指针对象1701的移动被固定的时间，并且将第一对象1721移动到与所识别的第一时间相对应的区域中。
当在第一对象1721已经移动到与第一时间相对应的区域中之后经过了预定时间时，可以通过视频文件播放的区域1710从与第一时间相对应的部分开始播放视频文件。
图18示出了根据本公开的实施例的当移动所显示的对象时的情形。
参考图18，电子设备可以输出用于设置显示器的功能的画面1800。例如，设置画面1800可以包括用于设置亮度的按钮1821。
当选择亮度设置按钮1821时，电子设备可以输出用于调节亮度的进度条1810。进度条1810可以包括指示亮度等级的第一对象1811和随着电子设备移动而移动的指针对象1801。
根据本公开的实施例，进度条区域1810的第一对象1811可以随着电子设备的移动而移动到指针对象1801的位置。
用户可以将指针对象1801固定到与诸如等级5之类的第一亮度等级相对应的位置1812达预定时间。例如，电子设备可以识别指针对象1801的移动被固定时所处的亮度等级，并且可以将第一对象1811移动到与所识别的第一亮度等级相对应的位置1812中。
当在第一对象1811已经移动到与第一亮度等级相对应的位置1812之后经过了预定时间时，电子设备可以控制显示器，以使得显示器的亮度被设置为第一亮度等级。
图19示出了根据本公开的实施例的在移动所显示的对象的情况下的应用执行画面的示例。
参考图19，电子设备可以输出网页浏览器应用的执行画面1900。例如，执行画面1900可以包括至少一个网页(例如，第一网页1911)、用于控制与所输出的网页相关的功能的按钮区域1920、以及随着用户移动而移动的指针对象1901。
根据本公开的实施例，当指针对象1901保持在第一网页1911的区域的至少一部分上达预定时间时，电子设备可以识别在指针对象1901具有固定位置达预定时间的情况下指定的左右滚动按钮1921，并且可以将左右滚动按钮1921移动到指针对象1901。
例如，用户可以为其中预设对象移动到指针对象1901的位置中的应用指定显示缩略图图像或网页的列表的应用，并且其他对象可以位于左侧和右侧以实现需要左右滚动按钮1921的各种应用。电子设备可以将在向上、向下、向右或向左方向上与指针对象1911一致的对象移动到指针对象1911的位置中。
根据本公开的实施例，电子设备可以执行控制，以根据电子设备的左或右移动，利用被重新定位在指针对象1901中的左右滚动按钮1921来输出相对于第一网页1911之前或之后的网页。
图20示出了根据本公开的实施例的在移动所显示的对象的情况下的应用执行画面的示例。
参考图20，电子设备可以通过所显示的画面2000输出已经运行预定时间的网页浏览器应用的执行画面(例如，第一网页2010)或者随着电子设备移动而移动的指针对象2001。
根据本公开的实施例，当指针对象2001保持在第一网页2010的区域中的指定区域中达预定时间时，电子设备可以输出上下滚动按钮2011并将指针对象2001移动到指定对象中。例如，第一网页2010的区域中的指定区域可以是第一网页2010的区域的无字符数据部分或第一网页2010的区域的广告数据显示部分。
根据本公开的实施例，当指针对象2001位于上下滚动按钮2011上时，电子设备可以执行控制以随着电子设备上下移动而输出第一网页2010的上部或下部。
图21示出了根据本公开的实施例的当运行所显示的对象时的情形。
参考图21，电子设备可以通过显示器输出立体图像2110。例如，可以在立体图像2110上输出随着电子设备移动而移动的指针对象2101。
电子设备可以识别指针对象2101的位置并触发定时器。例如，定时器可以确定指针对象2101是否具有固定位置达预定时间。
根据本公开的实施例，当指针对象2101在第一对象2111的区域中具有固定位置时，电子设备可以执行与第一对象2111相关的功能。例如，可以指定显示出针对第一对象捕获的照片的功能(例如，“快照”)，并且电子设备可以输出包括捕获的照片的画面2120，如图21的下部图像中所示。
图22示出了根据本公开的实施例的示例网络环境。
参考图22，网络环境2200可以包括电子设备2201、第一电子设备2202和第二电子设备2204中的至少一个、以及服务器2206，并且每个组件可以通过网络2262或通过电子设备2201的通信接口2270与电子设备2201连接。
电子设备2201可以包括总线2210、处理器2220、存储器2230、输入/输出接口2250、显示器2260和通信接口2270。在一些实施例中，电子设备2201可以不包括这些组件中的至少一个，或者可以添加另一组件。
总线2210可以包括用于将组件2220至2270相互连接并在组件之间传送通信(例如，控制消息和/或数据)的电路。
处理模块2220可以包括中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或多个。处理器2220可以对电子设备2201的至少一个其他组件执行控制，和/或执行与通信相关的操作或数据处理。
存储器2230可以包括易失性和/或非易失性存储器。例如，存储器2230可以存储与电子设备2201的至少一个其他组件相关的命令或数据。根据本公开的实施例，存储器2230可以存储软件和/或程序2240，其包括内核2241、中间件2243、应用编程接口(API)2245和/或应用2247。内核2241、中间件2243或API 2245中的至少一部分可以被表示为操作系统(OS)。
例如，内核2241可以控制或管理用于执行其他程序中实现的操作或功能的系统资源(例如，总线2210、处理器2220或存储器2230)。内核2241可以提供允许中间件2243、API2245或应用2247访问电子设备2201的各个组件以控制或管理系统资源的接口。
例如，中间件2243可以作为中继器，以允许API 2245或应用2247与内核2241进行数据通信。
中间件2243可以按照优先级顺序来处理从应用2247接收到的一个或多个任务请求。例如，中间件2243可以指派应用2247中的至少一个具有使用至少一个电子设备2201的系统资源的优先级。例如，通过根据向至少一个应用程序147指派的优先级来处理一个或多个任务请求，中间件2243可以对该一个或多个任务请求执行调度或负载均衡。
API 2245使得应用2247能够控制从内核2241或中间件2243提供的功能。例如，API133可以包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能。
输入/输出接口2250可以用作如下接口，该接口可以将从用户或其他外部设备输入的命令或数据传送到电子设备2201的其他组件，并且可以将从电子设备2201的其他组件接收的命令或数据输出给用户或其他外部设备。
显示器2260可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器2260可以向用户显示各种内容，例如文本、图像、视频、图标和符号。显示器2260可以包括触摸屏，并可以接收通过使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。
例如，通信模块2270可以建立电子设备2201与外部设备(例如，第一电子设备2202、第二电子设备2204或服务器2206)之间的通信。例如，通信模块2270可以通过无线或有线通信连接至网络2262以与外部电子设备通信。
无线通信可以使用以下项中的至少一个作为蜂窝通信协议：长期演进(LTE)、高级长期演进(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)，并且可以包括短距离通信2264(例如，无线保真(Wi-Fi)、
Figure BDA0001648876620000231
近场通信(NFC))或全球导航卫星系统(GNSS)(例如，全球定位系统(GPS)、北斗导航卫星系统(北斗)或伽利略或欧洲全球卫星导航系统)。术语“GPS”和“GNSS”在本文中可以互换使用。有线通信可以包括以下项中的至少一个：通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准(RS)-232或普通老式电话业务(POTS)。网络2262可以包括通信网络中的至少一个，例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网。
第一外部电子设备2202和第二外部电子设备2204均可以是与电子设备2201相同或不同的类型。根据本公开的实施例，服务器2206可以包括具有一个或多个服务器的组。在电子设备2201上执行的全部或一些操作可以在另一个或多个其他电子设备上执行。当电子设备2201应自动地或者根据请求而执行一些功能或服务时，作为其自身执行该功能或服务的替代或者附加地，电子设备2201可以请求另一设备执行与该功能或服务相关联的至少一些功能。其他电子设备(例如，电子设备2202和2204或服务器2206)可以执行所请求的功能或附加功能，并向电子设备2201传送执行的结果。电子设备2201可以通过按原样或附加地处理接收的结果来提供请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
图23示出了根据本公开的实施例的电子设备的配置。
参考图23，电子设备2301可以包括图22所示的电子设备2201的配置的全部或一部分。电子设备2301可以包括一个或多个应用处理器(AP)2310、通信模块2320、订户识别模块(SIM)2324、存储器2330、传感器模块2340、输入模块2350、显示器2360、接口2370、音频模块2380、相机模块2391、电力管理模块2395、电池2396、指示器2397和电机2398。
处理器2310可以通过运行操作系统或应用程序来控制连接到处理器2310的多个硬件和软件组件，并可以处理和计算各种数据。处理器2310可以以片上系统(SoC)来实现。根据本公开的实施例，处理器2310还可以包括图形处理单元(GPU)和/或图像信号处理器，并且可以包括图23中所示的组件中的至少一些。处理器2310可以将从非易失性存储器接收的命令或数据加载到易失性存储器上，处理所述命令或数据，并且将各种数据存储在非易失性存储器中。
通信模块2320可以具有与图22的通信模块2270相同或相似的配置。通信模块2320可以包括蜂窝模块2321、Wi-Fi模块2323、
Figure BDA0001648876620000242
Figure BDA0001648876620000241
模块2325、GNSS模块2327、NFC模块2328和射频(RF)模块2329。
蜂窝模块2321可以通过通信网络提供语音呼叫、视频呼叫、文本或互联网服务。蜂窝模块2321可以使用SIM卡2324执行电子设备2301在通信网络中的识别或认证。根据本公开的实施例，蜂窝模块2321可以执行可由处理器2310提供的功能中的至少一些，并且可以包括通信处理器(CP)。
Wi-Fi模块2323、蓝牙(BT)模块2325、GNSS模块2327或NFC模块2328可以包括用于处理通过该模块传输的数据的处理。蜂窝模块2321、Wi-Fi模块2323、蓝牙模块2325、GNSS模块2327和NFC模块2328中的至少两个可以被包括在单个集成电路(IC)或IC封装中。
RF模块2329可以传输数据(例如，RF信号)，并且可以包括收发机、功率放大器模块(PAM)、频率滤波器、低噪放大器(LNA)和天线。根据本公开的实施例，蜂窝模块2321、Wi-Fi模块2323、蓝牙模块2325、GNSS模块2327和NFC模块2328中至少一个可以通过单独的RF模块来传输RF信号。
订户识别模块2324可以包括含有订户识别模块和/或嵌入式SIM的卡，并且可以包含唯一标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSI))。
存储器2330可以包括内部存储器2332和外部存储器2334。内部存储器2332可以包括以下至少一项：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))。
外部存储器2334可以包括闪存驱动器，例如紧凑型闪存(CF)存储器、安全数字(SD)存储器、微型SD存储器、迷你型SD存储器、极限数字(xD)存储器、多媒体卡(MMC)和存储棒TM。外部存储器2334可以经由各种接口与电子设备2301功能地和/或物理地连接。
例如，传感器模块2340可以测量物理量或检测电子设备2301的运动状态，并且可以将测量的或检测的信息转换为电信号。传感器模块2340可以包括：手势传感器2340A、陀螺仪传感器2340B、大气压力传感器2340C、磁性传感器2340D、加速度传感器2340E、握持传感器2340F、接近传感器2340G、颜色传感器2340H(例如，红-绿-蓝(RGB)传感器)、生物特征传感器2340I、温度/湿度传感器2340J、照度传感器2340K、紫外(UV)传感器2340L和触摸传感器2340M。附加地或备选地，感测模块2340可以包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器或指纹传感器，并且还可以包括用于控制感测模块中包括的传感器中的至少一个或多个传感器的控制电路。根据本公开的实施例，电子设备2301还可以包括被配置为控制传感器模块2340的处理器，作为处理器2310的一部分或与处理器2310分离，并且当处理器2310处于睡眠模式时，电子设备2301可以控制传感器模块2340。
输入单元2350可以包括触摸面板2352、(数字)笔传感器2354、按键2356和超声输入设备2358。触摸面板2352可以使用电容式、电阻式、红外或超声方法中的至少一种方法，并且还可以包括控制电路和向用户提供触觉反应的触觉层。
(数字)笔传感器2354可以包括触摸面板的一部分或用于识别的单独片。按键2356可以包括物理按钮、光学按键或键区。超声输入设备2358可以通过麦克风2388来感测从输入工具生成的超声波，以识别与所感测的超声波相对应的数据。
显示器2360可以包括面板2362、全息设备2364和投影仪2366。面板2362可以具有与图22的显示器2260相同或相似的配置，并且可以被实现为柔性的、透明的或可穿戴的。面板2362还可以与触摸面板2352包含在一个模块中。全息设备2364可以通过使用光的干涉将三维(3D)图像(全息图)投射在空气中。投影仪2366可以通过将光投射到屏幕上来显示图像，屏幕可以位于电子设备2301的内部或外部。根据一个实施例，显示器2360还可以包括用于控制面板2362、全息设备2364或投影仪2366的控制电路。
接口2370可以包括例如高清晰度多媒体接口(HDMI)2372、USB2374、光学接口2376或D-超小型接口(D-sub)2378。接口2370可以被包括在图22中示出的通信模块2270中。附加地或备选地，接口2370可以包括移动高清链路(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
例如，音频模块2380可以将声音转换为电信号，反之亦然。音频模块2380的至少一部分可以被包括在例如如图22所示的输入/输出接口2245中。音频模块2380可以处理通过扬声器2382、接收器2384、耳机2386或麦克风2388输入或输出的声音信息。
例如，相机模块2391可以记录静止图像和视频，并且可以包括一个或多个图像传感器(例如，前置传感器和后置传感器)、镜头、图像信号处理器(ISP)或者诸如发光二极管(LED)或氙灯之类的闪光灯。
电力管理模块2395例如可以管理电子设备2301的电力，并且可以包括电力管理集成电路(PMIC)、充电器IC或电池量表。PMIC可以具有有线和/或无线再充电方案。无线充电方案可以包括磁谐振方案、磁感应方案或基于电磁波的方案，并且可以添加用于无线充电的附加电路(例如，线圈回路、谐振电路或整流器等)。电池量表可以测量电池2396的剩余电量、在电池2396被充电时的电压、电流或温度。电池2396可以包括可再充电电池或太阳能电池。
指示器2397可以指示电子设备2301或者电子设备的一部分的具体状态，例如启动状态、消息状态或再充电状态。电机2398可以将电信号转换为机械振动，并可以产生振动或触觉效果。可以在电子设备2301中包括用于支持移动TV的处理单元，诸如GPU。用于支持移动TV的处理单元可以处理与针对数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM的标准相符合的媒体数据。
电子设备的上述组件中的每一个可以包括一个或多个部件，并且部件的名称可以随着电子设备的类型而变化。
根据本公开的实施例的电子设备可以包括上述组件中的至少一个，省略组件中的一些，或者包括附加组件。一些组件可以组合为单个实体，但是该实体可以执行与组件相同的功能。
图24示出了根据本公开的实施例的示例程序模块结构。
程序模块2410可以包括控制与电子设备2201相关的资源的操作系统(OS)和/或在操作系统上驱动的各种应用2247。
操作系统可以包括安卓、iOS、Windows、塞班、Tizen或Bada。
程序2410可以包括内核2420、中间件2430、应用编程接口(API)2460和/或应用2470。程序模块2410的至少一部分可以预先加载到电子设备上或者可以从外部电子设备下载。
内核2420可以包括系统资源管理器2421和/或设备驱动器2423。系统资源管理器2421可以执行对系统资源的控制、分配或检索，并且可以包括进程管理单元、存储器管理单元或文件系统管理单元。设备驱动器2423可以包括显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键区驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件2430可以通过API 2460向应用2470提供各种功能，从而应用2470可以有效地使用电子设备中的有限系统资源，或者提供应用2470所共同需要的功能。根据本公开的实施例，中间件2430可以包括以下至少一项：运行时间库2435、应用管理器2441、窗口管理器2442、多媒体管理器2443、资源管理器2444、电力管理器2445、数据库管理器2446、包管理器2447、连接管理器2448、通知管理器2449、位置管理器2450、图形管理器2451和安全管理器2452。
运行时间库2435可以包括由编译器使用的库模块，以便在执行应用2470的同时通过编程语言来添加新的功能。运行时间库2435可以执行输入/输出管理、存储器管理或关于算术功能的操作。
应用管理器2441可以管理应用2470中的至少一个的生命周期。窗口管理器2442可以管理在屏幕上使用的GUI资源。多媒体管理器2443可以获得播放各种媒体文件所必需的格式，并使用适于格式的编解码器来对媒体文件执行编码或解码。资源管理器2444可以管理资源，诸如应用2470中的至少一个的源代码、内存或存储空间。
电力管理器2445可以与基本输入/输出系统(BIOS)一同操作，以便管理电池或电力，并可以提供用于操作电子设备所需的电力信息。数据库管理器2446可以产生、搜索或改变要在至少一个应用2470中使用的数据库。包管理器2447可以管理以包文件形式分发的应用的安装或更新。
连接管理器2448可以管理无线连接，例如Wi-Fi或
Figure BDA0001648876620000281
通知管理器2449可以以不干扰用户的方式向用户显示或通知诸如到达消息、预约或接近通知之类的事件。位置管理器2450可以管理与电子设备有关的位置信息。图形管理器2451可以管理将向用户提供的图形效果以及与图形效果相关的用户界面。安全管理器2452可以提供用于系统安全或用户认证所需的各种安全功能。根据本公开的实施例，当电子设备2201具有电话功能时，中间件2430还可以包括电话管理器，用于管理电子设备的语音呼叫功能或视频呼叫功能。
中间件2430可以包括形成上述组件的各种功能的组合的中间件模块，可以为每种类型的操作系统提供指定模块以便提供差异化功能，并且可以动态地省略一些现有组件或者添加新组件。
API 2460可以是API编程函数的集合，并可以根据操作系统具有不同配置。例如，在安卓或iOS的情况下，可以针对每个平台提供一个API集，在Tizen的情况下，可以针对每个平台提供两个或更多API集。
应用2470可以包括可提供如下功能的一个或多个应用，所述功能诸如：主页2471、拨号器2472、短消息服务(SMS)/多媒体消息服务(MMS)2473、即时消息(IM)2474、浏览器2475、相机2476、闹铃2477、联系人2478、语音拨号2479、电子邮件2480、日历2481、媒体播放器2482、相册2483、时钟2484、健康护理(例如，测量运动程度或血糖)或提供环境信息(例如，气压、湿度或温度信息)。
根据本公开的实施例，应用2470可以包括支持在电子设备2201和外部电子设备2202或2204之间的信息交换的信息交换应用。信息交换应用的示例可以包括但不限于：用于向外部电子设备传送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括用于向外部电子设备2202或2204中继从电子设备的其他应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用)产生的通知信息的功能。通知中继应用可以从外部电子设备接收通知信息，并可以将接收到的通知信息提供给用户。
设备管理应用可以执行与电子设备通信的外部电子设备2202或2204的至少一些功能(例如，打开/关闭外部电子设备或外部电子设备的一些组件或控制显示器的亮度)，并且设备管理应用可以安装、删除或更新在外部电子设备中操作的应用或从外部电子设备提供的呼叫服务或消息服务。
根据本公开的实施例，应用2470可以包括根据外部电子设备2202和2204的属性指定的移动医疗设备的健康护理应用、从外部电子设备2202和2204接收的应用以及预先加载的应用或可从服务器下载的第三方应用。根据所示实施例的程序模块2410的组件的名称可以根据操作系统的类型而改变。
根据本公开的实施例，程序模块2410的至少一部分可以实现为软件、固件、硬件或其中至少两个的组合。程序模块2410的至少一部分可以由处理器2310执行，并且可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集或进程。
术语“模块”可以指代包括硬件、软件和固件之一或其至少两个的组合在内的单元。术语“模块”可以与单元、逻辑、逻辑块、组件或电路互换地使用。模块可以是集成组件的最小单元或部分或执行一个或多个功能的最小单元或部分。可以用机械方式或电子方式来实现模块。例如，模块可以包括已知的或者将在未来开发的执行一些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)中的至少一个。
根据本公开的实施例，设备或方法的至少一部分可以被实现为存储在计算机可读存储介质中的指令(例如，程序模块)。指令在由处理器执行时可以使得处理器执行相应的功能。计算机可读存储介质可以是存储器2230。
计算机可读存储介质可以包括硬件设备(诸如硬盘、软盘和磁带(例如磁带))、光学介质(诸如致密盘ROM(CD-ROM)和数字多功能盘(DVD))、磁光介质(例如，光磁软盘、ROM、RAM或闪存)。程序指令的示例不仅可以包括机器语言代码，还可以包括可由各种计算装置使用解释器执行的高级语言代码。上述硬件设备可以被配置为操作为一个或多个软件模块，以执行本公开的实施例，反之亦然。
根据本公开的实施例的模块或程序模块可以包括上述组件中的至少一个，省略它们中的一些，或者还包括附加组件。
由根据本公开的实施例的模块、编程模块或其他组件执行的操作可以被顺序地、同时地、重复地或启发式地执行。此外，可以以不同的顺序执行操作中的一些，或者可以省略操作中的一些，或者可以包括一个或多个附加操作。
公开了本文中公开的实施例用于描述和理解所公开的技术，但是并非限制本公开的范围。因此，本公开的范围应被解释为包括基于本公开的技术精神的所有改变或实施例。
尽管已经参考本公开的某些实施例示出并描述了本公开，但是本领域技术人员应理解，在不脱离由所附权利要求及其等同物限定的本公开的范围和精神的前提下，可以对这些实施例进行形式和细节上的各种修改。

Claims (11)

1.一种电子设备，包括：
显示器；
传感器，感测所述电子设备的移动；以及
处理器，被配置为：
通过所述显示器显示包括左眼图像和右眼图像的立体图像，
基于由所述传感器感测到的所述电子设备的移动在所述立体图像中移动指针对象，
基于从所述传感器获得的信息来识别所述指针对象是否在所述立体图像中位于第一位置与第二位置之间达预设时间，其中所述第一位置是第一对象所处的位置，所述第二位置是第二对象所处的位置，所述立体图像中包括的多个对象之中的所述第一对象和所述第二对象最靠近所述指针对象，
在识别出所述指针对象位于所述第一位置与所述第二位置之间达所述预设时间之后，确定在所述指针对象位于所述第一位置与所述第二位置之间之前所述指针对象已移动的移动方向，
确定所述第一对象和所述第二对象之中位于所述移动方向上的对象，并且
将所述指针对象移动到所确定的对象的位置。
2.根据权利要求1所述的电子设备，其中所述处理器还被配置为还基于包括以下至少一项的至少一个参考来确定对象：所述指针对象与所述第一对象和所述第二对象中的每一个之间的距离、所述第一对象和所述第二对象的重要性、或者所述第一对象与所述第二对象之间的连接属性。
3.根据权利要求2所述的电子设备，其中所述处理器还被配置为：当所述指针对象在所述移动之后保持在所述第一位置或所述第二位置中达预定时间时，执行针对所述第一对象或所述第二对象指定的操作。
4.根据权利要求2所述的电子设备，其中所述处理器还被配置为：
识别除了所述电子设备的所述移动之外的通过所述电子设备输入的用户输入，并且
将所述第一对象和所述第二对象之中与所述用户输入相对应的对象确定为所述指针对象将移动到的对象。
5.根据权利要求1所述的电子设备，其中所述处理器还被配置为：当确定所述指针对象位于预设区域中达预定时间时，将第三对象移动到所述指针对象的位置，显示彼此重叠的所述指针对象和所述第三对象，执行控制以根据感测到的移动来移动彼此重叠的所述指针对象和所述第三对象，并且执行针对所述第三对象指定的操作。
6.根据权利要求1所述的电子设备，其中所述处理器还被配置为：
当所述立体图像中存在以预定动作移动的第四对象时，与感测到的移动相对应地将所述第四对象移动到所述指针对象的位置。
7.一种用于控制通过电子设备显示的对象的方法，所述方法包括：
感测所述电子设备的移动；
通过所述电子设备的显示器输出立体图像；
基于由所述电子设备的传感器感测到的所述电子设备的移动在所述立体图像中移动指针对象；
基于从所述传感器获得的信息来识别所述指针对象是否在所述立体图像中位于第一位置与第二位置之间达预设时间，其中所述第一位置是第一对象所处的位置，所述第二位置是第二对象所处的位置，所述立体图像中包括的多个对象之中的所述第一对象和所述第二对象最靠近所述指针对象；
在识别出所述指针对象位于所述第一位置与所述第二位置之间达所述预设时间之后，确定在所述指针对象位于所述第一位置与所述第二位置之间之前所述指针对象已移动的移动方向；
确定所述第一对象和所述第二对象之中位于所述移动方向上的对象；以及
将所述指针对象移动到所确定的对象的位置。
8.根据权利要求7所述的方法，还包括还基于包括以下至少一项的至少一个参考来确定对象：所述指针对象与所述第一对象和所述第二对象中的每一个之间的距离、所述第一对象和所述第二对象的重要性、或者所述第一对象与所述第二对象之间的连接属性。
9.根据权利要求8所述的方法，还包括：当所述指针对象在所述移动之后保持在所述第一位置或所述第二位置中达预定时间时，执行针对所述第一对象或所述第二对象指定的操作。
10.根据权利要求8所述的方法，还包括：
识别除了所述电子设备的所述移动之外的通过所述电子设备输入的用户输入；
确定所述第一对象和所述第二对象之中与所述用户输入相对应的对象；以及
将所述指针对象移动到所确定的对象的位置。
11.根据权利要求7所述的方法，还包括：
当确定所述指针对象位于预设区域中达预定时间时，将第三对象移动到所述指针对象的位置；
显示彼此重叠的所述指针对象和所述第三对象；
根据感测到的移动来移动彼此重叠的所述指针对象和所述第三对象；以及
执行针对所述第三对象指定的操作。
CN201680064286.7A 2015-11-04 2016-11-04 电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法 Active CN108353161B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150154732A KR102450416B1 (ko) 2015-11-04 2015-11-04 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
KR10-2015-0154732 2015-11-04
PCT/KR2016/012693 WO2017078480A1 (en) 2015-11-04 2016-11-04 Electronic device, wearable device, and method for controlling object displayed through electronic device

Publications (2)

Publication Number Publication Date
CN108353161A CN108353161A (zh) 2018-07-31
CN108353161B true CN108353161B (zh) 2021-06-15

Family

ID=57629215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064286.7A Active CN108353161B (zh) 2015-11-04 2016-11-04 电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法

Country Status (8)

Country Link
US (3) US10824236B2 (zh)
EP (1) EP3165996A1 (zh)
KR (1) KR102450416B1 (zh)
CN (1) CN108353161B (zh)
AU (1) AU2016350843A1 (zh)
BR (1) BR112018009089A8 (zh)
MX (1) MX2018005539A (zh)
WO (1) WO2017078480A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450416B1 (ko) * 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US10499134B1 (en) * 2017-09-20 2019-12-03 Jonathan Patten Multifunctional ear buds
US11567627B2 (en) * 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
DE102018204070A1 (de) 2018-03-16 2019-09-19 Carl Zeiss Ag Am Kopf tragbares visuelles Ausgabegerät
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
JP7146472B2 (ja) * 2018-06-18 2022-10-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10996831B2 (en) * 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US20220129139A1 (en) * 2020-10-22 2022-04-28 Samsung Electronics Co., Ltd. Electronic device and method for controlling display of a plurality of objects on wearable display device
CN112286287A (zh) * 2020-10-28 2021-01-29 王旭 一种挂颈式可穿戴计算设备
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
WO2001069369A1 (en) * 2000-03-17 2001-09-20 Open Tv, Inc. Method and system for choosing an item out of a list appearing on a screen
US20020163543A1 (en) * 2001-05-02 2002-11-07 Minoru Oshikiri Menu item selection method for small-sized information terminal apparatus
US7519469B2 (en) * 2005-04-28 2009-04-14 Alpine Electronics, Inc. Display method and apparatus for navigation system
US8970669B2 (en) * 2009-09-30 2015-03-03 Rovi Guides, Inc. Systems and methods for generating a three-dimensional media guidance application
US9423827B2 (en) * 2011-12-01 2016-08-23 Seebright Inc. Head mounted display for viewing three dimensional images
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9110562B1 (en) * 2012-07-26 2015-08-18 Google Inc. Snapping a pointing-indicator to a scene boundary of a video
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9904360B2 (en) 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
US9500867B2 (en) * 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US9460314B2 (en) * 2013-12-01 2016-10-04 Apx Labs, Inc. Systems and methods for providing task-based instructions
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US9588343B2 (en) * 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9377626B2 (en) 2014-02-18 2016-06-28 Merge Labs, Inc. Remote control augmented motion data capture
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
CN104965693A (zh) * 2014-08-29 2015-10-07 腾讯科技（深圳）有限公司 一种视频处理的方法和系统
KR102450416B1 (ko) * 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법

Also Published As

Publication number Publication date
CN108353161A (zh) 2018-07-31
WO2017078480A1 (en) 2017-05-11
US11822730B2 (en) 2023-11-21
BR112018009089A8 (pt) 2019-02-26
KR20170052368A (ko) 2017-05-12
US20170123504A1 (en) 2017-05-04
US20220300086A1 (en) 2022-09-22
BR112018009089A2 (pt) 2018-10-30
US20210048890A1 (en) 2021-02-18
US11360569B2 (en) 2022-06-14
EP3165996A1 (en) 2017-05-10
MX2018005539A (es) 2018-08-01
KR102450416B1 (ko) 2022-10-05
US10824236B2 (en) 2020-11-03
AU2016350843A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
CN108353161B (zh) 电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法
CN111638802B (zh) 用于提供虚拟现实服务的方法及装置
US10929005B2 (en) Electronic device, wearable device, and method of controlling displayed object in electronic device
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
US10437357B2 (en) Electronic device, wearable device, and method for controlling screen of electronic device
CN107491177B (zh) 用于识别旋转体的旋转的方法及用于处理该方法的电子设备
EP3203352B1 (en) User interfacing method and electronic device for performing the same
KR20170085317A (ko) 디스플레이 제어 방법 및 이를 사용하는 전자 장치
CN107037966B (zh) 感测输入的压力的电子设备和用于操作电子设备的方法
KR20160059264A (ko) 화면 제어 방법 및 그 방법을 처리하는 전자 장치
US10916049B2 (en) Device and method for rendering image
KR20160059765A (ko) 전자 장치의 디스플레이 방법 및 장치
CN109890266B (zh) 用于通过捕捉眼睛获得信息的方法和设备
CN107239245B (zh) 用于输出屏幕的方法和支持该方法的电子设备
CN114780011A (zh) 电子装置和在电子装置中处理通知的方法
KR20160039962A (ko) 전자 장치 및 전자 장치의 디스플레이 제어 방법
KR20160099338A (ko) 전자 장치, 웨어러블 장치 및 전자 장치의 화면 영역 제어 방법
US11006048B2 (en) Method and apparatus for acquiring omnidirectional video
US10606460B2 (en) Electronic device and control method therefor
KR20170052984A (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
KR20160105121A (ko) 전자 장치의 동작 방법, 전자 장치 및 저장 매체
US10845940B2 (en) Electronic device and display method of electronic device
KR20180041905A (ko) Emi 센서를 포함하는 전자 장치
KR20180101766A (ko) 점자 입력을 위한 전자 장치 및 그의 동작 방법
KR20180070216A (ko) 콘텐츠 태깅 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant