CN107111422B - 在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质 - Google Patents

在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质 Download PDF

Info

Publication number
CN107111422B
CN107111422B CN201580071059.2A CN201580071059A CN107111422B CN 107111422 B CN107111422 B CN 107111422B CN 201580071059 A CN201580071059 A CN 201580071059A CN 107111422 B CN107111422 B CN 107111422B
Authority
CN
China
Prior art keywords
target object
input
application
hovering input
hover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580071059.2A
Other languages
English (en)
Other versions
CN107111422A (zh
Inventor
柳性旭
朱有晟
金要汉
白恩娇
李钟元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107111422A publication Critical patent/CN107111422A/zh
Application granted granted Critical
Publication of CN107111422B publication Critical patent/CN107111422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及传感器网络、机器类型通信(MTC)、机器到机器(M2M)通信和用于物联网(IoT)的技术。本公开可以应用于基于以上技术的智能服务，比如智能家庭、智能建筑、智能城市、智能汽车、互联汽车、保健、数字教育、智能零售、安全性和安全业务。提供了用于基于由装置获得的悬停输入控制在装置上显示的对象的方法、设备和系统。

Description

在装置上显示对象的方法，执行该方法的装置和执行该方法 的记录介质
技术领域
本公开涉及在装置上显示对象的方法、显示对象的装置和执行该方法的计算机可读介质。
背景技术
作为人类产生和消费信息的以人类为中心的连接性网络的因特网现在正演进为物联网(IoT)，在物联网中，在没有人的介入的情况下比如物品的分布实体交换和处理信息。作为IoT技术和通过与云服务器的连接的大数据处理技术的组合的万物网(IoE)已经出现。随着已经需要比如“传感技术”、“有线/无线通信和网络基础设施”、“服务接口技术”和“安全性技术”的技术要素用于IoT实现，近来已经研究了传感器网络、机器到机器(M2M)通信、机器类型通信(MTC)等。
这种IoT环境可以提供通过收集和分析在所连接的物品当中生成的数据而创建对人类生活的新价值的智能因特网技术服务。通过现有的信息技术(IT)和各种工业应用之间的聚合和组合，IoT可以应用于各种领域，包括智能家庭、智能建筑、智能城市、智能汽车或者互联汽车、智能输电线路、保健、智能家电和先进医疗服务。
发明内容
技术问题
最近，随着各种类型的传感器可以包括在装置中，存在对于允许用户经由各种类型的输入来控制装置以便访问大量服务的技术的需求。
技术方案
一种显示对象的方法，该方法由装置执行。该方法包括：当装置检测到悬停输入器时，从在装置上显示的至少一个对象当中确定目标对象；基于由装置检测到的悬停输入器的位置信息，从由装置可执行的多个预定操作当中确定操作；和对于目标对象执行所确定的操作。
附图说明
这些和/或其他方面将从结合附图进行的示例性实施例的以下描述中变得明显和更容易理解，在附图中：
图1图示根据示例性实施例的用于解释由装置执行的输出对象的方法的概念图；
图2图示根据示例性实施例的由装置执行的显示对象的方法的流程图；
图3图示根据示例性实施例的由装置执行的从至少一个显示对象当中确定目标对象的方法的流程图；
图4A和4B图示根据示例性实施例的用于详细说明由装置执行的从至少一个显示对象当中确定目标对象的方法的图；
图5图示根据示例性实施例的由装置执行的基于悬停输入器的检测到的位置信息确定与悬停输入对应的操作的方法的流程图；
图6A和6B图示根据示例性实施例的用于详细说明由装置执行的基于检测到的悬停输入器的位置信息确定与悬停输入对应的操作的方法的具体图；
图7图示根据示例性实施例的用于说明由装置执行的基于目标对象的标识记号和悬停输入器的位置信息确定与目标对象有关的操作的方法的具体图；
图8A到8C图示根据示例性实施例的用于说明由装置执行的基于目标对象的标识记号和悬停输入器的位置信息改变目标对象的颜色的方法的图；
图9A到9C图示根据示例性实施例的用于说明由装置执行的基于目标对象的标识记号和悬停输入器的位置信息改变目标对象的颜色的方法的图；
图10图示根据示例性实施例的用于说明通过使用悬停输入器的位置信息和悬停输入器的移动确定与目标对象有关的操作的方法的图，该确定由装置执行；
图11A到11C图示根据示例性实施例的用于说明通过使用悬停输入器的位置信息和悬停输入器的移动确定用于改变目标对象的位置的操作的方法的图，该确定由装置执行；
图12A到12C图示根据示例性实施例的用于说明通过使用悬停输入器的位置信息和悬停输入器的移动确定用于改变目标对象的颜色的操作的方法的图，该确定由装置执行；
图13图示根据示例性实施例的确定其中执行与目标对象有关的操作的内容的方法的流程图，该确定由装置执行；
图14A到14B图示根据示例性实施例的用于详细说明确定其中执行与目标对象有关的操作的内容的方法的图，该确定由装置执行；
图15A到15C图示根据另一示例性实施例的用于详细说明确定其中执行与目标对象有关的操作的内容的方法的图，该确定由装置执行；和
图16和17图示根据示例性实施例的装置的框图。
具体实施方式
提供了用于基于由装置获得的悬停输入而控制装置上显示的对象的方法、设备和系统。
另外的方面将部分地在下面的描述中提出，且部分地将从描述显而易见，或者可以通过呈现的示例性实施例的实践习得。
根据示例性实施例的一方面，一种显示对象的方法，该方法由装置执行，包括：当装置检测到悬停输入器时，从在装置上显示的至少一个对象当中确定目标对象；基于由装置检测到的悬停输入器的位置信息，从可由装置执行的多个预定操作当中确定操作；和对于目标对象执行所确定的操作。
可以根据装置和悬停输入器之间的距离，来确定悬停输入器的位置信息。
目标对象的确定可以进一步包括从位于距检测到悬停输入器的位置预定距离内的至少一个对象当中确定包括标识记号的对象作为目标对象。
操作的确定可以进一步包括基于目标对象的标识记号和输入器的位置信息来确定操作。
操作的确定可以进一步包括：基于悬停输入器的位置信息确定操作类型；和基于悬停输入器的移动确定相对于所确定的操作类型的特定操作。
多个预定操作包括改变所确定的目标对象的位置的操作、删除所确定的目标对象的操作、以及改变所确定的目标对象的颜色、形状和大小中的至少一个的操作。
该方法可以进一步包括获得从第一应用改变到第二应用的用户输入，该第一应用包括至少一个对象，且执行所确定的操作可以进一步包括改变到第二应用并对于第二应用中的目标对象执行所确定的操作。
获得的用户输入可以进一步包括由悬停输入器生成的第二悬停输入，且该方法可以进一步包括基于第二位置信息选择与包括至少一个对象的第一应用不同的第二应用，该第二位置信息基于装置和悬停输入器之间的距离确定。
装置可以通过输出包括至少一个对象的第一内容执行第一应用，且装置可以通过输出第二内容执行第二应用。
该方法可以进一步包括当悬停输入器的位置信息在预定时间段内改变时确定第二操作、和对于目标对象执行第二操作。
根据示例性实施例的另一方面，一种配置为显示对象的装置包括：输入接收器，配置为从悬停输入器获得悬停输入；控制器，配置为当装置检测到悬停输入器时，从在装置上显示的至少一个对象当中确定目标对象，和基于由装置检测到的悬停输入器的位置信息，从可由装置执行的多个预定操作当中确定操作；和输出器，配置为对于目标对象执行所确定的操作。
可以根据装置和悬停输入器之间的距离，来确定悬停输入器的位置信息。
该控制器可以进一步配置为从位于距检测到悬停输入器的位置预定距离内的至少一个对象当中确定包括标识记号的对象作为目标对象。
该控制器可以进一步配置为基于目标对象的标识记号和输入器的位置信息来确定操作。
该控制器可以进一步配置为基于悬停输入器的位置信息确定操作类型，和基于悬停输入器的移动确定相对于所确定的操作类型的特定操作。
所述多个操作可以包括改变所确定的目标对象的位置的操作、删除所确定的目标对象的操作、以及改变所确定的目标对象的颜色、形状和大小中的至少一个的操作。
该输入器可以进一步配置为获得从包括至少一个对象的第一应用改变到由装置执行的第二应用的用户输入，且输出器可以进一步配置为改变到第二应用和对于第二应用中的目标对象执行所确定的操作。
获得的用户输入可以进一步包括由悬停输入器生成的第二悬停输入，且该控制器可以进一步配置为基于第二位置信息选择与包括该至少一个对象的第一应用不同的第二应用，该第二位置信息基于装置和悬停输入器之间的距离确定。
该装置可以通过输出包括至少一个对象的第一内容执行第一应用，且该装置可以通过输出第二内容执行第二应用。
该控制器可以进一步配置为当悬停输入器的位置信息在预定时间段内改变时选择第二操作，且该输出器可以进一步配置为对于目标对象执行第二操作。
非瞬时计算机可读记录存储介质可以在其上存储有计算机程序，该计算机程序当由计算机运行时，执行以上方法。
发明模式
现在将详细参考示例性实施例，其实例在附图中图示，其中相同的附图标记贯穿地指代相同的元件。在这点上，本示例性实施例可以具有不同形式且不应该被看作为限于在这里提出的描述。因此，以下仅通过参考附图描述示例性实施例以解释各方面。如在此使用的，术语“和/或”包括一个或多个关联的列出的项的任意和所有组合。比如“至少一个”的表达当在要素的列表之前时修改整个要素列表，而不修改列表的单个要素。
现在将参考附图更全面地描述示例性实施例。但是，本发明概念可以具体表现为许多不同形式，且不应该被看作是限于在这里提出的实施例。在示例实施例的描述中，当认为现有技术的某些具体说明不必要地模糊本发明概念的实质时省略它们。相同的附图标记表示贯穿附图说明的相同的要素。
将理解当元件被称为“连接到”或者“耦接到”另一元件时，它可以“直接连接或者耦接”到该另一元件，或者“电气连接到”该另一元件而在其间具有介于其间的元件。将进一步理解术语“包括”、“包含”、“含有”和/或“具有”当在这里使用时，指定组件的存在，但是不排除一个或多个其他组件的存在或者附加，除非另作说明。
在下文中，将参考附图具体描述示例性实施例。
图1图示根据示例性实施例的用于解释由装置100执行的输出对象的方法的概念图。
参考图1，装置100可以获得多个类型的用户输入。多个类型的用户输入可以随着改变装置100中生成的电信号的单元而变化。例如，多个类型的用户输入可以包括触摸输入或者悬停输入。触摸输入指的是当用户以触摸输入器触摸装置100从而改变在装置100中生成的电信号时执行的输入方法。另外，悬停输入可以指当用户不以装置100接触悬停输入器10、但是代替地将悬停输入器10放置在距装置100的预定范围的距离内从而改变装置100中生成的电信号时、执行的输入方法。在某些示例性实施例中，触摸输入器可以与悬停输入器相同。在下文中，为了说明的方便起见，悬停输入被描述为用户输入的示例性实例。
装置100获得用户的悬停输入。如果用户将悬停输入器10放置在距装置100的某个范围的距离内，则装置100可以检测到悬停输入器10。例如，如果悬停输入器10在距装置100的预定范围的距离内接近装置100，则可以改变装置100中生成的电信号的电容。装置100中生成的电信号的电容可以根据从由装置100和悬停输入器10之间的距离、以及悬停输入器10的移动构成的组中选出的至少一个而改变。装置100可以根据电容改变的程度标识悬停输入的类型。但是，上面描述的由装置100执行的检测悬停输入10的方法仅是实例。可以采用允许无接触状态下输入器的检测的通用的邻近传感技术作为由装置100执行的检测悬停输入器10的方法。
装置100可以运行执行各种功能的应用。在这里描述的应用可以是被设计用于运行特定作业的一组计算机程序。在这里描述的应用可以变化。例如，在这里描述的应用可以包括数字书应用、文档编辑应用、备忘录应用、日记应用、拍照应用或者电话簿应用，但是不限于此。
如果装置100运行应用，则可以在装置100的屏幕上显示与该应用有关的至少一条内容。内容可以是通过使用文本、图像、运动图像等创建且当运行应用时输出的一组数据。例如，如果装置100运行数字书重放应用，则内容可以包括构成数字书的各个页面。作为另一实例，如果装置100运行网络浏览器应用，则内容可以包括各个网页。
装置100可以运行多个应用。装置100可以基于用户输入从多个应用当中选择包括要在屏幕上显示的内容的应用。
在装置100上显示的内容可以包括从由图像、文本和运动图像构成的组中选出的至少一个类型的对象。例如，如果装置100执行数字书重放应用，则对象可以分别对应于构成数字书的页面中包括的文本、图像和运动图像。作为另一实例，如果装置100运行网络浏览器应用，则对象可以分别对应于网页中包括的文本、图像和运动图像。
装置100可以从多个对象当中检测包括标识记号的对象。在这里描述的标识记号可以包括包含各种图案且由用户在对象上显示的图像。根据示例性实施例，如果检测到悬停输入器10，则装置100可以检测包括标识记号的对象。在下文中，包括标识记号的对象被称为目标对象20。
装置100可以对于目标对象20执行与由悬停输入器10生成的悬停输入对应的操作。与悬停输入对应的操作可以相对于关于应用的元数据预先确定。关于根据装置100和悬停输入器10之间的距离确定的悬停输入、和与所确定的悬停输入对应的操作的信息可以存储在关于应用的元数据中。例如，如果装置100运行数字书重放应用，则装置100可以检测包括标识记号的文本数据作为目标对象20。在可以通过使用数字书重放应用对于文本数据执行的编辑多条文本数据的操作当中，装置100可以执行与悬停输入器10和装置100之间的距离z对应地改变文本数据的位置的操作。距离z例如可以对应于在与装置100上的显示器形成的平面垂直或者正交的方向上、悬停输入器10和装置100之间的距离。
关于根据悬停输入器10的移动执行所确定的操作的方法的信息可以存储在关于应用的元数据中。例如，如果根据悬停输入器10和装置100之间的距离确定移动作为目标对象20的文本数据的操作，则装置100可以基于悬停输入器10的移动而确定其中移动文本数据的方向。
图2图示根据示例性实施例的由装置100执行的显示对象的方法的流程图。
在操作S210中，当装置100检测到悬停输入器10时，装置100在装置100上显示的至少一个对象当中确定目标对象20。可以通过使用由用户生成的标识记号，将目标对象20与其他对象区分。例如，用户可以显示由装置100上显示的至少一个对象当中的对象上的多个对角线构成的图像。装置100可以将其中显示由多个对角线构成的图像的对象确定为目标对象20。以下将参考图3具体描述可由装置100执行的确定目标对象的示例性方法。
如果装置100检测到悬停输入器10，则装置100确定目标对象20。如果悬停输入器10位于距装置100的预定范围的距离内，则装置100可以确定目标对象20。作为另一实例，如果悬停输入器10在至少临界时间段中位于距装置10的预定范围的距离内，则装置100可以检测目标对象20。装置100可以通过设置装置100可以检测悬停输入器10的临界时间段，来防止悬停输入器10的故障，并清楚地理解用户的意图用于确定悬停输入器10。
在操作S220中，装置100在可以相对于目标对象20执行的多个预定操作当中，确定与基于由装置100检测到的悬停输入器10的位置信息确定的悬停输入对应的操作。装置100可以获得悬停输入器10的位置信息。悬停输入器10的位置信息可以基于装置100和悬停输入器10之间的距离确定。该距离可以是悬停输入器10的包括可以改变装置100的电信号的材料的一侧与装置100之间的距离。例如，如果悬停输入器10相对于装置100的屏幕位于高度z，则装置100和悬停输入器10之间的距离可以确定为z。
装置100可以基于悬停输入器10的位置信息标识悬停输入。例如，装置100可以标识具有作为悬停输入器10的位置信息的z2的悬停输入、和具有作为悬停输入器10的位置信息的z1的悬停输入。
装置100可以存储关于应用的元数据，其包括关于与标识的悬停输入对应的操作的信息。例如，如果装置100运行数字书重放应用，则关于与具有z1作为位置信息的悬停输入对应的删除文本数据的操作的信息、和关于与具有z2作为位置信息的悬停输入对应的复制文本数据的操作的信息可以存储在关于数字书重放应用的元数据中。
装置100可以通过比较所获得的悬停输入器10的位置信息与已经存储的关于应用的元数据，来确定与由悬停输入器10生成的悬停输入对应的操作。
在操作S230中，装置100执行相对于目标对象20确定的操作。根据示例性实施例，装置100可以对于包括目标对象20的内容执行所确定的操作。作为另一实例，装置100可以对于不包括目标对象20的另一内容执行所确定的操作。其他内容可以包括在包括包含目标对象20的内容的应用中或者可以包括在另一应用中。这参考图13到图15进行具体描述。
图3图示根据示例性实施例的由装置100执行的从至少一个显示对象当中确定目标对象20的方法的流程图。
在操作S310中，装置100可以选择距由装置100检测到的悬停输入器10预定范围的区域内显示的至少一个对象。装置100可以获得悬停输入器10的位置信息。装置100可以通过使用悬停输入器10的所获得的位置信息，来确定装置100的屏幕上与悬停输入器10对应的位置。如果例如使用装置d屏幕作为参考表面基于三维(3D)x-y-z位置信息表示悬停输入器10的位置，则与悬停输入器10对应的位置可以包括与相对于装置100的屏幕的x、y和z坐标对应的位置。但是，这仅是示例性实施例，且确定装置100的屏幕上与悬停输入器10对应的位置的方法不限于此。
装置100可以选择装置100的屏幕上位于距与悬停输入器10对应的位置某个范围的距离内的至少一个对象。例如，装置100可以选择装置100的屏幕上距第一位置2厘米半径内的至少一个对象。
在操作S320中，装置100可以从所选的至少一个对象当中检测包括标识记号的对象作为目标对象20。标识记号可以包括用户生成的各种图案的图像。例如，装置100可以检测所选的至少一个对象当中的其中标记由多个对角线构成的图像的对象作为目标对象20。
在操作S330中，装置100可以在可以相对于目标对象20执行的多个预定操作当中，确定与基于由装置100检测到的悬停输入器10的位置信息所确定的悬停输入对应的操作。装置100可以基于悬停输入器10的位置信息标识悬停输入。根据示例性实施例，装置100可以通过使用关于正在由装置100运行的应用的元数据，确定与标识的悬停输入对应的操作。
例如，操作S330可以对应于参考图2描述的操作220。
在操作S340中，装置100可以对于目标对象20执行所确定的操作。装置100可以通过根据用户输入改变屏幕上显示的颜色，来对于目标对象20执行所确定的操作。以下参考图13到15具体描述其实例。
操作340可以对应于参考图2描述的操作230。
图4A和4B图示根据示例性实施例的用于详细说明由装置100执行的从至少一个显示对象当中确定目标对象的方法的图。
参考图4A，装置100可以运行网络浏览器应用。关于网络浏览器应用的至少一条内容当中由用户使用网络浏览器找到的文章可以显示在装置100上。
包括文本数据的至少一个对象可以显示在装置100的屏幕上显示的文章中。如果对象类型是文本，则装置100可以以字符、单词或者句子为单位标识内容中包括的对象。
根据示例性实施例，装置100可以在位于距检测到悬停输入器10的位置预定范围的距离内的至少一个对象当中确定包括标识记号的对象422作为目标对象。
但是，这仅是示例性实施例。装置100可以从屏幕上显示的至少一条内容当中确定分别包括标识记号的所有对象422、424和426作为目标对象。
参考图4B，装置100可以显示指示确定目标对象422、424和426的信息。例如，装置100可以通过改变在目标对象422、424和426上显示的各个标识记号的颜色或者形状，来显示指示确定目标对象422、424和426的信息。
图5图示根据示例性实施例的由装置100执行的基于检测到的悬停输入器10的位置信息确定与悬停输入对应的操作的方法的流程图。
在操作S510中，当装置100检测到悬停输入器10时，装置100在装置100上显示的至少一个对象当中确定目标对象20。目标对象20可以通过使用由用户生成的标识记号与其他对象区分。
例如，操作S510可以对应于参考图2描述的操作210。
在操作S520中，装置100可以基于悬停输入器10的位置信息，来标识悬停输入。悬停输入器10的位置信息可以基于装置100和悬停输入器10之间的距离确定。例如，装置100可以标识位置信息是z1的悬停输入、和位置信息是z2的悬停输入。
在操作S530中，装置100可以确定与所标识的悬停输入对应的操作。装置100可以存储关于应用的元数据，其包括关于与标识的悬停输入对应的操作的信息。例如，如果装置100运行文档编辑应用，则关于与悬停输入器10的位置信息是z1的悬停输入对应的剪切文本数据的操作和与悬停输入器10的位置信息是z2的悬停输入对应的删除文本数据的操作的信息可以存储在关于文档编辑应用的元数据中。
在操作S540中，装置100可以执行所确定的操作。
装置100可以通过根据用户输入改变屏幕上显示的内容，来对于目标对象20执行所确定的操作。以下参考图13到15具体描述其实例。
图6图示根据示例性实施例的用于详细说明由装置100执行的基于检测到的悬停输入器10的位置信息确定与悬停输入对应的操作的方法的具体图。
参考图6，装置100可以执行文档编辑应用。
如果检测到悬停输入器610，则装置100可以确定包括标识记号的目标对象620。装置100可以通过使用悬停输入器610的位置信息，确定可以相对于目标对象620执行的多个预定操作当中的操作。
例如，参考图6A，如果悬停输入器610在预定时间段内悬停在装置100屏幕以上的高度z1，则装置100可以获得与位置信息z1对应的悬停输入。如果悬停输入器610的位置信息是z1，则装置100可以在关于文档编辑应用的元数据中确定与其中位置信息是z1的悬停输入对应的操作。例如，装置100可以确定与其位置信息是z1的悬停输入对应的剪切目标对象620的操作。装置100可以通过改变目标对象620的位置，而指示剪切目标对象620的操作。
作为另一实例，参考图6B，如果悬停输入器610在预定时间段内保持在距装置100的屏幕以上高度z2的位置，则装置100可以获得与位置信息z2对应的悬停输入。如果悬停输入器610的位置信息是z2，则装置100可以在关于文档编辑应用的元数据中确定与其位置信息是z2的悬停输入对应的操作。例如，装置100可以确定与其中位置信息是z2的悬停输入对应的删除目标对象620的操作。
图7图示根据示例性实施例的用于说明由装置100执行的、基于目标对象20的标识记号和悬停输入器10的位置信息确定与目标对象20有关的操作的方法的具体图。
在操作S710中，当装置100检测到悬停输入器10时，装置100在装置100上显示的至少一个对象当中确定目标对象20。目标对象20可以通过使用由用户生成的标识记号与其他对象区分。
例如，操作S710可以对应于参考图2描述的操作210。
在操作S720中，装置100可以基于目标对象20的标识记号和悬停输入器10的位置信息，确定可以相对于目标对象20执行的多个操作之一。
装置100可以通过组合目标对象20的标识记号的类型和悬停输入器10的位置信息，确定与目标对象20有关的操作。例如，装置100可以基于目标对象20的标识记号，确定与目标对象20有关的操作的类型。如果目标对象20的标识记号是第一图像，则装置100可以选择改变目标对象20的大小的操作。另外，如果目标对象20的标识记号是第二图像，则装置100可以选择改变目标对象20的颜色的操作。
装置100可以通过使用悬停输入器10的位置信息，确定相对于所确定的操作的类型的特定操作。例如，如果装置100选择缩放目标对象20的操作，则装置100可以根据悬停输入器10的位置信息，来选择目标对象20的新尺寸。以下将参考图8具体描述其实例。
作为另一实例，如果装置100选择改变目标对象20的颜色的操作，则装置100可以根据悬停输入器10的位置信息，来选择目标对象20的新颜色。以下将参考图9具体描述其实例。
在操作S730中，装置100可以执行所确定的操作。
装置100可以根据用户输入改变屏幕上显示的内容，并对于目标对象20执行所确定的操作。以下参考图13到图15具体描述其实例。
图8A到图8C图示用于解释根据示例性实施例的基于目标对象820的标识记号和悬停输入器810的位置信息来改变目标对象820的颜色的方法的图，该改变由装置100执行。
参考图8A到8C，可以在装置100上运行文档编辑应用。装置100可以检测屏幕上显示的至少一个对象当中的包括由多个对角线构成的图像(在下文中，称为第一图像)的标识记号的目标对象820。装置100可以通过组合第一图像的标识记号和悬停输入器810的位置信息，确定相对于目标对象820预先确定的多个操作当中的操作。
参考图8A，装置100可以通过使用第一图像的标识记号，确定与目标对象820有关的操作的类型。例如，装置100可以从关于文档编辑应用的元数据，获得指示与第一图像的标识记号对应的操作的类型是改变目标对象820的大小的操作的信息。
参考图8B和8C，装置100可以通过使用悬停输入器810的位置信息，确定相对于所确定的操作类型的特定操作。在图8B中，如果与包括第一图像的标识记号的目标对象820有关的悬停输入器810的位置是a，则装置100可以运行将目标对象820的尺寸加倍的缩放操作。作为另一实例，在图8C中，如果悬停输入器820的位置是2a，则装置100可以执行将目标对象820的尺寸放大四倍的缩放操作。
图9A到9C图示根据示例性实施例的用于说明由装置100执行的基于目标对象920的标识记号和悬停输入器910的位置信息来改变目标对象920的颜色的方法的图。
参考图9A到9C，装置100可以运行文档编辑应用。装置100可以检测屏幕上显示的至少一个对象当中的包括由多个水平线构成的图像(在下文中，称为第二图像)的标识记号的目标对象920。装置100可以通过组合第二图像的标识记号和悬停输入器910的位置信息，确定相对于目标对象920预先确定的多个操作当中的操作。
参考图9A，装置100可以通过使用第二图像的标识记号，确定与目标对象920有关的操作的类型。例如，装置100可以从关于文档编辑应用的元数据，获得指示与第二图像的标识记号对应的操作的类型是改变目标对象920的颜色的操作的信息。
另外，装置100可以通过使用悬停输入器910的位置信息，确定相对于所确定的类型的特定操作。
参考图9B，如果与包括第二图像的标识记号的目标对象920有关的悬停输入器910的位置是a，则装置100例如可以确定将目标对象920的颜色改变为蓝色的操作。
作为另一实例，参考图9C，如果悬停输入器920的位置是2a，则装置100可以确定将目标对象820的颜色改变为绿色的操作。
图10图示根据示例性实施例的用于说明通过使用悬停输入器10的位置信息和悬停输入器10的移动确定与目标对象20有关的操作的方法的图，该确定由装置100执行。
在操作S1010中，当装置100检测到悬停输入器10时，装置100在装置100上显示的至少一个对象当中确定目标对象20。目标对象20可以通过使用由用户生成的标识记号与其他对象区分。
例如，操作1010可以对应于参考图2描述的操作210。
在操作S1020中，装置100可以确定与基于悬停输入器10的位置信息和悬停输入器10的移动所确定的悬停输入对应的操作。
装置100可以通过组合悬停输入器10的位置信息与悬停输入器10的移动，确定可以相对于目标对象20执行的多个操作当中的一个操作。
根据示例性实施例，装置100可以基于悬停输入器10的移动，确定与目标对象20有关的操作的类型。与目标对象20有关的操作的类型可以基于悬停输入器10移动的方向和悬停输入器10的移动类型中的至少一个来确定。如果悬停输入器10顺序地向右移动且然后向下移动，则装置100可以确定向右移动目标对象20的操作。
装置100可以通过使用悬停输入器10的位置信息，确定相对于所确定的类型的特定操作。例如，如果装置100顺序地向右移动且然后向下移动，则装置100可以确定目标对象20按照装置100的高度要向右移动的距离。
根据另一示例性实施例，装置100可以基于悬停输入器10的位置信息，确定与目标对象20有关的操作的类型。如果悬停输入器10在预定时间段内保持在悬停输入器10处于装置100以上的高度z1的位置，则装置100可以确定改变目标对象20的颜色的操作。
装置100可以基于悬停输入器10的移动，来确定相对于所确定的操作类型的特定操作。例如，如果悬停输入器10向右移动，则装置100可以根据装置100移动的距离，来确定目标对象10的颜色。
在操作S1030中，装置100可以执行所确定的操作。
装置100可以通过根据用户输入改变屏幕上显示的内容，而执行相对于目标对象20确定的操作。
图11A到图11C图示根据示例性实施例的用于说明通过使用悬停输入器1010的位置信息和悬停输入器1010的移动确定改变目标对象1120的位置的操作的方法的图，该确定由装置100执行。
参考图11，装置100可以运行文档编辑应用。装置100可以检测在屏幕上显示的至少一个对象当中的包括标识记号的目标对象1120。
装置100可以通过组合悬停输入器10的位置信息和悬停输入器10的移动，确定可以相对于目标对象1120执行的多个预定操作当中的操作。
例如，装置100可以基于从由悬停输入器10移动的方向和悬停输入器10的移动形式构成的组中选出的至少一个，确定与目标对象1120有关的操作的类型。在图11中，如果悬停输入器10顺序地向右移动和以向下方向移动，则装置100可以确定向右移动目标对象1120的位置的操作。
装置100可以基于悬停输入器10的位置信息，确定目标对象1120向右移动的距离。例如，参考图11B，如果悬停输入器10的位置信息是b，则装置100可以与第一单位距离对应地向右移动目标对象1120。如果目标对象20是文本数据中包括的词，则第一单位距离可以是一个字符。例如，装置100可以在位于目标对象1120的右边的词的字母之间插入目标对象1120，且因此，向右移动目标对象1120。
作为另一实例，参考图11C，如果悬停输入器10的位置信息是2b，则装置100可以与第二单位距离对应地向右移动目标对象1120。如果目标对象1120是文本数据中包括的词，则第二单位距离可以是一个词。例如，装置100可以通过交换位于目标对象1120的右边的词与目标对象1120而向右移动目标对象1120。
图12A到12C图示根据示例性实施例的用于说明通过使用悬停输入器10的位置信息和悬停输入器10的移动来确定改变目标对象20的颜色的操作的方法的图，该确定由装置100执行。
装置100可以通过组合悬停输入器10的位置信息与悬停输入器10的移动，确定可以相对于目标对象20执行的多个预定操作之一。
例如，参考图12A，如果悬停输入器10在预定时间段内保持在距装置100以上高度z1的位置，则装置100可以确定改变目标对象20的颜色的操作。
装置100可以基于悬停输入器10的移动，来确定相对于所确定的操作的类型的特定操作。如果悬停输入器10向右移动，则装置100可以根据装置100移动的距离，来确定目标对象10的颜色。
例如，参考图12B，如果悬停输入器910与第一单位距离对应地向右移动，则装置100可以将目标对象920的颜色改变为蓝色。作为另一实例，参考图12C，如果悬停输入器910与第二单位距离对应地向右移动，则装置100可以将目标对象920的颜色改变为绿色。
图13图示根据示例性实施例的确定其中执行与目标对象10有关的操作的内容的方法的流程图，该确定由装置100执行。
在操作S1310中，当装置100检测到悬停输入器10时，装置100在装置100上显示的至少一个对象当中确定目标对象20。目标对象20可以通过使用由用户生成的标识记号与其他对象区分。
在操作S1320中，装置100可以在可以相对于目标对象20执行的多个预定操作当中，确定与基于由装置100检测到的悬停输入器10的位置信息所确定的悬停输入对应的操作。装置100可以基于悬停输入器10的位置信息标识悬停输入。根据示例性实施例，装置100可以通过使用关于正在由装置100运行的应用的元数据，确定与标识的悬停输入对应的操作。
例如，操作S1320可以对应于参考图2描述的操作220。
在操作S1330中，装置100可以基于用户输入，将在屏幕上显示并包括至少一个对象的内容改变为正在由装置100运行的其他内容。用户输入可以包括触摸输入或者悬停输入。但是，这仅是示例性实施例，且用户输入不限于此。
根据示例性实施例，如果装置100接收到第二悬停输入，则装置100可以将目标对象20移动到其他内容。例如，当运行数字书应用时，如果装置100接收到第二悬停输入，则装置100可以将目标对象20从包括目标对象20的页面移动到不同页面。作为另一实例，装置100可以将内容中包括的目标对象20移动到当运行另一应用时输出的其他内容。当获得第二悬停输入时，装置100可以将当运行第一网络浏览器应用时输出的第一内容中包括的目标对象20移动到当运行第二网络浏览器应用时输出的第二内容。
装置100可以基于第二悬停输入的移动和第二悬停输入的位置信息之一，确定目标对象20要移动到的其他内容。以下参考图14和图15具体描述其实例。
如果装置100将目标对象10移动到其他内容，则装置100可以与悬停输入器10的移动对应地改变和显示目标对象10的位置。用户可以标识目标对象10要移动到的位置，并将目标对象10直观地移动到其他内容。
在操作S1340中，装置100可以在目标对象10移动到的内容中执行相对于目标对象20的所确定的操作。例如，如果相对于目标对象20的所确定的操作包括剪切和粘贴目标对象20的操作，则装置100可以从包括目标对象20的内容剪切目标对象20，且然后将目标对象20粘贴到目标对象20要移动到的内容。
图14A到14B图示根据示例性实施例的用于详细说明确定其中执行与目标对象1420有关的操作的内容的方法的图，该确定由装置100执行。
参考图14，装置100可以运行数字书重放应用。当装置100检测到悬停输入器1410时，装置100在装置100上显示的至少一个对象当中确定目标对象1420。目标对象1420可以通过使用由用户生成的标识记号与其他对象区分。
装置100可以在可以相对于目标对象1420执行的多个预定操作当中，确定与基于由装置100检测到的悬停输入器1410的位置信息确定的悬停输入对应的操作。装置100可以基于悬停输入器1410的位置信息，确定剪切和粘贴目标对象1420的操作。
如果装置100接收到用户输入1430，则装置100可以在装置100的屏幕上显示与先前在其上显示的内容不同的内容。例如，当装置100接收到用户输入1430时，代替包括目标对象1420的第一页面，装置100可以在屏幕上显示包括目标对象1420的第二页面。
装置100可以对于不同内容中包括的目标对象1420执行所确定的操作。例如，当装置100接收到用户输入1430时，装置100可以在屏幕上显示第二页面，并将目标对象1420粘贴到第二页面上与悬停输入器1410的位置对应的位置。
图15A到15C图示根据另一示例性实施例的用于详细说明确定其中执行与目标对象1510有关的操作的内容的方法的图，该确定由装置100执行。
参考图15，装置100可以执行多个网络浏览器应用。当装置100检测到悬停输入器1510时，装置100在装置100上显示的至少一个对象当中确定目标对象1520。目标对象1520可以通过使用由用户生成的标识记号与其他对象区分。
装置100可以在可以相对于目标对象1520执行的多个预定操作当中，确定与基于由装置100检测到的悬停输入器10的位置信息确定的悬停输入对应的操作。例如，装置100可以基于悬停输入器1510的位置信息，确定剪切和粘贴目标对象1520的操作。
当装置100接收到用户输入时，装置100可以在屏幕上显示不同内容。例如，装置100可以接收第二悬停输入，该第二悬停输入用于在装置100的屏幕上显示与先前在其上显示的内容不同的内容。如果装置100接收到第二悬停单元，则装置100可以基于从由第二悬停输入的移动和第二悬停输入的位置信息构成的组中选出的至少一个，选择于先前在其上显示的内容不同的内容。例如，参考图15B，装置100可以基于第二悬停输入的位置信息，选择由装置100运行的多个应用的各条内容当中的一条内容。如果第二悬停输入的位置信息是z2，则当装置100获得用户输入时，装置100可以将包括屏幕上显示的目标对象1520的第一网络浏览器应用的网页改变为与位置信息z2对应的第二网络浏览器应用的网页。
装置100可以对于不同内容中包括的目标对象1520执行所确定的操作。例如，参考图15C，当获得用户输入时，装置100可以执行将目标对象1520粘贴到第二网络浏览器应用的网页的操作。
图16和17图示根据示例性实施例的装置100的框图。
如图16所示，根据示例性实施例，装置100可以包括输入器110、控制器120和输出器130。但是，图16所示的元件不是必要元件。装置100可以通过使用比在图16中示出的更多或者更少的元件实现。
例如，如图17所示，根据示例性实施例，除输入器110、控制器120和输出器130之外，装置100还可以包括传感器140、通信器150、音频-视频(A/V)输入器160和存储器170。
在下文中，描述图16和17中示出的单元。
输入器110可以是用于输入数据以使得用户可以控制装置100的单元。例如，输入器110可以包括键盘、圆盖开关、触摸垫(可以是电容覆盖类型、电阻覆盖类型、红外光束类型、表面声波类型、集成应力计类型或者压电类型)、滚轮或者摇动开关，但是不限于此。
输入器110可以获得各种类型的用户输入。例如，输入器110可以从用户获得基于改变由装置100检测到的电容的方法的悬停输入。另外，输入器110可以获得将在装置100上显示且包括至少一个对象的内容改变为由装置100运行的另一内容的用户输入。
控制器120通常控制装置100的全部操作。例如，控制器120运行存储器170中存储的程序从而控制输入器110、输出器130、传感器140、通信器150和A/V输入器160。
当检测到用于生成悬停输入的悬停输入器10时，控制器120可以从装置100上显示的至少一个对象当中确定目标对象20。例如，控制器120可以在位于距检测到悬停输入器10的位置预定范围的距离内的至少一个对象当中确定包括标识记号的对象作为目标对象。
控制器120可以在可以相对于目标对象20执行的多个预定操作当中，确定与基于由控制器120检测到的悬停输入器10的位置信息所确定的悬停输入对应的操作。
根据另一示例性实施例，控制器120可以基于目标对象20的标识记号和悬停输入器10的位置信息，确定从由可以相对于目标对象20执行的多个预定操作构成的组中选出的至少一个操作。
根据另一示例性实施例，控制器120可以基于悬停输入器10的位置信息确定与悬停输入对应的操作的类型，并基于悬停输入器10的移动确定相对于所确定的操作类型的特定操作。
如果获得第二悬停输入作为来自输入器110的改变内容的用户输入，则控制器120可以基于第二位置信息选择多条其他内容中的一条内容，该第二位置信息基于用于生成第二悬停输入的悬停输入器10和装置100之间的距离而确定。
如果在从获得第二悬停输入时起的预定时间段内改变悬停输入器的位置信息，则控制器120可以重新确定与改变其位置信息的悬停输入对应的操作。
输出器130用于输出音频信号、视频信号或者振动信号，且可以包括显示器131、音频输出器132和振动马达133。
显示器131显示并输出由装置100处理的信息。显示器131可以基于所获得的悬停输入，输出当对于目标对象20执行所确定的操作时获得的结果。
显示器131可以显示在装置100上显示的至少一条内容当中的由用户选择的内容上的标识记号。
如果显示器131和触摸垫形成层结构以构成触摸屏，则显示器131还可以用作输入装置以及输出器。显示器131可以包括从由以下构成的组中选出的至少一个：液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3D显示器和电泳显示器。根据装置100的实现类型，装置100可以包括两个或更多显示器131。两个或更多显示器131可以安排为通过使用铰链彼此相对。
音频输出器132输出从通信器150接收到或者存储在存储器170中的音频数据。音频输出器132输出与由装置100执行的功能有关的音频信号(例如，呼叫信号接收声音、消息接收声音、通知声音等)。声音输出器132可以包括扬声器、蜂鸣器等。
振动马达133可以输出振动信号。例如，振动马达133可以输出对应于音频数据或者视频数据的输出(例如，呼叫信号接收声音、消息接收声音等)的振动信号。另外，如果触摸输入到触摸屏，则振动马达133可以输出振动信号。
传感器140可以感应装置100的状态或者第二装置100附近的状态，并将从感应获得的信息发送到控制器120。例如，传感器140可以感应由用户相对于回顾内容105的参考操作，并将从感应获得的信息发送到控制器120。
传感器140可以包括从由以下构成的组中选出的至少一个：磁传感器141、加速度传感器142、温度/湿度传感器143、红外传感器144、陀螺仪传感器145、位置传感器146(例如，全球定位系统(GPS))、气压传感器147、接近传感器148和红-绿-蓝(RGB)传感器149(照度传感器)，但是不限于此。各个传感器的功能可以由本领域技术人员从模块的名称推断。因此，这里将不提供其详细说明。
通信器150可以包括用于装置100和外部装置之间或者装置100和服务器之间的通信的一个或多个单元。例如，通信器150可以包括短距离无线通信器151、移动通信器152和广播接收器153。
短距离通信器151可以包括蓝牙通信器、蓝牙低能量(BLE)通信器、近场通信器、无线局域网(WLAN)通信器、ZigBee通信器、红外数据协会(IrDA)通信器、Wi-Fi直通(WFD)通信器、超宽带(UWB)通信器或者Ant+通信器，但是不限于此。
移动通信器152与从由移动通信网络上的基站、外部终端和服务器构成的组中选出的至少一个收发无线信号。无线信号可以包括语音呼叫信号、视频电话呼叫信号或者用于收发文本或者多媒体消息的各种形式的数据。
广播接收器153经由广播信道从外部接收广播信号和/或与广播有关的信息。广播信道可以是卫星信道或者地面广播信道。根据示例性实施例，装置100可以不包括广播接收器153。
A/V输入器160用于输入音频或者视频信号，且可以包括相机161和麦克风162。相机161可以在视频电话模式或者拍照模式中通过图像传感器获得比如静止图像或者运动图像的图像帧。通过图像传感器捕获的图像可以通过控制器120或者附加的图像处理单元(未示出)处理。
由相机161处理的图像帧可以存储在存储器170中或者通过通信器150发送到外部。A/V输入器160可以根据终端的配置类型而包括两个或更多相机161。
麦克风162接收外部声音信号，并将外部声音信号处理为电气语音数据。例如，麦克风162可以从外部装置或者扬声器接收声音信号。麦克风162可以采用用于去除在接收外部声音信号的输入的处理中可能生成的噪声的各种去噪算法。
存储器170可以存储用于处理和控制控制器120的程序。存储器170还可以存储输入或输出的数据(例如，多个菜单、分别与多个菜单对应的多个第一层子菜单、分别与多个第一层子菜单对应的多个第二层子菜单等)。
存储器270可以包括从由以下构成的组中选出的至少一个储存介质：闪存存储器、硬盘、微多媒体卡、卡类型存储器(比如安全数字(SD)或者极端数字(XD)存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。另外，装置100可以操作用于在因特网上执行存储器170的存储功能的网络储存器或者云服务器。
存储器170中存储的程序可以根据功能分类为多个模块。例如，程序可以分类为用户界面(UI)模块171、触摸屏模块172和警报模块173。
UI模块171可以提供根据应用与装置100交互的专用UI或者图形用户界面(GUI)。触摸屏模块172可以检测用户在触摸屏上的触摸手势，并将关于触摸手势的信息发送到控制器120。根据示例性实施例，触摸屏模块可以识别和分析触摸码。触摸屏模块172可以由包括控制器的附加硬件形成。
各种类型的传感器可以安排在触摸屏内部或者触摸屏附近，以便检测触摸屏上的触摸或者邻近触摸。用于检测触摸屏上的触摸的传感器的实例可以是触觉传感器。触觉传感器是用于按照人可以感知的程度或者到更高程度检测与特定对象的接触的传感器。触觉传感器可以检测比如关于接触表面的粗糙度、接触对象的硬度、或者接触点的温度等的信息之类的各种类型的信息。
另外，用于检测触摸屏上的触摸的传感器的实例是接近传感器。
接近传感器是用于通过使用电磁场或者红外光的强度来检测接近预定检测表面或者相邻对象的对象的传感器。接近传感器的实例包括透射类型光电传感器、定向反射类型光电传感器、镜面反射类型光电传感器、高频振荡接近传感器、静电电容类型接近传感器、磁类型接近传感器和红外接近传感器。用户的触摸手势可以包括点击、长按、双击、拖动、晃动、滑动、拖放和横扫。
通知模块173可以生成用于指示从装置100的事件生成的信号。由装置100生成的事件的实例可以是呼叫信号接收、消息接收、按键信号输入、调度通知等。通知模块173可以经由显示器131输出视频信号的形式的通知信号，经由音频输出器132输出音频信号的形式的通知信号，或者经由振动马达133输出振动信号的形式的通知信号。
示例性实施例可以通过可记录到计算机可读介质的各种计算机装置以可运行程序命令的形式实现。计算机可读介质可以单独或者组合地包括程序命令、数据文件和数据结构。记录到介质的程序命令可以是特别设计用于示例性实施例的组成部分或者对于计算机软件领域的技术人员可使用。计算机可读记录介质包括比如硬盘、软盘、磁带的磁介质，比如CD-ROM和DVD的光介质、比如磁光盘的磁光介质和特别设计用于存储和执行程序的比如ROM、RAM和闪存存储器的硬件装置。程序命令包括由计算机运行的、不仅由编译器做出的机器语言代码而且可以由解释器等使用的高级代码。
应当理解，在这里描述的示例性实施例应该仅以描述性概念考虑而并非为了限制。每个示例性实施例内的特征或者方面的描述应该典型地被认为是可用于其他示例性实施例中的其他类似的特征或者方面。
虽然已经参考附图描述了一个或多个示例性实施例，但是本领域技术人员将理解，在其中可以做出形式和细节上的各种改变，而不脱离如以下权利要求所限定的精神和范围。

Claims (7)

1.一种显示对象的方法，所述方法由装置执行，所述方法包括：
基于第一应用的运行在所述装置的显示器上显示多个对象；
基于对与所述显示器物理地分开的悬停输入器的第一检测确定所述装置的屏幕上与所述悬停输入器相对应的位置；
选择位于距所述位置预定范围的距离内的至少一个对象；
从所选择的至少一个对象之中确定包括基于用户输入分类的标识记号的对象作为目标对象；
基于所述标识记号的类型，从可由所述装置执行的多个预定操作当中确定第一操作的类型；
基于对所述悬停输入器的第一检测的第一位置信息确定相对于所确定的第一操作的类型的特定操作；
基于所确定的第一操作的类型和所确定的第一操作的特定操作，对于目标对象执行所述第一操作；
基于从第一应用改变到第二应用的用户输入，以层格式显示多个应用；
基于对悬停输入器的第二检测和对悬停输入器的第二检测的第二位置信息从多个分层的应用选择第二应用；以及
显示第二应用并在所述第二应用上对所述目标对象执行与第一操作相关的第二操作，
其中所述第一位置信息指示所述悬停输入器和所述显示器之间的第一距离，而所述第二位置信息指示所述悬停输入器和所述显示器之间的第二距离。
2.如权利要求1所述的方法，其中，所述多个预定操作包括改变所确定的目标对象的位置的操作，删除所确定的目标对象的操作、以及改变所确定的目标对象的颜色、形状和大小中的至少一个的操作。
3.如权利要求1所述的方法，其中，所述装置通过输出包括所述至少一个对象的第一内容来执行第一应用，和
所述装置通过输出第二内容来执行第二应用。
4.一种配置为显示对象的装置，所述装置包括：
显示器；
输入接收器，配置为从悬停输入器获得悬停输入；
控制器，配置为：
基于对与所述显示器物理地分开的悬停输入器的第一检测确定所述装置的屏幕上与所述悬停输入器相对应的位置；
选择位于所述位置的预定范围的距离内的至少一个对象，所述至少一个对象基于第一应用的运行而显示；
从所选择的至少一个对象之中确定包括基于用户输入分类的标识记号的对象作为目标对象，
基于所述标识记号的类型，从可由所述装置执行的多个预定操作当中确定第一操作的类型，并
基于对所述悬停输入器的第一检测的第一位置信息确定相对于所确定的第一操作的类型的特定操作；和
输出器，配置为基于所确定的第一操作的类型和所确定的第一操作的特定操作，对于目标对象执行所述第一操作，基于从第一应用改变到第二应用的用户输入，以层格式显示多个应用，基于对悬停输入器的第二检测和对悬停输入器的第二检测的第二位置信息从多个分层的应用选择第二应用，以及显示第二应用并在所述第二应用上对所述目标对象执行与第一操作相关的第二操作，并且
其中所述第一位置信息指示所述悬停输入器和所述显示器之间的第一距离，而所述第二位置信息指示所述悬停输入器和所述显示器之间的第二距离。
5.如权利要求4所述的装置，其中，所述多个预定操作包括改变所确定的目标对象的位置的操作、删除所确定的目标对象的操作、以及改变所确定的目标对象的颜色、形状和大小中的至少一个的操作。
6.如权利要求4所述的装置，其中，所述装置通过输出包括所述至少一个对象的第一内容来执行第一应用，和
所述装置通过输出第二内容来执行第二应用。
7.一种非瞬时计算机可读记录存储介质，其上存储有计算机程序，所述计算机程序当由计算机运行时，执行如权利要求1所述的方法。
CN201580071059.2A 2014-11-05 2015-11-02 在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质 Active CN107111422B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140152858A KR102399589B1 (ko) 2014-11-05 2014-11-05 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
KR10-2014-0152858 2014-11-05
PCT/KR2015/011631 WO2016072676A1 (en) 2014-11-05 2015-11-02 Method of displaying object on device, device for performing the same, and recording medium for performing the method

Publications (2)

Publication Number Publication Date
CN107111422A CN107111422A (zh) 2017-08-29
CN107111422B true CN107111422B (zh) 2021-05-04

Family

ID=55852663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071059.2A Active CN107111422B (zh) 2014-11-05 2015-11-02 在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质

Country Status (5)

Country Link
US (1) US10929007B2 (zh)
EP (2) EP3201736A1 (zh)
KR (1) KR102399589B1 (zh)
CN (1) CN107111422B (zh)
WO (1) WO2016072676A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
TWI740496B (zh) * 2020-05-12 2021-09-21 宏碁股份有限公司 調整墨水物件間距的觸控系統及方法以及電腦可讀取媒體

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693069A (zh) * 2011-03-24 2012-09-26 Lg电子株式会社 移动终端及其控制方法
CN103026329A (zh) * 2010-05-28 2013-04-03 诺基亚公司 用于控制用户界面的方法和装置
CN103210366A (zh) * 2010-09-22 2013-07-17 诺基亚公司 用于基于邻近的输入的装置和方法
CN103310359A (zh) * 2007-01-08 2013-09-18 微软公司 用于在地图绘制应用程序中显示模式信息的方法和系统

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961912B2 (en) * 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
WO2004090798A1 (en) * 2003-04-07 2004-10-21 Silverbrook Research Pty Ltd Sensing device for coded data
JP4405335B2 (ja) * 2004-07-27 2010-01-27 株式会社ワコム 位置検出装置、及び、入力システム
US8838591B2 (en) * 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
US8843309B2 (en) 2005-04-21 2014-09-23 Microsoft Corporation Virtual earth mapping
GB2452644B (en) * 2006-10-10 2009-09-16 Promethean Ltd Automatic tool docking
US7877251B2 (en) * 2007-05-07 2011-01-25 Microsoft Corporation Document translation system
US8612888B2 (en) * 2008-04-01 2013-12-17 Litl, Llc Method and apparatus for managing digital media content
US8219385B2 (en) * 2008-04-08 2012-07-10 Incentive Targeting, Inc. Computer-implemented method and system for conducting a search of electronically stored information
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
US9030418B2 (en) * 2008-06-24 2015-05-12 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
WO2010084498A1 (en) * 2009-01-26 2010-07-29 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
KR101844366B1 (ko) * 2009-03-27 2018-04-02 삼성전자 주식회사 터치 제스처 인식 장치 및 방법
US8466934B2 (en) * 2009-06-29 2013-06-18 Min Liang Tan Touchscreen interface
CN202142005U (zh) * 2009-07-22 2012-02-08 罗技欧洲公司 用于远程、虚拟屏幕输入的系统
US9990062B2 (en) * 2010-03-26 2018-06-05 Nokia Technologies Oy Apparatus and method for proximity based input
US20110271179A1 (en) * 2010-04-28 2011-11-03 Peter Jasko Methods and systems for graphically visualizing text documents
US8508347B2 (en) * 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input
JP5625599B2 (ja) * 2010-08-04 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101685991B1 (ko) * 2010-09-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
CN102073454A (zh) * 2011-01-13 2011-05-25 宇龙计算机通信科技(深圳)有限公司 一种移动终端及触摸屏的输入控制方法
US20120242584A1 (en) * 2011-03-22 2012-09-27 Nokia Corporation Method and apparatus for providing sight independent activity reports responsive to a touch gesture
JP2012247911A (ja) * 2011-05-26 2012-12-13 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US8587542B2 (en) 2011-06-01 2013-11-19 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US8508494B2 (en) 2011-06-01 2013-08-13 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US10725563B2 (en) * 2011-10-28 2020-07-28 Wacom Co., Ltd. Data transfer from active stylus to configure a device or application
US20130117698A1 (en) * 2011-10-31 2013-05-09 Samsung Electronics Co., Ltd. Display apparatus and method thereof
KR101888457B1 (ko) * 2011-11-16 2018-08-16 삼성전자주식회사 복수 개의 어플리케이션을 실행하는 터치스크린을 가지는 장치 및 그 제어 방법
US9354748B2 (en) * 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
JP5907762B2 (ja) * 2012-03-12 2016-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
WO2013135286A1 (en) * 2012-03-14 2013-09-19 Nokia Corporation Touch screen hover input handling
US9715482B1 (en) * 2012-06-27 2017-07-25 Amazon Technologies, Inc. Representing consumption of digital content
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
KR102092132B1 (ko) * 2012-11-30 2020-04-14 삼성전자주식회사 호버링 입력 효과를 제공하는 전자 장치 및 그 제어 방법
US20140168176A1 (en) * 2012-12-17 2014-06-19 Microsoft Corporation Multi-purpose stylus for a computing device
KR102196671B1 (ko) * 2013-01-11 2020-12-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR101822463B1 (ko) * 2013-01-21 2018-01-26 삼성전자주식회사 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법
US20140218343A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Stylus sensitive device with hover over stylus gesture functionality
US9766723B2 (en) * 2013-03-11 2017-09-19 Barnes & Noble College Booksellers, Llc Stylus sensitive device with hover over stylus control functionality
US20140267130A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
US20150193392A1 (en) * 2013-04-17 2015-07-09 Google Inc. User Interface for Quickly Checking Agenda and Creating New Events
KR101815720B1 (ko) * 2013-05-21 2018-01-05 삼성전자주식회사 진동 제어 방법 및 장치
US20140359539A1 (en) * 2013-05-31 2014-12-04 Lenovo (Singapore) Pte, Ltd. Organizing display data on a multiuser display
KR102031142B1 (ko) * 2013-07-12 2019-10-11 삼성전자주식회사 영상 디스플레이를 제어하는 전자 장치 및 방법
US10025489B2 (en) * 2013-09-16 2018-07-17 Microsoft Technology Licensing, Llc Detecting primary hover point for multi-hover point device
US9804635B2 (en) * 2014-02-06 2017-10-31 Samsung Electronics Co., Ltd. Electronic device and method for controlling displays
US10042509B2 (en) * 2014-04-22 2018-08-07 International Business Machines Corporation Dynamic hover grace period
US9594489B2 (en) * 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US10732719B2 (en) * 2016-03-03 2020-08-04 Lenovo (Singapore) Pte. Ltd. Performing actions responsive to hovering over an input surface
US10318034B1 (en) * 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310359A (zh) * 2007-01-08 2013-09-18 微软公司 用于在地图绘制应用程序中显示模式信息的方法和系统
CN103026329A (zh) * 2010-05-28 2013-04-03 诺基亚公司 用于控制用户界面的方法和装置
CN103210366A (zh) * 2010-09-22 2013-07-17 诺基亚公司 用于基于邻近的输入的装置和方法
CN102693069A (zh) * 2011-03-24 2012-09-26 Lg电子株式会社 移动终端及其控制方法

Also Published As

Publication number Publication date
EP3201736A4 (en) 2017-08-09
WO2016072676A1 (en) 2016-05-12
EP3201736A1 (en) 2017-08-09
EP3809250A1 (en) 2021-04-21
US10929007B2 (en) 2021-02-23
CN107111422A (zh) 2017-08-29
EP3809250B1 (en) 2023-12-27
KR102399589B1 (ko) 2022-05-18
US20160124617A1 (en) 2016-05-05
KR20160053597A (ko) 2016-05-13

Similar Documents

Publication Publication Date Title
US10080096B2 (en) Information transmission method and system, and device
KR20160105361A (ko) 복수의 운영체제가 설치된 디바이스를 제어하는 방법 및 디바이스
US20140192081A1 (en) Method and apparatus for laying out image using image recognition
EP3032839A1 (en) Device and method for controlling sound output
US11600048B2 (en) Trigger regions
US10817163B2 (en) Method and device for managing item
RU2609566C2 (ru) Способ и система передачи информации и устройство
US20190332448A1 (en) Method and device for displaying notification
CN107111422B (zh) 在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质
US10996832B2 (en) Method for displaying object on device and device therefor
US10162898B2 (en) Method and apparatus for searching
US10678836B2 (en) Slide show-providing system and method
KR102306535B1 (ko) 디바이스를 제어하는 방법 및 디바이스
KR20150121565A (ko) 미러링 서비스를 수행하는 방법 및 장치
KR20170091321A (ko) 무인 경비 로봇
US20160077653A1 (en) Method and apparatus for displaying object
KR20180083131A (ko) 디스플레이 장치 및 디스플레이 장치의 제어방법
KR20150142375A (ko) 디바이스에 컨텐츠를 표시하는 방법 및 그 디바이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant