CN104838340B - 控制用于移动终端的输入工具的触觉反馈的方法和设备 - Google Patents

控制用于移动终端的输入工具的触觉反馈的方法和设备 Download PDF

Info

Publication number
CN104838340B
CN104838340B CN201380064789.0A CN201380064789A CN104838340B CN 104838340 B CN104838340 B CN 104838340B CN 201380064789 A CN201380064789 A CN 201380064789A CN 104838340 B CN104838340 B CN 104838340B
Authority
CN
China
Prior art keywords
input tool
touch
control signal
mobile terminal
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380064789.0A
Other languages
English (en)
Other versions
CN104838340A (zh
Inventor
朴镇亨
李周妍
李相协
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104838340A publication Critical patent/CN104838340A/zh
Application granted granted Critical
Publication of CN104838340B publication Critical patent/CN104838340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供一种用于控制用于移动终端的输入工具的触觉反馈的设备和方法。所述方法包括：由移动终端检测输入工具在移动终端的触摸屏显示器上所显示的对象的上空的悬浮；识别所述对象的属性；将针对与所述对象的属性相应的触觉反馈的控制信号发送到输入工具。

Description

控制用于移动终端的输入工具的触觉反馈的方法和设备
技术领域
本发明总体上涉及一种用于控制触觉反馈的设备和方法。
背景技术
具有触摸屏的移动终端通常使用利用用户的指尖或输入工具(诸如电子笔或触控笔)的触摸输入方法。例如，触摸输入方法包括接触型触摸输入方法和非接触型触摸输入方法，其中，在接触型触摸输入方法中，输入实际上接触到触摸屏，在非接触型触摸输入方法中，当用户的手指或笔被置于触摸屏的预定距离之内时输入被接收(例如，悬浮输入方法)。
最近，已经使用了改进的触摸输入方法，当用户在触摸屏上做出触摸输入时，该触摸输入方法产生触觉反馈(例如，使用振动装置进行振动)，使用户能感受到操纵按钮的感觉。
然而，这些改进的触摸输入方法仅能使用户识别输入工具与触摸屏的真实接触，因此在将操纵(或享受)应用的感觉传达给用户方面受到限制。
发明内容
技术问题
本发明被设计用于至少解决以上提到的问题和/或缺点，并至少提供下述优点。
因此，本发明的一方面提供一种控制输入工具的触觉反馈的方法和包括触摸屏的移动终端。
技术方案
根据本发明的一方面，提供了一种用于在移动终端中控制输入工具的触觉反馈的方法。所述方法包括：由移动终端检测输入工具在移动终端的触摸屏显示器上所显示的对象的上空的悬浮；识别所述对象的属性；将针对与所述对象的属性相应的触觉反馈的控制信号发送到输入工具。
根据本发明的另一方面，提供了一种控制输入工具的触觉反馈的移动终端。所述移动终端包括：触摸屏，被配置为显示对象；控制器，被配置为检测输入工具在触摸屏显示器的上空的悬浮，以确定与输入工具的悬浮相关联的对象，并产生针对与所述对象的属性相应的触觉反馈的控制信号；收发器，将控制信号发送到输入工具。
根据本发明的另一方面，提供了一种用于在移动终端中提供输入工具的触觉反馈的方法。所述方法包括：由移动终端存储针对对象的不同属性的不同的触觉反馈模式；检测悬浮在移动终端显示的对象的上空的输入工具；分析所述对象的属性；显示预览图像，其中，所述预览图像以下项中的至少一项：包括所述对象的细节、所述对象的元数据和所述对象的放大图像；根据针对对象设置的触觉反馈模式来控制移动终端的振动。
根据本发明的另一方面，提供了一种用于触摸屏装置的输入工具。所述输入工具包括：振动装置；短距离通信单元，响应于输入工具悬浮在移动终端的上空而从移动终端接收控制信号；触觉控制器，基于所述控制信号来控制振动装置。所述控制信号根据显示在移动终端上的在其上空检测到悬浮的对象的属性来控制以下项中的至少一项：振动装置的激活、振动装置的去激活、振动装置的振动周期和振动装置的振动强度。
根据本发明的另一方面，提供了一种在输入工具中提供触觉反馈的方法。所述方法包括：使输入工具悬浮于移动终端上显示的对象的上空；从移动终端接收与所述对象的属性相应的控制信号；基于所述控制信号来控制输入工具的振动装置。所述控制信号包括以下项中的至少一项：用于激活振动装置的信息、用于使振动装置去激活的信息、振动装置的振动周期和振动装置的振动强度。
本发明的有益效果
通过以上描述很明显的是，如果输入工具被放置于悬浮在移动终端的触摸屏显示器上所显示的对象的上空，则移动终端将用于提供触觉效果的控制信号发送到输入工具，同时在触摸屏上显示预览图像，从而使得针对普通用户和视觉受损者提供有用的用户体验(UX)成为可能。另外，在触摸屏上显示的对象的预览期间，移动终端使用输入工具提供触觉效果，从而使得用户能够在操作触摸屏时感受到正确的操作感觉。另外，移动终端通过经输入工具输出触觉效果来支持真实和自然的用户交互环境。
附图说明
从以下结合附图进行的描述中，本发明的特定实施例的以上和其它方面、特征和优点将更清楚，其中：
图1是示出根据本发明的实施例的移动终端的框图；
图2示出根据本发明的实施例的移动终端的前视图；
图3示出根据本发明的实施例的移动终端的后视图；
图4示出根据本发明的实施例的输入工具和触摸屏的内部横截面图；
图5是根据本发明的实施例的输入工具的框图；
图6A示出根据本发明的实施例的使用输入工具的移动终端的特定项设置；
图6B示出根据本发明的实施例的设置触觉模式的示例；
图6C示出根据本发明的实施例的将被设置的触觉模式；
图6D示出根据本发明的实施例的与触觉模式相关联的触觉波形；
图7A示出根据本发明的实施例的用于触觉反馈的特定项设置；
图7B示出根据本发明的实施例的设置触觉模式的示例；
图8A示出根据本发明的实施例的用于触觉反馈的特定项设置；
图8B示出根据本发明的实施例的设置触觉模式的示例；
图8C示出根据本发明的实施例的对被设置了触觉模式的视频中的主要场景进行设置的示例；
图9A示出根据本发明的实施例的激活图像弹出触觉功能的示例；
图9B示出根据本发明的实施例的在元数据中输入图像信息的示例；
图10是示出根据本发明的实施例的显示对象的预览图像并发送与触觉模式相关联的控制信号的过程的流程图；
图11A到图11C示出根据本发明的实施例的显示对象的预览图像的方法，其中，在所述对象的上空识别到悬浮；
图12A和图12B示出根据本发明的实施例的悬浮指示向下滚动过多个对象的示例；
图13是示出根据本发明的实施例的将对象的元数据显示为预览图像并将与触觉模式相关联的控制信号发送到输入工具的过程的流程图；
图14示出根据本发明的实施例的将对象的元数据显示为预览图像的示例；
图15是示出根据本发明的实施例的将与对象相关联的内容显示为预览图像并将与触觉模式相关联的控制信号发送到输入工具的过程的流程图；
图16A到图16C示出根据本发明的实施例的将与对象相关联的内容显示为预览图像的示例；
图17A到图17I示出根据本发明的实施例的各种触觉模式的波形。
具体实施方式
现在将参照附图来详细描述本发明的各种实施例。在以下描述中，诸如详细配置和组件的特定细节仅被提供用于帮助对本发明的特定实施例的整体理解。因此，对于本领域的普通人员而言应该很明显的是，在不脱离本发明的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。此外，为了清楚和简明，省略公知功能和结构的描述。
图1是示出根据本发明的实施例的移动终端的框图。具体地，图1示出了与输入工具168进行通信以便通过输入工具168向用户提供触觉反馈的移动终端100。
参照图1，移动终端100包括触摸屏显示器190、控制器110、扬声器163、用于与和触摸屏显示器190组合使用的输入工具168(例如，触控笔)进行通信的收发器120以及用于在移动终端100内提供触觉反馈的振动电机164。
虽然在图1中没有示出，但是移动终端100可包括其它元件，诸如移动通信模块、相机、GPS、键盘等。然而，由于这些元件与触觉反馈的设置并不是特别相关，因此，在这里不对这些元件进行描述。
例如，控制器110包括中央处理器(CPU)、只读存储器(ROM)和随机存取存储器(RAM)，其中，在ROM中存储用于控制移动终端100的控制程序，RAM被用作这样的存储区域：该存储区域用于存储从移动终端100的外部接收到的用于运行在移动终端100中执行的操作的信号或数据。
控制器110控制移动终端100的整体操作。更具体地，控制器110确定是否在触摸屏190上显示的任何对象的上空检测到输入工具168的悬浮，并识别与发生悬浮的位置相应的对象。控制器110可检测从触摸屏190到输入工具168的高度以及与检测到的高度相关联的悬浮输入事件。
例如，可通过以下操作来检测悬浮输入事件：在输入工具168中形成的按钮被按压的操作、输入工具168被轻击的操作、输入工具168比预定速度更快地被移动的操作以及显示在触摸屏190上的对象被输入工具168实际触摸的操作。
此外，可针对输入工具168与触摸屏190之间的不同距离而设置不同的触觉模式。
在检测到悬浮输入事件时，控制器110在触摸屏190上显示与悬浮输入事件相应的预定悬浮输入效果。例如，为了显示在其上空检测到悬浮的对象的细节，控制器110可检查俯视功能是否被激活，如果俯视功能被激活则产生预览图像，并在预览图像中显示对象的细节。预览图像可包括对象的细节，并且根据对象的类型还可包括预先在对象中输入的元数据和/或对象的放大图像。
此外，控制器110将与识别的对象所对应的预定触觉模式相关联的控制信号输出到输入工具168。控制器110还通过根据与识别的对象相应的预定触觉模式控制振动电机164来控制移动终端100的振动。
可根据对象的类型而不同地设置预定触觉模式。例如，可根据对象是视频还是图像而不同地设置触觉模式，并且如果对象是视频，则可根据视频的体裁而不同地设置触觉模式。另外，如果对象的类型是电子邮件、SMS消息、MMS消息或新闻项，则可根据其中的内容的重要性或对象的领域来不同地设置触觉模式。在这种情况下，可通过检查预定词语是否在对象中出现来确定重要性。
在接收到与触觉模式相关联的控制信号时，输入工具168还产生与控制信号相应的振动。具体地，输入工具168从移动终端100接收与触觉模式相关联的控制信号，分析接收到的控制信号，并基于分析向用户输出触觉反馈。其结果是，用户可通过握在用户手中的输入工具168感受到振动。
例如，收发器120可包括WLAN模块和短距离通信模块中的至少一个，其中，短距离通信模块支持蓝牙、红外数据协会(IrDA)、WiFi直连、NFC等。
控制器110通过收发器120中的WLAN模块和短距离通信模块中的至少一个将与触觉模式相关联的控制信号发送到输入工具168。
扬声器163在控制器110的控制下输出与各种信号(例如，无线电信号、广播信号、数字音频文件、数字视频文件、拍照音等)相应的声音。另外，扬声器163输出与被提供给输入工具168的控制信号相应的声音。例如，与控制信号相应的声音可包括指示输入工具168中的振动装置520的激活的声音、指示振动强度等级的改变的声音以及指示振动装置520的去激活的声音。可根据输入工具168中的振动装置520的振动强度来控制这些声音的音量，并且声音可在振动装置520的激活时或者在激活之前/之后按照预定时间间隔(例如，10毫秒)通过移动终端100的扬声器163和/或可安装于输入工具168中的扬声器(未示出)被输出。声音可在振动装置520的去激活时或在去激活之前/之后按照预定时间间隔(例如，10毫秒)被终止。一个或多个扬声器163可形成在移动终端100的外壳的适当的位置。
振动电机164在控制器110的控制下将电信号转换为机械振动。例如，如果移动终端100在振动模式下从另一装置(未示出)接收到语音呼叫，则振动电机164进行操作。一个或多个振动电机164可被安装于移动终端100的外壳。为了在移动终端100中提供触觉反馈，振动电机164响应于用户在触摸屏190上的触摸动作和/或在触摸屏190上的触摸的持续移动(或拖拽动作)而进行操作。
触摸屏显示器190接收用户的身体(例如，手指)或输入工具168的触摸输入。相应地，触摸屏显示器190包括识别由输入工具168(诸如，触控笔和电子笔)输入的触摸输入的笔识别面板191，笔识别面板191可根据磁场来确定输入工具168与触摸屏190之间的距离。触摸屏190可接收至少一个触摸中的触摸的持续移动。触摸屏190可将与接收到的触摸的持续移动相应的信号传送到控制器110。
根据本发明的实施例，触摸不限于触摸屏190与用户的身体或输入工具168之间的实际接触，还包括非接触触摸(在触摸屏190与用户的身体或输入工具168之间具有非接触的可检测空隙(例如，5毫米))，例如，悬浮。触摸屏190上可检测到的空隙应根据移动终端100的性能或结构而改变，触摸屏190被配置为针对与用户的身体或输入工具168接触的触摸事件和非接触触摸事件(例如，悬浮事件)而输出不同的检测值(例如，模拟电压值或模拟电流值)，因而使得单独地检测触摸事件和悬浮事件成为可能。
根据本发明的实施例，触摸屏190可根据触摸屏190与发生悬浮事件的空间之间的空隙来输出不同的检测值(例如，电流值)。
触摸屏190可按照例如电阻型、电容型、红外型或声波型来实现。
此外，触摸屏190可包括至少两个触摸屏面板以单独地检测用户的身体或输入工具168与触摸屏190的接触或到触摸屏190的接近度，从而使得顺序地或同时地接收用户的身体和输入工具168的输入成为可能。所述至少两个触摸屏面板将不同的输出值提供给控制器110，控制器110可通过识别从所述至少两个触摸屏面板接收到的不同值来确定来自触摸屏190的输入是用户的身体的输入还是输入工具168的输入。
更具体地，触摸屏190可形成在这样的结构中，在该结构中，用于根据感应电动势的改变来检测指尖或输入工具168的输入的面板和用于检测指尖或输入工具168与触摸屏190的接触的面板按顺序地被堆叠为彼此接触或者彼此部分地在空间上分离。触摸屏190具有多个像素以使用多个像素来显示图像。触摸屏190可采用液晶显示器(LCD)、有机发光二极管(OLED)和发光二极管(LED)中的任意一个。
触摸屏190包括多个传感器，所述多个传感器检测指尖或输入工具168与触摸屏190的表面接触的位置，或者检测指尖或输入工具168被布置在距触摸屏190特定距离内的位置。多个传感器可被形成为线圈结构，在由多个传感器形成的传感器层中，传感器按照预定样式形成多条电极线。使用这种结构的情况下，如果通过指尖或输入工具168在触摸屏190上发生了接触或悬浮输入，则产生具有由于传感器层和输入对象之间的电容而改变的波形的检测信号，并且触摸屏190将产生的检测信号传送至控制器110。输入工具168与触摸屏190之间的特定距离可根据由输入工具168中的线圈510形成的磁场的强度而被确定。
图2示出根据本发明的实施例的移动终端的前视图，图3示出根据本发明的实施例的移动终端的后视图。
参照图2和图3，触摸屏显示器190被置于移动终端100的正面100a的中央处。触摸屏190可被形成为大到足以占据移动终端100的正面100a的绝大部分。在图2中，在触摸屏显示器190上显示首要主屏幕。首要主屏幕是在移动终端100被通电时显示在触摸屏显示器190上的第一屏幕。如果移动终端100具有多个页面的不同主屏幕，则首要主屏幕可以是多个页面的主屏幕中的第一主屏幕。快捷方式图标191-1、191-2和191-3被显示在主屏幕上以用于运行频繁使用的应用。此外，主屏幕包括主菜单切换键191-4、时间和天气。主菜单切换键191-4被提供用于在触摸屏显示器190上显示菜单屏幕。状态栏192位于触摸屏显示器190的顶部，其指示移动终端100的状态(诸如，电池电量和接收信号强度指示(RSSI))。主屏幕按钮161a、菜单按钮161b和返回按钮161c形成在触摸屏显示器190的下面。
第一相机151、照度传感器170a、接近传感器170b和扬声器163被安装在移动终端100的正面100a的边缘上，第二相机152和闪光灯153被安装在移动终端100的背面100c上。
在移动终端100的一侧100b上，安装有电源/复位按钮161d、音量按钮161e和161g、用于接收广播信号的地面DMB天线141a和一个或多个麦克风162。
连接器165形成在移动终端100的底部，耳机连接插孔167形成在移动终端100的上侧。
输入工具168被存放在移动终端100的下侧。输入工具168可被插入并保存在移动终端100中，并且可在其使用期间被拔出并与移动终端100分离。
图4示出根据本发明的实施例的输入工具和触摸屏的内部横截面图。
参照图4，触摸屏显示器190包括第一触摸面板440、显示面板450和第二触摸面板460。显示面板450可以是诸如LCD面板、有源矩阵OLED(AMOLED)面板的面板，并且显示与移动终端100的各种操作状态、运行应用和服务相关联的各种图像和对象。
第一触摸面板440(即，电容触摸面板)是涂覆有电介质的面板，在该面板的两个玻璃面涂覆有薄金属导电材料(例如，铟锡氧化物(ITO)薄膜)，从而电流可在玻璃表面上流动并且电荷可存储在玻璃表面上。如果用户的指尖或输入工具168触摸了第一触摸面板440的表面，则预定量的电荷通过静电移动到触摸的位置，并且第一触摸面板440通过识别由于电荷的移动而导致的电流变化来检测触摸的位置。第一触摸面板440可检测可产生静电的所有类型的触摸。例如，第一触摸面板440可检测由指尖和输入工具168两者做出的触摸。
第二触摸面板460(即，电磁共振(EMR)触摸面板)包括电磁感应线圈传感器(未示出)和电子信号处理器(未示出)，其中，在电磁感应线圈传感器中，多个环形线圈按照预定的第一方向和与第一方向交叉的第二方向被布置以具有网格结构，所述电子信号处理器用于将具有特定频率的交流电(AC)信号顺序地提供给电磁感应线圈传感器的环形线圈。如果具有内置谐振电路的输入工具168出现在第二触摸面板460的环形线圈附近，则从环形线圈发射的磁场在输入工具168的谐振电路中产生基于相互电磁感应的电流。基于所述电流，从输入工具168中的谐振电路的线圈(未示出)产生感应磁场，并且第二触摸面板460通过从处于信号接收状态的环形线圈检测感应电磁场来检测输入工具168的悬浮位置和触摸位置。
移动终端100检测从显示面板450到输入工具168的笔尖430的高度“h”。从触摸屏190的第一触摸面板440到笔尖430的高度“h”根据移动终端100的性能或结构而改变。任何输入工具168只要它能够产生基于电磁感应的电流，都可使用第二触摸面板460来检测悬浮和触摸。将假设第二触摸面板460仅用于检测输入工具168的悬浮或触摸。输入工具168也可被称为电磁笔或EMR笔。输入工具168可以与不具有谐振电路的普通笔不同，其中，使用第一触摸面板440来检测输入工具168。输入工具168包括按钮420，其中，按钮420能够改变由布置在靠近笔尖430的区域的握笔杆中的线圈而产生的电磁感应值。
控制器110可包括第一触摸面板控制器和第二触摸面板控制器。第一触摸面板控制器将通过检测指尖或输入工具168的触摸而从第一触摸面板440接收到的模拟信号转换为数字信号(例如，X/Y/Z坐标)。第二触摸面板控制器将通过检测输入工具168的悬浮或触摸而从第二触摸面板460接收到的模拟信号转换为数字信号。控制器110可使用从第一触摸面板控制器和第二触摸面板控制器接收到的数字信号来控制显示面板450以及第一触摸面板440和第二触摸面板460。例如，控制器110可响应于指尖、笔或输入工具168的悬浮或触摸，按照预定形式将屏幕显示在显示面板450上。
在本发明的实施例所提出的移动终端100中，第一触摸面板440检测用户的指尖或笔的触摸，而第二触摸面板460检测输入工具168的悬浮或触摸。因此，移动终端100的控制器110可单独地检测用户的指尖或笔的触摸以及输入工具168的悬浮或触摸。
虽然在图4中示出仅一个触摸屏，但是本发明不限于仅一个触摸屏，并且可应用于多个触摸屏。触摸屏可安装在它们相关联的外壳上并通过铰链连接，或者多个触摸屏可安装在单个外壳上。多个触摸屏中的每个触摸屏都包括如图4所示的显示面板和至少一个触摸面板。
图5是根据本发明的实施例的输入工具的框图。
参照图5，输入工具168包括：布置在输入工具的末端的笔尖430；按钮420，用于改变布置在输入工具168内与笔尖430相邻的区域中的线圈510所产生的电磁感应值；振动装置520，在发生悬浮输入效果时进行振动；触觉控制器530，用于分析在悬浮于移动终端100的上空时从移动终端100接收到的控制信号，并控制振动装置520的振动强度和振动周期以向输入工具168提供相关联的触觉效果；电池550，用于为短距离通信单元540与移动终端100之间的短距离通信以及输入工具168的振动供电。另外，输入工具168包括用于输出与输入工具168的振动周期和/或振动强度相应的声音的扬声器560。扬声器560可在安装在移动终端100中的扬声器163输出声音的同时，或者在扬声器163输出声音之前/之后的预定时间(例如，10毫秒)输出与被提供给输入工具168的触觉效果相应的声音。
更具体地，在触觉控制器530的控制下，扬声器560可输出与在移动终端100中提供的各种信号(例如，无线信号、广播信号、数字音频文件和/或数字视频文件)相应的声音。另外，扬声器560可输出与移动终端100所执行的功能相应的声音(例如，与电话呼叫相应的按钮操作音、回铃音等)。一个或多个扬声器560可形成在输入工具168的外壳的适当位置。
如果输入工具168位于移动终端100的触摸屏190的附近或者从移动终端100至少接收到控制信号，则触觉控制器530激活或启用短距离通信单元540和振动装置520。相反，如果输入工具168没有位于移动终端100的触摸屏190的附近或者通过从移动终端100接收至少一个控制信号而完成了振动，则触觉控制器530使振动装置520禁用或去激活。
触摸屏190检测输入工具168的位置。具体地，如果输入工具168位于触摸屏190的表面的附近，则预定量的电荷通过静电移动到邻近位置，触摸屏190通过识别由于电荷的移动而导致的电流改变来检测所述邻近位置。因此，即使输入工具168实际上没有触摸到触摸屏190，触摸屏190也可识别出输入工具168好像在触摸屏190的预定距离之内。
如果笔尖430被放置在触摸屏190上或放置于触摸屏190的上空，则触觉控制器530分析经由短距离通信单元540从移动终端100接收到的至少一个控制信号，并根据分析的控制信号来控制设置在输入工具168中的振动装置520的振动周期和振动强度。控制信号是从移动终端100发送的信号，并且可在预定时间内或者到悬浮结束为止被周期性地发送到输入工具168。
具体地，如果随着笔尖430接近触摸屏190而发生悬浮或触摸，则移动终端100确定触摸屏190上由笔尖430指示的对象(或图标)，并将根据针对该对象而预先设置的触觉模式产生的控制信号发送到在输入工具168中配置的短距离通信单元540。例如，控制信号可根据被选择的或悬浮在触摸屏显示器190上空的对象的类型(例如，图像、视频、SMS消息、MMS消息和电子邮件)，或者可根据对象的属性(例如，对象的数量、对象的内容、对象的体裁、对象的重要性等)而具有不同的振动。
更具体地，控制信号通过移动终端100中的收发器120被发送到输入工具168。控制信号可包括以下信息中的至少一个：用于激活输入工具168中的振动装置520的模式的信息、指示输入工具168的振动强度的信息、用于使输入工具168中的振动装置520的模式去激活的信息以及指示触觉效果被提供的总时间的信息。控制信号的长度大约为8位，并且按照预定周期(例如，5毫秒)被重复发送以控制输入工具168的振动。因此，用户可识别出与触觉效果相关联的振动按照预定周期被重复执行。例如，控制信号可包括如下面的表1所示的信息。
表1
如在表1中所示，控制信号包括用于激活输入工具168中的振动装置520的信息、指示振动装置520的振动强度的信息以及用于使振动装置520去激活的信息。虽然控制信号可每隔5毫秒被发送到输入工具168，但是这仅是示意性示例，并且控制信号的发送可根据触觉模式的周期而改变。控制信号的发送周期和发送时间长度也可改变。发送时间长度可持续到悬浮识别被终止为止。
可基于每个对象的唯一特性(例如，在电子邮件的情况下是发信人和收信人的电子邮件地址，在照片的情况下是拍摄的照片的分辨率和拍摄时间)来确定对象的类型和对象的属性。对于本领域的普通技术人员将很明显的是，本发明可应用于确定对象的类型和/或属性的任何其它方法。
当控制信号与视频相关联时，控制信号可根据视频的体裁或视频重要性高的部分而改变，并且控制信号可根据对象的数量而改变。视频的体裁或重要性高的部分可由用户预先设置，控制器110可根据设置的信息来确定视频的体裁或视频重要性高的部分。
对于具有很多对象的文件夹，控制信号可以是用于增加振动强度的信号，而对于具有较少对象的文件夹，控制信号可以是用于减小振动强度的信号。存储在一个文件夹中的对象的数量可由用户设置，或者可由制造商默认设置。
对于经常联系的联系人，控制信号可以是用于增加振动强度的信号，而对于不经常联系的联系人，控制信号可以是用于减小振动强度的信号。
另外，移动终端100提供用于支持移位至用户期望在触摸屏190上选择的对象的位置的滚动条，或者提供用于列表上移/下移的功能来代替滚动条。列表上移/下移指示正被显示在触摸屏中的多个对象通过用户滑动动作或用户轻弹动作而被显示。例如，如果多个对象不能都被显示在一个屏幕上，则未被显示在触摸屏中的对象可通过列表上移/下移动作来被显示。这样的列表上移/下移动作表示触摸屏上的快速移动(例如，向上轻弹和向下轻弹或者向上滑动和向下滑动)。如果使用输入工具168上拉或下拉滚动条，则随着滚动条越来越靠近其第一位置(例如，触摸屏190的顶部或底部)，移动终端100将用于增大或减小振动强度的控制信号发送到输入工具168，并且随着滚动条靠近其末端(例如，触摸屏190的顶部或底部)，将用于减小或增大振动强度的控制信号发送到输入工具168。
例如，如果输入工具168的悬浮与显示在触摸屏190上的多个对象的列表上移或下移相应，则当列表上移/下移时，移动终端100根据对象的数量将用于增大或减小振动强度的控制信号发送到输入工具168，其中，对象的数量因列表上移或下移而改变。滚动条和列表上移/下移是在多个对象被显示在触摸屏190上时使用滚动条或列表上移/下移来显示由于触摸屏190的尺寸有限而不能被显示在一个屏幕的对象的功能。通常，滚动条位于触摸屏190的右侧和/或底部，列表上移/下移位于触摸屏190的顶部中心和/或底部中心。然而，这仅仅是示意性示例，本发明提出的滚动条和列表上移/下移可应用于触摸屏190上的不同位置。
输入工具168支持电磁感应输入方法。如果通过线圈510在触摸屏190上的特定点形成了磁场，则触摸屏190可通过检测磁场的位置来识别触摸点。
图6A至图6D示出根据本发明的实施例的根据对象的类型来设置触觉模式的示例。
参照图6A，多个项被呈现为表示被打开或关闭的触觉设置。更具体地，俯视触觉611是在俯视模式下用于设置当显示对象的内部信息时的触觉功能的项，其中，输入工具168的笔尖430位于所述对象的上空。特定对象类型触觉612是用于根据对象的类型设置触觉模式的项。视频预览触觉613是用于设置这样的功能的项，所述功能在视频回放期间针对未播放片段提供俯视型预览功能或者针对未播放视频以预览方式显示选择的片段。类似地，提供了电子邮件和消息弹出触觉614、图像弹出触觉615、滚动触觉616和距离相关触觉617。除了上述功能，还可使用各种其它设置来在检测到悬浮输入时向输入工具168提供控制信号。
图6B示出在图6A中选择的项是特定对象类型触觉612的情况下根据对象的类型来设置触觉模式的示例。
参照图6B，如果对象的类型是图片、视频、音乐、文本、电子邮件或文本消息，则可通过根据对象的类型选择设置按钮621到626之一来设置不同的触觉模式之一。这些触觉模式可以彼此相同或者彼此不同，触觉模式可由用户选择或指定，或者可被随机选择。还可设置触觉模式的振动强度和振动周期。
图6C示出对象的类型为图6B中的图片的情况下将被设置的触觉模式。
更具体地，图6C示出了当对象的类型为图片时的触觉模式设置屏幕630。触觉模式设置屏幕630包括：振动强度调整菜单640，用于调整输入工具168在由于输入工具168位于图片的上空而发生悬浮时的振动强度；振动周期菜单650，提供多个振动周期；保存菜单655，用于存储设置的振动模式；取消菜单656，用于取消振动模式。振动周期菜单650具有多个触觉模式651到654，其中，触觉模式651到654可具有相同或不同的触觉波形。
图6D示出与触觉模式相关联的触觉波形。
参照图6D，每个触觉模式的波形可以是周期性波形或者是非周期性波形。触觉模式661到664的振动强度可由用户指定，触觉模式661到664可具有不同的振动强度。
在图6D中，横轴(例如，x轴)表示时间长度，而纵轴(例如，y轴)表示触觉模式的振动强度。
虽然在图6D中仅示出了四个触觉模式，但是这只是示意性示例，本发明不限于四个触觉模式，并且可应用于四个或更多个触觉波形。
如示出的，触觉波形可以彼此相同或彼此不同。例如，就用户可识别的触觉模式而言可提供各种触觉模式，包括：在用户执行拉锯手势或触摸与拉锯相关的对象时使用户能够感觉到与拉锯振动相同或相似感觉的触觉模式；使用户能够感受到振动周期长且振动强度低的平静感觉的触觉模式；使用户能够感受到与他或她在刮擦诸如墙的粗糙表面时可感受到的振动相同或相似感觉的触觉模式。触觉模式不限于上述示意性触觉模式，而是可应用于用户可感受到的所有类型的其它振动。将参照图17A到图17I来更详细地描述根据本发明的实施例的其它触觉模式。
如果针对其设置了触觉模式的对象被输入工具168选择，则与针对该对象设置的触觉模式相关联的控制信号被发送到输入工具168，输入工具168根据接收到的控制信号将触觉效果提供给用户。
对于本领域的普通技术人员将很明显的是：图6C中示出的用于设置这些触觉模式的菜单和图6D中示出的设置的波形仅是示意性示例，本发明不限于此并且可包括用于选择和设置触觉模式的多种其它方式。
图7A和图7B示出根据本发明的实施例的根据对象的数量来设置触觉模式的示例。
参照图7A，与图6A类似地，根据本发明的实施例的用于设置触觉模式的项包括俯视触觉711、特定对象类型触觉712、视频预览触觉713、电子邮件和消息弹出触觉714、图像弹出触觉715、滚动触觉716和距离相关触觉717。
通过从这些多个项中选择滚动触觉716，如图7B所示，在滚动的调整期间，用户可根据将被显示在屏幕上的对象的数量来设置不同的触觉模式。例如，如果将被显示在屏幕上的对象的数量为20或更少，则用户可通过选择按钮721来设置触觉模式。换句话说，用户可设置振动强度和/或振动周期。类似地，如果对象的数量在20到49之间，则用户可通过选择按钮722来设置触觉模式，如果对象的数量为50或更多，则用户可通过选择按钮723来设置触觉模式。这些触觉模式包括振动强度和振动周期。
图8A到图8C示出根据本发明的实施例的针对视频对象设置触觉模式和设置主要场景的示例。
参照图8A到图8C，通过在屏幕810上激活视频预览触觉811来如标号820所示地设置根据视频的体裁而不同的触觉模式。例如，可根据视频的体裁是家庭、戏剧、动作还是科幻(SF)来不同地设置每个触觉模式(例如，振动强度和/或振动周期)，设置的振动强度和/或振动周期可应用于视频中被确定为重要的特定视频片段，如标号830所示。然后，如果输入工具168接近视频的对象，则移动终端100将与设置的触觉模式相关联的控制信号发送到输入工具168，输入工具168基于接收到的控制信号来控制其振动。
图9A和图9B示出根据本发明的实施例的激活图像弹出触觉功能和在元数据中输入图像信息的示例。
参照图9A和图9B，针对在移动终端100上显示的或存储在移动终端100中的对象，在屏幕910上图像弹出触觉911被激活(或打开)，以便向输入工具168提供触觉效果。其后，元数据选择菜单920被激活，在元数据选择菜单920中，用户可输入关于图像的信息。元数据具有这样的项，在所述项中可写入关于图像的不同类型的信息。关于可被写入元数据中的项的信息可包括由用户输入的信息，或者由移动终端100自动输入的信息。这里，关于这些项的信息可由用户和移动终端100两者输入，在这种情况下，可根据其信息被输入到项中的对象的优先级来确定关于这些项的信息。例如，如果图像是照片，则可在元数据中写入照片中拍摄的人的名字、拍摄照片的地方名称以及拍摄照片的日期和时间。人的名字和地方的名字可由用户输入，日期/时间和地方可由移动终端100通过分析和确定拍摄对象的头部(header)而自动输入。
通过输入关于图像的信息而产生的元数据被存储。如果随着输入工具168接近图像而识别到悬浮，则设置触觉模式。触觉模式是用于使输入工具168振动的控制信号，并且可被设置为振动周期和振动强度中的至少一个。其后，如果输入工具168的悬浮被识别，则俯视功能被激活，图像被放大并显示在触摸屏190上，元数据信息被显示在预览图像上。另外，移动终端100将与针对图像设置的触觉模式相关联的控制信号发送到输入工具168，输入工具168分析接收到的控制信号，并使用振动周期和振动强度中的至少一个来提供触觉效果。
图10是示出根据本发明的实施例的在多个对象的上空识别出悬浮的情况下显示对象的预览图像并发送与触觉模式相关联的控制信号的过程的流程图。
参照图10，在多个对象被显示在移动终端100的触摸屏190上的同时，输入工具168的悬浮被检测到以选择触摸屏190上的多个对象之一。具体地，在步骤S1010和步骤S1012，移动终端100确定随着输入工具168接近对象是否识别到悬浮。这里，术语“悬浮”指的是移动终端100识别输入工具168被放置于触摸屏190的预定距离(例如，3毫米)之内。所述预定距离可由移动终端制造商或用户改变。
在识别到输入工具168的悬浮时，在步骤S1014，移动终端100识别与发生悬浮的位置相应的对象的类型。移动终端100的触摸屏190可显示包括各种文件(诸如视频、图像、电子邮件、SMS消息、MMS消息、文档和音乐)、快捷方式图标和用于对多个文件分组的文件夹。
在识别了对象的类型之后，移动终端100分析对象的内容。具体地，如果对象的类型为图像，则终端100确定图像中是否存在元数据。如果对象的类型是视频，则移动终端100确定在视频中是否存在由用户预定的片段。如果对象的类型为文档，则移动终端100确定在文档中是否存在预定的字符串。
这里，对象不限于上述类型的对象，并且对象可包括能够被存储在移动终端100中或在移动终端100上显示的所有类型的快捷方式图标和文件。
在步骤S1016，移动终端100显示针对识别的对象的预览图像，并将与对应于识别出的对象的预定触觉模式相关联的控制信号发送到输入工具168。预览图像将针对对象而指定或设置的内容显示为与对象重叠，或者以弹出窗口的模式显示在对象的周围，如果在对象的上空发生悬浮，则预览图像可以是用户根据对象的类型或属性而预先设置的内容，或者可以是对象的内容(或细节)。另外，预览图像可以是通过对在其上空发生悬浮的对象进行放大或缩小而获得的图像。预览图像根据对象的类型包括以下项中的至少一项：对象的细节、在对象中预先输入的元数据、通过放大对象而获得的图像。
预览图像被显示在触摸屏190上，与触觉模式相关联的控制信号通过移动终端100被发送到输入工具168。与触觉模式相关联的控制信号控制作为触觉模式的输入工具168的振动强度和振动周期中的至少一个。移动终端100可在显示预览图像之后发送与触觉模式相关联的控制信号，或者可在显示预览图像之前发送与触觉模式相关联的控制信号。可选择地，移动终端100可在显示预览图像的同时发送与触觉模式相关联的控制信号。
触觉模式可根据对象的类型和属性被预先设置，并且可根据输入工具168与触摸屏190之间的距离被不同地设置。具体地，移动终端100根据对象的类型、对象的数量、对象的内容、对象的重要性、对象的体裁中的至少一项来设置触觉模式，并且设置的触觉模式被存储。对于重要性，如果针对对象预先设置了用户认为重要的字符串，则移动终端100同分析字符串来确定对象的重要性。
如果悬浮位置与触摸屏190上的滚动条相应，则可根据对象的数量来不同地设置触觉模式，并存储设置结果，其中，对象的数量随着输入工具168在滚动条的上空向上/向下移动或向左/向右移动而改变。
图11A到图11C示出根据本发明的实施例的在识别到在对象的上空的悬浮时显示对象的预览图像的示例。
参照图11A到图11C，在屏幕1110上显示各种对象，其中，屏幕1110包括电子邮件1111、照片1112、文件1113和视频1114。如果通过将输入工具168悬浮在照片1121的上空来选择了照片1121，则移动终端100通过识别与发生悬浮的位置相应的对象(即，对象1121)而将对象确定为照片。接下来，移动终端100通过放大选择的照片来显示预览图像，并将与针对照片预先设置的触觉模式相关联的至少一个控制信号发送到输入工具168。其后，输入工具168在与接收到的控制信号相应的触觉模式下进行振动，使得用户能够感受到预定的触觉模式的振动。
图12A和图12B示出根据本发明的实施例的悬浮指示多个对象的列表下移的示例。
参照图12A和图12B，如果多个对象不能全部被显示在一个屏幕上，则未被显示的对象可通过列表上移/下移功能被显示。为了显示未被显示的对象，如果输入工具168被放置在用于列表上移/下移的图标1222的上空，则移动终端100检测到在图标1222的上空的悬浮，并确定列表下移命令已经被输入。作为响应，移动终端100向上显示当前没有显示在触摸屏190上的对象的列表，从而显示未被显示的对象。在对象的列表上移/下移正被执行的同时，与设置的触觉模式相关联的至少一个控制信号被发送到输入工具168。输入工具168分析接收到的控制信号，并通过根据设置的触觉模式来控制振动强度和振动周期中的至少一个来进行振动。
如图7B所示，可根据未被显示的对象的数量来不同地设置触觉模式。例如，如图7B所示，可根据对象的数量为20或更少、20到49之间还是50或更多来不同地设置触觉模式。可通过从对象的总数量减去目前正被显示的对象的数量来确定未被显示的对象的数量。例如，如果总共有60个电话号码存储在电话簿中并且当前显示了前六个电话号码(从字母表的A开始)，则未被显示的电话号码的数量为54。如果当前正被显示的电话簿屏幕显示与中部相应的电话号码(例如，字母C的电话号码)，则用户可确定在中部所对应并被显示的电话号码之后的、未被显示的电话号码(以字母D到字母Z打头)的数量。
图13是示出根据本发明的实施例的将对象的元数据显示为预览图像并将与触觉模式相关联的控制信号发送到输入工具的过程的流程图，图14示出根据本发明的实施例的将对象的元数据显示为预览图像的示例。
参照图13，在步骤S1310和步骤S1312，在多个对象被显示在移动终端100的触摸屏190上的同时，移动终端100确定在触摸屏190的上空是否识别到输入工具168的悬浮。如果在步骤S1312识别到悬浮，则在步骤S1314，移动终端100检查俯视功能是否被设置。例如，如果俯视功能是用于显示预览图像的默认设置并且是将预览图像重叠在触摸屏190上显示的对象的上空以显示预览图像的功能，则俯视功能应被激活。
如果俯视功能被设置，则在步骤S1316，移动终端100确定与发生悬浮的位置处的对象相应的预览内容1411。例如，移动终端100确定发生悬浮的位置处的对象是图像还是视频，并随后确定将被显示的预览图像。具体地，如果对象被确定为图像，则移动终端100将元数据显示为预览图像，其中，在元数据中存储了图像的内容；如果对象被确定为视频，则移动终端100在将视频跳转至发生悬浮的位置之后播放该视频。为了在将视频跳转至发生悬浮的位置之后播放视频，移动终端100可将针对视频预先存储的元数据显示为预览图像。
在步骤S1318，移动终端100确定在预览内容中是否包括设置了触觉模式的元数据。如上所述，元数据包括关于图像或视频的详细信息，如果对象是图像(比如照片)，则元数据可包括照片中的人的名字、拍摄照片的地方和拍摄照片的日期和时间。
如果在步骤S1318在预览内容中包括设置了触觉模式的元数据，则在步骤S1320，移动终端100将与元数据所对应的确定的触觉模式相关联的控制信号发送到输入工具168，同时使用俯视功能将确定的预览内容输出为预览图像。元数据所对应的触觉模式可由用户预先设置。
图15是示出根据本发明的实施例的将对象的内容显示为预览图像并将与触觉模式相关联的控制信号发送到输入工具的过程的流程图。
参照图15，在步骤S1510和步骤S1512，在多个对象被显示在移动终端100的触摸屏190上的同时，移动终端100确定在触摸屏190的上空是否识别到输入工具168的悬浮。
如果在步骤S1512识别到悬浮，则在步骤S1514，移动终端100检查俯视功能是否被设置。
如果俯视功能被设置，则在步骤S1516，移动终端100确定关于与发生悬浮的位置相应的对象的预览内容。具体地，移动终端100确定与发生悬浮的位置相应的对象是电子邮件、文本消息还是电话号码列表，根据确定的对象的类型来确定将被显示在预览图像中的内容的格式，并按照确定的格式来显示对象的内容。例如，如果对象是电子邮件，则移动终端100在预览消息中显示电子邮件的细节，如果对象是收到和发出的文本消息，则移动终端100使用预览消息来显示与发生悬浮的位置相应的文本消息的细节。
在步骤S1518，移动终端100检查在将被显示在预览图像中的内容中是否存在预定的字符串。字符串根据用户的偏好被预先确定，相关对象的特性可基于字符串被确定。例如，如果对象包括经济术语(例如，通货膨胀、就业率、股票、报价和汇率)，则该对象被分类为经济相关的新闻或电子邮件。在步骤S1520，移动终端100在将对象的内容显示在确定的预览图像中的同时将与预定触觉模式相关联的控制信号发送到输入工具168模式，其中，所述预定触觉模式与预定的字符串相应。
图16A到图16C示出根据本发明的实施例的将对象的内容显示为预览图像的示例。
参照图16A到图16C，在图16A中，如果用户将输入工具168放置于期望阅读的对象的上空，则移动终端100使用预览图像1611显示在其上空识别到输入工具168的悬浮的对象的细节。移动终端100将与预定触觉模式相关联的控制信号发送到输入工具168，输入工具168接收控制信号并根据预定触觉模式来控制其振动强度和振动周期中的至少一个。类似地，为了根据字符串来确定对象的类型(例如，经济、政治、社会和文化)，可预先指定与类型相关联的至少一个词语以及与字符串相关联的触觉模式，如果在对象的细节中包括所述预定字符串，则按照根据类型指定的触觉模式来控制输入工具168。
即使对于收到和发出的文本消息，如图16B所示，如果输入工具168被放置在收到和发出的文本消息中的任意文本消息之上或上空，则移动终端100将文本消息的细节显示为预览图像。如果在文本消息中指定了设置的字符串、与设置的字符串相关联的情感状态以及与字符串相关联的触觉模式，则移动终端100检查接收到的文本消息是否具有设置的字符串，并基于与检查到的字符串相应的情感状态确定发送文本消息的人的心情、感觉、情感和状况。移动终端100将与相关的触觉模式相关联的控制信号发送到输入工具168。
例如，在图16B中，对于收到和发出的文本消息，左侧表示对方所编写的文本消息，而右侧表示用户所发送的文本消息。如果对方发送了文本消息“Good～OK！Let’s go toBoracay～”，则移动终端100可从字符串“Good”和“OK”确定对方感觉很好并接受了某些建议。基于这些确定，移动终端100根据对方的心情将与预定触觉模式相关联的控制信号发送到输入工具168，输入工具160通过根据接收到的控制信号来控制振动强度和振动周期中的至少一个来进行振动。
类似地，即使对于电话号码列表，如果输入工具168被放置于多个电话号码中的任意电话号码之上或上空，则移动终端100产生预览图像1631并在预览图像1631中显示其细节。
图17A到图17I示出根据本发明的实施例的各种触觉模式的波形。
具体地，图17A示出在对象为视频的情况下的触觉模式的波形结果，图17B示出对象为电子邮件的情况下的触觉模式的波形结果，图17C示出在对象为音乐的情况下的触觉模式的波形结果，图17D示出在对象为图像的情况下的触觉模式的波形结果，图17E示出在滚动期间对象的数量少的情况下的触觉模式的波形结果，图17F示出在滚动期间对象的数量正常的情况下的触觉模式的波形结果，图17G示出在滚动期间对象的数量多的情况下的触觉模式的波形结果，图17H示出在对象为文本消息的情况下的触觉模式的波形结果，图17I示出在对象为文档的情况下的触觉模式的波形结果。
图17A到图17I示出输入工具168通过从移动终端100接收控制信号而分析得到的与每个对象的属性相关联的触觉模式的波形结果。具体地，输入工具168的触觉控制器530分析从移动终端100接收到的控制信号，并将分析后的控制信号传递至输入工具168中的振动装置520。图17A到图17I示出触觉控制器520已感测到并分析应用于振动装置520的信号的波形结果。输入工具168根据对象的属性按照图17A到图17I的波形进行振动。如图17A到图17I所示，本发明所提出的每个对象的触觉模式可根据对象的属性而具有不同的波形。在附图中，横轴表示输入工具168接收控制信号的时间轴，而纵轴表示触觉模式的振动强度。横轴的一个空格1730(图17A)为10毫秒，纵轴的一个空格1740(图17A)为1伏特。在图17B到图17I中，为了简明将省略纵轴。
参照图17A，图17A示出了针对对象为视频时的触觉模式的波形，触觉控制器530在时间1710将振动装置520切换为激活模式，使输入工具168振动大约60毫秒，然后在经过60毫秒之后在时间1720将振动装置520切换为去激活模式。在60毫秒内，输入工具168以与根据对象的属性预先确定的触觉模式相关联的振动强度和振动周期进行振动。这些振动强度和振动周期可被可变地设置。
参照图17B，图17B示出了针对对象为电子邮件时的触觉模式的波形，输入工具168中的振动装置520的激活/去激活周期比视频的激活/去激活周期更短。
参照图17C，图17C示出了针对对象为音乐时的触觉模式的波形，振动装置520的激活/去激活周期比视频的激活/去激活周期更长，并且振动强度在波形的开始和结束比波形的中段弱。
参照图17D，图17D示出了针对对象为图像时的触觉模式的波形，在振动装置520的激活/去激活切换处的振动强度比在振动装置520的振动期间的振动强度更强，并且振动从激活开始到去激活为止持续发生。
参照图17E到图17G，图17E到图17G示出了在滚动期间根据对象的数量的触觉模式的不同波形，触觉模式根据对象的剩余数量而不同。
在示出了对象为文本消息时的波形的图17H中，输入工具168从振动装置520的激活开始到去激活为止进行振动，并在预定的时间过去之后通过再次激活振动装置520而再次进行振动，然后使振动装置520去激活。
在示出了对象为文档时的波形的图17I中，振动周期比文本消息的振动周期更短。
基本上，如图17A到图17I所示，根据每个对象的属性而设置的触觉模式的波形彼此不同。
本发明的上述实施例可通过硬件、软件或它们的组合而实现。软件可例如存储在易失性存储装置或非易失性存储装置(诸如只读存储器(ROM)，无论其是否可擦除或是否可重写)中，或者可存储在例如诸如随机存取存储器(RAM)、存储器芯片和集成电路(IC)芯片的存储器中，或者可存储在可由机器(例如，计算机)光学或磁性地记录和读取的存储介质(诸如，致密盘(CD)、数字万用盘(DVD)、磁盘和磁带)中。可包括在移动终端中的存储器可以是能够被机器读取的存储介质的示例，所述存储介质适合于存储包括用于实现本发明的实施例的指令的程序。因此，本发明包括程序和机器可读存储介质，所述程序包括用于实现在说明书的任何权利要求中限定的设备和方法的代码，所述机器可读存储介质存储这些程序。另外，这些程序可通过诸如经由有线/无线连接发送的通信信号的任意介质被电传递，本发明可适当地包括其等同物。
另外，移动终端可从通过有线或无线与其连接的程序服务器接收程序并存储该程序。程序服务器可包括存储器、通信单元和控制器，其中，所述存储器用于存储包括用于控制移动终端执行设定的内容保护方法的指令的程序和用于内容保护方法的信息，所述通信单元用于与移动终端执行有线/无线通信，所述控制器用于根据移动终端的请求或者自动地将程序发送到主机装置。
通过以上描述很明显的是，如果输入工具被放置于悬浮在移动终端的触摸屏显示器上所显示的对象的上空，则移动终端将用于提供触觉效果的控制信号发送到输入工具，同时在触摸屏上显示预览图像，从而使得针对普通用户和视觉受损者提供有用的用户体验(UX)成为可能。另外，在触摸屏上显示的对象的预览期间，移动终端使用输入工具提供触觉效果，从而使得用户能够在操作触摸屏时感受到正确的操作感觉。另外，移动终端通过经输入工具输出触觉效果来支持真实和自然的用户交互环境。
虽然已经参照本发明的特定实施例示出并描述了本发明，但是本领域技术人员将理解：在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下可对其进行形式上和细节上的各种改变。

Claims (13)

1.一种用于控制电子装置中的触觉反馈的方法，所述方法包括：
检测输入工具在电子装置的触摸屏上显示的第一对象上空的悬浮；
在触摸屏上显示通过输入工具的悬浮而检测的第一对象的预览图像，其中，预览图像包括元数据，其中，元数据包括检测的第一对象的详细信息；
识别与检测的悬浮对应的第一对象的第一属性；
基于设置了触觉模式的元数据产生用于输出与识别的第一属性对应的触觉反馈的第一控制信号；
将产生的第一控制信号发送到输入工具，其中，输入工具基于第一控制信号输出触觉反馈。
2.如权利要求1所述的方法，还包括：
检测输入工具从悬浮在第一对象上空到悬浮在具有第二属性的第二对象上空的移动；
将针对与第二属性对应的触觉反馈的第二控制信号发送到输入工具，使得输入工具基于第二控制信号输出触觉反馈。
3.如权利要求1所述的方法，还包括：存储针对与多个对象的不同属性对应的多个不同触觉反馈的模式。
4.如权利要求1所述的方法，其中，触摸屏上显示的多个对象之中的对象的属性包括以下项中的至少一项：对象的类型、显示的对象的数量、对象的内容、对象的重要性和对象的体裁。
5.如权利要求1所述的方法，其中，第一控制信号包括输入工具的振动强度和振动周期中的至少一个。
6.如权利要求1所述的方法，还包括：存储针对取决于输入工具与触摸屏之间的不同距离的不同触觉反馈的模式。
7.一种用于控制触觉反馈的电子装置，所述电子装置包括：
触摸屏；
收发器；
控制器，被配置为：
控制触摸屏，其中，触摸屏被配置为显示对象，
检测输入工具在触摸屏上显示的第一对象上空的悬浮，
在触摸屏上显示通过输入工具的悬浮而检测的第一对象的预览图像，其中，预览图像包括元数据，其中，元数据包括检测的第一对象的详细信息，
识别与检测的悬浮对应的第一对象的第一属性，
基于设置了触觉模式的元数据产生用于输出与识别的第一属性对应的触觉反馈的第一控制信号，
控制收发器将产生的第一控制信号发送到输入工具，其中，输入工具基于第一控制信号输出触觉反馈。
8.如权利要求7所述的电子装置，其中，控制器还被配置为：
检测输入工具从悬浮在第一对象上空到悬浮在具有第二属性的第二对象上空的移动，
将针对与第二属性对应的触觉反馈的第二控制信号发送到输入工具，其中，输入工具基于第二控制信号输出触觉反馈。
9.如权利要求7所述的电子装置，其中，第一控制信号包括以下项中的至少一项：输入工具的振动装置的激活信息、振动装置的去激活信息和指示振动装置的振动强度的信息。
10.如权利要求7所述的电子装置，其中，第一控制信号在预定时间长度内被重复地发送到输入工具。
11.如权利要求7所述的电子装置，其中，控制器还被配置为响应于第一控制信号中所包括的振动周期和振动强度中的至少一个，控制电子装置的振动。
12.如权利要求7所述的电子装置，其中，显示的预览图像包括以下项中的至少一项：第一对象的细节、以及第一对象的与第一属性对应的放大图像。
13.如权利要求12所述的电子装置，还包括：
存储器，被配置为存储针对与多个对象的不同属性对应的不同触觉反馈的模式。
CN201380064789.0A 2012-12-14 2013-12-16 控制用于移动终端的输入工具的触觉反馈的方法和设备 Active CN104838340B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120146773A KR102091077B1 (ko) 2012-12-14 2012-12-14 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
KR10-2012-0146773 2012-12-14
PCT/KR2013/011663 WO2014092512A1 (en) 2012-12-14 2013-12-16 Method and apparatus for controlling haptic feedback of an input tool for a mobile terminal

Publications (2)

Publication Number Publication Date
CN104838340A CN104838340A (zh) 2015-08-12
CN104838340B true CN104838340B (zh) 2018-10-19

Family

ID=50930303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380064789.0A Active CN104838340B (zh) 2012-12-14 2013-12-16 控制用于移动终端的输入工具的触觉反馈的方法和设备

Country Status (7)

Country Link
US (2) US9239622B2 (zh)
EP (1) EP2932360B1 (zh)
KR (1) KR102091077B1 (zh)
CN (1) CN104838340B (zh)
AU (1) AU2013360490B2 (zh)
RU (1) RU2669087C2 (zh)
WO (1) WO2014092512A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
KR20160011388A (ko) * 2014-07-22 2016-02-01 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 전자 장치
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
KR20170120174A (ko) * 2015-03-03 2017-10-30 임머숀 코퍼레이션 웨어러블 장치 표면 햅틱 상호 작용
US20160334901A1 (en) * 2015-05-15 2016-11-17 Immersion Corporation Systems and methods for distributing haptic effects to users interacting with user interfaces
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
DK179489B1 (en) * 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10296089B2 (en) * 2016-08-10 2019-05-21 Microsoft Technology Licensing, Llc Haptic stylus
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10725544B1 (en) 2016-09-09 2020-07-28 Apple Inc. Pencil haptics
US10268273B1 (en) 2016-09-09 2019-04-23 Apple Inc. Stylus with multiple inputs
US10268288B1 (en) 2016-09-20 2019-04-23 Apple Inc. Stiffness rendering for a pencil
US10249044B2 (en) * 2016-12-30 2019-04-02 Facebook, Inc. Image segmentation with touch interaction
CN106774948A (zh) * 2017-02-16 2017-05-31 南昌欧菲显示科技有限公司 触摸屏及电子装置
CN107015640A (zh) * 2017-02-23 2017-08-04 珠海市魅族科技有限公司 终端控制振动的方法及装置
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
KR102389063B1 (ko) 2017-05-11 2022-04-22 삼성전자주식회사 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
TWI670639B (zh) 2017-05-18 2019-09-01 美商愛特梅爾公司 用於識別使用者介面元件之技術以及使用其之系統及裝置
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
JP2019066960A (ja) * 2017-09-28 2019-04-25 日本電産株式会社 振動システム
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) * 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
CN109451146B (zh) * 2018-10-15 2021-07-27 维沃移动通信有限公司 一种振动处理方法及终端
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス
EP4036690A4 (en) * 2019-09-25 2022-11-09 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, SERVER DEVICE AND PROGRAM
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11604516B2 (en) * 2020-12-17 2023-03-14 Disney Enterprises, Inc. Haptic content presentation and implementation
US20220225486A1 (en) * 2021-01-08 2022-07-14 Samsung Electronics Co., Ltd. Communicative light assembly system for digital humans
US11543931B2 (en) * 2021-01-27 2023-01-03 Ford Global Technologies, Llc Systems and methods for interacting with a tabletop model using a mobile device
US11775084B2 (en) * 2021-04-20 2023-10-03 Microsoft Technology Licensing, Llc Stylus haptic component arming and power consumption
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11868600B2 (en) * 2021-08-04 2024-01-09 Toyota Research Institute, Inc. Ranked choice on an absolute scale
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11954256B2 (en) * 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118469A (zh) * 2006-07-31 2008-02-06 索尼株式会社 用于基于触觉反馈和压力测量的触摸屏交互的设备和方法
CN101611373A (zh) * 2007-01-05 2009-12-23 苹果公司 利用触摸敏感设备控制、操纵和编辑媒体文件的姿态
JP4736605B2 (ja) * 2005-08-01 2011-07-27 ソニー株式会社 表示装置、情報処理装置、及びその制御方法
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
RU2450318C2 (ru) * 2006-07-26 2012-05-10 Ей-Джин ОХ Устройство ввода символов и способ его применения
KR100814685B1 (ko) * 2007-10-12 2008-03-18 그로위드(주) 진동 마우스 구동 장치
US8253686B2 (en) * 2007-11-26 2012-08-28 Electronics And Telecommunications Research Institute Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
KR100942704B1 (ko) * 2007-11-26 2010-02-16 한국전자통신연구원 촉각 피드백이 가능한 입력 장치, 이를 이용한 촉각 상호작용 시스템 및 방법
US8004501B2 (en) 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8347221B2 (en) * 2009-10-07 2013-01-01 Research In Motion Limited Touch-sensitive display and method of control
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US10120446B2 (en) * 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US20120180001A1 (en) * 2011-01-06 2012-07-12 Research In Motion Limited Electronic device and method of controlling same
KR101852549B1 (ko) * 2011-11-18 2018-04-27 센톤스 아이엔씨. 국소형 햅틱 피드백
KR101919052B1 (ko) 2012-06-04 2018-11-16 삼성전자주식회사 좌표 표시 장치 및 좌표 표시 장치의 입력 좌표를 측정하는 좌표 측정 장치
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4736605B2 (ja) * 2005-08-01 2011-07-27 ソニー株式会社 表示装置、情報処理装置、及びその制御方法
CN101118469A (zh) * 2006-07-31 2008-02-06 索尼株式会社 用于基于触觉反馈和压力测量的触摸屏交互的设备和方法
CN101611373A (zh) * 2007-01-05 2009-12-23 苹果公司 利用触摸敏感设备控制、操纵和编辑媒体文件的姿态
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序

Also Published As

Publication number Publication date
RU2015128297A (ru) 2017-01-23
KR20140077697A (ko) 2014-06-24
US9483120B2 (en) 2016-11-01
EP2932360A1 (en) 2015-10-21
WO2014092512A1 (en) 2014-06-19
AU2013360490A1 (en) 2015-07-16
EP2932360B1 (en) 2020-03-25
RU2669087C2 (ru) 2018-10-08
US9239622B2 (en) 2016-01-19
US20160132118A1 (en) 2016-05-12
EP2932360A4 (en) 2016-09-07
AU2013360490B2 (en) 2019-04-04
KR102091077B1 (ko) 2020-04-14
CN104838340A (zh) 2015-08-12
US20140168124A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
CN104838340B (zh) 控制用于移动终端的输入工具的触觉反馈的方法和设备
CN105074624B (zh) 用于提供触觉效果的便携式终端和方法
KR102178845B1 (ko) 햅틱을 제어하는 휴대 단말 및 방법
CN104937521B (zh) 将触觉效果提供给输入单元的便携式终端和方法
KR102090964B1 (ko) 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
KR102213490B1 (ko) 스크린을 제어하는 전자 장치 및 방법
CN105393202B (zh) 用于提供组合用户界面组件的便携式的设备和控制其的方法
KR20150104808A (ko) 피드백을 출력하는 전자 장치 및 방법
US20140055398A1 (en) Touch sensitive device and method of touch-based manipulation for contents
KR20140097902A (ko) 햅틱 패턴을 생성하는 휴대 단말 및 방법
KR20140105331A (ko) 터치 스크린 상에서 객체 디스플레이를 제어하는 휴대 단말 및 방법
US20130305186A1 (en) Display device, user interface method, and program
EP2863619A1 (en) Electronic device and method for controlling object display
CN104133632A (zh) 用于保护所显示的对象的便携式终端和方法
KR20140134940A (ko) 터치 스크린을 제어하는 휴대 단말 및 방법 및 이를 위한 시스템
KR102255087B1 (ko) 객체를 디스플레이하는 전자 장치 및 방법
KR20150007862A (ko) 데이터 제공을 제어하는 휴대 단말 및 방법
CN106843679A (zh) 一种实现分屏切换的方法及终端
CN106886382A (zh) 一种实现分屏处理的方法及终端
KR20150044757A (ko) 플로팅 입력에 따라 동작을 제어하는 전자 장치 및 그 방법
KR102258313B1 (ko) 이동단말 및 그 제어방법
CN106886337A (zh) 一种实现参数调整的方法及终端
KR20140113757A (ko) 핑거프린트를 이용하여 미디어를 수신하는 휴대 단말 및 방법
KR20150021243A (ko) 진동 및 소리 중 적어도 하나를 제어하는 전자 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant