CN103383596A - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN103383596A
CN103383596A CN2013101585821A CN201310158582A CN103383596A CN 103383596 A CN103383596 A CN 103383596A CN 2013101585821 A CN2013101585821 A CN 2013101585821A CN 201310158582 A CN201310158582 A CN 201310158582A CN 103383596 A CN103383596 A CN 103383596A
Authority
CN
China
Prior art keywords
mobile terminal
eyes
user
controller
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101585821A
Other languages
English (en)
Inventor
罗星菜
全兑泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103383596A publication Critical patent/CN103383596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种移动终端及其控制方法。移动终端包括，相机，该相机被配置成使用移动终端捕获用户的至少第一和第二眼睛姿势；显示器；以及控制器，该控制器被配置成基于捕获到的第一眼睛姿势在显示器上显示眼睛跟踪模式指导，并且基于捕获到的第二眼睛姿势选择被包括在眼睛跟踪模式指导中的特定功能。

Description

移动终端及其控制方法
相关申请的交叉引用
本申请要求于2012年5月2日提交的韩国专利申请No.10-2012-0046192的在先申请日期和优先权的权益，其内容通过参考整体结合于此。
技术领域
本发明涉及一种移动终端，并且更加具体地，涉及一种移动终端和根据用户的眼睛的姿势（gesture）类型有效地控制移动终端的控制方法。
背景技术
随着诸如个人计算机、膝上型计算机、蜂窝电话的终端的功能多样化，终端变成具有用于捕获图画或者运动图像、播放音乐、移动图像文件和游戏，并且接收广播节目的多个功能的多媒体播放器。
终端能够被归类为移动终端和固定终端。根据用户是否能够个人携带终端，移动终端能够进一步由手持式终端和车载终端组成。包括移动终端的传统的终端提供越来越多的复杂的各种功能。
为了支持并且增强越来越多的终端中的功能，期待改进终端的结构部分和/或软件部分。
此外，用于基于用户的眼睛姿势控制移动终端的各种方法正在开发当中。
发明内容
因此，本发明的一个目的是为了提供一种移动终端和用于根据用户的眼睛的姿势类型有效地控制移动终端的方法。
为了实现这些和其它的目的性实施例，本发明提供一种移动终端，该移动终端包括，相机，该相机被配置成使用移动终端捕获用户的至少第一和第二眼睛姿势；显示器；以及控制器，该控制器被配置成基于捕获到的第一眼睛姿势在显示器上显示眼睛跟踪模式指导（guide），并且基于捕获到的第二眼睛姿势选择被包括在眼睛跟踪模式指导中的特定功能。
在另一方面中，本发明提供一种控制移动终端的方法，该方法包括：经由移动终端的相机使用移动终端捕获用户的至少第一和第二眼睛姿势；经由移动终端的显示器基于捕获到的第一眼睛姿势显示眼睛跟踪模式指导；以及经由移动终端的控制器基于捕获到的第二眼睛姿势选择被包括在眼睛跟踪模式指导中的特定功能。
附图说明
附图被包括以提供对本发明进一步的理解，并且被并入且构成本申请的一部分，附图图示了本发明的一个或多个实施例，并且与说明书一起用于解释本发明的原理。
图1是根据本发明的实施例的移动终端的框图；
图2A是根据实施例的移动终端的前透视图；
图2B是根据实施例的移动终端的后透视图；
图3是用于解释接近传感器的接近深度的视图；
图4是图1的移动终端的示例；
图5是图示图1的移动终端的操作的流程图；
图6和图7图示在图5的移动终端中的眼睛跟踪的处理；
图8和图9图示在图5的移动终端中计算用户的凝视（gaze）方向的过程；
图10至图13图示在图5的移动终端中通过使用用户的左眼的第一和第二姿势；
图14至图18图示在图5的移动终端中通过使用用户的右眼的第一和第二姿势；以及
图19至图29图示在图5的移动终端中通过使用各种眼睛姿势的控制处理。
具体实施方式
现在将参考附图更加充分地描述布置和实施例，在附图中可以示出本发明的示例性实施例。然而，实施例可以以许多不同的形式实施，并且不应该认为是限制在此处阐述的实施例；更确切地，可以提供了实施例，使得本公开将是全面的和完整的，并且将充分地向本领域技术人员表达概念。
在下面将参考附图描述移动终端。在以下的描述中，对移动终端的部件可以给出后缀“模块”和“单元”仅仅是出于描述便利的考虑，并且不具有相互区别的含义或者功能。
移动终端可以包括蜂窝电话、智能电话、膝上计算机、数字广播终端、个人数字助理（PDA）、便携式多媒体播放器（PMP）、导航系统等。
图1是根据实施例的移动终端的框图。也可以提供其它的实施例、配置和布置。
如所示，移动终端100可以包括无线通信单元110（或者无线电通信单元）、音频/视频（A/V）输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口170、控制器180和电源190。在图1中示出的部件可以是必要部分，和/或包括在移动终端100中的部件的数目可以改变。现在可以描述移动终端100的组件。
无线通信单元110可以包括使得能够在移动终端100和无线电通信系统之间，或者在移动终端100和移动终端100所位于的网络之间进行无线电通信的至少一个模块。例如，无线通信单元110可以包括广播接收模块111、移动通信模块112、无线因特网模块113、短程通信模块114（或者局域通信模块），和定位信息模块115（或者位置信息模块）。
广播接收模块111可以通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和陆地信道，并且广播管理服务器可以是产生和发送广播信号和/或广播相关信息的服务器，或者接收事先创建的广播信号和/或广播相关信息并且将广播信号和/或广播相关信息发送给终端的服务器。
广播信号可以不仅包括TV广播信号、无线电广播信号和数据广播信号，而且可以包括以TV广播信号和无线电广播信号的组合形式的信号。广播相关信息可以是有关广播频道、广播节目或者广播服务提供商的信息，并且可以甚至通过移动通信网络提供。在后者的情形下，广播相关信息可以由移动通信模块112接收。
广播相关信息可以以各种形式存在。例如，广播相关信息可以以数字多媒体广播（DMB）系统的电子节目指南（EPG）的形式，或者以数字视频广播-手持（DVB-H）系统的电子服务指南（ESG）的形式存在。
广播接收模块111可以使用各种广播系统接收广播信号。更具体的，广播接收模块111可以使用数字广播系统，诸如数字多媒体广播-陆地（DMB-T）系统、数字多媒体广播-卫星（DMB-S）系统、仅媒体前向链路（MediaFLO）系统、DVB-H和综合服务数字广播-陆地（ISDB-T）系统，来接收数字广播信号。广播接收模块111可以从除了以上描述的数字广播系统之外提供广播信号的广播系统接收信号。
通过广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160中。移动通信模块112可以在移动通信网络上向基站、外部终端和服务器中的至少一个发送无线电信号/从基站、外部终端和服务器中的至少一个接收无线电信号。无线电信号可以包括语音呼叫信号、视频电话呼叫信号或者根据文字/多媒体消息的发送和接收呈各种形式的数据。
无线因特网模块113可以对应于用于无线因特网接入的模块，并且可以包括在移动终端100中，或者可以外部地附接到移动终端100。无线LAN（WLAN或者Wi-Fi）、无线宽带（Wibro）、全球微波接入互操作性（Wimax）、高速下行链路分组接入（HSDPA）等可以用作无线因特网技术。
短程通信模块114可以对应于用于短程通信的模块。此外，射频识别（RFID）、红外数据协会（IrDA）、超宽带（UWB）和/或紫蜂可以用作短程通信技术。
定位信息模块115可以确认或者获得移动终端100的定位或者位置。定位信息模块115可以通过使用全球导航卫星系统（GNSS）获得位置信息。GNSS是描述无线电导航卫星系统的术语，该无线电导航卫星系统涉及围绕地球旋转并且向预先确定类型的无线电导航接收机发送基准信号，使得无线电导航接收机可以确定它们在地球表面或者接近地球表面上的位置。GNSS可以例如包括美国的全球定位系统（GPS）、欧洲的伽利略（Galileo）、俄罗斯的全球轨道导航卫星系统（GLONASS）、中国的COMPASS和日本的准天顶卫星系统（QZSS）。
全球定位系统（GPS）模块是定位信息模块115的代表性示例。GPS模块可以计算关于在一个点或者对象和至少三颗卫星之间距离的信息，和关于当测量到距离的时间的信息，并且对获得的距离信息应用三角法以根据在预定时间的纬度、经度和高度来获得关于点或者对象的三维位置信息。
还可以采用使用三颗卫星计算位置和时间信息，并使用另一颗卫星校正计算的位置和时间信息的方法。另外，GPS模块可以连续地实时计算当前位置，并且使用定位或者位置信息计算速度信息。
A/V输入单元120可以输入（或者接收）音频信号和/或视频信号。A/V输入单元120可以包括相机121和麦克风122。相机121可以处理在视频电话模式或者拍摄模式下通过图像传感器获得的静止图像或者运动图像的图像帧。处理的图像帧可以被显示在显示器151上，显示器151可以是触摸屏。
由相机121处理的图像帧可以被存储在存储器160中，或者可以通过无线通信单元110被发送到外部设备。移动终端100也可以包括至少两个相机121。
麦克风122可以在呼叫模式、记录模式和/或语音识别模式下接收外部音频信号，并且麦克风122可以将接收到的音频信号处理为电音频数据。然后，音频数据可以被转换为能够通过移动通信模块112发送到移动通信基站的形式，并且在呼叫模式下被输出。麦克风122可以采用用于去除或者降低在接收到外部音频信号时产生的噪声的各种噪声去除算法（或者噪声消除算法）。
用户输入单元130可以从用户接收用于控制移动终端100操作的输入数据。用户输入单元130可以包括键盘、薄膜开关、触摸板（恒定电压/电容）、摇动轮（jog wheel）、摇动开关（jog switch）等。
感测单元140可以感测移动终端100的当前状态，诸如移动终端100的打开/关闭状态、移动终端100的位置、用户是否触摸移动终端100、移动终端100的方向，和移动终端100的加速/减速，并且感测单元140可以产生用于控制移动终端100操作的感测信号。例如，在滑盖电话的示例中，感测单元140可以感测滑盖电话是否打开或关闭。此外，感测单元140可以感测电源190是否供给电力，和/或接口170是否连接到外部设备。感测单元140也可以包括接近传感器142。感测单元140可以感测移动终端100的运动。
感测单元140也包括姿势检测传感器141，该姿势检测传感器141经由相机121检测操作终端100的用户的面部和/或眼睛的移动或者变化。
输出单元150可以产生视觉、听觉和/或触觉输出，并且输出单元150可以包括显示器151、音频输出模块152、报警器153和触觉模块154。显示器151可以显示由移动终端100处理的信息。当移动终端100处于呼叫模式时，显示器151可以显示与电话呼叫相关的用户界面（UI）和/或图形用户界面（GUI）。当移动终端100处于视频电话模式或者拍摄模式时，显示器151也可以显示捕捉到的和/或接收到的图像、UI或者GUI。
显示器151可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器和/或三维显示器中的至少一个。显示器151可以是透明类型或者光透射类型。也就是说，显示器151可以包括透明显示器。
透明显示器可以是透明液晶显示器。显示器151的后面结构也可以是光透射类型。因此，用户可以透过由显示器151占据的移动终端100的主体的透明区域看到位于移动终端100的主体后面的对象。
移动终端100也可以包括至少两个显示器151。例如，移动终端100可以包括以预定距离布置在单个面上的多个显示器151或者集成的显示器。多个显示器151也可以布置在不同的侧面上。
当显示器151和感测触摸的传感器（此后称为触摸传感器）形成被称为触摸屏的层状结构时，该显示器151除了输出设备之外还可以用作输入设备。例如，触摸传感器可以是触摸膜、触摸片和/或触摸板的形式。
触摸传感器可以将施加于显示器151的特定部分的压力的变化，或者在显示器151的特定部分产生的电容的变化转换为电输入信号。触摸传感器可以感测触摸的压力以及触摸的位置和面积。
当用户将触摸输入施加于触摸传感器时，对应于触摸输入的信号可以被发送到触摸控制器。然后，触摸控制器可以处理该信号，并且将与处理的信号相对应的数据发送给控制器180。因此，控制器180可以检测显示器151的触摸的部分。
接近传感器142可以位于由触摸屏包围的移动终端100的内部区域中，和/或触摸屏附近。接近传感器142可以在没有机械接触的情况下使用电磁力或者红外线来感测靠近预先确定的感测面的对象，或者位于接近传感器142附近的对象。接近传感器142具有比接触传感器长的寿命，并且因此在移动终端100中具有广泛的应用。
接近传感器142可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容接近传感器、磁性接近传感器和/或红外接近传感器。电容触摸屏可以被构造为使得通过随指示装置接近电场的变化来检测指示装置的接近。触摸屏（触摸传感器）可以被分类为接近传感器142。
为了容易解释，指示装置靠近触摸屏而没有实际触摸触摸屏的动作可以被称为接近触摸，并且指示装置接触触摸屏的动作可以被称为接触触摸。在触摸屏上指示装置的接近触摸点可以对应于触摸屏上指示装置垂直于触摸屏的点。
接近传感器142可以感测接近触摸和接近触摸模式（例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等）。与所感测的接近触摸动作和接近触摸模式相对应的信息然后可以被显示在触摸屏上。
音频输出模块152可以在呼叫信号接收模式、电话呼叫模式，或者记录模式、语音识别模式和广播接收模式下输出从无线通信单元110接收到的或者存储在存储器160中的音频数据。音频输出模块152可以输出与在移动终端100中执行的功能相关的音频信号，诸如呼叫信号进入音和消息进入音。音频输出模块152可以包括接收机、扬声器、蜂鸣器等。该音频输出模块152可以通过耳机插孔输出声音。用户可以通过将耳机连接到耳机插孔来听到声音。
报警器153可以输出用于指示移动终端100的事件产生的信号。例如，当接收到呼叫信号、接收到消息、输入按键信号和/或输入触摸时，可以产生报警信号。报警器153也可以以不同于视频信号或者音频信号的形式输出信号，例如，用于通过振动指示事件产生的信号。视频信号和/或音频信号也可以通过显示器151或者音频输出模块152输出。
触觉模块154可以产生用户能够感觉的各种触觉效果。触觉效果的一个示例是振动。由触觉模块154产生的振动的强度和/或模式也可以被控制。例如，不同的振动可以被组合和输出，或者可以顺序地输出。
触觉模块154可以产生各种触觉效果，除了振动之外，还包括：根据针相对接触皮肤表面垂直移动的布置的刺激效果，根据空气通过喷射孔或者吸收孔的喷射力或者吸收力的刺激效果，摩擦皮肤的刺激效果，根据电极接触的刺激效果，使用静电力的刺激效果，以及根据使用能够吸热或者放热的元件的冷和热再现的效果。
触觉模块154可以不仅通过直接接触发送触觉效果，而且可以允许用户通过用户的手指或者胳膊的肌肉运动感知来感觉触觉效果。该移动终端100也可以包括多个触觉模块154。
存储器160可以存储用于控制器180操作的程序，和/或临时地存储输入/输出数据，诸如电话簿、消息、静止图像和/或运动图像。存储器160也可以存储关于当触摸输入施加于触摸屏时输出的各种模式的振动和声音的数据。
存储器160可以至少包括闪存、硬盘型存储器、多媒体卡微型存储器、卡型存储器，诸如SD或者XD存储器、随机存取存储器（RAM）、静态RAM（SRAM）、只读存储器（ROM）、电可擦可编程只读存储器（EEPROM）、可编程ROM（PROM）、磁存储器、磁盘和/或光盘。移动终端100也可以与在因特网上执行存储器160的存储功能的web存储相关联地操作。
接口170可以用作到连接到移动终端100的外部设备的路径。接口170可以从外部设备接收数据或者电力，并且将数据或者电力发送到移动终端100的内部部件，或者将移动终端100的数据发送到外部设备。例如，接口170可以包括有线/无线头戴送受话器端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接具有用户识别模块的设备的端口、音频I/O端口、视频I/O端口，和/或耳机端口。
接口170也可以与用户识别模块对接，该用户识别模块是存储用于鉴权使用移动终端100权限的信息的芯片。例如，用户识别模块可以是用户识别模块（UIM）、订户识别模块（SIM）和/或通用订户识别模块（USIM）。识别设备（包括用户识别模块）也可以以智能卡的形式制造。因此，识别设备可以通过接口170的端口连接到移动终端100。
接口170也可以是当移动终端100连接到外部托架时、来自外部托架的电力通过其而被提供给移动终端100的路径，或者通过托架由用户输入的各种命令信号通过其而被发送到移动终端100的路径。从托架输入的各种命令信号或者电力可以用作确认移动终端100是否正确地设置在托架中的信号。
控制器180控制移动终端100的整体操作。例如，控制器180可以执行用于语音通信、数据通信和/或视频电话的控制和处理。控制器180也可以包括用于播放多媒体的多媒体模块181。多媒体模块181可以被包括在控制器180中，或者可以与控制器180分离。
控制器180可以执行能够将施加于触摸屏的手写输入或者绘图输入识别为字符或者图像的模式识别处理。在控制器180的控制之下，电源190可以接收外部电力和内部电力，并且提供移动终端100的部件操作所需的电力。
根据硬件实现，实施例可以使用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理器件（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器和/或用于执行功能的电子单元中的至少一个来实现。实施例可以由控制器180实现。
根据软件实现，诸如过程或者功能的实施例可以利用执行至少一个功能或者操作的单独的软件模块来实现。软件代码可以根据以适当的软件语言编写的软件应用来实现。软件代码可以存储在存储器160中，并且由控制器180执行。
图2a是根据本发明的实施例的移动终端（或者手持式终端）的前透视图。移动终端100可以直板式终端主体。然而，实施例不限于直板式终端并且可以被应用于具有被相对可移动地组合的至少两个主体的包括滑盖式、折叠式、旋转式和/或摇摆式终端的各种类型的终端。
终端主体可以包括形成移动终端100的外部的壳体（外壳、外罩、盖等）。在本实施例中，壳体可以被划分为前壳体101和后壳体102。各种电气部件可以被布置在前壳体101与后壳体102之间形成的空间中。至少一个中间壳体可以被附加地设置在前壳体101和后壳体102之间。壳体可以是通过注射成型由塑料形成，或者由诸如不锈钢（STS）或者钛（Ti）的金属材料形成。
显示器151、音频输出单元152、相机121、用户输入单元130/131以及132、麦克风122、接口170可以被布置（或者设置）在终端主体中，并且更加具体地可以被布置（或者设置）在前壳体101中。
显示器151可以占据前壳体101的正面的绝大部分。音频输出单元152和相机121可以被布置在接近显示器151的两个末端中的一个的区域中，并且用户输入单元131和麦克风122可以位于接近显示器151的另一个末端的另一区域中。用户输入单元132和接口170可以被布置或者设置在前壳体101和后壳体102的侧面上。
输入单元130可以接收用于控制移动终端100的操作的命令，并且可以包括多个操作单元131和132。操作单元131和132可以被称为操纵部分并且可以采用其中用户操作操作单元131和132同时具有触觉的任何触觉的方式。
第一和第二操作单元131和132可以接收各种输入。例如，第一操作单元131可以接收诸如开始、结束以及滚动的命令并且第二操作单元132可以接收诸如从音频输出单元152输出的声音的音量的控制或者显示器151到触摸识别模式的转换的命令。
图2b是根据本发明的实施例的在图2a中示出的移动终端的后透视图。参考图2b，相机121’可以被附加地附接到终端主体，即，后壳体102的后侧。相机121’可以具有与在图2a中示出的相机121相对的拍摄方向，并且可以具有与相机121的像素不同的像素。
例如，可以期待的是，相机121具有较低的像素使得在视频电话的情况下相机121可以捕获用户的面部的图像并且将该图像传输到接收部分，同时相机121’具有较高的像素，因为在多数情况下相机121’捕获普通对象的图像并且没有立即传输该图像。相机121和121’可以被附接或者设置到终端主体使得相机121和121’可以旋转或者弹出。
闪光灯泡123和镜子124可以被附加地设置为接近相机121’。当相机121’拍摄对象的图片时闪光灯泡123可以照亮对象。当用户使用相机121’想要自我拍摄他自己/她自己时，镜子124可以被用于用户看到镜子中的他/她的面部。
音频输出单元152’可以被附加地设置在终端主体的后侧上。音频输出单元152’可以与（在图2a中示出的）音频输出单元152一起实现立体声功能并且当终端被用于电话呼叫时其可以被用于扬声器电话模式。
除了用于电话呼叫的天线之外广播信号接收天线可以被附加地附接或者设置到终端主体的侧面。构造在图1中示出的广播接收模块111的一部分的天线可以被设置在终端主体中使得天线可以从终端主体中拉出。
用于将电力提供给移动终端100的电源190可以被设置在终端主体中。电源190可以被包括在终端主体中或者可以被可拆卸地附接到终端主体。
用于感测触摸的触摸板135可以被附接到后壳体102。触摸板135可以是光透射型，诸如显示器151。例如，如果显示器151通过其两侧输出视觉信息，则通过触摸板135可以识别或者确定视觉信息。可以通过触摸板135控制通过显示器151的两侧输出的信息。否则，显示器可以被附加地附接或者设置到触摸板135使得触摸屏甚至可以被布置或者设置在后壳体102中。
触摸板135可以结合前壳体101的显示器151进行操作。触摸板135可以平行于显示器151位于显示器151后面。在大小上触摸板135可以与显示器151相同或者比显示器151小。
图3是用于解释接近传感器的接近深度的视图。如在图3中所示，当指示装置（诸如用户的手指）靠近触摸屏时，位于触摸屏内部或者附近的接近传感器可以感测指示装置的接近，并且可以输出接近信号。
接近传感器可以被构造使得接近传感器根据靠近触摸屏的指示装置和触摸屏之间的距离（被称为“接近深度”）输出接近信号。
其中当指示装置靠近触摸屏时输出接近信号的距离可以被称为检测距离。可以通过使用具有不同的检测距离的多个接近传感器并且通过比较从接近传感器分别输出的接近信号来确定接近深度。
图3示出其中可以提供能够感测三种接近深度的接近传感器的触摸屏的截面。能够感测少于三个或者多于4个接近深度的接近传感器可以被设置在触摸屏中。
更加具体地，当指示装置完全地接触触摸屏D0时，其可以被认为是接触触摸。当指示装置位于离触摸屏的距离D1时，其可以被认为是第一接近深度的接近触摸。当指示装置位于离触摸屏的距离D1和距离D2之间的范围中时，其可以被认为是第二接近深度的接近触摸。当指示装置位于离触摸屏的距离D2和距离D3之间的范围中时，其可以被认为是第三接近深度的接近触摸。当指示装置位于大于离触摸屏的距离D3时，其可以被认为是接近触摸的取消。
因此，控制器180可以根据相对于触摸屏的接近距离和接近位置将接近触摸认为是各种输入信号，并且控制器810可以根据输入信号执行各种操作控制。
图4是图1的移动终端的示例。如在图4中所示，本发明能够被应用于各种移动终端100，100a。
如在图4（a）中所示，移动终端100包含标准的显示器151。例如，本发明可以被应用于通过一只手能够抓握并且通过相同的抓握的手能够触摸其显示器的移动终端100。
如在图4（b）中所示，移动终端100a可以包括较大的显示器151a。例如，本发明可以被应用于诸如笔记本、记事本、书或者阅读器等的移动终端100a。
接下来，图5是图示图1的移动终端的操作的流程图。如在图5中所示，根据本发明的一个实施例的控制器180进入眼睛跟踪模式（S10）。
眼睛跟踪对应于基于用户的眼睛的姿势操作移动终端100的模式。换言之，眼睛跟踪可以对应于基于通过相机121捕获的用户的眼睛图像根据用户的眼睛的凝视方向的信息操作移动终端100的模式。稍后将会详细地描述通过相机121获得用户的眼睛的凝视方向的方法。
可以基于用户的操作和/或控制器180的控制信号来操作眼睛跟踪模式。例如，用户能够通过对移动终端100的触摸操作请求移动终端100执行眼睛跟踪模式。
此外，当外部温度低于预定值时控制器180能够自动地执行眼睛跟踪模式。例如，如果当前周围环境温度是-10度时，显示器151上的直接触摸运动将不是容易的并且因此触摸模式能够被自动地切换到眼睛跟踪模式。类似地，控制器180能够考虑诸如降雨的当前天气条件切换到眼睛跟踪模式。换言之，因为在雨天不容易执行触摸运动，所以触摸模式能够被自动地切换到眼睛跟踪模式。而且，控制器180能够基于由执行中的应用的类型产生的条件切换到眼睛跟踪模式。
如果预定的条件被满足，控制器180也能够在眼睛跟踪模式和触摸模式之间切换。例如，如果用户在户外环境下操作移动终端100，则移动终端100能够被切换到眼睛跟踪模式，而当移动终端100移动到室内环境下时移动终端100能够被再次切换到触摸模式。
此外，当移动终端100已经进入眼睛跟踪模式时，控制器180通过眼睛的第一姿势是否已经被获得（S20）并且响应于第一姿势显示指导屏幕（S30）。
另外，第一姿势是自从眼睛跟踪模式的启动起通过用户的眼睛的凝视方向的跟踪由用户输入的有效姿势。一旦眼睛跟踪模式已经开始，控制器180尝试从通过相机121捕获的用户的面部图像并且使用姿势检测传感器141获得关于用户的眼睛的位置和凝视方向的信息。
此外，第一姿势可以是诸如眨眼的姿势。例如，如果用户眨动他的或者她的左眼或者右眼，控制器180（在进入眼睛跟踪模式之后跟踪用户的眼睛的有效姿势）将眨眼运动确定为第一姿势。
如果第一姿势被输入，则控制器180能够显示指导屏幕。换言之，如果控制器180在第一时间内识别用户进行的有效眼睛姿势并且用户进行与第一眼睛姿势有关的特定眼睛姿势，则控制器180通知用户控制器180将会执行与第二眼睛姿势相对应的功能的事实。
指导屏幕可以包含图标、图像、图形、表格、图表等。例如，在第一姿势被输入时图标可以被显示在与凝视方向相对应的位置处。如果图标被显示在与凝视方向相对应的位置处，则用户可以相对于用于选择所期待的菜单的图标容易地计算出他或者她必须移动他的或者她的凝视方向的哪一方向。此外，通过在指导屏幕上显示在第一姿势之后能够执行的相关功能，用户能够容易地选择后续的功能。例如，图标可以被显示在与凝视方向相对应的区域的中心处并且箭头可以被显示示出允许在中心点周围的方向。
然后控制器180确定是否已经获得通过眼睛的第二姿势（S40）并且响应于第二姿势显示指导屏幕（S50）。此外，第二姿势可以对应于与使指导屏幕被显示的第一姿势连续地执行的姿势或者在第一姿势被执行之后的预定时段内执行的眼睛姿势。例如，在执行有意地眨眼的第一姿势之后，可以连续地或者在预定的时段内执行沿着特定方向移动用户的凝视方向的第二姿势。另一方面，第二姿势可以对应于当在由于第一姿势显示指导屏幕之后正在显示指导屏幕的至少一部分时执行的眼睛姿势。
当第二姿势被执行时，控制器180执行与姿势相对应的功能。例如，能够沿着显示器滚动的控制器180可以沿着用户的凝视方向被滚动或者在与用户的凝视方向相对应的位置处的菜单可以被选择。
由于第二姿势的操作可以根据当前执行中的应用而变化。例如，如果网页被显示，则网络的滚动被执行，然而，如果图像被显示，则图像可以被旋转。
接下来，图6和图7图示在图5的移动终端中的眼睛跟踪的处理。如在附图中所示，控制器180执行与用户的眼睛（E）姿势相对应的操作。
如在图6中所示，第一和第二相机121、121’被布置在移动终端100的不同侧面上。特别地，第一相机121朝着移动终端100的用户捕获图像，然而第二相机121’在相反的方向上捕获图像。
控制器180能够从通过第一相机121捕获的图像提取用户的眼睛（E）图像。例如，假设具有近似于圆形的对象对应于面部。然后左眼（EL）和右眼（ER）能够被识别为在示出面部中的两边对称的位置处的相对暗的区域。此外，控制器180能够通过跟踪眼睛图像中的暗瞳确定用户的凝视方向。
如在图7中所示，第二姿势对应于在第一姿势被执行之后的预定的持续时间内执行的眼睛姿势。更加详细地，在t1，眼睛跟踪模式可以被启动。换言之，控制器180进入能够通过使用用户的眼睛而不是移动终端100上的直接触摸输入控制移动终端100的模式。
此外，如在图7中所示，在t2执行第一姿势。然而，在时间t2，在眼睛跟踪模式下观察用户的眼睛图像的控制器180感知用户想要执行特定的操作。如上面所讨论的，第一姿势可以对应于用户眨动两只眼睛或者眨动一只眼睛。如果第一姿势被执行，控制器180在显示器151上显示指导屏幕。
然后在t3执行第二姿势。第二姿势可以对应于沿着预定的方向移动凝视方向的眼睛姿势。例如，时间t3可以是从t1开始的预定时间范围内的时间点。例如，t3可以是从t2到t4的特定时间点。如果控制器180确定第二姿势是在第一姿势被执行之后的预定的时段内进行的姿势，则控制器180确定第二姿势是有效的并且执行与第二姿势相对应的功能。
当时间变成t4时，控制器180能够重置通过执行先前确定的第一姿势引起的效果。换言之，在t4的时间，能够去除基于第一姿势显示的指导屏幕。
如果在超过t4的t5执行第二姿势，则控制器180确定第二姿势不是有效的。换言之，在t3和t5执行的第二姿势可以是相同的姿势并且控制器180忽略在t5进行的姿势。因此，用户能够在进行第一姿势之后的预定时段内执行后续的眼睛姿势。而且，如果第一姿势被再次执行或者通过触摸指导区域或者指导区域的剩余区域触发的重置功能被执行，能够去除指导屏幕。
接下来，图8和图9图示计算在图5的移动终端中用户的凝视方向的过程。如在附图中所示，控制器180从捕获图像计算用户的眼睛的凝视方向。
如在图8中所示，根据本发明的一个实施例的控制器180获得用户的眼睛图像（S42）。如上面所论述的，通过相机121能够捕获眼睛图像。例如，通过被布置在移动终端100的前表面的一个位置处的相机121能够获得操作移动终端100的用户的眼睛图像。
通常，操作移动终端100的用户凝视被布置在移动终端100的前表面上的显示器151。因此，通过前表面上的相机121能够捕获用户的面部图像。然后控制器180能够从被捕获的面部图像提取眼睛区域。
接下来，控制器180计算瞳孔的中心（S44）。特别地，瞳孔是位于通过虹膜包围的眼睛的中心的眼睛的圆形区域中。与眼睛的其它部分相比较瞳孔也是较暗或者具有不同于眼睛的其它部分的颜色特性。即，因为眼睛的不同颜色特性，控制器180能够计算眼睛的中心并且计算眼睛的移动。
此外，用户的凝视方向与瞳孔高度相关。例如，用户正在感兴趣地查看的区域实际上对应于沿着其瞳孔的中心所指向的方向。瞳孔的中心位于被捕获的眼睛图像的中心并且基于它的相对暗的形状和/或颜色特性能够被提取。例如，圆形的瞳孔图像的中心位置可以被确定为瞳孔的中心。
接下来，控制器180通过考虑用户的面部移动计算凝视方向（S46）。面部移动被用于计算用户的凝视方向和瞳孔的中心位置。例如，即使用户在没有他们的瞳孔的任何移动的情况下用户面朝前，用户的凝视方向可以随着用户在左右方向上移动他的或者她的头部而改变。
另外，能够通过由相机121捕获的用户的面部图像检测面部移动。然后控制器180能够基于诸如面部图像中的前额、眼睛、鼻子、嘴、以及耳朵的特性要素提取面部的注视方向。
基于被计算的瞳孔的中心位置和面部移动，控制器180能够计算凝视方向。例如，控制器180能够确定用户当前正在查看的显示器151的哪一部分。为了便于理解，基于凝视方向提供本发明的描述。然而，凝视方向可以包括基于用户的头部的运动的用户的面部的注视方向。
如在图8中所示，控制器180确定与凝视方向相对应的功能存在（S48）并且执行与凝视方向相对应的特定功能（S52）。当凝视方向被计算并且与凝视方向相对应的功能存在（在S48中为是）时，控制器180执行功能。例如，当用户的凝视方向从当前中心点移到上方向（upper direction）并且沿着该方向的滚动功能存在时，控制器180执行能够沿着该方向执行的滚动功能。如前面所论述的，用户能够通过由第一姿势显示的指导屏幕识别与凝视方向相对应的特定功能的存在。
如在图9中所示，控制器180能够从通过相机121获得的图像获得用户的凝视方向。如所示的，凝视方向的起始点可以是眼球的中心点EP。换言之，通过从眼球的中心EP开始并且经过瞳孔的中心P的凝视向量GD1、GD2能够确定凝视方向。
如果用户移动他们的凝视方向，他的或者她的瞳孔的中心P也相应地移动。在本实例中，如果不存在用户的面部移动，仅用户的瞳孔的中心P移动同时眼球的中心EP保持固定。如果用户的瞳孔的中心P移动，凝视向量GD1、GD2从第一凝视向量GD1移到第二凝视向量GD2。
如果用户进行面部移动，则眼球的中心EP和用户的瞳孔的中心P同时移动。因此，控制器180能够基于通过相机121获得的用户的瞳孔的中心的移动和/或用户的面部移动获得凝视方向。
接下来，图10至图13图示在图5的移动终端中的通过使用用户的左眼的第一和第二姿势。在本示例中，控制器180基于眼睛姿势生成控制信号。
如在图10（a）中所示，相机121捕获用户的眼睛（E）的图像。例如，基于对称地位于面部中的眼睛（E）的特性，能够识别左眼EL和右眼ER。
如在图10（b）中所示，控制器180能够基于捕获到的左眼EL和右眼ER的图像确定用户是否已经进行眼睛姿势。例如，控制器180能够检测用户已经进行眨动他的或者她的左眼EL的眼睛姿势。
在其中控制器180分析用户的眼睛图像并且等待用户的命令的眼睛跟踪模式下，如果从用户接收到有效的眼睛姿势，则控制器180将眼睛姿势确定为第一姿势。
参考图11，如果控制器180接收用户的第一姿势，则控制器180显示指导屏幕ID。指导屏幕ID包含中心图标CI和方向图标AI。
特别地，中心图标CI在该位置处显示凝视方向。换言之，当指导屏幕ID被显示时，指导屏幕指示用户正在查看显示中心图标CI的位置。因为中心区域CI被显示，所以用户能够更加清楚地执行继当前眼睛姿势之后的第二姿势。
方向图标AI指导用户进行的后续姿势。例如，方向图标指示用户从当前查看位置必须移动他的或者她的凝视方向以执行所期待的操作的方向。换言之，方向指导可以对应于指导必须与先前进入的第一姿势相关联地进行哪一第二姿势的图标。
如在图12（a）中所示，用户能够移动他们的瞳孔的中心（图9的P）。即，通过沿着上方向观察，瞳孔的中心可以从第一位置P1移到第二位置P2。控制器180能够通过分析通过相机121捕获到的图像检测瞳孔的中心是否已经移动。沿着上方向移动瞳孔的中心的姿势可以对应于第二姿势。换言之，继眨动左眼EL的第一姿势之后，选择通过第一姿势选择并且处于等待状态下的特定功能的第二姿势能够被执行。
如在图12（b）中所示，如果用户观看上侧，控制器180能够执行与指导屏幕ID相对应的功能。例如，能够执行与位于中心图标CI的上侧中的第一方向图标AI1相对应的功能。这时，第一方向图标AI1可以对应于像滚动屏幕或者鼠标指示装置一样的沿着该方向移动的功能。
如在图12（c）中所示，控制器180能够执行与第一方向图标AI1相对应的功能。随着与第一方向图标AI1相对应的功能被执行，指导屏幕ID在上方向上移动了D。
如在图13中所示，用户能够将瞳孔的中心移到第一至第四位置（P1至P4）。第一至第四位置P1至P4可以对应于图11的方向图标AI的单个方向。如果与方向图标AI的各个方向相对应的眼睛姿势被接收，控制器180能够执行与姿势相对应的功能。
接下来，图14至图18图示在图5的移动终端中的使用用户的右眼的第一和第二姿势。如在图14（a）中所示，相机121能够捕获用户的眼睛（E）的图像。例如，基于对称地位于面部的眼睛（E）的特性，左眼EL和右眼ER能够被识别。
如在图14（b）中所示，基于捕获到的左眼EL和右眼ER的图像，控制器180能够确定用户是否已经进行眼睛姿势。例如，控制器180能够检测用户已经进行眨动他的或者她的右眼ER的眼睛姿势。
如在图15中所示，如果用户进行眨动他的或者她的右眼ER的第一姿势，控制器180能够显示指导屏幕ID。此外，当用户眨动他的或者她的右眼ER时，控制器180能够显示不同于当用户眨动他的或者她的左眼EL时的指导屏幕ID。例如，通过指导屏幕ID能够显示通过第二姿势选择的功能。
通过右眼ER的姿势显示的指导屏幕ID可以具有其内部圆形区域限于预定区域的形式。各个区域对应于旋转、保持、或者拖拉运动的功能。
如在图16（a）中所示，用户能够通过沿着上方向观察将他们的瞳孔的中心P从第一位置P1移到第二位置P2。控制器180能够分析通过相机121捕获的图像检测瞳孔的中心P已经移动。沿着上方向移动瞳孔的中心P的姿势可以对应于第二姿势。换言之，继眨动右眼ER的第一姿势之后，能够执行选择通过第一姿势选择并且处于等待状态的特定功能的第二姿势。
如在图16（b）中所示，如果用户朝着上侧移动瞳孔的中心P，则控制器180能够生成用于选择指导屏幕ID的特定菜单的控制信号。如果指导屏幕ID的特定菜单被选择，则控制器180能够激活与所选择的菜单相对应的功能。例如，如果朝着与旋转功能有关的第一菜单MI1移动用户的凝视方向，则控制器180通过亮化第一菜单MI1通知用户相对应的菜单已经被选择并且然后执行相对应的功能。
如在图17（a）中所示，用户能够将瞳孔的中心P从第一位置P1移到第三位置P3或移到第四位置P4。如在图17（b）中所示，如果眼睛的位置移动，则控制器180能够根据移动使第一菜单MI1绕着中心图标CI旋转。换言之，响应于眼睛的位置第一状态S1下的第一菜单MI1能够旋转至第二状态S2或者第三状态S3。因为与旋转功能相对应的第一菜单MI1被选择并且然后被执行，用户能够更加直观地操作移动终端100。
如在图18中所示，通过眼睛姿势屏幕能够被放大或者减小。如在图18（a）中所示，控制器180能够显示响应于用户的第一姿势能够放大或者减小屏幕的指导屏幕ID。例如，能够以绕着中心图标CI的同心圆的形式布置第一区域A1和第二区域A2。
如在图18（b）中所示，用户的凝视方向ED能够位于第一区域A1内。如果凝视方向ED位于第一区域A1内，则控制器180能够减小并且显示在显示器151中显示的图像。
如在图18（c）中所示，用户的凝视方向ED能够位于第二区域A2内。如果凝视方向ED位于第二区域A2内，则控制器180能够放大和显示在显示器151中显示的图像。因为查看被显示的指导屏幕ID的特定区域的姿势能够放大或者减小被显示的图像，能够容易地执行屏幕的放大/减小。
图19至图29图示在图5的移动终端中通过使用各种眼睛姿势的控制处理。如在附图中所示，根据本发明的实施例的控制器180能够通过各种眼睛姿势有效地控制移动终端100的各种功能。
如在图19（a）中所示，用户能够使他的或者她的眼睛保持在第一至第三状态（ES1至ES3）下。第一状态ES1可以对应于用户以正常的方式打开他的或者她的眼睛，第二状态ES2可以对应于用户收缩（narrow）他的或者她的眼睛，并且第三状态ES3可以对应于用户变形（strain）他的或者她的眼睛。通过相机121可以捕获第一至第三状态ES1至ES3。
如在图19（b）中所述，如果在第一状态ES1下以第一大小IS1显示图像，则在第二状态ES2和第三状态ES3下图像能够分别以第二大小IS2和第三大小IS3显示。换言之，图像大小能够被调整为如用户的眼睛被打开一样大。
如在图20（a）中所示，用户能够使他的或者她的眼睛保持在第一状态ES1或者第二状态ES2中。换言之，用户能够闭合并且然后打开他的或者她的眼睛。
如在图20（b）中所示，如果用户将他的或者她的眼睛的状态从第一状态ES1变成第二状态ES2并且然后再次变成第一状态ES1，则控制器180能够转换被显示在显示器151上的图像。例如，如果图像图库应用正在运行，则当前显示的图像的下一图像能够被显示。
可以在短的持续时间内多次执行从第一状态ES1到第二状态ES2的切换。换言之，能够执行快速地眨眼的姿势。如果执行快速地眨眼的姿势，控制器180可以通过跳过预定数目的图像显示图像或者显示当前显示的图像的前一个图像。而且，甚至在相对长的时段内闭合眼睛的姿势也可以使与姿势相对应的特定功能被执行。
如在图21（a）中所示，电子书应用B可以正在运行。电子书应用B可以正在显示第一页B1。用户的凝视方向ED可以指向第一页B1的上部。如在图21（b）中所示，当用户继续阅读第一页B1时，用户的凝视方向ED可以沿着用户的查看轨迹ET朝着第一页B1的下侧、左侧移动。
如在图22（a）中所示，如果用户完成阅读整个第一页B1，则用户可以将凝视方向ED再次移向第一页B1的上部。这时的查看轨迹ET可以横跨（traverse）第一页B1。
如在图22（b）中所示，如果上述的凝视方向ED的变化被检测，控制器180显示第二页B2。第二页B2可以对应于第一页B1的下一页。换言之，在用户没有特定操作的情况下，电子书的下一页被自动地显示。此外，根据沿着其用户的凝视方向ED被改变的轨迹的类型，控制器180可以通过同时改变它们显示预定单位的页或者显示当前显示的页的整页。
如在图23中所示，根据本发明的实施例的控制器180可以执行与用户盯着特定区域超过预定时段相对应的功能。这时，通过不同于其它部分地显示特定区域，控制器180能够允许用户容易地识别用户正在观看特定区域的事实。
在t1的时间点，用户能够查看特定区域。查看特定区域可以继续直到t3为止。在自用户开始查看特定区域起经过预定的时段之后，控制器180可以执行与特定区域相对应的功能。此外，在自用户开始查看特定区域起经过预定的时段之后，如在t2的时间点所进行的，可以亮化相对应的区域。
如在图24（a）中所示，多个图标可以被显示在显示器151上。用户可以查看被显示的多个图标当中的特定图标。换言之，用户的凝视方向ED可以指向第一图标IC1。
如在图24（b）中所示，如果查看第一图标IC1持续超过预定的时段，则控制器180可以不同于其它图标地显示第一图标IC1。例如，第一图标IC1可以被图像处理以被亮化或者被突出。
如在图25中所示，通过眼睛姿势能够执行与在用户已经观看特定区域之后的该特定区域相对应的功能，但是通过除了眼睛姿势之外的其它方式也能够执行功能。例如，当特定查看区域被亮化时，用户能够识别特定区域已经被查看；然而，因为用户的查看相对应的区域达到t3，所以没有必要执行与特定区域相对应的功能。通过亮化用户被通知相对应的功能能够被选择，并且如果用户触摸相对应的区域或者发布用于选择功能的语音命令能够执行相对应的功能。如在图26（a）中所示，如果用户的凝视方向ED指出第一图标IC1，则控制器180可以不同于剩余图标地显示第一图标IC1。
如在图26（b）中所示，用户可以选择可以被亮化处理的第一图标IC1，并且执行与第一图标IC1相对应的应用。
如在图26（c）中所示，当第一图标IC1被亮化时，用户可以说出“选择”。用户的语音可以作为执行与被亮化的第一图标IC1相对应的应用的语音命令。
通过一起采用使用眼睛姿势的选择方法和使用其它方法的选择方法，可以更加精确地和方便地选择特定项目。
如在图27中所示，提供可比较本发明的第一或者第二姿势的功能的根据一个实施例的控制器180能够显示被凝视的特定单词的含义。
如在图27（a）中所示，英语内容TX可以被显示在显示器151中。当研究英语内容EX时，用户的凝视可以停留在特定单词GW上超过预定的时段。在这样的情况下，控制器180可以确定用户对单词的含义感到好奇。
如在图27（b）中所示，如果用户的凝视方向ED逗留在特定的单词GW上超过预定的时段，控制器180可以显示弹出窗口，显示相对应的单词的含义。这时，可以与被配置成用于移动终端100的默认语言的语音显示被显示在弹出窗口P中的单词的含义。例如，在移动终端100的默认语言是韩语的情况下，单词的含义可以以韩语显示。
如在图28中所示，根据本发明的一个实施例的控制器180能够显示关于被凝视的特定人的信息。如在图28（a）中所示，拍摄图像IM可以被显示在显示器151中。多个人可以被包括在拍摄图像IM中。
如在图28（b）中所示，用户可以将凝视方向ED集中在多个人当中的特定人上。如在图29（a）中所示，如果凝视方向ED被集中在特定人上，控制器180可以显示被扩大的人的图像EIM。因此，用户能够更加仔细地研究相对应的人。
如在图29（b）中所示，如果凝视方向ED被集中在特定人上，控制器180可以显示关于人的信息窗口IP。例如，相对应的人的名字、电话号码、邮件地址等可以从移动终端100的存储器160和/或外部终端获得并且被显示。
在第一或者第二姿势被产生之后，假设用户恢复他的或者她的凝视方向以面向前面观看屏幕。为此，因为相机121将移动之后的恢复的响应认为是完成姿势的运动，所以能够执行相对应的功能。换言之，用户能够检查设备已经识别特定姿势并且在执行凝视前面的操作时在屏幕上已经执行相对应的功能。
控制移动终端的上述方法可以被编写为计算机程序并且可以在使用计算机可读记录介质执行程序的数字微处理器中实现。可以通过软件来执行控制移动终端的方法。软件可以包括执行所要求的任务的代码段。程序或者代码段也可以被存储在处理器可读介质中或者可以通过传输介质或者通信网络根据与载波结合的计算机数据信号来传输。
计算机可读记录介质可以是能够存储以后能够由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的示例可以包括只读存储器（ROM），随机存取存储器（RAM）、CD-ROM、DVD±ROM、DVD-RAM、磁带、软盘、光数据存储设备。计算机可读记录介质也可以被分布在与网络耦合的计算机系统上，使得以分布式的方式存储和执行计算机可读代码。
在本说明书中对于“一个实施例”、“实施例”、“示例性实施例”等的任何引用意味着结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在说明书中各处出现的这类短语不必都指相同的实施例。此外，当结合任何实施例描述特定特征、结构或特性时，认为结合实施例中的其他实施例实施这样的特征、结构或特性也是本领域技术人员所能够想到的。
尽管已经参考多个示例性实施例描述了实施例，但是应该理解，本领域的技术人员可以想到许多落入本公开原理的精神和范围内的其他修改和/或实施例。更具体地，在本公开、附图和所附权利要求书的范围内，可以在主题组合布置的组件部件和/或布置方面进行各种变化和修改。除了组件部分和/或布置方面的变化和修改之外，对于本领域的技术人员来说，替换使用也将是显而易见的。

Claims (20)

1.一种移动终端，包括：
相机，所述相机被配置成使用所述移动终端捕获用户的至少第一和第二眼睛姿势；
显示器；以及
控制器，所述控制器被配置成基于捕获到的第一眼睛姿势在所述显示器上显示眼睛跟踪模式指导，并且基于捕获到的第二眼睛姿势选择被包括在所述眼睛跟踪模式指导中的特定功能。
2.根据权利要求1所述的移动终端，其中所述控制器被进一步配置成，当在从所述第一眼睛姿势的捕获开始的预定量的时间内捕获到所述第二眼睛姿势时仅选择所述特定功能。
3.根据权利要求2所述的移动终端，其中所述控制器被进一步配置成，基于捕获到的第一和第二眼睛姿势中的至少一个确定凝视方向，并且显示指示被确定的凝视方向的所述眼睛跟踪模式指导上的指示符。
4.根据权利要求1所述的移动终端，其中所述控制器被配置成，从用于接收触摸输入的触摸模式自动地进入用于显示所述眼睛跟踪模式指导的眼睛跟踪模式以执行功能。
5.根据权利要求4所述的移动终端，其中所述控制器被进一步配置成，基于温度条件、天气条件、以及执行应用条件当中的至少一个自动地进入所述眼睛跟踪模式。
6.根据权利要求1所述的移动终端，其中所述第一和第二眼睛姿势包括眨眼、眼睛的凝视方向以及凝视方向的移动速度中的至少一个。
7.根据权利要求1所述的移动终端，其中所述第一眼睛姿势包括用户眨动他们的眼睛中的至少一只。
8.根据权利要求7所述的移动终端，其中所述第二眼睛姿势包括用户改变他们的眼睛中的至少一只的凝视方向。
9.根据权利要求8所述的移动终端，其中所述控制器被进一步配置成，当用户凝视相对应的左方向时选择被显示在所述眼睛跟踪模式指导的左部分上的第一特定功能，当用户凝视相对应的右方向时选择被显示在所述眼睛跟踪模式指导的右部分上的第二特定功能，当用户凝视相对应的上方向时选择被显示在所述眼睛跟踪模式指导的上部分上的第三特定功能，以及当用户凝视相对应的下方向时选择被显示在所述眼睛跟踪模式指导的下部分上的第四特定功能。
10.根据权利要求1所述的移动终端，其中所述控制器被进一步配置成，基于语音输入和触摸输入中的至少一个或者当所述第二眼睛姿势被捕获时执行所选择的特定功能。
11.一种控制移动终端的方法，所述方法包括：
经由所述移动终端的相机，使用所述移动终端捕获用户的至少第一和第二眼睛姿势；
经由所述移动终端的显示器，基于捕获到的第一眼睛姿势显示眼睛跟踪模式指导；以及
经由所述移动终端的控制器，基于捕获到的第二眼睛姿势选择被包括在所述眼睛跟踪模式指导中的特定功能。
12.根据权利要求11所述的方法，其中，当在从所述第一眼睛姿势的捕获开始的预定量的时间内捕获到所述第二眼睛姿势时，选择步骤仅选择所述特定功能。
13.根据权利要求12所述的方法，进一步包括：
经由所述控制器，基于捕获到的第一和第二眼睛姿势中的至少一个确定凝视方向；和
经由所述显示器，显示指示被确定的凝视方向的所述眼睛跟踪模式指导上的指示符。
14.根据权利要求11所述的方法，进一步包括：
经由所述控制器，从用于接收触摸输入的触摸模式自动地进入用于显示所述眼睛跟踪模式指导的眼睛跟踪模式以执行功能。
15.根据权利要求14所述的方法，进一步包括：
经由所述控制器，基于温度条件、天气条件、以及执行应用条件当中的至少一个自动地进入所述眼睛跟踪模式。
16.根据权利要求11所述的方法，其中所述第一和第二眼睛姿势包括眨眼、眼睛的凝视方向以及凝视方向的移动速度中的至少一个。
17.根据权利要求11所述的方法，其中所述第一眼睛姿势包括用户眨动他们的眼睛中的至少一只。
18.根据权利要求17所述的方法，其中所述第二眼睛姿势包括用户改变他们的眼睛中的至少一只的凝视方向。
19.根据权利要求18所述的方法，其中，用户能够通过凝视相对应的左方向选择被显示在所述眼睛跟踪模式指导的左部分上的第一特定功能，通过凝视相对应的右方向选择被显示在所述眼睛跟踪模式指导的右部分上的第二特定功能，通过凝视相对应的上方向选择被显示在所述眼睛跟踪模式指导的上部分上的第三特定功能，以及通过凝视相对应的下方向选择被显示在所述眼睛跟踪模式指导的下部分上的第四特定功能。
20.根据权利要求11所述的方法，进一步包括：
经由所述控制器，基于语音输入和触摸输入中的至少一个或者当所述第二眼睛姿势被捕获时执行所选择的特定功能。
CN2013101585821A 2012-05-02 2013-05-02 移动终端及其控制方法 Pending CN103383596A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0046192 2012-05-02
KR1020120046192A KR101850035B1 (ko) 2012-05-02 2012-05-02 이동 단말기 및 그 제어방법

Publications (1)

Publication Number Publication Date
CN103383596A true CN103383596A (zh) 2013-11-06

Family

ID=48193101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101585821A Pending CN103383596A (zh) 2012-05-02 2013-05-02 移动终端及其控制方法

Country Status (4)

Country Link
US (1) US20130293488A1 (zh)
EP (1) EP2660681A3 (zh)
KR (1) KR101850035B1 (zh)
CN (1) CN103383596A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838373A (zh) * 2014-02-28 2014-06-04 深圳市中兴移动通信有限公司 一种信息显示方法和信息显示装置
CN103838374A (zh) * 2014-02-28 2014-06-04 深圳市中兴移动通信有限公司 一种信息提示方法和信息提示装置
CN104954829A (zh) * 2014-03-27 2015-09-30 Lg电子株式会社 显示装置及其操作方法
CN105262676A (zh) * 2015-10-28 2016-01-20 广东欧珀移动通信有限公司 一种即时通讯中的消息发送方法及装置
CN105373720A (zh) * 2015-10-28 2016-03-02 广东欧珀移动通信有限公司 一种应用于移动终端的模块控制方法及装置
WO2016029422A1 (en) * 2014-08-29 2016-03-03 Hewlett-Packard Development Company, L.P. Touchscreen gestures
CN105847538A (zh) * 2016-03-16 2016-08-10 惠州Tcl移动通信有限公司 基于眼球追踪控制vr眼镜操作的手机及方法
CN107066077A (zh) * 2015-11-02 2017-08-18 Lg电子株式会社 束缚型头戴式显示器及其控制方法
CN107562186A (zh) * 2017-07-14 2018-01-09 华侨大学 基于注意力辨识进行情感运算的3d校园导览方法
CN107850939A (zh) * 2015-03-10 2018-03-27 艾弗里协助通信有限公司 用于通过眼睛反馈实现通信的系统和方法
CN110286755A (zh) * 2019-06-12 2019-09-27 Oppo广东移动通信有限公司 终端操控方法、装置、电子设备及计算机可读取存储介质
CN110850593A (zh) * 2014-07-29 2020-02-28 三星电子株式会社 移动设备和通过移动设备配对电子设备的方法
CN111630478A (zh) * 2018-03-01 2020-09-04 三星电子株式会社 高速交错双眼跟踪系统
CN112384102A (zh) * 2018-07-18 2021-02-19 莱雅公司 用于指导化妆的带眼睛跟踪的化妆盒
CN112424790A (zh) * 2018-07-19 2021-02-26 三星电子株式会社 混合式眼睛跟踪器的系统和方法
US11612342B2 (en) 2017-12-07 2023-03-28 Eyefree Assisting Communication Ltd. Eye-tracking communication methods and systems

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
WO2014111924A1 (en) * 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US9035874B1 (en) * 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
US20150002554A1 (en) * 2013-06-26 2015-01-01 Dsp Group Ltd. Power saving techniques for displays with pixel-addressable intensity
US9239626B1 (en) * 2013-07-02 2016-01-19 Google Inc. Input system
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
IN2014DE02666A (zh) * 2013-09-18 2015-06-26 Booktrack Holdings Ltd
US9483143B2 (en) * 2013-09-27 2016-11-01 International Business Machines Corporation Method and system providing viewing-angle sensitive graphics interface selection compensation
US20150095840A1 (en) * 2013-09-30 2015-04-02 Alexey SOSHIN Smart open popup window
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
WO2015116217A1 (en) * 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Camera included in display
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
US20150362990A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104320688A (zh) * 2014-10-15 2015-01-28 小米科技有限责任公司 视频播放操控方法及装置
US20160162146A1 (en) * 2014-12-04 2016-06-09 Kobo Incorporated Method and system for mobile device airspace alternate gesture interface and invocation thereof
CN104635933B (zh) * 2015-02-26 2018-10-30 华为技术有限公司 一种图像切换的方法和装置
US10037312B2 (en) * 2015-03-24 2018-07-31 Fuji Xerox Co., Ltd. Methods and systems for gaze annotation
CN106294911B (zh) 2015-06-04 2019-09-10 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106293031B (zh) * 2015-06-04 2019-05-21 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106296796B (zh) 2015-06-04 2019-08-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN108255306B (zh) * 2015-11-03 2021-10-29 山东六牛网络科技有限公司 加速度识别装置
WO2017113757A1 (zh) * 2015-12-31 2017-07-06 北京小鸟看看科技有限公司 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法
CN106681503A (zh) * 2016-12-19 2017-05-17 惠科股份有限公司 一种显示控制方法、终端及显示装置
KR102041685B1 (ko) 2017-11-28 2019-11-06 숭실대학교산학협력단 눈 깜빡임 정보를 이용한 사용자 단말 제어 방법 및 이를 수행하기 위한 기록매체
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
CN109358913B (zh) * 2018-09-30 2020-03-31 维沃移动通信（杭州）有限公司 一种应用程序的启动方法及终端设备
KR102216020B1 (ko) * 2018-11-21 2021-02-17 네이버웹툰 유한회사 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말
DE102019210912A1 (de) * 2019-07-23 2021-01-28 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verstellvorrichtung und Verfahren für die fremdkraftbetätigte Verstellung eines Verstellteils an einem Fahrzeug auf Basis wenigstens eines Bedienereignisses
US10996753B1 (en) * 2020-04-07 2021-05-04 Eyetech Digital Systems, Inc. Multi-mode eye-tracking with independently operable illuminators
US11921917B2 (en) 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
CN113836973A (zh) * 2020-06-23 2021-12-24 中兴通讯股份有限公司 终端控制方法、装置、终端及存储介质
WO2022170173A1 (en) * 2021-02-08 2022-08-11 Endless Technologies Ltd. Haptic camera control and object orientation
US20230020536A1 (en) * 2021-07-15 2023-01-19 Robert Bosch Gmbh Vehicle mounted virtual visor system having facial expression control gestures
KR20230052715A (ko) * 2021-10-13 2023-04-20 삼성전자주식회사 복수의 디스플레이를 포함하는 전자 장치 및 그 동작 방법
US12002290B2 (en) 2022-02-25 2024-06-04 Eyetech Digital Systems, Inc. Systems and methods for hybrid edge/cloud processing of eye-tracking image data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN101297259A (zh) * 2005-10-28 2008-10-29 托比技术有限公司 具有视觉反馈的眼跟踪器
CN101308400A (zh) * 2007-05-18 2008-11-19 肖斌 基于眼动和头动检测的新型人机交互装置
CN101405680A (zh) * 2006-03-23 2009-04-08 皇家飞利浦电子股份有限公司 用于图像操作的眼睛跟踪控制的热区
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN102292690A (zh) * 2009-01-22 2011-12-21 阿尔卡特朗讯美国公司 电子数据输入系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2258972T3 (es) * 2000-05-16 2006-09-16 Swisscom Mobile Ag Procedimiento y terminal para entrar instrucciones.
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP4172198B2 (ja) * 2002-04-17 2008-10-29 日本電気株式会社 携帯電話機
US20060066567A1 (en) * 2004-09-29 2006-03-30 Scharenbroch Gregory K System and method of controlling scrolling text display
WO2007022306A2 (en) * 2005-08-17 2007-02-22 Hillcrest Laboratories, Inc. Hover-buttons for user interfaces
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
US9335912B2 (en) * 2007-09-07 2016-05-10 Apple Inc. GUI applications for use with 3D remote controller
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
TWI450178B (zh) * 2008-04-25 2014-08-21 Wistron Corp 驅動電子裝置顯示頁面捲動之方法與裝置
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法
JP5087532B2 (ja) * 2008-12-05 2012-12-05 ソニーモバイルコミュニケーションズ株式会社 端末装置、表示制御方法および表示制御プログラム
US8478361B2 (en) * 2008-12-12 2013-07-02 At&T Intellectual Property I, L.P. Human stimulus activation and deactivation of a screensaver
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110199303A1 (en) * 2010-02-18 2011-08-18 Simpson Samuel K Dual wrist user input system
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR101724000B1 (ko) * 2010-11-22 2017-04-06 삼성전자주식회사 터치스크린 단말기에서 화면 스크롤 방법 및 장치
US9285883B2 (en) * 2011-03-01 2016-03-15 Qualcomm Incorporated System and method to display content based on viewing orientation
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US9075453B2 (en) * 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
US10503373B2 (en) * 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
KR20130120599A (ko) * 2012-04-26 2013-11-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9952663B2 (en) * 2012-05-10 2018-04-24 Umoove Services Ltd. Method for gesture-based operation control
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN101297259A (zh) * 2005-10-28 2008-10-29 托比技术有限公司 具有视觉反馈的眼跟踪器
CN101405680A (zh) * 2006-03-23 2009-04-08 皇家飞利浦电子股份有限公司 用于图像操作的眼睛跟踪控制的热区
CN101308400A (zh) * 2007-05-18 2008-11-19 肖斌 基于眼动和头动检测的新型人机交互装置
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN102292690A (zh) * 2009-01-22 2011-12-21 阿尔卡特朗讯美国公司 电子数据输入系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838373A (zh) * 2014-02-28 2014-06-04 深圳市中兴移动通信有限公司 一种信息显示方法和信息显示装置
CN103838374A (zh) * 2014-02-28 2014-06-04 深圳市中兴移动通信有限公司 一种信息提示方法和信息提示装置
CN104954829A (zh) * 2014-03-27 2015-09-30 Lg电子株式会社 显示装置及其操作方法
CN104954829B (zh) * 2014-03-27 2018-06-29 Lg电子株式会社 显示装置及其操作方法
CN110850593B (zh) * 2014-07-29 2023-08-22 三星电子株式会社 移动设备和通过移动设备配对电子设备的方法
CN110850593A (zh) * 2014-07-29 2020-02-28 三星电子株式会社 移动设备和通过移动设备配对电子设备的方法
WO2016029422A1 (en) * 2014-08-29 2016-03-03 Hewlett-Packard Development Company, L.P. Touchscreen gestures
TWI564780B (zh) * 2014-08-29 2017-01-01 惠普發展公司有限責任合夥企業 觸控螢幕姿態技術
US10599326B2 (en) 2014-08-29 2020-03-24 Hewlett-Packard Development Company, L.P. Eye motion and touchscreen gestures
CN107850939A (zh) * 2015-03-10 2018-03-27 艾弗里协助通信有限公司 用于通过眼睛反馈实现通信的系统和方法
CN105373720A (zh) * 2015-10-28 2016-03-02 广东欧珀移动通信有限公司 一种应用于移动终端的模块控制方法及装置
CN105373720B (zh) * 2015-10-28 2018-04-20 广东欧珀移动通信有限公司 一种应用于移动终端的模块控制方法及装置
CN105262676A (zh) * 2015-10-28 2016-01-20 广东欧珀移动通信有限公司 一种即时通讯中的消息发送方法及装置
CN108415572A (zh) * 2015-10-28 2018-08-17 广东欧珀移动通信有限公司 应用于移动终端的模块控制方法、装置及存储介质
CN107066077A (zh) * 2015-11-02 2017-08-18 Lg电子株式会社 束缚型头戴式显示器及其控制方法
CN105847538A (zh) * 2016-03-16 2016-08-10 惠州Tcl移动通信有限公司 基于眼球追踪控制vr眼镜操作的手机及方法
CN105847538B (zh) * 2016-03-16 2021-06-01 惠州Tcl移动通信有限公司 基于眼球追踪控制vr眼镜操作的手机及方法
CN107562186A (zh) * 2017-07-14 2018-01-09 华侨大学 基于注意力辨识进行情感运算的3d校园导览方法
US11612342B2 (en) 2017-12-07 2023-03-28 Eyefree Assisting Communication Ltd. Eye-tracking communication methods and systems
CN111630478A (zh) * 2018-03-01 2020-09-04 三星电子株式会社 高速交错双眼跟踪系统
CN111630478B (zh) * 2018-03-01 2024-03-08 三星电子株式会社 高速交错双眼跟踪系统
CN112384102A (zh) * 2018-07-18 2021-02-19 莱雅公司 用于指导化妆的带眼睛跟踪的化妆盒
CN112384102B (zh) * 2018-07-18 2024-01-02 莱雅公司 用于指导化妆的带眼睛跟踪的化妆盒
CN112424790A (zh) * 2018-07-19 2021-02-26 三星电子株式会社 混合式眼睛跟踪器的系统和方法
CN110286755A (zh) * 2019-06-12 2019-09-27 Oppo广东移动通信有限公司 终端操控方法、装置、电子设备及计算机可读取存储介质
CN110286755B (zh) * 2019-06-12 2022-07-12 Oppo广东移动通信有限公司 终端操控方法、装置、电子设备及计算机可读取存储介质

Also Published As

Publication number Publication date
KR20130123064A (ko) 2013-11-12
EP2660681A2 (en) 2013-11-06
KR101850035B1 (ko) 2018-04-20
US20130293488A1 (en) 2013-11-07
EP2660681A3 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
CN103383596A (zh) 移动终端及其控制方法
EP2613224B1 (en) Mobile terminal and control method therof
US9891706B2 (en) Mobile terminal and control method therof
US9897808B2 (en) Smart glass
KR101658562B1 (ko) 이동 단말기 및 그 제어방법
US20140253779A1 (en) Mobile terminal and control method thereof
US20130285951A1 (en) Mobile terminal and control method thereof
EP2642729A1 (en) Mobile terminal and control method thereof
CN103995657A (zh) 移动终端及其控制方法
US20120075182A1 (en) Mobile terminal and displaying method thereof
CN104284013A (zh) 电子装置及其控制方法
CN101729656A (zh) 移动终端及其控制方法
CN101996034B (zh) 在移动终端中执行菜单的方法和使用该方法的移动终端
CN103811005A (zh) 移动终端及其控制方法
KR101698096B1 (ko) 단말기의 드로잉을 이용한 검색 방법 및 그 단말기
CN103914248A (zh) 移动终端及其控制方法
CN106406732A (zh) 一种终端设备的虚拟按键处理装置和方法
CN105786384A (zh) 一种调节焦点装置和方法
KR101627712B1 (ko) 이동 단말기 및 그 제어방법
CN106445148A (zh) 一种触发终端应用的方法及装置
KR101648509B1 (ko) 이동 단말기 및 그 제어방법
KR101935042B1 (ko) 단말기 및 단말기의 이용방법
KR101987461B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
US20150373184A1 (en) Mobile terminal and control method thereof
CN105205041A (zh) 移动终端的文本编辑方法、装置及移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20131106

RJ01 Rejection of invention patent application after publication