CN104423585A - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN104423585A
CN104423585A CN201410446168.5A CN201410446168A CN104423585A CN 104423585 A CN104423585 A CN 104423585A CN 201410446168 A CN201410446168 A CN 201410446168A CN 104423585 A CN104423585 A CN 104423585A
Authority
CN
China
Prior art keywords
data
mobile terminal
controller
search
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410446168.5A
Other languages
English (en)
Inventor
金学珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104423585A publication Critical patent/CN104423585A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Abstract

移动终端及其控制方法。根据本发明的移动终端可以基于相对于特定应用的执行画面的眼睛跟踪结果而获得数据，并且提供相对于根据眼睛跟踪结果而获得的数据的专用搜索功能。

Description

移动终端及其控制方法
技术领域
本发明涉及移动终端，更具体地，涉及能够基于眼睛跟踪的执行结果获得在屏幕上显示的数据的一部分并且提供针对基于眼睛跟踪获得的数据的专用搜索功能的移动终端。
背景技术
随着诸如个人计算机、笔记本、移动电话和智能电话等的终端的功能的多样化，终端目前以多媒体播放器的形式来实现，该多媒体播放器配置有用于拍摄图片或视频、播放音乐或视频文件、游戏以及接收广播节目的多功能。
为了支持和增强在终端中的数目增加的功能，目前正在考虑改进终端的结构部分和/或软件部分。随着目前包括移动终端的各种终端提供各种复杂的功能，菜单结构相应地变得更加复杂。
特别地，根据图像分析技术的近来的进步，积极地进行关于如何将采用眼睛跟踪功能的用户界面方法应用到移动终端的研究。
发明内容
本发明涉及移动终端，更具体地，涉及能够基于眼睛跟踪的执行结果获得在屏幕上显示的数据的一部分并且提供针对从眼睛跟踪获得的数据的专用搜索功能的移动终端。
为了实现以上技术目的，根据本发明的一个实施方式的移动终端包括：相机，其获得用户的眼睛图像；显示单元，其显示特定应用的执行画面；存储单元；和控制器。
控制器可以基于由相机获得的用户的眼睛图像而执行相对于特定应用的执行画面的眼睛跟踪；基于眼睛跟踪的执行结果而选择特定应用的执行画面的一部分；获得在所选择的特定应用的执行画面的一部分上显示的数据并且将数据存储在存储器中；以及提供基于根据眼睛跟踪获得的数据的专用搜索功能。
控制器能够将获得的数据存储在存储器的被指定用于存储基于眼睛跟踪而获得的数据的专用存储区域中，并且将专用搜索功能的搜索范围限制到专用存储区域。
控制器能够基于用户的目光注视特定内容的持续时间和用户的目光被识别到的次数中的至少一个而选择特定内容的一部分。
控制器能够在特定应用的执行画面上显示指示眼睛跟踪功能正在被执行的指示手段。
控制器还能够获得与特定应用的执行画面相对应的路径信息，并且通过将路径信息与获得的数据相关联的方式来将路径信息存储在专用存储区域中。如果根据专用搜索功能的执行结果来选择在显示单元上显示的所获得的数据，则控制器能够将特定应用的执行画面显示在显示单元上。
控制器能够获得在所选择的特定应用的执行画面的一部分上显示的文字并且将文字存储在专用存储区域中。如果基于在存储的文字中包括的字的搜索请求被接收到，则控制器能够搜索存储的文字并且将搜索结果显示在显示单元上。
控制器还能够获得相对于所获得的数据的附加信息，所述附加信息包括与特定应用相关的信息、与由特定应用执行的内容相关的信息、和与所获得的数据的获取时间相关的信息中的至少一个；并且将附加数据存储在专用存储区域中以与所获得的数据相关联。
控制器能够通过使用与附加信息相对应的字来提供相对于基于眼睛跟踪而获得的数据的专用搜索功能。
控制器能够将在所选择的特定应用的执行画面的一部分上显示的图像存储在专用存储区域中，并且基于与附加信息相对应的字来提供相对于所存储的图像的专用搜索功能。
如果作为专用搜索功能的执行结果，所获得的数据被显示在显示单元上，则控制器能够将附加信息与所获得的数据一起地显示。
如果专用搜索功能的执行结果被显示在显示单元上，则控制器能够提供通过使用附加信息的在专用搜索功能的执行结果内的再搜索功能和通过使用附加功能的相对于专用搜索功能的执行结果的排序功能中的至少一个功能。
为了实现以上技术目的，根据本发明的另一个实施方式的移动终端包括：相机，其获得用户的眼睛图像；显示单元，其显示特定应用的执行画面；存储单元；以及控制器，其基于用户的眼睛图像而执行相对于特定应用的执行画面的眼睛跟踪，基于眼睛跟踪的执行结果而选择特定应用的执行画面的一部分，获得所选择的特定应用的执行画面的一部分的拍摄的图像，基于特定应用的执行状态而获得与拍摄的图像相对应的搜索数据，通过将拍摄的图像与搜索数据相关联的方式将它们存储在存储单元中，以及，根据基于搜索数据的眼睛跟踪来提供相对于拍摄的图像的专用搜索功能。
控制器能够将拍摄的图像和搜索数据存储在存储器的被指定用于存储基于眼睛跟踪而获得的数据的专用存储区域中，并且将专用搜索功能的搜索范围限制到专用存储区域。
如果专用搜索功能被执行并且与搜索数据相对应的搜索字被接收到，则控制器能够将拍摄的图像显示在显示单元上。
与拍摄的图像相对应的搜索数据包括与特定应用的执行画面相对应的路径信息，并且如果在显示单元上显示的拍摄的图像根据专用搜索功能的执行结果而被选择，则特定应用的执行画面能够被显示在显示单元上。
如果作为专用搜索功能的执行结果，拍摄的图像被显示在显示单元上，则控制器能够将搜索数据的至少一部分与拍摄的图像一起地显示。
其它实施方式的具体内容被包括在相应的详细描述和附图中。
根据本发明的移动终端及其控制方法提供以下有利效果。
根据本发明的移动终端能够通过反映眼睛跟踪结果而获得并且存储在画面上显示的数据的一部分。
根据本发明的移动终端能够提供相对于根据眼睛跟踪结果而获得并且存储的数据的专用搜索功能。
附图说明
被包括以提供对本发明的进一步理解并且被合并在本说明书中以构成其一部分的附图例示了本发明的实施方式，并且与说明书一起用来说明本发明的原理。
图1是根据实施方式的移动终端的方框图；
图2示出了例示根据本发明的用于控制移动终端的方法的一个示例的流程图；
图3示出了根据图2的用于控制移动终端的方法基于眼睛跟踪获得并且存储数据的示例；
图4示出了当由根据本发明的移动终端提供的专用于基于眼睛跟踪而获得的数据的搜索功能被执行时，相应地提供的用户界面的示例；
图5示出了在根据本发明的移动终端中，从基于眼睛跟踪而获得的数据中基于搜索结果而提供用户已经读取的原始内容的示例；
图6到图9示出了由根据本发明的移动终端提供的与眼睛跟踪相关的用户界面的示例；
图10示出了在根据本发明的移动终端中显示用于指示正在执行眼睛跟踪的手段的示例；
图11例示了在根据本发明的移动终端中在存储单元中存储作为眼睛跟踪的结果根据用户的目光获得的数据；
图12示出了其中在根据本发明的移动终端中，根据眼睛跟踪结果，通过特定应用的执行画面获得数据的其它示例；
图13是例示出根据本发明的用于控制移动终端的方法的另一个示例的流程图；
图14示出了由根据本发明的移动终端提供的相对于从眼睛跟踪获得的数据的专用搜索的结果的一个示例；
图15到图17示出了由根据本发明的移动终端提供的利用相对于基于眼睛跟踪而获得的数据的专用搜索的结果的另外的功能的示例；
图18示出了其中在根据本发明的移动终端中，根据眼睛跟踪结果，在特定应用的执行画面上显示的项被改变的示例；
图19是例示根据本发明的用于控制移动终端的方法的又一个示例的流程图；
图20到图22例示了其中图19的用于控制移动终端的方法被执行的过程的一个示例；以及
图23例示了基于在根据本发明的移动终端中执行的眼睛跟踪的数据获取和存储的又一个示例。
具体实施方式
现在将参考附图更加全面地描述布置和实施方式，在附图中示出了示例性实施方式。然而，实施方式可以以很多不同的形式具体体现并且不应该理解为被限制到这里提出的实施方式；相反，提供这些示例性实施方式，从而该公开将是全面的和完整的，并且这些示例性实施方式将充分地向本领域技术人员表达本发明的范围。
下面将参考附图描述移动终端。在下面的描述中，仅仅考虑到描述的方便，后缀“模块”和“单元”可以被赋予移动终端的部件，并且不具有彼此区分的意义或功能。
移动终端可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统等。
图1是根据实施方式的移动终端的方框图。也可以提供其它实施方式、构造和布置。
如所示的，移动终端100可以包括无线通信单元(或无线电通信单元)110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口170、控制器180和电源单元190。在图1中所示的部件可以是必要的部件，并且/或者在移动终端100中包括的多个部件可以改变。现在可以描述移动终端100的部件。
无线通信单元110可以包括允许在移动终端100和无线通信系统之间的无线通信或允许在移动终端100和该移动终端100所处的网络之间的无线通信的至少一个模块。例如，无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114(或局域网通信模块)和位置信息模块115(或地点信息模块)。
广播接收模块111可以经由广播信道从外部广播管理服务器接收广播信号和/或广播关联信息。广播信道可以包括卫星信道和陆地信道，并且广播管理实体可以是生成并发送广播信号和/或广播关联信息的服务器或接收预先生成的广播信号和/或广播关联信息并且将其发送到终端的服务器。
广播信号可以不仅包括TV广播信号、无线电广播信号和数据广播信号，而且还包括形式为TV广播信号与无线电广播信号组合的信号。广播关联信息可以包括与广播信道、广播节目或广播服务提供商相关的信息，并且可以经由移动通信网络提供。在后一种情形中，广播关联信息可以通过移动通信模块112来接收。
广播关联信息可以以多种形式存在。例如，广播关联信息可以以数字多媒体广播(DMB)的电子节目指南(EPG)或手持数字视频广播(DVB-H)系统的电子服务指南(ESG)的形式存在。
广播接收模块111可以使用各种广播系统来接收广播信号。更具体地，广播接收模块111可以使用数字广播系统来接收数字广播信号，数字广播系统诸如是地面数字多媒体广播(DMB-T)系统、卫星数字多媒体广播(DMB-S)系统、媒体前向单连接(MediaFLO)系统、手持数字视频广播(DVB-H)系统和地面集成服务数字广播(ISDB-T)系统。广播接收模块111可以从除了上述数字广播系统以外的提供广播信号的广播系统接收信号。
通过广播接收模块111接收到的广播信号和/或广播关联信息可以存储在存储器160中。移动通信模块112可以通过移动通信网络向/从基站、外部终端和服务器中的至少一个发送/接收无线电信号。无线信号可以包括语音呼叫信号、视频电话呼叫信号或根据文本/多媒体消息的发送/接收的各种形式的数据。
无线互联网模块113可以对应于用于无线互联网接入的模块，并且可以被包括在移动终端100中或可以外部地连接到移动终端100。无线LAN(WLAN或Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行分组接入(HSDPA)等可以用作无线互联网技术。
短程通信模块114可以对应于用于短程通信的模块。而且，射频识别(RFID)、红外线数据协会(IrDA)、超宽带(UWB)和/或可以用作短程通信技术。
位置信息模块115可以确认或获得移动终端100的位置或地点。位置信息模块115可以通过使用全球导航卫星系统(GNSS)来获得位置信息。GNSS是描述如下的无线导航卫星系统的术语，即，该无线导航卫星系统围着地球旋转，并且向预定类型的无线导航接收器发送参考信号，使得无线导航接收器能够确定它们在地球的表面上的位置或在地球的表面附近的位置。GNSS可以包括例如美国的全球定位系统(GPS)、欧洲的伽利略、俄罗斯的全球轨道导航卫星系统(GLONASS)、中国的COMPASS和日本的准天顶卫星系统(QZSS)。
全球定位系统(GPS)模块是位置信息模块115的代表示例。GPS模块115可以计算与在一个点或对象与至少三个卫星之间的距离相关的信息和与当测量该距离信息时的时间相关的信息，并且将三角法应用到获得的距离信息，以获得与该点或对象相关的在预定时间的根据纬度、经度和海拔的三维方位信息。
也可以使用利用三个卫星计算方位和时间信息并且利用另一个卫星校正计算的方位和时间信息的方法。另外地，GPS模块可以连续地实时计算当前位置，并且利用位置或方位信息来计算速度信息。
A/V输入单元120可以输入(或接收)音频信号和/或视频信号。A/V输入单元120可以包括相机121和麦克风122。相机121可以处理由图像传感器以摄影模式或视频电话模式获得的静态图像或运动图像的图像帧。经处理后的图像帧可以被显示在显示模块151上，该显示模块151可以是触摸屏。
由相机121处理后的图像帧可以存储在存储器160中或者可以通过无线通信单元110发送到外部设备。移动终端100还可以包括至少两个相机121。
麦克风122可以在电话模式、录音模式和/或语音识别模式中接收外部音频信号，并且麦克风122可以将接收到的音频信号处理为电音频数据。该音频数据然后可以被转换为可经由移动通信模块112发送到移动通信基站的格式并且在电话模式中被输出。麦克风122可以采用各种噪声去除算法(或噪声消除算法)，以去除或减小在接收外部音频信号时生成的噪声。
用户输入单元130可以从用户接收用于控制移动终端100的操作的输入数据。用户输入单元130可以包括键盘、锅仔片、触摸板(恒定电压/电容)、滚轮、滚轮开关等。
感测单元140可以感测移动终端100的当前状态，诸如，移动终端100的打开/闭合状态、移动终端100的位置、用户是否触摸移动终端100、移动终端100的方向、移动终端100的加速或减速，并且感测单元140可以生成用于控制移动终端100的操作的感测信号。例如，在滑动型电话的示例中，感测单元140可以感测滑动型电话是否是打开的或闭合的。另外，感测单元140可以感测电源单元190是否提供电力和/或接口170是否连接到外部装置。感测单元140还可以包括接近传感器。感测单元140可以感测移动终端100的运动。
输出单元150可以生成视觉、听觉和/或触觉输出，并且输出单元150可以包括显示模块151、音频输出模块152、警报单元153和触觉模块154。显示模块151可以显示由移动终端100处理的信息。当移动终端在电话模式中时，显示模块151可以显示与电话相关联的用户界面(UI)和/图形用户界面(GUI)。当移动终端100处于视频电话模式或拍摄模式中时，显示模块151还可以显示拍摄的和/或接收的图像、UI或GUI。
显示模块151可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器和/或三维显示器中的至少一个。显示模块151可以是透明型或透光型。即，显示模块151可以包括透明显示器。
透明显示器可以是透明液晶显示器。显示模块151的后部结构也可以是透光型。因此，用户可以通过移动终端100的主体的由显示模块151占据的透明区域看到位于(移动终端100的)主体后面的对象。
移动终端100还可以包括至少两个显示器151。例如，移动终端100还可以包括以预定距离布置在单个面上的多个显示器151或集成显示器。多个显示器151也可以布置在不同的面上。
当显示模块151和感测触摸的传感器(在下文中被称为“触摸传感器”)形成被称为触摸屏的分层结构时，显示模块151可以用作输入设备以及输出设备。触摸传感器可以具有例如触摸膜、触摸片和/或触摸板的形式。
触摸传感器可以将施加到显示模块151的特定部分的压力或在显示模块151的特定部分生成的电容的变化转换为电输入信号。触摸传感器可以感测触摸的压力以及触摸的位置和面积。
当用户将触摸输入施加到触摸传感器时，与触摸输入相对应的信号可以被发送到触摸控制器。触摸控制器然后可以处理该信号并且将与经处理的信号相对应的数据发送到控制器180。因此，控制器180可以检测显示模块151的被触摸部分。
(感测单元140的)接近传感器可以位于由触摸屏覆盖的移动终端100的内部区域中或在触摸屏附近。接近传感器可以在没有机械接触的情况下通过使用电磁力或红外线来感测正在接近预定感测面的对象或位于接近传感器附近的对象。接近传感器可以比接触传感器具有更加长的寿命，并且因此可以在移动终端100中具有广泛的应用。
接近传感器可以包括透射光电传感器、直接反射光电传感器、镜面反射光电传感器、高频振荡接近传感器、电容接近传感器、磁性接近传感器和/或红外线接近传感器。电容型触摸屏可以被构造为通过与指示器的接近相应的电磁场的改变来检测指示器的接近。触摸屏(触摸传感器)可以被分类为接近传感器。
为了方便描述，其中指示器在没有实际上接触触摸屏的情况下接近触摸屏的动作可以被称为“接近触摸”，而其中指示器接触触摸屏的动作可以被称为“接触触摸”。指示器在触摸屏上的接近触摸点可以对应于当指示器垂直于触摸屏时的触摸屏的点。
接近传感器可以感测接近触摸和接近触摸模式(例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等)。与感测到的接近触摸动作和/或接近触摸模式相对应的信息然后可以显示在触摸屏上。
在呼叫信号接收模式、呼叫模式或录制模式、语音识别模式和广播接收模式中，音频输出模块152可以输出从无线通信单元110接收到的或存储在存储器160中的音频数据。音频输出模块152可以输出与在移动终端100中执行的功能相关的音频信号(例如，来电信号声音和消息到来声音)。音频输出模块152可以包括听筒、扬声器、蜂鸣器等。音频输出模块152可以通过耳机塞孔输出声音。用户可以通过将耳机连接到耳机塞孔来听声音。
报警单元153可以输出用于指示移动终端100的事件的发生的信号。例如，当接收到电话信号，接收到消息，输入按键信号，和/或输入触摸时，可以生成报警。除了音频或视频信号之外，报警单元153还可以以不同的方式输出信号，例如，通过震动指示事件的发生的信号。视频信号和/或音频信号还可以通过显示模块151或音频输出模块152来输出。
触觉模块154可以生成用户可以感觉到的各种触觉效果。触觉效果的一个示例是震动。触觉模块154生成的震动的强度和/或模式也可以被控制。例如，不同的震动可以被组合并输出，或可以顺序地输出。
除了震动，触觉模块154可以生成各种其它触觉效果，例如：由刺激引起的效果，所述刺激诸如，相对于接触皮肤表面垂直移动的针装置、通过喷射孔或吸入口的空气喷射力或吸力、与皮肤的摩擦、电极的接触、静电力等；通过使用能够吸热或生成热的部件来再现冷和热的感觉而引起的效果。
触觉模块154可以不仅通过直接接触来传递触觉效果，而且还允许用户通过用户的手指或手臂的肌觉来感觉触觉效果。移动终端100还可以包括多个触觉模块154。
存储器160可以存储用于控制器180的操作的程序，并且/或者暂时地存储输入/输出的数据(例如，电话簿、消息、静态图像和/或运动图像等)。存储器160还可以存储与当在触摸屏上输入触摸时被输出的各种模式的振动和声音相关的数据。
存储器160可以包括闪存、硬盘、多媒体卡微型存储器、卡型存储器(例如，SD存储器、XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和/或光盘。移动终端100还可以与经由互联网执行存储器160的存储功能的网络存储器关联地操作。
接口170可以用作到与移动终端100连接的外部装置的路径。接口170可以从外部装置接收数据或者被提供电力，并且然后将数据或电力传递到移动终端100的内部部件，或者将移动终端100的数据发送到外部装置。例如，接口170可以包括有线/无线头带式耳机端口、外部充电器端口、有线/无线数据端口、存储器卡端口、用于耦接到具有用户识别模块的设备的端口、音频输入/输出(I/O)端口、视频输入/输出(I/O)端口和/或耳塞端口。
接口170还可以与用户识别模块交互，该用户识别模块是存储用于对移动终端100的使用权限进行认证的各种信息的芯片。例如，用户识别模块可以是用户识别模块(UIM)、订户识别模块(SIM)和/或通用订户识别模块(USIM)。(包括用户识别模块)的识别装置也可以采用智能卡的形式来制造。因此，识别装置可以经由接口170的端口连接到移动终端100。
当移动终端100与外部支架连接时，接口170可以用作允许来自外部支架的电力提供到移动终端100的路径，或者，可以用作允许由用户从支架输入的各种命令信号传递到移动终端100的路径。从支架输入的各种命令信号或电力可以用作用于确认移动终端100是否正确地安装在该支架上的信号。
控制器180可以控制移动终端100的总体操作。例如，控制器180可以执行用于语音通信、数据通信和/或视频电话的控制和处理。控制器180还可以包括用于播放多媒体的多媒体模块181。多媒体模块181可以被包括在控制器180内或者可以与控制器180分离。
控制器180可以执行图案识别处理，从而能够分别将施加到触摸屏的手写输入或绘图输入识别为字符或图像。电源单元190可以接收外部电力或内部电力，并且在控制器180的控制下提供用于移动终端100的各个部件的操作所需要的电力。
根据硬件实施，实施方式可以使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或用于执行功能的电学单元中的至少一个来实施。实施方式可以通过控制器180来实施。
根据软件实施，诸如过程或功能这样的实施方式可以由单独的软件模块来实施，所述软件模块执行至少一个功能或操作。软件代码可以通过以任何适当的软件语言编写的软件应用来实施。软件代码可以存储在存储器160中并且由控制器180执行。
至此，已经参考图1描述了根据本发明的移动终端100的结构。在下文中，将参考图2到图23更加详细地描述利用由根据本发明的移动终端100提供的眼睛跟踪功能的用户界面功能。
图2示出根据本发明的控制移动终端的方法的一个示例的流程图。在下文中，将参考附图描述用于控制移动终端的方法。
首先，控制器180在显示单元151上显示特定应用的执行画面(S100)。接着，控制器180控制相机121获得用户的眼睛图像。接着，控制器180基于通过相机121获得的用户的眼睛图像而执行眼睛跟踪，该眼睛跟踪获得用户的目光在特定应用的执行画面上的位置(S110)。
然后控制器180基于眼睛跟踪结果而选择特定应用的执行画面的一部分，并且获得在所选择的特定应用的执行画面的一部分上显示的数据(S120)。此时，控制器180可以基于用户的目光停留超过预定时间段的位置和用户的目光被识别到超过预定次数的位置而选择特定应用的执行画面的一部分。
控制器180将从眼睛跟踪结果获得的数据存储在存储单元160中(S130)。存储获得的数据的区域可以是存储单元160的被分配以存储基于眼睛跟踪而获得的数据的专用存储区域。
如果获得的数据被存储，则控制器180可以提供相对于基于眼睛跟踪而获得的数据的专用搜索功能(S140)。例如，如果基于与获得的数据相关的关键字的搜索被请求，则控制器180可以搜索获得的数据并且将搜索结果显示在显示单元151上。同时，在获得的数据被存储在存储单元160的专用存储区域中的情形中，专用搜索功能的搜索范围可以被限制到该专用存储区域。
尽管在图2中未示出，根据本公开的移动终端100可以获得与从眼睛跟踪结果选择的特定应用的执行画面的一部分相关的各种类型的附加信息，并且通过将该附加信息与获得的数据相关联的方式将该附加信息存储在存储单元160中。获得的附加信息也可以被存储在该专用存储区域中。
相对于获得的数据的附加信息可以包括与特定应用相关的信息、与由特定应用执行的内容相关的信息、获得的数据的获取时间、等。然而，应该注意，本发明的技术范围不被限制于以上所述。
如果基于与获得的数据的附加信息相对应的关键字的搜索被请求，则控制器180搜索获得的数据并且将搜索结果显示在显示单元151上。例如，如果基于与由特定应用执行的内容的名称相对应的关键字的搜索被请求，则控制器搜索获得的数据并且将搜索结果显示在显示单元151上。
图3示出了根据图2的用于控制移动终端的方法基于眼睛跟踪获得并且存储数据的示例。
图3的(a)示出了如下的情形，其中，在与印度相关的条款“达什拉斯·曼吉”被显示在显示单元151上的同时，从基于用户的目光的眼睛跟踪结果选择显示单元151的画面的一部分。然后控制器180能够获得在选择的区域中显示的文字，并且将该文字存储在存储单元160的专用存储区域中。
图3的(b)示出了如下的示例，其中，来自条款的句子“达什拉斯·曼吉开始凿开通过山的路，使得他的邻居能够避免他与他的妻子已经遭遇到的。”和短语“实际上正在修路”被获得并且存储为眼睛跟踪结果。
图3的(c)示出了如下的示例，其中，文字被选择并且存储为眼睛跟踪的结果，并且同时，与获得的文字相关的附加信息被获得并存储。
情形(1)例示了如果被称为“达什拉斯·曼吉”的电子书通过电子书应用被打开，则被获得并且存储的附加信息可以包括表示执行应用的“电子书应用的图标”、其标题“达什拉斯·曼吉”和目前被显示在画面上的页“395页”。
情形(2)例示了如果条款是在特定的网页中发帖的书写，则被获得并且存储的附加信息可以包括表示特定网页的http://example.com。
情形(3)例示了表示从书写获得文字和附加信息的时间的“2013.08.24 AM 10:30”可以被获得并且存储为附加信息。
图4示出了当由根据本发明的移动终端100提供的专用于基于眼睛跟踪而获得的数据的搜索功能被执行时，相应地提供的用户界面的示例。应该注意的是，图4的示例例示了如下的情形，其中，在根据图3的实施方式基于眼睛跟踪而获得并且存储文字及其附加信息的同时，执行专用搜索功能。
在用户界面中，示出了短语151A，该短语151A指示专用于基于眼睛跟踪而获得的数据的搜索被执行。而且，搜索关键字输入窗口151B和搜索执行按钮151C被显示在用户界面上。
如果用户向搜索关键字输入窗口151B输入“达什拉斯·曼吉”并且触摸搜索执行按钮151C，则根据包括搜索关键字“达什拉斯·曼吉”的眼睛跟踪结果，控制器180确定用户已经打开电子书，并且搜索和显示存储的文字151D。并且控制器180还在画面上显示文字151D的附加信息，包括“电子书应用的图标”151E、电子书的标题和当前页“达什拉斯·曼吉和395页”151F、以及基于眼睛跟踪的数据的获取时间“2013.08.24”151G。
如参考图3所描述的，在作为专用搜索的结果，基于眼睛跟踪而获得的数据被显示在显示单元151上的情形中，根据本发明的移动终端100还能够显示与获得的数据相关的附加信息。
图5示出了在根据本发明的移动终端100中，从基于眼睛跟踪而获得的数据中基于搜索结果而提供用户已经读取的原始内容的示例。
图5的(a)示出了如下的情形，其中，用户通过使用搜索关键字“达什拉斯·曼吉”发现用户已经读取的“达什拉斯·曼吉”的395页的部分，该部分为“达什拉斯·曼吉开始凿开通过山的路，使得他的邻居能够避免他与他的妻子已经遭遇到的”。
如果在图5的(a)的状态的同时，用户触摸并且选择搜索结果，则如在图5的(b)中所示的，通过执行电子书应用，控制器180能够显示电子书“达什拉斯·曼吉”的包括搜索到的文字的395页。此时，通向该页的路径信息可以与搜索到的文字相关联地被存储在针对基于眼睛跟踪而获得的数据的存储单元160的专用存储区域中。
同时，如果用户已经读取的特定网页的文字部分被获得并且存储，则通向该特定网页的网络地址可以与文字部分匹配，并且存储在该用存储区域中。那么，如果之后文字部分被搜索并选择，则控制器180能够基于该网络地址为用户提供该特定网页。
图6到图9示出了由根据本发明的移动终端100提供的与眼睛跟踪相关的用户界面的示例。
如在图6中所示，移动终端100可以在通知栏上显示图标151H，该图标151H指示眼睛跟踪功能当前正在被执行。而且，移动终端100可以在通知窗口上显示用于执行与眼睛跟踪相关的设置功能的选择区域151H。
如在图6中所示的，用户触摸选择区域151H。然后，如在图7中所示的，控制器180在显示单元151上显示用于眼睛跟踪相关设置的画面。
为了检查该画面，移动终端100提供设置眼睛跟踪相关功能的开/关的用户界面151J、设置代表眼睛跟踪的执行的指示手段的用户界面151K、设置执行眼睛跟踪的目标应用的用户界面151L、和设置当眼睛跟踪被执行时相应地获得的附加信息的用户界面151M。然而，由根据本发明的移动终端100提供的眼睛跟踪相关设置的类型不限制于前述示例。
如果用户触摸用户界面151K，则如图8的(a)中所示的，控制器180可以提供能够将画面设置为显示突出的或半透明的图标作为代表眼睛跟踪的执行的指示手段的用户界面。
如果用户触摸用户界面151M，则如图8的(b)中所示的，控制器180可以提供如下的用户界面，即，通过该用户界面，用户可以选择应用相关信息、数据获取时间相关信息、与执行的内容相关的信息等作为与作为眼睛跟踪的结果从特定应用执行画面获得的数据相关的附加信息。
如果用户触摸用户界面151L，则如图9中所示的，控制器180可以在显示单元151上显示用于选择获得根据眼睛跟踪结果的数据的目标应用的用户界面。
如图9中所示的，如果用户选择“播放书”并且播放书应用被执行，则控制器180执行相对于播放书应用的执行画面的眼睛跟踪，并且作为眼睛跟踪的结果，获得并存储来自播放书应用的执行画面的数据。而且，控制器180还可以获得从播放书应用的执行画面获得的数据的附加信息，并且将该信息存储在存储单元160中。
图10示出了在根据本发明的移动终端100中显示用于指示正在执行眼睛跟踪的手段的示例。
根据眼睛跟踪的结果，移动终端100的控制器180可以突出151O用户的目光停留超过预定时间段或用户的目光被识别到超过预定次数的部分。而且，根据眼睛跟踪的结果，控制器180可以在用户的目光停留超过预定时间段或用户的目光被识别到超过预定次数的位置显示151P半透明的图标，并且确定根据眼睛跟踪结果的画面的特定区域151Q。
在图10中例示的用于指示跟踪结果的执行的方法仅是由根据本发明的移动终端100提供的指示方法的示例，并且应该注意的是，本发明的技术范围不限制于所述示例。
图11例示了在根据本发明的移动终端100中在存储单元160中存储作为眼睛跟踪的结果根据用户的目光获得的数据。
参考图11的(a)，可以知道，移动终端100的控制器180可以将从眼睛跟踪的结果获得的数据存储在存储单元160的专用存储区域160A中。此时，控制器180还可以获得所获得的数据的附加信息，并且将所获得的附加信息存储在专用存储区域160A中。
然后，在搜索从眼睛跟踪结果获得的数据时，控制器180可以将搜索范围限制到专用存储区域160A。结果，可以执行更快速的搜索。
参考图11的(b)，可以知道，控制器180可以将从眼睛跟踪结果获得的数据存储在存储单元160的任意区域160B中。此时，控制器180可以将指示所获得的数据来自于眼睛跟踪结果的附加信息与所获得的数据相关联地存储。然后，在搜索从眼睛跟踪结果获得的数据时，控制器180可以将相对于从眼睛跟踪结果获得的数据的专用搜索的目标限制到与附加信息相关联的那些数据。
图12示出了其中在根据本发明的移动终端100中，根据眼睛跟踪结果，通过特定应用的执行画面获得数据的其它示例。
参考图12的(a)，如果用户的目光被识别到在gallery(图片库)应用的执行画面上显示的特定图像处停留超过预定时间段，则控制器180可以显示半透明图标151P，该半透明图标151P指示当前正在该图像上执行眼睛跟踪。
并且控制器180可以将通过用户的目光所选择的特定图像存储在存储单元160中作为从眼睛跟踪结果获得的数据①。然后控制器180还可以存储应用名称和所选择的图像文件的名称作为相对于该特定图像的附加信息②。
同时，可以从关于相对于基于眼睛跟踪而获得的数据的专用搜索的请求发现该特定图像，其中，该专用搜索使用与附加信息相对应的字作为搜索关键字，并且将该特定图像提供给用户。
参考图12的(b)，从网页浏览应用的执行画面识别用户在特定图像处的目光，并且在文字显示区域中的第三行(第3行)处识别到用户的目光。
然后控制器180可以将在第三行(第3行)中显示的图像和文字存储在存储单元160中作为从眼睛跟踪的结果获得的数据。并且控制器180还可以将网页浏览应用的名称和与执行画面相对应的统一资源定位符(URL)存储在存储单元160中作为与存储的数据相关的附加信息。
同时，控制器180基于与相对于基于眼睛跟踪而获得的数据的专用搜索相关的请求搜索该特定图像，其中，该专用搜索使用与附加信息相对应的字作为搜索关键字，并且将搜索到的图像和文字提供给用户。
图13是例示出根据本发明的用于控制移动终端100的方法的另一个示例的流程图。在下文中，将参考附图描述用于控制移动终端的方法。
在基于眼睛跟踪而获得的数据被存储在存储单元160中的同时，控制器180执行相对于基于眼睛跟踪而获得的数据的专用搜索功能(S200)。如果专用搜索功能被执行并且搜索关键字通过提供的用户界面被接收到(S210)，则控制器180搜索包括接收到的搜索关键字的文字或具有接收到的搜索关键字作为附加信息的数据(S220)。基于接收到的搜索关键字的搜索范围可以被限制到分配为用于存储基于眼睛跟踪而获得的数据的专用存储区域。
如果搜索完成，则如图3中所示，控制器180可以将搜索到的数据和与该数据相对应的附加信息一起地显示在显示单元151上(S230)。
图14示出了由根据本发明的移动终端100提供的相对于从眼睛跟踪获得的数据的专用搜索的结果的一个示例。
参考图14，移动终端100可以按照基于眼睛跟踪的数据获取顺序来布置相对于基于眼睛跟踪而获得的数据的将“秋季的LG棒球”用作搜索关键字的专用搜索结果，或者，专用搜索结果可以根据用于数据获取的应用来被分类和存储。更具体地，图14的控制器180通过将搜索结果分类以对应于网页浏览应用151R和电子书应用151S的方式来提供搜索结果。
图15到图17示出了由根据本发明的移动终端100提供的利用相对于基于眼睛跟踪而获得的数据的专用搜索的结果的另外的功能的示例。
参考图15，移动终端100提供用于执行相对于专用搜索结果的再搜索功能的搜索关键字输入窗口151T。而且，移动终端100提供用于选择相对于专用搜索结果的排序标准的用户界面151U。根据图15，移动终端100提供采用基于应用或数据获取时间的标准的排序功能。然而，本发明的技术范围不限制于该示例。
参考图16，移动终端100提供按钮151V和按钮151W，其中，该按钮151V用于删除包括在专用搜索结果中的数据，该按钮151W用于将数据发送到其它电子装置。用于将搜索到的数据发送到其它电子装置的方法包括电子邮件、SMS、MMS、SNS等。然而，本发明的技术范围不限制于上述示例。同时，用户可以通过在搜索到的数据旁边的复选框151X来确定每一个数据的选择。
参考图17，如果用户通过长触摸在显示专用搜索结果的画面中的特定数据来选择该特定数据151Y，则控制器180提供用于通过使用各种应用将该选择的特定数据151Y发送到其它电子装置的用户界面151Z。
图18示出了其中在根据本发明的移动终端100中，根据眼睛跟踪结果，在特定应用的执行画面上显示的项被改变的示例。
图18的(a)示出了由网页浏览应用“NAVER”提供的相对于特定搜索关键字的普通搜索结果。在该示例中，假设在来自图18的(a)的搜索结果中的第二条款(条款2)处识别到用户的目光并且因此第二条款的数据被获得并存储。
然后，如在图18的(b)中所示的，在基于特定搜索关键字的使用相同的网页浏览应用“NAVER”的接下来的搜索中，移动终端100可以将被确定为已经被用户读取的第二条款151Z1与其它条款不同地显示(情形1)。
然后，如在图18的(c)中所示的，在基于特定搜索关键字的使用相同的网页浏览应用“NAVER”的接下来的搜索中，移动终端100可以不显示被确定为已经被用户读取的第二条款(情形2)。
图19是例示根据本发明的用于控制移动终端100的方法的又一个示例的流程图。在下文中，将参考附图描述用于控制移动终端的方法。
首先，控制器180在显示单元151上显示特定应用的执行画面(S300)。然后，控制器180控制相机121获得用户的眼睛的图像。之后，控制器180基于通过相机121获得的用户的眼睛的图像而执行眼睛跟踪，该眼睛跟踪获得用户的目光在特定应用的执行画面中的位置(S310)。
接着，控制器180基于眼睛跟踪结果而选择特定应用的执行画面的一部分，并且获得特定应用的执行画面的所选择的部分的拍摄的图像(S320)。此时，控制器180可以基于用户的目光停留超过预定时间段或用户的目光被识别到超过预定次数的位置而选择特定应用的执行画面的一部分。
控制器180获得与所获得的拍摄的图像相对应的搜索数据(S330)，并且通过将所获得的搜索数据与拍摄的图像相关联的方式将所获得的搜索数据存储在存储单元160中(S340)。此时，拍摄的图像和获得的搜索数据可以被存储在存储单元160的被分配用于存储基于眼睛跟踪而获得的数据的专用存储区域中。
同时，获得的搜索数据可以包括与特定应用相关的信息、与由特定应用执行的内容相关的信息、与拍摄的图像的获取时间相关的信息、以及与和特定应用的执行画面相对应的路径相关的信息。换言之，与通过如在图19中例示的用于控制移动终端的方法获得的拍摄的图像相对应的搜索数据可以是与基于如在图2中例示的用于控制移动终端的方法的眼睛跟踪而获得的数据的附加信息相对应的数据。
接着，如果关于使用与如上所述地获得并存储的搜索信息相对应的搜索关键字的相对于基于眼睛跟踪而获得的数据的专用搜索的请求被做出，则控制器180可以在存储单元160中搜索拍摄的图像，从而将拍摄的图像显示在显示单元151上(S350)。例如，如果通过将由特定应用执行的内容的名称用作搜索关键字来做出关于搜索的请求，则控制器180在播放前述内容的特定应用的执行画面中搜索拍摄的图像，并且将拍摄的图像显示在显示单元151上。
同时，如果作为眼睛跟踪的结果而获得的拍摄的图像和与该拍摄的图像相对应的搜索图像被彼此相关联地存储在专用存储区域中，则控制器180可以将请求的专用搜索的搜索范围限制到专用存储区域。
图20到图22例示了其中图19的用于控制移动终端的方法被执行的过程的一个示例。
图20示出了如下的情形中，即，其中，如果作为基于用户的眼睛图像的分析的眼睛跟踪的结果，在由特定的购物中心提供的网页中的特定的表152的图像处识别到用户的目光，则移动终端100的控制器180获得该特定的表152的拍摄的图像，并且将该拍摄的图像存储在存储单元160中；并且同时，获得包括购物中心名称、表的名称、网页的URL和图像拍摄时间的搜索信息作为相对于获得的拍摄的图像的搜索数据，并且将该搜索信息存储在存储单元160中。此时，拍摄的图像和与该拍摄的图像相对应的搜索数据可以被存储在存储单元160的被分配用于存储基于眼睛跟踪而获得的数据的专用存储区域中。
图21示出了如下的情形中，即，其中，在将特定的购物中心的名称用作搜索关键字的专用搜索功能已经相对于基于眼睛跟踪而获得的数据被激活的同时，如果用户从作为搜索的结果而被显示的多个拍摄的图像当中选择特定表的图像153，则控制器180提供该特定的购物中心的特定网页，其中该特定的表的图像已经从该特定网页被拍摄。
换言之，根据本发明的移动终端100存储与特定应用的执行画面相对应的路径信息(图像根据该路径信息而被拍摄)，不仅作为与拍摄的图像相对应的搜索信息，而且还作为用来提供特定应用的执行画面的手段。
此时，基于网页的路径信息(该特定表的图像根据该路径信息而被拍摄)，控制器180可以将网页显示在显示单元151上，在该网页中，该特定表的图像被存储作为相对于该特定表的拍摄的图像的搜索数据。
图22示出了如在图21中所示的将特定的购物中心的名称用作相对于基于眼睛跟踪而获得的数据的搜索关键字的专用搜索功能的执行画面的放大视图。参考图22，可以知道，作为专用搜索的结果，从特定的购物中心的网页拍摄的多个产品的图像被显示在显示单元151上。而且，对于拍摄的图像中的每一个，诸如产品名称和图像拍摄时间的相应搜索数据被一起地显示。同时，与产品的拍摄的图像一起地显示的搜索图像可以是与相应的产品的拍摄的图像相对应的全部搜索数据的部分或全部。
图23例示了基于在根据本发明的移动终端100中执行的眼睛跟踪的数据获取和存储的又一个示例。
根据眼睛跟踪来识别用户注视在网页浏览应用的执行画面中的与特定条款相对应的文字和特定图像的目光。然后，移动终端100的控制器180可以获得并存储与特定条款的文字相对应的拍摄的图像和与特定图像相对应的拍摄的图像。同时，控制器180可以以文字而非拍摄的图像的形式存储特定条款的文字。
并且控制器180可以存储网页浏览应用的执行画面的URL、网页浏览应用的名称、拍摄的条款的标题和与拍摄的图像相对应的文字作为与如上所述地获得并存储的拍摄的图像相对应的搜索数据。
同时，控制器180可以将拍摄的图像和相应的搜索信息存储在被指定用于存储基于眼睛跟踪而获得的数据的专用存储区域中。之后，如果在前述条件下相对于基于眼睛跟踪而获得的数据执行专用搜索，则控制器180可以将搜索范围限制到专用存储区域。
用于控制移动终端的上述方法可以被编写为计算机程序，并且可以在利用计算机可读记录介质执行程序的数字微处理器中被实施。用于控制移动终端的方法可以通过软件来执行。软件可以包括执行所要求的任务的代码段。程序或代码段还可以被存储在处理器可读介质中，或者可以根据与载波组合的数据信号在传输介质或通信网络中传输。
计算机可读记录介质可以是能够存储之后能够由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例可以包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、DVD±ROM、DVD-RAM、磁带、软盘、光学数据存储装置。计算机可读记录介质还可以分布在与计算机系统连接的网络上，使得计算机可读编码以分布的方式被存储和执行。
移动终端可以包括：构造为显示第一对象的第一触摸屏；构造为显示第二对象的第二触摸屏；以及控制器，其被构造为接收施加到第一对象的第一触摸输入，并且在第一触摸输入被维持的同时，当接收到施加到第二对象的第二触摸输入时，将第一对象链接到与第二对象相对应的功能。
提供的用于控制移动终端的方法包括：在第一触摸屏上显示第一对象；在第二触摸屏上显示第二对象；以及，接收施加到第一对象的第一触摸输入，并且在第一触摸输入被维持的同时，当接收到施加到第二对象的第二触摸输入时，将第一对象链接到与第二对象相对应的功能。
在本说明书中的对“一个实施方式”、“实施方式”、“示例的实施方式”等的引用意味着结合实施方式描述的具体特征、结构或特性包括在本发明的至少一个实施方式中。在本说明书的各个地方出现的如此的短语不一定都指相同的实施方式。而且，当结合任何实施方式来描述具体的特征、结构或特性时，对于本领域技术人员而言，可以想到将如此的特征、结构或特性应用到其它实施方式中。
尽管已经参考很多示例性的实施方式来描述了实施方式，但是应该理解的是，本领域技术人员可以设想在本公开的原理的精神和范围内的各种其他修改和实施方式。更具体地，在本公开、附图和随附权利要求书的范围内，主题组合布置的部件和/或布置的各种变化和修改是可能的。除了部件和/或布置的各种变化和修改之外，可选的应用对于本领域技术人员也将是明显的。
相关申请的交叉引用
本申请要求在2013年9月4日提交的韩国专利申请10-2013-0106269的优先权。

Claims (20)

1.一种移动终端，所述移动终端包括：
相机；
显示器；
存储器；以及
控制器，所述控制器被构造为：
使得所述显示器显示应用的执行画面；
经由通过所述相机拍摄的图像数据跟踪用户的眼睛的移动；
基于所述眼睛的移动而选择所述执行画面的一部分；
选择在所选择的一部分上显示的数据并且使得所述存储器存储所选择的数据；以及
利用包括所选择的数据的搜索请求来执行专用搜索功能。
2.根据权利要求1所述的移动终端，其中，所述控制器被进一步构造为：
使得所述存储器将所选择的数据存储在所述存储器的专用存储区域中，其中，所述专用存储区域被指定为存储与眼睛跟踪相关联的数据；以及
将所述专用搜索功能的搜索范围限制到所述专用存储区域。
3.根据权利要求1所述的移动终端，其中，所述控制器被进一步构造为：至少基于所述用户的眼睛注视所述一部分的时间长度或所述用户的眼睛注视所述一部分的次数而选择所述执行画面的所述一部分。
4.根据权利要求3所述的移动终端，其中，所述控制器被进一步构造为：使得所述显示器在所述执行画面上显示指示眼睛跟踪功能被激活的指示符。
5.根据权利要求2所述的移动终端，其中，所述控制器被进一步构造为：使得所述存储器将路径信息存储在所述专用存储区域中以与存储的所选择的数据相关联，其中，所述路径信息对应于所述执行画面。
6.根据权利要求2所述的移动终端，其中，所述控制器被进一步构造为：当所选择的数据被提供作为搜索的搜索结果时，响应于用于选择所选择的数据的输入，使得所述显示器显示所述执行画面。
7.根据权利要求2所述的移动终端，其中，所述控制器被进一步构造为：
使得所述存储器将在所述执行画面的所选择的一部分中显示的文字存储在所述专用存储区域中以与所选择的数据相关联；以及
当搜索请求包括存储的文字时，提供所选择的一部分作为搜索结果。
8.根据权利要求2所述的移动终端，其中，所述控制器被进一步构造为：
获得与所选择的数据相关的附加数据，所述附加数据至少包括与所述应用相关的信息、与由所述应用执行的内容相关的信息、或与所选择的数据被选择的时间和日期相关的信息；以及
将所述附加数据存储在所述专用存储区域中以与所选择的数据相关联。
9.根据权利要求8所述的移动终端，其中，所述控制器被进一步构造为：使用包括所述附加数据的搜索请求来执行所述专用搜索功能。
10.根据权利要求9所述的移动终端，其中，所述控制器被进一步构造为：
使得所述存储器将在所述执行画面上显示的图像存储在所述专用存储区域中；以及
当搜索请求包括在所述附加数据中包括的信息时，提供所存储的图像作为搜索结果。
11.根据权利要求8所述的移动终端，其中，所述控制器被进一步构造为：当所选择的数据被提供作为搜索的搜索结果时，使得所述显示器将所述附加数据与所选择的数据一起地显示。
12.根据权利要求8所述的移动终端，其中，所述控制器被进一步构造为在搜索的结果内执行精炼搜索，其中所述精炼搜索的请求包括所述附加数据。
13.一种移动终端，所述移动终端包括：
相机；
显示器；
存储器；以及
控制器，所述控制器被构造为：
使得所述显示器显示应用的执行画面；
经由通过所述相机拍摄的图像数据跟踪用户的眼睛的移动；
基于所述眼睛的移动而选择所述执行画面的一部分并且拍摄所述执行画面的所述一部分的图像；
利用所拍摄的图像执行搜索并且获得与所拍摄的图像相对应的搜索结果数据；
使得所述存储器将所拍摄的图像和所述搜索结果数据存储为彼此相关联；以及
将所拍摄的图像和所述搜索结果数据提供作为专用搜索功能的搜索结果。
14.根据权利要求13所述的移动终端，其中，所述控制器被进一步构造为：
使得所述存储器将所拍摄的图像和所述搜索结果数据存储在所述存储器的专用存储区域中，其中，所述专用存储区域被指定为存储与眼睛跟踪相关联的数据；以及
将所述专用搜索功能的搜索范围限制到所述专用存储区域。
15.根据权利要求13所述的移动终端，其中，所述控制器被进一步构造为：当搜索请求包括与所述搜索结果数据相关的信息时，使得所述显示器显示所拍摄的图像作为搜索结果。
16.根据权利要求15所述的移动终端，其中：
与所拍摄的图像相对应的所述搜索结果数据包括与所述执行画面相对应的路径信息；以及
所述控制器被进一步构造为：响应于用于选择显示的所拍摄的图像的输入，使得所述显示器显示所述执行画面。
17.根据权利要求15所述的移动终端，其中，所述控制器被进一步构造为：使得所述显示器将所述搜索结果数据的至少一部分与显示的所拍摄的图像一起地显示。
18.根据权利要求13所述的移动终端，其中，所述控制器被进一步构造为：至少基于所述用户的眼睛注视所述一部分的时间长度或所述用户的眼睛注视所述一部分的次数而选择所述执行画面的所述一部分。
19.根据权利要求18所述的移动终端，其中，所述控制器被进一步构造为：使得所述显示器在所述执行画面上显示指示眼睛跟踪功能被激活的指示符。
20.根据权利要求13所述的移动终端，其中，所述控制器被进一步构造为使得所述存储器存储与所述搜索结果数据相关的附加数据，所述附加数据至少包括与所述应用相关的信息、与由所述应用执行的内容相关的信息、或与所述执行画面的所述一部分被选择的时间和日期相关的信息。
CN201410446168.5A 2013-09-04 2014-09-03 移动终端及其控制方法 Pending CN104423585A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0106269 2013-09-04
KR20130106269A KR20150027614A (ko) 2013-09-04 2013-09-04 이동 단말기

Publications (1)

Publication Number Publication Date
CN104423585A true CN104423585A (zh) 2015-03-18

Family

ID=51535313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410446168.5A Pending CN104423585A (zh) 2013-09-04 2014-09-03 移动终端及其控制方法

Country Status (4)

Country Link
US (1) US20150066980A1 (zh)
EP (1) EP2846275A1 (zh)
KR (1) KR20150027614A (zh)
CN (1) CN104423585A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027644A (zh) * 2015-09-30 2018-05-11 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
CN108509034A (zh) * 2018-03-16 2018-09-07 广东欧珀移动通信有限公司 电子装置、信息处理方法及相关产品
TWI700656B (zh) * 2019-04-23 2020-08-01 鑽贏雲股份有限公司 利用眼球追蹤模組之銷售系統

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US10037576B2 (en) 2015-07-02 2018-07-31 Cfph, Llc Visualization of changes through the use of graphical geometric shapes
USD813270S1 (en) * 2015-11-13 2018-03-20 Cfph, Llc Display screen with animated graphical user interface
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
JP2019049773A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 情報処理装置および情報表示方法とプログラム
US10909191B2 (en) * 2017-11-20 2021-02-02 Rovi Guides, Inc. Systems and methods for displaying supplemental content for an electronic book
US10909193B2 (en) * 2017-11-20 2021-02-02 Rovi Guides, Inc. Systems and methods for filtering supplemental content for an electronic book
US11766609B2 (en) 2018-02-13 2023-09-26 Hq Trivia Llc System and interfaces for providing an interactive system
US11671670B2 (en) 2018-02-13 2023-06-06 Hq Trivia Llc System and interfaces for providing an interactive system
USD865808S1 (en) 2018-03-12 2019-11-05 Intermedia Labs, Inc. Portion of a computer screen with an icon image
USD936072S1 (en) 2018-03-20 2021-11-16 Intermedia Labs, Inc. Portion of a computer screen with transitional graphical user interface
USD888070S1 (en) * 2018-03-20 2020-06-23 Intermedia Labs, Inc. Display screen with transitional graphical user interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054023A (zh) * 2009-11-05 2011-05-11 Lg电子株式会社 移动终端和使用该移动终端提供信息的方法
US20120293406A1 (en) * 2011-05-16 2012-11-22 Samsung Electronics Co., Ltd. Method and apparatus for processing input in mobile terminal
US20130054576A1 (en) * 2011-08-23 2013-02-28 Buckyball Mobile, Inc. Identifying digital content using bioresponse data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996015B2 (en) * 2008-10-15 2011-08-09 Sony Ericsson Mobile Communications Ab Location-based tagging and sorting of content on a mobile device
US9841811B2 (en) * 2008-11-03 2017-12-12 Bruce Reiner Visually directed human-computer interaction for medical applications
US8390626B2 (en) * 2008-11-11 2013-03-05 Oracle International Corporation Radial histograms for depicting path information
KR20110036463A (ko) * 2009-10-01 2011-04-07 엘지전자 주식회사 이동단말기 및 그의 브라우징 방법
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101841121B1 (ko) * 2011-02-17 2018-05-04 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
EP2587342A1 (en) * 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
EP2680551B1 (en) * 2012-06-27 2014-11-05 BlackBerry Limited Mobile communication device user interface for manipulation of data items in a physical space
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054023A (zh) * 2009-11-05 2011-05-11 Lg电子株式会社 移动终端和使用该移动终端提供信息的方法
US20120293406A1 (en) * 2011-05-16 2012-11-22 Samsung Electronics Co., Ltd. Method and apparatus for processing input in mobile terminal
US20130054576A1 (en) * 2011-08-23 2013-02-28 Buckyball Mobile, Inc. Identifying digital content using bioresponse data

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027644A (zh) * 2015-09-30 2018-05-11 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
US10698479B2 (en) 2015-09-30 2020-06-30 Huawei Technologies Co., Ltd. Method for starting eye tracking function and mobile device
CN108509034A (zh) * 2018-03-16 2018-09-07 广东欧珀移动通信有限公司 电子装置、信息处理方法及相关产品
CN108509034B (zh) * 2018-03-16 2021-05-11 Oppo广东移动通信有限公司 电子装置、信息处理方法及相关产品
TWI700656B (zh) * 2019-04-23 2020-08-01 鑽贏雲股份有限公司 利用眼球追蹤模組之銷售系統

Also Published As

Publication number Publication date
KR20150027614A (ko) 2015-03-12
EP2846275A1 (en) 2015-03-11
US20150066980A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
CN104423585A (zh) 移动终端及其控制方法
CN101893985B (zh) 在移动终端中控制菜单的方法及使用该方法的移动终端
US20120262370A1 (en) Mobile terminal performing remote control function for display device
CN102238280B (zh) 电子设备及其发送信息的方法和控制电子设备的方法
CN101907972B (zh) 移动终端以及在移动终端中显示信息的方法
KR101786978B1 (ko) 이동 단말기
CN101739127A (zh) 具有触摸屏的移动终端及使用其处理数据的方法
EP2523435A1 (en) Mobile terminal and control method thereof
US10025405B2 (en) Mobile terminal and control method for linking information with a memo
CN103365591A (zh) 电子设备和控制电子设备的方法
KR20110049492A (ko) 이동 단말기 및 이를 이용한 정보 제공 방법
CN103377003A (zh) 移动终端及其控制方法
US9247144B2 (en) Mobile terminal generating a user diary based on extracted information
EP2469234A2 (en) Electronic device and controlling method thereof
KR101698096B1 (ko) 단말기의 드로잉을 이용한 검색 방법 및 그 단말기
US20130110603A1 (en) Mobile terminal
KR20110066612A (ko) 전자 기기 및 이를 이용한 정보 제공 방법
US20130179815A1 (en) Electronic device and method of controlling the same
EP2706496A1 (en) Device, method and computer-readable medium for recognizing places in a text
KR20120137602A (ko) 전자 기기 및 전자 기기에서의 소셜 네트워킹 서비스 방법
US20140253526A1 (en) Mobile terminal
KR101644646B1 (ko) 이동 통신 단말기에서의 데이터 송수신 방법 및 이를 적용한 이동 통신 단말기
KR102201727B1 (ko) 이동 단말기 및 그 제어방법
US20150373184A1 (en) Mobile terminal and control method thereof
CN111052050B (zh) 一种输入信息的方法及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150318