CN104461277A - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN104461277A
CN104461277A CN201410479692.2A CN201410479692A CN104461277A CN 104461277 A CN104461277 A CN 104461277A CN 201410479692 A CN201410479692 A CN 201410479692A CN 104461277 A CN104461277 A CN 104461277A
Authority
CN
China
Prior art keywords
regulation
mobile terminal
user
posture
books
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410479692.2A
Other languages
English (en)
Other versions
CN104461277B (zh
Inventor
宋柔美
李知妍
宋永勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104461277A publication Critical patent/CN104461277A/zh
Application granted granted Critical
Publication of CN104461277B publication Critical patent/CN104461277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及一种眼镜式可穿戴移动终端及其控制方法,其使得用户能够更便利地使用该终端。根据本发明的至少一实施方式,所述可穿戴移动终端的各种功能可以基于用户的简单且容易的姿势来执行。

Description

移动终端及其控制方法
技术领域
本发明涉及一种使得用户能够更便利地使用该终端的移动终端及其控制方法。
背景技术
移动终端是可以被配置为执行各种功能的装置。这种功能的示例包括:数据和话音通信、经由相机拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件和输出音乐、以及在显示器上显示图像和视频。一些终端包括支持玩游戏的附加功能,而其它终端还被设置为多媒体播放器。最近,移动终端已经被配置为接收广播和多播信号,其准许收看诸如视频和电视节目的内容。
一般来说,终端可以根据是否存在移动性而分类成移动终端和固定终端。而且,移动终端还可以根据针对手提的可用性而分类成手持式终端和车载终端。
正在进行的工作是支持和增加移动终端的功能。这种工作包括软件和硬件改进,以及在形成移动终端的结构性组件方面的改变和改进。
一般来说,终端的用户在将该终端携带在包、口袋等中的同时走来走去,而在该用户需要操作该终端时,用户用手持握该终端。当该终端被手持握时,用户可以通过持握该终端的手或者另一只手在该终端上执行操作。
近来,指出了操作终端的不便利性。具体来说,一个不争的事实是,如果一只手或双手没空(在用手携带物体的情况下,或者在锻炼/驾驶等的情况下),操作终端是不便利的。因此,有关操作终端的新方式的研究正在讨论中。该研究聚焦于能够穿戴在人体上的移动终端。这类终端被称作可穿戴装置(或可穿戴计算机)。可穿戴装置的代表例包括腕表型终端和眼镜式终端。
因为这类可穿戴装置总是穿戴在用户身体的一部位上,所以在移动性方面存在价值。与此相反,因为存在相对较小的显示器和有限的用户输入装置,所以可穿戴装置的操作会造成不便利。
因此,必需对以减少可穿戴装置的操作不便利性的方式来增强用户便利性的可穿戴装置及其控制方法进行研究。
发明内容
因此,本发明致力于提供一种基本上消除了因现有技术的局限性和缺点而造成的一个或更多个问题的装置及其方法。
提出本发明以满足前述需要。本发明的一个目的是提供一种在操作可穿戴移动终端的情况下增强用户便利性的移动终端及其控制方法。
本发明的附加优点、目的,以及特征在下面的描述中将部分地加以阐述,并且本领域普通技术人员通过下面的考察将部分地变清楚,或者可以根据本发明的具体实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构认识到并获得。
为实现这些目的和其它优点并且根据本发明的目的,如在此具体实施和广泛描述的,根据一个实施方式,一种可穿戴移动终端,该可穿戴移动终端包括:框架,该框架被配置为穿戴在用户的头部上;感测单元,该感测单元被配置为检测所述用户的手势;相机,该相机被配置为,在被所述用户穿戴的情况下面对所述用户的注视方向;以及控制器,该控制器被配置为,如果经由所述感测单元检测到针对规定目标的规定姿势,则控制所述相机对针对所述规定打印输出的拍摄图像拍照。
为进一步实现这些目的和其它优点并且根据本发明的目的,如在此具体实施和广泛描述的,根据一个实施方式,一种控制可穿戴移动终端的方法,该可穿戴移动终端配备有:框架,该框架被配置为穿戴在用户的头部上;相机,该相机被配置为,在穿戴所述可穿戴装置的情况下面对所述用户的注视方向;以及存储器,该方法包括以下步骤:经由感测单元检测所述用户的手势;并且如果检测到针对规定目标的规定姿势,则控制所述相机对针对所述规定打印输出的拍摄图像拍照。
应当明白,本发明的前述一般描述和下面的详细描述都是示例性和解释性的,并且旨在提供对如要求保护的本发明的进一步阐释。
附图说明
通过结合附图考虑优选实施方式的下列描述,本发明的上述和其它方面、特征,以及优点将变得更清楚。
图1是根据本发明一个实施方式的移动终端的框图;
图2是根据本发明的、针对移动或便携式终端的一个实施例的正面立体图;
图3是图2所示移动终端的背面立体图;
图4是根据本发明一个实施方式的、针对眼镜式可穿戴装置400的一个实施例的正面立体图;
图5至7是根据本发明一个实施方式的、针对响应于用户在书本的规定页面上执行的手势而执行拍摄操作的方法的图;
图8是根据本发明一个实施方式的、针对响应于用户在书本封面上执行的手势来登记该书本的方法的一个实施例的图;
图9是根据本发明一个实施方式的、针对基于书本标题来登记该书本的方法的一个实施例的图;
图10a至10d是根据本发明一个实施方式的、针对在可穿戴装置400与移动终端100之间执行同步的实施例的图;
图11是根据本发明一个实施方式的、针对基于由用户检测的笔姿势而将规定字存储为关键字的方法的图;
图12至14是根据本发明一个实施方式的、针对读取所存储的关键字的状态的图;
图15是根据本发明一个实施方式的、针对响应于用户的书写输入来显示标记指示符的方法的图;
图16和图17是根据本发明一个实施方式的、针对响应于对于规定字的规定姿势来提供针对该规定字的搜索结果的方法的图;
图18是根据本发明一个实施方式的、针对将书写内容存储为备忘录的方法的图;
图19是示出读取图18中存储的备忘录的状态的图;
图20和图21是根据本发明一个实施方式的、针对自动搜索密码并且向用户显示该密码的控制方法的图;
图22是根据本发明一个实施方式的、针对可穿戴装置400与不同的终端共享收藏列表的控制方法的图;
图23和图24是根据本发明的一个实施方式的、针对经由可穿戴装置400的透明显示器430来帮助扩展不同的移动终端100的画面的方法的图;
图25是根据本发明一个实施方式的、利用不同的移动终端100来控制可穿戴装置400的方法的图;
图26是根据本发明一个实施方式的、针对响应于检测到规定姿势而拍摄画面的方法的图。
具体实施方式
在下面的详细描述中,针对形成本公开的一部分的附图进行说明,并且其通过例示本发明的具体实施方式来示出的。本技术领域普通技术人员要明白的是,在不脱离本发明的范围的情况下,可以利用其它实施方式,并且可以进行机械、电气以及过程改变。在可能的情况下,贯穿附图使用相同标号来指相同或相似部件。
如在此使用的,后缀“模块”、“单元”,以及“部件”被用于组件,以便仅易于本公开。因此,有意义的含义或角色未赋予后缀本身,而应当明白,“模块”、“单元”,以及“部件”可以一起或互换地使用。
本发明可以应用至各种类型的终端。这种终端的示例包括:移动终端、如移动电话、用户设备、智能电话、移动计算机、数字广播终端、个人数字助理、便携式多媒体播放器(PMP)以及导航仪。
图1是根据本发明一实施方式的移动终端100的框图。图1示出了根据本发明一个实施方式的移动终端100包括:无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源单元190等。图1示出了具有各种组件的移动终端100,但应当明白,实现全部所示组件不是必要条件。更多的或更少的组件可以另选地实现。
在下面的描述中,依次说明移动终端100的上述部件。
首先,无线通信单元110典型地包括一个或更多个组件,其准许在移动终端100与该移动终端100所位于的无线通信系统或网络之间进行无线通信。例如,无线通信单元110可以包括:广播接收模块111、移动通信模块112、无线因特网模块113、短距通信模块114、定位模块115等。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播关联信息。
该广播信道可以包括卫星信道和/或地面信道。
该广播管理服务器通常指生成和发送广播信号和/或广播关联信息的服务器,或提供有预先生成广播信号和/或广播关联信息并接着向终端发送所提供信号或信息的服务器。该广播信号可以被实现为TV广播信号、无线电广播信号以及数据广播信号等。若希望的话,该广播信号还可以包括与TV或无线电广播信号相组合的广播信号。
可以将至少两个广播接收模块111设置至移动终端100,以寻求同时接收至少两个广播信道或广播信道切换简易化。
该广播关联信息包括与广播信道、广播节目、广播服务提供方等相关联的信息。而且,该广播关联信息可以经由移动通信网络来提供。在这种情况下,广播关联信息可以通过移动通信模块112来接收。
该广播关联信息可以按各种形式来实现。例如,广播关联信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、和手持式数字视频广播(DVB-H)的电子服务指南(ESG)。
广播接收模块111可以被配置为,接收从各类广播系统发送的广播信号。通过非限制例,这种广播系统包括:陆基数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、手持式数字视频广播(DVB-H)、DVB-CBMS、OMA-BCAST、已知为媒体前向链路的数据广播系统以及地面综合业务数字广播(ISDB-T)。可选的是,广播接收模块111可以被配置为适于其它广播系统和上述数字广播系统。
通过广播接收模块111接收到的广播信号和/或广播关联信息可以存储在合适的装置(如存储器160)中。
移动通信模块112经由诸如GSM(全球移动通信系统)、CDMA(码分多址)、WCDMA(宽带CDMA)等)的移动网络,向/从一个或更多个网络实体(例如,基站、外部终端、服务器等)发送/接收无线信号。这种无线信号尤其可以根据文本/多媒体消息收发来表示音频、视频,以及数据等。
无线因特网模块113支持针对移动终端100的因特网接入。这个模块可以内部或外部地接合至移动终端100。在这种情况下,无线因特网技术可以包括:WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(微波接入全球互通)、HSDPA(高速下行分组接入)、GSM、CDMA、WCDMA、LTE(长期演进)等。
通过Wibro、HSPDA、GSM、CDMA、WCDMA、LTE等的无线因特网接入经由移动通信网络来实现。在这点上,被配置为经由移动通信网络执行无线因特网接入的无线因特网模块113可以被理解为移动通信模块112。
短距通信模块114易于相对短距通信。用于实现这个模块的合适技术包括:射频标识(RFID)、红外数据关联(IrDA)、超宽带(UWB)、以及通称为Bluetooth和ZigBee的连网技术(仅举几个例子)。
定位模块115识别或以其它方式获取移动终端100的位置。若希望的话,这个模块可以利用全球定位系统(GPS)模块来实现。
根据当前技术,GPS模块115能够通过计算来自至少三个卫星的距离信息和精确时间信息并接着向所计算信息应用三角测量,而基于经度、维度以及海拔和方向(或取向)中的至少一个来精确地计算当前3维00位置信息。当前,位置和时间信息利用三个卫星来计算,并接着利用另一卫星修正所计算位置方位和时间信息的误差。此外,GPS模块115能够通过同时计算当前实时位置来计算速度信息。
参照图1,音频/视频(A/V)输入单元120被配置为向移动终端100提供音频或视频信号输入。如所示,A/V输入单元120包括相机121和麦克风122。相机121接收并处理静止图片或视频的图像帧,其在视频呼叫模式或照相模式下通过图像传感器获取。而且,所处理图像帧可以显示在显示器151上。
通过相机121处理的图像帧可以存储在存储器160中,或者可以经由无线通信单元110外部地发送。可选的是,根据使用环境可以将至少两个相机121设置至移动终端100。
麦克风122在便携式装置处于特定模式(如电话呼叫模式、记录模式以及话音识别)时接收外部音频信号。该音频信号被处理并转换成电音频数据。所处理音频数据被变换成在呼叫模式的情况下可经由移动通信模块112发送至移动通信基站的格式。麦克风122典型地包括分类噪声去除算法,以去除在接收外部音频信号期间生成的噪声。
用户输入单元130响应于用户操纵关联输入装置或多个装置而生成输入数据。这种装置的示例包括:小键盘、圆顶状开关(dome switch)、触摸板(例如,静压力/电容式)、推轮、推动开关等。
感测单元140利用移动终端各个方面的状态测量来提供用于控制移动终端100的操作的感测信号。例如,感测单元140可以检测移动终端100的打开/闭合状态、移动终端100的组件(例如,显示器和小键盘)的相对定位、移动终端100或移动终端100的组件的方位变化、是否存在用户接触移动终端100、移动终端100的取向或加速/减速、以及移动终端100的自由落下。作为一实施例,考虑将移动终端100设置为滑动型终端。在这种构造中,感测单元140可以感测移动终端的滑动部分是打开还是闭合。其它示例包括:感测单元140感测存在或不存在由电源190提供的电力,存在或不存在接口单元170与外部装置之间的耦接或其它连接。而且,感测单元140可以包括接近传感器141。
输出单元150生成与视野、听觉、触觉等有关的输出。而且,输出单元150包括:显示器151、音频输出模块152、告警单元153、触觉模块154、投影仪模块155等。
显示器151典型地实现成可视地显示(输出)与移动终端100相关联的信息。例如,如果移动终端在电话呼叫模式下操作,则该显示器通常提供用户接口(UI)或图形用户接口(GUI),其包括与发出、进行以及终止电话呼叫相关联的信息。作为另一实施例,如果移动终端100处于视频呼叫模式或拍照模式下,则显示器151可以附加地或另选地显示与这些模式相关联的图像、UI或GUI。
显示模块151可以利用已知显示技术来实现,例如,已知显示技术包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器以及三维显示器。移动终端100可以包括一个或更多个这种显示器。
上述显示器中的某些可以按透明或透光型实现,其可以被称为透明显示器。作为针对透明显示器的代表例,存在TOLED(透明OLED)等。显示器151的后部构造同样可以按透光型来实现。在这种构造中,用户能够经由被终端主体的显示器151所占用的区域看见位于终端主体后面的物体。
根据移动终端100的所实现构造,可以将至少两个显示器151设置至移动终端100。例如,可以在移动终端100的单面上按彼此隔离的方式排列多个显示器,或者构建在一个主体中。另选的是,可以将多个显示器排列在移动终端100的不同面上。
对于显示器151和用于检测触摸动作的传感器(下面称作“触摸传感器”)配置互层结构(下面称作“触摸屏”)的情况来说,能够将显示器151用作输入装置以及输出装置。在这种情况下,该触摸传感器可以被设置为触摸膜、触摸片、触摸板等。
该触摸传感器可以被配置为,将施加至显示器151的特定部分的压力或由显示器151的特定部分所产生的电容变化转换成电输入信号。而且,能够将触摸传感器配置为检测触摸压力和已触摸位置或尺寸。
如果向触摸传感器进行触摸输入,则与该触摸相对应的信号被传递至触摸控制器。触摸控制器处理该信号并接着将所处理信号传递至控制器180。因此,控制器180能够获知是否触摸显示单元151的规定部分。
参照图1,接近传感器(141)可以设置至移动终端100的、被触摸屏包围或环绕触摸屏的内部区域。接近传感器是在没有机械接触的情况下,利用电磁场强度或红外线来检测是否存在接近规定检测表面的物体或环绕接近传感器存在的物体的传感器。因此,接近传感器具有比接触型传感器的持久性更长的持久性,并且还具有比接触型传感的实用性更宽的实用性。
接近传感器141可以包括以下中的一种:透射光电传感器、直接反射光电传感器、镜反射光电传感器、射频振荡接近传感器、静电电容接近传感器、磁接近传感器、红外接近传感器等。对于触摸屏包括静电电容接近传感器的情况来说,其被配置为,利用根据指示物接近的电场变化来检测指示物的接近。在这种情况下,触摸屏(触摸传感器)可以被分类为接近传感器。
接近传感器检测接近式触摸和接近触摸图案(例如,接近触摸距离、接近触摸持续时间、接近触摸位置、接近触摸移位状态等)。而且,与所检测接近触摸动作相对应的信息和所检测接近触摸模式可以输出至触摸屏。
音频输出模块152按各种模式(包括呼叫接收模式、呼叫发出模式、记录模式、话音识别模式、广播接收模式等)起作用,以输出从无线通信单元110接收到的或者存储在存储器160中的音频数据。在操作期间,音频输出模块152输出与特定功能(例如,呼叫接收、消息接收等)有关的音频。音频输出模块152通常利用一个或更多个扬声器、蜂鸣器、其它音频生成装置及其组合来实现。
告警单元153输出用于通告发生与移动终端100相关联的特定事件的信号。典型事件包括呼叫接收事件、消息接收事件以及触摸输入接收事件。告警单元153能够通过振动和视频或音频信号来输出用于通告事件发生的信号。该视频或音频信号可以经由显示器151或音频输出单元152输出。因此,显示器151或音频输出模块152可以被视为告警单元153的部件。
触觉模块154生成可以被用户感测的各种触觉效果。振动是通过触觉模块154生成的触觉效果中的典型效果。通过触觉模块154生成的振动的强度和模式可控。例如,不同的振动可以按合成在一起的方式输出或者可以按顺序输出。
触觉模块154能够生成各种触觉效果和振动。例如,触觉模块154生成归因于针对所接触皮肤表面垂直移动的插针的排列的效果、归因于通过注入/吸入孔的空气的注入/吸入功率的效果、归因于皮肤表面上的刮削的效果、归因于与电极接触的效果、归因于静电力的效果、归因于利用吸热或放热装置来表述热/冷感觉的效果等。
触觉模块154可以被实现成使得用户能够通过手指、手臂等的肌肉感觉来感测触觉效果,并且通过直接接触来传递触觉效果。可选的是,根据移动终端100的对应构造类型,可以将至少两个触觉模块154设置至移动终端100。
投影仪模块155是用于利用移动终端100来执行图像投影仪功能的部件。而且,投影仪模块155能够根据控制器180的控制信号,在外部屏幕或墙上显示与显示在显示单元151上的图像相同或至少局部不同的图像。
具体来说,投影仪模块155可以包括:生成用于外部地投影图像的光(例如,激光)的光源(该图中未示出)、用于利用从该光源生成的光来生成用于外部地输出的图像的图像生成装置(该图中未示出),以及用于按预定焦距放大以外部地输出该图像的透镜(该图中未示出)。而且,投影仪模块155还可以包括用于通过机械移动透镜或整个模块来调节图像投影方向的装置(该图中未示出)。
投影仪模块155根据显示装置的装置类型可以被分类成CRT(阴极射线管)模块、LCD(液晶显示器)模块、DLP(数字光处理)模块等。具体来说,DLP模块通过使得从光源生成的光能够在DMD(数字微镜装置)芯片上反射的机制来操作,并且可以有利于小型化投影仪模块151。
优选的是,投影仪模块155可以沿移动终端100的侧面方向、前侧方向或背侧方向的长度方向设置。而且,应当明白,投影仪模块155可以根据其必要性设置至移动终端100的任何部分。
存储器单元160通常被用于存储各类数据,以支持移动终端100的处理、控制以及存储需求。这种数据的示例包括用于在移动终端100上操作的应用的程序指令、联系人数据、电话本数据、消息、音频、静止图片(或照片)、运动图片等。而且,最近使用历史或每一个数据的累积使用频率(例如,针对每一个电话本、每一个消息或每一个多媒体的使用频率)可以被存储在存储器单元160中。而且,在针对触摸屏的触摸输入的情况下输出的、针对各种模式振动的数据和/或声音可以被存储在存储器单元160中。
存储器160可以利用任何类型或组合的合适易失性和非易失性存储器或存储装置来实现,包括硬盘、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪速存储器、磁或光盘、多媒体卡微型存储器、卡型存储器(例如,SD存储器、XD存储器等)、或其它类似存储器或数据存储装置。而且,移动终端100能够与因特网上的、用于执行存储器160的存储功能的web存储部相关联地操作。
接口单元170通常被实现成接合移动终端100与外部装置。接口单元170接收来自外部装置的数据,或者提供有电力,并接着将该数据或电力传递至移动终端100的相应部件,或者使得移动终端100内的数据能够传递至外部装置。接口单元170可以利用有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储器卡端口、用于耦接至具有识别模块的装置的端口、音频输入/输出端口、视频输入/输出端口、耳戴式耳机端口等来设置。
识别模块是用于存储用于认证移动终端100的用户授权的各种信息的芯片,并且可以包括用户(User)识别模块(UIM)、订户(Subscriber)识别模块(SIM)、通用用户识别模块(USIM)等。具有识别模块(下面,称作“标识装置”)的装置可以被制造为智能卡。因此,识别装置可经由对应端口连接至移动终端100。
当移动终端110连接至外部托架时,接口单元170变为用于从该托架向移动终端100提供电力的通路,或者用于向移动终端100递送用户从该托架输入的各种命令信号的通路。从托架输入的各种命令信号中的每一个或电力都可以操作为使得移动终端100能够识别其被正确加载在托架中的信号。
控制器180典型地控制移动终端100的总体操作。例如,控制器180执行与话音呼叫、数据通信、视频呼叫等相关联的控制和处理。控制器180可以包括提供多媒体回放的多媒体模块181。多媒体模块181可以被设置为控制器180的部件,或者被实现为分离组件。
而且,控制器180能够执行用于将触摸屏上所执行的书写输入和图片绘制输入分别识别为字符或图像的图案(或图像)识别处理。
电源单元190可以向移动终端100提供各种组件所需的电力。该电力可以是内部电力、外部电力或其组合。
在此描述的各种实施方式可以例如利用计算机软件、硬件,或其组合在计算机可读介质中实现。对于硬件实现来说,在此描述的实施方式可以在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSDP)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、为执行在此所述功能而设计的其它电子单元、或其选择性组合内实现。这种实施方式还可以通过控制器180来实现。
对于软件实现来说,在此描述的实施方式可以利用诸如过程和功能的分离软件模块来实现,其每一个都执行在此描述的功能和操作中的一个或更多个。软件代码可以利用采用任何合适编程语言编写的软件应用来实现,并且可以存储在诸如存储器160的存储器中,以及通过诸如控制器180的控制器或处理器来执行。
图2是根据本发明一个实施方式的移动终端的正面立体图。
该图所示移动终端100具有直板型终端主体。然而,移动终端100可以按多种不同构造来实现。这种构造的示例包括折叠型、滑动型、旋转型、摆动型及其任何组合。为清楚起见,进一步的公开主要涉及直板型移动终端100。然而,这种教导等同地应用至其它类型移动终端。
参照图2,移动终端100包括构造其外观的壳体(外壳、外罩、盖等)。在本实施方式中,该壳体可以划分成前壳101和后壳102。各种电气/电子部件装在设置在前壳101与后壳102之间的空间中。可选的是,另外还可以将至少一个中间壳设置在前壳101与后壳102之间。
壳体101与102通过将合成树脂注塑成型来形成,或者例如可以由诸如不锈钢(STS)、钛(Ti)等的金属物质形成。
显示器151、音频输出单元152、相机121、用户输入单元130/131和132、麦克风122、接口180等可以被设置至终端主体,并且更具体地说,设置至前壳101。
显示器151占用前壳101主面的大部分。音频输出单元151和相机121被设置至与显示器151的两个端部中的一个相邻的区域,而用户输入单元131和麦克风122被设置至与显示器151的另一端部相邻的另一区域。用户输入单元132和接口170可以设置至前壳101和102的侧面。
输入单元130被操纵以接收用于控制终端100的操作的命令。而且,输入单元130能够包括多个操纵单元131和132。操纵单元131和132可以被称作操纵部,并且可以采用任何触觉方式机制,其使得用户能够通过经历触觉感受来执行操纵动作。
通过第一操纵单元131或第二操纵单元132输入的内容可以不同地设置。例如,将诸如开始、结束、滚动等的命令输入至第一操纵单元131。而且,可以将用于对从音频输出单元152输出的声音进行音量调节的命令、可以将用于切换至显示器151等的触摸识别模式的命令输入至第二操纵单元132。
图3是图2所示终端的背面的立体图。
参照图3,相机121'可以附加地设置至终端主体的背侧,并且更具体地说,设置至后壳102。相机121具有基本上与图21A所示的先前的相机121的拍照方向相反的拍照方向,并且可以具有与先前的相机121的像素不同的像素。
优选的是,例如,先前的相机121具有足够低的像素,以拍摄并发送用户面部的图片以供视频呼叫,而稍后的相机121'具有用于拍摄用于拍照的一般主体而不发送所拍摄主体的高像素。而且,相机121和121'中的每一个都可以安装在终端主体处,以使旋转或弹出。
闪光灯123和镜子124附加地与相机121'相邻地设置。闪光灯123在利用相机121'对主体拍照的情况下朝着该主体投射光。对于用户尝试利用相机121'对用户的图片拍摄(自拍)的情况来说,镜子124使得用户能够观看由镜子124反射的用户的面部。
附加音频输出单元153'可以设置至终端主体的背侧。附加音频输出单元152'能够与先前图2所示音频输出单元152一起实现立体声功能,并且可以被用于实现在通过终端讲话时的免提模式。
广播信号接收天线116以及用于通信的天线等可以附加地设置至终端主体的侧面。构成图1所示广播接收模块111的一部分的天线116可以伸缩地提供给终端主体。
图3是根据本发明一个实施方式的、通过分离移动终端的后盖而暴露后壳表面的背面立体图。
参照图3,设置有前壳101、后壳102、后盖(或电池盖)103、相机121'、接口单元170、麦克风122、扬声器模块154、音频输出单元152'、电池191、电池装载单元104、USIM卡装载单元166以及存储器卡装载单元167。
用于安装诸如电池装载单元104、USIM卡装载单元105、存储器卡装载单元106等的外部部件的空间可以设置至后壳102的表面。一般来说,提供加载在后壳102表面上的外部部件,以扩展移动终端100的功能,以便满足移动终端的多样化功能和多种消费者需要。
随着移动终端的性能越来越多样化,电池191可以被设置为可替换型,如图3所示,以补充显著的功耗的量。对于采用可替换型的情况来说,电池装载单元104被形成在后壳102的表面上,以使得用户能够分离对应电池。在这种情况下,将接触端子提供给电池装载单元104,以电连接至安装在壳体内的部件。
可以将USIM卡装载单元166或存储器卡装载单元167紧挨着电池装载单元104设置,如图3所示。另选的是,可以将USIM卡装载单元166或存储器卡装载单元167设置至电池装载单元104的底表面。因此,如果将电池191从电池装载单元104卸载,则电池191可以外部地暴露。在这种情况下,因为电池装载单元104的尺寸可扩展,所以电池191可以超大。
尽管图3示出了USIM卡装载单元166或存储器卡装载单元167被安装在后壳102的背侧上的构造,但其可以按插入后壳102的侧面中的方式与移动终端100分离。
后盖103覆盖后壳102的表面。因此,后盖103可以固定不与后壳102分离的电池191、USIM卡、存储器卡等,并且还保护外部部分免受外部撞击或微粒。近来,将防水功能添加至了移动终端100。为了防止外部部件接触水,移动终端100还可以包括防水结构。因此,当后壳102和后盖103彼此连接时,该防水结构可以密封后壳102与后盖103之间的间隙。
图4是根据本发明一个实施方式的、针对眼镜式可穿戴装置400的一个实施例的正面立体图。
可穿戴装置400可以包括镜腿423、中心桥424以及鼻垫425。在图4的实施例中,中心桥424与镜腿423连接。图4所示眼镜式可穿戴装置400可以不包括镜片和用于支承镜片的镜框。
计算系统426被示出为要位于可穿戴装置400的镜腿423和中心桥434上,本发明不限于此。计算系统426通常对应于移动终端100的主体。如在参照图1的前述描述中提到的,该计算系统可以包括不同的装置/模块。
图4示出了位于计算系统426正面的相机428。尽管相机428与之前参照图1提到的相机121相同,但使用不同的标记来强调相机428对应于位于可穿戴装置400的正面的相机。相机428可以位于可穿戴装置400的不同部位处。相机428被配置为拍摄包括不同图像质量和帧速率的图像。具体来说,可以将相机428用于获取与用户按安装在可穿戴装置400的正面的方式注视的视野相同的图像。
根据图4所示内容,透明显示器430被示出为位于中心桥434部位处,作为头戴式显示器(HMD)形式。该HMD形式指示能够以安装在用户头部上的方式直接在用户眼镜前方提供图像的显示形式。具体来说,当用户穿戴可穿戴装置400时,透明显示器可以位于中心桥部位434处,以使该透明显示器面对用户的眼睛,以便直接向用户的眼睛提供图像。
以与用户在日常生活中注视物体的视野交叠的方式来输出经由透明显示器430输出的输出图像(下面称作正常视野)。具体来说,可穿戴装置400可以利用透明显示器430来提供增强现实(AR)。该增强现实是用于按交叠3D图像与真实图像或背景的方式来示出一个图像的技术。因为用于实现增强现实的技术是公知技术,所以在此省略了针对该技术的详细说明。
用于通过交叠正常视野与输出图像来输出图像的透明显示器430的材料可以被分类成透明材料和不透明材料。
因为根据本发明一个实施方式的透明显示器430用透明材料制造,所以穿过透明显示器430的穿透图像和从透明显示器430输出的输出图像可以按彼此交叠的方式被用户看到。
根据本发明的不同实施方式,可以将不透明显示器430安装在可穿戴装置400中。在这种情况下,由透明显示器430提供的图像被提供给用户双眼之一,而正常物体的视野可以被提供给用户的另一只眼。
根据本发明的另一不同实施方式,可以将不透明显示器430安装在可穿戴装置400中。在这种情况下,该可穿戴装置可以向用户提供包括经由相机428接收的图像的背景的增强现实。
根据本发明一个实施方式的可穿戴装置400还可以包括眼跟踪传感器。眼跟踪传感器指示能够检测用户眼睛面对的方向、眼睛的移动和/或眼睛的位置的传感器。计算系统426可以基于通过眼跟踪传感器检测的眼睛面对的方向来确定用户的注视所面对的方向。如果将可穿戴装置400安装在用户身上,则眼跟踪传感器可以被配置为面对用户眼睛。
根据图4的实施例,计算系统426可以包括被配置为接收来自用户的输入的用户输入单元410/411/412。用户输入单元410/411/412针对根据本发明一个实施方式的控制方法而设置。用户输入单元410/411/412由物理按钮或触摸板构成,本发明不限于此。该用户输入单元检测用户利用手指选择(触摸)的输入,并且可以将该输入递送至控制器180。用户输入单元410/411/412可以包括拖拉板(drag pad)412。该拖拉板412是使得用户能够基于触摸来执行可穿戴装置400(或与可穿戴装置400连接的不同的外部装置)的规定功能的输入模块。该拖拉板412可以安装在按两个配置的镜腿423中的一个或两个中。该拖拉板感测手指位置或者用户手指的移动,并且可以将感测结果递送至计算系统426。例如,拖拉板412检测是否将用户手指拖拉至用户的注视方向或注视方向的反方向,并且可以将所检测结果递送至计算系统426。
下面,参照附图,对能够按移动终端和相关实施方式实现的控制方法进行说明。
根据要在下面详细说明中说明的本发明的至少一个实施方式,当用户按将可穿戴装置400穿戴在用户头部上的方式阅读书本时,提出了能够增强用户便利性的可穿戴装置400的控制方法。当将可穿戴装置400安装在用户身上时,该可穿戴装置400可以向用户提供增强现实。具体来说,增强现实不仅可以识别用户所阅读书本的语言,而且可以识别包括在书本中的文本内容、图片内容和/或书写内容。而且,该增强现实可以基于所识别的结果来提供。针对具体应用增强现实的方法,稍后在下文参照附图进行描述。
在用于说明本发明实施方式的图中,假定透明显示器430例如是透明的。而且,附图按早先参照图4提到的眼镜式可穿戴装置400被安装在用户头部上的状态,不仅示出了透明显示器430的状态,而且示出了穿过透明显示器430的背景。
图5至7是根据本发明一个实施方式的、针对响应于用户在书本的规定页面上执行的手势来执行拍摄操作的方法的图。尽管本发明一个实施方式基于书本的实施例来进行说明,但本发明的一个实施方式可相同地应用至包括打印文本的对象(不限于纸张)。
参照图5的(a),以用户利用手指501(在图5的实施例的情况下,右手的食指)触摸规定页面上的第一点(手501-a的食指指向的点)并且将其拖拉至第二点(手501-b的食指指向的点)的方式,执行一姿势(下面称为第一姿势)。如果输入第一姿势,则可穿戴装置400可以拍摄规定页面的至少一个区域。
在本发明的实施方式中,拍摄是指用户将穿过透明显示器430看到的视野存储为图像。具体来说,可穿戴装置400可以按利用面对与用户视野相同的方向的相机428拍摄一图像的图片并且存储该图像的方式来执行前述拍摄操作。具体来说,为了使用户获取穿过透明显示器430看到的视野作为图像,用户可以利用面对与用户视野方向相同的方向的相机428来拍摄该图像的图片。
在本发明的一个实施方式中,规定页面的一个区域可以对应于包括与交叉第一点和第二点的线相对应的对角线的矩形502。
如图5的(c)所绘,如果存储了通过拍摄操作获取的拍摄图像,则控制器180可以输出指示已经执行了拍摄操作的导语504。
对于根据本发明一个实施方式的通过可穿戴装置400检测姿势的情况来说,该可穿戴装置可以分析通过相机428拍摄的图像。具体来说,可穿戴装置400的控制器180以规定间隔(实时)分析经由相机428接收的图像,并且可以按执行分析的方式检测用户的手是否做了手势。对于根据本发明不同实施方式的通过可穿戴装置400检测姿势的情况来说,可穿戴装置可以使用感测单元140。此时,检测姿势的方法可以不限于前述方法。检测用户姿势的另选方法可以应用至本发明的一个实施方式。前述方法不仅可以应用至检测用户的手势的方法,而且可以应用至下面用于说明本发明实施方式的详细说明中的检测笔姿势的方法。关于笔姿势,下面参照相关图进行详细描述。
此时,前述姿势需要精确识别。这是因为如果存在用户非故意的手操作,则该手操作不应被识别为规定命令。因此,必需更详细地说明第一姿势。如图5的(a)所绘,根据本发明一个实施方式的第一姿势可以对应于通过指向第一点的食指达规定时间以上而食指之外的其余手指弯曲并接着将食指拖拉至第二点所输入的输入。另外,该第一姿势可以对应于从第一点拖拉至第二点的距离大于规定的距离的姿势。具体来说,如果拖拉距离小于规定距离,则控制器180不将该拖拉识别为第一姿势。具体来说,在控制器180检测到指定的第一姿势时,控制器可以执行拍摄操作。
而且,根据本发明一个实施方式,所拍摄的图像可以根据用户的选择(或预定选择)按两种数据类型(包括图像数据类型和文本数据类型)当中的一种选择的数据类型来存储。具体来说,如果检测到第一姿势,则控制器180可以输出弹出窗口,以选择用于存储规定区域的数据类型(参照图5的(b))。所输出弹出窗口包括一个或更多个图标503-1至503-3。如果用户选择该选择图标503-1至503-3中之一,则控制器180可以根据与从选择图标503-1至503-3中选择的图标相对应的数据类型来存储规定区域。
如果该规定区域根据预定数据类型而非用户选择来存储,则控制器可以直接输出指示完成拍摄的导语而不输出弹出窗口,如图5的(c)所绘。
如果选择了图像选择图标503-1,则控制器180可以按图像数据形式将所拍摄的图像存储在存储器160中。
如果选择文本化选择图标503-2,则控制器180识别所拍摄图像上的文本,并且可以按文本数据形式将所识别结果存储在存储器160中。
此时,本发明一个实施方式提出了使用选择指示符504来选择图标。一般来说,眼镜式可穿戴装置400不容易接收用户输入。这是因为可穿戴装置难于使用与一般移动终端100的输入装置相对应的触摸屏。根据本发明一个实施方式的选择指示符504可以位于前述选择图标503-1至503-3中的一个处。选择指示符504的位置可以根据用户输入在选择图标503-1至503-3之间滚动。如果接收到用户的确定输入,则控制器180可以选择将选择指示符504定位在选择图标503-1至503-3之间的图标。用于滚动选择指示符504的输入可以对应于沿规定方向拖拉该拖拉板412的输入。而且,该确定输入可以对应于触摸拖拉板412的输入。
根据本发明的一个实施方式,用户可以利用下文图中显示的选择指示符504从多个选择图标中选择一图标。
参照图6的(a),用户分别利用双手手指(左手601的食指和右手501的食指)在规定页面上触摸第一点(手601的食指指向的点)和第二点(手501的食指指向的点)来做出一姿势(下面称为第二姿势)。如果输入第二姿势,则可穿戴装置400可以拍摄规定页面的至少一个区域。
在本发明的一个实施方式中,规定页面的一个区域可以对应于一矩形,其包括与交叉第一点和第二点的线相对应的对角线。
为了最小化第二姿势的错误识别,必需更详细地说明第二姿势。因此,如图6的(a)所绘,第二姿势可以对应于在双手食指未弯曲并且食指以外的其它手指弯曲的状态下触摸规定页面上的第一点(手601的食指指向的点)和第二点(手501的食指指向的点)的姿势。而且,第二姿势可以对应于保持前述触摸达规定时间以上的姿势。
与图5类似,在根据图6的本发明一个实施方式中,所拍摄的图像可以根据用户的选择(或预定选择)以两种数据类型(包括图像数据类型和文本数据类型)当中的一种选择数据类型来存储。具体来说,如果检测到第一姿势,则控制器180可以输出弹出窗口,以选择用于存储规定区域的数据类型(参照图5的(b))。所输出的弹出窗口包括一个或更多个图标503-1至503-3。如果用户选择该选择图标503-1至503-3之一,则控制器180根据与从选择图标503-1至503-3中选择的图标相对应的数据类型来存储规定区域。
参照图6的(a),用户利用手掌做出覆盖规定页面的姿势(下面称为第三姿势)。如果输入第三姿势,则可穿戴装置400可以拍摄规定页面的至少一个区域(或整个规定页面)。
与第一和第二姿势类似,必需更详细地说明第三姿势,以减少错误识别。具体来说,根据本发明一个实施方式的第三姿势可以对应于利用手掌覆盖规定页面达规定时间以上的姿势。具体来说,如果一姿势未输入达规定时间以上,则控制器180不将该输入识别为第三姿势,而且可以不执行拍摄操作。
与图5类似,在根据图7的本发明一个实施方式中,所拍摄图像可以根据用户的选择(或预定选择)以两种数据类型(包括图像数据类型和文本数据类型)当中的一种选择数据类型来存储。具体来说,如果检测到第一姿势,则控制器180可以输出弹出窗口,以选择用于存储规定区域的数据类型(参照图5的(b))。所输出弹出窗口包括一个或更多个选择图标503-1至503-3。如果用户选择该选择图标503-1至503-3之一,则控制器180根据与从选择图标503-1至503-3中选择的图标相对应的数据类型来存储规定区域。
图8是根据本发明一个实施方式的、针对响应于用户在书本封面上执行的手势来登记该书本的方法的一个实施例的图。
参照图8的(a),用户利用手掌做出覆盖书本封面的姿势(下面称为第四姿势)。如果检测到用户的第四姿势,则控制器180可以登记该书本。
根据本发明一个实施方式的登记书本的操作对应于按规定形式存储书本封面(或书本标题)的操作,以便使得用户能够再次读取该书本。该规定形式可以包括该封面的图像形式和该封面的文本形式中的至少一个形式。或者,该规定形式可以对应于将书本封面(书本标题)添加至能够管理书本列表的规定应用(例如,Google books应用)上的书本列表的形式。
对于根据本发明一实施方式的登记书本的情况来说,本发明一个实施方式提出了控制器180接收至少一个类别的选择,并且根据所选择类别登记书本。对于控制器根据该类别登记书本的情况来说,当用户打算读取所登记书本时,该用户可以读取根据该类别登记的书本。
如果检测到第四姿势,则控制器180可以输出弹出窗口,以接收类别的选择。在这种情况下,该弹出窗口可以包括用于选择该类别的选择图标804-1至804-4。在图8的(c)的实施例中,该类别包括“要读的书”、“在读的书”以及“已读的书”。选择选择图标804-1至804-4之一的输入可以使用前述选择指示符504。
如果经由弹出窗口从用户接收到类别的选择,则控制器180根据所选择的类别登记书本,并且可以输出向用户通知登记该书本的弹出窗口804。
此时,本发明一个实施方式可以不限于第四姿势。参照图8的(b),用户利用手掌做出扫掠书本封面的姿势(下面称为第五姿势)。如果检测到用户的第五姿势,则控制器180可以登记该书本。对第五姿势进行更详细说明。具体来说,第五姿势可以对应于利用手掌覆盖书本封面达规定时间(例如,大约两秒钟)并接着沿书本封面的对角方向扫掠手掌的姿势。
在迄今所说明的实施方式中,利用书本封面来登记书本。在某些情况下,可以存在在书本页面中提到不同书本的标题。本发明一个实施方式提出了,基于显示在书本页面中的不同书本的标题来登记书本。关于这种情况,其将参照图9进行说明。
图9是根据本发明一个实施方式的、针对基于书本标题来登记该书本的方法的一个实施例的图。
一般来说,在书本内容中提到的不同书本的标题用诸如括号902等的书本引号来区别地表示。因此,在本发明的一个实施方式中,对于识别在书本内容中提到的不同书本的标题的情况来说,控制器180可以基于书本引号来识别该不同书本的标题。
参照图9的(a),规定书本901的内容经由透明显示器430显示,并且规定书本901的内容包括不同书本的标题。具体来说,在图9的(a)的实施例中,该不同书本的标题是“Silent spring”。如果在该书本的所显示标题上检测到第六姿势,则控制器180可以登记与该书本标题相对应的书本。登记书本与早先参照图8提到的书本的登记相同。
与图8类似,本发明一个实施方式提出了控制器180接收至少一个类别的选择,并且根据所选择的类别登记书本。对于控制器根据该类别登记书本的情况来说,当用户打算读取所登记的书本时,该用户可以读取根据该类别登记的书本。
如果检测到第六姿势,则控制器180可以输出弹出窗口803,以接收选择的类别。在这种情况下,该弹出窗口可以包括用于选择该类别的选择图标804-1至804-4。在图8的(c)的实施例中,该类别包括“要读的书”、“在读的书”以及“已读的书”。
如果经由弹出窗口从用户接收到类别的选择,则控制器180根据所选择类别登记书本,并且可以输出向用户通知登记该书本的弹出窗口903。
此时,根据本发明一个实施方式的可穿戴装置400可以与不同移动终端100连接。在这种情况下,“连接”意指能够在可穿戴装置400与移动终端100之间收发数据的状态。可穿戴装置400可以按与当前与可穿戴装置连接的不同移动终端100交换同步信息的方式,针对至少一个状态执行同步(参照图10的(a)和(b))。具体来说,根据本发明一个实施方式的可穿戴装置400可以与不同移动终端100执行针对书本的同步。而且,根据本发明一个实施方式的可穿戴装置400可以与不同的移动终端100执行针对规定应用的配置(登记的收藏)的同步。
针对书本的同步意指在通过可穿戴装置400的增强现实读取的书本与通过移动终端100读取的电子书之间相同地保持内容的操作。
图10a至10d是根据本发明一个实施方式的、针对在可穿戴装置400与移动终端100之间执行同步的实施例的图。
参照图10的(c),用户经由透明显示器430读取规定书本。而且,用户可以利用笔1000(真实笔或虚拟笔)在规定书本上输入书写内容1001a至10003a。控制器180可以控制在透明显示器430上显示该书写内容1001a至1003a,其通过用户利用笔1000在规定书本上输入。而且,控制器180可以控制无线通信单元110,以向当前与可穿戴装置连接的该至少一个移动终端100发送有关所输入书写内容1001a至1003a的同步信息。
与检测姿势的方法类似,可以按实时分析由相机428获取的图像或者检测由感测单元140检测到的书写输入的方式来获取经由笔1000输入的书写内容1001a至1003a。
接收到该同步信息之后,移动终端100可以在该移动终端的显示器151中显示与所输入的书写内容1001a至1003a相对应的书写内容1001b至1003b。
与此相反,如果书写内容1001b至1003b经由移动终端100输入,则清楚的是,该书写内容可以按向可穿戴装置400发送有关书写内容1001b至1003b的同步信息的方式,同步到与可穿戴装置400相对应的输入内容100a至1003a中。
如在图10b的(a)和(b)的实施例中所绘,可以通过根据本发明一个实施方式的可穿戴装置400和与该可穿戴装置400连接的至少一个移动终端100来执行针对有关其中一页面被折曲的位置1004a和1004b的信息的同步。
如在图10b的(c)和(d)的实施例中所绘,针对有关书签1005a和1005b和/或备忘录内容1006a和1006b的信息的同步可以通过根据本发明一个实施方式的可穿戴装置400和与该可穿戴装置400连接的至少一个移动终端100来执行。
此时,尽管前述图10a和图10b中的实施例仅示出了包括在书本中的同步内容的实施例,但本发明一个实施方式可以不限于此。也可以执行针对不同信息的同步。关于这种情况,下面,将参照图10c和图10d进行描述。
图10c是根据本发明一个实施方式的、针对在彼此连接的终端之间同步网页信息的方法的图。
参照图10c的(a),用户经由透明显示器430读取显示在第一终端100-1中的规定网页。根据本发明一个实施方式的可穿戴装置400从第一终端100-1接收有关该网页的同步信息,并且可以利用所接收的同步信息在透明显示器430自身中显示相同的网页。具体来说,用于经由透明显示器430观看的网页可以显示在该透明显示器430中。与此相反,如果将有关该网页的同步信息(其经由可穿戴装置400的透明显示器430输出)发送至第一终端100-1,则该网页可以在第一终端100-1中相同地显示。
参照图10c的(c),用户经由透明显示器430读取显示在第一终端100-1中的规定网页。根据本发明一个实施方式的可穿戴装置400从第一终端100-1接收有关该网页的同步信息,将所接收同步信息递送至第二终端100-2,并且可以在第二终端100-2中显示相同的网页。具体来说,该可穿戴装置可以按移动网页的方式,在第二终端100-2的显示器中显示该网页(其被用于经由透明显示器430在第一终端100-1中显示)。在这种情况下,假定第一终端100-1和第二终端100-2都与可穿戴装置400连接。
图10d是针对收藏列表的同步操作的图。在这种情况下,假定第一终端100-1、第二终端100-2以及第三终端100-3与可穿戴装置400连接。
本发明一个实施方式提出了在彼此连接的装置之间共享收藏列表。该收藏列表可以对应于由用户选择的一个或更多个网页信息的列表,以存储该信息。例如,参照图10d中描绘的实施例,可穿戴装置400的用户经由透明显示器430注视第一终端100-1的画面,并且在第一终端100-1的画面中执行规定web浏览器。根据本发明一个实施方式的可穿戴装置400接收有关第一终端100-1的收藏列表的同步信息。
从第一终端100-1接收到有关收藏列表的同步信息之后,可穿戴装置400可以在透明显示器430中显示所接收到的收藏列表1007(参照图10d的(b))。而且,可穿戴装置400可以向不同的终端递送所接收的同步信息。具体来说,如在图10d的实施例中所绘,可穿戴装置可以向第二终端100-2和第三终端100-3递送所接收的同步信息。根据本发明一个实施方式的第二终端100-2和第三终端100-3可以分别利用所递送的同步信息输出收藏列表(参照图10d的(c)和(d))。
此时,本发明一个实施方式提出了,根据本发明一个实施方式的可穿戴装置400基于由用户检测到的在规定字上执行的笔姿势来存储该规定字作为关键字。关于这种情况,下面,其将参照图11进行描述。
图11是根据本发明一个实施方式的、针对基于由用户检测的笔姿势而将规定字存储为关键字的方法的图。根据本发明的一个实施方式,存储规定字作为关键字的操作是指存储该规定字使得用户能够再次读取该规定字的操作。关于这种情况,其稍后将参照图12至图14进行描述。
参照图11的(a),用户经由可穿戴装置400的透明显示器430读取规定的书本901。如果针对规定字输入了规定的笔姿势,则控制器180识别该规定字,并且可以存储所识别的字作为关键字。针对规定字的规定的笔姿势可以对应于利用笔1000加下划线于该规定字的姿势。此时,本发明一个实施方式可以不限于加下划线的姿势。对于能够指定一字的笔姿势的情况来说,明显地,该笔姿势可以应用至本发明的实施方式。为清楚起见,下面,作为一实施例,对规定笔姿势对应于一下划线的情况进行说明。
根据本发明的一个实施方式,如果输入前述的笔姿势,则能够控制透明显示器430显示具有配置的颜色的姿势的路径1100。所显示颜色可以根据用户选择切换。参照图11的(a)的实施例,控制器180根据具有预定的蓝色的笔姿势路径1100来控制透明显示器430在诸如字“searching”的底部上显示下划线。具体来说,该路径1100不是在真实的书本上标记的下划线,而是按增强现实经由透明显示器430输出的路径。
控制器180响应于针对规定字的规定姿势,存储所识别规定字作为关键字,并且可以输出指示已经将该规定字存储为关键字的导语1101,如图11的(b)所绘。
图12至14是根据本发明一个实施方式的、针对读取所存储关键字的状态的图。
参照图12的(a),用户经由透明显示器430读取规定书本。根据本发明一个实施方式的控制器180控制透明显示器430针对所存储关键字显示第一下划线1100-1至第三下划线1100-3。假定第一下划线1100-1和第三下划线1100-3以蓝色荧光笔显示,而第二下划线1100-2以紫色荧光笔显示。
而且,根据本发明一个实施方式的控制器180可以显示时间轴指示符1201,其以其中经由透明显示器430读取规定书本901的增强现实来与时间轴一起显示第一下划线1100-1至第三下划线1100-3的定时。
图12的(b)是更详细示出前述时间轴指示符1201的图。该时间轴指示符1201的底方向对应于时间轴方向。在时间轴指示符1201的、与和做出每一个下划线的时间一起的定时相对应的位置上显示每一个下划线的定时。具体来说,例如,与第一下划线1100-1相对应的显示1101-1显示在时间轴的、与和做出第一下划线1100-1的时间“10:02”一起的显示相对应的位置上。
本发明一个实施方式向用户提供了一种能够根据较早在图12中提到的显示在关键字读取画面中的笔的颜色来搜索关键字的环境。关于这种情况,下面将参照图13进行描述。
图13是根据本发明一个实施方式的、针对搜索关键字的方法的实施例的图。根据参照图13描述的本发明的实施方式,基于用以显示规定的字的颜色来搜索关键字。
参照图13的(a),用户经由可穿戴装置400的透明显示器430读取规定书本901。而且,在图13的(a)中,控制器180经由透明显示器430的增强现实显示第一下划线11001-1至第三下划线1100-3。在这种情况下,如果接收到用于搜索由蓝色荧光笔显示的关键字的音频命令,则控制器180可以控制透明显示器430根据所存储的关键字输出由蓝色荧光笔显示的关键字1302的列表(参照图13的(b))。
而且,如图13的(b)的实施例中所绘,当输出关键字1302的列表时,控制器180不仅可以输出所搜索关键字,而且输出存在对应关键字的页码。
而且,如早先参照图10a至图10d提出的,与可穿戴装置400连接的至少一个移动终端100可以接收有关该关键字的同步信息。而且,对于经由移动终端100读取电子书的情况来说,移动终端100的控制器可以在输出对应页面的同时显示第一至第三下划线1100-1至1100-3。不同于可穿戴装置400经由透明显示器430读取书本,该电子书可以根据移动终端100的控制器的控制,按移动页面的方式输出页面。因此,如果从所显示关键字列表1302选择一关键字,则根据本发明一个实施方式的移动终端100可以按移动至存在该关键字的页面的方式来输出该关键字。
如图13的(b)所绘,当在移动终端100的显示器中输出关键字列表1302时,如果接收到用于选择规定关键字的命令,则移动终端100的控制器180可以移动至存在该关键字的页面。作为一实施例,用于选择规定关键字的命令可以对应于音频命令。具体来说,作为该音频命令的具体例,当输出图13的(b)中描绘的这种关键字列表1302时,如果接收到“engaging”作为音频命令,则移动终端100的控制器180可以移动至电子书的、其中存在对应关键字的页面19,并且可以显示该关键字。
图14是根据本发明一个实施方式的、针对搜索关键字的方法的不同实施例的图。
参照图14的(a),用户经由可穿戴装置400的透明显示器430读取规定书本901。如图14的(b)所绘,如果接收到用于调用一关键字的命令,则控制器180可以控制透明显示器430显示所存储的关键字列表1402。不同于图13,显示针对所有存储的关键字的列表1402,而不管图14的(b)中的显示颜色。
图15是根据本发明一个实施方式的、针对响应于用户的书写输入来显示标记指示符的方法的图。
参照图15的(a),用户在经由可穿戴装置400的透明显示器430读取规定书本901。当用户在规定书本901上输入书写内容时,本发明一个实施方式提出了在该书写内容的位置中显示标记指示符1501。
参照图15的(a),控制器180经由透明显示器430显示用户输入的下划线。图15的(b)示出了与所显示下划线相对应的标签指示符1501-1至1501-3。如图15的(b)所绘,如果检测到用户的下划线输入,则控制器180可以在检测到下划线输入的位置中输出标记指示符1501-1至1501-3。
此时,本发明一个实施方式提出了一种容易地搜索规定字或句子的控制方法。下面,参照图16和图17对该控制方法进行说明。
图16和图17是根据本发明一个实施方式的、针对响应于用于规定字的规定姿势来提供针对该规定字的搜索结果的方法的图。
参照图16的(a),假定用户在经由可穿戴装置400的透明显示器430读取规定书本901。当用户在读取该规定书本901时,可能存在该用户打算搜索的字(下面称为搜索目标字)。因此,如果在该搜索目标字上输入规定姿势,则本发明一个实施方式提出了响应于规定姿势来提供针对搜索目标字的搜索结果。
作为一实施例,该规定姿势可以对应于利用笔1000在该搜索目标字上绘制问号的姿势(第七姿势)1601。如果检测到前述第七姿势,则控制器180搜索该搜索目标字并且可以输出搜索结果(参照图16的(b))。此时,对于搜索该搜索目标字的情况来说,如果存在分离地存储在可穿戴装置400中的搜索数据库,则可以使用所存储搜索数据库。而且,如果不存在分离的搜索数据库,则控制器180利用无线通信单元110接入一web,以搜索该搜索目标字,并且可以输出搜索结果,如图16的(b)所绘。
根据本发明的一个实施方式,在执行针对该搜索目标字的搜索之后,能够再次读取该搜索结果的搜索结果指示符1602-1和1602-2可以经由透明显示器430输出(参照图16的(c))。参照图16的(c)所绘的实施例,控制器180不仅输出与图16的(a)中搜索的字“Mutualism”相对应的搜索结果指示符1602-1,而且输出不同搜索结果指示符1602-2。如图16的(b)所绘,如果接收到用于选择搜索结果指示符1602-1和1602-2的输入,则控制器180可以再次输出搜索结果。
而且,本发明一个实施方式提出了使得用户能够更具体地指定搜索方法。具体来说,如果用于指定规定搜索方法的姿势与第七姿势1601一起附加地输入,则控制器180根据所指定的搜索方法来搜索规定字。关于这种情况,下面将参照图17进行描述。
与图16类似,参照图17的(a),用户经由透明显示器430读取规定书本901。如果用户针对规定字与第七姿势1601一起,输入利用笔1000绘制规定图案的姿势(下面称为第八姿势),并且控制器180检测第七和第八姿势,则可以利用指定的方法搜索该规定字。
在图17的(b)中,假定该指定方法要接入诸如Wikipedia的网页并搜索。如图17的(b)所绘,如果检测到第七和第八姿势,则控制器180在Wikipedia网页中搜索诸如“Mutualism”的字,并且可以显示搜索结果。
同时,根据本发明一个实施方式,用户的书写内容可以被存储为备忘录。关于这种情况,下面,其将参照图18和图19进行描述。
图18是根据本发明一个实施方式的、针对将书写内容存储为备忘录的方法的图。
在图18的(a)中,假定用户经由可穿戴装置400的透明显示器读取第二本书902。如果从该用户接收到输入的书写内容1801,则控制器180检测该书写内容1801并且可以将所检测的书写内容1801存储为备忘录。
参照图18的(a),用户利用笔1000在第二本书902上输入诸如“NEXT MONDAYQUIZ”的书写内容1801。根据本发明的一个实施方式,该书写内容1801可以对应于利用实际笔1000等根据书写路径用墨水在第二本书902上写入的书写。根据本发明的不同实施方式,该书写内容1801可以对应于由虚拟笔1000的端部检测到的书写路径。因此,尽管第二本书902上未显示书写,但该书写内容可以通过检测写入该书写内容1801的姿势来获取。
在完成输入书写内容1801之后,如果一附加输入未输入达规定时间以上,则如图18的(b)所绘,控制器180可以输出弹出窗口1802,询问存储书写内容1801的方法。弹出窗口1802可以包括指示书写内容是存储为“图像”1802a还是“文本”1802b的选择图标。
如果选择了用于将书写内容存储为图像的选择图标1802a,则控制器180控制相机429拍摄该书写内容1801的图像,并且存储所拍摄图像以将书写内容1801存储为备忘录。
如果选择用于将书写内容存储为文本的选择图标1802b,则控制器180可以将书写内容1801识别为文本的结果存储为备忘录。
图19是示出读取图18中存储的备忘录的状态的图。
参照图19的(a),输出针对在第二本书902上写入的书写内容的备忘录指示符1901,同时用户经由可穿戴装置400的透明显示器430读取第一本书901。具体来说,尽管在第二本书901上写入早先在图18中提到的书写内容1901,但本发明一个实施方式提出了使得用户同样能够读取第一本书901中的该书写内容。备忘录指示符1901是指示存在所存储的备忘录的指示符。该备忘录指示符可以包括针对一部分备忘录的预览。如果接收到用于选择备忘录指示符1901的输入(例如,触摸备忘录指示符1901的输入),则控制器180可以控制透明显示器430显示能够显示全部所存储的备忘录的弹出窗口1902。
此时,本发明的一个实施方式提出了一种自动搜索规定的密码并且经由眼镜式可穿戴装置400的透明显示器430显示该密码的方法。一般来说,密码是需要安全性的信息。因此,如果经由该显示器显示一密码,则其对于安全来说变得脆弱。然而,对于利用眼镜式可穿戴装置400的情况来说,因为经由显示器显示的信息仅被穿戴有该可穿戴装置的用户看到,所以,可以减少易受安全性攻击的机会。关于该实施方式,下面,其将参照图20和图21进行详细描述。
图20和图21是根据本发明一个实施方式的、针对自动搜索密码并且向用户显示该密码的控制方法的图。
参照图20的(a),用户经由可穿戴装置400的透明显示器430显示针对不同移动终端100中显示的规定页面的登录画面。
如果检测到该登录画面和登录ID,则控制器180搜索与该登录ID相对应的登录密码,并且可以将所搜索的登录密码提供给用户。在这种情况下,该登录ID和登录密码可以预先被用户存储在可穿戴装置400中。该登录画面可以包括ID输入窗口2001a和密码输入窗口2001b。
根据本发明的一个实施方式,如图20的(b)所绘,如果检测到该登录画面和登录ID,则控制器180可以输出弹出窗口2002,以检查是否显示登录密码。该弹出窗口2002可以包括“显示”图标2002a和“取消”图标2002b。
如果接收到用于选择取消图标2002b的输入,则控制器180可以操作不显示登录密码。
如图20的(c)所绘,如果接收到用于选择显示图标2002a的输入,则控制器180可以控制透明显示器430显示与所检测的登录ID相对应的登录密码2003(图20的实施例中的“secret1234”)。
除了早先在图20中提到的登录操作以外,如果必需输入诸如电子证书的密码(例如,用于登录银行等的可信任的证书),则本发明的一个实施方式同样提出了显示并提供该输入。该电子证书指示存储在个人计算机或可去除存储器中的加密的标识信息,以在需要更严格的安全级别的银行等中执行登录。对于利用电子证书的情况来说,该电子证书的密码需要由用户输入。关于这种情况,下面将参照图21进行详细描述。
参照图21的(a),用户穿戴可穿戴装置400的同时经由透明显示器430读取银行的网页和电子证书密码输入窗口2102。在图21的(a)中,电子证书密码输入窗口2102示出了可信任的证书名称为“James”。
如果检测到该电子证书密码输入窗口2102和证书的名称,则控制器180可以输出弹出窗口2103,询问是否显示与所检测的证书名称相对应的可信任的证书密码。该弹出窗口2103可以包括“显示”图标2103a和“取消”图标2103b。
如果接收到用于选择取消图标2103b的输入,则控制器180可以不显示可信任的证书密码。
如图21的(c)所绘,如果接收到用于选择显示图标2103a的输入,则控制器180可以控制透明显示器430显示与所检测的证书名称相对应的证书密码2104(图21的实施例中的“secret1234”)。
下面,参照图22,对容易共享收藏列表的控制方法进行描述。
图22是根据本发明一个实施方式的、可穿戴装置400用于与不同终端共享收藏列表的控制方法的图。在涉及图22的本发明的实施方式中,假定可穿戴装置400已经预先存储了收藏列表。
参照图22的(a),用户在穿戴可穿戴装置400的同时经由透明显示器430读取从不同终端输出的web浏览器画面2201。
如果在该web浏览器画面2201上检测到地址输入窗口,则控制器180可以控制经由透明显示器430显示预先存储的收藏列表。
具体来说,参照图22的(a),控制器180检测web浏览器画面2201上的地址输入窗口。参照图22的(b),控制器输出弹出窗口2202,询问是否显示收藏列表。该弹出窗口2202可以包括“显示”图标2202a和“取消”图标2202b。
如果接收到用于选择取消图标2202b的输入,则控制器180可以不显示收藏列表。
如图22的(c)所绘,如果接收到用于选择显示图标2202a的输入,则控制器180可以控制透明显示器430显示收藏列表2203。
在本发明的一个实施方式中,假定显示web浏览器的终端和可穿戴装置400彼此连接。具体来说,假定可穿戴装置400能够向显示该web浏览器的终端发送数据。如果接收到用于从所显示的收藏列表2203选择一个的输入,则控制器180可以向显示该web浏览器的终端发送有关所选择的收藏列表的信息。接收到该信息之后,显示该web浏览器的终端可以将所接收的网页地址自动填充到地址输入窗口中。
根据本发明的不同实施方式,假定可穿戴装置400和显示web浏览器的终端未彼此连接。或者,假定尽管可穿戴装置和显示该web浏览器的终端彼此连接,但也不能在可穿戴装置与该终端之间收发网页信息。在这种情况下,用户读取当前显示收藏列表的一地址,并且可以直接通过利用显示该web浏览器的终端的输入装置键入来输入该地址。
如果输入该地址(自动或人工地(打字输入)),则显示该web浏览器的终端可以控制显示对应网页(参照图22的(e))。
图23和图24是根据本发明一个实施方式的、针对经由可穿戴装置400的透明显示器430来帮助扩展不同移动终端100的画面的方法的图。
图23的(a)示出了针对移动终端100的web浏览器应用的画面的状态。假定该web浏览器应用支持该画面中的书签功能。而且,在参照图23说明的实施例中,假定多达N+1的页面被存储在移动终端100中作为书签,并且多个书签页面可以通过左/右滚动来切换。
根据本发明的一个实施方式,如果检测到移动终端100在显示第N个书签页面2301-2,则可穿戴装置400的控制器180控制透明显示器430分别在移动终端100的左侧和右侧显示第N-1个书签页面2301-1和第N+1个书签页面2301-3。而且,如果通过左/右滚动2302切换书签页面,则控制器180可以控制透明显示器430分别在移动终端100的左侧和右侧显示所切换书签页面的前一页和所切换书签页面的后一页。
参照图24的(a),移动终端100显示至少一个应用图标2401-1与主画面。
对该主画面进行更详细的说明。该主画面在取消触摸屏的锁定状态时可以对应于首先显示在该触摸屏上的画面。用于执行一应用或内部功能的一个或更多个图标或窗口小部件可以显示在该主画面上。移动终端中可以存储两个或更多个主画面。在这种情况下,如果在触摸屏上执行规定触摸姿势,则这两个或更多个主画面可以一个接一个地顺序显示。彼此不同的图标(窗口小部件)可以分别设置在主画面上。
在参照图24说明的实施方式中,假定存在具有两个页面的主画面。而且,假定第一图标组2401-1和第二图标组2401-2分别存在于这两页中的每一页面中。如果可穿戴装置400检测到移动终端100经由该移动终端100的显示器151显示主画面的第一页面,则可穿戴装置400可以控制透明显示器430在移动终端100的右侧区域中显示主画面的第二页面和第二图标组2401-2。具体来说,因为主画面的第一页面仅经由移动终端100的显示器显示,所以提出了经由可穿戴装置400的透明显示器430显示主画面的第二页面。为了显示移动终端100的第二页面,可穿戴装置400可以直接从移动终端100接收有关第二页面的信息(即,有关第二图标组2401-2的信息)。或者,可穿戴装置可以拍摄第二页面的画面的图片,并且可以经由透明显示器显示所拍摄的图像。
如果检测到移动终端100中显示的主画面被切换成不同页面,则控制器180可以控制在移动终端的左侧和右侧中分别显示一切换的页面的前一页和后一页中的每一个。
如图24的(b)所绘,如果检测到经由移动终端100显示的主画面被切换成第二页面2402,则控制器180可以控制透明显示器430在移动终端100的左侧区域中显示主画面的第一页面和第一图标组2401-1。如果主画面包括第三页面,则控制器180可以控制透明显示器430在移动终端100的右侧区域中显示第三页面。
此时,根据本发明一个实施方式的眼镜式可穿戴装置400具有限制性输入装置。这是因为可穿戴装置难以配备与可应用于一般的移动终端的输入装置相对应的触摸屏。因此,本发明一个实施方式提出了利用与可穿戴装置400连接的移动终端100的控制方法。
图25是根据本发明一个实施方式利用不同的移动终端100控制可穿戴装置400的方法的图。
图25的(a)示出了与可穿戴装置400连接的移动终端100。移动终端100可以向可穿戴装置400发送用于控制该可穿戴装置400的控制信号。移动终端100可以使用被配置为生成并发送该控制信号的应用。
图25的(b)和图25的(c)示出了通过移动终端100控制的可穿戴装置400的透明显示器430的状态。如该图中所绘,存在用于控制可穿戴装置400的多个控制图标2502-1至2502-5。为了说明本发明一个实施方式,下面,对从多个控制图标2502-1至2502-5中选择“共享”图标2502-2的方法进行说明。
参照图25的(b),在多个控制图标2502-1至2502-5当中的一个图标上输出确定指示符2503。如果接收到确定命令,则执行定位了该确定指示符2503的图标。具体来说,为了选择“共享”图标2502-2,用户将确定指示符2503放置在“共享”图标2502-2上,并且可以输入确定命令。
在这种情况下,移动终端100可以经由触摸屏151接收来自用户的上下左右拖拉输入2501,以改变确定指示符2503的位置。而且,该确定命令可以对应于触摸该触摸屏151一次的触摸输入。
参照图25的(c),光标2504可以与多个控制图标2502-1至2502-5一起输出。如果接收到该确定命令,则执行定位了该确定光标2504的图标。具体来说,为了选择“共享”图标2502-2,用户将光标2504放置在“共享”图标2502-2上,并且可以输入确定命令。
在这种情况下,移动终端100可以经由触摸屏151接收来自用户的上下左右拖拉输入2501,以改变光标2504的位置。而且,该确定命令可以对应于触摸该触摸屏151一次的触摸输入。
图26是根据本发明一个实施方式的、针对响应于检测到规定姿势而拍摄画面的方法的图。
在步骤S2601中,可穿戴装置400的控制器180可以利用感测单元140检测到用户穿戴了可穿戴装置400。
在步骤S2602中,控制器180可以在经由玻璃看到的书本的规定页面上检测到由用户的手形成的拍摄姿势。
在步骤S2602-1中,该拍摄姿势可以对应于用手指触摸该规定页面的第一点并且拖拉至第二点的姿势。而且,如早先参照图5提到的,第一姿势可以对应于在食指未弯曲而其余手指弯曲的同时指向第一点达规定时间以上并接着拖拉至第二点的输入。另外,该第一姿势可以对应于从第一点拖拉至第二点达规定距离以上的姿势。具体来说,如果该拖拉距离小于规定距离,则控制器180不能将其识别为第一姿势。
在步骤S2602-2中,该拍摄姿势可以对应于第一手指触摸规定页面上的第一点而第二手指触摸规定页面上的第二点的姿势(第二姿势)。如早先参照图6提到的,第二姿势可以对应于在双手食指未弯曲并且食指以外的其它手指弯曲的同时触摸第一点(手601的食指指向的点)和第二点(手501的食指指向的点)的姿势。而且,第二姿势可以对应于保持该触摸达规定时间以上的姿势。
在步骤S2602-3中,该拍摄姿势可以对应于利用手掌覆盖整个规定页面达规定时间以上的姿势(第三姿势)。如早先参照图7提到的,利用手掌覆盖规定页面的时间可以超过规定时间。具体来说,如果输入该触摸姿势少于规定时间,则控制器180不将该触摸姿势识别为第三姿势,而且可以不执行拍摄操作。
在步骤S2603中,控制器180可以接收来自用户的对存储方案的选择。如果用户选择“存储为图像”,则其可以进行至步骤S2604。如果用户选择“存储为文本”,则其可以进行至步骤S2605。
在步骤S2604中,控制器180针对规定页面的一部分执行拍摄操作,并且将所拍摄的图像存储为图像数据形式。
在步骤S2605中,控制器180针对规定页面的一部分执行拍摄操作,并且将所拍摄图像存储为文本形式。
在步骤S2604和步骤S2605中,如果响应于第一姿势或第二姿势执行拍摄操作,则规定页面的该部分可以对应于包括与交叉第一点和第二点的线相对应的对角线的矩形。
在步骤S2604和步骤S2605中,如果响应于第三姿势执行拍摄操作,则规定页面的该部分可以对应于整个规定页面。
对根据本发明的移动终端的优点和效果及其控制方法说明如下。
根据本发明的至少一实施方式,眼镜式可穿戴移动终端可以容易地通过用户姿势来控制。
而且,根据本发明的至少一个实施方式,如果用户在穿戴眼镜式可穿戴装置的同时读取一打印输出,则利用增强现实的多媒体内容可以附加地添加至该打印输出的内容并且用户可以读取该多媒体内容。
本领域技术人员应当明白,在不脱离本发明的精神或范围的情况下,可以将本发明指定成其它形式。
上述方法可以按作为计算机可读代码的程序记录介质来实现。该计算机可读介质包括其中存储有可通过计算机系统读取的数据的、所有种类记录装置。该计算机可读介质例如包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,并且还包括载波型实现(例如,经由因特网发送)。而且,该计算机可以包括终端的控制单元180。
本领域技术人员应当明白,在不脱离本发明的精神或范围的情况下,可以对本发明进行各种修改和变型。由此,本发明旨在覆盖落入所附权利要求书及其等同物的范围内的、本发明的修改例和变型例。

Claims (22)

1.一种可穿戴移动终端,所述可穿戴移动终端包括:
框架,所述框架被配置为穿戴在用户的头部上;
感测单元,所述感测单元被配置为检测所述用户的手势;
相机,所述相机被配置为,在被所述用户穿戴的情况下面对所述用户的注视方向;以及
控制器,所述控制器被配置为,如果经由所述感测单元检测到针对规定打印输出的规定姿势,则控制所述相机对针对所述规定打印输出的拍摄图像拍照。
2.根据权利要求1所述的可穿戴移动终端,所述可穿戴移动终端还包括存储器,
其中,所述规定打印输出包含至少一个打印文本,并且其中,所述控制器被配置为,将包含在所述拍摄图像中的所述至少一个打印文本以文本数据形式存储在所述存储器中。
3.根据权利要求1所述的可穿戴移动终端,所述可穿戴移动终端还包括存储器,
其中,所述规定姿势包含指定所述规定打印输出的第一点与第二点的输入,并且其中,所述控制器被配置为,控制所述存储器存储一矩形区域,所述矩形区域包含与连接所拍摄的所述拍摄图像当中的所指定的所述第一点和所述第二点的线相对应的对角线。
4.根据权利要求3所述的可穿戴移动终端,其中,所述规定姿势对应于由所述用户的手指触摸所述第一点并接着在保持所述触摸的同时拖拉至所述第二点的姿势。
5.根据权利要求3所述的可穿戴移动终端,其中,所述规定姿势对应于由所述用户的手的手指触摸所述第一点并且由所述用户的不同的手的手指触摸所述第二点的姿势。
6.根据权利要求1所述的可穿戴移动终端,所述可穿戴移动终端还包括存储器,
其中,所述规定打印输出对应于规定书本的封面,并且其中,所述控制器被配置为,控制所述存储器存储基于所述拍摄图像识别出的所述规定书本的标题。
7.根据权利要求6所述的可穿戴移动终端,其中,所述规定姿势对应于利用所述用户的手掌覆盖所述规定书本的所述封面的姿势或者扫掠所述规定书本的所述封面的彼此对角面对的边缘的姿势。
8.根据权利要求1所述的可穿戴移动终端,所述可穿戴移动终端还包括存储器,
其中,所述规定打印输出包含被打印的至少一本书的标题的文本,其中,所述规定姿势对应于对被打印的书本的标题的文本加下划线的姿势,并且其中,所述控制器被配置为,控制所述存储器存储基于所述拍摄图像识别出的所述书本的所述标题。
9.根据权利要求1所述的可穿戴移动终端,所述可穿戴移动终端还包括显示器,
其中,所述规定打印输出包含其中至少一个字被打印的文本,其中,所述规定姿势对应于利用物体在其中打印了规定字的文本上绘制规定图案的姿势,并且其中,所述控制器被配置为,控制所述显示器输出基于所述拍摄图像识别出的所述规定字的搜索结果。
10.根据权利要求1所述的可穿戴移动终端,所述可穿戴移动终端还包括存储器,
其中,所述规定姿势对应于利用物体在所述规定打印输出中输入规定书写备忘录的姿势,并且其中,所述控制器被配置为,控制所述存储器存储基于所述拍摄图像的所述规定书写备忘录。
11.根据权利要求1所述的可穿戴移动终端,其中,所述感测单元被配置为,基于由所述相机周期性地拍摄的多个图像来检测所述用户的所述手势。
12.一种控制可穿戴移动终端的方法,所述可穿戴移动终端配备有:框架,所述框架被配置为穿戴在用户的头部上;相机,所述相机被配置为,在穿戴所述可穿戴装置的情况下面对所述用户的注视方向;以及存储器,该方法包括以下步骤:
经由感测单元检测所述用户的手势;以及
如果检测到针对规定打印输出的规定姿势,则控制所述相机对针对所述规定打印输出的拍摄图像拍照。
13.根据权利要求12所述的方法,其中,所述规定打印输出包含至少一个打印文本,并且所述方法还包括以下步骤:将包含在所述拍摄图像中的所述至少一个打印文本以文本数据形式存储在所述存储器中。
14.根据权利要求12所述的方法,其中,所述规定姿势包含指定所述规定打印输出的第一点与第二点的输入,并且所述方法还包括以下步骤:控制所述存储器存储一矩形区域,所述矩形区域包含与连接所拍摄的所述拍摄图像当中的所指定的所述第一点和所述第二点的线相对应的对角线。
15.根据权利要求14所述的方法,其中,所述规定姿势对应于由所述用户的手指触摸所述第一点并接着在保持所述触摸的同时拖拉至所述第二点的姿势。
16.根据权利要求14所述的方法,其中,所述规定姿势对应于由所述用户的手的手指触摸所述第一点并且由所述用户的不同的手的手指触摸所述第二点的姿势。
17.根据权利要求12所述的方法,其中,所述规定打印输出对应于规定书本的封面,并且所述方法还包括以下步骤:控制所述存储器存储基于所述拍摄图像识别出的所述规定书本的标题。
18.根据权利要求17所述的方法,其中,所述规定姿势对应于利用所述用户的手掌覆盖所述规定书本的所述封面的姿势或者扫掠所述规定书本的所述封面的彼此对角面对的边缘的姿势。
19.根据权利要求12所述的方法,其中,所述规定打印输出包含被打印的至少一本书的标题的文本,其中,所述规定姿势对应于对被打印的书本的标题的文本加下划线的姿势,并且所述方法还包括以下步骤:控制所述存储器存储基于所述拍摄图像识别出的所述书本的所述标题。
20.根据权利要求12所述的方法,其中,所述可穿戴装置还包括显示器,其中,所述规定打印输出包含其中至少一个字被打印的文本,其中,所述规定姿势对应于利用物体在其中打印了规定字的文本上绘制规定图案的姿势,并且所述方法还包括以下步骤:控制所述显示器输出基于所述拍摄图像识别出的所述规定字的搜索结果。
21.根据权利要求12所述的方法,其中,所述规定姿势对应于利用物体在所述规定打印输出中输入规定书写备忘录的姿势,并且所述方法还包括以下步骤:控制所述存储器存储基于所述拍摄图像的所述规定书写备忘录。
22.根据权利要求12所述的方法,其中,所述检测步骤对应于基于由所述相机周期性地拍摄的多个图像来检测所述用户的所述手势。
CN201410479692.2A 2013-09-23 2014-09-18 移动终端及其控制方法 Active CN104461277B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130112892A KR102065417B1 (ko) 2013-09-23 2013-09-23 웨어러블 이동단말기 및 그 제어방법
KR10-2013-0112892 2013-09-23

Publications (2)

Publication Number Publication Date
CN104461277A true CN104461277A (zh) 2015-03-25
CN104461277B CN104461277B (zh) 2018-10-16

Family

ID=51454514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410479692.2A Active CN104461277B (zh) 2013-09-23 2014-09-18 移动终端及其控制方法

Country Status (4)

Country Link
US (1) US9372545B2 (zh)
EP (1) EP2866122A1 (zh)
KR (1) KR102065417B1 (zh)
CN (1) CN104461277B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227481A (zh) * 2016-07-22 2016-12-14 北京奇虎科技有限公司 阅读文章时显示ar影像的方法和终端
CN111385683A (zh) * 2020-03-25 2020-07-07 广东小天才科技有限公司 一种智能音箱应用控制方法及智能音箱

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857919B2 (en) 2012-05-17 2018-01-02 Hong Kong Applied Science And Technology Research Wearable device with intelligent user-input interface
JP2015207181A (ja) * 2014-04-22 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
KR102411890B1 (ko) * 2014-09-02 2022-06-23 삼성전자주식회사 컨텐츠를 처리하는 방법 및 이를 위한 전자 장치
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
EP3037784B1 (en) * 2014-12-23 2019-05-01 Nokia Technologies OY Causation of display of supplemental map information
KR20160076857A (ko) * 2014-12-23 2016-07-01 엘지전자 주식회사 이동 단말기 및 그의 컨텐츠 제어방법
KR20160122501A (ko) 2015-04-14 2016-10-24 엘지전자 주식회사 디스플레이 장치, 웨어러블 장치를 포함하는 동기화 시스템 및 제어 방법
KR102236958B1 (ko) 2015-04-30 2021-04-05 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) * 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10069785B2 (en) * 2015-06-05 2018-09-04 Apple Inc. Network messaging for paired devices
CN104951080A (zh) * 2015-07-06 2015-09-30 联想(北京)有限公司 一种控制方法以及装置
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
WO2017200949A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive fabric
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
CN113272873A (zh) 2018-12-20 2021-08-17 三星电子株式会社 用于增强现实的方法和设备
CN109769235A (zh) * 2019-01-11 2019-05-17 深圳十米网络科技有限公司 一种基于蓝牙广播的名片交互方法
TWI719483B (zh) * 2019-05-17 2021-02-21 雅得近顯股份有限公司 便利備忘操作系統
DE102019207454B4 (de) 2019-05-21 2021-05-12 Volkswagen Aktiengesellschaft Augmented-Reality-System
WO2020257827A1 (en) * 2019-06-21 2020-12-24 Mindgam3 Institute Distributed personal security video recording system with dual-use facewear
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169579B1 (en) * 1991-07-24 2001-01-02 Canon Kabushiki Kaisha Video camera with one-step operation for unlocking cassette cover and ejecting cassette holder
CN1648840A (zh) * 2005-01-27 2005-08-03 北京理工大学 一种头戴式立体视觉手势识别装置
CN1851617A (zh) * 2005-04-22 2006-10-25 英华达(上海)电子有限公司 移动设备上便于ocr并输入到现有编辑器的转换装置及其方法
CN102141888A (zh) * 2010-01-28 2011-08-03 微软公司 盖印手势
CN102156606A (zh) * 2010-11-17 2011-08-17 华为终端有限公司 取景框处理方法、图片处理方法和用户设备
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
WO2013009047A2 (en) * 2011-07-11 2013-01-17 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
US20130039535A1 (en) * 2011-08-08 2013-02-14 Cheng-Tsai Ho Method and apparatus for reducing complexity of a computer vision system and applying related computer vision applications
US8471868B1 (en) * 2007-11-28 2013-06-25 Sprint Communications Company L.P. Projector and ultrasonic gesture-controlled communicator
CN103186665A (zh) * 2013-01-29 2013-07-03 四川大学 一种纸质图书数字化辅助阅读软件
CN103259978A (zh) * 2013-05-20 2013-08-21 邱笑难 一种使用手势拍照的方法
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196400A1 (en) * 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
KR101284797B1 (ko) * 2008-10-29 2013-07-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
KR101608770B1 (ko) * 2009-08-03 2016-04-04 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101302138B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
KR101885775B1 (ko) 2012-02-24 2018-08-07 삼성전자주식회사 컨텐트 캡쳐 방법 및 이를 위한 이동 단말기
US9335919B2 (en) * 2012-06-25 2016-05-10 Google Inc. Virtual shade

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169579B1 (en) * 1991-07-24 2001-01-02 Canon Kabushiki Kaisha Video camera with one-step operation for unlocking cassette cover and ejecting cassette holder
CN1648840A (zh) * 2005-01-27 2005-08-03 北京理工大学 一种头戴式立体视觉手势识别装置
CN1851617A (zh) * 2005-04-22 2006-10-25 英华达(上海)电子有限公司 移动设备上便于ocr并输入到现有编辑器的转换装置及其方法
US8471868B1 (en) * 2007-11-28 2013-06-25 Sprint Communications Company L.P. Projector and ultrasonic gesture-controlled communicator
CN102141888A (zh) * 2010-01-28 2011-08-03 微软公司 盖印手势
CN102156606A (zh) * 2010-11-17 2011-08-17 华为终端有限公司 取景框处理方法、图片处理方法和用户设备
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
WO2013009047A2 (en) * 2011-07-11 2013-01-17 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US20130039535A1 (en) * 2011-08-08 2013-02-14 Cheng-Tsai Ho Method and apparatus for reducing complexity of a computer vision system and applying related computer vision applications
CN103186665A (zh) * 2013-01-29 2013-07-03 四川大学 一种纸质图书数字化辅助阅读软件
CN103259978A (zh) * 2013-05-20 2013-08-21 邱笑难 一种使用手势拍照的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227481A (zh) * 2016-07-22 2016-12-14 北京奇虎科技有限公司 阅读文章时显示ar影像的方法和终端
CN111385683A (zh) * 2020-03-25 2020-07-07 广东小天才科技有限公司 一种智能音箱应用控制方法及智能音箱
CN111385683B (zh) * 2020-03-25 2022-01-28 广东小天才科技有限公司 一种智能音箱应用控制方法及智能音箱

Also Published As

Publication number Publication date
KR20150033204A (ko) 2015-04-01
KR102065417B1 (ko) 2020-02-11
CN104461277B (zh) 2018-10-16
EP2866122A1 (en) 2015-04-29
US20150084855A1 (en) 2015-03-26
US9372545B2 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
CN104461277A (zh) 移动终端及其控制方法
US10025399B2 (en) Watch type mobile terminal and method for controlling the same
EP3246916B1 (en) Mobile terminal and controlling method thereof
EP3096275B1 (en) Mobile terminal and method for controlling the same
CN108028868B (zh) 具有卡单元的移动终端及其控制方法
KR102434866B1 (ko) 이동 단말기 및 그 제어방법
CN108076212B (zh) 移动终端及其控制方法
US10044928B2 (en) Mobile terminal and method for controlling the same
CN105718187B (zh) 移动终端及控制移动终端的内容的方法
US20190392422A1 (en) Mobile terminal and control method therefor
EP3400565B1 (en) Mobile terminal and method for controlling the same
US9746939B2 (en) Mobile terminal and method for controlling the same
US20170068447A1 (en) Mobile terminal and method for controlling the same
CN105744051A (zh) 移动终端及其控制方法
US11645644B2 (en) Mobile terminal
CN106796485B (zh) 移动终端及其控制方法
KR102017802B1 (ko) 이동 단말기 및 그 제어방법
US20170003772A1 (en) Mobile terminal and method for controlling the same
US9294605B1 (en) Mobile terminal and method for controlling the same
US20180205820A1 (en) Mobile terminal and method for controlling same
EP3419259A1 (en) Mobile terminal and control method therefor
KR20150111199A (ko) 이동 단말기 및 그것의 제어방법
KR102294598B1 (ko) 이동 단말기 및 그 제어 방법
US20180330357A1 (en) Mobile terminal and method of controlling same
KR20120109151A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant