CN104423580B - 可穿戴的眼镜型终端及其控制方法、具有该终端的系统 - Google Patents

可穿戴的眼镜型终端及其控制方法、具有该终端的系统 Download PDF

Info

Publication number
CN104423580B
CN104423580B CN201410436818.8A CN201410436818A CN104423580B CN 104423580 B CN104423580 B CN 104423580B CN 201410436818 A CN201410436818 A CN 201410436818A CN 104423580 B CN104423580 B CN 104423580B
Authority
CN
China
Prior art keywords
controller
output
input
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410436818.8A
Other languages
English (en)
Other versions
CN104423580A (zh
Inventor
池柱珉
鲁珍旭
张艺瑟
黄仁龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104423580A publication Critical patent/CN104423580A/zh
Application granted granted Critical
Publication of CN104423580B publication Critical patent/CN104423580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

可穿戴的眼镜型终端及其控制方法、具有该终端的系统。本公开提供了一种可穿戴的眼镜型终端,该终端包括:主体,其被形成为被穿戴在用户的脸部;无线通信单元,其无线地连接到输入装置和多个输出装置,并且被构造为从输入装置接收数据并且向输出装置发送数据;相机,其安装到主体,并且被构造为检测多个输出装置中的一个;以及控制器,其被构造为控制无线通信单元向通过相机检测到的输出装置发送从输入装置接收到的数据。

Description

可穿戴的眼镜型终端及其控制方法、具有该终端的系统
技术领域
本申请涉及可穿戴的眼镜型终端及其数据输出系统,该终端能够获取与用户的眼线(或用户的眼睛的移动)相关的信息。
背景技术
终端根据它们的移动性可以被分为移动/便携式终端和固定终端。另外,根据用户是否可以直接携带移动终端,移动终端可以分类为手持终端和车载终端。
随着移动终端变得多功能的,移动终端可以被允许拍摄静止图像或运动图像、播放音乐或视频文件、玩游戏、接收广播等,从而被实现作为集成的多媒体播放器。
许多努力不仅包括实现移动终端的结构部件的改变和改进,并且还包括用来支持和改进终端的功能的软件改进。
近来,正在进行关于交互系统的研究,该交互系统允许通过与各种电子装置的交互来共享在每一个终端中存储的各种数据。而且,在产品中实现了利用单个输入装置来控制多个电子装置的技术。
因此,用户可以通过同时地利用多个用于工作的装置或利用多个支持不同的功能的装置来改进工作效率。然而,鉴于分别将输入装置用于控制多个装置或者必须改变控制目标,存在不方便。
发明内容
因此,本发明的目的是提供一种能够基于用户的眼睛(或眼线)而选择控制目标的数据输出系统。
为了实现这些优点和其它优点,根据该申请的目的,如这里具体体现和广泛描述的,提出了一种可穿戴的眼镜型终端,该终端包括:主体,其被形成为被穿戴在用户的脸部;无线通信单元,其无线地连接到输入装置和多个输出装置,并且被构造为从输入装置接收数据并且向输出装置发送数据;相机,其安装到主体,并且被构造为检测多个输出装置中的一个;以及控制器,其被构造为控制无线通信单元向通过相机检测到的输出装置发送从输入装置接收到的数据。
根据一个示例性实施方式,数据可以对应于由输出装置输出的画面信息的至少一部分。
根据一个示例性实施方式,当控制命令被连续地输入到与多个输出装置中的一个交互的输入装置时,控制器可以仅向与输入装置交互的多个输出装置中的所述一个连续地发送数据。
根据一个示例性实施方式,在控制命令被输入的同时,控制器可以限制对由相机检测到的输出装置的数据发送。
根据一个示例性实施方式,可穿戴的眼镜型终端可以进一步包括存储器,该存储器被构造为:基于由输入装置输入的第一控制命令,存储输出到在多个输出装置中的由相机检测到的第一输出装置的至少一个数据。
根据一个示例性实施方式,基于由输入装置输入的第二控制命令,控制器可以控制无线通信单元向由相机检测到的第二输出装置发送存储在存储器中的数据。
根据一个示例性实施方式,当在无线地连接到输入装置的在多个输出装置中的一个输出装置中接收到事件时,控制器可以激活相机检测该一个输出装置。
根据一个示例性实施方式,主体可以包括触摸感测单元,该触摸感测单元被形成在主体的一侧并且被构造为感测用户的触摸输入,并且当触摸输入在一个输出装置被相机检测到的同时被施加到主体时,控制器可以控制无线通信单元向由相机检测到的该一个输出装置发送基于所述触摸输入的控制命令。
根据一个示例性实施方式,可穿戴的眼镜型终端可以进一步包括存储器。这里,基于施加到触摸感测单元的第一触摸输入,控制器可以控制存储器存储输出该一个输出装置的画面信息的一部分,并且基于施加到触摸感测单元的第二触摸输入,控制无线通信单元向由于用户的眼睛的移动而被检测到的另一个输出装置发送与画面信息相关的信息。
根据一个示例性实施方式,可穿戴的眼镜型终端可以进一步包括显示单元,所述显示单元被构造为输出画面信息,使得用户识别画面信息与外部环境,并且当至少一个输出装置被相机检测到时,控制器可以控制显示单元输出指示符,该指示符包括与该至少一个输出装置相关的信息。
根据一个示例性实施方式,可穿戴的眼镜型终端可以进一步包括显示单元,所述显示单元被构造为输出画面信息,使得用户识别画面信息与外部环境,并且控制器可以控制显示单元输出被输出到该一个输出装置的画面信息的至少一部分。
根据一个示例性实施方式,基于施加到眼镜型终端的控制命令,相机可以获得图像,并且在图像被获得之后,控制器可以控制无线通信单元向被相机检测到的输出装置发送与图像相关联的数据。
根据一个示例性实施方式,控制命令可以对应于由相机拍摄的手的预设姿势。
根据一个示例性实施方式,图像相关联的数据可以进一步包括与检测到的输出装置为了输出图像所需要的应用相关的执行信息。
为了实现这些优点和其它优点,根据该申请的目的,如这里具体体现和广泛描述的,提出了一种数据输出系统,该系统包括:多个输出装置;输入装置,其被构造为接收用于将数据输出到多个输出装置中的至少一个的控制命令;以及眼镜型终端,所述眼镜型终端被构造为被穿戴在用户的脸部,其中,所述眼镜型终端可以包括:主体,其被形成为被穿戴在用户的脸部上;无线通信单元,其无线地连接到输入装置和多个输出装置;相机,所述相机被安装到主体,并且被构造为检测多个输出装置中的一个;以及控制器,所述控制器被构造为控制无线通信单元向由相机检测到的输出装置发送数据。
根据一个示例性实施方式,控制器可以向输入装置发送与从第一输出装置接收到的控制命令相关的信息,所述控制命令用于控制在多个输出装置中的由相机检测到持续预设时间的第一输出装置。
根据一个示例性实施方式,输入装置可以包括触摸屏,所述触摸屏被构造为输出接收用户的触摸输入的图形图像,并且所述触摸屏可以输出用于基于接收到的信息而控制第一输出装置的图标。
根据一个示例性实施方式,由相机检测到的第一输出装置可以输出与施加到输入装置的控制命令相对应的游标,并且当第一输出装置和第二输出装置被相机检测到时,所述游标可以基于控制命令而被输出到第一输出装置和第二输出装置中的至少一个。
根据一个示例性实施方式,由相机检测到的第一输出装置可以将控制命令被施加到的图标与画面信息一起输出,并且控制器可以基于施加到图标的控制命令而控制无线通信单元接收与画面信息的一部分相关联的无线信号。
根据一个示例性实施方式,眼镜型终端可以进一步包括布置在主体上的显示单元,并且显示单元可以基于接收到的无线信号而输出画面信息的至少一部分。
根据下面的详细的描述,本申请的应用的进一步的范围将变得更加清楚。然而,应该理解的是,表示本公开的优选实施方式的详细描述和具体示例仅是示例性地给出,因为根据详细描述,在本公开的精神和范围内的各种改变和修改对于本领域技术人员而言将变得明显。
附图说明
被包括以提供对本公开的进一步理解并且被合并在本说明书中以构成其一部分的附图例示了示例性实施方式,并且与说明书一起用来说明本公开的原理。
在附图中:
图1是根据本公开的一个示例性实施方式的移动终端的方框图;
图2A和2B是可利用这里公开的移动终端操作的通信系统的概念图;
图3A是这里公开的可穿戴的眼镜型装置(终端)的一个示例性实施方式的前透视图;
图3B是例示以无线方式与输入装置和输出装置连接的可穿戴的眼镜型装置(终端)的一个示例性实施方式的概念图;
图4是例示根据这里公开的一个示例性实施方式的移动终端的控制方法的流程图;
图5A和5B是例示图4的控制方法的概念视图;
图6A到6D是例示根据多种示例性实施方式的用于输出数据的控制方法的概念图;
图7A到7C是例示利用在显示单元上输出的指示符的系统的控制方法的概念图;
图8A到8C是例示用于将输出单元的数据输出到显示单元的控制方法的概念图;
图9A到9D是例示基于施加到可穿戴的眼镜型装置的用户姿势的控制方法的概念图;以及
图10是例示用于通过在装置之间的无线连接来自动地执行用户认证的控制方法的概念图。
具体实施方式
在下文中,将参考附图更加详细地描述本公开。为了参考附图的简要描述,相同或等效的部件将被赋予相同的附图标记,并且将不重复其描述。在下面的描述中使用的后缀“模块”和“单元或部分”仅被提供用于方便该说明书的描述,并且因此它们不被赋予具体的意义或功能。如果认为相关技术的详细描述不在本发明的范围内,将省略详细的描述。而且,还应该理解的是,实施方式不被前面描述的任何具体内容所限制,而是应该在其精神和范围内被广义地理解,并且本发明意图覆盖落在随附权利要求书及其等价物的范围内的修改和变化。
在本说明书中的终端可以包括移动终端,诸如,便携式电话、智能电话、笔记本计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统、平板PC和超级本。然而,对于本领域技术人员明显的是,除了用于移动性的具体构造之外,本发明还可以应用到诸如数字TV和台式计算机这样的固定终端。
图1是例示根据本发明的一个实施方式的移动终端的图。
移动终端100可以包括诸如无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源190等的部件。尽管图1示出具有多个部件的移动终端100,但是应该理解的是,实现所有例示出的部件不是必要的。可以可选地实现更多或更少的部件。
在下文中,依次描述每一个部件110到190。
无线通信单元110可以典型地包括允许在移动终端100和无线通信系统之间的无线通信或允许在移动终端100和该移动终端100所处的网络之间的无线通信的一个或更多个模块。例如,无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115等中的至少一个。
广播接收模块111经由广播信道从外部广播管理实体接收广播信号和/或广播关联信息。
广播信道可以包括卫星信道和陆地信道。广播管理实体可以指生成并发送广播信号和/或广播关联信息的服务器或接收预先生成的广播信号和/或广播关联信息并且将其发送到移动终端的服务器。广播信号可以实现为TV广播信号、无线电广播信号、数据广播信号等。广播信号还可以包括与TV或无线电广播信号组合的数据广播信号。
广播关联信息的示例可以包括与广播信道、广播节目、广播服务提供商等相关的信息。广播关联信息可以经由移动通信网络提供,并且由移动通信模块112接收。
广播关联信息可以以各种格式来实施。例如,广播关联信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)和手持数字视频广播(DVB-H)的电子服务指南(ESG)等。
广播接收模块111可以被配置为接收从多种广播系统发送的数字广播信号。如此的广播系统可以包括陆地数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、媒体前向单连接(MediaFLO)、手持数字视频广播(DVB-H)、陆地集成服务数字广播(ISDB-T)等。广播接收模块111可以被构造为适合于发送广播信号的每一种广播系统以及数字广播系统。
经由广播接收模块111接收的广播信号和/或广播关联信息可以存储在适当的装置中,诸如在存储器160中。
移动通信模块112在移动通信网络上向/从网络实体(例如,基站、外部移动终端、服务器等)中的至少一个发送/接收无线信号。这里,根据文字/多媒体消息的发送和接收,无线信号可以包括音频呼叫信号、视频(电话)呼叫信号、或各种格式的数据。
移动通信模块112可以实现视频电话模式和语音电话模式。视频电话模式表示在观看被叫者的图像的情况下进行通话的状态。语音电话模式表示在没有观看被叫者的图像的情况下进行通话的状态。移动通信模块112可以发送和接收语音和图像中的至少一个以实现视频电话模式和语音电话模式。
无线互联网模块113支持对移动终端的无线互联网接入。该模块可以内部地或外部地连接到移动终端100。如此的无线互联网接入的示例可以包括无线LAN(WLAN)Wi-Fi、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行分组接入(HSDPA)等。
短程通信模块114表示用于短程通信的模块。用于实现该模块的适当的技术可以包括BluetoothTM、射频识别(RFID)、红外线数据协会(IrDA)、超宽带(UWB)、ZigBeeTM、近场通信(NFC)等。
位置信息模块115表示用于检测或计算移动终端的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块或无线保真(WiFi)模块。
仍参考图1,A/V输入单元120被构造为提供输入到移动终端的音频或视频信号。A/V输入单元120可以包括相机121和麦克风122。相机121接收并处理由图像传感器以拍摄模式或视频电话模式获得的静态图片或视频的图像帧。经处理后的图像帧可以显示在显示单元151上。
由相机121处理后的图像帧可以存储在存储器160中或者通过无线通信单元110发送到外部。而且,用户的位置信息等可以根据由相机121获得的图像帧计算。根据移动终端的构造,可以提供两个或更多个相机121。
麦克风122可以在移动终端处于特定模式(诸如电话呼叫模式、录音模式、语音识别模式等)的同时接收外部音频信号。该音频信号被处理为数字数据。在电话呼叫模式的情形中,为了输出,处理后的数字数据被转换为可经由移动通信模块112发送到移动通信基站的格式。麦克风122可以包括分类的噪声去除算法,以消除在接收外部音频信号的过程中生成的噪声。
用户输入单元130可以生成由用户输入的输入数据,以控制移动终端的各种操作。用户输入单元130可以包括键盘、锅仔片、触摸板(例如,静压力/电容)、滚轮、滚轮开关等。
感测单元140提供移动终端的多个方面的状态测量。例如,感测单元140可以检测移动终端的打开/闭合状态,移动终端100的位置的改变、用户是否接触移动终端100、移动终端100的位置、移动终端100的加速/减速等,以生成用于控制移动终端100的操作的感测信号。例如,关于滑动型移动终端,感测单元140可以感测移动终端的滑动部分是否打开或闭合。其它示例包括感测功能,诸如感测由电源190提供的功率的存在或不存在或者在接口单元170和外部装置之间的耦合或其它连接的存在或不存在的感测单元140。
输出单元150被构造为输出音频信号、视频信号或触觉信号。输出单元150可以包括显示单元151、音频输出模块153、警报单元154和触觉模块155。
显示单元151可以输出在移动终端100中处理的信息。例如,当移动终端在电话模式中操作时,显示单元151将提供包括与电话相关联的信息的用户界面(UI)或图形用户界面(GUI)。作为另一个示例,如果移动终端处于视频电话模式或拍摄模式中,则显示单元151可以另外地或可选地显示拍摄的和/或接收的图像、UI或GUI。
显示单元151可以使用例如液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器和电子墨水显示器等中的至少一个来实现。
如此的显示单元151的一些可以被实现为称作“透明显示器”的透明型或透光型,通过该透明型或透光型,外观是可见的。透明显示器的典型示例可以包括透明OLED(TOLED)等。显示单元151的后表面也可以实施为可透光的。在该构造下,用户可以通过由终端主体的显示单元151占据的区域看到位于终端主体的后侧的对象。
根据移动终端100的构造方面,可以实现两个或更多个显示单元151。例如,多个显示器151可以布置在一个表面上以彼此间隔开或彼此集成,或者可以布置在不同的表面上。
显示单元151也可以被实现为用于显示立体视觉图像的立体视觉显示单元152。
这里,立体视觉图像可以是三维(3D)立体视觉图像,并且,该3D立体视觉图像指的是使得观看者感觉到在监视器或屏幕上的对象的渐进深度和真实感是与真实空间相同的图像。3D立体视觉图像通过使用双眼视差来实现。双眼视差指的是由两眼的位置造成的视差。当两眼观看到不同的2D图像时,图像通过视网膜传递到大脑并且在大脑中组合,从而提供深度和真实感的感知。
立体视觉显示单元152可以采用立体视觉显示方案,诸如立体视觉方案(眼镜方案)、自动立体视觉方案(无眼镜方案)、投影方案(全息方案)等。通常用于家庭电视接收器等的立体视觉方案包括惠特斯通立体视觉方案等。
自动立体视觉方案包括例如视差栅栏方案、柱镜光栅方案、积分成像方案、可切换方案等。投影方案包括反射全息方案、透射式全息方案等。
一般地,3D立体视觉图像由左图像(左眼图像)和右图像(右眼图像)构成。根据左图像和右图像被组合为3D立体图像的方式,3D立体成像方法可以被划分为:上下方法,其中,左图像和右图像在帧中被上下地布置;L到R(左到右,并排)方法,其中,左图像和右图像在帧中被左右地布置;棋盘方法,其中,左图像和右图像的碎片以拼贴的形式被布置;交错方法,其中,左图像和右图像按照列和行被交替地布置;以及,时间顺序(或逐帧)方法,其中,左图像和右图像按照时间被交替地显示。
而且,对于3D缩略图图像,左图像缩略图和右图像缩略图分别从原始图像帧的左图像和右图像产生,并且然后组合以生成单个3D缩略图图像。一般地,缩略图指的是减小的图像或减小的静态图像。按照与在屏幕上的左图像和右图像之间的视差相应的深度,如此产生的左图像缩略图和右图像缩略图被显示,其间具有水平距离差,从而提供立体视觉空间感。
如所例示的,用于产生3D立体视觉图像所需的左图像和右图像由立体视觉处理单元(未示出)显示在立体视觉显示单元152上。立体视觉处理单元可以接收3D图像并且提取左图像和右图像,或者可以接收2D图像并且将它改变为左图像和右图像。
这里,如果显示单元151和触摸感应传感器(被称为“触摸传感器”)在其之间具有分层结构(被称为“触摸屏”),则显示单元151可以用作输入设备以及输出设备。触摸传感器可以被实现为触摸膜、触摸片、触摸板等。
触摸传感器可以被构造为将施加到显示单元151的特定部分的压力的或从显示单元151的特定部分发生的电容的变化转换为电学输入信号。而且,触摸传感器可以被构造为不仅感测触摸位置和触摸面积,而且还感测触摸压力。这里,触摸对象是将触摸输入施加到触摸传感器上的对象。触摸对象的示例可以包括手指、触笔、手写笔、指示器等。
当触摸输入被触摸传感器感测到时,相应的信号被发送到触摸控制器。触摸控制器处理接收到的信号并且将相应的数据发送到控制器180。因此,控制器180可以感测显示单元151的哪个区域已经被触摸。
仍参考图1,接近传感器141可以被设置由触摸屏覆盖的移动终端100的内部区域或在触摸屏附近。接近传感器141可以被设置作为感测单元140的一个示例。接近传感器141表示在没有机械接触的情况下通过使用电磁场或红外线来感测是否存在正在接近待感测表面的对象,或是否存在布置在待感测表面附近的对象。接近传感器可以比接触传感器具有更加延长的寿命和更高的利用。
接近传感器141可以包括透射光电传感器、直接反射光电传感器、镜面反射光电传感器、高频振荡接近传感器、电容接近传感器、磁性接近传感器、红外线接近传感器等。当触摸屏被实现为电容型时,通过电磁场的改变来感测指示器接近触摸屏。在该情形中,触摸屏(触摸传感器)可以被分类为接近传感器。
在下文中,为了说明的方便,其中指示器在没有接触的情况下被定位为接近触摸屏的状态将被称为“浮置触摸”或“接近触摸”,而其中指示器实质上接触触摸屏的状态将被称为“接触触摸”。对于与指示器在触摸屏上的接近触摸相对应的姿态,如此的姿态对应于其中在指示器的接近触摸时指示器垂直地面对触摸屏的姿态。
接近传感器141感测接近触摸以及接近触摸模式(例如,距离,方向,速度,时间,姿态,移动状态等)。与感测到的接近触摸和感测到的接近触摸模式相关的信息可以被输出到触摸屏上。
当触摸传感器按照层叠的方式重叠在立体视觉显示单元152上(在下文中,被称为“立体视觉触摸屏”)时,或者当立体视觉显示单元152和感测触摸操作的3D传感器被组合时,立体视觉显示单元152也可以被用作3D输入设备。
作为3D传感器的示例,感测单元140可以包括接近传感器141、立体感触摸感测单元142、超声波感测单元143和相机感测单元144。
接近传感器141在没有机械接触的情况下通过使用电磁力或红外线检测在施加触摸的感测对象(例如,用户的手指或触笔)和检测表面之间的距离。通过使用该距离,终端识别立体视觉图像的哪一个部分已经被触摸。具体地,当触摸屏是静电触摸屏时,基于与感测对象的接近相应的电场的改变而检测感测对象的接近程度,并且通过使用该接近程度来识别对3D图像的触摸。
立体感触摸感测单元142可以被构造为检测施加到触摸屏的触摸的强度或持续时间。例如,立体感触摸感测单元142可以感测触摸压力。当压力强时,可以将该触摸识别为定位为远离触摸屏的对象朝向终端的内部的触摸。
超声波感测单元143被构造为通过使用超声波来识别感测对象的位置信息。
例如,超声波感测单元143可以包括光传感器和多个超声波传感器。光传感器被构造为感测光,并且超声波传感器可以被构造为感测超声波。因为光比超声波快得多,所以光到达光传感器的时间比超声波到达超声波传感器的时间短得多。因此,基于作为参考信号的光,可以通过使用与超声波到达超声波传感器的时间的时间差来计算波生成源的位置。
相机感测单元144包括相机121、光传感器和激光器传感器中的至少一个。
例如,相机121和激光器传感器可以组合以检测感测对象对3D立体视觉图像的触摸。当由激光器传感器检测的距离信息被添加到由相机捕获的2D图像,则可以获得3D信息。
在另一个示例中,光传感器可以层叠在显示设备上。光传感器被构造为扫描接近触摸屏的感测对象的移动。详细地,光传感器包括以行和列布置的光敏二极管和晶体管,以通过使用根据施加的光而改变的电信号来扫描在光传感器上安装的内容。即,光传感器根据光的变化来计算感测对象的坐标,从而获得感测对象的位置信息。
在呼叫信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等中,音频输出模块153可以转换并输出从无线通信单元110接收到的或存储在存储器160中的音频数据作为声音。而且,音频输出模块153可以提供与由移动终端100执行的具体功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等)。音频输出模块153可以包括扬声器、蜂鸣器等。
报警单元154输出用于通知移动终端100的事件的发生的信号。在移动终端中生成的事件可以包括呼叫信号接收、消息接收、键信号输入、触摸输入等。除了音频或视频信号之外,报警单元154可以以不同的方式(例如,使用震动)输出信号以例如通知事件的发生。所述音频或视频信号还可以经由音频输出模块153输出,从而显示单元151和音频输出单元153可以被分类为报警单元154的一部分。
触觉模块155生成用户可以感觉到的各种触觉效果。由触觉模块155生成的触觉效果的典型示例是震动。触觉模块155的强度和模式可以被控制。例如,不同的震动可以被组合以输出,或顺序地输出。
除了震动,触觉模块155可以生成各种其它触觉效果,例如:由刺激引起的效果,所述刺激诸如,相对于接触皮肤垂直移动的针装置、通过喷射孔或吸入口的空气喷射力或吸力、对皮肤的接触、电极的接触、静电力等;通过使用能够吸热或生成热的部件来再现冷和热的感觉而引起的效果。
触觉模块155可以被实施为允许用户通过肌觉来感觉触觉效果以及通过直接接触来传递触觉效果,所述肌觉诸如为用户的手指或手臂。根据移动终端100的构造,可以提供两个或更多个触觉模块155。
存储器160可以存储用于由控制器180执行的处理和控制操作的软件程序,或者可以暂时地存储被输入或输出的数据(例如,电话簿、消息、静态图像、视频等)。另外,存储器160可以存储与当触摸被输入到触摸屏时输出的各种模式的震动和音频信号相关的数据。
存储器160可以包括至少一种存储介质,包括闪存、硬盘、多媒体卡微型、卡型存储器(例如,SD存储器、DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘或光盘。而且,移动终端100可以与经由互联网执行存储器160的存储功能的网络存储装置关联地操作。
接口单元170用作与和移动终端100连接的每一个外部装置交互的接口。例如,接口单元可以将数据发送到外部装置,接收电力和发送电力到移动终端100的每一个部件,或者发送移动终端100的内部数据到外部装置。例如,接口单元170可以包括有线或无线耳机端口、外部电源端口、有线或无线数据端口、存储器卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、听筒端口等。
识别模块可以是存储用于对移动终端100的使用权限进行认证的各种信息的芯片,并且可以包括用户识别模块(UIM)、订户识别模块(SIM)、通用订户识别模块(USIM)等。另外,具有识别模块的装置(下文中被称为“识别装置”)可以采用智能卡的形式。因此,识别装置可以经由接口单元170与终端100连接。
当移动终端100与外部支架连接时,接口单元170可以用作允许来自支架的电力提供到移动终端100的路径,或者,可以用作允许由用户从支架输入的各种命令信号传递到移动终端的路径。从支架输入的各种命令信号或电力可以作为用于识别移动终端正确地安装在该支架上的信号而操作。
控制器180典型地控制移动终端的总体操作。例如,控制器180执行与语音呼叫、数据通信和视频呼叫等相关联的控制和处理。控制器180可以包括用于再生多媒体数据的多媒体模块181。多媒体模块181可以在控制器180内构造或者可以与控制器180分离地构造。
控制器180可以执行图案识别处理,从而分别将在触摸屏上执行的手写输入或绘图输入识别为字符或图像。
而且,当移动终端的状态满足预设条件时,控制器180可以执行锁定状态,以限制用户针对应用输入控制命令。并且,基于在处于移动终端的锁定状态中的显示单元151上感测到的触摸输入,控制器180可以控制以锁定状态显示的锁定画面。
电源单元190接收外部电力或内部电力,并且提供用于在控制器180的控制下,操作各个部件和构件所需要的适当的电力。
这里描述的各个实施方式可以以计算机可读介质来实施,或者利用例如软件、硬件或其组合的相似介质来实施。
对于硬件实施,这里描述的实施方式可以使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或用于执行这里描述的功能的电子单元中的至少一个来实施。在一些情形中,可以通过控制器180自身来实现如此的实施方式。
对于软件实施,诸如这里描述的过程或功能这样的实施方式可以由单独的软件模块来实施。每一个软件模块可以执行这里描述的一个或更多个功能或操作。
软件代码可以通过以任何适当的编程语言编写的软件应用来实施。软件代码可以存储在存储器160中并且由控制器180执行。
在下文中,将描述可以通过根据本公开的移动终端100操作的通信系统。
图2A和2B是可利用根据本公开的移动终端100操作的通信系统的概念图。
首先,参考图2A,如此的通信系统可以使用不同的空中接口和/或物理层。由通信系统使用的如此的空中接口的示例包括频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动通信系统(UMTS),UMTS的长期演进(LTE)、全球移动通讯系统(GSM)等。
仅通过非限制示例,进一步的描述将涉及CDMA通信系统,但是该教导等同地应用到包括CDMA无线通信系统的其它通信系统类型。
现在参考图2,CDMA无线通信系统被示为具有多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动切换中心(MSC)280。MSC280被构造为与传统的公用交换电话网(PSTN)290交互。MSC280也被构造为与BSC275交互。BSC275经由回程线路连接到基站270。回程线路可以根据包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL的若干已知接口中的任何接口而被构造。因此,多个BSC275可以被包括在系统中,如在图2A中所示。
每一个基站270可以包括一个或更多个扇区,每一个扇区具有全向天线或在径向地远离该基站270的特定方向上指向的天线。可选地,每一个扇区可以包括两种或更多种不同的天线。每一个基站270可以被构造为支持多个频率分配,每一个频率分配具有特定的频谱(例如,1.25MHz、5MHz等)。
扇区和频率分配的交叉可以被称为CDMA信道。基站270还可以被称为基站收发器子系统(BTS)。在一些情形中,术语“基站”可以被用来统一地指BSC 275和一个或更多个基站270。基站还可以被表示为“蜂窝站”。可选地,给定的基站270的各个扇区可以被称为蜂窝站。
如在图2A中所示的广播发送器(BT)295将广播信号发送到在系统内操作的移动终端100。广播接收模块111(图1)典型地被构造在移动终端100中以接收由BT295发送的广播信号。
图2A进一步地描述了若干个全球定位系统(GPS)卫星300。如此的卫星300促进多个移动终端100中的至少一个的定位。在图2A中描述了两个卫星,但是理解的是,有用的位置信息可以利用比两个卫星更多或更少的卫星来获得。GPS模块115(图1)典型地被构造为与卫星300协作,以获得期望的位置信息。应理解的是,其它类型的位置检测技术(即,除了GPS定位技术或代替GPS定位技术,可以使用的定位技术)可以被可选地实施。如果期望的话,GPS卫星300中的至少一个可以可选地或另外地被构造为提供卫星DMB传输。
在无线通信系统的典型操作期间,基站270从多个移动终端100接收反向链路信号的集合。移动终端100从事电话、发消息和其它通信。由给定的基站270接收的每一个反向链路信号可以在该特定的基站270内被处理。作为结果获得的数据被转发到相关联的BSC275。BSC 275提供调用资源分配和移动性管理功能,包括在基站270之间的软切换的配置。BSC 275还将接收到的数据路由到MSC 280,该MSC 280然后提供用于与PSTN 290交互的另外的路由服务。相似地,PSTN 290与MSC 280交互,MSC 280与BSC 275交互,并且BSC 275进而控制基站270向移动终端100发送前向链路信号的集合。
在下文中,将参考图2B描述用于利用无线保真(WiFi)定位系统(WPS)获取移动终端的位置信息的方法。
WiFi定位系统(WPS)300指的是基于无线局域网(WLAN)的位置确定技术,将WiFi用作用于使用在移动终端100中设置的WiFi模块和用于向该WiFi模块发送和从该WiFi模块接收的无线接入点320跟踪移动终端100的位置的技术。
WiFi定位系统300可以包括WiFi位置确定服务器310、移动终端100、连接到移动终端100的无线接入点(AP)320和存储有任何无线AP信息的数据库330。
WiFi位置确定服务器310基于移动终端100的位置信息请求消息(或信号)提取连接到移动终端100的无线AP 320的信息。无线AP 320的信息可以通过移动终端100被发送到WiFi位置确定服务器310或从无线AP 320发送到WiFi位置确定服务器310。
基于移动终端100的位置信息请求消息而提取的无线AP的信息可以是MAC地址、SSID、RSSI、信道信息、密钥、网络类型、信号强度和噪声强度中的至少一个。
WiFi位置确定服务器310接收如上所述的连接到移动终端100的无线AP 320的信息,并且将接收到的无线AP 320的信息与在预先建立的数据库330中包括的信息比较,以提取(或分析)移动终端100的位置信息。
另一方面,参考图2B,作为示例,连接到移动终端100的无线AP被例示为第一、第二和第三无线AP 320。然而,连接到移动终端100的无线AP的数量可以根据移动终端100所处的无线通信环境而以多种方式改变。当移动终端100连接到无线AP中的一个时,WiFi定位系统300可以跟踪移动终端100的位置。
接着,更加详细地考虑存储有任何无线AP信息的数据库330,设置在不同位置的任何无线AP的各种信息可以被存储在数据库330中。
存储在数据库330中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、密钥、网络类型、纬度和经度坐标、该无线AP所处的建筑物、楼层号、详细的室内位置信息(可用的GPS坐标)、AP所有者的地址、电话号码等。
按照该方式,与任何无线AP相对应的任何无线AP信息和位置信息被一起地存储在数据库330中,并且因此,WiFi位置确定服务器310可以从数据库330中检索与连接到移动终端100的无线AP 320的信息相对应的无线AP信息,以提取与搜索到的无线AP匹配的位置信息,由此提取移动终端100的位置信息。
图3A是这里公开的可穿戴的眼镜型装置(终端)的一个示例性实施方式的前透视图。如在图3A中所示的,根据本公开的可穿戴的眼镜型终端100可以包括主体100'、显示单元151和控制器180。
可穿戴的眼镜型终端100可以进一步包括用户输入单元、语音识别单元和操作感测单元。
这里公开的可穿戴的眼镜型终端100可以被实施到头戴式显示器(HMD),特别是,智能眼镜中。
主体100'可以被安装在头上。例如,在智能眼镜的情形中,主体100'可以由镜框和镜脚实现。
显示单元151可以与主体100'耦接,并且布置在与两个眼睛对应的位置。而且,显示单元151可以是可透光的并且输出视觉信息。
视觉信息指的是可视对象,该可视对象在可穿戴的眼镜型终端100中产生或者从外部装置输入。例如,视觉对象可以指的是应用或与该应用对应的图标、内容、在电话模式中的UI等。视觉对象可以由控制器180生成或者从诸如智能电话的移动终端接收。这里,因为显示单元151是可透光的,所以用户能够通过显示单元151看到外部环境。
而且,在一个示例性实施方式中,显示单元151可以允许用户通过显示单元151看到外部环境,并且同时地输出与构成外部环境的外部对象相关的信息。例如,外部对象可以是名片、人或可相互通信的外部装置。
如前所述,控制器180可以控制可穿戴的眼镜型终端100。详细地,控制器180可以向显示单元151输出与已经被无线通信单元110检测到的外部装置相关的信息。
例如,控制器180可以识别检测到的外部装置的位置。这里,控制器180可以确定检测到的外部装置是否位于用户的视野内,并且根据确定结果来决定是否输出与检测到的外部装置相关的信息。
控制器180还可以被安装到可穿戴的眼镜型终端100的主体100',或者与主体100'一体地形成。作为另一个示例,控制器180可以与主体100'分开。
相机121可以设置在左眼和右眼显示单元151中的至少一个的前表面上。或者,相机121可以设置在框架310的一侧或两侧,以甚至拍摄在用户的视野外的空间。
用户输入单元130可以被实现为在框架310的一侧或两侧的单独的触摸板。或者,用户输入单元130可以被实现为物理键。例如,电源通/断开关可以设置在框架310的一侧。
作为另一个示例,用户输入单元130可以被实现为连接到主体100'的单独的外部装置,使得用户能够将特定的命令输入到单独的外部装置。或者,显示单元151可以被实现为触摸屏以直接地从用户接收控制命令。
作为另一个示例,用户输入单元130可以被实现为用于识别用户的语音命名的模块,使得用户能够通过使用语音向主体100'输入特定命令。
同时,作为可穿戴的眼镜型终端的一个示例,智能眼镜被发行。实现为可穿戴的装置的智能眼镜可以以简单的方式执行已经在移动终端中被执行的功能。
智能眼镜的显示单元151可以同时地通过显示单元151看到的外部环境和输出的视觉信息(即,实现增强的真实感)。这可以使得用户更加容易地识别与构成外部环境的对象相关的信息。
而且,智能眼镜可以执行与其它智能眼镜的无线通信,或者与能够与该智能眼镜通信的外部装置的无线通信。这里,与该外部装置相关的信息可以被输出在显示单元上。图3B是被构造为无线地连接到输入装置和多个输出装置的眼镜型终端的数据输出系统的概念图。眼镜型终端100可以通过无线通信单元110执行与输入装置和多个输出装置的无线信号的发送和接收。
例如,输入装置、多个输出装置和眼镜型终端可以通过蓝牙(BT)和WiFi连接而彼此无线地连接。或者,每一个装置的一些部件可以以有线的方式发送和接收信号。
例如,数据输出系统可以包括具有第一输出单元510和输入单元520的第一装置500以及具有第二输出单元610的第二装置600。第一装置500可以对应于膝上型计算机,该膝上型计算机包括与第一输出单元510对应的屏幕以输出视觉数据以及与输入单元520对应的键盘。第二装置600可以对应于包括用于输出视觉数据的输出单元(或显示单元)的便携式终端。这里,输出视觉数据的便携式终端可以接收用户的触摸输入。即,便携式终端的显示单元还可以用作输入单元。
根据该示例性实施方式,数据输出系统可以包括至少一个输入装置(第一装置500的输入单元520)和至少两个输出装置(第一装置500的输出单元510和第二装置600的输出单元610)。而且,该系统可以包括另外的输出装置和输入装置。
如上所例示的,输入装置和输出装置中的一个可以被构造为电子装置,但是可以不限制于此。为了描述,输出单元和输入单元将被分别定义为输出装置和输入装置。即,在下文中描述的输出装置和输入装置可以被实现在一个产品中。
根据本公开,用户可以在穿戴眼镜型终端的同时使用输入装置来控制输出到输出装置的数据。即,用户可以通过使用输入装置来控制输出到不同的电子装置的输出装置的数据。数据被输出到的装置被定义为由眼镜型终端100的相机121检测到的输出装置。
在下文中,将参考附图详细地描述数据输出系统的输出方法。
图4是例示根据这里公开的一个示例性实施方式的在数据输出系统中包括的眼镜型终端的控制方法的流程图,图5A是例示图4的控制方法的概念视图。
输入单元520和多个输出装置500和600可以无线地连接(S101)。输入单元520和多个输出装置500和600也可以以无线的方式或有线的方式连接。如在图4和5A中所例示的,输出单元510和输入单元520可以对应于一个电子装置的部件。
当眼镜型终端100与输入单元520和多个输出装置500和600连接时,与用户的眼睛邻近地安装的相机121可以检测到输入单元520以及输出装置500和600。即,由相机121检测到的装置可以根据用户的眼线的改变(或用户的眼睛的移动)而改变。控制器可以从多个输出装置中选择已经被相机121检测到的一个输出装置(S102)。
控制器可以向选择的输出装置发送从输入单元520接收到的无线信号(S103)。
参考图5A的(a)和(b),用户可以通过将控制命令施加到输入单元520而输入数据。例如,用户可以按压被构造为键盘的输入单元,以生成用于生成文字的控制命令。用于生成文字的控制命令可以被输出到与键盘一体地形成的第一输出单元510。
这里,根据该示例性实施方式,控制器可以控制无线通信单元110从输入单元520接收与控制命令对应的无线信号。当一个输出装置被相机121选择时,控制器可以控制无线通信单元110向该一个输出装置发送无线信号。
控制器可以分析在由相机121获取的外部环境的图像中包括的对象,并且在无线连接到眼镜型终端100的装置当中,确定与分析的对象匹配的装置的存在或不存在。当没有匹配的装置时,控制器可以将控制命令施加到以有线的方式连接到第一输入单元520或一体地构造在第一输入单元520内的输出单元。
参考图5A的(b)和(c),相机121可以沿着用户的眼睛的移动检测到第二装置600。控制器可以选择第二装置600,并且控制无线通信单元110向第二装置600发送从输入单元520接收到的无线信号。
例如,第二装置600可以包括作为第二输出单元610的显示单元,并且该显示单元可以是触摸感应的。即,第二装置600可以进一步包括输入单元以及第二输出单元610。
第二装置600的第二输出单元610可以基于从眼镜型终端100接收到的无线信号而输出数据。第二装置600可以输出与无线信号相对应的数据以适合于第二输出单元610。即,第一输出单元510和第二输出单元610可以基于施加到第一输入单元520的用户的控制命令而输出不同格式的数据。
根据本公开的数据输入系统可以包括多个输入单元。参考图5A的(a),系统可以包括另外的输入装置(未例示)。例如,另外的输入装置可以对应于连接到第一装置500的鼠标。控制器可以根据通过鼠标生成的控制命令,将无线信号发送到第一装置500或第二装置600,以控制第一输出单元510或第二输出单元610的画面信息。
根据本公开,由相机检测到的输出装置可以通过使用施加到基本上相同的输入装置的用户的控制命令来控制。即,控制命令被施加到的输出装置可以基于用户的眼睛而被选择。这可以允许利用单个输入装置来控制满足用户的意愿的输出装置,而不用单独地选择输出装置。
如上所述,第二装置600可以进一步包括输出单元。在下文中,将参考图5B描述用于在第二装置600上的输入单元620的控制方法,该输入单元620用于根据用户的眼睛的移动控制第三装置。
参考图5B,第二装置600和第三装置700可以彼此交互。第二装置600可以对应于移动终端,第三装置700可以对应于图像显示装置(例如,TV等)。即,图5B例示了如下的情形,即,用户在观看输出到第三装置700的第三输出单元710的图像的同时,操控第二装置600。根据该示例性实施方式的第二装置600的输出单元可以被实施为触摸屏,该触摸屏在输出视觉数据的同时接收用户的触摸输入。即,如果必要的话,第二装置600的输出单元可以通过接收用户的触摸输入而输出软键,该软键被形成以执行预设功能。
参考图5B的(b),控制器可以根据用户的眼睛的移动通过相机检测第三装置700。当第三装置700由相机检测到预设时间t时,控制器可以向第二装置600发送无线信号,以形成第二输入单元620以用于第三装置700的控制。
第二输出单元610的至少一个区域可以被转换为第二输入单元620。第二输入单元620可以包括接收用户的触摸输入的至少一个图形图像。例如,第二输入单元620可以包括用于控制第三装置700的图标。即,第二输入单元620可以包括用于改变输出到第三装置700的频道或调整音量大小的图标。
即,当第三装置700由相机121检测到时,控制器可以接收通过施加到第二输入单元620的触摸输入而被输入的控制命令,并且将接收到的控制命令发送到第三装置700。同时,当第二装置600再次被相机121检测到时,控制器可以允许第二输出单元610通过由施加到第二输入单元620的触摸输入生成的控制命令来控制。
在控制第二输出单元610或第三装置700的同时,第二输入单元620的形式可以被实施为基本上相同的。因此,由相机121检测到的不同的装置可以通过施加到基本上相同的图标的触摸输入来控制。
因此,在无线地彼此通信的输出装置(或构造一个装置的输出单元)当中,一个输入装置(或构造一个装置的输入单元)可以被允许选择性地控制基于用户的眼线而检测到的输出装置。
图6A到6D是例示根据多种示例性实施方式的用于输出数据的控制方法的概念图。
在下文中,将参考图6A描述在其中连续的输入被施加的情形中的控制方法。系统可以包括以无线的方式连接在一起的第一装置500、第二装置600和眼镜型终端100。眼镜型终端100的相机121可以感应(检测)第一装置500和第二装置600中的一个。而且,控制器可以发送通过第一输入单元520输入的数据的无线信号,从而向由相机121感测到的第一输出单元510或第一装置600输出该数据。
如果用户连续地将数据输入到第一输入单元520,则控制器可以控制数据被输出到第一输出单元510,即使当第二装置600被相机121检测到。例如,当控制命令被连续地输入到第一输入单元520时,控制命令可以被施加到第一装置500,即使用户的眼睛从第一装置500移动到第二装置600。
当通过第一装置500执行的控制命令的输入被停止并且第二装置600由于用户的眼线的改变而被相机121检测到时,控制器可以将通过第一输入单元520输入的控制命令将被施加到的对象改变为第二装置600。
根据该示例性实施方式,当用户利用输入单元连续地输入控制命令时,用户的眼线的改变(即,由相机检测到的输出装置的改变)可以不被处理为控制命令将被施加到的装置的改变。这可以导致更加准确地识别用户改变目标装置的意愿。
同时,当连续的输入被停止时,由相机检测到的装置可以被控制。
在下文中,将参考图6B描述在其中连续的输入被停止的情形中的控制方法。如在图6A中所例示的,当用户的控制命令被连续地输入到第一输入单元520时,第一输出单元510可以被控制命令控制,即使第二装置600被相机121检测到。
参考图6B的(b),当停止将控制命令输入到第一输入单元520时,控制器可以将由相机121检测到的装置选择作为控制目标。
在相机121沿着用户的眼睛(或用户的眼线)连续地检测到第二装置600的同时,连续地施加到第一输入单元520的控制命令可以被施加到第一装置500。这里,当连续地施加的控制命令不再被施加时,控制器可以将控制目标从第一装置500改变为第二装置600。即,当另外的控制命令被施加到第一输入单元520时,控制器可以控制无线通信单元110接收与控制命令相关联的无线信号并且将接收到的无线信号发送到第二装置600。
可以基于输入是否被施加到第一输入单元520预设时间t而确定连续地施加的控制命令是否不再被施加。这可以导致更加准确地识别用户的意愿。
在下文中,将参考图6C描述用于激活检测装置的相机的控制方法。如在图6C的(a)中所例示的,在第一装置500、第二装置600和眼镜型终端100彼此交互的同时,相机121可以被持续地关闭。尽管在附图中没有例示出,但是,因为相机121没有检测到任何装置,所以通过第一输入单元520输入的控制命令可以被输出到第一输出单元510,即使用户的眼线改变。
同时,当在第二装置600中接收到事件时,控制器可以激活相机121。即,当在第二装置600中接收到事件时,无线通信单元110可以接收到与事件接收相关联的无线信号,并且控制器可以基于该无线信号而激活相机121。
响应于相机121的激活,控制器可以控制无线通信单元110向由相机121检测到的装置发送与通过第一输入单元520输入的控制命令相关联的无线信号。
根据该示例性实施方式,尽管多个装置彼此交互,但是,如果根据用户的眼睛的移动来改变控制命令将被施加到的目标装置不是必要的,则相机可以被去激活以降低功耗。
然而,本公开可以不限制于此。例如,在第一装置500、第二装置600和眼镜型终端100彼此交互或者用户输入控制命令的同时,相机121可以保持在打开状态中。或者,相机121可以由用户人工地打开或关闭,或者重复地打开或关闭预设的短时间间隔。
在下文中,将参考图6D描述用于将存储在眼镜型终端中的数据输出到选择的输出装置的控制方法。根据控制命令,控制器可以控制存储器160存储与眼镜型终端无线连接的装置的数据的一部分。
例如,基于输入到第一输入单元520的COPY(拷贝)控制命令,控制器可以接收以无线信号的形式输出到第一输出单元510的数据的一部分,并且将数据的接收到的所述一部分存储在存储器160中。根据用户的控制命令,存储器160可以暂时地存储数据,或者将数据持续地存储在预设空间中。
参考图6D的(a),当通过第一装置500的第一输入单元520施加用于拷贝输出到第一输出单元510的数据的至少一部分的控制命令时,控制器可以接收该控制命令并且控制存储器160存储数据的所述至少一部分。
即,第一装置500可以将与基于该控制命令而被拷贝的数据相关联的无线信号发送到眼镜型终端100。眼镜型终端100可以接收该无线信号,并且将接收到的无线信号暂时地存储在存储器160中。同时,第一装置500可以将选择的数据发送到眼镜型终端100,并且还将选择的数据存储在第一装置500内的单独的存储空间中。
参考图6D的(b),控制器可以基于施加到第一输入单元520的PASTE(粘贴)控制命令而输出选择的数据。控制器可以发送无线信号,使得数据能够被输出到由相机121检测到的输出装置。
例如,当第二装置600被相机121检测到时,控制器可以控制无线通信单元110向第二装置600发送与存储的数据相关联的无线信号。在接收到无线信号时,第二装置600可以将数据输出到输出单元(或显示单元)。
当特定的应用在第二装置中执行并且该应用的执行画面被输出到第二装置600的输出单元(或显示单元)时,第二装置600的输出单元(或显示单元)可以在该执行画面上输出数据。
根据该示例性实施方式,在眼镜型终端100中包括的存储器可以执行干预功能,该干预功能可以使得需要暂时存储空间的控制命令被选择性地施加到不同的装置。
图7A到7C是例示利用在显示单元上输出的指示符的系统的控制方法的概念图。
在下文中,将参考图7A描述用于输出指示与检测到的装置相关的信息的指示符的控制方法。控制器可以按照分析由相机121检测到的外部环境的方式确定控制命令将被施加到的一个装置。例如,当仅第一装置500被相机121检测到时,控制器可以将该第一装置确定为与控制命令相关联的无线信号将被发送到的目标。
当第一装置500被检测到时,控制器可以识别第一装置500的类型,并且控制显示单元151在其上输出第一指示符11。第一指示符11可以包括与第一装置500相关的信息。例如,第一指示符11可以对应于指示第一装置500的字符、图像等。图7A例示形式为指示第一装置500的字符的第一指示符11,但是第一指示符11可以进一步包括另外的信息。例如,第一指示符11可以进一步包括与第一装置500的类型相关的信息、标识信息、用户信息、当前有效/无效状态等。
第一指示符11可以被输出为半透明的图像,并且与通过眼镜型终端100观看的实际外部环境重叠。即,沿着眼睛的移动,用户能够同时地观看连续地输出的第一指示符11和外部环境。
而且,当响应于眼睛的移动检测到第二装置600时,控制器可以控制显示单元151将第一指示符11改变为与第二装置600相关联的第二指示符12。第二指示符12可以包括与第二装置600相关的信息。
尽管未例示,但是当第一装置500和第二装置600两者都被相机121检测到时,控制器可以输出第一指示符11和第二指示符12两者。而且,当第一装置500的一部分和第二装置600的一部分被同时检测到时,控制器可以将具有更大的被检测到的区域的装置选择为控制命令将被施加的目标装置。在该情形中,控制器可以控制显示单元输出与所选择的装置相关联的指示符。
指示符可以使得用户识别已经被选择为通过输入单元输入的控制命令被施加到的装置。
在下文中,将参考图7B描述进一步采用用于控制检测到的装置的输入单元的控制方法。在第二装置600和第三装置700彼此无线连接的同时,第二装置600可以包括第二输出单元610和第三输入单元630。第二输出单元610和第三输入单元630可以形成在接收用户的触摸输入的触摸屏上。即,第三输入单元630可以被实现为接收用户的触摸输入的虚拟键盘或软键。与第二输出单元610相对应的触摸屏上的一个区域也可以被形成为接收用户的触摸输入。
图7B例示了如下的状态,其中,第二装置600的第二输出单元610和第三输入单元630被输出,并且图像被输出在无线地连接到第二装置600的第三装置700上。
参考图7B的(b),根据用户的眼睛的移动,通过相机121可以检测到第三装置700。
参考图7B的(b)和(c),当第三装置700被检测到时,控制器可以控制显示单元输出与第三装置700相关联的第三指示符13。控制器还可以控制相机121检测定位为与第三指示符13重叠的用户的姿势。例如,如果被布置为以用户的视角与第三指示符13重叠的用户的手被定位在与显示单元151相距的预设间隔处,则控制器可以将用户的手识别为施加到第三指示符13的控制命令。
参考图7B的(d),基于施加到第三指示符13的用户的姿势,控制器可以将控制第三装置700所需要的第三输入单元630控制为形成在第二装置600的显示单元上。第三输入单元630可以被实现为用于控制第三装置700的图标的形式。即,控制器可以控制无线通信单元从第三装置700接收用于控制第三装置700所需要的信息,并且将该信息发送到第二装置600。第三装置700的控制所需要的信息可以对应于与和第三装置700的至少一个功能相对应的图形图像和与该图形图像相对应的控制命令相关的信息。
第二装置600的显示单元可以在预设区域上输出用于控制第三装置700的第三输入单元630。第三输入单元630可以接收施加到显示单元的用户的触摸输入,并且第二装置600可以基于用户的触摸输入而生成用于控制第三装置700的控制命令。第二装置600可以向第三装置700发送与控制命令相关联的无线信号。
同时,参考图7B的(b)和(d),当第三装置700被相机121检测到时,控制器可以控制无线通信单元110接收与用于控制第三装置700的控制命令相关的信息。即,与在图7B的(c)中所例示的输入姿势到第三指示符13的步骤无关,眼镜型终端100的控制器可以向第二装置600发送与控制命令相关的信息。
第三输入单元630的形状(或形式)可以不限制于所例示出的一个。例如,第三输入单元630可以具有与第二输入单元620基本上相同的形状。而且,仅第三装置700可以响应于施加到第二输入单元620的触摸输入而被控制,并且第二装置600的控制可以被限制。
尽管没有例示,但是,除了图像显示装置,第三装置700还可以实现为各种装置,并且针对所述各种装置,第三输入单元630可以被实现为不同的形状。
根据该示例性实施方式,可以提供应用到响应于用户的眼睛的移动而被检测到的装置的输入单元。而且,因为输入单元通过输出到触摸屏的软键来实现,所以用户可以被提供根据检测到的装置生成不同的控制命令的输入单元。
在下文中,将参考图7C描述用于根据由相机检测到的装置输出游标的控制方法。
如在图7C的(a)中所例示的,第一装置500可以连接到输入装置530。例如,第一装置500可以对应于鼠标、触笔等。第一装置500的第一输出单元510可以基于通过输入装置530施加的控制信号而输出游标。游标可以被输出到与输入装置530的移动相对应的位置。
当第一装置500由相机121检测到时,根据输入装置530的移动,控制器可以控制游标被输出在第一输出单元510内。这里,由相机121检测到的第一装置500和第二装置600的形状可以是完整的形状或局部的形状。
参考图7C的(b),当第一装置500和第二装置600由相机121检测到时,控制器可以控制输入装置530选择第一装置500和第二装置600中的一个。而且,基于输入装置530的移动,第二装置600的显示单元可以输出游标。在该情形中,输出到第一输出单元510的游标可以消失。
如所例示的,游标可以以分割的方式被部分地输出到第一装置500和第二装置600。即,当第一装置500和第二装置600两者都由相机121检测到时,控制器可以将第一输出单元510和显示单元限定为连续的输出区域。
第四装置800也可以被设置为与第一装置500相邻。即,第二装置600和第四装置800可以分别被布置为与第一装置500的左侧和右侧相邻,并且可以彼此无线地连接。
尽管没有详细地例示,但是,当彼此相邻的第一装置500、第二装置600和第四装置800由相机121检测到时,控制器可以接收与输入装置530的移动的位置相关的信息,并且根据移动的位置相关的信息,控制第一装置500、第二装置600和第四装置800中的每一个分别地输出游标。
然而,控制器可以不向定位为彼此相邻但是还没有彼此无线地连接的装置以及还没有由相机121检测到的装置发送通过输入装置530输入的控制命令。
因此,当多个装置被相机检测到时,用户可以不仅根据眼线的改变来选择控制命令被施加到的装置,而且还可以通过识别游标的连续输出来更加正确地向期望的装置输入控制命令。
图8A到8C是例示用于将输出单元的数据输出在显示单元上的控制方法的概念图。
在下文中,将参考图8A描述根据一个示例性实施方式的用于输出数据的控制方法。如在图8A的(a)中所例示的,第一输出单元510可以输出第一图标30,该第一图标30接收用于将数据输出到显示单元的控制命令。
当控制命令被输入到第一图标30时,第一装置500可以将显示在第一输出单元510上的数据转换为图像形式。眼镜型终端100的控制器180可以接收与成像的数据相关联的无线信号。即,第一装置500可以捕获输出到第一输出单元510的数据的至少一部分。第一装置500可以将捕获的图像存储在存储空间中以及将捕获的图像发送到眼镜型终端100。
同时,控制器可以通过接收施加到第一图标30的控制命令而控制相机121。即,当眼镜型终端100接收到控制命令时,控制器180可以控制相机121拍摄当前的外部环境。即,成像的数据22可以对应于由相机121获得的照片。
控制器180还可以控制显示单元输出图像数据22。成像的数据22可以被输出为半透明的。即,用户可以被提供与外部环境重叠的成像的数据22。
参考图8A的(b),控制器可以控制显示单元151以连续的方式输出成像的数据22,即使当响应于用户的眼睛的移动,另外的装置被相机121检测到时。
第二指示符12也可以被输出为与成像的数据22重叠。这可以使得用户识别数据的源。
根据该示例性实施方式的眼镜型终端可以单独地输出正在同时地使用多个装置的用户所需要的信息。因此,用户能够在根据眼睛的移动控制其它装置的同时,连续地被提供需要的信息。
在下文中,将参考图8B描述用于将数据的一部分输出到显示单元的控制方法。如在图8B的(a)中所例示的,第一装置500的第一输出单元510可以输出用于编辑输出到第一输出单元510的数据的一部分的列表。这里,数据的所述一部分可以对应于图像、视频、所选择的文字等。该列表可以基于施加到数据的所述一部分的预设控制命令而被输出。该列表可以包括第二图标31,该第二图标31用于将数据的所述一部分输出到眼镜型终端100。例如,所述预设控制命令可以对应于鼠标的右击。
基于施加到第二图标31的用户的控制命令,第一装置500可以将数据的所述一部分成像,并且将成像的数据的所述一部分存储在单独的存储空间中。眼镜型终端100的控制器180可以接收与成像的数据的所述一部分相关联的无线信号。控制器180可以控制显示单元输出数据的一部分23。数据的所述一部分23可以通过显示单元以半透明的状态输出,从而与外部环境重叠。
参考图8B的(a),在相机121沿着用户的眼睛的移动(改变)检测到另外的装置的同时,控制器可以控制显示单元连续地输出数据的所述一部分23。
参考图8B的(c),即使当另外的画面信息通过施加到第一装置500的控制命令而被输出到第一装置500时,控制器也可以控制显示单元连续地输出数据的所述一部分23。
即,用户可以在接收另外的画面信息的同时被连续地提供所选择的数据,而不用必须记忆或单独地存储期望的数据。
在下文中,将参考图8C描述用于将显示在显示单元上的数据输出到输出装置的控制方法。
在数据的所述一部分23被输出到显示单元151的同时,控制器可以接收与施加到第一输入单元520的控制命令相关联的无线信号。当接收到无线信号时,控制器可以识别由相机121检测到的装置。
眼镜型终端100的控制器180可以控制无线通信单元110向由相机121检测到的装置发送控制命令。
例如,由相机121检测到的装置可以对应于第二装置600。而且,基于施加到第一输入单元520的控制命令,控制器可以控制第二装置600粘贴暂时存储的数据。即,控制器可以控制无线通信单元110发送用于将数据的所述一部分23输出(或粘贴)到第二装置600的显示单元的粘贴(PASTE)控制命令,并且发送与数据的所述一部分23相关联的无线信号。
当数据的所述一部分响应于施加到第一输入单元520的触摸输入而被输出到第二装置600时,控制器180可以控制显示单元151限制已经在显示单元上输出的数据的所述一部分的输出。
当第一装置500和第二装置600两者被同时地观看时,控制器可以控制显示单元151输出数据的所述一部分。显示单元151可以输出图像的所述一部分23,直到当接收到粘贴相关控制命令时。
图9A到9D是例示基于施加到可穿戴的眼镜型装置的用户姿势的控制方法的概念图。
在下文中,将参考图9A描述通过施加到眼镜型终端的触摸输入执行的控制方法。根据该示例性实施方式,接收到用户的触摸输入的触摸感测单元可以形成在眼镜型终端100的主体100'的一侧。参考图9A的(a),控制器180可以通过感测施加到主体100'的用户的触摸来激活触摸感测模式。例如,当用户期望的触摸没有被施加时,控制器可以将触摸感测模式保持在无效状态。例如,用于激活触摸感测模式的触摸可以对应于施加到眼镜型终端的镜脚持续预设时间的长触摸输入。
眼镜型终端100的控制器180可以将在已经由相机121检测到的输出装置上显示的数据的至少一部分输出到显示单元151。例如,当触摸输入被施加到主体100'时,如果第一装置500被相机121检测到,则控制器180可以控制无线通信单元110接收与输出到第一装置500的第一输出单元510的数据相关联的无线信号。数据可以对应于输出到第一输出单元510的画面信息或该画面信息的所选择的一部分。
当与数据相关联的无线信号被从第一装置500接收到时,控制器180可以控制显示单元151输出数据的一部分23。数据的所述一部分23可以被输出为半透明的。
控制器180还可以控制存储器160(暂时地)存储数据的所述一部分23。在该情形中,控制器180还可以控制显示单元输出第四指示符24,该第四指示符24指示数据的所述一部分23已经被存储。
这里,施加到主体100'的触摸输入可以对应于在沿着眼镜型终端的镜脚的延伸形状的一个方向上施加的连续的触摸输入。而且,为了将数据存储在存储器160中,在主体100'上触摸的用户的手指的形状可以由用户设置。图9A例示了三个手指触摸主体,但是本公开可以不限制于该示例。
参考图9A的(c),控制器180可以基于施加到主体100'的另一触摸输入而形成用于将存储的数据23粘贴到输出装置的控制命令。而且,当另一触摸输入被施加到主体100'时,控制器可以向由相机121检测到的装置发送用于输出该数据的无线信号。
即,在第二装置600由于用户的眼睛的移动而被相机121检测到的同时,如果另一触摸输入被施加到主体100',则控制器可以控制无线通信单元110向第二装置600发送数据23以及与用于粘贴该数据的控制命令相关联的无线信号。
因此,第二装置600可以向其输出单元输出数据23。
这里,所述另一触摸输入可以对应于与在图9A的(b)中例示的触摸输入相反地移动的连续触摸输入。而且,施加用于粘贴数据的触摸输入的方法可以不限制于所例示的方法。
而且,通过施加到主体100'的触摸输入而生成的控制命令可以不限制于COPY(拷贝)和PASTE(粘贴),但是各种控制命令可以通过用户设置来限定。同时,眼镜型终端100可以通过用户的姿势以及可接触的触摸输入来形成控制命令。
在下文中,将参考图9B和9C描述用于通过感测用户姿势来控制眼镜型终端的方法。
在图9B中所例示的眼镜型终端可以检测位于显示单元151上的用户的手的姿势。例如,控制器180可以分析由相机121检测到的手的姿势,或者,终端100可以进一步包括感测手势的传感器。
图9B的(a)例示了利用相机121对外部环境进行成像的状态。控制器可以检测位于显示单元151上的手的姿势。
控制器可以基于该姿势而设置焦点。例如,控制器可以通过将以与外部环境重叠的方式被感测到的用户的手指的指尖所处的区域限定为所述焦点来对外部环境成像。
参考图9C,控制器180可以基于姿势而控制相机121被缩小或放大。
参考图9C的(a)和(b),控制器180可以通过感测两个手指移动为彼此靠近的姿势而控制相机121缩小对象。参考图9C的(b)和(c),控制器180可以通过感测两个手指移动为彼此远离的姿势而控制相机121放大对象。
即,用户可以在相机是激活的同时利用手势通过期望的方法来拍摄图像。而且,拍摄的图像可以被输出到由相机检测到的另一装置。
在下文中,将参考图9D描述用于将拍摄的图像输出到由相机检测到的输出装置的控制方法。图9D的(a)例示了利用在眼镜型终端100中包括的相机121对外部环境进行成像的状态。
参考图9D的(b)和(c),控制器180可以将通过相机121获得的图像存储在眼镜型终端100的存储器160中。而且,在获得图像之后,由相机121检测到的输出装置可以输出该图像。
即,当输出装置被相机121检测到持续预设时间时,控制器180可以控制无线通信单元110向该输出装置发送与该图像相关联的无线信号。
尽管未例示,但是,在接收到无线信号时,输出装置可以存储该图像并且输出用于核对是否输出该图像的窗口。
当无线信号被接收到时,输出装置可以存储该图像,并且执行与该图像的存储空间相对应的应用。即,当输出装置连续地被相机121检测到时,眼镜型终端100的控制器可以发送用于执行与存储图像的存储空间相对应的应用的控制命令。
即,因为允许将存储的数据向由相机121检测到的输出装置发送以输出该数据,所以用户能够向另一装置发送数据,并且还能够在不需要单独的存储步骤的情况下利用另一装置输出数据。
图10是例示用于通过在装置之间的无线连接来自动地执行用户认证的控制方法的概念图。
如在图10的(a)中所例示的,相机121可以检测到包括至少一个装置的外部环境。控制器180可以分析由相机121检测到的外部环境,并且控制显示单元151输出包括当前的位置信息的第五指示符15。在第五指示符15中包括的信息可以由用户预设。
根据该示例性实施方式的系统可以包括第五装置900。例如,第五装置900可以对应于被穿戴在用户的手腕上的表型终端。基于用户的控制命令,第五装置900可以无线地连接到第一装置500、第二装置600和眼镜型终端100。而且,穿戴在用户的身体上的眼镜型终端100和第五装置900可以无线地彼此连接。
参考图10的(b),当输入装置530和第五装置900被布置为彼此相邻并且无线地连接时,输入装置530可以基于在第五装置900中存储的用户特有的信息而执行用户认证过程。当第五装置900的用户被输入装置530认证为与预设用户相同时,系统可以将第一装置500和第二装置600无线地连接到眼镜型终端100。
即,用户可以不必利用密码等执行认证过程以用于将眼镜型终端100连接到第一装置500和第二装置600。
而且,控制器180可以控制显示单元输出第五指示符16,该第五指示符16包括指示眼镜型终端100与第一装置500和第二装置600已经无线地连接的信息。
参考图10的(c),当第二装置600被相机121沿着用户的眼睛的移动检测到时,控制器180可以控制显示单元151输出第七指示符17,该第七指示符17包括指示将输出数据的目标已经改变为第二装置600的信息。
例如,当改变的装置响应于用户的眼睛的移动被相机121检测到持续预设时间(例如,大约2秒到5秒)时,控制器可以改变数据将被输出到的目标装置。
因此,借助于指示符,可以促使使用多个装置的用户改变目标装置,并且识别控制命令将被施加到的装置。
在前述实施方式中的眼镜型终端和包括该眼镜型终端的数据输出系统的构造和方法可以不被限制地应用,但是如此的实施方式可以通过所述实施方式的一部分或全部的选择性的组合来构造,以实现很多变型。
因为在不脱离本发明的特征的情况下,本发明可以以各种形式具体体现,所以还应该理解的是,上述实施方式不被前面描述中的任何具体内容所限制,除非另外指明,否则应该被广泛地解释为在由随附权利要求书所限定的范围内,并且因此落入权利要求书的边界和界限或者该边界和界限的等效物内的所有改变和修改都应该被随附权利要求书所覆盖。

Claims (16)

1.一种可穿戴的眼镜型终端,该终端包括:
无线通信单元;
相机;以及
控制器,所述控制器被构造为:
经由所述无线通信单元从外部输入装置接收第一输入信息;
经由通过所述相机拍摄的图像数据识别多个外部输出装置中的第一外部输出装置;
经由所述无线通信单元向所述第一外部输出装置发送所述第一输入信息;
在向所述第一外部输出装置发送所述第一输入信息的状态下,经由通过所述相机拍摄的图像数据识别所述多个外部输出装置中的第二外部输出装置;
在识别出所述第二外部输出装置之后,经由所述无线通信单元从所述外部输入装置接收第二输入信息;
确定是否在预定时间内接收到所述第一输入信息和所述第二输入信息;
当在预定时间内接收到所述第一输入信息和所述第二输入信息时,向所述第二外部输出装置发送所述第二输入信息;以及
当在预定时间内没有接收到所述第一输入信息和所述第二输入信息时,向所述第一外部输出装置发送所述第二输入信息。
2.根据权利要求1所述的终端,其中,所述控制器被进一步构造为在接收到所述第一输入信息的同时发送所述第一输入信息。
3.根据权利要求1所述的终端,所述终端进一步包括存储器,其中,所述控制器被进一步构造为使得所述存储器存储所述第一外部输出装置的输出,所述输出是基于所述第一输入信息的。
4.根据权利要求1所述的终端,其中,所述控制器被进一步构造为:当在所述第一外部输出装置接收到事件时,激活所述相机以拍摄所述第一外部输出装置的输出。
5.根据权利要求1所述的终端,所述终端进一步包括触摸传感器,其中,所述控制器被进一步构造为:响应于通过所述触摸传感器检测到的第一触摸输入,经由所述无线通信单元向所述第一外部输出装置发送控制命令。
6.根据权利要求5所述的终端,所述终端进一步包括存储器,其中,所述控制器被进一步构造为:
使得所述存储器存储由所述第一外部输出装置响应于所述第一触摸输入而输出的画面信息;
经由通过所述相机拍摄的图像数据识别所述多个外部输出装置中的所述第二外部输出装置;以及
响应于由所述触摸传感器检测到的第二触摸输入,向所述第二外部输出装置发送与存储的画面信息相关的信息。
7.根据权利要求1所述的终端,所述终端进一步包括显示器,所述显示器被构造为允许用户通过所述显示器观看真实世界的对象,其中,所述控制器被进一步构造为使得所述显示器显示与识别的所述第一外部输出装置相对应的指示符。
8.根据权利要求1所述的终端,所述终端进一步包括显示器,所述显示器被构造为允许用户通过所述显示器观看真实世界的对象,其中,所述控制器被进一步构造为使得所述显示器显示所述第一输入信息。
9.根据权利要求1所述的终端,其中,所述控制器被进一步构造为经由所述无线通信单元向所述第一外部输出装置发送与通过所述相机拍摄的图像相关联的数据。
10.根据权利要求9所述的终端,其中,所述控制器被进一步构造为响应于通过所述相机拍摄的手势而发送所述数据。
11.一种数据输出系统,该系统包括:
多个输出装置;
输入装置;以及
眼镜型终端,所述眼镜型终端被构造为被穿戴在用户的脸部,并且所述眼镜型终端包括:
无线通信单元;
相机,所述相机被构造为拍摄与所述用户的观看方向相对应的图像数据;以及
控制器,所述控制器被构造为:
经由所述无线通信单元从所述输入装置接收第一输入信息;
经由通过所述相机拍摄的图像数据识别所述多个输出装置中的第一输出装置;
经由所述无线通信单元向所述第一输出装置发送所述第一输入信息;
在向所述第一输出装置发送所述第一输入信息的状态下,经由通过所述相机拍摄的图像数据识别所述多个输出装置中的第二输出装置;
在识别出所述第二输出装置之后,经由所述无线通信单元从所述输入装置接收第二输入信息;
确定是否在预定时间内接收到所述第一输入信息和所述第二输入信息;
当在预定时间内接收到所述第一输入信息和所述第二输入信息时,向所述第二输出装置发送所述第二输入信息;以及
当在预定时间内没有接收到所述第一输入信息和所述第二输入信息时,向所述第一输出装置发送所述第二输入信息。
12.根据权利要求11所述的系统,其中,所述控制器被进一步构造为:经由所述无线通信单元向所述输入装置发送与控制所述第一输出装置相关的控制信息。
13.根据权利要求12所述的系统,其中,所述输入装置包括触摸屏,所述触摸屏被构造为显示用于基于所述控制信息而控制所述第一输出装置的输入界面。
14.根据权利要求12所述的系统,其中,
至少所述第一输出装置或所述第二输出装置基于通过所述控制器当前识别的输出装置而显示游标。
15.根据权利要求12所述的系统,其中,所述控制器被进一步构造为:响应于针对由所述第一输出装置显示的图标的控制命令,经由所述无线通信单元从所述第一输出装置接收画面信息。
16.根据权利要求15所述的系统,其中,所述眼镜型终端进一步包括显示器,并且所述控制器被进一步构造为使得所述显示器显示所述画面信息。
CN201410436818.8A 2013-08-30 2014-08-29 可穿戴的眼镜型终端及其控制方法、具有该终端的系统 Active CN104423580B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130104320A KR102100911B1 (ko) 2013-08-30 2013-08-30 안경형 단말기와 이를 포함하는 시스템 및 안경형단말기의 제어방법
KR10-2013-0104320 2013-08-30

Publications (2)

Publication Number Publication Date
CN104423580A CN104423580A (zh) 2015-03-18
CN104423580B true CN104423580B (zh) 2019-03-01

Family

ID=51417131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410436818.8A Active CN104423580B (zh) 2013-08-30 2014-08-29 可穿戴的眼镜型终端及其控制方法、具有该终端的系统

Country Status (4)

Country Link
US (1) US9442689B2 (zh)
EP (1) EP2843508B1 (zh)
KR (1) KR102100911B1 (zh)
CN (1) CN104423580B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160316249A1 (en) * 2014-07-31 2016-10-27 Ashcorp Technologies, Llc System for providing a view of an event from a distance
KR102352172B1 (ko) * 2015-04-08 2022-01-17 삼성전자주식회사 전자 장치들의 연동 방법 및 장치
CN106412384A (zh) * 2015-07-31 2017-02-15 展讯通信(上海)有限公司 一种视频处理系统
CN105183156B (zh) * 2015-08-31 2019-03-12 小米科技有限责任公司 屏幕控制方法及装置
US10871821B1 (en) * 2015-10-02 2020-12-22 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
US10825058B1 (en) * 2015-10-02 2020-11-03 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
KR102400900B1 (ko) * 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
CN105867601A (zh) * 2015-12-07 2016-08-17 乐视致新电子科技(天津)有限公司 可穿戴设备的控制方法、装置及终端
US9690534B1 (en) 2015-12-14 2017-06-27 International Business Machines Corporation Wearable computing eyeglasses that provide unobstructed views
US10223061B2 (en) 2015-12-17 2019-03-05 International Business Machines Corporation Display redistribution between a primary display and a secondary display
CN107924239B (zh) * 2016-02-23 2022-03-18 索尼公司 遥控系统、遥控方法和记录介质
US9779735B2 (en) * 2016-02-24 2017-10-03 Google Inc. Methods and systems for detecting and processing speech signals
CN106101637A (zh) * 2016-07-12 2016-11-09 姜正红 一种在虚拟环境中实现多界面显示及功能操作的视觉系统
CN106023578A (zh) * 2016-07-14 2016-10-12 广州视源电子科技股份有限公司 可穿戴设备及家居设备的控制方法
KR102635050B1 (ko) 2016-07-20 2024-02-08 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
DE102017102704A1 (de) * 2017-02-10 2018-08-16 Visteon Global Technologies, Inc. Anzeigesystem für eine Frontscheibe und Verfahren zum Konfigurieren des Anzeigesystems
CN107024991A (zh) * 2017-04-13 2017-08-08 长沙职业技术学院 一种基于物联网的眼镜系统
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
CN108089326B (zh) * 2018-02-01 2023-12-26 北京七鑫易维信息技术有限公司 一种适配于与眼镜使用的装置
EP3788434A4 (en) * 2018-05-01 2022-04-27 Snap Inc. IMAGE CAPTURE GLASSES WITH AUTOMATIC TRANSMISSION
JP6953354B2 (ja) * 2018-05-24 2021-10-27 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
KR20210063928A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
EP4339873A1 (en) * 2021-11-09 2024-03-20 Samsung Electronics Co., Ltd. Method and device for providing contents related to augmented reality service between electronic device and wearable electronic device
US20230266817A1 (en) * 2022-02-23 2023-08-24 International Business Machines Corporation Gaze based text manipulation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100284A2 (en) * 2010-02-12 2011-08-18 Drew Incorporated Tactical vision system
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US7761119B2 (en) * 2006-07-05 2010-07-20 Kyocera Corporation Signal strength annunciators for multi-mode wireless communication devices
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
KR20130067902A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 안경형 이동 통신 단말 장치
US9383919B2 (en) * 2012-01-06 2016-07-05 Google Inc. Touch-based text entry using hidden Markov modeling
CN104106039A (zh) 2012-02-15 2014-10-15 索尼爱立信移动通讯股份有限公司 由用户注视确定的触摸板的功能
US20130219272A1 (en) * 2012-02-22 2013-08-22 International Business Machines Corporation Monitoring and guiding user input among multiple computer program user interfaces
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
JP2015014995A (ja) * 2013-07-08 2015-01-22 桑原 雅人 表示装置、表示方法、プログラム及び表示システム
KR102056221B1 (ko) * 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100284A2 (en) * 2010-02-12 2011-08-18 Drew Incorporated Tactical vision system
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Also Published As

Publication number Publication date
CN104423580A (zh) 2015-03-18
EP2843508B1 (en) 2018-10-10
KR102100911B1 (ko) 2020-04-14
US20150061969A1 (en) 2015-03-05
EP2843508A1 (en) 2015-03-04
US9442689B2 (en) 2016-09-13
KR20150026027A (ko) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104423580B (zh) 可穿戴的眼镜型终端及其控制方法、具有该终端的系统
EP3096506B1 (en) Watch-type mobile terminal and method of controlling therefor
CN103973840B (zh) 移动终端
CN103997564B (zh) 移动终端和控制移动终端的方法
CN104423573B (zh) 显示装置及其操作方法
CN104423878B (zh) 显示装置以及控制该显示装置的方法
US9491279B2 (en) Mobile terminal equipped with touch screen and method of controlling therefor
US10664158B2 (en) Mobile terminal and method for controlling the same
CN104427372B (zh) 可佩戴的手表式终端和装备有可佩戴的手表式终端的系统
CN104111772B (zh) 移动终端及其控制方法
CN104049740A (zh) 移动终端及其控制方法
US20120257795A1 (en) Mobile terminal and image depth control method thereof
US20160328021A1 (en) Terminal of eye-glass type and method for controlling terminal of eye-glass type
CN106155494B (zh) 移动终端及其控制方法
CN104580576A (zh) 手表型移动终端及其控制方法
CN106303406A (zh) 移动终端
KR102135365B1 (ko) 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
CN103942040B (zh) 移动终端及其控制方法
CN106201391A (zh) 移动终端系统及其控制方法
CN106612371A (zh) 移动终端
CN105359084A (zh) 显示装置及其控制方法
CN107770363A (zh) 移动终端
CN106796485A (zh) 移动终端及其控制方法
US20190370779A1 (en) Mobile terminal
US10271035B2 (en) Glasses type terminal and system including glasses type terminal and signage

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant