CN105359084B - 显示装置及其控制方法 - Google Patents

显示装置及其控制方法 Download PDF

Info

Publication number
CN105359084B
CN105359084B CN201380077986.6A CN201380077986A CN105359084B CN 105359084 B CN105359084 B CN 105359084B CN 201380077986 A CN201380077986 A CN 201380077986A CN 105359084 B CN105359084 B CN 105359084B
Authority
CN
China
Prior art keywords
wearer
display device
touch
input
control command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380077986.6A
Other languages
English (en)
Other versions
CN105359084A (zh
Inventor
宋知映
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105359084A publication Critical patent/CN105359084A/zh
Application granted granted Critical
Publication of CN105359084B publication Critical patent/CN105359084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了一种显示装置和用于控制其的方法。所述显示装置包括:主体,该主体被形成为可安装至佩戴者的头部,并且具有用于感测触摸输入的触摸传感器;显示单元,该显示单元在与双眼相对应的位置处连接至所述主体,并且被配置为输出可视信息;以及控制器,该控制器被配置为,基于包括佩戴者的生物信号的生物信息,来确定并执行与所述触摸输入相对应的控制命令。

Description

显示装置及其控制方法
技术领域
本发明涉及显示装置,并且更具体地说,涉及可安装至佩戴者的头部的显示装置及其控制方法。
背景技术
随着信息社会的快速发展,加重了能够实现具有现实感的画面的显示装置的重要性。例如,研究了头戴式显示(HMD)装置。
HMD装置主要被实现为安全护目镜或头盔。一旦用户佩戴该HMD装置,该用户就可以看到他或她眼睛前方的画面。HMD装置已经被开发用于实现虚拟现实感。诸如液晶显示器的小型显示器被安装在接近佩戴者双眼的HMD装置处,以使可以将图像投射至该显示器。近来,HMD装置被广泛开发用于空间开发中心、反应堆建筑物、军事机构以及医疗机构,用于商业用途或游戏等。
由于这种改进,因而,市场上呈现了智能眼镜(HMD装置的一个示例)。被实现为可佩戴装置的智能眼镜便利地执行在现有移动终端中执行的功能。
然而,智能眼镜具有下列问题。
首先,不同于诸如智能电话和笔记本计算机的其它终端,智能眼镜具有非常有限的输入装置。而且,经由输入装置输入的话音因外部噪声而无法完全识别。此外,无法保护佩戴者的隐私,因为第三方可能听到佩戴者的输入话音。
发明内容
问题的解决方案
因此,本发明的一个目的是,提供一种能够通过执行根据各种触摸输入的控制命令来增强用户的便利性的显示装置,及其控制方法。
为实现这些和其它优点并且根据本发明的目的,如在此具体实施和广泛描述的,提供了一种显示装置,该显示装置包括:主体,该主体被形成为可安装至佩戴者的头部,并且具有用于感测触摸输入的触摸传感器;显示单元,该显示单元在与双眼相对应的位置处连接至所述主体,并且被配置为输出可视信息;以及控制器,该控制器被配置为,基于包括佩戴者的生物信号的生物信息,来确定并执行与所述触摸输入相对应的控制命令。
在一实施方式中,在所述触摸输入被施加至所述显示装置的情况下,所述控制器可以基于输出至所述显示单元的可视信息,来确定并执行与所述触摸输入相对应的控制命令。
在一实施方式中,所述控制器可以确定并执行与多个连续触摸输入相对应的控制命令。
在一实施方式中,所述控制器可以利用与所述触摸输入相对应的控制命令来释放休眠模式。
在一实施方式中,所述控制器可以利用与所述触摸输入相对应的控制命令来记录输出至所述显示单元的外部图像。
为实现这些和其它优点并且根据本发明的目的,如在此具体实施和广泛描述的,还提供了一种用于控制显示装置的方法,该方法包括以下步骤:(a)利用被形成为可安装至佩戴者的头部的主体的触摸传感器来感测触摸输入;和(b)基于包括佩戴者的生物信号的生物信息,来确定并执行与所述触摸输入相对应的控制命令,其中,所述主体连接至被配置为对应于双眼的显示单元。
在一实施方式中,所述步骤(b)可以包括以下步骤:基于输出至所述显示单元的可视信息,来确定并执行与所述触摸输入相对应的控制命令。
在一实施方式中,所述步骤(b)可以包括以下步骤:确定并执行与多个连续触摸输入相对应的控制命令。
在一实施方式中,所述步骤(b)可以包括以下步骤:利用与所述触摸输入相对应的控制命令来释放休眠模式。
在一实施方式中,所述步骤(b)可以包括以下步骤:利用与所述触摸输入相对应的控制命令来记录输出至所述显示单元的外部图像。
附图说明
图1是根据本发明一实施方式的显示装置的框图;
图2A和2B是例示其中根据本发明的显示装置可操作的通信系统的概念图;
图3是根据本发明一实施方式的显示装置的概念图;
图4是用于说明根据本发明一实施方式的显示装置的流程图;
图5A至5D是例示触摸输入的实施方式的概念图;
图6A至6C、7、8以及9是例示其中根据佩戴者的有意识触摸输入执行的控制命令的一实施方式的概念图;以及
图10和11是例示其中根据佩戴者的无意识触摸输入执行的控制命令的一实施方式的概念图。
具体实施方式
下面,对本发明的优选实施方式进行详细说明。其实施例在附图中进行了例示。本领域技术人员还应明白,在不脱离本发明的精神或范围的情况下,可以对本发明进行各种修改和变型。由此,本发明旨在覆盖落入所附权利要求书及其等同物的范围内的、本发明的修改例和变型例。
下面,参照附图,根据示例性实施方式进行详细描述。为参照附图简要描述起见,相同或等同组件将设置有相同标号,并且将不重复其描述。用于下列描述中所公开的构成部件的后缀“模块”或“单元”仅仅旨在容易描述本说明书,并且该后缀本身未给出任何具体含义或功能。在描述本发明方面,如果针对已知功能或构造的详细说明被认为不必转向本公开的要点,则这种说明被省略,但本发明技术人员应当明白。附图被用于帮助容易理解本发明的技术构思,而且应当明白,本公开的构思不限于附图。
图1是根据一个示例性实施方式的显示装置100的框图。
该显示装置100可以包括多个组件,如无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源190等。图1示出了具有各种组件的显示装置100,但应当明白,实现全部所示组件不是必要条件。更多或更少组件可以另选地实现。
下面,按顺序对每一个组件110至190进行描述。
无线通信单元110可以典型地包括准许在显示装置100与无线通信系统之间或者在显示装置100与该显示装置100所位于的网络之间进行无线通信的一个或更多个模块。例如,无线通信单元110可以包括以下中的至少一个:广播接收模块111、移动通信模块112、无线因特网模块113、短距通信模块114、位置信息模块115等。
广播接收模块111经由广播信道从外部广播管理实体接收广播信号和/或广播关联信息。
该广播频道可以包括卫星频道和/或地面频道。该广播管理实体可以指示生成和发送广播信号和/或广播关联信息的服务器,或者接收预先生成广播信号和/或广播关联信息并将它们发送给移动终端的服务器。该广播信号可以被实现为TV广播信号、无线电广播信号,以及数据广播信号等。该广播信号还可以包括与TV或无线电广播信号相组合的数据广播信号。
广播关联信息的示例可以包括与广播频道、广播节目、广播服务提供方等相关联的信息。该广播关联信息可以经由移动通信网络来提供,并且通过移动通信模块112来接收。
该广播关联信息可以按各种格式来实现。例如,广播关联信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持式数字视频广播(DVB-H)的电子服务指南(ESG)等。
广播接收模块111可以被配置为,接收从各类广播系统发送的数字广播信号。这种广播系统可以包括:陆基数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、MediaForward Link Only(MediaFLO)、手持式数字视频广播(DVB-H)、陆基数字广播综合业务(ISDB-T)等。广播接收模块111可以被配置为,适于发送广播信号的每一种广播系统和数字广播系统。
经由广播接收模块111接收到的广播信号和/或广播关联信息可以存储在合适装置(如存储器160)中。
移动通信模块112在移动通信网络上向/从网络实体(例如,基站、外部移动终端、服务器等)中的至少一个发送/接收无线信号。这里,该无线信号可以包括:音频呼叫信号、视频(电话)呼叫信号,或者根据发送/接收的文本/多媒体消息的各种格式的数据。
该移动通信模块112可以实现视频呼叫模式和话音呼叫模式。该视频呼叫模式指示伴随观看被呼叫方的图像的呼叫状态。该话音呼叫模式指示不观看被呼叫方的图像的呼叫状态。该无线通信模块112可以发送和接收话音和图像中的至少一个,以便实现视频呼叫模式和话音呼叫模式。
无线因特网模块113支持针对移动终端的无线因特网接入。这个模块可以内部或外部地连接至显示装置100。这种无线因特网接入的示例可以包括:无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、微波接入全球互通(Wimax)、高速下行链路分组接入(HSDPA)等。
短距通信模块114指示用于短距通信的模块。用于实现这种模块的合适技术可以包括:BLUETOOTHTM、射频标识(RFID)、红外数据关联(IrDA)、超宽带(UWB)、ZigBeeTM、近场通信(NFC)等。
位置信息模块115指示用于检测或计算移动终端的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块。
仍参照图1,该A/V输入单元120被配置为向移动终端提供音频或视频信号输入。A/V输入单元120可以包括相机121和麦克风122。相机121接收并处理在视频呼叫模式或拍摄模式下通过图像传感器获取的静止图片或视频的图像帧。所处理图像帧可以显示在显示单元151上。
通过相机121处理的图像帧可以存储在存储器160中,或者经由无线通信单元110发送至外部。而且,用户的位置信息等可以根据通过相机121获取的图像帧来计算。根据移动终端的构造可以设置两个或更多个相机121。
麦克风122可以在该移动终端处于特定模式(如电话呼叫模式、记录模式、话音识别模式等)时接收外部音频信号。该音频信号被处理成数字数据。所处理数字数据可以被输出转换成在电话呼叫模式的情况下可经由移动通信模块112发送至移动通信基站的格式。麦克风122可以包括分类噪声去除算法,以去除在接收外部音频信号期间生成的噪声。
用户输入单元130可以生成通过用户能够输入的输入数据,以控制移动终端的操作。用户输入单元130可以包括:小键盘、薄膜开关(dome switch)、触摸板(例如,静压力/电容式)、微动轮、微动开关等。
感测单元140提供移动终端的各种方面的状态测量。例如,感测单元140可以检测显示装置100的位置、存不存在用户与显示装置100的联系、显示装置100的位置、显示装置100的加速度/减速度等,以生成用于控制显示装置100的操作的感测信号。其它示例包括感测功能,如感测单元140感测存在或不存在由电源190提供的电力,存在或不存在接口单元170与外部装置之间的连接或其它连接。
输出单元150被配置为,输出音频信号、视频信号或触觉信号。输出单元150可以包括:显示单元151、音频输出模块153、告警单元154以及触觉模块155。
显示单元151可以输出在显示装置100中处理的信息。例如,如果移动终端正在按电话呼叫模式操作,则显示单元151将提供用户接口(UI)或图形用户接口(GUI),其包括与该呼叫相关联的信息。作为另一示例,如果移动终端处于视频呼叫模式或拍摄模式下,则显示单元151可以附加地或者另选地显示所拍摄和/或接收的图像、UI,或GUI。
显示单元151例如可以利用液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器、三维(3D)显示器、电子墨水显示器等中的至少一种来实现。
这种显示器151中的一些可以被实现为可透过其看见外部的透明型或透光型,其被称为“透明显示器”。透明显示器的代表例可以包括透明OLED(TOLED)等。显示单元151的后表面部分还可以被实现成为光学上透明的。在这种构造下,用户可以透过被终端主体的显示单元151所占用的区域看到位于该终端主体的后侧的物体。
显示单元151可以根据显示装置100的构造方面在数量上按两个或更多个来实现。例如,可以将多个显示单元151设置在要彼此分离或集成的一个表面上,或者可以设置在不同表面上。
显示单元151还可以被实现为用于显示立体图像的立体显示单元152。
这里,该立体图像可以是三维(3D)立体图像,而且该3D立体图像是指使观看者感觉监视器或屏幕上的对象的逐渐深度和逼真度和现实空间相同的图像的图像。3D立体图像通过利用双目视差来实现。双目视差指由双眼位置造成的视差。当双眼观看不同的2D图像时,该图像通过视网膜传递至大脑,并且在大脑中组合,以提供对深度和真实感觉的察觉。
该立体显示单元152可以采用诸如立体方案(眼睛方案)、自动立体方案(无眼镜方案)、投射方案(全息方案)等的立体显示方案。常用于家庭电视接收器等的立体方案包括Wheatstone立体方案等。
自动立体方案例如包括:视差光栅方案、双凸透镜方案、综合成像方案等。投影方法包括反射全息方案、透射全息方案等。
一般来说,3D立体图像由左图(左眼图像)和右图(右眼图像)组成。根据怎样将左图和右图组合成3D立体图像,该3D立体成像方法被划分成其中将左图和右图设置在一帧中的上侧和下侧的上下设置方法,其中将左图和右图设置在一帧中的L至R(左侧至右侧,并排)设置方法,其中按平铺显示形式设置左图和右图的片段的棋盘法,其中按列和行交替设置左图和右图的交错法,以及其中按时间帧交替显示左图和右图的时间顺序(或帧接帧)方法。
而且,至于3D缩略图图像,左缩略图和右缩略图分别根据原始图像帧的左图和右图生成,并接着组合,以生成单一3D缩略图图像。一般来说,缩略图指缩减的图或缩减的静止图像。由此生成的左缩略图和右缩略图按和左图与右图之间的视差相对应的深度,随着其间的水平距离差显示在屏幕上,提供一种立体空间感觉。
如所示,为实现3D立体图像所需的左图和右图通过立体处理单元(未示出)显示在立体显示单元152上。该立体处理单元可以接收3D图像并提取左图和右图,或者可以接收2D图像,并将其改变成左图和右图。
这里,如果显示单元151和触敏传感器(称为触摸传感器)其间具有层状结构(称为“触摸屏”),则显示单元151可以被用作输入装置和输出装置。该触摸传感器可以被实现为触摸膜、触摸片、触摸板等。
该触摸传感器305可以被配置为,将施加至显示单元151的特定部分的压力变化,或者从显示单元151的特定部分产生的电容变化转换成电气输入信号。而且,该触摸传感器可以被配置为,不仅感测触摸位置和触摸区域,而且感测触摸压力。这里,触摸物体是将触摸输入施加到触摸传感器上的物体。该触摸物体的示例可以包括手指、触笔、针笔、指点物等。
当触摸输入被触摸传感器感测到时,将对应信号发送至触摸控制器。触摸控制器处理所接收信号,并接着将对应数据发送至控制器180。因此,控制器180可以感测触摸了显示单元151的哪一个区域。
仍参照图1,接近传感器141可以设置在显示装置100的、被触摸屏覆盖或者靠近触摸屏的内部区域处。接近传感器141可以被设置为感测单元140的一个示例。接近传感器141指示用于在没有机械接触的情况下,利用电磁场或红外线来感测存在或不存在接近要感测表面的物体、或者靠近要感测表面设置的物体的传感器。接近传感器141与接触传感器相比,具有更长的使用期限和更增强的实用性。
接近传感器141可以包括:透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等。当触摸屏被实现为电容型时,根据电磁场的变化来感测指点物与触摸屏的接近度。在这种情况下,触摸屏(触摸传感器)可以被分类成接近传感器。
下面,为简要说明起见,在不接触的情况下将指点物定位成在触摸屏上接近的状况被称为“接近式触摸”,而指点物大致与触摸屏相接触的状况被称为接触式触摸。对于与指点物在触摸屏上的接近触摸相对应的位置来说,这种位置对应于其中在指点物接近触摸时该指点物与触摸屏垂直面对的位置。
接近传感器141感测接近触摸和接近触摸图案(例如,距离、方向、速度、时间、位置、移动状况等)。与所感测接近触摸和所感测接近触摸图案有关的信息可以输出到触摸屏上。
当触摸传感器按分层方式覆盖在立体显示单元152上时(下面称为立体触摸屏),或者当立体显示单元152和检测触摸操作的3D传感器组合时,立体显示单元152还可以被用作3D输入装置。
作为3D传感器的示例,感测单元140可以包括接近传感器141、立体触摸感测单元142、超声感测单元143以及相机感测单元144。
接近传感器141在不需要机械接触和检测表面的情况下,通过利用电磁力或红外线来检测施加触摸的感测物体(例如,用户手指或针笔)之间的距离。利用该距离,该终端识别触摸了立体图像的哪部分。具体来说,当触摸屏是静电触摸屏时,基于根据感测物体的接近度的电场变化来检测到感测物体的接近程度,并且利用该接近程度来识别针对3D图像的触摸。
该立体触摸感测单元142被配置为检测施加至触摸屏的触摸的强度或持续时间。例如,该立体触摸感测单元142可以感测触摸压力。当压力较强时,其可以将该触摸识别为针对朝着该终端内部远离触摸屏定位的物体的触摸。
超声感测单元143被配置为,利用超声波来识别感测物体的位置信息。
该超声感测单元143例如可以包括一光学传感器和多个超声传感器。该光学传感器被配置为感测光,而该超声传感器可以被配置为感测超声波。因为光远比超声波快,所以光抵达光学传感器的时间比超声波抵达超声传感器的时间更短。因此,波发生源的位置可以基于作为参照信号的光,利用超声波抵达时间的时间差来计算。
相机感测单元144包括以下中的至少一个:相机121、光电传感器以及激光传感器。
例如,相机121和激光传感器可以组合以检测感测物体针对3D立体图像的触摸。当通过激光传感器检测的距离信息被添加至通过相机拍摄的2D图像时,可以获取3D信息。
在另一示例中,光电传感器可以层叠在显示装置上。该光电传感器被配置为,扫描与触摸屏接近的感测物体的移动。详细地说,光电传感器包括按行和列的光电二极管和晶体管,以利用根据所施加光的量改变的电信号来扫描安装在光电传感器上的内容。即,光电传感器根据光的变化计算感测物体的坐标,由此获取感测物体的位置信息。
音频输出模块153可以按呼叫信号接收模式、呼叫模式、录制模式、话音识别模式、广播接收模式等,将从无线通信单元110接收的或者存储在存储器160中的音频数据作为声音转换并输出。而且,音频输出模块153可以提供与通过显示装置100执行的特定功能有关的可听输出(例如,呼叫信号接收声音、消息接收声音等)。该音频输出模块153可以包括:扬声器、蜂鸣器等。
告警单元154输出用于通知有关显示装置100所发生的事件的信号。在移动终端中生成的事件可以包括:呼叫信号接收、消息接收、键信号输入、触摸输入等。除了视频或音频信号以外,告警单元154可以按不同方式输出信号,例如,利用振动来通知有关一事件的发生。该视频或音频信号还可以经由音频输出模块153输出,由此,显示单元151或音频输出模块153可以被分类为告警单元154的一部分。
触觉模块155生成用户可以感受的各种触觉效果。通过触觉模块155生成的触觉效果的典型例是振动。触觉模块155的强度和模式可以控制。例如,不同的振动可以组合输出或者顺序地输出。
除了振动以外,触觉模块155还可以生成各种其它触觉效果,如刺激效果(如针对接触皮肤垂直移动针排布结构、空气通过喷射口和吸入口的喷射力和吸取力、皮肤上的接触、电极接触、静电力等),通过利用可以吸热或发热的部件来再现冷热感觉的效果。
触觉模块155可以被实现成允许用户通过诸如用户手指或手臂的肌肉感觉来感受触觉效果,并且通过直接接触来传递触觉效果。根据显示装置100的构造可以设置两个或更多个触觉模块155。
存储器160可以存储被用于由控制器180执行的处理和控制操作的软件程序,或者可以临时存储输入或输出的数据(例如,电话簿、消息、静止图像、视频等)。另外,存储器160可以存储与在向触摸屏输入触摸时所输出的振动和音频信号的各种模式有关的数据。
存储器160可以包括至少一个类型的存储介质,包括:闪速存储器、硬盘、微型多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘,以及光盘。而且,显示装置100可以与因特网上的、执行存储器160的存储功能的web存储装置有关地操作。
接口单元170用作与连接至显示装置100的每一个外部装置的接口。例如,该外部装置可以向一外部装置发送数据,接收并向显示装置100的每一个部件传送电力,或者向一外部装置发送显示装置100的内部数据。例如,接口单元170可以包括:有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储器卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
该标识模块可以是存储用于认证使用显示装置100的授权的各种信息的芯片,并且可以包括:用户标识模块(user identity module)(UIM)、用户标识模块(subscriberidentity module)(SIM)、通用用户标识模块(USIM)等。另外,具有标识模块的装置(下面,称为标识装置)可以采取智能卡的形式。因此,该标识装置可以经由接口单元170与终端100连接。
当显示装置100与外部多功能座(cradle)连接时,接口单元170可以用作允许电力穿过那里从多功能座提供给显示装置100的通道,或者可以用作允许用户所输入的各种命令信号穿过那里从多功能座传递至移动终端的通道。从多功能座输入的各种命令信号或电力可以操作为用于识别已经将移动终端适当地安装在多功能座上的信号。
控制器180典型地控制移动终端的一般操作。例如,控制器180执行与话音呼叫、数据通信、视频呼叫等相关联的控制和处理。控制器180可以包括用于再现多媒体数据的多媒体模块181。多媒体模块181可以设置在控制器180内,或者可以被配置为与控制器180分离。
控制器180可以执行用于将在触摸屏上执行的手写输入和图片绘制输入分别识别为字符或图像的图案识别处理。
而且,控制器180可以在移动终端的状态满足一预置条件时,执行锁定状态,以限制用户输入针对应用的控制命令。而且,控制器180可以基于在移动终端的锁定状态下的显示单元151上感测的触摸输入,来控制按锁定状态显示的锁定画面。
电源单元190在控制器180的控制下,接收外部电力或内部电力并且提供为操作相应部件和组件所需的合适电力。
在此描述的各种实施方式可以例如利用软件、硬件,或其任何组合在计算机可读介质或其类似介质中实现。
对于硬件实现来说,在此描述的实施方式可以利用以下中的至少一个来实现:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器,以及为执行在此描述的功能而设计的电子单元。在某些情况下,这种实施方式可以通过控制器180本身来实现。
对于软件实现来说,诸如在此描述的过程或功能的实施方式可以通过分离软件模块来实现。每一个软件模块都可以执行在此描述的一个或更多个功能或操作。
软件代码可以通过按任何合适编程语言编写的软件应用来实现。该软件代码可以存储在存储器160中,并且通过控制器180来执行。
下面,对可以与根据本公开的显示装置100操作的通信系统进行描述。
图2A和2B是可与根据本公开的显示装置100操作的通信系统的概念图。
首先,参照图2A,这种通信系统利用不同的空气接口和/或物理层。由该通信系统利用的这种空气接口的示例包括:频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、以及通用移动电信系统(UMTS)、UMTS的长期演进(LTE)、全球移动通信系统(GSM)等。
仅通过非限制例的方式,进一步的描述将涉及CDMA通信系统,但这种教导等同地应用至包括CDMA无线通信系统的其它系统类型。
下面,参照图2A,CDMA无线通信系统被示出有:多个移动终端100、多个基站(BS)270、基站控制器(BSC)275,以及移动交换中心(MSC)280。MSC 280被配置为与常规公共交换电话网络(PSTN)290连接。MSC 280还被配置为与BSC 275连接。BSC 275经由回程线路连接至基站270。该回程线可以根据几种已知接口来设置,例如,包括E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL,或DSL。因此,可以将多个BSC 275包括在如图2A所示系统中。
每一个基站270都可以包括一个或更多个扇区,每一个扇区都具有全向天线或者指向沿径向远离基站270的特定方向的天线。另选的是,每一个扇区都可以包括两个或更多个不同天线。每一个基站270都可以被配置为,支持多种频率指配,并且每一个频率指配都具有特定频谱(例如,1.25MHz、5MHz等)。
扇区或频率指配的相交可以称为CDMA信道。基站270还可以被称为基站收发器子系统(BTS)。在某些情况下,可以使用术语“基站”,来统指BSC 275和一个或更多个基站270。基站还可以指示“小区站点”。另选的是,给定基站270的单个扇区可以被称为小区站点。
广播发送器(BT)295(如图2A所示)向在该系统内操作的移动终端100发送广播信号。广播接收模块111(图1)通常被设置在显示装置100内部,以接收通过BT 295发送来的广播信号。
图2A还描绘了几个全球定位系统(GPS)卫星300。这种卫星300易于定位多个移动终端100中的至少一个的位置。图2中描绘了两个卫星,但要明白,有用的位置信息可以利用比两个卫星更多或更少的卫星来获取。GPS模块115(图1)典型地被配置为与卫星300协作,来获取希望定位信息。要清楚的是,可以另选地实现其它类型的位置检测技术(即,除了或代替GPS定位技术以外还可以使用的定位技术)。若希望的话,至少一个GPS卫星300可以另选地或另外被配置为提供卫星DMB发送。
在无线通信系统的典型操作期间,基站270从不同移动终端100接收多组反向链接信号。移动终端100从事呼叫、发消息以及执行其它通信。通过指定基站270接收的每一个反向链接信号都在该基站270内处理。所得数据被转发至关联BSC 275。BSC 275提供包括在基站270之间进行流程自动化(orchestration)软移交的呼叫资源分配和移动管理功能。BSC275还将所接收数据路由至MSC 280,其接着提供用于与PSTN 290连接的附加路由服务。类似的是,PSTN 290与MSC 280连接,而MSC 280与BSC 275连接,其依次控制基站270,以向移动终端100发送多组前向链接信号。
下面,参照图2B,对用于利用无线保真(WiFi)定位系统(WPS)来获取移动终端的位置信息的方法进行描述。
WiFi定位系统(WPS)300指基于利用WiFi的无线局域网(WLAN)的位置确定技术,作为用于利用设置在显示装置100中的WiFi模块和用于向和从该WiFi模块发送和接收的无线接入点320来跟踪显示装置100的位置的技术。
该WiFi定位系统300可以包括:WiFi位置确定服务器310、显示装置100、连接至该显示装置100的无线接入点(AP)320,以及存储有任何无线AP信息的数据库330。
该WiFi位置确定服务器310基于显示装置100的位置信息请求消息(或信号),来提取连接至显示装置100的无线AP 320的信息。无线AP 320的信息可以通过显示装置100发送至WiFi位置确定服务器310,或者从无线AP 320发送至WiFi位置确定服务器310。
基于显示装置100的位置信息请求消息而提取的无线AP的信息可以是以下中的至少一个:MAC地址、SSID、RSSI、信道信息、保密性、网络类型、信号强度以及噪声强度。
WiFi位置确定服务器310接收如上所述连接至显示装置100的无线AP 320的信息,并且比较所接收无线AP 320信息与包含在预先建立的数据库330中的信息,以提取(或分析)显示装置100的位置信息。
另一方面,参照图2B,作为一示例,连接至显示装置100的无线AP被例示为第一、第二,以及第三无线AP 320。然而,连接至显示装置100的无线AP的数量可以根据该显示装置100所位于的无线通信环境而按不同方式改变。当显示装置100连接至无线AP中的至少一个时,WiFi定位系统300可以跟踪显示装置100的位置。
接下来,考虑数据库330更详细地存储有任何无线AP信息,设置在不同位置处的任何无线AP的不同信息可以存储在数据库330中。
存储在数据库330中的任何无线AP的信息可以是这样的信息,如MAC地址、SSID、RSSI、信道信息、保密性、网络类型、维度和经度坐标、无线AP所位于的建筑物、楼层号、详细室内位置信息(GPS坐标可获)、AP拥有者的地址、电话号码等。
按这种方式,与任何无线AP相对应的任何无线AP信息和位置信息一起存储在数据库330中,并由此,WiFi位置确定服务器310可以从数据库330中检索与连接至显示装置100的无线AP 320的信息相对应的无线AP信息,以提取匹配至所搜索无线AP的位置信息,由此,提取显示装置100的位置信息。
而且,显示装置100的所提取位置信息可以通过WiFi位置确定服务器310发送至显示装置100,由此,获取显示装置100的位置信息。
下面,对图1的显示装置100的结构进行更详细说明。
图3是例示根据本发明一实施方式的显示装置100的概念图。
参照图3,根据本发明的显示装置100可以包括:主体310、显示单元151以及控制器180。
根据本发明的显示装置100可以被实现为头戴式显示器(HMD)。更具体地说,根据本发明的显示装置100可以被实现为智能眼镜。
主体310被形成为可安装至佩戴者的头部。在主体310处设置有用于感测触摸输入的触摸传感器。更具体地说,主体310指示智能眼镜100的框架。而且,设置在该框架的部分或整个区域中处的触摸传感器可以检测触摸输入。
显示单元150可以在与双眼相对应的位置处连接至主体310,并且可以被配置为输出可视信息。
该可视信息意指从显示装置100生成的虚拟对象,或者从外部装置输入的虚拟对象。例如,该可视信息意指对应图标、内容以及呼叫模式的应用或UI。该可视信息可以在控制器180的控制下生成,或者可以从诸如智能电话的移动终端接收。
控制器180可以被配置为,基于包括佩戴者的生物信号的生物信息,来确定并执行与触摸输入相对应的控制命令。
该生物信号意指人体微小细胞间的电信号。该生物信号可以包括:生物电信号、生物阻抗信号、声学信号、磁信号、生物力学信号、生物化学信号、光学信号等。
例如,该生物电信号意指通过神经细胞或肌肉细胞产生的电流或电压型信号,如心电图(ECG)、肌电图(EMG)、脑电图(EEG)等。生物阻抗信号提供有关人体结构、血量、血液分布、内分泌系统的活动、自主神经系统的活动的信息。
该生物信息意指有关佩戴者身体的信息,如生物信号、体温、视线(eyeline)(瞄准线(line of sight))、瞳孔大小,以及佩戴者眨眼的次数。
在一实施方式中,控制器180可以基于在脑电图(EEG)上示出的佩戴者的脑电波来确定该佩戴者是处于有意识的状态还是无意识的状态。接着,控制器180可以基于触摸输入和所确定的佩戴者状态来执行控制命令。
控制器180可以安装至显示装置100的主体310,或者可以与主体310整体形成。在另一实施方式中,控制器180可以与主体310分离。
相机121可以设置在用于左眼的显示器151和用于右眼的显示器151中的至少一个显示器的前表面上。另选的是,相机121可以设置在框架310的一侧或两侧处,由此,甚至可以拍摄佩戴者视角以外的空间。
如前所述,该头戴式显示器被实现为智能眼镜。被实现为可佩戴装置的智能眼镜可以简单地执行常规移动终端的功能。
然而,智能眼镜会具有下列问题。
首先,不同于诸如智能电话和笔记本计算机的其它终端,智能眼镜具有非常有限的输入装置。而且,经由输入装置输入的话音因外部噪声而不能完全识别。此外,无法保护佩戴者的隐私,因为第三方可能听到输入话音。
下面,参照附图,对能够通过执行与各种触摸输入和用户的生物信息相对应的控制命令来增强用户便利性的显示装置100及其控制方法进行更详细说明。
图4是用于说明根据本发明一实施方式的显示装置100(参照图1)的流程图。
显示装置100包括:主体310、显示单元151以及控制器180。
参照图4,利用被形成为可安装至佩戴者的头部的主体310的触摸传感器来感测触摸输入(S410)。
接着,基于包括该佩戴者的生物信号的生物信息,来确定要执行与该触摸输入相对应的控制命令。
在S420中,可以基于所测量的生物信息来确定该佩戴者是处于有意识状态还是无意识状态。更具体地说,该有意识状态指示佩戴者具有执行特定控制命令的意图,而该无意识状态指示佩戴者没有执行特定控制命令的意图。
例如,该生物信息包括:佩戴者的视线、瞳孔大小、佩戴者眨眼的次数、体温、肌电图(EMG)、因面部肌肉变化而造成的面部表情、阻抗变化等。这种生物信息可以直接通过显示装置100来测量,或者可以从外部测量装置接收。
接着,基于触摸输入和生物信息确定佩戴者的状态,并且执行对应控制命令。
更具体地说,即使针对佩戴者在无意识状态下执行触摸输入的情况,也可以自动执行特定控制命令。例如,如果佩戴者在无意识皱着眉头(蹙额)的同时触摸框架,则将镜片151的透明度控制成阻挡日光。
可以基于生物信息来确定佩戴者的有意识或无意识状态,其不是绝对需要的过程。更具体地说,控制器180可以基于客观生物信息和触摸输入来执行对应控制命令。为方便起见定义了有意识状态或无意识状态。
图5A至5D是例示了触摸输入的实施方式的概念图。
参照图5A,佩戴者可以向彼此连接用于双眼的镜片151的框架510施加触摸输入。在一实施方式中,佩戴者可以通过触摸框架150而升起显示装置100。另选的是,佩戴者可以向显示装置100的框架150施加短触摸输入。
参照图5B,佩戴者可以向将镜片151连接至一腿状部的框架520或530施加触摸输入。在一实施方式中,佩戴者可以同时触摸框架520和530。另选的是,佩戴者可以触摸框架520和530中的一个。
参照图5C,佩戴者可以向装有镜片151的框架540施加触摸输入。在一实施方式中,佩戴者可以利用一个手指或两个手指顺时针或逆时针触摸装有镜片151的框架540。
装有镜片151的框架540可以被限定为镜片151的边缘部分。即,框架540可以由和镜片151相同的材料形成,并且触摸传感器可以设置在框架540中。
在另一实施方式中,佩戴者可以通过触摸装有镜片151的框架540的下部而升起显示装置100。
参照图5D,佩戴者可以向框架520的一端部550或者框架530的一端部560施加触摸输入。在一实施方式中,佩戴者可以通过同时触摸端部550和560而升起显示装置100。另选的是,佩戴者可以触摸端部550和端部560中的一个。
一旦感测到图5A至5D的触摸,就确定对应控制命令。在这种情况下,还使用前述佩戴者的生物信号。
另选的是,可以确定要执行与多个连续触摸输入相对应的控制命令。更具体地说,当连续执行图5的触摸输入时,确定对应控制命令。例如,佩戴者可以触摸彼此连接用于双眼的镜片151的框架,并接着可以同时触摸端部550和560。
针对将触摸输入施加至显示装置100的情况,可以基于输出至显示单元151的可视信息,来确定要执行与该触摸输入相对应的控制命令。
在这种情况下,可以基于输出至显示单元151的可视信息,来确定佩戴者的有意识状态。例如,可以将在执行一特定应用的同时施加至显示装置100的触摸输入确定为用于执行一特定控制命令的有意识触摸。另一方面,可以将施加至主画面的触摸输入确定为无意识触摸。
图6A至6C、7、8以及9是例示其中根据佩戴者的有意识触摸输入执行的控制命令的一实施方式的概念图。
参照图6A,可以将佩戴者看到的外部图像以及与应用相对应的图标640、650以及660输出至屏幕151。
佩戴者可以按触摸方式选择与应用相对应的图标640、650以及660并且输出至屏幕151。更具体地说,一旦佩戴者触摸框架630的一部分,就将指示输入方法的触摸图标620输出至屏幕151。
接着,佩戴者可以执行与触摸图标620相对应的触摸输入,由此,选择与应用相对应的图标640、650以及660。更具体地说,佩戴者可以利用两个手指顺时针或逆时针触摸装有镜片151的框架630。
参照图6B,如果佩戴者在图6A中按顺时针转动方式触摸装有镜片151的框架630,则可以选择向当前图标650的右侧输出的图标660。
随着图标列表的转动,可以输出新图标670。在这种情况下,可以根据图6A中的转动程度来选择向当前图标650的右侧输出的多个图标660和670中的一个。
参照图6C,如果佩戴者在图6A中按逆时针转动方式触摸装有镜片151的框架630,则可以选择向当前图标650的左侧输出的图标640。
如前所述,随着图标列表的转动,可以输出新图标680。在这种情况下,可以根据图6A中的转动程度来选择向当前图标650的左侧输出的多个图标640和680中的一个。
接着,佩戴者可以通过触摸屏幕151或框架630的任何部分来执行与所选择图标相对应的应用。
参照图7(a),可以将佩戴者看到的外部图像710,和包括指示输入方法的触摸图标720的外部图像730输出至屏幕151。在这种情况下,佩戴者可以通过与触摸图标720相对应的触摸输入,按顺时针或逆时针转动方式来触摸装有镜片151的框架。
结果,将放大的外部图像740输出至屏幕151。在这种情况下,外部图像740的缩放倍率可以根据佩戴者转动框架630的程度来控制。例如,如果佩戴者按转动方式连续触摸框架或者以大角度触摸框架630一次,则可以增加外部图像740的缩放倍率。结果,可以输出更加放大的外部图像。
在另一实施方式中,可以根据佩戴者的转动方向输出放大或缩小的外部图像。更具体地说,如果佩戴者顺时针转动框架630,则可以输出放大的外部图像。另一方面,如果佩戴者逆时针转动框架630,则可以缩小的外部图像。可以仅将这样放大或缩小的外部图像输出至屏幕151的整个区域。
参照图7(b),可以将佩戴者看到的外部图像750以及包括指示输入方法的触摸图标760的地图图像770输出至屏幕151。在这种情况下,佩戴者可以通过与触摸图标760相对应的触摸输入,按顺时针或逆时针转动方式来触摸装有镜片151的框架630。
结果,将放大的地图图像780输出至屏幕151。在这种情况下,地图图像780的缩放倍率可以根据佩戴者转动框架630的程度来控制。例如,如果佩戴者按转动方式连续触摸框架630或者以大角度触摸框架630一次,则可以增加地图图像780的缩放倍率。结果,可以输出更加放大的地图图像。
像在前述实施方式中一样,可以根据佩戴者的转动方向输出放大或缩小的地图图像。更具体地说,如果佩戴者顺时针转动框架630,则可以输出放大的地图图像。另一方面,如果佩戴者逆时针转动框架630,则可以输出缩小的地图图像。可以仅将这样放大或缩小的地图图像输出至屏幕151的整个区域。
可以基于佩戴者的瞳孔大小或者佩戴者眨眼或皱眉的程度来放大或缩小图像。即使对于佩戴者在无意识地皱着眉头(蹙额)的同时触摸框架630的情况来说,也可以按放大方式输出图像。
在另一实施方式中,如果佩戴者在皱着眉头观看远方的同时按顺时针转动方式触摸装有镜片151的框架630,则可以输出放大的外部图像。
参照图8(a),佩戴者可以沿着腿状部810来回施加触摸输入,由此,移动包括在一应用的图像820中的滚动条830。
在一实施方式中,如果佩戴者沿着腿状部810朝着镜片151触摸显示装置100,则滚动条830向上移动。另一方面,如果佩戴者沿着腿状部810朝着镜片151的相反侧触摸显示装置100,则滚动条830向下移动。
参照图8(b),佩戴者可以通过触摸设置在用于双眼的镜片151之间的框架840将滚动条830移动至最上部或最下部。
在一实施方式中,如果佩戴者通过触摸设置在用于双眼的镜片151之间的框架840来调节显示装置100,则将滚动条830移动至最上部。如果佩戴者快速双触摸设置在用于双眼的镜片151之间的框架840,则将滚动条830移动至最下部。
参照图9(a),显示装置100因电池限制而在保持接通(ON)状态方面具有难度。因此,在平时可以保持休眠模式,而在感测到触摸输入时可以释放该休眠模式。
例如,休眠模式可以通过触摸设置在用于双眼的镜片151之间的框架910来释放。结果,输出指示系统开启的消息窗口920。
参照图9(b),可以在执行一特定应用的同时或者在执行了一特定应用之后向显示装置100施加触摸输入,由此将当前画面转换成主菜单画面940。
在一实施方式中,可以在执行呼叫应用930的同时或者在执行了呼叫用于930之后,触摸设置在用于双眼的镜片151之间的框架910,由此输出主菜单画面940。
如前所述,可以基于佩戴者的生物信息、所执行应用等来确定佩戴者的有意识状态。例如,可以将在主画面状态下或者在未执行一特定应用的状态下施加至显示装置100的触摸输入确定为无意识状态下的触摸输入。
图10和11是例示其中根据佩戴者的无意识触摸输入执行的控制命令的一实施方式的概念图。
参照图10(a),如果在佩戴者的关闭时间(退出时间)之后将触摸输入施加至显示装置100,则可以检查记录在规定应用中的信息并接着可以向佩戴者通知日程安排。
在一实施方式中,佩戴者可以在退出时间之后,通过触摸装有镜片151的框架的下部而升起显示装置100。结果,输出记录在规定应用中的生日消息窗口1010。
在图10(a)的情况下,可以检查记录在规定应用中或者记事簿上的生日礼物列表。如果佩戴者利用GPS经过该佩戴者可以购买礼物的市场或百货公司,则可以输出指示该市场或百货公司的消息窗1020,如图10(b)所示。
参照图10(c),如果在佩戴者的退出时间之后将触摸输入施加至显示装置100,则可以从先前呼叫历史中搜索佩戴者频繁地通过电话与之讲话的通话方。接着,可以输出推荐呼叫佩戴者未频繁与之讲话的通话方的消息窗1030。
参照图10(d),可以通过触摸输入输出指示未检查的文本消息、messenger消息、未接呼叫、SNS、电子邮件等的消息窗1040。
在另一实施方式中,可以利用与触摸输入相对应的控制命令来记录输出至显示单元151的外部图像。
参照图11,一旦佩戴者施加了输入至显示装置100的触摸输入,就可以记录该佩戴者看到的外部图像达规定时间。
在一实施方式中,如果佩戴者通过无意识地触摸显示装置100的任何部分来调节显示装置100,则可以记录输入至镜片151的外部图像达规定时间(1110)。在这种情况下,如果佩戴者的头部利用显示装置100的陀螺仪或者加速度计快速移动,则可以停止记录。结果,可以将佩戴者看到的日常生活记录为由此要存储的运动影像。
可以设置与按这种无意识状态施加至显示装置100的多个触摸输入相对应的控制命令。在一实施方式中,随着多个触摸输入的数量增加,可以执行具有低重要性的控制命令。而且,随着触摸输入变得更简单,可以执行具有更高重要性的控制命令。
在又一实施方式中,可以基于佩戴者的生物信息来确定佩戴者的感觉(情绪)状态,并且可以执行与该感觉状态相对应的控制命令。更具体地说,可以基于佩戴者的体温和面部肌肉变化来确定佩戴者的生气状态。如果在这种状态下向显示装置100施加触摸输入,则可以输出宁静或安静的音乐或图像。
本发明可以具有下列优点。
首先,由于可以执行与各种触摸输入和佩戴者的生物信息相对应的控制命令,因而,可以解决显示装置的输入装置受限的问题。其次,可以将甚至与佩戴者无意识触摸输入相对应的控制命令设置成执行。这可以增强用户的便利性。
前述方法可以被实现为存储在计算机可读存储介质中的程序代码。该存储介质可以包括:ROM、RAM、CD ROM、磁带、软盘、光学数据存储装置等。而且,该存储介质可以被实现为载波(通过因特网传输)。该计算机可以包括移动终端的控制器。

Claims (10)

1.一种显示装置,该显示装置包括:
主体,该主体被形成为能够安装至佩戴者的头部,并且具有用于感测触摸输入的触摸传感器;
显示单元,该显示单元在与双眼相对应的位置处连接至所述主体,并且被配置为输出可视信息;以及
控制器,该控制器被配置为:
获取关于所述佩戴者的生物信息,其中,所述生物信息是由所述显示装置测量的或者从外部装置接收的;
基于所述生物信息确定所感测的触摸输入是有意识的输入还是无意识的输入;并且
执行与所述触摸输入相对应的控制命令,其中,基于所述触摸输入是有意识的输入还是无意识的输入以及当前时间、所述佩戴者的位置、所述佩戴者的使用历史来执行不同的控制命令。
2.根据权利要求1所述的显示装置,其中,所述控制器还被配置为基于输出至所述显示单元的所述可视信息来执行与所述触摸输入相对应的所述控制命令。
3.根据权利要求1所述的显示装置,其中,所述控制器还被配置为执行与多个连续触摸输入相对应的所述控制命令。
4.根据权利要求1所述的显示装置,其中,当执行与所述触摸输入相对应的所述控制命令时,所述控制器还被配置为释放休眠模式。
5.根据权利要求1所述的显示装置,其中,当执行与所述触摸输入相对应的所述控制命令时,所述控制器还被配置为记录由所述佩戴者观看的外部图像。
6.一种用于控制显示装置的方法,该方法包括以下步骤:
利用被形成为能够安装至佩戴者的头部的主体的触摸传感器来感测触摸输入;其中,所述主体连接至被布置在与双眼对应的位置处的显示单元;
获取关于所述佩戴者的生物信息,其中,所述生物信息是由所述显示装置测量的或者从外部装置接收的;
基于所述生物信息确定所感测的触摸输入是有意识的输入还是无意识的输入;并且
执行与所述触摸输入相对应的控制命令,其中,基于所述触摸输入是有意识的输入还是无意识的输入以及当前时间、所述佩戴者的位置、所述佩戴者的使用历史来执行不同的控制命令。
7.根据权利要求6所述的方法,其中,执行所述控制命令的步骤包括以下步骤:基于输出至所述显示单元的可视信息来执行与所述触摸输入相对应的所述控制命令。
8.根据权利要求6所述的方法,其中,执行所述控制命令的步骤包括以下步骤:执行与多个连续触摸输入相对应的所述控制命令。
9.根据权利要求6所述的方法,其中,执行所述控制命令的步骤包括以下步骤:当执行与所述触摸输入相对应的所述控制命令时释放休眠模式。
10.根据权利要求6所述的方法,其中,执行所述控制命令的步骤包括以下步骤:当执行与所述触摸输入相对应的所述控制命令时,记录由所述佩戴者观看的外部图像。
CN201380077986.6A 2013-07-01 2013-12-20 显示装置及其控制方法 Active CN105359084B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130076576A KR102129464B1 (ko) 2013-07-01 2013-07-01 디스플레이 장치 및 그것의 제어 방법
KR10-2013-0076576 2013-07-01
PCT/KR2013/011919 WO2015002362A1 (en) 2013-07-01 2013-12-20 Display device and control method thereof

Publications (2)

Publication Number Publication Date
CN105359084A CN105359084A (zh) 2016-02-24
CN105359084B true CN105359084B (zh) 2019-04-30

Family

ID=52143919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380077986.6A Active CN105359084B (zh) 2013-07-01 2013-12-20 显示装置及其控制方法

Country Status (5)

Country Link
US (1) US9817498B2 (zh)
EP (1) EP3017360B1 (zh)
KR (1) KR102129464B1 (zh)
CN (1) CN105359084B (zh)
WO (1) WO2015002362A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988695B (zh) * 2015-02-16 2019-06-28 北京三星通信技术研究有限公司 智能设备及其操作响应方法
KR101692147B1 (ko) * 2015-05-01 2017-01-02 방승호 스킨쉽 심리 상담을 이용한 청소년 심리진단 서비스 제공 시스템
US20170111723A1 (en) 2015-10-20 2017-04-20 Bragi GmbH Personal Area Network Devices System and Method
JP2017130201A (ja) * 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
CN106557170A (zh) * 2016-11-25 2017-04-05 三星电子(中国)研发中心 对虚拟现实设备上的图像进行缩放的方法及装置
WO2018097632A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
EP3568804A2 (en) 2017-02-07 2019-11-20 Mindmaze Holding S.A. Systems, methods and apparatuses for stereo vision and tracking
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
JP7429416B2 (ja) * 2019-12-05 2024-02-08 株式会社Agama-X 情報処理装置及びプログラム
CN111596760A (zh) * 2020-04-30 2020-08-28 维沃移动通信有限公司 操作控制方法、装置、电子设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100652010B1 (ko) 2005-12-02 2006-12-01 한국전자통신연구원 이물기를 이용한 문자 형성 장치 및 방법
KR100826872B1 (ko) * 2006-08-30 2008-05-06 한국전자통신연구원 착용형 컴퓨터 시스템 및 그 시스템에서의 정보/서비스전달 및 제어 방법
WO2009126264A2 (en) * 2008-04-06 2009-10-15 David Chaum Proximal image projection system
US8736516B2 (en) * 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
US20130002724A1 (en) * 2011-06-30 2013-01-03 Google Inc. Wearable computer with curved display and navigation tool
US9285592B2 (en) * 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US20140118243A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Display section determination
US20160299641A1 (en) * 2013-04-01 2016-10-13 Google Inc. User Interface for Social Interactions on a Head-Mountable Display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容

Also Published As

Publication number Publication date
KR102129464B1 (ko) 2020-07-03
US20160154493A1 (en) 2016-06-02
KR20150003554A (ko) 2015-01-09
US9817498B2 (en) 2017-11-14
WO2015002362A1 (en) 2015-01-08
EP3017360A4 (en) 2017-01-11
EP3017360B1 (en) 2019-05-08
CN105359084A (zh) 2016-02-24
EP3017360A1 (en) 2016-05-11

Similar Documents

Publication Publication Date Title
CN105359084B (zh) 显示装置及其控制方法
CN106303406B (zh) 移动终端
EP3096506B1 (en) Watch-type mobile terminal and method of controlling therefor
CN104423580B (zh) 可穿戴的眼镜型终端及其控制方法、具有该终端的系统
CN104423573B (zh) 显示装置及其操作方法
EP2498174B1 (en) Mobile terminal and 3D object control method thereof
CN104469132B (zh) 移动终端和该移动终端的控制方法
EP2827574B1 (en) Mobile terminal and control method thereof
US10318007B2 (en) Head mounted display device for multi-tasking and method for controlling same
US10503350B2 (en) Mobile terminal
CN104423878B (zh) 显示装置以及控制该显示装置的方法
CN104111772B (zh) 移动终端及其控制方法
CN103135889B (zh) 移动终端及其3d图像控制方法
CN104349154B (zh) 眼镜式终端的信息提供设备和信息提供方法
CN106412222B (zh) 移动终端及其控制方法
CN104427372B (zh) 可佩戴的手表式终端和装备有可佩戴的手表式终端的系统
CN104284014B (zh) 移动终端及其控制方法
US11151998B2 (en) Artificial intelligence device
EP2509323A2 (en) Mobile terminal and image depth control method thereof
CN104052866B (zh) 移动终端和控制移动终端的方法
CN104049740A (zh) 移动终端及其控制方法
US10466857B2 (en) Mobile terminal and control method thereof
CN104423886A (zh) 移动终端及其控制方法
KR102135351B1 (ko) 이동 단말기 및 그것의 제어 방법
CN103152589A (zh) 立体显示设备和具有立体显示设备的移动设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant