CN104755023B - 图像显示设备和信息输入设备 - Google Patents

图像显示设备和信息输入设备 Download PDF

Info

Publication number
CN104755023B
CN104755023B CN201380056001.1A CN201380056001A CN104755023B CN 104755023 B CN104755023 B CN 104755023B CN 201380056001 A CN201380056001 A CN 201380056001A CN 104755023 B CN104755023 B CN 104755023B
Authority
CN
China
Prior art keywords
electrode
signal
blink
eyes
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380056001.1A
Other languages
English (en)
Other versions
CN104755023A (zh
Inventor
北泽雄司
和田成司
相泽耕太
福山豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104755023A publication Critical patent/CN104755023A/zh
Application granted granted Critical
Publication of CN104755023B publication Critical patent/CN104755023B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

根据示例性实施方式，提供了一种信息处理设备。该信息处理设备包括至少一个电极，该至少一个电极被配置为产生与对象的眼睛眨动有关的至少一个信号；以及处理电路，被配置为接收该至少一个信号并且基于至少一个信号检测对象的眼睛眨动。

Description

图像显示设备和信息输入设备
技术领域
公开在本说明书中的技术涉及一种图像显示设备，当用户在头部上佩带该设备时使用该设备进行图像视听时；以及涉及一种信息输入设备，通过用户通过佩带该信息输入设备由该设备执行输入操作。具体地，本技术涉及基于佩带设备的用户的眼睛运动操作的图像显示设备和信息输入设备。
背景技术
已知当通过在头部佩带设备看见和获悉图像时使用的头戴式图像显示设备，即，头戴式显示器。例如，头戴式图像显示设备包括针对相应的左眼和右眼的图像显示单元，并且被配置为通过使用耳机一起控制视觉和听觉。此外，头戴式图像显示设备能够在左眼和右眼中投射不同的图像，并且能够当显示图像时提供具有在左眼和右眼中的视差的3D图像。
还可以将头戴式图像显示设备分类为遮光型和透光型。遮光型头戴式图像显示设备被配置为当佩戴在头部时直接覆盖用户的眼睛，并且当图像视听时用户关注水平增加。另一方面，在透光型的头戴式图像显示设备的情况下，因为用户能够参见超过图像的外部视图(即，看穿)同时通过将设备佩戴在头部上显示图像，所以当在户外使用设备时、或当走路时可以使用户避免诸如与障碍物碰撞的危险。
大量的头戴式图像显示设备通过连接到诸如DVD播放器、或蓝光盘 (BD)播放器的AV播放装置用于享受内容(例如，参考PTL 1)。在此，当图像视听时，必须相对于设备指示用户耳机的声音增大或减小、播放内容的开始、停止、快进、快退等。
例如，已经提出了包括用于显示菜单或决定所选择的项目的菜单按钮、用于移动目标菜单项的向上按钮和向下按钮、用于调整音量的音量旋钮等连接至其的头戴式图像显示设备。(例如，参考PTL 2)然而，佩带头戴式图像显示设备的用户易于通过摸索控制器、并且处理控制器执行错误操作。具体地，在遮光型的头戴式图像显示设备的情况下，因为用户几乎处于被蒙住眼睛的状态，所以难以操作控制器。
因为在被使用时头戴式图像显示设备与用户近距离接触，故易于获取用户的生理信息。通过对于这一点的关注，执行用户界面(UI)操作的尝试已经基于从佩带设备的用户测量的生理信息执行。例如，可以通过使用诸如与头部近距离接触的设备构造相对容易地获取关于用户眼睛移动的信息。
在技术领域，已知使用照相机拍摄眼睛、并且使用图像处理捕捉眼球移动、或眨眼的方法。例如，已经提出了包括通过使用红外光检测来自眼球的反射、并且通过检测视线的位置、或眨眼而执行屏幕操作的视线输入设备，并且执行视频播放操作、或个人计算机的输入操作而不用使用手的护目镜类型显示器(例如，参考PTL 3)。
然而，应当提供视线输入设备从而不存在头戴式图像显示设备中视野方面的障碍，并且在设计和制造方面存在很多局限性。此外，具体地，当其是遮光型图像显示设备时，因为眼球在几乎黑暗的地方拍摄，所以当输入视线时必须使用高敏感的照相机，并且必须执行高清图像处理，因此，导致在设备成本方面的增加。
此外，已经提出了通过测量通过使用附接至眼睛周边的多个电极(即，使用眼电图等)由眼角膜的正电荷和视网膜的负电荷产生的眼电位而检测视线的头戴式显示器(例如，参考PTL 4)。然而，与眼球移动相关联的眼电位、与眨眼相关联的肌源性电位以及脑波混合在从电极输入的电位差信号中，并且必须分别处理它们(例如，仅抽取由眨眼引起的电位差信号)。在头戴式显示器中，从眼电位信号检测在用户视线位置移动时眼球的迅速扫视移动，并且消除在由于眨眼而发生的电压方面的急剧变化。
引用列表
专利文献
PTL 1：日本未经审查专利申请公开第2005-86328号
PTL 2：日本未经审查专利申请公开第2001-133724号
PTL 3：日本未经审查专利申请公开第2000-23065号
PTL 4：日本未经审查专利申请公开第2011-125693号
PTL 5：日本未经审查专利申请公开第2012-138654号
发明内容
[技术问题]
期望提供通过佩戴在用户头部上使用的优异的图像显示设备和信息输入设备，并且优选地基于用户眼睛移动进行操作。
[问题的解决方案]
鉴于以上所述，提供了本技术的实施方式。根据示例性实施方式，信息处理设备包括至少一个电极，该至少一个电极被配置为产生与对象 (subject)的眼睛眨动相关的至少一个信号；以及处理电路，被配置为接收至少一个信号并且基于该至少一个信号检测对象的眼睛眨动。
[发明的有益效果]
根据在本说明书中公开的技术，可以提供通过佩戴在用户头部使用的优异的图像显示设备和信息输入设备，并且优选地基于用户眼睛移动操作。
应用在本说明书中公开的技术的图像显示设备和信息输入设备能够基于在佩带该设备的用户的左眼和右眼附近检测到的肌源性电位信号准确地检测用户眨眼，并且能够基于左眼和右眼眨动的组合而不基于手来执行UI操作。
基于下文、或附图将描述的实施方式根据更多细节描述依然阐明在本说明书中公开的技术的其他目标、特性和优点。
附图说明
[图1]图1是示出了从前方观察根据本技术实施方式的图像显示设备的立体图。
[图2]图2是示出了从后侧观察根据本技术实施方式的图像显示设备的立体图。
[图3]图3是根据本技术实施方式的图像显示设备的侧视图。
[图4]图4是示出了作为装备在前额接触单元中的佩戴的传感器的构造例的示图。
[图5]图5是示出了装备在前额接触单元中的高度调整机构的示图。
[图6]图6是示出了装备在前额接触单元中的高度调整机构的示图。
[图7]图7是示出了应用在本说明书中公开的技术的图像显示设备的内部构造例的示图。
[图8]图8是示出了将用于检测眨眼的肌源性电位传感器布置在前额接触单元的实施例的示图(前视图)。
[图9]图9是示出了将用于检测眨眼的肌源性电位传感器布置在前额接触单元的实施例的示图(俯视图)。
[图10]图10是描述当用户的眼睛沿水平方向移动时输入至眨眼检测电极的眼电位信号的示图。
[图11]图11是描述当用户的双眼移动到右侧时输入至参考电极的眼电位信号的示图。
[图12]图12是描述当用户的双眼移动到左侧时输入至参考电极的眼电位信号的示图。
[图13]图13是示出了将用于检测眨眼的肌源性电位传感器布置在前额接触单元的另一个实施例的示图(前视图)。
[图14]图14是示意性地示出了处理图8和图9中示出的肌源性电位传感器的输出信号的电路构造的示图。
[图15]图15是示出了从针对左眼的眨眼检测电极以及针对右眼的眨眼检测电极分别获取的电位信号的时序图。
[图16]图16是重叠示出了当故意进行眨眼时的肌源性电位电平和当无意地眨眼时的肌源性电位电平的时序图。
[图17]图17是重叠示出了当故意做出眨眼时的肌源性电位电平和当无意做出眨眼时的肌源性电位电平的时序图。
[图18]图18是示出了使用用户眨眼的UI操作实施例的示图(示出了在菜单栏上的光标位置根据左眼的一次眨眼向左方逐个移动至左方向的状态的示图)。
[图19]图19是示出了使用用户眨眼的UI操作实施例的示图(示出了在菜单栏上的光标位置根据右眼的一次眨眼向右方逐个移动的状态的示图)。
[图20]图20是示出了使用用户眨眼的UI操作实施例的示图(示出了根据双眼的同时眨动选择位于菜单栏上的当前光标位置的状态的示图)。
[图21]图21是示出了使用用户眨眼的UI操作实施例的示图(示出了通过向下拉动根据双眼的同时眨动选择的菜单显示菜单列表的状态的示图)。
[图22]图22是示出了使用用户眨眼的UI操作实施例的示图(示出了光标位置在下拉菜单上根据左眼和右眼的眨眼向上和向下移动的状态的示图)。
[图23]图23是示出了使用用户眨眼的UI操作实施例的示图(示出了光标位置在下拉菜单上根据左眼和右眼的眨眼向上和向下移动的状态的示图)。
[图24]图24是示出了使用用户眨眼的UI操作实施例的示图(示出了在下拉菜单上根据左眼和右眼的同时眨动选择菜单项的状态的示图)。
[图25]图25是示出了使用用户眨眼的UI操作实施例的示图(示出了判定在连续两次双眼眨动所选择的状态的示图)。
[图26]图26是示出了应用在本说明书中公开的技术的信息输入设备的内部构造例的示图。
具体实施方式
在下文中，将参考附图详细地描述在本说明书中公开的技术的实施方式。
[A.设备构造]
图1是示出了从前方观察根据本技术实施方式的图像显示设备的状态。此外，图2示出了从后侧观察根据本技术实施方式的图像显示设备的状态。所示出的图像显示设备是类似于帽子形状的头戴式结构主体，并且甚至当重负荷被集中在主体的前部时，可以通过在整个头部上分散设备的负荷降低用户的负担来佩戴设备。
此外，图3示出了从一侧观察根据本技术实施方式的图像显示设备的状态。根据实施方式的图像显示设备被配置如下：主体单元101，具有包括显示系统的大部分部件；前额接触单元102，从主体单元101的顶面突出；头带，在后侧分叉为上束带104和下束带105；以及水平耳机。显示单元或电路板被收纳在主体单元101中。此外，在主体单元101的下部提供模仿鼻梁的鼻子接触单元103。
当用户将图像显示设备佩带在头部的合适位置时，前额接触单元102 变得接触用户的前额，并且头带的上束带104和下束带105变得接触头部的后侧。即，当通过前额接触单元102、上束带104和下束带105的三个点支撑时，头戴式显示器被佩戴在用户的头部。在用户的前额变得接触前额接触单元102的状态下，可以支撑图像显示设备的主体，从而通过拉紧头带是其不在用户的头部上旋转。
前额接触单元102装备有佩戴传感器，该佩戴传感器检测该图像显示设备是否被佩戴在用户的头部上，并且接触头部的前额来与该设备的运动相关联。图4示出了装备在前额接触单元102中的佩戴传感器的构造例。在示出的实施例中，前额接触单元102通过旋转轴142由图像显示设备的外壳可旋转地支撑。当不佩带设备时由于弹簧144的回复力，前额接触单元102被推送到图像显示设备的后侧，即，面向佩带设备的用户的前额侧的非佩带位置。此外，当佩带设备时，当用户的前额与之接触时，前额接触单元通过按压在前侧而返回至佩戴位置。此外，突出至前侧的臂状物143 而附接至旋转轴142。当佩带该设备时，前额接触单元102围绕旋转轴142 旋转接近于10度。因此，当用户佩带设备时，并且前额接触单元102通过按压返回至前侧，则臂状物143互锁并且触动开关141在其顶端部操作。可以从触动开关141的操作来检测在用户的头部上是否佩戴了图像显示设备。
此外，前额接触单元102装备有高度调整机构。图5示出了由于高度调整机构的操作而切换前额接触单元102的高度的状态。在图中，设定至较低位置的前额接触单元102由实线表示，并且设定至较高位置的前额接触单元102由虚线表示。如示出的，当将前额接触单元102的高度从较低位置调整至较高位置时，可以拓宽与在用户头部的尺寸方面的个体差异相对应的范围。
调整在前额接触单元102上的高度不限于指定的机构。例如，可以通过由配置前额接触单元102再附接前额接触单元102的操作，从而成为可拆卸的并且通过在较低位置和较高位置提供附接位置而较容易地对高度进行调整。图6分别在左侧示出了附接至较低位置的前额接触单元102的截面图并且在右侧示出了附接至较高位置的前额接触单元102的截面图。
在图1至图6中示出的图像显示设备是被配置从而直接覆盖佩带其的用户眼睛的遮光型，并且当图像视听时，用户的专注水平增加，然而用户处于被蒙住眼睛的状态。在图像显示设备中，前额接触单元102在佩戴在用户的头部的状态下变得近距离接触用户的脸。然而，如图6中所示，存在在脸上的前额位置或高度方面的个体差异，通过调整高度来确保附着。因此，可以在前额接触单元102或鼻子接触单元103中布置用于检测来自用户的头部的电位的电极。
图7是示出了应用在说明书中公开的技术的图像显示设备700的内部构造例。在下文中，将描述各个部件。
控制单元701包括只读存储器(ROM)701A或随机存取存储器 (RAM)701B。在控制单元701中执行程序代码或在ROM 701A中存储各种数据项。控制单元701通过执行加载在RAM701B中的程序而执行设备700整个操作的总体控制，其包括图像的显示控制。作为存储在RAM 701A中的程序或数据，存在图像的显示控制程序、在环境信息获取单元704中获取的环境信息的处理程序、在状态信息获取单元705中获取的状态信息的处理程序、针对设备700的唯一的识别信息等。
输入操作单元702包括诸如按键、按钮或开关的用户执行输入操作的一种或多种操作器，通过操作器接收用户指令，并且将指令输出至控制单元701。此外，输入操作单元702类似地接收通过在远程控制接收单元703 中接收的远程控制命令形成的用户指令，并且将其输出至控制单元701。然而，针对佩带设备700的用户，输入操作单元702或远程控制器(未示出)的操作在被蒙住眼睛的状态下几乎成为摸索操作。
环境信息获取单元704获取与设备700周边环境有关的环境信息，并且将其输出至控制单元701。例如，环境信息获取单元704将在周边中的环境的光强度、声音强度、位置或地点、温度、天气、时间、图像等获取为环境信息。此外，为了获取环境信息，环境信息获取单元704可以包括各种环境传感器，诸如光量传感器、麦克风、全球定位系统(GPS)传感器、湿度传感器、温度传感器、时钟、图像传感器(照相机)、辐射传感器等(那些的任一个未在图7中示出)。可替换地，设备700可以被配置为通过环境信息获取单元704从包括环境传感器而其本身不用包括环境传感器的外部设备(未示出)获取环境信息。
状态信息获取单元705获取与使用设备700的用户的状态有关的状态信息，并且将其输出至控制单元701。例如，状态信息获取单元705获取用户的工作状态(用户是否佩带设备)、用户的行为状态(佩带设备时用户头部的姿势、诸如走路的移动状态、眼睑的开和闭状态)、精神状态(诸如沉浸、关注等的观察内部图像时兴奋程度、觉醒、感觉、感情的程度等)和物理状态。此外，为了获取来自用户的状态信息，状态信息获取单元705 可以包括各种状态传感器，诸如通过机械开关等(参考图4)形成的佩戴传感器、陀螺仪传感器、加速度传感器、速度传感器、压力传感器、身体温度传感器、汗液传感器、肌源性电位传感器、眼电位传感器、脑波传感器(未在图7中示出其中的任一个)。
根据实施方式，状态信息获取单元705包括用于在佩带设备700的用户眼睛附近测量肌源性电位的肌源性电位传感器。然而，相对于设备700，控制单元701被假定为通过基于所获取的肌源性电位来检测用户眨眼而获取操作信息，下文将描述其具体实施方式。
通信单元706执行与另一设备的通信处理、通信信号的调制/解调和编码/解码处理。例如，通信单元706从作为图像源的外部设备(未示出) 接收用于显示和输出的图像信号。在通信单元706中接收并且执行解调和解码处理的内部图像、或外部图像或其他所接收的数据供应给控制单元 701。此外，控制单元701从通信单元706发出待发送到外部设备的传输数据。
通信单元706的构造是任意的。例如，可以根据用于利用作为通信合作伙伴的外部设备传输和接收操作的通信标准配置通信单元706。通信标准可以是或有线类型或无线类型。如在此提及的通信标准，存在移动终端高清影音标准接口(MHL)、通用串行总线(UBS)、高清晰度多媒体接口 (HDMI)、蓝牙(注册商标)通信、红外线通信等。
图像处理单元707针对从控制单元701输出的图像信号进一步执行诸如图像质量校正的信号处理、并且执行转换为适合显示面板709的屏幕的分辨率。此外，显示器驱动单元708在各个行中连续地选择显示面板709 中的像素、连续线性地对其进行扫描并且基于执行信号处理的图像信号提供像素信号。
显示面板709由诸如有机EL元件的微显示器或液晶显示器配置。虚拟图像光学单元710通过大大地对图像进行投影使用户将显示面板709的显示图像观察为放大的虚拟图像。
图像显示设备700是被配置为直接覆盖用户眼睛的遮光型，并且其中，因为佩带设备时用户处于被蒙住眼睛的状态，所以相对于输入操作单元702或远程控制器的输入操作变得困难。因此，根据实施方式，状态信息获取单元705基于作为获取为用户状态的左眼和右眼的眨眼执行输入操作。
如使用用户的眼睛移动执行输入操作的另一方法，沿视线方向执行输入操作而不眨眼的头戴式显示器、或可佩带设备是已知的(例如，参考 PTL3和4)。然而，难以准确地指定视线的方向，并且当通过彼此近距离接触显示多个菜单按钮时，也假定错误地按压相邻菜单按钮的情况。相对于此，眨眼是仅用于判定眼睑是否闭上的离散输出，并且被认为能够清晰解释用户指令。
使用眨眼的UI操作简单并且用户易于使用。用户能够执行仅左眼眨动、仅右眼眨动和在双眼的同时眨动的三种输入。例如，可以分别分配诸如针对仅左眼眨动沿左方向的光标移动的UI操作和诸如针对仅右眼眨动沿右方向的光标移动的UI操作。在左眼眨动中光标移动到左、并且在右眼眨动中光标移动到右的UI操作易于用户对其直观地理解。
[B.用户眨眼的检测]
参照照相机拍摄的图像等，在技术领域已经熟知通过执行图像处理捕捉眼球的移动或眨眼的方法。然而，视线输入设备应当被设置在佩戴在头部的图像显示设备中从而不干扰视野，因此，在设计和制造方面存在大量局限性。
因此，根据实施方式，通过提供在佩带设备的用户眼睛附近测量肌源性电位的肌源性传感器基于所获取的肌源性电位检测用户眨眼。因为通过将检测的肌源性电位与阈值比较可以判定是否进行眨眼，所以当与照相机拍摄的图像的图像处理进行比较时、或检测视线的方向时，可以利用简单的处理判定完成了眨眼。
为了检测由眼睛眨动而引起的肌源性电位，必须结合用于捕捉在肌源性电位方面变化的检测电极和用于获取参考肌源性电位的参考电极。此外，根据实施方式，因为在图1至图6中示出的图像显示设备的构造中确保了在前额接触单元102和用户的脸部之间的附着，所以检测电极和参考电极被布置在前额接触单元102中。自然地，电极的布置位置可以根据在设备构造方面的变化适当地移动至除前额接触单元102之外的其他位置。
在图8和图9中示出了将通过眨眼检测电极形成的肌源性传感器布置在前额接触单元102中的实施例。然而，图8是示出了从用户脸部的前方观察的状态的示图，并且图9是从用户的头部信息观察的状态的示图。在示出的实施例中，用于左眼801的眨眼检测电极在大致正上方处接触佩带设备的用户的左眼，并且用于右眼802的眨眼检测电极在大致正上方处接触佩带设备的用户的右眼。此外，在图8和图9中示出的实施例中，由检测电极801和802中的每一个所共享的参考电极803被布置在检测电极 801和802之间的中心附近。
例如，作为检测电极801和802和参考电极803的电极材料，能够使用以下材料。
(1)导电性凝胶电极(用于生物电测量的一次性电极、用于电刺激的电极等)
(2)干电极(编织了导电丝的导电布，通过在绝缘布上沉积或应用导电材料所形成的涂布等)
(3)非接触型电容耦合电极
在此，如图8和图9所示，除了通过执行眨眼的肌肉的移动产生的肌源性电位的分量之外，通过眼球移动产生的眼电位的分量被输入到与人的前额相接触的电极。已知，眼电位通过眼角膜的正电荷和视网膜的负电荷产生，当虹膜越来越近时产生正电荷，并且相比于此，当虹膜消失时产生负电荷。基本上，眼球的移动是沿虹膜的左方和右方(即，水平方向)的移动。即使当虹膜沿左眼移动时，因为在左眼的大致正上方布置的检测电极801与虹膜之间的距离几乎不改变，所以输入到检测电极801的电位信号几乎不受通过左眼球移动而引起的眼电位方面的变化影响。类似地，即使当虹膜沿右眼移动时，因为在右眼的大致正上方布置的检测电极802与虹膜之间的距离几乎不改变，所以输入到检测电极802的电位信号几乎不受通过右眼球移动而引起的眼电位方面的变化影响。如图10中所示，离在虹膜的各个位置P1、P2和P3中的检测电极801或802的距离L1、L2 和L3方面的差异较小，并且因此，通过眼电位的影响能够是近似相同的。此外，类似地，即使当检测电极801和802在眼睛的大致正下方而不在眼睛的大致正上方布置时，几乎不受由眼球移动引起的眼电位方面的变化的影响。
另一方面，参考电极803被布置在离左眼的距离和离右眼的距离近似相同的位置处。如图11中所示，因为当用户的双眼转到右侧时，当在右眼中的虹膜消失时产生负电位与在左眼中的虹膜越来越近时产生的正电位相抵消，所以几乎不影响在由两个眼球移动而引起的眼电位方面的变化。如图12中所示，因为当用户的双眼转到左侧时，当在右眼中的虹膜越来越近时产生的正电位与在左眼中的虹膜消失时产生的负电位相抵消，所以几乎不影响在由两个眼球移动而引起的眼电位方面的变化。当参考电极803接近于脸的中心(前额)布置时，甚至当用户的视线存在于任何位置时，因为当左虹膜和右虹膜中的任一个越来越近时另一虹膜消失，所以在左眼和右眼中的眼球电位方面的变化相抵消。
简要地，如图8和图9中所示，通过采用左眼眨动检测电极801在左眼的大致正上方布置、右眼眨动检测电极802在右眼的大致正上方布置并且参考电极803被布置在各个检测电极801和802的中心附近的肌源性电位传感器的构造，可以通过抑制受到眼电位的影响来对眨眼进行检测。此外，当可以维持在上述每个电极801、802和803中的位置关系时，肌源性电位传感器可以被布置在除前额接触单元102之外的位置处。
图13示出了将用于检测眨眼的肌源性电位传感器布置在前额接触单元102的另一个实施例。在图8和图9中示出的实施例中，配置使得两个检测电极801和802共享参考电极803。相比于此，在图13中示出的实施例中，独立地提供针对检测电极801的参考电极803L和针对检测电极802 的参考电极803R而不用在左侧和右侧共享参考电极。
另外，在眼镜类型构造中，在(以上描述的)PTL 2中公开了检测电极被布置在鼻垫中的设备，并且通过在太阳穴顶端接触耳垂的部分设置参考电极，来基于眼电位信号检测视线的位置。当基于肌源性电位信号检测眨眼时使用类似的设备构造，鼻垫的检测电极由于眼球的移动取得对在与虹膜移动相关联的电位方面的变化敏感反应的电位信号。另外，因为参考电极被布置在与检测电极分开的头部的后侧、并且还偶尔获取脑波，所以难以读取由于眨眼而在电位方面的变化。相比于此，根据实施方式，因为参考电极803被布置在检测电极801和802的附近，所以可以防止脑波混合在其中。
图14示意性地示出了处理在图8和图9中示出的肌源性电位传感器的输出信号的电路的构造。例如，示出的数据处理电路被佩戴在状态信息获取单元705上。
第一差分放大单元1401将左眼眨动检测电极801的电位信号输入至正极端子、将参考电极803的电位信号输入至负极端子、并且相对于其差分执行差分放大。此外，第一滤波器1403通过带通滤波器、陷波(notch) 等配置，然而，滤波器消除包括在从第一差分放大单元1401输出的差分放大信号中的不必要部件，并且此后将信号输出至判定单元1405。
另外，第二差分放大单元1402将右眼眨动检测电极802的电位信号输入至正极端子、将参考电极803的电位信号输入至负极端子、并且相对于其差分执行差分放大。此外，第二滤波器1404通过带通滤波器、陷波等配置，然而，滤波器消除包括在从第二差分放大单元1402输出的差分放大信号中的不必要部件，并且此后将信号输出至判定单元1405。
在对分别从左眼眨动检测电极801和右眼眨动检测电极802获取的差分进行放大之后，判定单元1405基于电位信号DL和DR检测用户是否有意眨动左眼、右眼和双眼。
图15示出了分别从左眼眨动检测电极801和右眼眨动检测电极802 获取的电位信号。
如由参考标号1501所示，当在头部佩带图像显示设备的用户有意眨动左眼时，在来自检测电极801的电位信号中产生波形。此外，在来自另一检测电极802的电位信号中产生由参考标号1502表示的具有以上极性相反极性的波形。
另外，当用户有意地眨动右眼时，在来自检测电极802的电位信号中产生由参考标号1504表示的波形。此外，在来自另一检测电极801的电位信号中产生由参考标号1502表示的具有与上述极性相反极性的波形。
另外，当用户有意地眨动双眼时，在来自检测电极801的电位信号中发生由参考标号1505表示的波形。此外，在来自另一检测电极802的电位信号中发生由参考标号1506表示的具有与上述相同的极性的波形。
当输入来自检测电极801和802的电位信号时，判定单元1405能够通过将信号电平与相应的阈值THL和THR进行比较来执行对仅左眼眨动、仅右眼眨动和双眼同时眨动的任何眨眼的判定。此外，为了准确地判定眨眼的肌源性电位的波形，判定单元1405可以基于表示波形陡度的加速度和速度执行判定，而不仅判定信号电平的阈值。另外，当从判定单元1405接收眨眼的判定结果时，控制单元701能够基于结果执行预定UI操作。然而，下文将描述UI操作的具体实施方式。
另外，人类有规律地、周期性地执行无意识的眨眼。然而，由于无意识的眨眼产生的肌源性电位是比在有意的眨眼中的肌源性电位显著较低的电平，并且具有缓和的波形。图16示出通过彼此重叠示出了在有意的眨眼中的肌源性电位电平与无意识的眨眼中的肌源性电位电平。
另外，虽然在头部佩带图像显示设备的用户由于眨眼执行UI操作，但是由于在人体其他部分中的肌肉移动通常也发生在肌源性电位方面的变化。然而，因为将在比颈部更低的部分的位置中产生的肌源性电位与检测电极801和802分开、并且在到达检测电极801和802时被衰减变为低信号电平，所以认为肌源性电位不影响判定单元1405的判定。另外，还认为在比颈部更低部分的位置中产生的肌源性电位衰减同时穿过薄的颈部。
图17示出了用于基于从检测电极801取得的电位信号DL使用流程图在判定单元1405中判定左眼中眨动的处理过程。此外，相同的处理程序能够应用于从检测电极802取得的电位信号。
判定单元1405首先将电位信号DL的信号电平与阈值THL进行比较 (步骤S1701)。
当电位信号DL的信号电平低于阈值THL时(在步骤S1701中否)，判定单元1405判定眨眼并非左眼眨动。
另一方面，当电位信号DL的信号电平高于阈值THL时(步骤S1701 中的是)，判定单元1405获取电位信号DL信号值的时间差分或时间差值、获取信号值的速度(步骤S1702)、并且核对速度是否处于预定值[V1,V2] 的范围(步骤S1703)。
当信号值的速度脱离预定值[V1,V2]的范围时(在步骤S1703中否)，判定单元1405判定眨眼不是左眼眨动。
另一方面，当电位信号DL信号值的速度处于[V1,V2]的范围时(在步骤S1703中是)，判定单元1405获取信号值速度的时间差分或时间差值、获取信号值的加速度(步骤S1704)、并且核对加速度是否处于预定值[A1, A2]的范围(步骤S1705)。
当信号值的速度和加速度脱离预定值[A1,A2]的范围时(在步骤 S1705中否)，判定单元1405判定眨眼并非左眼眨动。另一方面，当电位信号DL信号值的加速度处于[A1,A2]的范围时(步骤S1705中的是)，判定单元1405判定执行左眼眨动(步骤S1706)，并且将判定结果输出至控制单元701。
另外，在当执行有意的眨眼时产生的肌源性电位中，在各个用户中存在个体差异。因此，为了使判定单元1405做出关于眨眼的准确判定，考虑用于精确设定左眼和右眼眨动的阈值THL和THR、表示波形陡度的速度和加速度的学习过程是必要的。例如，通过使用户交替地执行双眼的多个眨眼操作、并且通过执行诸如在眨眼操作期间获取的平均肌源性电位电平的统计处理可以执行在每个用户、速度[V1,V2]和加速度[A1,A2]的阈值 THL和THR的学习。
优选的是，当用户开始使用图像显示设备时，执行阈值THL和THR的学习。例如，当开始使用时提出了使用户通过显示用于调整眼睛宽度的信号图案准确地执行调整眼睛宽度的头戴式显示器(例如，参考PTL 5)。例如，在当设置设备时执行调整眼睛宽度之后，通过显示诸如“请执行左眼眨动N次”或“请执行右眼眨动N次”的消息、通过使用户执行在每个眼睛中的眨眼、并且通过测量在该时间期间的肌源性电位可以执行阈值 THL和THR的学习。
另外，在各个用户中的阈值THL和THR、速度[V1,V2]和加速度{A1, A2}的学习结果被保持在状态信息获取单元705中、或存储在ROM 701A (然而，类似EEPROM能够执行重写的存储器设备的情况)或RAM 701B 中。
[C.使用用户眨眼的UI操作]
根据使用用户眨眼的UI操作，可以进行仅左眼眨动、仅右眼眨动和双眼同时眨动的三种输入。例如，可以分别分配诸如针对仅左眼眨动沿左方向的光标移动的UI操作和诸如针对仅右眼眨动沿右方向的光标移动的 UI操作。在左眼眨动中光标移动到左侧、并且在右眼眨动中光标移动到右侧的UI操作易于用户直观地理解其。
图18示出了在显示面板709上显示的菜单栏上光标位置在每次左眼眨动时逐个移动到左侧的状态。此外，图19示出了在菜单栏上光标位置在每次右眼眨动时逐个移动到右侧的状态。在图18和图19中，放置光标的菜单项由粗线表示。当重复左眼眨动和右眼眨动多次时，光标位置移动至左、或至右重复多次。自然地，可以交替地执行左眼眨动和右眼眨动，并且光标位置根据相应的左眼和右眼眨动次数而移动。
此外，可以分配在当前光标位置选择双眼同时眨动的UI操作。图20 示出了由于双眼同时眨动选择在菜单栏上的当前光标位置的状态。在图20 中，所选择的菜单切换至逆转的显示器(或照亮的显示器)，并且表示为所选择的状态。此外，当在所选择的状态执行仅左眼眨动、或仅右眼眨动时，可以释放所选择的状态。
在此，如图21中所示，当通过在双眼同时眨动时选择的菜单包括多个菜单项，通过向下拉显示菜单项列表。如图22中所示，在下拉菜单上在每次左眼眨动时光标向下移动。此外，如图23中所示，在每次右眼眨动时光标返回至上部。刻替换地，光标可以在每次左眼眨动时向下移动，并且可以在每次右眼眨动时返回至上部。此外，由于双眼同时眨动，在下拉菜单上选择在当前光标位置的菜单项。此外，如图24中所示，所选择的菜单切换至逆转的显示器(或照亮的显示器)，并且表示为所选择的状态。此外，当在所选择的状态执行仅左眼眨动、或仅右眼眨动时，可以释放所选择的状态。
另外，可以通过执行双眼连续眨动两次来确认菜单项所选择的状态。因为双眼连续眨动两次提醒用户双击鼠标，所以对于用户容易的是直观理解选择的确认。图25示出了视频内容的播放菜单画面。在图中，光标通过仅左眼眨动、或仅右眼眨动而被放置在播放按钮上并且处于所选择的状态。这时，播放按钮的选择通过执行双眼连续眨动两次进行确认并且启动视频内容的播放处理。自然地，如果当用于快进、后退、暂停、再现、停止等的按钮处于所选择的状态时执行连续两次的双眼眨动，则类似地启动处理。
控制单元701能够基于在状态信息获取单元705中获取的左眼和右眼眨动的检测结果执行在图18至图25中示出的UI操作。
[D.应用于信息输入设备]
已经描述了在本说明书中公开的技术应用于头戴式图像显示设备的实施方式。即，其是基于从包括检测电极801和802和参考电极803的肌源性电位传感器的输出结果而获取的用户眨眼使用UI操作而操作图像显示设备的实施方式，并且使用眨眼的操作目标是图像显示设备本身。
在本说明书中公开的技术不限于图像显示设备，并且其也可能使用 UI将技术应用于用于操作外部设备的输入设备，诸如个人计算机、视频播放设备等。
图26是示出了应用在本说明书中公开的技术的信息输入设备2600 的内部构造例。例如，虽然未示出，但是类似于在图1至图6中示出的帽子形状结构的主体，信息输入设备2600通过佩戴在使用个人计算机、视频播放设备等的用户头部加以使用，并且具有在诸如用户的前额近距离接触左眼和右眼附近的部分。在下文中，将描述每个单元。
控制单元2601包括ROM 2601A或RAM 2601B。在控制单元2601 中执行程序代码，或在ROM 2601A中存储各种数据项。控制单元2601 通过执行装载于RAM 2601B的程序而执行包括UI操作的设备2600的整个操作的总体控制。
眨眼检测单元2602包括肌源性电位传感器和处理肌源性电位传感器的输出信号的处理电路。肌源性电位传感器由以下各项配置：一对眨眼检测电极801和802，在眼睛的大致正上方(或大致正下方)与左眼和右眼相接触；以及参考电极803，被布置在邻近于类似于在图8中示出的两个检测电极801和802的中心部分。此外，处理肌源性电位传感器的输出信号的处理电路具有与图14相同的构造、在与图17中相同的处理过程中处理从检测电极801和802中的每一个输出的电位信号、并且检测左眼和右眼中的每一个的眨动。
另外，在信息输入设备2600中，当基于从检测电极801和802中的每一个输出的电位信号检测眨眼时考虑信号值、速度、加速度的事实或在各个用户中必须知道信号值的阈值、速度的阈值和加速度的阈值的事实与以上描述相同。
在输入输出界面2603中，作为诸如个人计算机、视频播放设备等的 UI操作的目标的外部设备彼此连接。例如，针对在设备之间的相互连接，可以使用MHL或USB、HDMI、蓝牙(注册商标)通信、红外线通信等。
虽然未示出，但是诸如个人计算机、视频播放设备等的外部设备包括显示菜单画面等的显示单元，并且在图18至25中示出的相同UI操作基于从信息输入设备2600发送的仅左眼眨动、仅右眼眨动和双眼同时眨动的三种输入执行。
[E.在说明书中公开的技术的构造]
在说明书中公开的技术还可以具有以下构造。
(1)信息处理设备，包括：至少一个电极，被配置为产生与对象的眼睛眨动有关的至少一个信号；以及处理电路，被配置为接收所述至少一个信号并且基于所述至少一个信号检测所述对象的眼睛眨动。
(2)如在(1)中陈述的设备，其中，所述至少一个信号指示与眼睛眨动有关的至少一个肌源性电位。
(3)如在(1)中陈述的设备，其中，所述至少一个电极包括：邻近于所述对象的右眼放置的第一电极；以及邻近于所述对象的左眼放置的第二电极。
(4)如在(3)中陈述的设备，其中，所述至少一个电极进一步包括参考电极，所述参考电极被放置在所述第一电极与所述第二电极之间的中点附近。
(5)如在(4)中陈述的设备，其中，所述参考电极被布置在所述第一电极和所述第二电极的附近。
(6)如在(3)中陈述的设备，其中，所述第一电极被被放置在所述对象的右眼的大致上方或所述对象的右眼的大致下方，并且所述第二电极被放置在所述对象的左眼的大致上方或所述对象的左眼的大致下方。
(7)如在(1)中陈述的设备，其中，所述处理电路被配置为通过对所述至少一个信号执行至少一个操作以产生至少一个处理后的信号并且通过将所述至少一个处理后的信号与阈值、信号速度的范围和信号加速度的范围中的至少一个进行比较来检测眼睛眨动。
(8)如在(7)中陈述的设备，其中，根据学习过程判定所述阈值、所述信号速度的范围和所述信号加速度的范围中的至少一个。
(9)如在(1)中陈述的设备，其中，所述处理电路被配置为通过放大所述至少一个信号以产生至少一个放大后的信号、对所述至少一个放大后的信号进行滤波以产生至少一个滤波后的信号并且将所述至少一个滤波后的信号与阈值、信号速度的范围和信号加速度的范围中的至少一个进行比较来检测眼睛眨动。
(10)如在(1)中陈述的设备，其中，所述设备可操作为检测仅左眼的眨动、仅检测右眼的眨动以及左眼和右眼的同时眨动。
(11)如在(1)中陈述的设备，其中，所述设备被整合在头戴式显示器中。
(12)如在(11)中陈述的设备，其中，所述至少一个电极被整合在所述头戴式显示器的前额接触单元中。
(13)如在(12)中陈述的设备，其中，所述前额接触单元是可调节的。
(14)如在(1)中陈述的设备，其中，所述至少一个电极包括导电性凝胶电极、干电极和非接触类型电容耦合电极中的至少一个。
(15)如在(1)中陈述的设备，其中，所述处理电路被配置为基于检测到的眼睛眨动来控制显示器的操作。
(16)如在(15)中陈述的设备，其中，所述显示器被配置为显示菜单，并且检测到的左眼眨动使所述菜单内的标记(designation，指示)沿右至左的方向移动。
(17)如在(15)中陈述的设备，其中，所述显示器被配置为显示菜单，并且检测到的右眼眨动使所述菜单内的标记沿左至右的方向移动。
(18)如在(15)中陈述的设备，其中，所述显示器被配置为显示菜单，并且检测到的左眼和右眼的同时眨动引起菜单项的选择。
(19)如在(15)中陈述的设备，其中，所述显示器被配置为显示菜单，并且连续两次检测到的左眼和右眼同时眨动引起菜单项选择的确认。
(20)信息处理方法，获取与对象的眼睛眨动有关的至少一个信号；并且基于所述至少一个信号来检测所述对象的眼睛眨动。
(21)一种非易失性计算机可读介质，存储用于实施信息处理方法的计算机可读程序，所述方法包括：获取与对象的眼睛眨动有关的至少一个信号；以及基于所述至少一个信号检测所述对象的眼睛眨动。
(22)一种信息处理设备，包括：第一电极，邻近于所述对象的左眼放置；第二电极，邻近于所述对象的右眼放置；参考电极，被放置在所述第一电极与所述第二电极之间的中点附近；以及处理电路，被配置为基于从所述第一电极和所述参考电极获取的第一信号和从所述第二电极和所述参考电极获取的第二信号来检测所述对象的眼睛眨动。
(23)一种显示装置，包括：显示器；至少一个电极，被配置为产生与对象的眼睛眨动有关的至少一个信号；以及处理电路，被配置为接收所述至少一个信号并且基于所述至少一个信号来检测所述对象的眼睛眨动，并且被配置为基于检测到的所述对象的眼睛眨动来控制所述显示器。
在说明书中公开的技术还可以具有以下构造。
(1)一种图像显示设备，包括：显示单元；眨眼检测单元，检测用户眨眼；以及控制单元，与通过眨眼检测单元检测到的眨眼相对应地执行控制。
(2)公开在(1)中的图像显示设备，其中，眨眼检测单元包括第一检测电极，布置在用户左眼的附近；第二检测电极，布置在用户右眼的附近；以及参考电极，被布置在接近于在第一检测电极与第二检测电极之间的中心部分；并且其中，基于在第一检测电极和参考电极之间获取的第一电位信号与在第二检测电极和参考电极之间获取的第二电位信号的组合来检测左眼和右眼的眨眼操作。
(3)公开在(2)中的图像显示设备，其中，眨眼检测单元通过将第一检测电极和第二检测电极分别布置在左眼和右眼的大致正上方、或左眼和右眼的大致正下方来抑制由虹膜的移动而引起的眼电位的影响。
(4)公开在(2)中的图像显示设备，其中，眨眼检测单元通过将参考电极布置在离左眼的距离和离右眼的距离近似相同的位置而将关联于左眼虹膜移动的眼电位和关联于右眼虹膜移动的眼电位相抵消。
(5)公开在(2)中的图像显示设备，其中，眨眼检测单元通过将参考电极布置在离第一检测电极和第二检测电接近的位置来抑制用户脑波的影响。
(6)公开在(2)中的图像显示设备，其中，眨眼检测单元通过将布置在用户左眼附近的第一检测电极、第一电位信号和第二电位信号的信号值的阈值、电位信号改变速度的阈值和加速度的阈值彼此进行比较来检测左眼和右眼的每次眨动。
(7)公开在(6)中的图像显示设备，其中，眨眼检测单元学习当在每个用户中检测眨眼时使用的电位信号的信号值的阈值、电位信号改变速度的阈值和加速度的阈值。
(8)公开在(1)中的图像显示设备，其中，控制单元相对于显示单元的显示屏根据通过眨眼检测单元检测到的眨眼执行UI操作。
(9)公开在(8)中的图像显示设备，其中，控制单元执行分别对应于仅左眼眨动、仅右眼眨动和双眼眨眼的UI操作。
(10)公开在(8)中的图像显示设备，其中，控制单元在显示屏幕上选择在仅左眼的每次眨动中向左方向的光标移动、在仅右眼的每次眨动中向右方向的光标移动和对应于双眼眨眼的当前光标位置。
(11)用于佩戴在用户头部的信息输入设备包括眨眼检测单元，检测用户左眼和右眼的眨眼操作；以及界面，将对应于由眨眼检测单元检测到的眨眼操作的输入操作信息输出至外部。
(12)公开在(11)中的信息输入设备，其中眨眼检测单元包括第一检测电极，布置在用户左眼的附近；第二检测电极，布置在用户右眼的附近；以及参考电极，接近于在第一检测电极和第二检测电极之间的中心部分布置；并且基于在第一检测电极和参考电极之间获取的第一电位信号与在第二检测电极和参考电极之间获取的第二电位信号的组合检测左眼和右眼的眨眼操作。
(13)公开在(12)中的信息输入设备，其中，眨眼检测单元通过将第一检测电极和第二检测电极分别布置在左眼和右眼大致正上方、或左眼和右眼的大致正下方抑制由虹膜的移动引起的眼电位的影响。
(14)公开在(12)中的信息输入设备，其中，眨眼检测单元通过将参考电极布置在离左眼的距离和离右眼的距离变得近似相同的位置而将与左眼虹膜移动相关联的眼电位和与右眼虹膜移动相关联的眼电位相抵消。
(15)公开在(12)中的信息输入设备，其中，眨眼检测单元通过将参考电极布置在靠近第一检测电极和第二检测电极的位置来抑制用户脑波的影响。
(16)公开在(12)中的信息输入设备，其中，眨眼检测单元通过将布置在用户左眼附近的第一检测电极、第一电位信号和第二电位信号的信号值的阈值、电位信号改变速度的阈值和加速度的阈值彼此比较来检测左眼和右眼的每次眨动。
(17)公开在(16)中的信息输入设备，其中，眨眼检测单元学习当在每个用户中检测眨眼时使用的信号值的阈值、电位信号改变速度的阈值和加速度的阈值。
(18)公开在(1)中的信息输入设备，其中，从界面输出分别对应于仅左眼眨动、仅右眼眨动和双眼眨眼的输入操作信息。
(19)公开在(11)中的信息输入设备，其中，从界面输出其发布仅左眼每次眨动向左方向移动、仅右眼每次眨眼向右方向移动、对应于双眼眨眼的当前位置所选择的指令的UI操作信息。
(20)一种图像显示设备，包括：显示单元；电位信号检测单元，检测在用户眼睛附近的电位信号；以及控制单元，执行对应于电位信号检测单元检测结果的控制。
本公开包括在2012年11月2日提交给日本专利局的日本在先专利申请JP2012-243065中公开的主题，其全部内容通过引用结合于此。
本领域技术人员应该理解，根据设计需求和其它因素可以进行各种修改、组合、子组合以及改变，只要其在所附权利要求或其等同内容的范围之内。
工业实用性
如上所述，已经参考具体实施方式详细地描述了在说明书中公开的技术。然而，显而易见的是，在不偏离在本说明书中公开的技术范围的条件下，本领域中的技术人员可以执行实施方式的修改或替换。
头戴式图像显示设备能够分类为遮光型和透光型，并且在本说明书中已经主要描述了涉及遮光型头戴式图像显示设备的实施方式。然而，自然地，可以类似地将在本说明书中公开的技术应用于透光型的设备。
此外，公开在本说明书中的技术不限于整体配置有图像显示设备的情况，并且能够通过基于用户眨眼配置为信息输入设备用于视频播放操作、或个人计算机的输入操作等。
简而言之，在本说明书中已经使用举例说明的形式描述了公开的技术，并且不应被解释为被限制于这些实施方式。将参考权利要求来确定本说明书中公开的技术范围。
[参考标记列表]
102 前额接触单元
103 鼻子接触单元
104 上束带
105 下束带
141 触动开关
142 旋转轴
143 臂状物
144 弹簧
701 控制单元
701A ROM
701B RAM
702 输入操作单元
703 远程控制接收单元
704 环境信息获取单元
705 状态信息获取单元
706 通信单元
707 图像处理单元
708 显示器驱动单元
709 显示面板
710 虚拟图像光学单元
801，802 眨眼检测电极
803 参考电极
2600 信息输入设备
2601 控制单元
2601A ROM
2601B RAM
2602 眨眼检测单元
2603 输入输出界面

Claims (14)

1.一种头戴式的显示器，包括信息处理设备，所述信息处理设备包括：
至少一个电极，被配置为产生与对象的眼睛眨动有关的至少一个信号，其中，所述至少一个电极被整合在头戴式的所述显示器的前额接触单元中，其中，所述至少一个信号指示与眼睛眨动有关的至少一个肌源性电位，其中，所述至少一个电极包括：邻近于所述对象的右眼放置的第一电极；以及邻近于所述对象的左眼放置的第二电极，其中，所述至少一个电极进一步包括被放置在所述第一电极与所述第二电极之间的中点附近的用于所述第一电极的第一参考电极和用于所述第二电极的第二参考电极；以及
处理电路，被配置为接收所述至少一个信号并且基于所述至少一个信号检测所述对象的眼睛眨动，其中，所述处理电路被配置为基于检测到的所述对象的眼睛眨动来控制所述显示器的操作。
2.根据权利要求1所述的显示器，其中，所述第一电极被放置在所述对象的右眼的大致上方或所述对象的右眼的大致下方，并且所述第二电极被放置在所述对象的左眼的大致上方或所述对象的左眼的大致下方。
3.根据权利要求1所述的显示器，其中，所述处理电路被配置为通过对所述至少一个信号执行至少一个操作以产生至少一个处理后的信号并且通过将所述至少一个处理后的信号与阈值、信号速度的范围和信号加速度的范围中的至少一个进行比较来检测眼睛眨动。
4.根据权利要求3所述的显示器，其中，根据学习过程来确定所述阈值、所述信号速度的范围和所述信号加速度的范围中的至少一个。
5.根据权利要求1所述的显示器，其中，所述处理电路被配置为通过放大所述至少一个信号以产生至少一个放大后的信号、对所述至少一个放大后的信号进行滤波以产生至少一个滤波后的信号并且将所述至少一个滤波后的信号与阈值、信号速度的范围和信号加速度的范围中的至少一个进行比较来检测眼睛眨动。
6.根据权利要求1所述的显示器，其中，所述信息处理设备能操作为检测仅左眼的眨动、仅右眼的眨动以及左眼和右眼的同时眨动。
7.根据权利要求1所述的显示器，其中，所述前额接触单元是能调节的。
8.根据权利要求1所述的显示器，其中，所述至少一个电极包括导电性凝胶电极、干电极和非接触类型电容耦合电极中的至少一个。
9.根据权利要求1所述的显示器，其中，所述显示器被配置为显示菜单，并且检测到的左眼眨动使所述菜单内的标记沿右至左的方向移动。
10.根据权利要求1所述的显示器，其中，所述显示器被配置为显示菜单，并且检测到的右眼眨动使所述菜单内的标记沿左至右的方向移动。
11.根据权利要求1所述的显示器，其中，所述显示器被配置为显示菜单，并且检测到的左眼和右眼的同时眨动引起菜单项的选择。
12.根据权利要求1所述的显示器，其中，所述显示器被配置为显示菜单，并且连续两次检测到的左眼和右眼同时眨动引起菜单项选择的确认。
13.一种信息处理方法，包括：
经由至少一个电极获取与对象的眼睛眨动有关的至少一个信号，其中，所述至少一个电极被整合在头戴式显示器的前额接触单元中，其中，所述至少一个信号指示与眼睛眨动有关的至少一个肌源性电位，其中，所述至少一个电极包括：邻近于所述对象的右眼放置的第一电极；以及邻近于所述对象的左眼放置的第二电极，其中，所述至少一个电极进一步包括被放置在所述第一电极与所述第二电极之间的中点附近的用于所述第一电极的第一参考电极和用于所述第二电极的第二参考电极；
基于所述至少一个信号来检测所述对象的眼睛眨动；并且
基于检测到的眼睛眨动来控制显示器的操作。
14.一种非易失性计算机可读介质，存储用于实施根据权利要求13所述的信息处理方法的计算机可读程序。
CN201380056001.1A 2012-11-02 2013-09-11 图像显示设备和信息输入设备 Expired - Fee Related CN104755023B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-243065 2012-11-02
JP2012243065A JP5888205B2 (ja) 2012-11-02 2012-11-02 画像表示装置並びに情報入力装置
PCT/JP2013/005380 WO2014068832A1 (en) 2012-11-02 2013-09-11 Image display device and information input device

Publications (2)

Publication Number Publication Date
CN104755023A CN104755023A (zh) 2015-07-01
CN104755023B true CN104755023B (zh) 2017-12-22

Family

ID=49305050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380056001.1A Expired - Fee Related CN104755023B (zh) 2012-11-02 2013-09-11 图像显示设备和信息输入设备

Country Status (7)

Country Link
US (1) US9841812B2 (zh)
EP (1) EP2895061B1 (zh)
JP (1) JP5888205B2 (zh)
CN (1) CN104755023B (zh)
BR (1) BR112015009223A2 (zh)
RU (1) RU2644265C2 (zh)
WO (1) WO2014068832A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11090003B2 (en) * 2013-09-09 2021-08-17 Healthy.Io Ltd. Systems for personal portable wireless vital signs scanner
JP6435640B2 (ja) * 2014-05-20 2018-12-12 株式会社ニコン 混雑度推定システム
KR102302876B1 (ko) * 2014-06-23 2021-09-17 삼성전자주식회사 생체 전극 및 이를 이용한 생체 신호 처리 장치 및 방법
JP6551417B2 (ja) 2014-11-12 2019-07-31 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
CN107251547B (zh) * 2015-02-27 2020-11-03 索尼互动娱乐股份有限公司 头戴式显示器
JP6598536B2 (ja) * 2015-06-30 2019-10-30 キヤノン株式会社 頭部装着装置
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP6334484B2 (ja) * 2015-09-01 2018-05-30 株式会社東芝 メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー
CN105260017A (zh) * 2015-09-28 2016-01-20 南京民办致远外国语小学 眼镜鼠标及其工作方法
CN105867607A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔中的菜单选择方法、装置及虚拟现实头盔
CN105867605A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔
EP3272277A1 (en) * 2016-07-19 2018-01-24 Stichting IMEC Nederland A method and a system for eye tracking
CN106446912A (zh) * 2016-09-14 2017-02-22 珠海市魅族科技有限公司 一种媒体处理的方法及媒体处理装置
CN106325524A (zh) * 2016-09-14 2017-01-11 珠海市魅族科技有限公司 一种指令获取的方法及指令获取装置
US20180081433A1 (en) * 2016-09-20 2018-03-22 Wipro Limited System and method for adapting a display on an electronic device
CN107224292B (zh) * 2017-05-27 2019-12-31 西南交通大学 一种调度员的注意广度的测试方法和系统
CN110998493A (zh) * 2017-06-15 2020-04-10 努罗公司 神经操作系统
US11331019B2 (en) 2017-08-07 2022-05-17 The Research Foundation For The State University Of New York Nanoparticle sensor having a nanofibrous membrane scaffold
CN108354611B (zh) * 2017-12-19 2020-11-13 东软集团股份有限公司 眨眼动作检测方法、装置、可读存储介质及电子设备
US10905186B2 (en) * 2018-05-03 2021-02-02 Htc Corporation Head-mounted display device
CN108762504A (zh) * 2018-05-28 2018-11-06 广州脑李信息科技有限公司 一种通过单眨眼控制的人机录入装置、方法及系统
WO2020017448A1 (ja) * 2018-07-20 2020-01-23 国立研究開発法人産業技術総合研究所 生体電位を用いる入力装置
JP2019023939A (ja) * 2018-11-15 2019-02-14 株式会社ニコン ウェアラブル端末
CN110134245A (zh) * 2019-05-21 2019-08-16 华南脑控(广东)智能科技有限公司 一种基于eog和姿态传感器的眼控装置以及眼控方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
TWI766402B (zh) * 2020-10-26 2022-06-01 和碩聯合科技股份有限公司 降噪耳機的控制裝置及控制方法
US20230259201A1 (en) * 2022-02-16 2023-08-17 Htc Corporation Method for zooming visual content, host, and computer readable medium
CN117357351A (zh) * 2023-12-05 2024-01-09 华南脑控(广东)智能科技有限公司 一种电动病床和家电的多模态智能控制方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH062146B2 (ja) * 1987-03-30 1994-01-12 竹井機器工業株式会社 意志伝達装置
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5621424A (en) * 1992-08-24 1997-04-15 Olympus Optical Co., Ltd. Head mount display apparatus allowing easy switching operation from electronic image to external field image
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP2000023065A (ja) 1998-06-29 2000-01-21 Dainippon Printing Co Ltd 視線入力付きゴーグル型ディスプレイ
JP2001133724A (ja) 1999-08-25 2001-05-18 Olympus Optical Co Ltd 頭部装着型映像表示装置
GB0220265D0 (en) 2002-09-02 2002-10-09 Univ Ulster Signal processing strategy to control external devices by means of human electro-oculagraphic potentials
JP4344568B2 (ja) 2003-09-05 2009-10-14 富士フイルム株式会社 ヘッドマウントディスプレイ及びそのコンテンツ再生方法
CA2967756C (en) * 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4286860B2 (ja) * 2004-05-21 2009-07-01 旭化成株式会社 動作内容判定装置
US7639146B2 (en) * 2004-09-29 2009-12-29 Baura Gail D Blink monitor for detecting blink occurrence in a living subject
US8400313B2 (en) * 2007-01-19 2013-03-19 Asahi Kasei Kabushiki Kaisha Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device
CN101754715B (zh) * 2008-05-20 2012-07-25 松下电器产业株式会社 视线检测装置、摄像装置以及视线检测方法
CN102099770B (zh) * 2009-01-19 2014-01-08 松下电器产业株式会社 用于脑波接口系统的启动装置、方法以及计算机程序
JP5490664B2 (ja) 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP2012055587A (ja) * 2010-09-10 2012-03-22 Konami Digital Entertainment Co Ltd 生体電気信号検出装置、ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2012138654A (ja) 2010-12-24 2012-07-19 Sony Corp ヘッド・マウント・ディスプレイ
CN102156539B (zh) * 2011-03-28 2012-05-02 浙江大学 一种基于眼动扫描的目标物体识别方法
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface

Also Published As

Publication number Publication date
RU2015115667A (ru) 2016-11-20
US20150301594A1 (en) 2015-10-22
JP5888205B2 (ja) 2016-03-16
JP2014092931A (ja) 2014-05-19
CN104755023A (zh) 2015-07-01
WO2014068832A1 (en) 2014-05-08
EP2895061B1 (en) 2017-11-22
RU2644265C2 (ru) 2018-02-08
BR112015009223A2 (pt) 2017-07-04
US9841812B2 (en) 2017-12-12
EP2895061A1 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
CN104755023B (zh) 图像显示设备和信息输入设备
WO2013018267A1 (ja) 提示制御装置、及び提示制御方法
CN106471419B (zh) 管理信息显示
KR102391405B1 (ko) 개선된 광학적 및 지각적 디지털 안경류
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
CN105487229B (zh) 多通道交互虚拟现实眼镜
CN110249337A (zh) 使用眼睛追踪相机对面部表情分类
KR101633057B1 (ko) 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법
CN106462233A (zh) 显示设备观看者视线吸引
US20170308158A1 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
KR20160032043A (ko) 검출 장치 및 방법
CN106094202B (zh) 显示系统和头戴式显示器
WO2017126433A1 (ja) 情報処理装置およびユーザガイド提示方法
JP6774975B2 (ja) 眼球回転検出装置、電子機器及びシステム
KR20190066428A (ko) 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
KR102365162B1 (ko) 멀미 저감을 위한 영상 표시 장치 및 방법
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
EP3697086A1 (en) Information processing device, information processing method, and program
CN115598842A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
CN205507231U (zh) 多通道交互虚拟现实眼镜
KR20170089228A (ko) 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
US11609634B2 (en) Apparatus and method for user interfacing in display glasses
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
KR102564202B1 (ko) 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법
KR20190076722A (ko) 모바일 기기를 이용한 vr/ar 기반 다중지능 검사방법 및 다중지능 검사시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171222

Termination date: 20190911

CF01 Termination of patent right due to non-payment of annual fee