CN1060940A - 眼睛操纵的控制器 - Google Patents

眼睛操纵的控制器 Download PDF

Info

Publication number
CN1060940A
CN1060940A CN91105790A CN91105790A CN1060940A CN 1060940 A CN1060940 A CN 1060940A CN 91105790 A CN91105790 A CN 91105790A CN 91105790 A CN91105790 A CN 91105790A CN 1060940 A CN1060940 A CN 1060940A
Authority
CN
China
Prior art keywords
signal
eye movement
telecommunication
controller
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN91105790A
Other languages
English (en)
Inventor
R·本杰明·科纳普
胡·S·路斯特德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BIO CONTROL SYSTEM Inc
Original Assignee
BIO CONTROL SYSTEM Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BIO CONTROL SYSTEM Inc filed Critical BIO CONTROL SYSTEM Inc
Publication of CN1060940A publication Critical patent/CN1060940A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/26—Miscellaneous game characteristics the game being influenced by physiological parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

利用由人体的眼运动及肌肉收缩产生的眼动电 信号及肌动电信号操作电视游戏机，控制计算机显示 器的光标位置，及控制设备及装置的工作方法及装 置，操作者(10)载上传感器组件(12)，后者与控制处 理器(18)相连接。控制处理器(18)检测到由眼运动 产生的眼动电信号并将其转换成：代表向上、向下、向 左、向右运动的分离控制信号。控制处理器(18)检测 到由肌肉运动产生的肌动电信号并将其转换成控制 信号。这些控制信号与装置(22)相连接，后者为具有 显示器(24)的计算机或电视游戏机或另外的受控装 置。

Description

本发明总的涉及眼睛操纵的控制器，更具体地，涉及利用由眼运动产生的眼动电信号（EOG）及肌肉运动产生的肌动电信号直接地与计算机或电视游戏机对话的装置。
过去的数年以来，对话式电视游戏机获得了普遍性的广泛传播。独立式游戏机已经安装在店廊、饭店、电影院及另外公众易至的场所。此外，电视游戏机又以标准电视机附件的形式进入了家庭娱乐市场。这些电视游戏机需要使用“操纵杆”、“跟踪球”或另外的用于玩游戏机的手动输入装置。为了熟练地玩这些游戏机就需要大量的“手眼”配合。
相似地，个人计算机的应用同时在工作单位及在家庭中也已增长。许多运转个人计算机的操作是用“鼠标器”（“mouse”）控制显示器上光标的位置来实现的。
此外，对于相当多的残疾人缺乏：合适的电机控制以操作手动或脚动开关，或另外形式的控制，因而需要操作设备的替代装置。
数年来已经开发了多种类型的系统，使能仅利用眼睛的运动控制计算机或机械。例如，美国专利US3462604号（1969年8月19日授予马森（Mason））公开了基于由眼视网膜反射的光线与眼前表面反射的光线的比较确定眼睛定向的测眼计。光射入眼球，在眼处同时由眼前表面及眼后面的视网膜反射出来。一个检测系统观察反射的图象，并由这些反射图象的相对位置确定眼的位置。
美国专利US4109145号（1978年8月22日授予格拉夫（Graf）），公开了一种用于眼睛定向的“视线”检测装置。利用测眼计或另外的视线确定装置监测眼睛的定向，该装置测量出操作者眼睛保持在相应于特定控制功能的视线位置上的时间间隔。如果该视线位置被保持得长于一预定时间，则该装置产生一个控制信号。
美国专利US3986030号（1976年10月12日授予泰耳切尔（Teltscher）），公开了一种用于截瘫者或另外失去能力者的可由眼转动操作的键盘附件。该装置包括一个将光线射入操作者眼睛的光源及多个响应光线的传感器，后者由操作者眼睛来的反射光线启动。该传感器连接到由眼运动控制起动装置的键盘上。
美国专利US4081623号（1978年3月28日授予伏加利（Vogaley）），公开了使用光源、幅射传感器、指令识别器及显示单元检测操作者以特定编码序列的眨眼。该眨眼信号被解码并被使用来拨电话号码或控制一件机械。
美国专利US3507988号（1970年4月21日授予福尔摩斯（Holmes）），公开了一种窄带电视系统，它具有与人眼相似的分辨率特性，并能高度分辨出发射场部分，它的位置是根据观察者的视线变化的。通过反射光线的应用确定眼的位置。
美国专利US3724932号（1973年4月3日授予康斯威特（Cornsweet）等人），公开了一种装置，其中眼睛充满了光线，以使得由眼睛的反射表面形成多个普尔钦（Purkinje）图象。利用将图象在一转盘上成象检测到二个普尔钦图象，该转盘具有多个矩形的槽孔，普尔钦图案穿过槽孔进而成象在一光检测器上。利用监测普钦图象的分离度来确定眼睛光轴的方向。
美国专利US4866299号（1989年6月12日授予夏芬贝格（Scharfenberg）），公开了一种用于将光信号投射到耳机上的装置，致使载耳机者能观察到与直接看到的周围影象分离的或重叠的图象。
美国专利US4651145号（1987年3月17日授予塞特尔（Sutter）），公开了一种眼脑图象对话系统，其中具有特殊码的视觉刺激信号被传送给操作者并监测操作者的脑电图（EEG）信号。该码能被操作者的EEG信号识别，因此，显示器上的符号通过观看能简便地被选择它。
美国专利US4576184号（1986年3月18日授予维斯特曼（Westerman）），公开了一种基于角膜-视网膜电势和/或脑电波并利用电眼球震颤描记仪（ENG）检测毒品摄取量的装置。
上述各专利中公开的多种系统的缺点在于：使用了由眼睛反射的光，就易于受另外光源的干扰，另外一些系统需要特殊的视觉刺激信号供给操作者，并需要相应的用于监控的反应码。
与已公开的系统相比，本发明好在复杂性小，更为可靠及更为精确。十分意想不到的是EOG信号所表徵的眼运动电信号能被应用在多种用途中。
还可参见论文：“由人的生物电信号产生的音乐”（Hugh  S.Lusted及R.Benjamin  Knapp1989年1月18日，发表于美国科学进步协会155届会议，旧金山）。
根据本发明的一种构思，在于提供一种眼睛操纵控制器，它包括用于传感由眼运动产生的眼动电信号的装置;用于将眼的电信号处理成表徵眼运动方向的方向控制信号的装置;及将该方向控制信号连接到受控制装置上的装置。
根据本发明的另一种构思，在于提供一种眼睛操纵控制装置，它包括用于传感由身体的生理活动产生的电信号的装置;用于放大该电信号的装置;用于选择性地从放大的电信号中滤出由眼运动产生的眼动电信号的装置;用于区分由垂直眼运动及水平眼运动产生的眼动电信号的装置;用于将由垂直眼运动产生的眼动电信号转换成代表向上及向下眼运动的垂直控制信号的装置;用于将由眼的水平运动产生的眼动电信号转换成代表向左及向右眼运动的水平控制信号的装置。
根据本发明的又一构思，在于提供一种由人的生理活动产生的电信号控制一装置的方法，包括下列步骤：传感由眼运动产生的眼动电信号;将眼动电信号处理成代表眼运动方向的方向控制信号;及将该方向控制信号连接到受控装置上。
本发明涉及一种新的对话技术能够作到与计算机、电视游戏机或另外的装置直接地对话，只要简便地使用眼运动和/或面部肌肉收缩。
在本发明中所公开的眼操纵控制器的原理是由眼运动产生的眼动电信号（EOG），EOG信号即为眼运动的电特征。本发明优选使用放置在操作者头部的传感器来检测水平及垂直方向的眼运动。该EOG信号被放大及被处理，以提炼出代表输出指令的有用特征，例如对计算机屏幕上光标的控制指令。以此方式，在一电视显示器上精确光标位置可被反映成相应于眼光注视点的位置。由于能使EOG信号的各种特性变换成各种可选择的输出指令，信号处理器对系统提供了灵活性。
此外，由面颊肌肉运动产生的肌动电信号（electro-myo-gram  Signals）可被利用来重复开关的操作。例如：眨两下眼睛可转换成鼠标器的“喀呖”发声操作，而正常的单次眨眼可被忽略。并且，特定的眼运动模式可编为程序以触发计算机的功能，例如在电视显示器的一个区域中选择信息而不是在另一区域中选择。
本发明优选地使用眼动电信号检测运动。本发明能简便地利用移动操作者的眼睛控制计算机电视显示器上光标的位置，并对残疾者提供一种计算机输入装置。
本发明也对计算机，电视游戏机及类似装置提供了一种替代的输入装置，它利用眼运动代替了计算机的“鼠标器”或类似物。
本发明还可利用眼运动取代电视游戏机的“操纵杆”或类似物，可使人方便地提高玩电视游戏机的技巧。
参照下列附图可更全面地理解本发明，这些附图仅是用于说明的目的。
图1为根据本发明的一种眼睛操纵控制器的工作原理图;
图2为本发明的电部件概要框图;
图3为图2中所描绘的装置的测量放大器部件的概要框图;
图4为图2所描绘的装置的低通滤波器的概要框图;
图5为图2中所示装置的高通滤波器的概要框图;
图6为图2中所示装置的差分比较器的概要框图;
图7为图2中所示装置的信号输出通道比较器的概要框图;
图8为图2中所示装置的光隔离开关部件的概要框图;
图9为图2中所示装置的均方根-直流值变换器的概要框图;
图10为本发明另一实施例的电部件的概要框图;
图11为本发明的传感器组件的透视图。
为了更准确地参考附图，本发明的一个用于说明发明目的的实施例是用来作“操纵杆”功能的，它被描绘在图1，图2及图10上。可以理解：该装置的构型与部件细节在不脱离本申请公开的基本构思范围上是可以作出变化的。
一种眼动电信号（EOG）是人眼球相对于头部运动所产生的电信号轨迹的记录。利用在眼周围放置的电极，检测由眼运动产生的信号，并且放大及滤波该电生理信号，将EOG信号记录下来。为了检测眼的垂直运动，电极放置在高于及低于眼的部位上。为了检测其水平运动，电极被置于太阳穴上。
当在电极检测的电场中眼睛动动时就产生EOG信号。眼睛本身的作用相当于偶极子（或电池）。其角膜相当于正极，而视网膜相当于负极。
例如，若电极被对称地布置在眼的每一侧上，当一只眼睛正视前方时，该偶极子对于电极所检测的电场是直角，故产生的输出为零。当该只眼睛运动时，就具有以向正前方看的位置为参考的电压漂移。
眼睛的运动产生了非常低频率的电信号（接近0.1至2赫兹），事实上相对于稳态输出（向正前方看的位置）产生了一个随时间变化的信号。该信号的幅值很低，并且需要放大及滤波才能使其成为有用的信号。此外，放大器需具有优良的低频响应以防止信号损失。
需郑重指出，为使EOG信号成为有用，必须滤去其它的由生理产生的信号。例如，一个EOG信号可由幅度及频率来区别于一个电脑图象（EEG）信号。EEG信号是一脑电波信号，它有较高的频率（均为5至50赫兹），这是由于大量的脑神经细胞同步地激发引起的。EEG信号典型地是由放置于头皮上的传感器记录的，并且其幅值比EOG信号低得多（对于EEG信号为100微伏，相对的EOG信号为1毫伏）。因而EOG及EEG信号能利用频率及幅度进行分离。
由肌肉运动产生的肌动电信号（EMG）的强度依赖于参与肌肉收缩的肌肉细胞数而发生变化。EMG信号的幅度典型地约为1毫伏，而具有的频率范围接近于100至4000赫兹。因而EMG信号也能通过频率及幅值进行分离。
参照图1，一个人类操作者10在其头上带着传感器组件12。这里必须指出，本发明的应用并不局限于人类，也可扩展到被动物使用。
传感器组件12经由传感器导线14及16与EOG控制处理器18相连接，EOG控制处理器18通过多个内部连线20与装置22相连接。装置22可以为一个计算机，电视游戏机或是受控制的其它仪器。当操作者10在任何方向上移动其眼睛时，操作者10能与电视显示屏24或控制装置22产生相互联系，如文中所述。
参照图2，测量放大器26放大水平EOG倍号，其放大倍数为10，000左右。测量放大器26是一种高阻抗、宽频带放大器、其频率响应可低至0.1Hz，并且其噪声系数小于5微伏。测量放大器26是差分放大器，它从传感器导线14接收正及负的水平EOG信号。图3表示测量放大器26的概要框图。测量放大器26可包括通用的运算放大器，例如LM363测量放大器，及分立元件或类似的元器件。
该测量放大器26的输出由低通滤波器34及高通滤波器36滤波。低通滤波器34经由内部连线30与测量放大器26相连接。高通滤波器36也经由内部连线30与测量放大器26相连接。
低通滤波器34将EOG信号与经测量放大器26放大的EEG、EMG及另外的放大信号进行隔离，并仅使滤波后的EOG信号传送到差分比较器46，低通滤波器34具有的截止频率约为1.0Hz，并且仅接收具有低于截止点频率的信号。因而，低通滤波器34能将EOG信号与另外具有较高频率的信号，如EEG及EMG信号区别与分离开。
图4表示低通滤波器34的概要框图。低通滤波器可包括通用的运算放大器，例如TL064四芯器件中的运算放大器，及分立元件或类似的元器件。
高通滤波器36将EMG信号与被测量放大器26放大的信号，如EOG、EEG以及另外的放大信号分离开，并仅使滤波后的EMG信号传送到将均方根值转变成直流值的转换器48（RMS-DC转换器）。高通滤波器36的截止频率为100，0Hz左右并且仅接收具有截止点以上频率的信号。高通滤波器36因此可将由肌肉收缩产生的EMG信号与具有低频的信号EOG及EEG区分与分离开。该EMG信号可用作按“鼠标器”上或者其它装置上的按钮或键相似的开关。
图5表示高通滤波器36的概要框图。高通滤波器36可包括通用的运算放大器，例如TL064四芯器件中的运算放大器，及分立元件或其它类似元器件。
差分比较器46通过内部连线40与低通滤波器34相连接。差分比较器46将放大及滤波后的水平EOG信号与一正及负参考电压相比较。如果EOG信号的幅值超过正的参考电压，则差分比较器46启动隔离开关66。如果EOG信号的幅值比负的参考电压还负，则差分比较器46启动隔离开关68。这就形成了眼睛向左或右方向的注视与操纵杆操作方向之间的直接对应。
图6表示差分比较器46的概要框图。差分比较器46包括具有正及负参考电压的差分比较器，用以区别眼睛向左及向右的运动，以及具有两个输出通道用来区分眼睛向左及向右的运动。
差分比较器46用于将EOG信号的幅值与一预置阈值电平相比较，以使得由眼睛的“杂散”运动产生的信号被忽略掉，并仅使分眼睛有意识的运动相应的信号转换成控制信号。
差分比较器46可包括通用的运算放大器，如TL064四芯器件中的运算放大器，及分立元件，或与它们相似的元器件。
RMS-DC转换器48通过内部接线42与高通滤波器36相连接，并产生一电压触发电平，以响应由肌肉运动产生的EMG信号。RMS-DC转换器48在1.0秒左右的周期时间对EMG信号进行积分，并产生一个放大的直流输出信号，该信号正比于与EMG信号相关的能量。
图9表示RMS-DC转换器48的概要框图。RMS-DC转换器可包括通用的运算放大器，例如在TL064四芯器件中的运算放大器。及分立元件，或与它们相似的元器件。
RMS-DC转换器48的输出通过内部接线52与比较器54相连接。比较器54将EMG信号与一预定的参考电压相比较，在EMG信号超过参考电压时输出一个+5伏的信号。以此方式，由肌肉的“扭动”或是另外的由肌肉围绕头部的明显运动可作为“触发器”式控制或是类似于按被操作装置上的一个按钮或是启动其上的一个开关的操作。杂散的肌肉运动被忽略掉，只有由有意识的运动产生的EMG信号被转换成控制信号。
图7表示比较器54的概要框图。比较器54可包括通用的运算放大器，例如TL064四芯器件中的运算放大器，及分立元件，或与它们相似的元器件。
由传感器导线16来的垂直EOG信号，以对待水平信号相似的方式，被放大、滤波及处理。其区别在于：EMG信号没有从垂直输入通道中分离出来及被处理。测量放大器28的结构和工作与测量放大器26相同，并通过内部连线32与低通滤波器38相连接。低通滤波器38在结构上和工作上与低通滤波器34相同，并且通过内部连线44与差分比较器50相连接。差分比较器50在结构上和工作上与差分比较器46相同。
隔离开关66经由内部连线56可与差分比较器46相连接，并作为一个对差分比较器46传送来的向左眼运动信号产生响应的开关。
隔离开关68经由内部连线58与差分比较器46相连接，并作为一个对差分比较器46传送来的向右眼运动信号产生响应的开关。
隔离开关70经由内部连线60与比较器54相连接，并作为一个对肌肉“扭动”或另外明显的肌肉运动产生响应的开关。
隔离开关72经由内部连线62与差分比较器50相连接，并作为一个对向上眼运动产生响应的开关。
隔离开关74经由内部连线64与差分比较器50相连接，并作为一个对向下眼运动产生响应的开关。
多个隔离开关66、68、72及74实现了电视游戏机“操作杆”的功能，由此使得使用者能在一电视屏幕上将一两维目标移动到任何一点上。由隔离开关传出的控制信号也可被用来控制计算机显示器上光标的位置。每个开关由差分比较器46或差分比较器50传送来的5V信号启动，隔离开关66、68、72及74各自径连线76、78、82及84连接到受控的装置上。
隔离开关70是由肌肉的“扭动”启动的，它被连接到游戏机输入接口上，起游戏机选择按钮功能的作用。例如：用于“空中大战”游戏中的“开火控制”按钮。隔离开关70经由连接线80与受控装置相连接。
参照图8，每个隔离开关与计算机、电视游戏机、或另外受控装置的电输入端形成光隔离。每个隔离开关可以是一个四芯器件，如HSR-8200或类似器件中的每个光隔离开关，或包括分立元件，或与其类似的元器件。
一个计算机的“鼠标器”可以在如图10的所示电路中加进一个电压-频率转换器来实现。一个鼠标器与一个操纵杆区别之处在于：操纵杆闭合相应于“向左”、“向右”、及“向上”、“向下”运动的开关，而鼠标器产生相应于“向左”、“向右”、“向上”及“向下”运动的一系列脉冲。在给定方向上的运动量反映为所产生的脉冲数目。
参照图10，用作鼠标器电路与用作操纵杆电路的差别在于对放大及滤波后EOG信号的处理不同。对于水平方向运动，由低通滤波器34传出的EOG信号被分解为正半波整流器150整流的正向直流电压分量及由负半波整流器152整流的负向直流电压分量。由正半波整流器150产生的正电压表示向右方向的运动，而由负半波整流器152产生的负电压代表向左方向的运动。
正半波整流器150及负半波整流器152经由公共连接线40与低通滤波器24的输出端相连接。
正半波整流器150的正输出电压被电压-频率转换器166转换成脉冲，该转换器166经由连接线158连接到正半波整流器150的输出端。电压-频率转换器166产生一连串的脉冲，它的频率直接地与正半波整流器150输出的正电压电平成正比。当该电压上升时，其频率增高，并由此使每给定单位时间的脉冲数增多。由该电压-频率转换器166产生的脉冲数代表在向右方向的运动量。
电压-频率转换器166可以是LM331器件及分立元件，或是与它们相似的元件。
由电压-频率转换器166产生的脉冲然后驱动隔离门182，后者经由连接线174与电压-频率转换器166相连接。隔离门183用作与一计算机或另外装置的串行输入端接口用的光隔离门，它可为HP6N138器件或类似器件。隔离门183经由连接线190与一计算机或另外装置的串行输入端相连接。
对于向左方向的运动，由负半波整流器152输出的负输出电压被电压-频率转换器168转换成脉冲，该转换器168经由连接线160与负半波整流器152的输出相连接。电压-频率转换器168与电压-频率转换器166除以下外均相同：前者的输入端包括一个转换器，用以将负半波整流器152的负电压转换成合适驱动该电压-频率转换器的正向电压。
当眼睛正视前方时，由测量放大器26检测到没有电压差，并且正半波整流器150的输出以及负半波整流器152的输出均为零。相对于中心（前视），眼睛向右方向的运动产生一正电压，而向左方向的运动产生一负电压。因而，所产生的脉冲在某一时刻代表的是仅为一个方向运动。
垂直方向眼的运动以对待水平方向运动相同的方式被转换成脉冲，可以看到，在图10中所示电路的垂直运动部分是与该电路中水平运动部分处处相同的。
参照图11，传感器组件12经由连接输入通道的连接导线14及16与EOG控制器18相连接。传感器组件12通常包括一个由皮革、塑料或其它半刚性材料做的头圈98，它围绕在操作者10的头部。头圈98的配合是由调整钮100调整的。调整钮100调节调整带102相对于头圈98的位置。利用转动调节钮100，可使头圈98在操作者10头上的贴紧程度受到改变。应该注意到，还有许多另外的装置可用来使传感器组件12附着在操作者10上，并且可调节它使其适应操作者10。
传感器组件12包括水平输入电极90，对偶输入电极91，参考电极92，及垂直输入电极93。对偶输入电极91同时地用作水平输入及垂直输入电极。这些电极典型是由银网布或另外合适的柔性电材料制成的。
电极90及91在传感器组件12的侧面彼此对置，以使得当操作者10带上该传感器组件12时，它们将与操作者10头部的太阳穴附近相接触。
参照电极92这样地定位在传感器组件12上，即它与操作者10在前额处相接触。
垂直电极93被设置在侧板94上。侧板94利用按扣96连接到传感器组件12上。按扣96可以是一锁眼或另外的按扣，它可允许侧板94绕轴转动，该轴在其与传感器组件12的连接点上。侧板94被调整到使其垂直电极93放置在接近操作者10颊部。
传感器引线14包括三个单根导线，其中一根连接到位于操作者10左太阳穴附近的水平电极90上，另一根连接到位于操作者10前额附近的参照电极92上，第三根连接到位于操作者10右太阳穴附近的对偶输入电极91上。
传感器引线16也包括三根单根导线，一根连接到对偶输入电极91上，另一根连接到参照电极92上，第三根连接到安装在侧板94上并位于操作者10颊部附近的垂直电极93上。
可以看出，传感器引线14及16中每个均具有用作对参照电极92公用连接的一根导线。水平EOG信号及垂直EOG信号是利用此电极作为参照点进行测量的。
传感器引线14及16各自与测量放大器的输入端26及28相连接。
因而可以看出，由于借助于由眼睛的运动或肌肉的收缩产生的电信号，本发明可用于操纵计算机电视显示器上光标的位置，实现电视游戏机“操纵杆”的功能，用作计算机的“鼠标器”，以及操作另外类型的设备及机械。虽然以上的说明包括许多特殊性，但这些不能被视为是对本发明范围的限制，只能看作是对本发明现有优选实施例的某些说明。而本发明的范围应被附设的权利要求书或它的法律等同物来确定。

Claims (25)

1、一种眼睛操纵的控制器，包括
(a)用于传感由人眼运动产生的眼动电信号的装置；
(b)用于将所述眼动电信号处理成表徵所述眼运动方向的方向控制信号的装置；和
(c)用于将所述方向控制信号连接到被控制装置上的装置。
2、根据权利要求1的控制器，还包括：
（a）用于传感由肌肉运动产生的肌动电信号的装置;
（b）用于将所述肌动电信号处理成表徵所述肌肉运动的触发控制信号的装置;和
（c）用于将所述触发控制信号连接到被控制装置上的装置。
3、根据权利要求1或2的控制器，其中所述用于传感眼动电信号的装置包括多个电极。
4、根据权利要求3的控制器，其中所述多个电极包括：
（a）设置在操作人员前额附近的电极;
（b）设置在所述操作人员面颊附近的电极;
（c）设置在所述操作人员右太阳穴附近的电极;以及
（d）设置在所述操作人员左太阳穴附近的电极。
5、根据权利要求3的控制器，其中所述电极是银网布。
6、根据权利要求1至5的控制器，其中所述方向控制信号是开关闭合信号。
7、根据权利要求2的控制器，其中所述触发控制信号是开关闭合信号。
8、根据权利要求7的控制器，其中所述被控制装置是一个电视游戏机。
9、根据权利要求1至5的控制器，其中所述方向控制信号是脉冲。
10、根据权利要求9的控制器，其中所述被控制的装置是计算机。
11、根据权利要求1至10的控制器，还包括一个低通滤波器，所述低通滤波器具有低于5.0赫兹的截止频率。
12、根据权利要求11的控制器，还包括将垂直方向眼运动及水平方向眼运动产生的所述眼动电信号区分开来的装置。
13、根据权利要求12的控制器，还包括：
（a）用于将由眼的向左水平运动产生的眼动电信号与眼的向右水平运动产生的眼动电信号区分开来的装置;以及
（b）用于将由眼的向上方向运动产生的眼动电信号与眼的向下方向运动产生的眼动电信号区分开来的装置。
14、根据权利要求2的控制器，还包括一个截止频率高于50.0赫兹的高通滤波器。
15、一种眼睛操纵的控制器，包括：
（a）用于传感由身体内生理活动产生的电信号的装置;
（b）用于放大所述电信号的装置;
（c）用于选择性地由所述放大电信号中滤出由眼睛运动产生的眼动电信号的装置;
（d）用于区别由垂直眼运动及由水平眼运动产生的眼动电信号的装置;
（e）用于将由垂直眼运动产生的眼动电信号转换成为相应于向上及向下眼运动的垂直控制信号的装置，以及
（f）用于将由水平眼运动产生的眼动电信号转换成相应于向左及向右方向眼运动的水平控制信号的装置。
16、根据权利要求15的控制器，其中所述用于选择性地从所述放大电信号中滤出所述眼动电信号的装置包括一个截止频率低于5.0赫兹的低通滤波器。
17、根据权利要求16的控制器，其中将由垂直眼运动产生的所述眼动电信号转换成所述垂直控制信号的所述装置包括一个差分比较器。
18、根据权利要求17的控制器，其中将由水平眼运动产生的所述眼动电信号转换成所述水平控制信号的所述装置包括一个差分比较器。
19、根据权利要求15至18的控制器，还包括：
（a）用于选择性地从所述放大电信号中滤出由肌肉运动产生的肌动电信号的装置;及
（b）用于将由所述肌肉运动产生的肌动电信号转换成触发控制信号的装置。
20、根据权利要求19的控制器，其中所述控制信号是开关闭合信号。
21、根据权利要求15至19的控制器，其中所述控制信号是脉冲。
22、根据权利要求19的控制器，其中所述用于选择性地从所述放大电信号中滤出由肌肉运动产生的肌动电信号的装置包括一个具有截止频率高于50.0赫兹的高通滤波器。
23、根据权利要求22的控制器，其中所述用于将所述肌动电信号转换成所述触发控制信号的装置包括;
（a）一个RMS-DC转换器，以及
（b）一个比较器。
24、一种利用人的生理活动产生的电信号控制一装置的方法，包括下列步骤：
（a）传感由眼运动产生的眼动电信号;
（b）将所述的眼动电信号处理成表徵所述眼运动方向的方向控制信号;以及
（c）将所述方向控制信号连接到被控制装置上。
25、根据权利要求24的方法，还包括下列步骤：
（a）传感由肌肉运动产生的肌动电信号;
（b）将所述肌动电信号处理成触发控制信号;以及
（c）将所述触发控制信号连接到被控制装置上。
CN91105790A 1990-07-24 1991-07-24 眼睛操纵的控制器 Pending CN1060940A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US55720590A 1990-07-24 1990-07-24
US557,205 1990-07-24

Publications (1)

Publication Number Publication Date
CN1060940A true CN1060940A (zh) 1992-05-06

Family

ID=24224460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN91105790A Pending CN1060940A (zh) 1990-07-24 1991-07-24 眼睛操纵的控制器

Country Status (6)

Country Link
EP (1) EP0468340A3 (zh)
JP (1) JPH0695797A (zh)
KR (1) KR920003139A (zh)
CN (1) CN1060940A (zh)
CA (1) CA2047431A1 (zh)
TW (1) TW209283B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066474A1 (fr) * 2004-12-22 2006-06-29 Lenovo (Beijing) Limited Procede et systeme de commande du curseur d'un afficheur
CN100342388C (zh) * 2003-07-18 2007-10-10 万众一 视觉跟踪智能控制方法
CN100374986C (zh) * 2003-06-12 2008-03-12 控制仿生学公司 用于交互式通信和分析的方法、系统与软件
CN102426768A (zh) * 2011-08-16 2012-04-25 海尔集团公司 基于体电波控制电子设备的系统及方法
CN103246344A (zh) * 2012-02-02 2013-08-14 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN105487655A (zh) * 2015-11-23 2016-04-13 联想(北京)有限公司 信息处理方法及相关电子设备
TWI616186B (zh) * 2015-07-22 2018-03-01 國立交通大學 視調節微波動之量測系統及方法
CN109077730A (zh) * 2017-06-13 2018-12-25 北京纳米能源与系统研究所 肌肉微动探测元件、开关装置、人机交互系统及前端装置
CN109298787A (zh) * 2018-09-14 2019-02-01 清华大学 柔性人机交互装置和终端设备
CN110037696A (zh) * 2019-04-24 2019-07-23 广州贝方医疗设备有限公司 基于眼电开关的脑电生物反馈系统
RU2766764C1 (ru) * 2021-03-04 2022-03-15 Федеральное государственное бюджетное образовательное учреждение высшего образования «Юго-Западный государственный университет» (ЮЗГУ) (RU) Способ оценки мышечной усталости на основе контроля паттернов синергии и устройство для его осуществления

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293187A (en) * 1992-02-05 1994-03-08 Biocontrol Systems, Inc. Method and apparatus for eye tracking for convergence and strabismus measurement
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JPH07334297A (ja) * 1994-06-13 1995-12-22 Nec Corp 視覚入力装置
GB2295457B (en) * 1994-11-26 1999-06-30 David Kniveton Chadwick A device for monitoring the myotatic activity of a muscle
JPH09114543A (ja) * 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
JPH10309381A (ja) * 1997-05-13 1998-11-24 Yoshimasa Tanaka 移動体用遊戯装置
ES2160512B1 (es) * 1999-09-10 2002-05-16 Univ Alcala Henares Sistema de comunicacion hombre-maquina basado en electrooculografia. .
US6099124A (en) * 1999-12-14 2000-08-08 Hidaji; Faramarz Ophthalmological system and method
KR100374346B1 (ko) * 2000-12-06 2003-03-04 한국과학기술원 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
US20040070729A1 (en) * 2001-02-19 2004-04-15 Peter Wiebe Device and method for determining the viewing direction in terms of a fix reference co-ordinates system
GB2396421A (en) * 2002-12-16 2004-06-23 Orange Personal Comm Serv Ltd Head-worn device measuring brain and facial muscle activity
ES2253943B1 (es) * 2003-05-13 2007-07-16 Salvador Miravalls Renart Aparato de control de dispositivos mediante señales bioelectricas producidas por movimiento de un musculo.
KR100504217B1 (ko) * 2003-07-16 2005-07-27 한국과학기술원 근전도 신호를 이용한 인간-기계 인터페이스 장치 및 방법
EP1533678A1 (en) * 2003-11-24 2005-05-25 Sony International (Europe) GmbH Physical feedback channel for entertaining or gaming environments
WO2007037751A1 (en) * 2005-09-27 2007-04-05 Penny Ab A device for controlling an external unit
GB2456558A (en) * 2008-01-21 2009-07-22 Salisbury Nhs Foundation Trust Controlling equipment with electromyogram (EMG) signals
TWI403915B (zh) * 2009-05-19 2013-08-01 Nat Univ Chung Hsing 感測腦電波及眼電波之３ｄ控制裝置及控制方法
DE102009025313A1 (de) * 2009-06-15 2010-12-23 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Außenohrmuskulaturerfassungsmittel
US11253781B2 (en) 2009-07-10 2022-02-22 Valve Corporation Player biofeedback for dynamically controlling a video game state
US8989857B2 (en) 2010-11-15 2015-03-24 Sandy L. Heck Control system and apparatus utilizing signals originating in the periauricular neuromuscular system
CN102129554B (zh) * 2011-03-18 2013-01-16 山东大学 一种基于视线跟踪的密码输入控制方法
TWI473934B (zh) * 2012-11-30 2015-02-21 Utechzone Co Ltd A method for inputting a password and a safe for using the eye movement password input method
CN103070682B (zh) * 2013-01-09 2014-10-22 清华大学 基于眼电信号的眼动方向提取方法及提取装置
EP3019963A4 (en) * 2013-07-12 2017-02-08 University of Iowa Research Foundation Augmentative and alternative communication
US20170060256A1 (en) * 2015-08-31 2017-03-02 Reach Bionics, Inc. System and method for controlling an electronic device with a facial gesture controller
GB2542434A (en) 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
CN105904459A (zh) * 2016-05-19 2016-08-31 南京邮电大学 基于眼电信号识别的机器人控制系统及该系统的设计方法
KR102239686B1 (ko) 2016-08-04 2021-04-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 단일 깊이 추적 순응-수렴 솔루션
JP2022510793A (ja) * 2018-12-14 2022-01-28 バルブ コーポレーション ビデオゲーム状態を動的に制御するためのプレイヤーバイオフィードバック

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5872235A (ja) * 1981-10-26 1983-04-30 Komatsu Ltd インタ−フエ−ス
CA1213329A (en) * 1983-10-14 1986-10-28 Roger Broughton Muscle tone detector for sleep analysis
GB2170910A (en) * 1984-12-19 1986-08-13 Marconi Co Ltd Eye tracking system
US4715386A (en) * 1986-03-14 1987-12-29 National Patent Analytical Systems, Inc. Computer-aided drug-abuse detection
JPS62280920A (ja) * 1986-05-30 1987-12-05 Hitachi Ltd ポインテイングデバイス
GB8917929D0 (en) * 1989-08-04 1989-09-20 Marconi Co Ltd Control system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100374986C (zh) * 2003-06-12 2008-03-12 控制仿生学公司 用于交互式通信和分析的方法、系统与软件
CN100342388C (zh) * 2003-07-18 2007-10-10 万众一 视觉跟踪智能控制方法
WO2006066474A1 (fr) * 2004-12-22 2006-06-29 Lenovo (Beijing) Limited Procede et systeme de commande du curseur d'un afficheur
CN100399247C (zh) * 2004-12-22 2008-07-02 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
CN102426768B (zh) * 2011-08-16 2016-02-10 海尔集团公司 基于体电波控制电子设备的系统及方法
CN102426768A (zh) * 2011-08-16 2012-04-25 海尔集团公司 基于体电波控制电子设备的系统及方法
CN103246344A (zh) * 2012-02-02 2013-08-14 联想(北京)有限公司 一种控制电子设备的方法及电子设备
TWI616186B (zh) * 2015-07-22 2018-03-01 國立交通大學 視調節微波動之量測系統及方法
CN105487655A (zh) * 2015-11-23 2016-04-13 联想(北京)有限公司 信息处理方法及相关电子设备
CN109077730A (zh) * 2017-06-13 2018-12-25 北京纳米能源与系统研究所 肌肉微动探测元件、开关装置、人机交互系统及前端装置
CN109298787A (zh) * 2018-09-14 2019-02-01 清华大学 柔性人机交互装置和终端设备
CN110037696A (zh) * 2019-04-24 2019-07-23 广州贝方医疗设备有限公司 基于眼电开关的脑电生物反馈系统
RU2766764C1 (ru) * 2021-03-04 2022-03-15 Федеральное государственное бюджетное образовательное учреждение высшего образования «Юго-Западный государственный университет» (ЮЗГУ) (RU) Способ оценки мышечной усталости на основе контроля паттернов синергии и устройство для его осуществления

Also Published As

Publication number Publication date
EP0468340A2 (en) 1992-01-29
TW209283B (zh) 1993-07-11
KR920003139A (ko) 1992-02-29
CA2047431A1 (en) 1992-01-25
JPH0695797A (ja) 1994-04-08
EP0468340A3 (en) 1992-12-16

Similar Documents

Publication Publication Date Title
CN1060940A (zh) 眼睛操纵的控制器
US20220095989A1 (en) Multimodal human-robot interaction system for upper limb rehabilitation
Scherer et al. The self‐paced Graz brain‐computer interface: Methods and applications
CN101557788A (zh) 提供触觉反馈的cpr训练装置
CN111110982A (zh) 基于运动想象的手部康复训练方法
CN1079296A (zh) 用于在全聚和斜视情况下眼睛轨迹测量的方法和装置
Ding et al. Development of an EOG (electro-oculography) based human-computer interface
Scherer et al. Self-initiation of EEG-based brain–computer communication using the heart rate response
CN110993056A (zh) 基于镜像神经元和脑机接口的混合式主动康复方法、装置
CN113332101B (zh) 基于脑机接口的康复训练装置的控制方法和装置
CN102426768A (zh) 基于体电波控制电子设备的系统及方法
CN114847950A (zh) 基于虚拟现实的注意力评估与训练系统、方法及存储介质
CN113180992A (zh) 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN114469641A (zh) 基于肌电识别的功能性电刺激运动障碍镜像训练方法
Edlinger et al. A hybrid brain-computer interface for improving the usability of a smart home control
Mouli et al. DIY hybrid SSVEP-P300 LED stimuli for BCI platform using EMOTIV EEG headset
CN116077889A (zh) 基于节律性听觉刺激的步态康复训练系统及训练方法
CN106020472A (zh) 一种基于下肢不同抬起幅度运动想象的脑机接口系统
CN116059600B (zh) 一种基于互动投影的康复训练装置、训练方法及评估系统
CN108888482B (zh) 基于运动皮层相关电位的下肢外骨骼康复训练系统
JP2003157136A (ja) 生体反応を記録可能な高臨場感映像表示装置
CN115712350A (zh) 一种基于肌电检测的眨眼交流表达系统及控制方法
CN110694172B (zh) 一种基于功能性电刺激的智能化上肢康复训练系统
CN215017698U (zh) 康复训练运动模拟可视化系统
CN110808091B (zh) 基于虚拟现实视听觉通路的感觉统合失调测训系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C01 Deemed withdrawal of patent application (patent law 1993)
WD01 Invention patent application deemed withdrawn after publication