CN110140166B - 用于向计算机提供免手工输入的系统 - Google Patents

用于向计算机提供免手工输入的系统 Download PDF

Info

Publication number
CN110140166B
CN110140166B CN201780081779.6A CN201780081779A CN110140166B CN 110140166 B CN110140166 B CN 110140166B CN 201780081779 A CN201780081779 A CN 201780081779A CN 110140166 B CN110140166 B CN 110140166B
Authority
CN
China
Prior art keywords
liquid crystal
crystal display
computer
user
blink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081779.6A
Other languages
English (en)
Other versions
CN110140166A (zh
Inventor
埃利亚斯·库利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ai LiyasiKuli
Original Assignee
Ai LiyasiKuli
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai LiyasiKuli filed Critical Ai LiyasiKuli
Publication of CN110140166A publication Critical patent/CN110140166A/zh
Application granted granted Critical
Publication of CN110140166B publication Critical patent/CN110140166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种用于向计算机提供免手工输入的系统,包括一个或多个人造纤毛支架,其附接到使用者的眼睑或睫毛,通过所述人造纤毛支架,从其延伸的一个或多个人造纤毛调节成响应于故意眨眼动作而生成输入命令;计算机,可向其发送眨眼得出的输入命令,所述计算机包括与运行中的应用程序相连接的视频卡,在所述运行中的应用程序上可临时存储数据,通过所述数据可生成用于显示的输出图像,所述计算机还包括处理器,在处理器上可执行用于管理系统的操作的专用软件模块;液晶显示(LCD)屏,用于检测眨眼相关选择操作的多个传感器与所述液晶显示屏相关联;头戴式支撑结构,用于将所述液晶显示屏安装在距所述人造纤毛选择邻近距离内;运动传感器,与所述计算机的处理器进行数据通信并安装在所述支撑结构上,用于检测所述使用者的校准瞬时头部方向;装置,用于复制所存储的视频数据的一部分或其表示,所述部分或其表示将使所述使用者响应于所述瞬时头部方向在计算机屏幕上看到相应的图像,并且用于在所述液晶显示屏上显示对应于所述所复制部分的所述图像;和装置,用于响应于所述眨眼相关选择操作将由所述与液晶显示屏相关联的多个传感器中相应的一个生成的信号发送到所述专用软件模块,并且用于将发送所发送的信号转换成相应的输入命令。

Description

用于向计算机提供免手工输入的系统
技术领域
本发明涉及计算机输入设备领域。具体地说,本发明涉及一种用于向计算机提供免手工输入的系统,取代了使用传统输入设备,例如鼠标、键盘和触摸屏。
背景技术
各种计算机附件,例如,鼠标和键盘,需要手工操作。手残疾(如手麻痹)的计算机使用者不能使用此类附件。存在各种解决方案,需要不同级别的使用者交互、以及不同级别的计算资源。
第5,682,210号美国专利公开了一种隐形眼镜视频显示系统。液晶显示器(LCD)形式的可视显示器与支撑电路、电池和天线一起形成隐形眼镜,隐形眼镜戴在眼睛上,盖住了视野。连接至向天线发送视频数据的数据源的眼镜框可以支撑隐形眼镜以及用于感测眼球运动和运动方向的眼睛运动传感器。LCD上显示的图像响应于眼睛运动和眼睑眨眼而改变。
然而,与类似的系统一样,该系统通过处理使用者的眼睛的图像来检测使用者的视线。这是一项复杂的处理任务,需要大量的处理资源。因此,在使用用于检测使用者的视线的非复杂方法时,希望以免手工方式操作计算机附件。
因此,本发明的一个目的是提供一种系统,用于实现通常是手工操作的计算机附件的免手工操作。
本发明的另一个目的是提供一种用于向计算机提供免手工输入的系统。
本发明的再一个目的是提供一种用于检测使用者视线的系统,而无需处理使用者的眼睛的图像。
随着描述的进行,本发明的其他目的和优点将变得显而易见。
发明内容
本发明涉及一种用于向计算机提供免手工输入的系统,包括一个或多个人造纤毛支架,其附接到使用者的眼睑或睫毛,通过所述人造纤毛支架,从其延伸的一个或多个人造纤毛调节成响应于故意眨眼动作而生成输入命令;计算机,可向其发送眨眼得出的输入命令,所述计算机包括与运行中的应用程序相连接(interfacing with)的视频卡,在所述运行中的应用程序上可临时存储数据,通过所述数据可生成用于显示的输出图像,所述计算机还包括处理器,在处理器上可执行用于管理系统的操作的专用软件模块;液晶显示(LCD)屏,用于检测眨眼相关选择操作的多个传感器与所述液晶显示屏相关联;头戴式支撑结构,用于将所述液晶显示屏安装在距所述人造纤毛选择邻近距离内;运动传感器,与所述计算机的处理器进行数据通信并安装在所述支撑结构上,用于检测所述使用者的校准瞬时头部方向;装置,用于复制所存储的视频数据的一部分或其表示,所述部分或其表示将使所述使用者响应于所述瞬时头部方向在计算机屏幕上看到相应的图像,并且用于在所述液晶显示屏上显示对应于所述所复制部分的所述图像;和装置,用于响应于所述眨眼相关选择操作将由所述与液晶显示屏相关联的多个传感器中相应的一个生成的信号发送到所述专用软件模块,并且用于将发送所发送的信号转换成相应的输入命令。
如本文所述,“视频卡”是包括电路的硬件,能够接收数据信号并将所述数据信号转换成要显示的视频信号,例如结合VGA或DVI输入,或者用于支持静态或动态像素映射。
一方面,用于复制所存储的视频数据的一部分的装置包括存储设备、检索所存储的视频数据并将其保存在所述存储设备中的处理器、以及用于将所述检索的数据编码到载波上的调制器。用于在所述液晶显示屏上显示对应于所述所复制部分的所述图像的装置包括安装在支撑结构上的收发器、和解调器。
在其他实施例中,该系统还包括:
i.计算机屏幕,在使用者的观看范围内并与所述计算机进行数据通信,并且用于复制所存储的视频数据的一部分或其表示的装置是安装在支撑结构上的向前定向的成像器,用于捕获与使用者的瞬时视线重合的所述计算机屏幕的一部分,所述瞬时视线响应于瞬时头部方向而确定。
ii.安装在支撑结构上的电源,用于给所述成像器、所述液晶显示屏、所述运动传感器、每个所述与液晶显示屏相关联的传感器以及所述用于发送由所述与液晶显示屏相关联的多个传感器中相应的一个生成的信号的装置供电;或者
iii.用于区分无意眨眼动作和故意眨眼动作的装置。
在一方面,将使所述使用者响应于所述瞬时头部方向在计算机屏幕上看到相应的图像的所存储的视频数据可无线远程地发送到所述收发器,使得对应于所述所复制部分的图像显示在所述液晶显示屏上。
一方面,纤毛支架包括由多个间隔开的支撑元件增强的单个纤毛。
附图说明
图1是根据本发明实施例的用于向计算机提供免手工输入的系统的示意图;
图2是用于校准图1的系统的流程图;
图3是图1的系统的实现方式的示意图,以相对于眼镜佩戴者的透视图示出;
图4是操作本发明系统的过程的实施例的流程图;
图5是计算机屏幕的前视图,示出了用于区分无意眨眼动作和故意眨眼动作的装置;
图6是图1的系统的另一实施方式的示意图,以相对于眼镜佩戴者的透视图示出;
图7是与根据本发明实施例的图1的系统结合使用的纤毛支架的俯视图;和
图8是根据本发明另一实施例的用于向计算机提供免手工输入的系统的示意图。
具体实施方式
本发明涉及一种用于向计算机提供免手工输入的系统,通过该系统,响应于使用者做出的故意眨眼动作来选择显示的对象。该系统对手功能受损的使用者非常有用。
图1示意性示出了根据本发明一个实施例的系统5。系统5包括计算机1,可向其发送眨眼得出的输入命令;和具有一对透镜的使用者可佩戴的眼镜框2,其上安装有向前定向的成像器3(例如,摄像头),用于捕获对应于使用者的瞬时视线19的计算机屏幕4的一部分。与成像器3进行数据通信的液晶显示屏26嵌入其中一个透镜中,并用于显示成像器3连同框安装处理器28采集的计算机屏幕4的一部分上出现的图像。
如本领域技术人员所熟知的,液晶显示屏26可以是电阻型,其在选择操作期间局部变形;电容型,其依赖于人体的电特性来检测触摸操作;或者红外型,其配置有多个红外光源和相应的接收器,用于检测在横跨显示表面的平面中发射的光的中断。
虽然系统5由于眼镜框2和安装在眼镜框上的其他部件的一致性而非常适合视力未受损的使用者,但是视力受损的使用者也可以通过在眼镜框2上添加矫正透镜(例如插入槽18中)来舒适地观看显示在液晶显示屏26上的图像。
用于检测眨眼相关选择操作的与液晶显示屏26相关联的多个传感器6也安装在眼镜框2上,例如触敏传感器,运动传感器24(例如用于跟踪头部运动的陀螺仪传感器),发送器7(例如短程发送器),用于向计算机1发送无线信号W,该无线信号W是响应于眨眼得出的选择而做出的输入命令的代表,以及用于给成像器3、传感器6和传感器24、发送器7、液晶显示屏26和处理器29供电的电源8。
计算机1设置有用于从发送器7接收无线信号W的接收器22,并设置有可在计算机的处理器上执行的专用软件模块27,用于管理系统的操作,其包括发送器7和接收器22的配对,并用于与操作系统和运行中的应用程序相连接,使得:在接收信号W后,图像显示在计算机屏幕4上。接收器22还调节成从运动传感器24接收无线信号F,运动传感器通过专用软件模块27与之配对。相对于相应的信号标识符,解码器25对包含在无线信号F和W中的发送的数据进行解码,并将解码后的数据传送到专用软件模块27以便进一步处理。
可以理解的是,信号F和W可以通过有线连接发送。
在其他实施例中,发送器7和接收器22可以分别用收发器代替,以使得由专用软件模块27处理的数据能够被发送到液晶显示屏26。
该系统还包括附接到使用者的眼睑或睫毛的一个或多个人造纤毛支架16,用于使得使用者,通过故意移动或眨动眼睑,直到从支架16延伸的一个或多个人造纤毛29接触到所选传感器6,来选择显示在液晶显示屏26上的对象。
每个支架16可以是两个可重复使用的磁化带中的一个,多个间隔开的人造纤毛29从该磁化带延伸,例如FocallureTM公司的
Figure BDA0002114085880000041
它们磁性固定在一起,同时天然睫毛插入其间。可选地,每个支架16可以固定,例如可释放地固定到眼睑上。人造纤毛29可以是导电的,与电容式液晶显示屏结合使用,或者是非导电的,优选在一定程度上是柔性的,尽管它们可以被增强或以其他方式加固以限制柔性程度。支架16的所有纤毛29可以具有相同的长度,或者,给定支架的纤毛可以具有不同的长度。
在使用系统5发出可靠的输入命令之前,必须正确校准与成像器运动相关的使用者头部运动。
在步骤33中,如图2所示,专用软件模块首先导致独特的指示显示在计算机屏幕上,例如计算机屏幕中心的红色亮点。在步骤35中,使用者晃动他的头,直到独特的指示显示在液晶显示屏上。在独特的指示出现在液晶显示屏上之后,在步骤37中,使用者进行基于眨眼的选择动作,以确认已经在液晶显示屏上看到该独特的指示。在步骤39中,通过解码器的干预,专用软件模块也从运动传感器获得瞬时的使用者头部方向。在步骤41中,使用者还被要求通过基于眨眼的选择动作来确认他或她与计算机屏幕间隔大约半米的默认距离。专用软件因此确定瞄准线,该瞄准线构成校准过程的后续步骤的参考线,该瞄准线根据瞬时的使用者头部位置,与计算机屏幕有距离,该瞄准线位于:成像器透镜的中心线和出现在计算机屏幕上的独特的指示之间。
然后,在步骤43中,要求使用者将他或她的头抬起到独特的指示之上,直到在液晶显示屏上看到计算机屏幕的显示部分的上边缘。然后,在步骤45中,使用者通过基于故意眨眼的选择动作确认在液晶显示屏上看到了计算机屏幕的显示部分的上边缘。步骤43和步骤45经必要修改后依次重复,直到在液晶显示屏上看到计算机屏幕的显示部分的下边缘、右边缘和左边缘。在确认之后,在获得相应的瞬时的使用者头部方向之后,当侵犯(imping...upon)这些极限计算机屏幕边缘中的每一个时,在步骤47中,专用软件确定成像器的瞄准线相对于参考线的方向。因此,在步骤49中,针对任何给定的头部方向,专用软件模块确定:当侵犯位于极限边缘之间的中间计算机屏幕区域时,成像器的相应的瞄准线的方向,例如通过相对于参考线进行插值(interpolating)。由于给定瞄准线的方向是已知的,并且专用软件模块与计算机的操作系统和运行中的应用程序相连接,在步骤51中,专用软件模块确定显示在与给定瞄准线重合的计算机屏幕区域上的对象。
一旦已校准了成像器的瞄准线,就可以执行输入操作。
图3示出了系统5的实现方式。眼镜框2的左透镜10是透明的,以便能够清楚地看到计算机屏幕4,并且嵌入在右透镜11中的液晶显示屏被分成两个部分26a和26b,以显示捕获到的位于使用者前方的计算机屏幕4的部分。安装在眼镜框2上的电子元件由电源17供电,例如一组电池。
在图示的示例中,运行中的计算机应用程序是文档编辑器,并且专用软件模块相应地使得虚拟键盘13显示在计算机屏幕4上。成像器瞄准线19侵犯所显示的虚拟键盘13的一部分,并且该部分又显示在下部液晶显示屏部分26b上。显示在下部液晶显示屏部分26b上的部分的放大表示,显示在上部液晶显示屏部分26a上。在使用纤毛支架16进行基于眨眼的选择之后,生成的无线信号由蓝牙发送器发送到接收器22,接收器22从计算机屏幕4突出,并且,上述无线信号被转换成计算机输入。
图4示出了结合前述系统执行输入操作的方法的实施例的流程图。当使用者面对计算机屏幕时,使用者或管理员在步骤61激活系统的可激活组件,包括数码摄像头。
在下一个步骤62中,摄像头捕获所有对象,其中,相对于给定瞄准线,所述所有对象显示在摄像头的视野内的计算机屏幕区域的一部分上,并且在步骤63中显示在下部液晶显示屏部分上。计算机屏幕区域的这部分将被称为“选择区域”,因为它在选择过程中帮助使用者,为使用者提供了关于显示在计算机屏幕上的可选择对象的相对宽的视角。使用者能够通过重新定向他或她的头部来重新调整瞄准线来扫描显示在计算机屏幕上的其他对象,然后新捕获的对象显示在下部液晶显示屏部分。
由于本发明的基于眨眼的选择过程的性质,待选择的实际对象可能会出现一些不确定性。当瞄准线不移动超过预定时间,例如半秒钟,指示使用者正在扫视显示的对象时,在步骤64中,专用软件模块使与给定瞄准线重合的显示对象显示在上部液晶显示屏部分上。显示在上部液晶显示屏部分的对象将被称为“选择候选者”,因为它可能实际上没有被选择,而是在使用者注意到它不是打算被选择的对象后被改变。在显示选择区域和选择候选者的过程中,安装在眼镜框上的图像处理器接收由摄像头捕获的图像数据,并减小要显示在相应的液晶显示屏部分上的选择区域和选择候选者的可视尺寸。
可以选择相应的透镜内的上部液晶显示屏部分的相对位置,以确保显示的选择候选者将沿着人造纤毛的枢转路径定位。选择候选者相对于选择区域的对象的扩大的尺寸,以及邻近选择候选者的其他对象的缺乏,确保了:在基于故意眨眼的选择期间,将通过人造纤毛可靠地接触选择候选者。
选择区域可以包括虚拟键盘、互联网浏览器窗口或使用者可以从中选择或激活对象(例如虚拟按钮)的任何其他可视交互界面的整个区域或一部分。关于图3的示例,选择候选者是字母“r”,并且选择区域包括显示的虚拟键盘的字母“w、e、r、t、y、a、s、d、f和g”。
有时,瞄准线与两个对象之间的计算机屏幕区域重合。由于哪个对象应该显示为选择候选者的不确定性,专用软件模块可以确定不显示任何选择候选者,或者,可以基于概率方法选择显示其中一个对象。在下一个步骤65中,使用者简单地重新调整头部方向,以便改变瞄准线和显示的选择候选者,直到在下一个步骤66中,使用者通过故意的眨眼动作进行选择,并在人造纤毛和设置有液晶显示屏的触摸传感器之间进行接触。因此,可以简单地选择看到的显示对象,而无需借助于使用者眼睛的图像处理来确定视线。在下一个步骤67中,与所选对象相关联的数据被发送到计算机,在下一个步骤68中,计算机以与来自鼠标、键盘或任何其他输入设备的计算机输入相似的方式将发送的数据转换成计算机输入。在已经执行第一输入操作之后,重复步骤65-68,以使得使用者进行其他选择。当需要时,使用者可以停用可激活部件以结束选择过程。
由于系统的使用者通过执行眨眼动作来进行选择,因此需要在防止异物进入眼睛并帮助润滑角膜表面的无意眨眼动作和选择液晶显示屏上显示的对象所需的故意眨眼动作之间进行区分的装置。人造纤毛能够在无意眨眼和故意眨眼的过程中对液晶显示屏施加力。
在一个实施例中,如图5所示,专用软件模块通过运行中的应用程序的干预,在操作系统生成的计算机屏幕4的正常显示器72的一例生成确认框74。在通过基于眨眼的动作在液晶显示屏上有条件地选择对象之后,该基于眨眼的动作使得显示的对象被接触,并且代表有条件地选择的对象的坐标的无线信号将被发送到计算机,专用软件模块被配置为在有条件选择之后的预定时间内,例如1.5秒内,等待确认框74的选择。在该预定时间内,使用者朝确认框74的方向看,直到它显示在液晶显示屏上并通过故意的眨眼动作被选择。如果在预定时间内选择了确认框74,专用软件模块将发送的数据转换成输入命令,并将该输入命令发送到操作系统。
在图6所示的另一个实施例中,在眼镜框2的透镜10和透镜11的每一个内嵌入相应的液晶显示屏26。专用软件模块被配置为当使用者在打字模式期间根据先前发送的输入命令执行连接(interfacing)操作时,使得整个虚拟键盘13’显示在嵌入透镜11内的液晶显示屏上。尽管显示在液晶显示屏上的虚拟键盘13’可以具有与显示在计算机屏幕4上的虚拟键盘13不同的布置,但是虚拟键盘13’的所有键可以以足够的分辨率立刻显示,例如当使用大尺寸透镜时,以帮助提高基于眨眼的打字操作的速度。每个键的尺寸可以成比例地小于物理键盘的键的尺寸,因为它们不需要适应手指的按压操作,而是只需要适应人造纤毛相对较薄的尺寸,因此可以立即全部显示在液晶显示屏上。
或者,虚拟键盘的一部分可以显示在嵌入透镜11内的液晶显示屏上。在重新定向瞄准线时,可以精确地选择对象,直到该对象与蚀刻或以其他方式设置有透镜11的标线片79重合。显示在液晶显示屏上的虚拟键盘部分可以响应于来自运动传感器24(图1)的读数以类似于图2所示方法的方式进行校准。所显示的虚拟键盘部分可以从安装在眼镜框上的摄像头捕获的图像数据中获得,或者可选地从与计算机操作系统相连接的视频发送器中获得,该视频发送器发送保存在存储器中或显示在计算机屏幕上的与方向相关的视频数据。
以基于眨眼的动作键入的文本文档81显示在嵌入透镜10内的液晶显示屏上。由于一只眼睛观看虚拟键盘13’,另一只眼睛观看文本文档81,基于眨眼的打字操作模拟物理键盘的使用,由此使用者查看显示在计算机屏幕上的文本文档。如果显示在文本文档81上的眨眼类型的字符不是想要选择的字符,使用者只需通过基于眨眼的动作选择退格键并键入不同的字符。因此,可查看和可校正的文本文档81用作区分无意眨眼动作和故意眨眼动作的装置。
用于显示虚拟键盘13’和文本文档81的图像数据可以例如从计算机的操作系统发送到图像处理器28(图1),然后通过多路复用器、解调器或用于处理数字数据流的其他装置传送到两个相应的液晶显示屏。
除了选择之外,基于眨眼的动作还可以用于执行其他打字或连接操作。例如,可以通过在例如1秒的预定时间内基于眨眼的动作选择对象两次,然后选择选项之一来打开上下文菜单。如果其中一个选项尚未被选择,则当使用者的头部在期望的方向上晃动时,所选择的对象可以被拖动。
使用图7所示的纤毛支架86,可以可靠地执行精确的基于眨眼的选择操作。单个人造纤毛83可以从带84向远侧延伸,带84可以承载并磁化。单个纤毛83可在其近端加厚,在其末端远端86逐渐变细至明显较窄的尺寸,以便精确定位在显示在液晶显示屏上的待选择对象上。纤毛83可以通过附着到带84上的多个间隔开的支撑元件89来增强。
在图8所示的另一个实施例中,与图1的系统5相同但不需要成像器的系统95用于远离计算机执行基于眨眼的选择。
数据通过信号J,例如从计算机1的操作系统或视频卡97,无线远程地发送到安装在眼镜框上的调制解调器93,并通过多路复用器、解调器或用于处理数字数据流的其它装置传送到安装在眼镜框上的信号处理器98,然后传送到一个或两个相应的液晶显示屏26。某些发送的数据包括显示在液晶显示屏26上的校准指令,例如何时观察物理对象以及何时重新定向头部。校准之后,响应于瞬时的头部方向,使用者头部方向与视线和可显示在液晶显示屏26上的可选对象相关联。
由于已经描述和示出了各种实施例,应该理解,在不脱离本文中的原理的情况下,变化对于本领域技术人员来说是显而易见的。因此,本发明不限于附图中描述和示出的具体实施例。

Claims (14)

1.一种用于向计算机提供免手工输入的系统,包括
a.一个或多个人造纤毛支架,其附接到使用者的眼睑或睫毛,通过所述人造纤毛支架,从其延伸的一个或多个人造纤毛调节成响应于故意眨眼动作而生成输入命令;
b.计算机,可向其发送眨眼得出的输入命令,所述计算机包括与运行中的应用程序相连接的视频卡,在所述运行中的应用程序上可临时存储数据,通过所述数据可生成用于显示的输出图像,所述计算机还包括处理器,在处理器上可执行用于管理系统的操作的专用软件模块;
c.液晶显示(LCD)屏,用于检测眨眼相关选择操作的多个传感器与所述液晶显示屏相关联;
d.头戴式支撑结构,用于将所述液晶显示屏安装在距所述人造纤毛选择邻近距离内;
e.运动传感器,与所述计算机的处理器进行数据通信并安装在所述支撑结构上,用于检测所述使用者的校准瞬时头部方向;
f.用于复制所存储的视频数据的一部分或其表示以使所述使用者响应于所述瞬时头部方向在计算机屏幕上看到相应的图像并且用于在所述液晶显示屏上显示对应于所述所复制部分的所述图像的装置;和
g.用于响应于所述眨眼相关选择操作来发送由与液晶显示屏相关联的所述多个传感器中相应的一个生成的信号以发送到所述专用软件模块并且用于将所发送的信号转换成相应的输入命令的装置。
2.如权利要求1所述的系统,其中所述头戴式支撑结构是配置有第一透镜和第二透镜的眼镜框。
3.如权利要求2所述的系统,其中所述第一透镜是透明的,所述液晶显示屏嵌入所述第二透镜中。
4.如权利要求1所述的系统,还包括计算机屏幕,其在使用者的观看范围内并与所述计算机进行数据通信,并且,所述用于复制所存储的视频数据的一部分或其表示的装置,是安装在所述支撑结构上的向前定向的成像器,用于捕获与所述使用者的瞬时视线重合的所述计算机屏幕的一部分,所述瞬时视线响应于所述瞬时头部方向而确定。
5.如权利要求4所述的系统,还包括安装在所述支撑结构上的电源,用于给所述成像器、所述液晶显示屏、所述运动传感器、每个与液晶显示屏相关联的所述传感器以及所述用于发送由与液晶显示屏相关联的所述多个传感器中相应的一个生成的信号的装置供电。
6.如权利要求1所述的系统,其中所述用于发送由与液晶显示屏相关联的所述多个传感器中相应的一个生成的信号的装置是发送器或收发器。
7.如权利要求1所述的系统,其中所述液晶显示屏被分成显示选择候选者的第一部分和显示选择区域的第二部分。
8.如权利要求1所述的系统,其中所述液晶显示屏选自:电阻型,其在选择操作期间局部变形;电容型,其依赖于人体的电特性来检测触摸操作;或者红外型,其配置有多个红外光源和相应的接收器,用于在选择操作期间检测在横跨显示表面的平面中发射的光的中断;及其组合。
9.如权利要求2所述的系统,还包括:用于区分无意眨眼动作和故意眨眼动作的装置。
10.如权利要求9所述的系统,其中所述用于区分无意眨眼动作和故意眨眼动作的装置是显示的确认盒,如果所述确认盒是在通过基于眨眼的动作有条件选择在所述液晶显示屏上显示的对象之后的预定时间内被选择的,则由与液晶显示屏相关联的所述多个传感器中相应的一个响应于所述眨眼相关选择操作生成的信号可转换为相应的输入命令。
11.如权利要求9所述的系统,所述的系统包括所述液晶显示(LCD)屏中的两个,其中所述两个液晶显示(LCD)屏中的第一个嵌入所述第一透镜中,并且,所述两个液晶显示(LCD)屏中的第二个嵌入所述第二透镜中。
12.如权利要求11所述的系统,其中所述专用软件模块被配置成在打字模式期间使整个虚拟键盘或其一部分显示在所述第一液晶显示屏上,并且,所述用于区分无意眨眼动作和故意眨眼动作的装置,是显示在所述第二液晶显示屏上的可审阅和可校正的文本文档,其在与所述虚拟键盘或其一部分相连接时生成。
13.如权利要求6所述的系统,其中,将使所述使用者响应于所述瞬时头部方向在计算机屏幕上看到相应的图像的所存储的视频数据可无线远程地发送到所述收发器,使得对应于所述所复制部分的图像显示在所述液晶显示屏上。
14.如权利要求1所述的系统,其中所述纤毛支架包括由多个间隔开的支撑元件增强的单个纤毛。
CN201780081779.6A 2016-11-03 2017-11-03 用于向计算机提供免手工输入的系统 Active CN110140166B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL248721 2016-11-03
IL248721A IL248721A0 (en) 2016-11-03 2016-11-03 An accessory for providing hands-free computer input
PCT/IL2017/051204 WO2018083701A1 (en) 2016-11-03 2017-11-03 System for providing hands-free input to a computer

Publications (2)

Publication Number Publication Date
CN110140166A CN110140166A (zh) 2019-08-16
CN110140166B true CN110140166B (zh) 2022-06-24

Family

ID=62075842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081779.6A Active CN110140166B (zh) 2016-11-03 2017-11-03 用于向计算机提供免手工输入的系统

Country Status (4)

Country Link
US (1) US10657927B2 (zh)
CN (1) CN110140166B (zh)
IL (2) IL248721A0 (zh)
WO (1) WO2018083701A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893043B1 (en) 2018-09-12 2021-01-12 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11227060B1 (en) 2018-09-12 2022-01-18 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11042649B1 (en) 2018-09-12 2021-06-22 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
JP2021047227A (ja) * 2019-09-17 2021-03-25 セイコーエプソン株式会社 表示装置、表示装置の制御プログラム、表示装置の制御方法、及び表示システム
CN113589958A (zh) * 2021-08-05 2021-11-02 西交利物浦大学 文本输入方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085954A (ja) * 1994-06-21 1996-01-12 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN104866164A (zh) * 2014-02-22 2015-08-26 王真 一种基于眨眼信号模式检测实现的人机交互系统与方法
US9176582B1 (en) * 2013-04-10 2015-11-03 Google Inc. Input system
CN105662422A (zh) * 2016-02-26 2016-06-15 厦门大学 一种眨眼频率测量装置
CN105892631A (zh) * 2015-11-16 2016-08-24 乐视致新电子科技(天津)有限公司 一种简化虚拟现实应用操作的方法和装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US6559770B1 (en) * 2002-03-02 2003-05-06 Edward George Zoerb Eyelash activated drowsy alarm
US10039445B1 (en) * 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
EP1928296B1 (en) * 2005-09-27 2011-05-04 Penny AB A device for controlling an external unit
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20090189830A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye Mounted Displays
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
KR101919009B1 (ko) * 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
US20130329183A1 (en) * 2012-06-11 2013-12-12 Pixeloptics, Inc. Adapter For Eyewear
JP2015090569A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
US20150130688A1 (en) * 2013-11-12 2015-05-14 Google Inc. Utilizing External Devices to Offload Text Entry on a Head Mountable Device
US20150199780A1 (en) * 2014-01-16 2015-07-16 Alex Beyk Methods and systems for digital agreement establishment, signing, centralized management, and a storefront using head mounted displays and networks
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102184272B1 (ko) 2014-06-25 2020-11-30 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US20160025971A1 (en) * 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
JPWO2016088415A1 (ja) * 2014-12-05 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20160206031A1 (en) * 2015-01-19 2016-07-21 Katy Stoka Non-adhesive false eyelash system and method
CN106681488A (zh) * 2015-07-20 2017-05-17 谢培树 头操作的数字眼镜
WO2017059285A1 (en) * 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) * 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
EP3488282A4 (en) * 2016-07-19 2019-08-07 Supereye, Inc. SYSTEMS AND METHODS FOR PREDICTIVE VISUAL RENDERING
JP2018101019A (ja) * 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085954A (ja) * 1994-06-21 1996-01-12 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
US9176582B1 (en) * 2013-04-10 2015-11-03 Google Inc. Input system
CN104866164A (zh) * 2014-02-22 2015-08-26 王真 一种基于眨眼信号模式检测实现的人机交互系统与方法
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN105892631A (zh) * 2015-11-16 2016-08-24 乐视致新电子科技(天津)有限公司 一种简化虚拟现实应用操作的方法和装置
CN105662422A (zh) * 2016-02-26 2016-06-15 厦门大学 一种眨眼频率测量装置

Also Published As

Publication number Publication date
IL266360B (en) 2021-02-28
WO2018083701A1 (en) 2018-05-11
US20190287486A1 (en) 2019-09-19
US10657927B2 (en) 2020-05-19
IL266360A (en) 2019-06-30
CN110140166A (zh) 2019-08-16
IL248721A0 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
CN110140166B (zh) 用于向计算机提供免手工输入的系统
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
US10007333B2 (en) High resolution perception of content in a wide field of view of a head-mounted display
US10528130B2 (en) Unitized eye-tracking wireless eyeglasses system
US9916006B2 (en) Eye-wearable device user interface and method
KR101004930B1 (ko) 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
US20140204021A1 (en) Eyeglasses type operation device, eyeglasses type operating system and electronic devices
EP2978218B1 (en) Computer display device mounted on eyeglasses
US11360605B2 (en) Method and device for providing a touch-based user interface
EP2650755A2 (en) Content transfer via skin input
KR101709611B1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
CN105388614A (zh) 头戴式显示装置
US20160132189A1 (en) Method of controlling the display of images and electronic device adapted to the same
KR102361025B1 (ko) 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
JPH09179062A (ja) コンピュータシステム
CN114236834A (zh) 头戴显示设备的屏幕亮度调整方法、装置及头戴显示设备
CN103713387A (zh) 电子设备和采集方法
US20180143436A1 (en) Head-operated digital eyeglasses
JP2022100134A (ja) 情報処理装置、情報処理システムおよびプログラム
JPH1173273A (ja) 肢体不自由者用入力装置
JP7031112B1 (ja) 眼鏡型端末
US20210072827A1 (en) Line-of-sight input device, method of line-of-sight input, and line-of-sight input system
US20180239487A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 5 Gottlieb, Schumacher street, Haifa, Israel

Applicant after: Elias Cooley

Address before: Haifa

Applicant before: Elias Cooley

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant