CN111656304A - 通信方法及系统 - Google Patents

通信方法及系统 Download PDF

Info

Publication number
CN111656304A
CN111656304A CN201880088114.2A CN201880088114A CN111656304A CN 111656304 A CN111656304 A CN 111656304A CN 201880088114 A CN201880088114 A CN 201880088114A CN 111656304 A CN111656304 A CN 111656304A
Authority
CN
China
Prior art keywords
user
control unit
data
output module
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880088114.2A
Other languages
English (en)
Other versions
CN111656304B (zh
Inventor
伊泰·科恩伯格
奥尔·雷茨金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyefree Assisting Communication Ltd
Original Assignee
Eyefree Assisting Communication Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyefree Assisting Communication Ltd filed Critical Eyefree Assisting Communication Ltd
Publication of CN111656304A publication Critical patent/CN111656304A/zh
Application granted granted Critical
Publication of CN111656304B publication Critical patent/CN111656304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Abstract

本揭露提供一种控制系统，所述控制系统通过追踪眼睛及/或追踪通过个体生成的其他生理信号来与一个体相互联系。所述系统配置为将拍摄的多个眼睛图像分类为多个姿态，所述姿态模仿计算机的类似操纵杆的控制。这些姿态允许用户进行操作，例如带有多个菜单项目的计算机或系统。

Description

通信方法及系统
技术领域
本揭露涉及一种系统，所述系统允许个体通过跟踪个体的眼睛或其他生理参数的任何一个或组合来操作通信模块或其他实用程序。
背景技术
通过跟踪用户的眼睛来启动用户通信的系统与方法是已知的。
专利文献WO2016142933揭露一种具有选择界面的系统，所述选择界面向用户选择性地呈现一系列通信选项。光传感器检测从用户的眼睛反射的光并且提供相关信号，处理所述信号以确定关于用户头部的相对眼睛取向。基于所述确定的相对眼睛取向，确定及实现选择的通信选项。
发明内容
本揭露涉及一种计算机系统，所述计算机系统通过跟踪眼睛及/或跟踪通过一个体产生的其他生理信号来与一个体相互联系。换句话说，它是一种包括一实用程序的系统，所述实用程序具有与一摄像机相关联的一控制单元，所述控制单元配置为跟踪所述眼睛及/或眼睑的运动，并且可以另外包括配置为跟踪另一生理参数的一实用程序。通过一个实施例，所述系统配置为将所述拍摄的多个眼睛图像分类为多个姿态(gesture)，所述图像可以是瞳孔位置或注视方向、一系列定向的眼球运动、一系列的所述眼睑的眨眼等的一个或多个。这些姿态允许用户进行操作，例如带有多个菜单项目的一计算机或一系统。以此方式，所述眼睛运动可以例如允许用户浏览一菜单、通过眼睛运动在一屏幕上移动一光标、通过在一给定时间周期内将所述眼睛固定一特定位置或经过一系列眨眼来选择项目、通过根据一菜单提示浏览所述注视来浏览菜单项目等。所述系统还可以将其他生理数据进行分类，并且将它们转换为一计算机可读的或配置为操作一个或多个外围装置的多种命令。例如，所述系统可以允许用户通过执行一定义的眼睛姿态或执行一预定的呼吸模式来浏览一菜单、通过移动一身体部位在所述屏幕上移动一光标、通过一呼吸动作或基于多个电生理信号选择项目。通常，本揭露的所述系统允许用户以类似于一操纵杆的方式来操作一计算机。通过本揭露的所述类似操纵杆的方法，唯一的参考点是拍摄所述眼睛的图像的一摄像机，并且不需要检测用户正在看或在一角膜反射处的所述确切地点或位置。同样根据本揭露，通常，在使用之前不需要使用一屏幕的任何校准程序(并且实际上，根本不需要为了使用系统进行通信来使用屏幕)。
通过一些实施例，一菜单没有在一屏幕上呈现给用户，并且用户的一菜单的浏览及项目选择是在没有一屏幕的情况下进行(例如，基于预定的一菜单或先前引入或呈现给用户的一菜单)。
通过一些实施例，仅在一初始引入阶段期间在一屏幕上向用户呈现一菜单，例如在此期间向用户提供一反馈或多个指令。所述阶段可以是以分钟、小时、周与月为单位的任何时间范围。
通过一些实施例，允许用户操作所述计算机的姿态是在一定义的方向上的一般观看(眼睛姿态)，而不是用户正在注视一特定位置的姿态(眼睛凝视)。例如，即使用户没有将视线聚焦在特定的实体或虚拟物件上，一平常的左凝视也可以用作一姿态。
通常，本揭露的所述系统的操作独立于所述照明条件。
通过一些实施例，姿态分类是基于采用机器学习技术。具体地，所述机器学习模型可以是由多个线性变换层与随后的逐元件非线性构成的一神经网络模型。所述分类可以包括一单个用户或跨用户的眼睛表征。通过一些实施例，所述分类估计眼睛运动的所述范围。
通过一个实施例，所述系统允许使用所述系统的所述个体(在此为“用户”)浏览呈现给用户的一菜单。所述菜单的所述呈现可以是一可听见的呈现(通过一扬声器、耳机、头戴式耳机、植入的可听装置等)或一可视的呈现(通过一显示器或一屏幕、所述个体前面的一小显示器等)。所述菜单可以是分层的，这意味着一菜单项目的一选择可以打开其他较低层次可选的选项。举例来说，一更高层次的可选菜单项目可以允许用户选择几个字母组之一(例如，所述字母A到F组成的一组，所述字母G到M组成的所述第二组等)，并且一旦被选择，向用户呈现选择另一组字母的能力(例如，如果选择所述第一组字母，则用户可能被给定选择A，B，C或D-F之间的所述选项，然后如果选择D-F，则向用户呈现供他选择的所述单个字母)。然而，所述选择也可以是提示驱动的，即，可以提示用户针对一特定选择在特定方向上移动眼睛。
通过一些实施例，可以针对特定需要定制所述菜单项目或其部分。这可以在本地实现，例如，通过用户或看护者界面，或者也可以远程实现，例如在一远程服务器上。
所述菜单项目或其部分可以通过所述系统或所述控制单元来提出给用户。所述菜单项目或其部分也可以基于从环境接收的多个输入来向用户提议或呈现给用户。
在一些实施例中，所述控制单元接收与处理(例如通过自然语言处理)音频数据。例如，一旦另一个人问用户问题，例如看护者，所述控制单元可以接收与处理医生的言词并且基于其他人的言词的一上下文分析来提出一响应。本揭露的所述系统用于允许原本无法通信的瘫痪者与他们的环境进行通信，包括多个看护者、多个外围设备，例如一警报系统、一视听系统、一计算机等。一个目标人群是ALS患者随着疾病的发展，丧失移动肢体或其他肌肉的能力以及说话与显示声音的能力。所述系统对于患有暂时性沟通障碍的个人，例如重症监护室中的患者，具有临时或永久性呼吸辅助的患者等也可能是有用的。
本揭露的实施例提供一种用于操作一计算机的控制系统，所述控制系统包括：一摄像机，配置为连续地拍摄一用户的眼睛与眼睑的其中一个或两者的多个图像以及生成代表所述图像的图像数据；以及一控制单元，与所述摄像机及与所述计算机进行数据通信。所述控制单元可操作为接收与处理所述图像数据并且将它们分类为多个姿态，所述多个姿态旨在模拟所述计算机的一类似操纵杆的控制。
如本文中所描述的所述术语类似操纵杆的控制是指姿态分类，包括跟踪所述瞳孔区域的所述位置。
在本揭露的上下文中的所述瞳孔区域，标识为指示所述瞳孔，是所述瞳孔或其任何部分。
通过一些实施例，基于一数据库来确定所述瞳孔区域的所述位置，所述数据库包括具有标记姿态的图像数据。从用户本身或任何其他用户或用户组可以获取所述图像数据。通过一些实施例，通过利用机器学习技术，例如考虑一给定图像数据对应于一特定姿态的所述可能性的一模型来确定基于所述标记数据库的所述瞳孔区域的所述位置。
通过一些实施例，可以基于所述瞳孔区域在一阈值图内的位置来确定所述瞳孔区域的所述位置，其中，每当所述瞳孔区域接触所述阈值图的一边界或与所述阈值图的一边界相切时，确定一特定位置。例如，当所述瞳孔区域接触所述阈值图的所述上边界时，所述图像数据分类为“上”姿态，或者当所述瞳孔区域未接触所述阈值图的任何边界时，所述图像数据分类为“直视”姿态。所述阈值图可以从一位置图导出，所述位置图包括在所述瞳孔区域的所述运动范围内的一区域。举一个例子，所述位置图定义为通过所述瞳孔区域的所述上、下、最左与最右位置定义的一矩形。在一些实施例中，所述阈值图覆盖由一边界限制的一区域，所述区域与所述位置图的所述中心相距至少20％、40％、60％、80％、90％、95％。所述阈值图通常距离所述位置图的所述中心至少80％。基于用户的图像数据或包括具有或不具有标记姿态的图像数据的任何数据库来获得所述位置图。可选地，所述位置图在一较大的兴趣区域(ROI)内，所述区域是基于眼睛或其周围的解剖特征定义的。
通过一些实施例，所述系统要求用户在其他姿态之间执行一直视姿态。
通过一些实施例，所述眨眼姿态识别为暗像素的一区域。
通过一些实施例，当所述瞳孔区域接触所述阈值图的一边界或与所述阈值图的一边界相切至少0.05、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、1、2、4、8、10时，将对一姿态进行分类。
通过一些实施例，所述摄像机是一红外摄像机。
另外，所述控制单元可以与用于检测其他生理测量值的一个或多个传感器连接，并且可操作为接收与处理由这种装置或传感器获取的生理信号并且将它们分类为计算机化命令。
例如，通过眼睛的移动(可以通过所述瞳孔相对于所述眼眶的所述位置进行跟踪)以及也可选择性地通过眼睑的眨眼，用户可以浏览可选的选项并且随意选择它们。这可以包括通过菜单项目的浏览与选择、超链接的浏览与选择等。根据一个特定的且非限制性的实施例，所述瞳孔的一定向移动或位置，例如所述瞳孔的向上位置可以使一屏幕上的一光标在向上方向移动，向右位置可以使所述光标在向右方向移动等等；或可选替地，不仅可以是一系统定义的方向，还可以是用户定义的一光标的所述移动方向。作为一非限制性实施例，用户的眨眼(或用户所定义的任何其他姿态或生理参数)可以启动所述摄像机操作，并且随后的眨眼可以允许用户浏览可选的选项并且通过这样的一个眨眼来选择一选项。根据另一示例，可以将所述菜单项目语音地输出给用户，并且当语音地输出期望的菜单项目时，用户眨眼并且选择所述期望的项目。根据另一个非限制性实施例，具有一有限能力的用户可以基于他的定义，使用一单个姿态来操作所述系统，例如仅“左”姿态。而且，作为另一示例性且非限制性的实施例，可以通过音频或视觉输出提示用户以在多个选项之间进行选择，例如，对于一个选择“向上”(即，向上凝视)，对于另一选择“向下”，等等。通过进一步的示例性与非限制性实施例，可以向用户呈现(例如，通过一音频读出)多个选项，从而当呈现特定的选择时，提示用户凝视在特定的或非特定的方向，在确定的时间内进行一系列的眨眼、合上眼睑等。例如针对用于书写文本的字母的一快速选择后者是有用的。
通过一些实施例，通过用户或看护者来定义所述姿态的类型、姿态的数量、所述姿态的持续时间以及所述对应的命令中的任何一个。
通过一些实施例，一系列的1、2、3或5次眨眼可以选择一“呼救”项目。
通过一些实施例，在多达30秒内，一系列多达10次眨眼来选择一个项目。
通过一些实施例，闭眼1、2、3、4、5、6、7、8、9、10、30秒可以使所述系统进入休息模式。
根据本揭露的实施例，所述控制单元可以配置为(i)接收与处理所述图像数据以识别瞳孔位置与眼睑运动中的至少一个并且将它们分类为多个姿态，所述姿态例如包括：瞳孔位置、瞳孔位置的序列以及眼睑眨眼的序列的一个或多个，并且生成姿态数据，以及(ii)利用所述姿态数据操作所述计算机。通过一个实施例，连接到所述控制系统的所述计算机操作一视觉或音频输出模块。所述输出模块可以允许用户与其他个体通信。在一些实施例中，所述音频输出模块是一骨传导助听器(bond conduction hearing aid)。
另外，所述控制单元可以配置为并且可操作为(i)接收与处理生理数据并且将它们分类为多个命令，所述命令包括例如任何电生理指标(例如通过脑电图(EEG)装置记录的)，体感、呼吸、声音、运动姿态或其任何组合，以及(ii)利用所述生理命令来操作所述计算机。通过一个实施例，连接到所述控制系统的所述计算机操作一视觉或音频输出模块。所述输出模块可以允许用户与其他个体通信。
例如，可以记录EEG信号，使得EEG命令在与一时间有关的菜单中启动一浏览，并且一旦所述浏览菜单到达所期望的菜单项目，用户就可以产生选择所述菜单项目的一附加EEG命令。根据另一个示例，EEG命令触发所述系统的所述启始。
本揭露的另一实施例提供一种控制单元，所述控制单元配置为与用于测量一生理参数的至少一传感器进行数据通信，并且与一计算机进行通信，所述控制单元可操作为接收与处理由所述至少一个传感器获取的生理数据并且将它们分类为多个命令，以及将对应的命令传送到所述计算机，从而控制所述计算机的操作。
本揭露的另一实施例提供一种基于眼睛跟踪的系统，包括一摄像机、一第一输出模块与一控制单元，通常是一计算机或包含处理器的单元。所述摄像机可操作成连续地拍摄用户的眼睛与眼睑其中一个或两者的多个图像并且生成代表所述图像的图像数据。所述控制单元与摄像机以及与第一输出模块进行数据通信；并且配置为(i)接收与处理所述图像数据以识别瞳孔位置与眼睑运动的至少一个，并且将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列以及眼睑眨眼的序列的一个或多个，以及生成姿态数据；(ii)操作一分层的用户可选的菜单项目，以允许用户通过所述姿态数据浏览且选择菜单项目，以及(iii)驱动所述第一输出模块向用户呈现所述菜单项目。可选地，所述控制单元还配置为与用于测量一生理参数的一传感器进行数据通信。所述控制单元可以进一步配置为(i)从所述传感器接收与处理生理数据并且将它们分类为多个命令，(ii)操作一分层的用户可选的菜单项目以允许用户通过所述命令浏览并且选择菜单项目，以及(iii)驱动所述第一输出模块向用户呈现所述菜单项目。所述第一输出模块配置为向用户提供所述菜单项目的视觉或音频呈现的一个或两者。在一些实施例中，所述音频呈现模块是一骨传导助听器。
由另一个实施例提供的是一种基于眼睛跟踪的系统，所述系统类似于在上一段中讨论的实施例的系统，包括一摄像机、一第一输出模块与一控制单元。所述摄像机可操作成连续拍摄用户的眼睛与眼睑中的其中一个或两者的图像并且生成代表所述图像的图像数据。所述控制单元与所述摄像机以及所述第一输出模块进行数据通信。它包括一数据处理器，所述数据处理器配置为与可操作为响应于从所述摄像机接收到的所述图像数据并且处理所述图像数据以识别瞳孔位置与眼睑运动的至少一个并且将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列、眼睑眨眼的序列的一个或多个，并生成姿态数据。它还包括一菜单生成器模块，所述菜单生成器模块配置为并且可操作为利用所述姿态数据来操作一分层的用户可选的菜单项目。所述系统还包括一第一致动器模块，所述第一致动器模块配置为驱动所述第一输出模块以经由所述菜单项目的视觉或音频呈现的一个或两者向用户呈现菜单项目，从而允许用户浏览并且选择菜单项目。
可选地，所述控制单元与用于测量一生理参数的一传感器进行数据通信，它包括一数据处理器，所述数据处理器配置为并且可操作为响应于从所述传感器接收到的所述生理数据并且处理所述生理数据以将它们分类为多个命令。
所述姿态可包括所述瞳孔的直视、中心、右、左、上与下位置及眨眼。可选地，所述姿态可以包括两次或更多次眼睑眨眼的序列。例如，所述瞳孔的所述正确位置可以分类为“输入”命令。
所述姿态可以选自本领域中已知的眼睛姿态任何一种或组合，例如，所述姿态可以是一注视(固定凝视)或一系列注视及其持续时间、其多个凝视点及多个群集及多种分布。
所述系统(以上实施例中的任何一个)可操作成驱动一输出模块，所述输出模块配置为输出一警报信号(通常是一音频与视觉信号的一个或两者)。
所述摄像机可以安装在可附接到用户头部的支架上。但是，所述摄像机也可以安装在用户附近的框架上，例如床的框架、承载医疗器械的框架等。
所述菜单项目可以用一分层方式安排。例如，它们可以安排在一连续的分层层中，使得一第一菜单项目的一选择允许用户随后在从属于所述第一菜单项目的一层处来选择第二菜单项目。每个这样的“层”通常可以包括多达5个可选的项目-通过所述瞳孔的中心、右、左、上与下位置是可选择的。
作为补充或替代，可以通过基于提示的一个系统来选择菜单项目。例如，通过一视觉或一音频提示来指示用户注视某个方向以选择一菜单项目，注视另一个方向以选择一第二项目等等。
通过一些实施例，所述菜单项目是用户可定义的。
所述系统可以包括用于一第二输出模块的一驱动器。这样一个模块可以是配置为生成一警报的模块；或配置为操作多个外围系统的模块，例如一虚拟助手、一智能家居装置、一国内气候控制系统、一电视机、一音乐播放器、通信装置、一轮椅、一平板电脑、一智能手机、一游戏配件等。所述系统可以配置为通过系统定义或用户定义的特定姿态像一第二个输出模块这样运行；例如一定义的眨眼顺序。
所述生理测量或生理数据是指可以从用户的身体获取的任何信号，包括从用户的神经、体感、声音与呼吸系统以及选择的肌肉的运动来获取的任何信号。
这种用于测量一生理参数的传感器可以是任何传感器实用程序或一测量装置、一麦克风、肺活量计、皮肤电反应(GSR)装置、触摸或压力探针、皮肤电反应探针(皮肤电导探针)、脑电图(EEG)装置、脑电图(ECoG)装置、肌电图(EMG)、眼电图(EOG)与心电图。所述传感器记录的所述数据将分类为多个命令。
所述命令可以是任何身体部位的运动(例如，手指敲击或按下响应按钮)，呼吸模式、嗅探、声音输出、肌肉张力变化、皮肤电导或神经输出的任何一个或组合。
例如所述神经输出可以是一测量的诱发反应电位或与所述测量数据的时间或频率有关的任何标记。
本揭露的所述系统的用户可以是任何需要的个人，例如ALS患者、重症监护室患者、锁定患者、没有口头沟通能力的患者。
附图说明
为了更好地理解本文揭露的主题并且举例说明如何在实践中进行实施，现在将仅通过非限制性示例的方式，参考附图来描述实施例，其中：
图1A-1B是根据本揭露的实施例的系统的示意性方框图。
图2是根据本揭露的另一实施例的系统的示意方框图。
图3A-3B是根据本揭露的一方面的控制单元的示意性方框图。
图4是根据本揭露的实施例的菜单层的示意性视觉描绘。
图5-6是根据本揭露的另一实施例的菜单层的示意性视觉描绘。
图7是根据本揭露的实施例的用于选择的基于时间的提示菜单的示意图。
图8是基于眼睛跟踪的系统的一个实施例的示意图，所述系统包括摄像机、骨传导扬声器及控制单元。
图9是类似操纵杆姿态分类的一个实施例的示意图，其中，基于阈值图(最里面的正方形)、位置图(中间的正方形)及ROI图(最外面的正方形)来确定瞳孔区域的位置。
图10是在单姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。
图11是在两个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。
图12是在三个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。
图13是在四个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。
图14是在五个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。
具体实施方式
首先参考图1A-1B，图1A-1B根据本揭露的实施例说明系统的示意性方框图。基于所述眼睛跟踪的系统100包括一摄像机102，所述摄像机102安装在一框架上或安置在附接到一用户头部的一支架上。所述摄像机102可操作为连续地拍摄用户的眼睛与眼睑的一个或两者的多个图像并且生成代表所述图像的图像数据。所述系统100包括一控制单元104，所述控制单元104通常通过一致动器模块108与所述摄像机102及所述第一输出模块106进行数据通信，所述致动器模块108驱动所述第一输出模块106。输出模块106可以是一视觉显示器，例如，数字屏幕或一可听设备，例如扬声器、耳机等。
控制单元104还包括一处理器110，所述处理器110配置为接收与处理来自所述摄像机102的图像数据，并且识别瞳孔位置与眼睑运动中的至少一个，并且将它们分类为多种姿态并且生成姿态数据，所述姿态包括瞳孔位置、瞳孔位置的序列以及眼睑眨眼的序列。所述处理器110还配置为驱动所述菜单生成器112，所述菜单生成器112通过致动器模块108的所述动作来向用户驱动所述菜单的呈现。这允许用户通过所述姿态数据浏览并且选择菜单项目。
图1B显出本揭露的系统的方框图，其中所述系统与用于测量一生理参数115的一传感器(例如EEG、肌电图(EMG)或头部运动测量装置)进行通信。具体地，所述装置115与所述控制单元104进行数据通信，所述控制单元104配置为基于用户的检测的生理信号来传递命令。可以在所述系统100中分析所述生理信号并且转换为多个命令，例如启动所述系统、开始浏览流程、选择菜单项目等。
在图2-3中，与图1A-1B的元件相似的元件通过偏移100赋予相同的附图标记。例如，图2中的元件204起到与图1A-1B中的元件104相同的功能。因此，读者可以参考图1A-1B的描述来了解其含义及功能。
图2的系统与图1A-1B的系统的不同之处在于，前者还包括一第二制动器模块214，所述第二制动器模块214可操作来驱动一第二输出单元216，所述第二输出单元216可以是所述系统的一部分，或是一外部元件，例如一警报装置、一显示屏、用户附近用于操作装置的一实用程序(窗帘、音乐播放器、灯光等)。换句话说，所述第二输出单元216通过有线(例如红外线)或无线连接到其他设备、与用户周围环境的一云服务器连接或通信装置连接来建立所述系统到所述系统环境的所述连接。例如，所述系统可以无线连接，例如无线连接，例如通过Wi-Fi或蓝牙连接到智能家居装置，所述智能家居装置使用系统200通过用户的姿态是可操作的。所述系统可配置为通过特定的定义的姿态或通过一可选菜单项目来驱动所述第二输出单元。这样的特定姿态可以是预定义的或用户可选择的。
现在参考图3，图3根据本揭露的两个方面说明控制单元的示意性方框图。所述控制单元304包括一数据输入实用程序303，所述数据输入实用程序303与拍摄所述眼睛302(图3A)的连续图像的摄像机，或者与用于测量一生理参数301的一传感器进行通信(图3B)。所述数据输入实用程序303接收到的所述数据通过所述处理器310处理，并且处理后的数据通过所述分类器305分类为多个姿态。然后，所述分类的姿态通过一数据通信模块309被发送到与所述控制单元进行数据通信的一计算机307，从而控制所述计算机307的操作。
现在参考图4，图4是根据本揭露的实施例的菜单层的示意性视觉描绘。可以理解，所述菜单层具有几个菜单项目，每个菜单项目通过一不同的姿态来选择。例如，一上姿态UG，即所述瞳孔的一向上位置，将被驱动播放音乐的一个选择。因此，左姿态LG将被驱动与看护者菜单通信，中姿态CG看电视，右姿态RG听书，而下姿态DG将打开免费短信菜单。通过无线连接启用一些菜单项目，例如通过蓝牙或Wi-Fi网络在电视语系统之间启用，而其他菜单项目通过连接到一云服务器，例如在听书或拨放音乐的情况下来启用。可以直接从所述云服务器完成播放音乐或听书，而无需将所述数据存储在本地存储器中。应当注意，与所述云的所述数据交换可以在两种方式上起作用，即，可以从所述云下载数据到所述系统，并且可以从所述系统上传数据到所述云。
在菜单的任何时间及任何层中，当用户将进行一预定义的姿态序列PGS时，它将触发一预定义的动作，例如为护理人员输出一紧急警报，例如通过一扬声器发出的语音警报，向一移动装置发送文字警报，提醒一医疗中心或其任何组合。可以根据用户的意愿来配置所述预定义的姿态序列PGS，例如它可以是3或4次眨眼的序列、上姿态UG、下姿态DG、上姿态UG及下姿态DG的序列，或任何其他期望的序列。
图5-7是根据本揭露的另一实施例的菜单层的示意性视觉描绘，例示一种通过免费短信方式选择项目菜单的独特方法。所述字母聚集在多个字母组中，例如在每组中4、5或6个字母。用户可以通过在正确的时机做出一特定姿态来在组之间浏览以及选择一组中的一特定字母。在图5中，所述系统正在呈现字母A，B，C，D，E这组。用户可以做出一上姿态UG并且浏览到这组V，W，X，Y，Z或下姿态DG来浏览这组F，G，H，I，J。可以做出其他姿态来触发其他命令，例如使用一退格键来删除一字母或返回上一级菜单，并且仅以示例方式显示。应当注意，这些命令可以通过任何其他合适的命令代替或可以移除。图6举例说明在图5的所述菜单层中一下姿态DG的用户选择，所述下姿态DG触发包括字母F，G，H，I，J的这组的一菜单项目。所述系统可以触发该组中的所述字母的一自动输出会话，例如通过扬声器或耳机来宣告每个字母的所述名称，在时间上不同于图7举例说明的其他字母。可以理解的是，在一时间t1宣告所述字母F，在所述时间t2宣告字母G，以此类推。当做出一特定预定义的姿态PG时，例如眨眼一次或两次，来选择一个字母。例如，如果在时间t1<t<t2时做出所述预定义姿态PG，则所述字母F将被选择，并且如果在时间t3<t<t4中做出所述预定义姿态PG，则所述字母H将被选择。在所述系统的另一实施例中，通过一预定义姿态PG根据用户请求来触发该组中的所述字母的所述输出会话。在使用所述系统的受试者缺乏执行某些所述姿态，例如左、右、上或下姿态的能力的情况下，这可能是相关的。在这种情况下，所述系统中的所述浏览可以通过一第一预定义姿态PG1来启动，并且可以通过一第二预定义姿态PG2来选择项目菜单，所述第一及所述第二预定义姿态可以不同或相同。例如，当所述系统是图6的状态时，用户可以闭上眼睛以触发所述组中的所述字母的所述输出会话，并且当听到所述期望的字母时，用户可以睁开眼睛以选择所述字母。应当理解，通过做出上或下姿态UG、DG，所述系统将浏览到其他字母组，如图6所示。
为了改善所述姿态的分类，通过一机器/深度学习算法可以训练所述系统。首先，所述系统接收带有标记的姿态图像(眨眼、中心、向上、向下、向右、向左)以收集初始数据集。然后，所述系统通过一组训练图像来进行训练。在此培训课程中，所述系统，即所述系统的所述神经网络学习如何识别所述标记图像中的每个类别。当本模型出错时，它会自行纠正并且改进。当所述网络的所述训练课程结束时，通过所述系统来接收与处理一测试图像集，以检查所述新的分类模型。所述系统做出的所述分类与所述测试集的所述真实值(ground-truth)标签进行比较，并且可以计算出所述正确分类的数量，以及可以获得用来量化此类网络的所述性能的精度、召回率与f测度的数值。
图8提供基于一辅助通信眼睛追踪系统的示意图。所述系统包括安装在一轻巧的头部支架(800,通过家庭成员、看护者或用户自己配戴在用户的头部上)上的一摄像机(802)，一骨传导扬声器/耳机(804)及一控制单元(未显示)。
在通过本申请的发明人进行的临床试验中，证明在简短的几分钟的试验后能够舒适地控制所述系统的患者。作为下面表1的非限制性示例，在以色列拉姆贝姆医院进行的一项临床试验中，学习“呼救”功能需要平均1.12分钟的训练时间，学习传达预定的句子集则需要平均6.44分钟的培训时间，以及使用移动屏幕通过字母通信进行免费短信需要11.08分钟的平均培训时间。
Figure BDA0002607835480000151
表1
在图9中说明类似操纵杆的姿态分类的非限制性实施例。所述分类基于发现所述瞳孔区域的所述位置。它是基于一阈值图(最里面的正方形)获得的。具体地，每当所述瞳孔区域接触所述阈值图的一边界或与所述阈值图的一边界相切时就确定一特定位置。例如，当所述瞳孔区域接触所述阈值图的所述上边界时，所述图像数据将分类为一“上”姿态。所述阈值图可以从一位置图(中间的正方形)来导出，例如距所述位置图的所述中心至少80％，并且可选地，所述位置图在一较大的兴趣区域(ROI)内，所述兴趣区域根据所述眼睛或其周围的解剖特征来定义的。
图10-14提供在一单个、两个、三个、四与五个姿态操作模式中的眼睛姿态与命令之间的映射的几个实施例的说明。根据图10中所说明的映射，用户可以通过执行一眨眼姿态来启动一扫描会话并且选择项目。根据图11所说明的映射，用户可以通过执行一眨眼姿态来启动一扫描会话并且选择项目，以及通过执行一“右”姿态来选择一后退命令。根据图12所说明的映射，用户可以用两个姿态(“右”与“左”)来回移动菜单项目，并且通过执行医第三眨眼姿态来选择项目。根据图13所说明的映射，用户可以用三个姿态(“右”、“左”、“上”)来回移动菜单项目，并通过执行一眨眼姿态来选择项目。根据图14所说明的映射，用户可以用四个姿态(“右”、“左”、“上”、“下”)来回移动菜单项目，并且通过执行一眨眼姿态来选择项目。

Claims (50)

1.一种用于操作一计算机的控制系统，其特征在于包括:
一摄像机，配置为连续地拍摄一用户的眼睛与眼睑的其中一个或两者的多个图像以及生成代表所述图像的图像数据；以及
一控制单元，与所述摄像机及与所述计算机进行数据通信，所述控制单元可操作为接收与处理所述图像数据，以及将它们分类为多个姿态，所述姿态模仿所述计算机的一类似操纵杆的控制。
2.如权利要求1所述的控制系统，其特征在于：其中所述控制单元是与用于测量一生理参数的至少一传感器进行数据通信，并且
可操作为接收与处通过所述至少一传感器获取的生理数据，并且将所述数据分类为用于操作所述计算机的多个命令。
3.如权利要求1或2所述的控制系统，其特征在于：其中所述控制单元配置为
接收与处理所述图像数据，以识别瞳孔位置与眼睑运动的至少一个，并且将它们分类为多个姿态及生成姿态数据，以及
利用所述姿态数据操作所述计算机。
4.如权利要求3所述的控制系统，其特征在于：其中所述姿态包括瞳孔位置、瞳孔位置的序列及眼睑眨眼的序列的一个或多个。
5.如权利要求1-4任一项所述的控制系统，其特征在于：其中所述控制单元与用于测量至少一生理参数的至少一传感器进行数据通信，以及其中所述控制单元配置为
接收与处理至少一生理数据并且将其分类为至少一命令，所述至少一命令包括任何身体部位的运动、呼吸模式、嗅闻、声音输出、肌肉张力变化、皮肤电导、神经输出或它们的任何组合；以及
利用所述命令来操作所述计算机。
6.如权利要求5所述的控制系统，其特征在于：其中所述传感器是一脑电图(EEG)装置。
7.如权利要求1-6所述的控制系统，其特征在于：其中所述计算机操作一视觉或音频输出模块。
8.如权利要求7所述的控制系统，其特征在于：其中所述输出模块允许用户与其他个体进行通信。
9.如前述权利要求任一项所述的控制系统，其特征在于：其中所述姿态包括所述眼睛瞳孔的中心、右、左、上与下位置。
10.如前述权利要求任一项所述的控制系统，其特征在于：其中所述姿态包含2次或多次眼睑眨眼的一序列。
11.如前述权利要求任一项所述的控制系统，其特征在于：其中所述计算机配置为驱动配置为输出一警报的一输出模块。
12.如前述权利要求任一项所述的控制系统，其特征在于：其中所述分类采用机器学习技术。
13.一种配置为与一摄像机及一计算机进行数据通信的控制单元，所述摄像机拍摄所述眼睛的多个连续图像，其特征在于：
所述控制单元可操作为接收与处理代表所述摄像机拍摄的所述图像的图像数据，以及将所述图像述据分类为多个姿态，所述姿态模仿所述计算机的一类似操纵杆的控制，以及传送对应的控制数据到所述计算机，从而控制所述计算机的操作。
14.如权利要求13所述的控制单元，其特征在于：与用于测量一生理参数的至少一传感器进行数据通信，
所述控制单元可操作为接收与处理通过所述传感器获取的生理数据，并且将其分类为多个命令，以及传送对应的命令到所述计算机，从而控制所述计算机的操作。
15.一种控制单元，配置为与用于测量至少一生理参数的至少一传感器以及与一计算机进行数据通信，
所述控制单元可操作为接收与处理通过所述至少一传感器获取的生理数据，并且将其分类为多个命令，以及
传送对应的命令到所述计算机，从而控制所述计算机的操作。
16.如权利要求14或15所述的控制单元，其特征在于：其中所述传感器是一脑电图(EEG)装置。
17.如权利要求13或14所述的控制单元，其特征在于：配置为
接收与处理所述图像数据，以识别瞳孔位置与眼睑运动中的至少一个并且将它们分类为多个姿态，所述姿态包括例如瞳孔位置、瞳孔位置的序列与多个眼睑眨眼的多个序列的一个或多个，以及生成姿态数据，
利用所述姿态数据来操作所述计算机。
18.如权利要求14-16所述的控制单元，其特征在于：其中所述控制单元配置为接收与处理生理数据，并且将其分类为多个命令，所述命令包括例如，任何身体部位的运动、呼吸模式、嗅闻、声音输出、肌肉张力变化、皮肤电导、神经输出或它们的任何组合，以及
利用所述命令来操作所述计算机。
19.一种基于眼睛跟踪的系统，其特征在于包括:
一摄像机，可操作成连续地拍摄用户的眼睛与眼睑其中一个或两者的多个图像并且生成代表所述图像的图像数据；
一第一输出模块、典型地一计算机化或过程驱动模块；以及与所述摄像机及所述第一输出模块进行数据通信的一控制单元；
其中所述控制单元配置为:
接收与处理所述图像数据，以识别瞳孔位置与眼睑运动中的至少一个，以及将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列及多个眼睑眨眼的多个序列的一个或多个；
操作一分层的用户可选菜单项目，以允许用户通过所述姿态数据浏览并且选择菜单项目，以及
驱动所述第一输出模块来向用户呈现所述菜单项目；
以及其中所述第一输出模块配置为向用户提供所述菜单项目的视觉或音频呈现中的一个或两者。
20.如权利要求19所述的系统，其特征在于：其中所述控制单元与用于测量一生理参数的至少一传感器进行数据通信，并且其中所述控制单元配置为从所述传感器接收与处理生理数据并且将它们分类为多个命令，
操作一分层的用户可选菜单项目，以允许用户通过所述命令浏览并且选择菜单项目，
驱动所述第一输出模块向用户呈现所述菜单项目，
以及其中所述第一输出模块配置为向用户提供所述菜单项目的视觉或音频呈现的一个或两者。
21.如权利要求19或20所述的系统，其特征在于：其中所述摄像机承载在可连接到用户头部的一支架上。
22.如权利要求19-21所述的系统，其特征在于：其中所述姿态包括所述瞳孔的中心、右、左、上与下位置。
23.如权利要求19-22所述的系统，其特征在于：其中所述姿态包含2次或多次眼睑眨眼的一序列。
24.如权利要求20-23任一项所述的系统，其特征在于：其中所述命令包括任何身体部位的运动、呼吸模式、嗅闻、声音输出、肌肉张力变化、皮肤电导、神经输出或它们的任何组合。
25.如权利要求19-24任一项所述的系统，其特征在于：其中所述菜单项目以一分层方式排列。
26.如权利要求25所述的系统，其特征在于：其中所述菜单项目以连续的分层排列，使得对一第一菜单项目的一选择允许用户随后在从属于所述第一菜单项目的一层上选择第二菜单项目。
27.如权利要求26所述的系统，其特征在于：其中所述菜单项目的每一层包括多达5个可选项目。
28.如权利要求19-27任一项所述的系统，其特征在于：包括用于输出代表所选项目的数据的一第二输出模块的一驱动器。
29.如权利要求28所述的系统，其特征在于：其中所述第二输出模块配置为输出一警报。
30.如权利要求29所述的系统，其特征在于：其中所述姿态或命令的至少一个触发所述警报。
31.如权利要求30所述的系统，其特征在于：其中所述姿态的至少一个是一定义的眨眼的序列。
32.一种基于眼睛跟踪的系统，其特征在于包括:
一摄像机，配置及可操作为连续地拍摄用户的眼睛与眼睑的其中一个或两者的多个图像并且生成代表所述图像的图像数据；
一控制单元，与所述摄像机及一第一输出模组进行数据通信；
其中所述控制单元包括:
一数据处理器，配置及可操作为响应于从所述摄像机接收的所述图像数据以及处理所述图像数据，以识别瞳孔位置与眼睑运动中的至少一个，以及将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列及多个眼睑眨眼的多个序列的一个或多个，以及生成姿态数据，
一菜单生成器模块，配置及可操作为利用所述姿态数据来操作一分层的用户可选菜单项目，以及
一第一致动器模块，配置为通过所述菜单项目的视觉或音频呈现中的一个或两者来驱动所述第一输出模块向用户呈现菜单项目，从而允许用户浏览并且选择菜单项目。
33.如权利要求32所述的系统，其特征在于：其中所述控制单元与用于测量一生理参数的至少一传感器进行数据通信，以及
其中所述控制单元包括:
一数据处理，配置及可操作为响应于从所述至少一传感器接收到的所述生理数据并且将将它们分类为多个命令,
一菜单生成器模块，配置及可操作为利用所述姿态数据来操作一分层的用户可选菜单项目，以及
一第一致动器模块，配置为通过所述菜单项目的视觉或音频呈现中的一个或两者来驱动所述第一输出模块向用户呈现菜单项目，从而允许用户浏览并且选择菜单项目。
34.如权利要求32或33所述的系统，其特征在于：其中所述摄像机承载在可连接到用户头部的一支架上。
35.如权利要求32-34所述的系统，其特征在于：其中所述姿态包括所述瞳孔的中心、右、左、上与下位置。
36.如权利要求32-35所述的系统，其特征在于：其中所述姿态包含2次或多次眼睑眨眼的一序列。
37.如权利要求32-36所述的系统，其特征在于：其中所述菜单项目以一分层方式排列。
38.如权利要求37所述的系统，其特征在于：其中所述菜单项目设置在一连续分层的层中，使得一第一菜单项目的一选择允许用户随后在从属于所述第一菜单项目的一层上选择第二菜单项目。
39.如权利要求38所述的系统，其特征在于：其中该菜单项目的每一层包括多达5个可选项目。
40.如权利要求32-39任一项所述的系统，其特征在于：包括用于输出代表所选项目的数据的一第二输出模块的一驱动器。
41.如权利要求40所述的系统，其特征在于：其中该第二输出模块配置为输出一警报给一看护者。
42.如权利要求41所述的系统，其特征在于：其中所述姿态或命令的至少一个触发所述警报。
43.如权利要求42所述的系统，其特征在于：其中所述姿态的至少一个是一定义的眨眼的序列。
44.一种配置为与一摄像机及一第一输出模块进行数据通信的控制单元，所述摄像机拍摄所述眼睛的多个连续图像；其特征在于所述控制单元
可操作为接收与处理所述图像数据，以识别瞳孔位置与眼睑运动中的至少一个，以及将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列及多个眼睑眨眼的多个序列的一个或多个，以及生成姿态数据；
操作一分层的用户可选菜单项目，以允许用户通过所述姿态数据浏览并且选择菜单项目，以及驱动所述第一输出模块来向用户呈现所述菜单项目。
45.如权利要求44所述的控制单元，其特征在于：配置为与用于测量一生理参数的至少一传感器进行数据通信，所述控制单元可操作为接收与处理通过所述至少一传感器所取得的生理数据并且将它们分类为多个命令，操作一分层的用户可选菜单项目，以允许用户通过所述姿态数据与命令的任何一个或组合来浏览并且选择菜单项目，以及驱动所述第一输出模块来向用户呈现所述菜单项目。
46.如权利要求44或45所述的控制单元，其特征在于：在一种如权利要求18-30任一项的系统中使用。
47.一种配置为与一摄像机及一第一输出模块进行数据通信的控制单元，所述摄像机拍摄所述眼睛的多个连续图像；其特征在于所述控制单元配置及可操作为
接收与处理所述图像数据以识别瞳孔位置与眼睑运动中的至少一个，以及将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列及眼睑眨眼的序列中的一个或多个，以及生成姿态数据，
操作一分层的用户可选菜单项目，以允许用户通过所述姿态数据浏览并且选择菜单项目，以及
驱动所述第一输出模块来向用户呈现所述菜单项目。
48.如权利要求47所述的控制单元，其特征在于：其中所述控制单元配置为与用于测量一生理参数的至少一传感器进行数据通信，并且所述控制单元配置及可操作为接收与处理来自所述传感器的生理数据并且将它们分类为多个命令，
操作一分层的用户可选菜单项目，以允许用户通过所述姿态数据与命令来浏览并且选择菜单项目，以及
驱动所述第一输出模块来向用户呈现所述菜单项目。
49.如权利要求47或48所述的控制单元，其特征在于：在一种如权利要求32-43任一项的系统中使用。
50.一种配置为与用于测量一生理参数的至少一传感器及一第一输出模块进行数据通信的控制单元，其特征在于，所述控制单元
可操作为接收与处理通过所述至少一传感器所取得的生理数据并且将它们分类为多个命令，
操作一分层的用户可选菜单项目，以允许用户通过所述姿态数据与命令的任何一个或组合来浏览并且选择菜单项目，以及驱动所述第一输出模块来向用户呈现所述菜单项目。
CN201880088114.2A 2017-12-07 2018-12-06 通信方法及系统 Active CN111656304B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762595694P 2017-12-07 2017-12-07
US62/595,694 2017-12-07
US201862642048P 2018-03-13 2018-03-13
US62/642,048 2018-03-13
US201862755680P 2018-11-05 2018-11-05
US62/755,680 2018-11-05
PCT/IL2018/051335 WO2019111257A1 (en) 2017-12-07 2018-12-06 Communication methods and systems

Publications (2)

Publication Number Publication Date
CN111656304A true CN111656304A (zh) 2020-09-11
CN111656304B CN111656304B (zh) 2023-10-17

Family

ID=64665588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088114.2A Active CN111656304B (zh) 2017-12-07 2018-12-06 通信方法及系统

Country Status (6)

Country Link
US (1) US11612342B2 (zh)
EP (1) EP3721320B1 (zh)
JP (2) JP2021506052A (zh)
CN (1) CN111656304B (zh)
IL (1) IL275071B1 (zh)
WO (1) WO2019111257A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457860B2 (en) * 2018-07-09 2022-10-04 Cheng Qian Human-computer interactive device and method
EP4099901A1 (en) * 2020-02-04 2022-12-14 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for determining the intention of performing a voluntary action
IL285071B2 (en) * 2021-07-22 2023-05-01 Eyefree Assisting Communication Ltd A system and method for monitoring the cognitive state of a patient based on eye and brain activity
WO2023002488A1 (en) 2021-07-22 2023-01-26 Eyefree Assisting Communication Ltd. A system for communication with a patient based on the determined sedation state
WO2023076573A1 (en) * 2021-10-28 2023-05-04 Lifedrive Llc Drive manager for power wheelchair and related methods
US20230324680A1 (en) * 2022-04-08 2023-10-12 Mirza Faizan Apparatus to enable differently abled users to communicate and a method thereof
CN117519487B (zh) * 2024-01-05 2024-03-22 安徽建筑大学 一种基于视觉动捕的掘进机操控教学辅助培训系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20130022947A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
US20130176533A1 (en) * 2012-01-06 2013-07-11 Hayes Solos Raffle Structured Light for Eye-Tracking
US20130293488A1 (en) * 2012-05-02 2013-11-07 Lg Electronics Inc. Mobile terminal and control method thereof
CN103748599A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于测量头部、眼睛、眼睑和瞳孔的反应的系统和方法
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
KR20150089482A (ko) * 2014-01-28 2015-08-05 영남대학교 산학협력단 표정 동작사전을 이용한 표정인식 방법 및 장치
US20160004303A1 (en) * 2014-07-07 2016-01-07 Logitech Europe Sa Eye gaze tracking system and method
US20170053165A1 (en) * 2015-08-21 2017-02-23 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN106918331A (zh) * 2014-05-05 2017-07-04 赫克斯冈技术中心 相机模块、测量子系统和测量系统
US20170330042A1 (en) * 2010-06-04 2017-11-16 Masoud Vaziri Method and apparatus for an eye tracking wearable computer

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US4973149A (en) 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
JPH0749744A (ja) 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JPH10187334A (ja) 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP2000137789A (ja) 1998-10-29 2000-05-16 Sharp Corp 画像処理装置
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP3673834B2 (ja) 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US7515054B2 (en) 2004-04-01 2009-04-07 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP4654434B2 (ja) 2004-11-24 2011-03-23 国立大学法人佐賀大学 視線方向特定システム
WO2007050029A2 (en) 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
EP1983884B1 (en) 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
US7766479B2 (en) 2006-03-31 2010-08-03 National University Corporation Shizuoka University View point detecting device
JP4685708B2 (ja) 2006-05-22 2011-05-18 富士通株式会社 携帯端末装置
JP4399513B2 (ja) 2008-01-25 2010-01-20 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
CN101893934A (zh) 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
JP2012048358A (ja) 2010-08-25 2012-03-08 Sony Corp 閲覧機器、情報処理方法およびプログラム
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
KR101355895B1 (ko) 2011-10-20 2014-02-05 경북대학교 산학협력단 사용자 의도 판단 장치 및 그 방법
US9171198B1 (en) 2012-04-02 2015-10-27 Google Inc. Image capture technique
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9261961B2 (en) 2012-06-07 2016-02-16 Nook Digital, Llc Accessibility aids for users of electronic devices
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
JP6195462B2 (ja) 2013-04-01 2017-09-13 矢崎総業株式会社 ヒューズユニット
KR102163996B1 (ko) 2013-04-03 2020-10-13 삼성전자 주식회사 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
KR102181897B1 (ko) 2013-05-09 2020-11-23 에스케이플래닛 주식회사 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
US20140368442A1 (en) 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
US20140375541A1 (en) 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
IL303037A (en) * 2015-03-10 2023-07-01 Eyefree Assisting Communication Ltd A system and method of communication through visual feedback
US10976813B2 (en) 2016-06-13 2021-04-13 Apple Inc. Interactive motion-based eye tracking calibration

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20170330042A1 (en) * 2010-06-04 2017-11-16 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
CN103748599A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于测量头部、眼睛、眼睑和瞳孔的反应的系统和方法
US20130022947A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
US20130176533A1 (en) * 2012-01-06 2013-07-11 Hayes Solos Raffle Structured Light for Eye-Tracking
US20130293488A1 (en) * 2012-05-02 2013-11-07 Lg Electronics Inc. Mobile terminal and control method thereof
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
KR20150089482A (ko) * 2014-01-28 2015-08-05 영남대학교 산학협력단 표정 동작사전을 이용한 표정인식 방법 및 장치
CN106918331A (zh) * 2014-05-05 2017-07-04 赫克斯冈技术中心 相机模块、测量子系统和测量系统
US20160004303A1 (en) * 2014-07-07 2016-01-07 Logitech Europe Sa Eye gaze tracking system and method
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20170053165A1 (en) * 2015-08-21 2017-02-23 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement

Also Published As

Publication number Publication date
CN111656304B (zh) 2023-10-17
EP3721320A1 (en) 2020-10-14
US20210259601A1 (en) 2021-08-26
WO2019111257A1 (en) 2019-06-13
JP2021506052A (ja) 2021-02-18
IL275071A (en) 2020-07-30
EP3721320B1 (en) 2022-02-23
IL275071B1 (en) 2024-02-01
JP2024012497A (ja) 2024-01-30
US11612342B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
CN111656304B (zh) 通信方法及系统
US11284844B2 (en) Electromyography (EMG) assistive communications device with context-sensitive user interface
CN111542800A (zh) 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
JP2019513516A (ja) 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
KR20200101906A (ko) 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스
JP2021511567A (ja) 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース
US9721450B2 (en) Wearable repetitive behavior awareness device and method
AU2022268375B2 (en) Multiple switching electromyography (emg) assistive communications device
WO2014138925A1 (en) Wearable computing apparatus and method
JP2004527815A (ja) 感知電気生理学的データに基づく活動開始方法及びシステム
US20220280085A1 (en) System and Method for Patient Monitoring
US20210106290A1 (en) Systems and methods for the determination of arousal states, calibrated communication signals and monitoring arousal states
Uniyal et al. Pervasive healthcare-a comprehensive survey of tools and techniques
RU2725782C2 (ru) Система для коммуникации пользователей без использования мышечных движений и речи
Rania et al. EOG Based Text and Voice Controlled Remote Interpreter for Quadriplegic Patients
CN116964545A (zh) 用于信号传递认知状态转换的系统和方法
CN117243598A (zh) 人体姿态智能识别方法及计算机设备
Norton Steady-state visual evoked potentials and their application to brain-computer interfaces
EP4305511A1 (en) Systems and methods for signaling cognitive-state transitions
Guerreiro Assistive technologies for spinal cord injured individuals: a survey
Guerreiro Myographic Mobile Accessibility for Tetraplegics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant