CN100374986C - 用于交互式通信和分析的方法、系统与软件 - Google Patents

用于交互式通信和分析的方法、系统与软件 Download PDF

Info

Publication number
CN100374986C
CN100374986C CNB200480022250XA CN200480022250A CN100374986C CN 100374986 C CN100374986 C CN 100374986C CN B200480022250X A CNB200480022250X A CN B200480022250XA CN 200480022250 A CN200480022250 A CN 200480022250A CN 100374986 C CN100374986 C CN 100374986C
Authority
CN
China
Prior art keywords
user
electric signal
tabulation
value
detected electric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB200480022250XA
Other languages
English (en)
Other versions
CN1833217A (zh
Inventor
P·C·S·H·福特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CONTROL BIONICS
Original Assignee
CONTROL BIONICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CONTROL BIONICS filed Critical CONTROL BIONICS
Publication of CN1833217A publication Critical patent/CN1833217A/zh
Application granted granted Critical
Publication of CN100374986C publication Critical patent/CN100374986C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

一种用于交互通信以便由用户响应所述用户产生的电信号的方法、系统和软件，它包括：(A)为所述用户提供表示目标项目列表的交互式显示；(B)接收由所述用户响应所述交互式显示而产生的检测到的电信号；(C)将所述检测到的电信号处理并转换成数字数据；(D)分析所述数字数据，以将使周所述交互式显示呈现给所述用户的所述目标项目列表之一与所述用户的选择相关联。步骤(A)-(D)基于呈现给所述用户的目标项目列表的层次关系，以选择所述用户需要的一个目标项目。

Description

用于交互式通信和分析的方法、系统与软件
相关申请交叉引用
本申请根据35U.S.C§119(e)要求享有2003年6月12日提出的美国临时专利申请No.60/477762的优先权，该申请的内容通过引用全部结合于本文中。
发明领域
本发明一般地涉及一种交互式通信或分析系统与方法，其包括显示和分析从模拟信号获得的数字数据流，从所述分析的数据流确定选择指示并基于指数缩减算法执行迭代选择。
发明背景
所遇到的问题之一涉及与伤残或残疾人士的交互沟通。此类人士通常无能力(如活动或移动能力范围)以肯定地交互沟通，因此需要他人的帮助以完成所有任务中最基本的任务如表达其需要。此外，由于他们不能轻松地表达他们的需要，因此，他们不能有效地沟通和利用适于伤残人士使用的交互式装置来表达其需要。随着此类交互式装置的处理能力快速提高而尺寸减小，这些交互式装置如果使以上指出的缺点得到解决，则现在非常适用于残疾人沟通。
发明概述
在一个方面，本发明为用户提供了响应用户产生的电信号的交互式通信方法、软件和系统，包括：(A)为所述用户提供表示目标项目列表的交互式显示；(B)接收由所述用户响应所述交互式显示而产生的检测到的电信号；(C)将所述检测到的电信号处理并转换成数字数据；(D)分析所述数字数据，以将使用所述交互式显示呈现给所述用户的所述目标项目列表之一与所述用户的选择相关联；以及(E)基于呈现给所述用户的目标项目列表的层次关系，迭代地重复步骤(A)-(D)，以选择所述用户需要的目标项目。
在一个方面，电信号代表在所述用户神经肌肉部位产生的生物信号。
在另一方面，处理和转换所述数字数据的步骤还包括以图形显示来显示对应于所述检测到的电信号的转换十进制值，其特征在于，最近时间周期的所述十进制值替代在所述图形显示上显示的连续(或时间周期性)时间周期滚动范围内一个较早时间周期(例如，前一个)的所述十进制值。
在又一方面中，本发明提供一种用于处理和显示电信号的方法，包括：生成表示接收的电信号的数字数据流；生成表示在一个时间周期内电信号值的十进制值；以图形显示来显示所述十进制值，其中，最近时间周期的十进制值替代在所述图形显示上显示的连续(或时间周期性)时间周期滚动范围内更早(例如，前一个)时间周期的所述十进制值。
在又一方面，基于在一个时间周期或连续时间周期内收到的所述接收电信号的最大值和最小值，自动确定所述图形显示的最大值和最小值。
在另一方面，本发明提供一种从目标项目列表中交互选择的方法，包括：(A)将目标项目分成n个列表；(B)向用户显示所述n个列表；(C)确定用户选择的所述n个列表之一；(D)通过只使用在步骤(C)和步骤(A)中选择的所述列表中的所述目标项目，迭代重复步骤(A)-(C)，直至在步骤(C)中的所述选择的列表只有1个目标项目。
附图简述
结合于说明书并作为其一部分的附图示出了本发明的实施例，并且与以上给出的一般描述和如下对上述实施例的详细说明一起用于解释本发明的原理。
图1显示用于检测到的电信号的图形显示的计算机屏幕显示；
图2显示示范初始交互屏幕；
图3是显示初始类与目标项目列表之间的关系的方框图；
图4是显示两个目标项目列表的示范屏幕；
图5是公开选择的目标项目的示范屏幕；
图6是显示本发明的交互式通信系统的组件的方框图。
实施例详细说明
本发明涉及一种用于交互式通信和分析的方法(和相关系统与软件)，其利用对从模拟源获得的数字数据的改进显示并对该数字数据进行分析，根据对该数字数据的分析确定选择指示，并利用将上述选择指示与指数缩减算法一起用于迅速从大得多的目标项目列表中选择目标项目的选择系统。
下面将参照附图描述本发明。这些附图显示了实施本发明系统、方法与程序的特定实施例的某些细节。然而，通过附图描述本发明不应视为对本发明施加了可能存在于附图中的任何限制。本发明设想到了方法和系统以及用于完成其操作的在任何计算机可读介质上的程序产品。本发明的实施例可使用现有计算机处理器实施，或者通过为此目的或另一目而结合的专用计算机处理器来实现。
如上所述，本发明范围内的实施例包括计算机可读介质上的程序产品和用于承载或在其上存有计算机可执行指令或数据结构的载体。此类计算机可读介质可以是可由通用或专用计算机访问的任何可用介质。此类计算机可读介质可包括例如RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置，或者可由通用或专用计算机存取的、可用于承载或存储可执行指令或数据结构形式的所需程序代码的任何其它介质。可通过网络或另一通信连接(硬连线、无线或硬连线或无线的组合)将信息传送或提供给计算机时，计算机将该连接完全视为计算机可读介质。因此，任何此类连接完全可称为计算机可读介质。上述组合还应包括在计算机可读介质范围内。计算机可执行指令例如包括使通用计算机、专用计算机或专用处理装置执行某一功能或某组功能的指令与数据。
下面将就可以在一个实施例中通过包括由在联网环境中的计算机执行的计算机可执行指令如程序模块的程序产品来实现的一般方法步骤来描述本发明。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关联数据结构和程序模决代表了用于执行本文所公开方法的步骤的程序代码示例。此类可执行指令或相关联数据结构的特定序列代表了用于执行此类步骤中所述功能的相应动作的示例。
本发明适于在使用至具有处理器的一个或多个远程计算机的逻辑连接的联网环境中应用。逻辑连接可包括局域网(LAN)和广域网(WAN)，它们在这里作为示例而非限制。此类联网环境在办公范围或企业范围的计算机网络、企业内部网和因特网中是常见的。本领域技术人员会理解，此类网络计算环境通常会包括许多类型的计算机系统配置，包括个人计算机、手持装置、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、微计算机、大型机等。本发明还可在分布式计算环境中实施，在这些环境中，任务由通过通信网络链接(通过硬连线链路、无线链路或硬连线或无线链路的组合链接)的本地和远程处理装置执行。在分布式计算环境中，程序模块可位于本地和远程存储装置中。
如上所述，在一个实施例中，本发明涉及用于伤残或残疾人的交互式通信装置，并包括以下三个组件：(1)虚拟模拟实时信号绘图仪(VARSP)；(2)指数杠杠作用的字母数字字符串选择器(ELASS)；以及(3)自动信号范围调整(ASRA)。其中每个组件将在本文中作进一步详细讨论。应该认识到，虽然这些组件中的每个组件在本文中是参照(例如用于伤残或残疾人士的)交互式通信装置实施例进行描述的，但它们还设计成与本文中进一步描述的各种其它应用一起使用。
虚拟模拟实时信号绘图仪(VARSP)
VARSP设计为处理和绘制适当的电信号，例如肌电图仪(EMG)信号。然而，这些信号可从任一来源收到，在一个实施例中，它设计为处理和利用由市场上可购买到、由Therapeutic Alliances公司开发的NeuroEDUCATORTM EMG处理器(以下称为“NeuroEudcator”)发送的以独特方式排列的数据流。本领域技术人员会认识到，NeuroEducator EMG捕获和处理装置只是EMG捕获和处理(或数字化)装置的一个示例。也可考虑使用其它EMG捕获和处理装置而非NeuroEducator。例如，NeuroEducator的四个通道每个均轮询粘附于目标神经肌肉部位上的皮肤的单独一组EMG处理器，例如每50毫秒轮询一次。NeuroEducator将模拟EMG信号数字化，并使之成为独特双字节组十六进制代码，表示在该50毫秒时间间隔内跨目标神经肌肉部位中心上的正中微伏(mV)电位降。该双字节十六进制组由NeuroEducator在数据流中沿电缆发送到例如9针串行插头，该插头与台式或膝上型个人计算机(PC)的标准COM1端口配对。本领域技术人员会认识到，在替代实施例中可使用无线或其它通信手段来代替电缆。
VARSP以超过50千赫兹(kHz)的频度轮询COM1端口，并验证十六进制代码的每个双字节组后才将它转换为单个十进制值，以表示在该50毫秒间隔内目标神经肌肉部位上的mV读数。
在一个实施例中，VARSP算法由数据流绘制5秒mV读数轨迹，并按如下方式每50毫秒将其更新一次：(I)它绘制5秒轨迹，然后丢弃轨迹中最早的mV值并添加最新的mV值；(II)它擦除具有丢弃的mV值的旧5秒轨迹(在开始处)，并重画具有新mV值的新5秒轨迹(在结尾处)；(III)这样，图形看起来似乎每50毫秒前移越过屏幕。
该过程每50毫秒重复一次，产生实时模拟图、一个从NeuroEducator接收的数字数据流获得的虚拟模拟实时信号的外观。
在一个实施例中，VARSP算法将自然地从左到右跨屏幕流动一个线性时基数字数据流表现为具有模拟图(或显示)外观的右到左的流式图，但利用了处理数字数据的特征特性和熟知的优点。
VARSP图的绘制对输入数据流的实时可视分析是必要的，并且对用户、特别是伤残用户评估他们努力在目标神经肌肉部位发生的神经肌肉活动的程度的能力也是必要的。
正如本领域技术人员会认识到的一样，VARSP算法可应用在生物和医疗监控的各个领域，其中，信号发源于模拟(例如生物)部位，但转换成数字数据流并从传感器发送。
在一个方面，VARSP算法(如上所述)能够使任一数字数据流变为具有实时模拟图所有特征的图形显示。例如，这种数字数据流可源于监控数据或天文、地质、气象、电子和/或机械源的遥测。
在一个实施例中，本发明提出，基于处理接收的EMG信号可检测用户产生的选择或指示信号。通过改变其EMG活动水平(例如以微伏为单位测量)，伤残或其它人士可以多种方式产生“开启(on)”信号。一种方式是使其EMG信号升到某水平(“触发线”)之上。例如，如果ELASS(如下所述)在运行，则该水平可动态改变，其中中线(如本文以下所述)作为触发线。
另一种方式(“Delta系统”)是：如果用户在设定时间内使EMG信号以某种方式变化，则基于该EMG信号检测选择指示，所述方式例如为通过分析可从两个顺序值样本变化到扩充数量的值样本的周期内的变化率。例如，在每50毫秒抽样的情况下，该周期的变化可从51毫秒(两个样本)变化到一秒(19个样本)或更长。Delta系统可以从简单的直线加速变为一组复杂的增加和/或减少。
指数杠杆作用的字母数字字符串选择器(ELASS)
ELASS算法设计为通过简单的键击或EGM产生(或其它电信号)的“开启”指示信号，对字母数字字符和字符串(或者甚至符号或图形要素)提供高度有效的控制。
ELASS是一个选择系统，允许用户通过按分子为1且分母为任一整数(“缩减因数”)的分数迭代地缩减(或“指数缩减”)列表，从而定位项目列表中的特定项目(“目标项目”)。例如，对于缩减因数2，列表渐次地(或迭代地)折半缩减，每次缩减选择包含目标项目的那一半，直至只剩下目标项目。
ELASS利用指数数学方法从列表中选择(或挑选)一个目标项目，比需要决定逐个选择或拒绝列表中每个项目的连续循环快得多。例如，采用顺序循环查找具有64个项目的列表时，如果目标项目是列表中的第64个项目，则会采用64次选择以循环通过整个列表来定位目标项目。对于ELASS，使用缩减因数2，无论目标项目位于列表中何处，始终只需6次选择来确定其位置，也就是说，在缩减时将每次选择的剩余列表减半，从64到32到16到8到4到2到1(64是2的6次方，因此为6次选择)。
ELASS指数缩减也可按任一其它缩减因数进行，如按四分之一(缩减因数2)或按八分之一(缩减因数8)等进行缩减。
ELASS采用此指数杠杆作用来处理任意长度的列表。
由于列表上的任一项目本身可能是列表，因此，ELASS也可组合采用指数杠杆作用。列表中的任一项目本身可能是任一长度的另外列表，该列表又可通过指数杠杆作用缩减。例如，本领域的技术人员会认识到，不是目标项目存在于显示给用户(或选择者)的每个目标项目列表集合中，而是可在初始迭代中向用户呈示代表目标项目的列表(或类)，这样，通过一组迭代可向用户呈现数量更多的项目。在随后的迭代中，类可展开以揭示供用户选择的实际目标项目列表。在简化的示例中，对用户的初始显示可显示以下两个类：“食品”和“饮料”。在另一示例中，初始选择可以为以下四类之一：要求、食品与饮料、问候语和个人护理，一旦初始选择了“食品与饮料”，则要在食品与饮料之间进行选择。一旦用户选择了这些类之一(例如，“食品”)，则随后可将与所选择的类对应的目标项目列表(如食品项目或食品项目类)提供给用户以便进一步选择。此迭代选择过程(基于显示的目标项目类、目标项目或其组合)将继续，直至选择了所需的目标项目。
ELASS是一种独特的选择方法，它在计算机屏幕(或其它设备显示器)上显示列表并按指数规律缩减列表。本领域的技术人员会认识到，虽然本文的说明涉及计算机屏幕或显示器，但诸如在PDA或无线电话或设备上的其它可选显示器也在本文所述本发明的范围内。
在一个实施例中，使用缩减因数2时，ELASS在屏幕上各窗口(屏幕上有两个“列表窗口”)中显示相应列表中的各一半目标项目，使用户查看列表中每个项目的能力最大化。在用户选择显示包含了目标项目列表的列表窗口时，ELASS擦除两个列表窗口并将所选列表中的目标项目分为两半来显示该列表。随后，所选列表的每一半在计算机屏幕上其自己的窗口中作为单独的列表显示，该屏幕上同时显示了两个列表窗口。这样，ELASS允许用户循环通过整个原始列表或目标项目，直至屏幕上显示的两个列表窗口之一中剩下所需的目标项目。随着此迭代过程继续，所需目标项目会单独出现在计算机屏幕上显示的其列表窗口中。ELASS设计成：一旦所需目标项目是屏幕上显示的列表窗口中存在的唯一目标项目时，发起与该特定所需目标项目对应的响应。例如，ELASS能够在屏幕上以更大的打印来显示项目，并通过扬声器或耳机将其从文本转换为语音。ELASS还设计成使其可以：启动诸如机器人装置移动之类的相当功能(或甚至一组功能)；发起对诸如空调、灯、电视、无线电或立体音响系统等设备的控制；发起电子邮件活动；发起因特网活动(浏览或查找)；以及发起诸如启动、操作或关闭诸如字处理程序等程序或打开、操作或保存电子文件的计算机活动；或甚至调整ELASS系统本身上的设置以便系统可更好地针对每个用户进行定制。
自动信号范围调整(ASRA)和选择检测
ASRA描绘设定时间周期内的最大EMG值(以微伏为单位)和最小EMG值(以微伏为单位)，并将最大Y轴值调整为更接近包括这些最大和最小EMG值的新值。随后，它调整用作待执行命令触发器的中间线值(在该设定周期期间抽样的最大EMG值与抽样的最小EMG值之间中间的Y轴值)。本领域的技术人员会认识到，中间线值无需为中间值，而是可替换为介于检测到的最大与最小EMG信号值之间的另一值(例如，可使用最大与最小EMG值之间60％或75％的阈值)。
在用户基于检测的EMG值生成超过中间线或另一预定标准的EMG信号的瞬时，可生成选择信号或指示信号。例如，一些预定的标准可包括与如上所述基于检测的EMG信号值而绘制或显示的曲线时基形状相关的标准。本发明的一个实施例支持一旦在该瞬时检测到选择或指示信号时，执行对应于该瞬时的命令选择。对应于该瞬时的命令选择可通过各种方法显示或表示，例如，通过计算机屏幕图形(例如，使光标或其它指示符在计算机屏幕上显示的活动列表窗口之间旋转)、声音或其组合。在本发明的某些实施例中，ASRA允许自动调整对应于某个特定用户能够在其神经部位产生的EMG信号的显示的EMG范围(以微伏为单位)。这种自动调整会消除(或降低)另一人手动定期改变该范围的要求。显示的EMG信号范围的这种自动调整有助于对检测到的EMG信号进行更敏感的分析，这是因为所显示和分析的是检测到的EMG信号值的更具体的范围。
本领域的技术人员会认识到，所述ASRA可在监控可变范围数据流的不同应用中使用。此类应用包括例如：地质数据(如逐步增强地震活动)自动调节监视器、气象数据(如恶化的天气或气候条件)自动调节监视器、天文数据(诸如与非随机事件如从智能源发出的信号相关联的模式行为)自动调节监视器。这些应用可程序化，以发起警报、通知、警告、响应指示和类似的活动或这些的任何组合。
这种应用还包括存在于诸如模糊逻辑系统中用以改变切换行为，例如微波炉、干衣机或空调的切换行为的自调节响应功能。这些应用可包括复杂系统，例如，诸如国际空间站之类轨道对象的复合定位和状态到诸如色班清除medbot之类毫微米工艺设备的活动，所有这些系统工作在经常变化、可能伴随有严重后果的动态状态中。
这样的应用还包括生物医学监视功能，该功能监视诸如生命迹象、神经肌肉活动以及从整个身体定位(站直、移动、静止)到子分子事件(如跨场或跨空间的粒子交换或粒子特征变化)的所有可检测生物活动等要素。
从目标项目列表中进行交互选择的示例
图1示出了计算机屏幕100显示，其中呈现了两个显示两通道图形的窗口110和120，每个通道对应于在肌肉神经部位检测到的生物活动产生的EMG信号活动。如以上参照VARSP和ASRA所述，本发明的某些实施例规定：为伤残用户在适合的神经肌肉部位配备EMG传感器(例如，与NeuroEducator EMG兼容的传感器)。可以设置传感器的肌肉神经部位的示例包括身体上每个外部可接触到的神经肌肉部位(在表皮外层上带有皮肤传感器)，例如，二头肌上皮肤的表面，或前臂的屈肌或伸肌，以及极度残疾情况下，前额额肌上的表皮。还要理解，如上所述，可取代接触式传感器(或除这种传感器外还)，采用基于检测变化的电阻、电容、磁场或光透射或反射的远程传感器。
图2示出向用户显示的示范初始屏幕200。初始屏幕展现了四个文本框，其中显示了用户可能需要的目标项目初始类。例如，所显示的初始类包括要求205、个人护理210、食品与饮料215及问候语220。光标或其它指示符循环通过四个文本框205、210、215和220中的每个框，以便向用户指示在特定瞬时哪一个文本框(或类)是活动或可选的。根据本发明的某些实施例，基于系统处理的EMG信号，检测选择指示EMG信号，例如，如以上针对ARSA所述。在检测到选择指示EMG信号的瞬时，由光标(或其它指示符)突出显示的类或文本框被视为在该瞬时正被用户选择，并随后基于选择的类或文本框执行进一步处理。如图2所示，如果在光标突出显示类或文本框220时检测到选择指示EMG信号，则“问候语”类或文本框220被视为要由用户选择。
图3是说明初始类与目标项目列表之间关系的方框图。显示系统从起始显示150引导到初始类要求205、个人护理210、食品与饮料215和问候语220的显示。一旦用户选择了初始类之一，系统接着便使用二进制选择器250交互显示对应的目标项目列表205L、210L、215L或220L，直至选择了所需目标项目。也就是说，如果选择了要求205类，则会迭代显示对应的列表窗口205L。如果选择了个人护理210类，则会迭代显示对应的列表窗口210L。如果选择了食品与饮料215类，则会迭代显示对应的列表窗口215L。最后，如果选择了问候语220类，则会显示对应的列表窗口220。选择的动作列表窗口只剩下一个目标项目时，则该目标项目由用户有效地选择，并且系统随后根据选择的目标项目执行进一步处理。根据选择的目标项目的进一步处理可以只是向另一系统传送通信消息，或者可以在其它设备或系统上发起动作，例如激活机器人、计算机应用或开始获得某服务的过程。
因此，当用户选择图2中的问候语220类或文本框时，如图4所示会向用户显示两个对应的列表窗口220L。列表窗口222呈示6个问候语的列表，同时列表窗口224呈示具有另外6个问候语的列表，而光标或其它类似的指示符在两个列表窗口222与224之间循环。使用本文较早前所述的选择方法，用户随后基于两个列表窗口中哪一个窗口包含所需目标项目(问候语)而选择两个列表窗口222或224之一。之后，一旦用户选择了两个列表窗口222或224之一，则6个目标项目(或问候语)现在分成两个另外的列表窗口，每个列表窗口包含上述6个目标项目中的3个项目。这样，选择过程按指数方式缩减目标项目的数量，直到选择的列表窗口只包含一个目标项目(即，所需的目标项目)。
因此，如图5所示，列表窗口226只包含在列表窗口222中显示的目标项目列表中的目标项目之一。本领域技术人员会认识到，每个屏幕(或每次选择)使用两个列表窗口本质上会实现对二叉树的遍历，直到在叶节点处找到所需的目标项目为止。本领域技术人员还会认识到，三叉树或其它n叉树也可用于进一步加快选择过程。当然，将更高阶的树算法用于选择过程还将要求在计算机屏幕上同时显示附加的列表窗口，并因此要求用户进行更麻烦的决策过程。因此，例如，使用三叉树选择算法会要求向用户同时显示三个列表窗口。
图6是用于实施本文上述过程步骤的系统组件的方框图。EMG传感器300从贴到身体神经肌肉部位的传感器捕获神经肌肉信号(以mV为单位)。如上所述，可设置传感器的一些肌肉神经部位包括身体上每个外部可接触到的神经肌肉部位(在表皮外层上带有皮肤传感器)，如二头肌上的皮肤表面，或前臂的屈肌或伸肌，以及极度残疾情况下，前额额肌上的表皮。这种检测神经肌肉活动的EMG传感器已为本领域技术人员所熟知，目前已获得广泛的商业使用。来自神经肌肉部位的EMG信号传送到滤波和A/D转换系统320，如以上针对VARSP所述的NeuroEducator系统。滤波和A/D转换系统320提供数字数据流到如本文上面针对VARSP所述的计算单元。之后，设在计算单元340内的VARSP组件也如本文针对VARSP所述的那样，将数字数据流作为虚拟模拟图接收、处理并显示。计算单元340还包含向用户(显示单元)交互地提供屏幕显示的硬件和定制软件，以便用户可通过提供随后由EMG传感器300拾取的生物或EMG信号来响应屏幕显示。显示单元还包含实现如以上针对ELASS所述的指数缩减选择过程的软件。计算单元340还包含对从滤波和A/D转换系统320接收的数字数据流进行处理的信号处理单元和确定接收的EMG信号是否指示用户选择例如在由计算单元340提供给用户的屏幕显示上呈现的列表窗口之一的选择单元。
以上为举例和说明目的给出了对本发明实施例的描述。其目的并非为了穷举本发明的实施方式或将本发明限制于所公开的精确形式，各种修改和变化科根据上述教导进行或可从本发明的实践中获得。所选择并描述的实施例用于解释本发明的原理及其实际应用，以使本领域的技术人员能够在不同的实施例中，通过适用于所设想的特定应用的各种修改来利用本发明。

Claims (25)

1.一种供用户响应所述周户产生的电信号的交互式通信方法，它包括：
(A)为所述用户提供表示目标项目列表的交互式显示；
(B)接收由所述用户响应所述交互式显示而产生的检测到的电信号；
(C)将所述检测到的电信号处理并转换成数字数据；
(D)分析所述数字数据，以将使用所述交互式显示呈现给所述用户的所述目标项目列表之一与所述用户的选择相关联；以及
(E)基于呈现给所述用户的目标项目列表的层次关系，迭代地重复步骤(A)-(D)，以选择所述用户所需的一个目标项目，
其中向所述用户提供交互显示的所述步骤包括显示n个列表，每个列表包含一组目标项目，其中，所述用户的选择指示所述n个列表中包含所述用户需要的目标项目的一个列表。
2.如权利要求1所述的方法，其特征在于，接收检测到的电信号的所述步骤包括接收在所述用户的神经肌肉部位产生的电信号；以及将所述检测到的电信号处理和转换成数字数据的所述步骤包括将所述接收的电信号滤波并转换成数字数据流信号。
3.如权利要求2所述的方法，其特征在于，接收电信号的所述步骤还包括每时间周期接收作为双字节十六进制代码的所述电信号。
4.如权利要求3所述的方法，其特征在于，将所述检测到的电信号处理和转换成数字数据的所述步骤包括每时间周期将所述接收的双字节十六进制代码转换成单个十进制值。
5.如权利要求4所述的方法，其特征在于，将所述检测到的电信号处理和转换成数字数据的所述步骤还包括以图形显示来显示所述十进制值，其中，最近时间周期的所述十进制值替代在所述图形显示上显示的连续时间周期滚动范围内较早时间周期的所述十进制值。
6.如权利要求1所述的方法，其特征在于，分析所述数字数据以便与用户选择关联的所述过程包括将所述检测到的电信号与所述电信号的阈值作比较。
7.如权利要求6所述的方法，其特征在于，所述阈值包括一个时间周期内检测到的最大和最小电信号值之间的中线值。
8.如权利要求1所述的方法，其特征在于，分析所述数字数据以便与用户选择关联的所述过程包括分析与对应于所述检测到的电信号值的图形形状相关的参数。
9.如权利要求8所述的方法，其特征在于，所述参数包括所述图形的斜率。
10.如权利要求5所述的方法，其特征在于，通过确定时间周期内所述检测到的电信号的最大值和最小值，自动确定所述图形显示的最大值和最小值。
11.如权利要求1所述的方法，其特征在于，n＝2。
12.如权利要求1所述的方法，其特征在于，所述步骤(E)迭代重复，直至所述用户选择的列表只包含一个目标项目。
13.如权利要求1所述的方法，其特征在于，所述检测到的电信号包括肌电图仪信号。
14.一种供用户响应所述用户产生的电信号的交互式通信设备，包括：
(A)为所述用户提供表示目标项目列表的交互式显示的装置；
(B)接收由所述用户响应所述交互式显示而产生的检测到的电信号的装置；
(C)将所述检测到的电信号处理并转换成数字数据的装置；
(D)分析所述数字数据，以将使用所述交互式显示呈现给所述用户的所述目标项目列表之一与所述用户的选择相关联的装置；以及
(E)基于呈现给所述用户的目标项目列表的层次关系，迭代地重复步骤(A)-(D)，以选择所述用户需要的目标项目的装置；
其中向所述用户提供交互显示的所述装置包括显示n个列表，每个列表包含一组目标项目，其中，所述用户的选择指示所述n个列表中包含所述用户需要的目标项目的一个列表。
15.一种交互式通信系统，它包括：
显示单元，其为用户迭代地提供表示目标项目列表的交互显示；
信号处理单元，其配置为从检测由所述用户响应所述交互显示而产生的电信号的传感器接收检测到的电信号，并将所述接收的检测到的电信号转换为数字数据；以及
选择单元，其分析所述数字数据以将所述显示单元提供给所述用户的所述目标项目列表之一与所述用户的选择相关联；
其中所述显示单元向所述用户提供包括n个列表的交互显示，每个列表包含一组目标项目，其中，所述选择单元确定用户对所述n个列表中包含所述用户所需目标项目的一个列表的选择。
16.如权利要求15所述的通信系统，其特征在于，所述通信系统还包括有效连接到所述传感器以生成表示从所述传感器接收的电信号的数字数据流的滤波器和A/D转换器，其中所述滤波器和A/D转换器生成表示时间周期内所述检测到的电信号的双字节十六进制代码。
17.如权利要求16所述的通信系统，其特征在于，所述信号处理单元将所述接收的双字节十六进制代码转换成所述时间周期的十进制值；以及
所述显示单元在图形显示中显示所述十进制值，其中，最近时间周期的十进制值替代在所述图形显示上显示的连续时间周期滚动范围内较早时间周期的十进制值。
18.如权利要求15所述的通信系统，其特征在于，所述选择单元将所述检测到的电信号与阈值作比较，以确定选择与所述检测到的电信号同时发生的显示列表。
19.如权利要求15所述的通信系统，其特征在于，所述选择单元分析与对应于所述检测到的电信号的图形形状相关的参数以确定选择与所述检测到的电信号同时发生的显示列表。
20.如权利要求15所述的通信系统，其特征在于，基于自动确定时间周期内所述检测到的电信号的最大值和最小值，所述显示单元确定图形显示的最大值和最小值。
21.如权利要求15所述的通信系统，其特征在于，n＝2。
22.如权利要求15所述的通信系统，其特征在于，所述检测到的电信号包括肌电图仪信号。
23.一种从目标项目列表交互选择的方法，它包括：
(A)将目标项目分成n个列表；
(B)向用户显示所述n个列表；
(C)确定用户选择的所述n个列表之一；
(D)通过只使用步骤(C)从步骤(A)的所述列表中选择的列表的目标项目，迭代重复步骤(A)-(C)，直至步骤(C)中选择的列表只具有1个目标项目。
24.如权利要求23所述的方法，其特征在于，n＝2。
25.如权利要求23所述的方法，其特征在于，列表中的目标项目也表示列表。
CNB200480022250XA 2003-06-12 2004-06-14 用于交互式通信和分析的方法、系统与软件 Active CN100374986C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US47776203P 2003-06-12 2003-06-12
US60/477,762 2003-06-12

Publications (2)

Publication Number Publication Date
CN1833217A CN1833217A (zh) 2006-09-13
CN100374986C true CN100374986C (zh) 2008-03-12

Family

ID=33551759

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200480022250XA Active CN100374986C (zh) 2003-06-12 2004-06-14 用于交互式通信和分析的方法、系统与软件

Country Status (9)

Country Link
US (1) US7761390B2 (zh)
EP (1) EP1634155A2 (zh)
JP (1) JP2007505423A (zh)
KR (1) KR20060023149A (zh)
CN (1) CN100374986C (zh)
AU (1) AU2004248641C1 (zh)
BR (1) BRPI0411346A (zh)
CA (1) CA2529203C (zh)
WO (1) WO2004111820A2 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120001748A1 (en) * 2010-06-30 2012-01-05 Norman Ladouceur Methods and apparatus for visually supplementing a graphical user interface
GB201212878D0 (en) 2012-07-20 2012-09-05 Pike Justin Authentication method and system
US20140198034A1 (en) * 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
JP2017509386A (ja) 2014-02-14 2017-04-06 サルミック ラブス インコーポレイテッド 弾性電気ケーブルのためのシステム、製品、及び方法、並びに、それを用いるウェアラブル電子デバイス
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
CN107820592B (zh) 2015-02-17 2021-07-06 谷歌有限责任公司 用于在可穿戴式平视显示器中进行适眼区扩大的系统、设备和方法
US9958682B1 (en) 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10197805B2 (en) 2015-05-04 2019-02-05 North Inc. Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
GB201520760D0 (en) 2015-05-27 2016-01-06 Mypinpad Ltd And Licentia Group Ltd Encoding methods and systems
CA2984138A1 (en) 2015-05-28 2016-12-01 Thalmic Labs Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
CA2996721A1 (en) 2015-09-04 2017-03-09 Thalmic Labs Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
US20170097753A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
KR20180132854A (ko) 2016-04-13 2018-12-12 탈믹 랩스 인크 레이저 프로젝터를 집속하기 위한 시스템, 장치 및 방법
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
US10459220B2 (en) 2016-11-30 2019-10-29 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10663732B2 (en) 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437073B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11300788B2 (en) 2017-10-23 2022-04-12 Google Llc Free space multiple laser diode modules
WO2019099831A1 (en) * 2017-11-16 2019-05-23 Control Bionics Holdings Pty Ltd Electromyography (emg) assistive communications device with context-sensitive user interface
US11150730B1 (en) * 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
JP2021535465A (ja) 2018-08-31 2021-12-16 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 神経筋信号のカメラ誘導による解釈
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
WO1991001699A1 (en) * 1989-08-04 1991-02-21 Gec-Marconi Limited Control system
CN1060940A (zh) * 1990-07-24 1992-05-06 生物控制系统有限公司 眼睛操纵的控制器
WO1998028678A1 (en) * 1996-12-24 1998-07-02 Vyacheslav Vladimirovich Minin A method for manual entry of data into a computer and a device for realization of the method
EP1008925A2 (en) * 1998-12-07 2000-06-14 Hitachi, Ltd. Device for controlling equipment by using signals from a living body
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US20030046254A1 (en) * 2001-02-27 2003-03-06 Ryu Chang Su Apparatus for controlling electrical device using bio-signal and method thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2145257B (en) * 1983-07-15 1987-01-28 Charles George Smith Display systems for operation by persons of limited controllable mobility
US4951190A (en) * 1985-04-30 1990-08-21 Prometrix Corporation Multilevel menu and hierarchy for selecting items and performing tasks thereon in a computer system
JPH062146B2 (ja) * 1987-03-30 1994-01-12 竹井機器工業株式会社 意志伝達装置
DE8809941U1 (zh) * 1988-08-04 1988-09-22 Turnwald, Peter, 6648 Wadern, De
US5124942A (en) * 1988-09-28 1992-06-23 Solatrol, Inc. Machine interface with cyclically displayed hierarchical menus and user selection of menu items by actuation of a single switch
US6160536A (en) * 1995-03-27 2000-12-12 Forest; Donald K. Dwell time indication method and apparatus
US6154750A (en) * 1998-04-01 2000-11-28 Cyberpulse Llc Method and system for navigation and data entry in heirarchically-organized database views
GB2364493B (en) * 2000-06-30 2004-11-10 Nokia Mobile Phones Ltd Improved data input
US6688311B2 (en) * 2002-03-14 2004-02-10 Allergan, Inc. Method for determining effect of a clostridial toxin upon a muscle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
WO1991001699A1 (en) * 1989-08-04 1991-02-21 Gec-Marconi Limited Control system
CN1060940A (zh) * 1990-07-24 1992-05-06 生物控制系统有限公司 眼睛操纵的控制器
WO1998028678A1 (en) * 1996-12-24 1998-07-02 Vyacheslav Vladimirovich Minin A method for manual entry of data into a computer and a device for realization of the method
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
EP1008925A2 (en) * 1998-12-07 2000-06-14 Hitachi, Ltd. Device for controlling equipment by using signals from a living body
US20030046254A1 (en) * 2001-02-27 2003-03-06 Ryu Chang Su Apparatus for controlling electrical device using bio-signal and method thereof

Also Published As

Publication number Publication date
BRPI0411346A (pt) 2006-07-11
JP2007505423A (ja) 2007-03-08
US20050012715A1 (en) 2005-01-20
US7761390B2 (en) 2010-07-20
KR20060023149A (ko) 2006-03-13
AU2004248641A1 (en) 2004-12-23
CA2529203A1 (en) 2004-12-23
AU2004248641C1 (en) 2011-02-10
EP1634155A2 (en) 2006-03-15
AU2004248641B2 (en) 2010-09-30
WO2004111820A3 (en) 2005-12-08
WO2004111820A2 (en) 2004-12-23
CN1833217A (zh) 2006-09-13
CA2529203C (en) 2015-03-03

Similar Documents

Publication Publication Date Title
CN100374986C (zh) 用于交互式通信和分析的方法、系统与软件
Fabiani et al. Conversion of EEG activity into cursor movement by a brain-computer interface (BCI)
US7078911B2 (en) Patent application for a computer motional command interface
US7333090B2 (en) Method and apparatus for analysing gestures produced in free space, e.g. for commanding apparatus by gesture recognition
El Saddik et al. The potential of digital twins
CN107145239A (zh) 一种基于脑念传感器的智能系统及其控制方法
KR20160124890A (ko) 훈련지원설비 및 훈련지원방법
CN101788517A (zh) 基于仿生嗅觉的辛味中药材气味指纹图谱构建系统及方法
CN105759677B (zh) 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法
CN110910964A (zh) 一种分子间的结合活性预测方法及装置
CN112001305A (zh) 基于梯度提升决策树的特征优化ssvep异步识别方法
Mäntyjärvi et al. Adapting applications in mobile terminals using fuzzy context information
Fatourechi et al. A hybrid genetic algorithm approach for improving the performance of the LF-ASD brain computer interface
CN107976919A (zh) 一种智能机器人控制方法、系统及电子设备
Mirkin Core Concepts in Data Analysis: Summarization, Correlation, Visualization
Persad et al. A framework for analytical inclusive design evaluation
CN112083832B (zh) 基于imu和红外感应的可移植触碰屏装置
Xi et al. Feature extraction of surface electromyography based on improved small-world leaky echo state network
Luna-Romero et al. A domotics control tool based on MYO devices and neural networks
Bhardwaj et al. Deadzone analysis of 2D kinesthetic perception
CN109034240B (zh) 基于模糊推理的烟花爆竹生产监控预警方法及系统
Dong et al. Classifier fusion method based emotion recognition for mobile phone users
Imel The evolution of efficient compression in signaling games
CN117829920A (zh) 基于用户情绪的广告投放方法及装置、设备、存储介质
CN115618105A (zh) 一种基于大数据的数据信息分析系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant