KR20060023149A - 상호작용 통신 및 분석을 위한 방법, 시스템 및 소프트웨어 - Google Patents

상호작용 통신 및 분석을 위한 방법, 시스템 및 소프트웨어 Download PDF

Info

Publication number
KR20060023149A
KR20060023149A KR1020057023925A KR20057023925A KR20060023149A KR 20060023149 A KR20060023149 A KR 20060023149A KR 1020057023925 A KR1020057023925 A KR 1020057023925A KR 20057023925 A KR20057023925 A KR 20057023925A KR 20060023149 A KR20060023149 A KR 20060023149A
Authority
KR
South Korea
Prior art keywords
user
electrical signal
list
detected electrical
display
Prior art date
Application number
KR1020057023925A
Other languages
English (en)
Inventor
피터 챨스 샨 허버드 포드
Original Assignee
컨트롤 바이오닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 컨트롤 바이오닉스 filed Critical 컨트롤 바이오닉스
Publication of KR20060023149A publication Critical patent/KR20060023149A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

사용자에 의해 발생되는 전기 신호에 응답하는 사용자용 대화식 통신 방법, 시스템 및 소프트웨어가 개시되어 있으며, 이러한 방법, 시스템 및 소프트웨어는 (A) 목표 항목의 리스트를 나타내는 대화식 디스플레이를 사용자에게 제공하는 단계와; (B) 상기 대화식 디스플레이에 응답하여 사용자에 의해 발생되는 검출된 전기 신호를 수신하는 단계와; (C) 상기 검출된 전기 신호를 처리하여 디지털 데이터로 변환하는 단계와; (D) 상기 디지털 데이터를 분석하여, 상기 대화식 디스플레이를 이용하여 사용자에게 제공되는 상기 목표 항목의 리스트 중에서 사용자가 선택한 리스트와 관련시키는 단계를 포함한다. 상기 단계(A) 내지 단계(D)는 사용자가 원하는 목표 항목을 선택하기 위해 사용자에게 제공되는 상기 목표 항목의 리스트의 계층적 관계에 기초하여 반복적으로 반복된다.

Description

상호작용 통신 및 분석을 위한 방법, 시스템 및 소프트웨어{METHOD, SYSTEM, AND SOFTWARE FOR INTERACTIVE COMMUNICATION AND ANALYSIS}
관련 출원의 상호 참조
본 출원은 35 U.S.C 119(e) 하에서, 2003년 6월 12일 출원된 미국 가특허 출원 일련번호 제60/477,762호를 우선권으로 주장하며, 이하, 그 전체 내용을 전용하여 참조로서 포함한다.
본 발명은 일반적으로 대화식 통신 또는 분석을 위한 시스템 및 방법에 관한 것으로, 이 방법 및 시스템은 아날로그 신호로부터 유도되는 디지털 데이터스트림을 디스플레이하여 분석하는 것, 그 분석한 데이터스트림으로부터 선택 표시를 결정하는 것, 및 급격한 감소 알고리즘에 기초하여 반복적인 선택을 수행하는 것을 포함한다.
대화식 통신에서 발생되는 문제들 중 하나가 장애를 갖거나 신체적 결함을 가진 사람과 통신할 때 발생한다. 종종 이러한 사람들은 능숙하게 대화식 통신을 하는 통신 능력(예를 들어, 모션이나 운동 능력의 범위)을 갖지 못하기 때문에, 그들이 무 엇을 원하지를 나타내는, 심지어 가장 기본적인 모든 작업을 다른 사람의 보조를 받고 수행해야 할 필요가 발생한다. 또한, 이들은 자신들이 원하는 것을 쉽게 표현할 수 없기 때문에, 효과적으로 통신할 수도 없고, 따라서, 그들의 요구를 표현하는 데 적절한 장애인용의 대화식 통신 장치를 이용해야 한다. 상술한 몇몇 단점들이 해결된다면, 이러한 대화식 통신 장치의 소형화와 함께 처리 전력의 신속한 증가로 인해, 이러한 대화식 통신 장치가 장애인을 위한 통신으로 적절할 수 있다.
일 양태에서, 본 발명은 사용자에 의해 생성되는 전기 신호에 응답하여 대화식 통신 방법, 소프트웨어 및 시스템을 사용자에게 제공하며, 이는 (A) 목표 항목의 리스트를 나타내는 대화식 디스플레이를 사용자에게 제공하는 것; (B) 대화식 디스플레이에 응답하여 사용자에 의해 생성된, 검출된 전기 신호를 수신하는 것; (C) 그 검출된 전기 신호를 처리하여 디지털 데이터로 변환하는 것; (D) 그 디지털 데이터를 분석하여, 대화식 디스플레이를 이용하여 사용자에게 제공되는 목표 항목의 리스트들 중 사용자가 선택한 한 리스트와 관련시키는 것; 및 (E) 사용자가 원하는 목표 항목을 선택하기 위해 사용자에게 제공된 목표 항목의 리스트의 계층적 관계에 기초하여 단계(A)-(D)를 반복하는 것을 포함한다.
일 양태에서, 전기 신호들은 사용자의 신경 근육 부위에서 생성되는 생물학적 신호를 나타낸다.
또 다른 양태에서, 디지털 데이터를 처리하여 변경하는 것은 그래픽 디스플레이에서 검출된 전기 신호에 대응하는 변환된 10진수 값을 디스플레이하는 단계를 더 포함하며, 여기서, 그래픽 디스플레이 상에 디스플레이된 연속적인 기간(또는 주기적인 기간)의 순환 범위에 대하여, 이전 기간(예를 들어, 선행하는 기간)에 대한 10진수 값이 최근 기간에 대한 10진수 값으로 대체된다.
또 다른 양태에서, 본 발명은 전기 신호를 처리하여 디스플레이하는 방법을 제공하는데, 이 방법은 수신된 전기 신호를 나타내는 디지털 데이터스트림을 생성하는 단계와, 어떤 기간 동안 전기 신호의 값을 나타내는 10진수 값을 생성하는 단계와; 그 10진수 값을 그래픽 디스플레이에 디스플레이하는 단계를 포함하며, 여기서, 그래픽 디스플레이 상에 디스플레이된 연속적인 기간(또는 주기적인 기간)의 순환 범위에 대하여, 이전 기간(예를 들어, 선행하는 기간)에 대한 10진수 값이 최근 기간에 대한 10진수 값으로 대체된다.
또 다른 양태에서, 그래픽 디스플레이에 대한 최대값과 최소값은 어떤 기간 동안 또는 연속적인 기간 동안에 수신된 전기 신호의 수신된 최대값과 최소값에 기초하여 자동으로 결정된다.
또 다른 양태에서, 본 발명은 목표 항목의 리스트로부터의 대화식 선택 방법을 제공하는 것으로, 이 방법은 (A) 목표 항목을 n개의 리스트로 분할하는 단계와; (B) 사용자에게 그 n 개의 리스트를 디스플레이하는 단계와; (C) 그 n 개의 리스트 중 하나에 대한 사용자의 선택을 판정하는 단계와; (D) 단계(C)에서 선택된 리스트가 오직 1 개의 목표 항목만을 가질 때까지 단계(C)에서 선택된 목표 항목만을 단계(A)에서 이용하여, 단계(A)-(C)를 반복적으로 반복하는 단계를 포함한다.
이하, 명세서에 포함되어 일부를 구성하는 첨부 도면과 함께 본 발명의 실시 형태를 설명하는 상세한 설명부를 통하여 본 발명의 원리를 설명한다.
도 1은 검출된 전기 신호의 그래픽 디스플레이에 이용되는 컴퓨터 스크린 디스플레이를 나타낸다.
도 2는 예시적인 처음의 대화식 스크린을 나타낸다.
도 3은 목표 항목의 리스트와 초기 클래스(class) 간에 관계를 나타내는 블록도이다.
도 4는 목표 항목의 2 개의 리스트를 나타내는 예시적인 스크린이다.
도 5는 선택된 목표 항목을 개시하는 예시적인 스크린이다.
도 6은 본 발명의 대화식 통신 시스템의 구성요소들을 나타내는 블록도이다.
본 발명은 개선된 디스플레이와 아날로그 소스로부터 유도되는 디지털 데이터의 분석, 그 디지털 데이터의 분석으로부터의 선택 표시의 결정, 및 그 선택 표시와 함께 급격한 감소 알고리즘을 이용하여 목표 항목의 대규모 개수의 리스트로부터 목표 항목을 신속하게 선택하는 것을 이용하는 대화식 통신 및 분석을 위한 방법(및 관련 시스템 및 소프트웨어)을 교시한다.
이하, 도면을 참조하여 본 발명을 설명한다. 이들 도면은 본 발명의 시스템, 방법 및 프로그램을 구현하는 구체적인 실시형태의 특정 세부 내용을 나타낸다. 그러나, 본 발명을 도면을 이용하여 설명하고 있지만, 본 발명은 이러한 도면으로 제공되는 범위로 한정되어서는 안된다. 본 발명은 그 동작을 구현하는 방법, 시스템 및 임의의 컴퓨터 판독 가능한 매체 상에서의 프로그램 제품을 포함한다. 본 발명의 실시형태는 기존 컴퓨터 프로세서를 이용하여 구현될 수도 있고, 또는 특수용 또는 그 외의 다른 목적으로 구현되는 특수용 컴퓨터 프로세서에 의해 구현될 수도 있다.
상술한 바와 같이, 본 발명의 범위 내에서의 실시형태들은 컴퓨터 판독가능매체 상의 프로그램 제품, 및 그 매체 상에 컴퓨터 실행가능 명령 또는 데이터 스트럭처가 저장되어 있거나 전달할 수 있는 캐리어를 포함한다. 이러한 컴퓨터 판독가능한 매체는 범용 또는 특수용 컴퓨터에 의해 액세스될 수 있는 어떠한 이용가능한 매체도 될 수 있다. 예를 들어, 이러한 컴퓨터 판독 가능한 매체는 RAM, ROM, EPROM, EEPROM, CD-ROM 또는 그 외의 다른 광학 디스크 저장 장치, 자기 디스크 저장 장치 또는 그 외 다른 자기 저장 장치, 또는 컴퓨터 실행 가능한 명령 또는 데이터 스트럭처의 형태로 원하는 프로그램 코드를 전달하거나 저장하는데 이용될 수 있고 범용 또는 특수용 컴퓨터에 의해 액세스될 수 있는 어떠한 다른 매체도 포함할 수 있다. 정보가 네트워크나 다른 컴퓨터 접속부(하드와이어, 또는 무선, 또는 하드와이어와 무선의 조합)를 통하여 컴퓨터에 전달되거나 제공되는 경우, 컴퓨터는 컴퓨터 판독 가능한 매체로서 접속을 적절하게 검사할 수 있다. 따라서, 어떠한 접속도 컴퓨터 판독 가능한 매체라고 지칭되어진다. 상술한 조합들은 컴퓨터 판독 가능한 매체의 범위 내에 또한 포함되어야 한다. 예를 들어, 컴퓨터 실행 가능한 명령은 범용 컴퓨터, 특수용 컴퓨터 또는 특수용 처리 장치로 하여금 어떤 기능이나 기능 그룹을 수행하게끔 하는 명령들을 포함한다.
이하, 본 발명은 네트워크화된 환경에서 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행 가능한 명령을 포함한 프로그램 제품에 의해 일 실시형태로 구현될 수 있는 방법 단계들의 일반적인 환경에서 설명된다. 일반적으로, 프로그램 모듈은 특정 작업들을 수행하거나 또는 특정한 추상적인 데이터 타입을 구현할 수 있는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 스트럭처 등을 포함한다. 데이터 스트럭처와 관련된 컴퓨터 실행 가능한 명령 및 프로그램 모듈은 여기서 설명되는 방법의 단계들을 실행하기 위한 프로그램 코드의 예들을 나타낸다. 이러한 실행 가능한 명령들 또는 관련 데이터 스트럭처의 특정 시퀀스는 이러한 단계들에서 설명되는 기능들을 실행하기 위한 대응하는 기능들의 예들을 나타낸다.
본 발명은 프로세서들을 가진 하나 이상의 원격 컴퓨터들에 대한 논리적 접속들을 이용하는 네트워크화된 환경에서 동작하는데 적합한 것이다. 논리적 접속들은 근거리 네트워크(LAN) 및 광역 네트워크(WAN)를 포함할 수 있지만, 이는 단지 예를 들어 설명하기 위한 것일 뿐 이에 한정되는 것은 아니다. 이러한 네트워크화된 환경은 오피스 환경 또는 엔터프라이즈 환경 전반의 컴퓨터 네트워크, 인트라넷 및 인터넷에서는 통상적인 것이다. 통상적으로, 이러한 네트워크 연산 환경은 개인용 컴퓨터, 휴대용 장치, 멀티 프로세서 시스템, 마이크로프로세서기반 또는 프로그래밍 가능한 소비자 전자기기, 네트워크 PC들, 소형 컴퓨터, 메인프레임 컴퓨터 등과 같은 것을 포함한 많은 형태의 컴퓨터 시스템 구성들을 수반할 수 있다. 또한, 본 발명은 분산형태의 연산 환경에서 실행될 수 있으며, 이 환경에서는, 통신 네트워크를 통하여 (하드와이어 링크, 무선 링크, 또는 하드와이어와 무선 링크의 조합에 의해) 연결되는 근거리 또는 원거리 처리 장치에 의해 작업들이 수행된 다. 분산형태의 연산 환경에서는, 근거리 메모리 저장 장치와 원거리 메모리 저장 장치 모두에 프로그램 모듈이 위치될 수 있다.
상술한 바와 같이, 일 실시형태에서, 본 발명은 장애인 또는 신체적 결함을 가진 사람들을 위한 대화식 통신 장치에 대하여 교시하는 것으로, 다음 3 개의 구성요소를 포함하는데, 이 구성요소는, (1) 가상 아날로그 실시간 신호 플로터(Virtual Analog Real Time Signal Plotter; VARSP); (2) 급격하게 레버리지되는 영숫자 스트링 셀렉터(Exponentially Leveraged Alphanumeric String Selector; ELASS); 및 (3) 자동화된 신호 범위 조정부(Automated Signal Range Adjustment; ASRA)이다. 각각의 이들 구성요소는 여기서 보다 자세히 설명될 것이다. 각각의 이들 구성요소가 (예를 들어, 장애인이나 신체적 결함을 가진 사람들을 위한) 대화식 통신 장치 실시형태에 대하여 설명되고 있지만, 이들은 또한 여기서 추가로 설명될 넓은 범위의 애플리케이션에 이용되도록 설계되어질 수 있다.
가상 아날로그 실시간 신호 플로터(VARSP)
VARSP는 예를 들어, 근전도(EMG) 신호와 같은 전기 신호를 적절하게 처리하고 플롯화하도록 설계된다. 이들 신호는 어떠한 소스로부터도 수신될 수 있는 것이지만, 이 실시형태에서는 시중에서 입수가능한, Therapeutic Alliances, Incorporated 제품의 NeuroEDUCATOR EMG 프로세서(이하, "NeuroEducator"라 함)에 의해 송신되는, 고유한 어레이 형태의 데이터스트림을 처리하여 이용하도록 설계된다. 이 NeuroEducator EMG 캡쳐 및 프로세싱 시스템은 EMG 캡쳐 및 프로세싱 (또는 디지털화) 장치의 단지 일례에 불과하다. 그 외 다른 EMG 캡처 및 프로세싱 장 치도 또한 NeuroEducator를 대신하여 이용될 수 있다. 예를 들어, NeuroEducator의 각각의 4 개의 채널은 예를 들어 50 밀리초마다 목표의 신경 근육 부위 상의 피부에 부착된 EMG 센서의 개개의 세트를 폴링한다. NeuroEducator는 아날로그 EMG 신호를 디지털화한 다음, 그 디지털 신호를 50 밀리초가 경과하는 점에서 목표의 신경 근육 부위의 중심을 따라 중간치의 마이크로볼트(mV) 전위 드롭을 나타내는 고유 2 바이트 세트에 16진수 코드로 표현한다. 이 2 바이트 16진수 세트는 예를 들어, 케이블을 따라 9 개 핀의 직렬 플러그로, NeuroEducator에 의해 데이터스트림으로 송신되는데, 이 플로그는 데스크 톱 또는 랩톱의 개인용 컴퓨터(PC)의 표준 COM1 포트와 짝으로 된다. 다른 실시형태에서는, 무선 또는 그 외의 통신 수단이 케이블을 대신하여 이용될 수 있다.
VARSP는 50 킬로헤르쯔(kHz) 이상의 속도로 COM1 포트를 폴링시키고, 50 밀리초가 경과한 시점에서 목표의 신경 근육 부위에서 판독된 전위값 mV를 나타내는 하나의 10진수 값으로 16진수 코드를 변환시키기 전에 그 16진수 코드의 각각의 2 바이트 세트를 조회한다.
일 실시형태에서, VARSP 알고리즘은 데이터스트림으로부터 판독되는 mV의 5 개의 분 궤적(locus)을 플롯화한 다음, 다음과 같은 방식으로 그 위치를 50 밀리초마다 업데이트한다. (I) 5 개의 분 궤적을 플롯화한 다음, 그 궤적에서 가장 오래된 mV 값을 폐기하고 가장 신규의 mV 값을 추가한다. (II) (시작 시) 오래된 5 개의 분 궤적을 폐기된 mV 값으로 소거한 다음 (종료 시) 신규의 5 개의 분 궤적을 가장 신규의 mV 값으로 재도시한다. (III) 이러한 방식으로, 그래프가 매 50 밀리 초마다 스크린 상에 나타나게 된다.
이러한 처리는 50 밀리초마다 반복되어, NeuroEducator로부터 수신되는 디지털 데이터스트림으로부터 유도되는 가상 아날로그 실시간 신호의 실시간 아날로그 그래프 형태를 생성한다.
일 실시형태에서, VARSP 알고리즘은 스크린을 가로질러 좌측에서 우측으로 자연스럽게 플로우하는 선형의 시간 기초 디지털 데이터스트림을 아날로그 플롯(또는 디스플레이)의 형태를 갖는 우측에서 좌측으로의 스트리밍 그래프로서 나타내는데, 이는 디지털 데이터를 처리하는 잘 알려진 이점과 특징적 특성의 이점을 갖는다.
VARSP 그래프를 플롯화하는 것은 입력되는 데이터스트림의 실시간 비쥬얼 분석과 사용자의 능력, 특히, 장애를 가진 사용자의 능력에 대하여, 목표의 신경 근육 부위에서 개시되도록 부여되는 신경 근육 활동의 레벨을 평가하는데 중요한 것이다.
당해 기술에 잘 알려진 바와 같이, VARSP 알고리즘은 생물학적 그리고 의학적 감시의 모든 영역에서 애플리케이션을 가지며, 여기서, 신호는 아날로그(예를 들어, 생물학적) 부위에서 발생하며, 이후, 변환되어 디지털 데이터스트림으로 센서로부터 전송된다.
일 양태에서, (상술한 바와 같은) VARSP 알고리즘은 어떠한 디지털 데이터스트림도 실시간 아날로그 플롯의 모든 특성을 가진 그래픽 디스플레이로 표현할 수 있는 능력을 갖는다. 예를 들어, 이러한 디지털 데이터스트림은 천문학적, 지리학 적, 기상학적, 전자적 및/또는 기계적 소스로부터의 원격 측정법 또는 데이터의 감시로부터 발생할 수 있다.
일 실시형태에서, 본 발명은 사용자에 의해 생성되는 선택 또는 디스플레이 신호가 수신된 EMG 신호를 처리하는 것에 기초하여 검출될 수 있는 것을 제공한다. (예를 들어, 마이크로볼트에서 측정된) 이들 EMG 활동도의 레벨을 변경함으로써, 장애 또는 그 외의 결함을 가진 사람들이 복수의 방법으로 "On" 신호를 개시할 수 있다. 한 방법은 EMG 신호가 어떤 레벨("트리거 라인") 이상으로 상승하도록 하는 것이다. 이 레벨은 예를 들어, (후술할 바와 같이) ELASS가 동작하는 경우 다이내믹하게 변경될 수 있으며, 여기서, (후술할 바와 같이) 중심선은 트리거 라인으로 기능한다.
또 다른 방법("델타 시스템")은 사용자가 예를 들어, 설정 시간 동안에 EMG 신호를 어떤 방식으로 변경하는 경우, 2 개의 순차적인 값 샘플로부터 확장된 개수의 값 샘플로 변경될 수 있는 기간 동안의 변경 레이트를 분석함으로써, EMG 신호에 기초하여 선택 표시를 검출하는 것이다. 예를 들어, 매 50 밀리초마다 샘플링하는 경우, 그 기간은 51 밀리초(2 개의 샘플)부터 1초(19 개의 샘플) 이상으로 변경될 수 있다. 델타 시스템은 단순한 직선 가속으로부터 증가 및/또는 감소의 복합 세트로 변경될 수도 있다.
급격하게 레버리지되는 영숫자 스트링 셀렉터(ELASS)
ELASS 알고리즘은 단일 키스트로크 또는 EMG-발생 (또는 그 외 전기 신호) "on" 디스플레이 신호를 이용하여 영숫자 문자와 스트링(또는 심지어 심볼 또는 그 래픽 성분)에 대하여 높은 영향을 주는 제어를 제공하도록 설계된다.
ELASS는 1인 분수와 어떤 정수의 분모를 갖는 분수("감소 인수")에 의해 리스트를 반복적으로 감소("급격하게 감소")시켜 항목들의 리스트에서 특정 항목("목표 항목")을 사용자로 하여금 위치시키게끔 하는 선택 시스템이다. 예를 들어, 2인 감소 인수를 가진 경우, 리스트는 목표 항목만 남을 때까지, 그 목표 항목을 포함한 반을 각각의 감소 방법을 이용하여 반만큼 선택함으로써 점차적으로(또는 반복적으로) 감소되게 된다.
ELASS는 차례차례 리스트에서 각각의 항목을 선택 또는 거부하는 결정을 수행할 필요가 있는 순차적 순환 방식보다 고속으로 리스트로부터 목표 항목을 선택(즉, 선택)하는 지수함수 수학을 이용한다. 예를 들어, 순차적인 순환 검색에서는, 64 개 항목이 리스트 상에 존재하는 경우, 64 개 항목의 리스트가 목표 항목을 위치시키는데 64 개 항목의 리스트가 리스트 전체의 순환에 대해 64회의 선택을 받을 수 있다. 2인 감소 인수를 이용하는 ELASS에서는, 64 개 항목이 리스트 상에 존재하는 경우, 목표 항목을 위치시키는데 64 개 항목의 리스트가 6회의 선택을 받게 되며, 즉, 64 개 항목의 리스트에서 각각의 선택마다 나머지 리스트를 반감시켜, 64 개로부터 32 개로, 16 개로, 8 개로, 4 개로, 2 개로, 1 개로 감소된다(64 개가 2의 6제곱과 같기 때문에, 6회의 선택이 이루어진다).
또한, 1/4(4인 감소 인수)나 1/8(8인 감소 인수) 등과 같은 그 외의 감소 인수에 의해 ELASS의 급격한 감소가 발생할 수도 있다.
ELASS는 어떠한 길이의 리스트를 처리하는 급격한 레버리지를 채택한다.
리스트 상의 어떠한 항목도 자체적으로 리스트로 될 수 있기 때문에, 또한, ELASS가 급격한 레버리지를 조합하여 채택할 수도 있다. 리스트에서의 어떠한 항목도 그 자체가 급격한 레버리지에 의해 차례로 감소될 수 있는 어떠한 길이의 추가 리스트로 될 수 있다. 예를 들어, 사용자 (또는 셀렉터)에게 디스플레이되는 목표 항목의 리스트들의 각각의 세트에 목표 항목이 제공되는 대신에, 목표 항목을 나타내는 리스트(또는 클래스)가 초기 반복에서 사용자에게 제공되어 보다 많은 수의 항목이 반복 세트를 통하여 사용자에게 제공될 수도 있다. 후속하는 반복에서, 클래스들이 확장되어, 사용자에 의해 선택될 목표 항목의 실제 리스트를 나타낼 수 있다. 간단한 예에서, 사용자에 대한 초기 디스플레이가 2 개의 클래스"Food" 및 "Drink를 디스플레이할 수 있다. 또 다른 예에서, 초기 선택은 4 개의 클래스, Requests, Food and Drink, Greetings, 및 Personal Care 중 하나일 수 있으며, Food 와 Drink 간의 선택은 초기 선택으로서 "Food and Drink" 선택이 선택되면 제공될 수 있는 것이다. 사용자가 이들 클래스 중 하나를 선택한 경우, (예를 들어, "Food"를 선택한 경우), 선택된 클래스에 대응하는 목표 항목의 리스트(예를 들어, food 항목, 또는 food 항목들의 클래스)가 추가 선택을 위하여 사용자에게 제공될 수 있다. 원하는 목표 항목이 선택될 때까지 (제공된 목표 항목의 클래스, 목표 항목, 또는 이들의 조합에 기초하여) 이러한 반복적인 선택 처리가 진행된다.
ELASS는 컴퓨터 스크린(또는 그 외 다른 디바이스 디스플레이) 상에 리스트를 디스플레이하고 급격한 감소에 의해 그 리스트를 감소시키는 고유 선택 방법이다. 여기서의 설명은 컴퓨터 스크린 또는 디스플레이를 언급하고 있지만, PDA 또 는 무선 전화 또는 무선 장치와 같은 그 외의 선택 가능한 디스플레이도 본 발명의 범위 내에 있다.
일 실시형태에서, 2인 감소 인수를 이용하여, ELASS는 스크린 상에서 별도의 윈도우(이 "리스트 윈도우"가 스크린 상에 2 개 있음)에 각각의 리스트에서의 목표 항목의 각각의 반을 디스플레이하여, 리스트 상에서 모든 아이템을 검토하는 사용자의 능력을 최대로 한다. 사용자가 목표 항목을 포함한 리스트를 디스플레이하는 리스트 윈도우를 선택할 때, ELASS는 모든 리스트 윈도우를 소거하고 그 선택된 리스트의 목표 항목을 2 개로 반씩 나누어 선택된 리스트를 디스플레이한다. 선택된 리스트의 각각의 반은 컴퓨터 스크린 상에 2 개의 리스트 윈도우를 동시에 디스플레이하는 스크린 상에서의 자신의 윈도우에 별도의 리스트로서 디스플레이된다. 이러한 방식으로, ELASS는 스크린 상에서 디스플레이되는 2 개의 리스트 윈도우 중 하나에 원하는 목표 항목이 남겨질 때까지 최초 리스트 또는 목표 항목 전반을 걸쳐 사용자가 순환할 수 있게끔 한다. 이러한 반복적인 처리가 진행됨에 따라서, 원하는 목표 항목만이 컴퓨터 스크린 상에 디스플레이되는 리스트 윈도우에 남겨진다. 원하는 목표 항목이 스크린 상에 디스플레이되는 리스트 윈도우에 제공되는 유일한 목표 항목인 경우, ELASS는 특정한 원하는 목표 항목에 대응하는 응답을 개시하도록 설계된다. 예를 들어, ELASS는 스크린 상에 보다 큰 프린트로 그 항목을 디스플레이할 수 있고 또한, 스피커나 헤드폰을 통하여 텍스트를 음성으로 변환할 수도 있다. 또한, ELASS는 로봇 장치의 운동; 에어 컨디셔너, 조명 장치, 텔레비전, 라디오, 또는 스테레오 시스템과 같은 가전 기기의 제어; 이메일 활동; 인터넷 활동(브라우징 또는 검색); 및 워드 프로세서와 같은 프로그램을 론칭하고 동작하고 닫는 것 또는 전자 파일을 열고 조작하고 저장하는 것과 같은 컴퓨터 활동; 시스템이 사용자 마다 최상으로 고객 맞춤형이 될 수 있도록 ELASS 시스템 자체의 설정을 조정하는 것과 같은 적절한 기능(또는 이러한 기능들의 세트)을 개시할 수 있도록 설계된다.
자동화된 신호 범위 조정(ASRA) 및 선택의 검출
ASRA는 최대 EMG 값(마이크로볼트 단위)과 최소 EMG 값(마이크로볼트 단위)을 설정 기간에 플롯화하여, 최대 Y 축 값을, 최대 및 최소 EMG 값을 보다 정확하게 포함하는 신규 값으로 조정한다. 그 결과, ASRA는 그 설정 기간에서 샘플링된 최대 EMG 값과 샘플링된 최소 EMG 값 간의 중간인, 중심선 값(Y 축 값)을 조정하며, 이 중심선 값은 실행될 커맨드에 대한 트리거로서 기능한다. 중심선 값은 중간값일 필요가 있지만, 그 대신에, 검출된 최대 및 최소 EMG 신호 값 간에 존재하는 또 다른 값으로 대체될 수 있다(예를 들어, 최대 및 최소 EMG 신호 값 간의 60% 또는 75% 임계값이 대신 이용될 수도 있다).
사용자가 검출된 EMG 값에 기초하여 중심선 또는 그 외의 다른 사전 결정된 기준을 초과하는 EMG 신호를 생성하는 순간에, 선택 신호 또는 표시 신호가 생성될 수 있다. 사전 결정된 기준의 일부는 예를 들어, 상술한 바와 같이 검출된 EMG 신호 값에 기초하여 플롯화되거나 디스플레이되는 곡선의 시간 기초 형상과 관련된 기준을 포함할 수 있다. 선택 신호 또는 표시 신호가 그 순간에 검출되면, 본 발명의 일 실시형태는 그 순간에 대응하는 커맨드 선택을 실행하는 것을 제공한다. 그 순간에 대응하는 커맨드 선택은 여러 수단, 예를 들어, (예를 들어, 커서 또는 다른 표시자를 컴퓨터 스크린 상에서 디스플레이되는 액티브 리스트 윈도우 간에서 회전시킴으로써) 컴퓨터 스크린 그래픽에 의해, 음성에 의해 또는 이들의 조합에 의해 디스플레이되거나 표현될 수 있다. 이러한 자동 조절은 그 외 다른 사람이 규칙적인 간격으로 범위를 수동 변경해야할 필요를 제거(또는 감소)시킨다는 것이다. 본 발명의 몇몇 실시형태에서, ASRA는 특정 사용자가 자신의 신경 부위에 발생할 수 있는 디스플레이되는 EMG 범위(마이크로볼트 단위)를 자동으로 조정할 수 있다. 검출된 EMG 신호 값의 보다 특정한 범위가 디스플레이되어 분석되기 때문에, 이러한 디스플레이된 EMG 신호 범위의 자동 조정에 의해 검출된 EMG 신호의 보다 민감한 분석이 이루어질 수 있다.
ASRA는 가변 가능한 범위의 데이터스트림을 감시하는 여러 애플리케이션에 이용될 수 있다. 이러한 애플리케이션은 예를 들어, 자동 조정 소스로부터 발생되는 신호와 같이 랜덤하지 않은 이벤트와 관련된 패턴 양태와 같은 천문학적 데이터, 또는 악화된 날씨나 기후 상태와 같은 기상학적 데이터, 또는 상승하는 지진 활동과 같은 지질학적 데이터의 자체 조정 가능 모니터를 포함한다. 이들 애플리케이션은 알람, 통보, 경고, 응답 명령 및 이들의 조합 또는 이와 유사한 활동들을 개시하도록 프로그래밍될 수 있다.
또한, 이러한 애플리케이션은 예를 들어, 전자렌지, 건조기, 또는 에어 컨디셔너의 스위칭 양태를 변경하는 인공 지능 시스템에서 발견될 수 있는 것과 같은 자체 조정 가능 응답 기능들을 포함한다. 이러한 애플리케이션은 플라크 클리어링 메드보트(plaque-clearing medbot)와 같은 나노기술 장치의 활동에 대한 국제 우주국(International Space Station)과 같은 궤도 물체의 상태와 복합 위치방향과 같은 복합 시스템을 포함할 수 있으며, 이 모든 것은 잠재적으로 중요한 영향을 자주 변경하는 다이내믹한 상태에서 동작한다.
또한, 이러한 애플리케이션은 바이탈 사인, 신경 근육 활동도, 및 몸 전체의 태도(직립, 이동, 휴식)로부터 (입자들이 입자 특성에서의 필드 또는 공간 또는 변화에 따라 교환되는 것과 같은) 분자하 이벤트(sub-molecular events)까지 검출가능한 모든 생물학적 활동과 같은 요소의 의학적 감시 기능을 포함한다.
목표 항목의 리스트로부터의 대화식 선택예
도 1은 컴퓨터 스크린(100)이 2 개의 채널로부터의 그래프가 디스플레이되는 2 개의 윈도우(110 및 120)가 디스플레이되는 것을 나타내며, 여기서, 각각의 채널은 신경 근육 부위에서 검출되는 생물학적 활동으로부터 발생되는 EMG 신호 활동도에 대응한다. VARSP 및 ASRA에 대하여 상술한 바와 같이, 본 발명의 일부 실시형태에서는 장애인 사용자가 (예를 들어, NeuroEducator EMG 프로세서와 호환가능한 센서들과 같이) EMG 센서들을 적절한 신경 근육 부위에 제공받는 것이 개시되어 있다. 센서가 제공될 수 있는 (표피 외층 상에 피부 센서가 부착되는) 신경 근육 부위의 예는 외부에서 접촉할 수 있는 신체의 모든 신경 근육 부위, 예를 들어, 이두박근, 또는 팔뚝의 굴근 또는 신근 근육 위에 있는 표피, 및 극도의 장애를 가진 사람의 경우, 이마를 가로지르는 전두골 상의 표피를 포함할 수 있다. 또한, 상술한 바와 같은 접촉형 센서를 대신하여(또는 이 센서에 추가로) 가변 저항, 용량, 자기장 또는 광 투과 또는 광 반사를 검출하는 것에 기초하는 원격 센서들이 이용될 수 있다.
도 2는 사용자에게 디스플레이되는 예시적인 초기 스크린(200)을 나타낸 것이다. 초기 스크린은 사용자가 원할 수 있는 목표 항목의 초기 클래스가 도시된 4 개의 텍스트 박스를 개시한다. 예를 드어, 도시된 초기 클래스는 Requests(205), Personal Care (210), Food and Drink(215) 및 Greetings(220)를 포함한다. 커서 또는 그 외의 표시자가 4 개의 텍스트 박스(205, 210, 215, 및 220) 각각을 통하여 순환되어, 이 표시자에 의해 사용자가 그 텍스트 박스(및 클래스)를 활성화시키거나 특정 순간에 선택 가능할 수 있다. 본 발명의 일부 실시형태에 따른 시스템에 의해 처리되는 EMG 신호에 기초하여, 선택 표시 EMG 신호가 예를 들어 ASRA에 대하여 상술한 바와 같이 검출된다. 선택 표시 EMG 신호가 검출되는 순간에 커서에 의해 (또는 그 외 다른 표시자에 의해) 강조되는 클래스 또는 텍스트 박스는 그 순간에 사용자가 선택한 것으로 취급되어, 그 후, 그 선택된 클래스 또는 박스에 기초하여 추가 처리가 수행된다. 도 2에 도시된 바와 같이, 선택 표시 EMG 신호가 검출되면, 커서가 클래스 또는 텍스트 박스(220)를 강조할 때, "Greetings" 클래스 또는 텍스트 박스(220)를 사용자가 선택한 것으로 취급한다.
도 3은 초기 클래스 및 목표 항목의 리스트 간의 관계를 나타내는 블록도이다. 디스플레이 시스템은 홈(150) 디스플레이로부터 Requests(205), Personal Care(210), Food and Drink(215) 및 Greetings(220)로 된 초기 클래스 디스플레이로 안내한다. 사용자가 초기 클래스들 중 하나를 선택한 경우, 시스템은 원하는 목표 항목이 선택될 때까지 바이너리 셀렉터(250)를 반복적으로 이용하여 대응하는 목표 항목 리스트(205L, 210L, 215L, 또는 220L)를 디스플레이한다. 즉, Requests(205) 클래스가 선택된 경우, 대응하는 리스트 윈도우(205L)가 반복적으로 디스플레이된다. Personal Care(210) 클래스가 선택되는 경우, 대응하는 리스트 윈도우(210L)가 반복적으로 디스플레이된다. Food and Drink(215) 클래스가 선택된 경우, 대응하는 리스트 윈도우(215L)가 반복적으로 디스플레이된다. 마지막으로, Greetings(220) 클래스가 선택된 경우, 대응하는 리스트 윈도우(220L)가 반복적으로 디스플레이된다. 선택된 액션 리스트 윈도우가 하나의 목표 항목만을 남길 경우, 그 목표 항목이 사용자에 의해 효과적으로 선택되고, 그후, 시스템은 선택된 목표 항목에 따라서, 추가 처리를 수행한다. 선택된 목표 항목에 따른 이 추가 처리는 간단하게 또 다른 곳에 전달되는 통신 메시지일 수도 있거나, 또는, 로봇, 컴퓨터 애플리케이션을 활성화하는 것과 같은 그외의 몇몇 장치 또는 시스템 상의 액션을 개시할 수 있거나, 또는 어떤 서비스를 얻고자 하는 처리를 개시할 수도 있다.
따라서, 사용자가 도 2에서 Greetings(220) 클래스 또는 텍스트 박스를 선택하는 경우, 2 개의 대응하는 리스트 윈도우(220L)가 도 4에 도시된 바와 같이 사용자에게 디스플레이된다. 리스트 윈도우(222)는 6 개의 인사말을 제시하고 있지만, 커서 또는 그 외의 유사한 표시자가 2 개의 리스트 윈도우(222 및 224) 간을 순환하면서 리스트 윈도우(224)는 그 외 다른 6 개의 인사말의 리스트를 제시한다. 그 후, 상술한 선택 방법을 사용하여, 사용자는 2 개의 리스트 윈도우가 원하는 목표 항목(인사말)을 포함하는 것에 기초하여 2 개의 리스트 윈도우(222 및 224) 중 하나를 선택한다. 그 후, 사용자가 2 개의 리스트 윈도우(222 및 224) 중 하나를 선택한 경우, 6 개의 목표 항목(즉, 인사말들)이 2 개의 추가 리스트 윈도우로 나누어지는데, 이 각각의 윈도우는 6 개의 목표 항목 중 3 개의 항목을 포함한다. 이러한 방식으로, 선택된 리스트 윈도우가 하나의 목표 항목(즉, 원하는 목표 항목)만을 포함할 때까지 복수의 목표 항목을 급격하게 감소시킨다.
따라서, 도 5에 도시된 바와 같이, 목표 항목(226)이 리스트 윈도우(222)에 디스플레이되는 목표 항목의 리스트로부터 목표 항목 중 하나만을 포함한다. 스크린 당 (즉, 선택 당) 2 개의 리스트 윈도우를 이용함으로써, 원하는 목표 항목이 바이너리 트리의 잎에서 발견될 때까지 바이너리 트리의 진행이 발생된다. 또한, 3진 또는 그 외 다른 n-ary 트리를 이용하여 선택 처리를 추가로 진행할 수 있다. 물론, 선택 처리의 보다 높은 차수의 트리 알고리즘을 이용하는 것은 컴퓨터 스크린 상에 동시에 디스플레이될 리스트 윈도우를 추가로 요구하는 것이기 때문에, 사용자에 대하여 보다 복잡한 결정 처리를 요구하게 될 수도 있다. 따라서, 예를 들어, 3진 트리 선택 알고리즘을 이용하는 것은 사용자에 대하여 동시에 3 개의 리스트 윈도우를 디스플레이해야 하는 것을 필요로 한다.
도 6은 상술한 처리 단계를 구현하는데 이용되는 시스템의 구성요소를 나타내는 블록도이다. EMG 센서(300)는 신체의 신경 근육 부위에 부착된 센서로부터 신경 근육 신호(mV 단위로 됨)를 캡쳐한다. 상술한 바와 같이, 센서가 부착될 수 있는 일부 신경 근육 부위는 외부에서 접촉할 수 있는 신체의 모든 신경 근육 부 위, 예를 들어, 이두박근, 또는 팔뚝의 굴근 또는 신근 근육 위에 있는 표피, 및 극도의 장애를 가진 사람의 경우, 이마를 가로지르는 전두골 상의 표피를 포함할 수 있다. 신경 근육 활동도를 검출하는 이러한 EMG 센서는 당업자에게 잘 알려진 것으로 통상적으로 폭넓게 이용되고 있다. 신경 근육 부위로부터의 EMG 신호는 VARSP에 대하여 상술한 바와 같이, NeuroEducator 시스템과 같은 필터링 및 A/D 변환 시스템(320)으로 전달된다. 필터링 및 A/D 변환 시스템(320)은 VARSP에 대하여 상술한 바와 같이, 연산 유닛에 디지털 데이터스트림을 제공한다. 그 후, 연산 유닛(340) 내에 제공되는 VARSP 구성요소가 그 디지털 데이터스트림을, VARSP에 대하여 상술한 바와 같이, 가상 아날로그 그래프로서 수신하고 처리하고 디스플레이한다. 연산 유닛(340)은 또한 사용자에게 스크린 디스플레이(디스플레이 유닛)를 대화식으로 제공하는 하드웨어 및 고객 맞춤형 소프트웨어를 포함하며, 이에 의해, 사용자는 EMG 센서(300)에 의해 획득되는 생물학적 또는 EMG 신호를 제공함으로써 스크린 디스플레이에 응답할 수 있다. 또한, 디스플레이 유닛은 ELASS에 대하여 상술한 바와 같이 급격한 감소 선택 처리를 제공하는 소프트웨어를 포함한다. 연산 유닛(340)은 필터링 및 A/D 변환 시스템(320)으로부터 수신된 디지털 데이터스트림을 처리하는 신호 처리 유닛, 및 예를 들어, 수신된 EMG 신호가, 연산 유닛(340)에 의해 사용자에게 제공된 스크린 디스플레이 상에 디스플레이되는 리스트 윈도우 중 사용자가 선택한 리스트 윈도우를 나타내는지의 여부를 결정하는 선택 유닛을 더 포함한다.
본 발명의 상술한 설명은 설명 및 이해를 위하여 제공된 것이다. 이러한 상 세한 설명은 본 발명의 범위를 제한하거나 한정하려는 것이 아니며, 다른 변형 및 수정이 이러한 교시하에 이루어질 수 있고 본 발명의 실행에 의해 얻어질 수 있다. 본 실시형태는 본 발명의 원리와 실행 애플리케이션을 설명하기 위해 선택된 것이며, 당업자는 본 발명을 이용하여 여러 실시형태와 여러 변형예를 구현할 수 있다.

Claims (34)

  1. 사용자에 의해 발생되는 전기 신호에 응답하는 사용자용 대화식 통신 방법으로서,
    (A) 목표 항목의 리스트를 나타내는 대화식 디스플레이를 사용자에게 제공하는 단계와;
    (B) 상기 대화식 디스플레이에 응답하여 사용자에 의해 발생되는 검출된 전기 신호를 수신하는 단계와;
    (C) 상기 검출된 전기 신호를 처리하여 디지털 데이터로 변환하는 단계와;
    (D) 상기 디지털 데이터를 분석하여, 상기 대화식 디스플레이를 이용하여 사용자에게 제공되는 상기 목표 항목의 리스트 중에서 사용자가 선택한 리스트와 관련시키는 단계와;
    (E) 사용자가 원하는 목표 항목을 선택하기 위해 사용자에게 제공되는 상기 목표 항목의 리스트의 계층적 관계에 기초하여 상기 단계(A) 내지 단계(D)를 반복적으로 반복하는 단계를 포함하는 사용자용 대화식 통신 방법.
  2. 제 1 항에 있어서, 상기 검출된 전기 신호를 수신하는 단계는 사용자의 신경 근육 부위에서 발생되는 전기 신호를 수신하는 단계를 포함하고,
    상기 검출된 전기 신호를 처리하여 디지털 데이터로 변환하는 단계는 상기 수신된 전기 신호를 필터링하여 디지털 데이터스트림으로 변환하는 단계를 포함하 는 것인 사용자용 대화식 통신 방법.
  3. 제 2 항에 있어서, 상기 검출된 전기 신호를 수신하는 단계는 상기 전기 신호를 기간마다 2 바이트 16진수 코드로서 수신하는 단계를 더 포함하는 것인 사용자용 대화식 통신 방법.
  4. 제 3 항에 있어서, 상기 검출된 전기 신호를 처리하여 디지털 데이터로 변환하는 단계는 상기 수신된 2 바이트 16진수 코드를 기간마다 단일 10진수 값으로 변환하는 단계를 포함하는 것인 사용자용 대화식 통신 방법.
  5. 제 4 항에 있어서, 상기 검출된 전기 신호를 처리하여 디지털 데이터로 변환하는 단계는 상기 10진수 값을 그래픽 디스플레이에 디스플레이하는 단계를 더 포함하며,
    상기 그래픽 디스플레이에 디스플레이되는 연속적인 기간의 롤링 범위 동안에, 이전 기간의 10진수 값이 최근 기간의 10진수 값으로 대체되는 것인 사용자용 대화식 통신 방법.
  6. 제 1 항에 있어서, 상기 디지털 데이터를 분석하여 상기 사용자가 선택한 리스트와 관련시키는 단계는 상기 검출된 전기 신호를 상기 전기 신호에 대한 임계값과 비교하는 단계를 포함하는 것인 사용자용 대화식 통신 방법.
  7. 제 6 항에 있어서, 상기 임계값은 기간 동안 최소의 검출 전기 값과 최대의 검출 전기 값 간의 중심값을 포함하는 것인 사용자용 대화식 통신 방법.
  8. 제 1 항에 있어서, 상기 디지털 데이터를 분석하여 상기 사용자가 선택한 리스트와 관련시키는 단계는 검출된 전기 값에 대응하는 그래프의 형상과 관련된 파라미터를 분석하는 단계를 포함하는 것인 사용자용 대화식 통신 방법.
  9. 제 8 항에 있어서, 상기 파라미터는 상기 그래프의 기울기(변화율)를 포함하는 것인 사용자용 대화식 통신 방법.
  10. 제 5 항에 있어서, 상기 그래픽 디스플레이에 대한 최대값과 최소값은 기간 동안 검출된 전기 신호의 최대값과 최소값을 결정하여 자동으로 결정되는 것인 사용자용 대화식 통신 방법.
  11. 제 1 항에 있어서, 상기 대화식 디스플레이를 사용자에게 제공하는 단계는 목표 항목의 세트를 각각 포함하는 n 개의 리스트를 디스플레이하는 단계를 포함하며,
    상기 사용자의 선택은 상기 사용자가 원하는 목표 항목을 포함하는 n 개의 리스트 중에서 한 리스트를 나타내는 것인 사용자용 대화식 통신 방법.
  12. 제 1 항에 있어서, n = 2인 것인 사용자용 대화식 통신 방법.
  13. 제 11 항에 있어서, 상기 단계(E)는 사용자가 선택한 리스트가 하나의 목표 항목만을 포함할 때까지 반복적으로 반복되는 것인 사용자용 대화식 통신 방법.
  14. 제 1 항에 있어서, 상기 검출된 전기 신호는 근전도(EMG) 신호를 포함하는 것인 사용자용 대화식 통신 방법.
  15. 프로그램 코드가 기록된 컴퓨터 판독 가능한 매체로서,
    상기 프로그램 코드는 연산 시스템으로 하여금,
    (A) 목표 항목의 리스트를 나타내는 대화식 디스플레이를 사용자에게 제공하는 단계와;
    (B) 상기 대화식 디스플레이에 응답하여 사용자에 의해 발생되는 검출된 전기 신호를 수신하는 단계와;
    (C) 상기 검출된 전기 신호를 처리하여 디지털 데이터로 변환하는 단계와;
    (D) 상기 디지털 데이터를 분석하여, 상기 대화식 디스플레이를 이용하여 사용자에게 제공되는 상기 목표 항목의 리스트 중에서 사용자가 선택한 리스트와 관련시키는 단계와;
    (E) 사용자가 원하는 목표 항목을 선택하기 위해 사용자에게 제공되는 상기 목표 항목의 리스트의 계층적 관계에 기초하여 상기 단계(A) 내지 단계(D)를 반복적으로 반복하는 단계를 수행하도록 프로그래밍되는 것인 컴퓨터 판독 가능한 매체.
  16. 대화식 컴퓨터 시스템으로서,
    목표 항목의 리스트를 나타내는 대화식 디스플레이를 사용자에게 반복적으로 제공하는 디스플레이 유닛과;
    상기 대화식 디스플레이에 응답하여 사용자에 의해 발생되는 전기 신호를 검출하는 센서로부터 검출된 전기 신호를 수신하고 상기 수신한 검출된 전기 신호를 디지털 데이터로 변환하도록 구성되는 신호 처리 유닛과;
    상기 디지털 데이터를 분석하여, 상기 디스플레이 유닛에 의해 사용자에게 제공되는 상기 목표 항목의 리스트 중에서 사용자가 선택한 리스트와 관련시키는 선택 유닛을 포함하는 대화식 컴퓨터 시스템.
  17. 제 16 항에 있어서, 상기 센서에 접속되어 동작하고 상기 센서로부터 수신된 전기 신호를 나타내는 디지털 데이터스트림을 발생시키기 위한 필터 및 A/D 변환기를 더 포함하며,
    상기 필터 및 A/D 변환기는 기간 동안 상기 검출된 전기 신호를 나타내는 2 바이트 16진수 코드를 발생시키는 것인 대화식 컴퓨터 시스템.
  18. 제 17 항에 있어서, 상기 신호 처리 유닛은 상기 기간 동안 상기 수신한 2 바이트 16진수 코드를 10진수 값으로 변환하고,
    상기 디스플레이 유닛은 상기 10진수 값을 그래픽 디스플레이에 디스플레이하고,
    상기 그래픽 디스플레이에 디스플레이되는 연속적인 기간의 롤링 범위 동안에, 이전 기간의 10진수 값이 최근 기간의 10진수 값으로 대체되는 것인 대화식 컴퓨터 시스템.
  19. 제 16 항에 있어서, 상기 선택 유닛은 상기 검출된 전기 신호를 임계값과 비교하여, 상기 검출된 전기 신호와 동시에 발생하여 디스플레이된 리스트의 선택을 결정하는 것인 대화식 컴퓨터 시스템.
  20. 제 16 항에 있어서, 상기 선택 유닛은 상기 검출된 전기 신호에 대응하는 그래픽의 형상과 관련된 파라미터를 분석하여, 상기 검출된 전기 신호와 동시에 발생하여 디스플레이된 리스트의 선택을 결정하는 것인 대화식 컴퓨터 시스템.
  21. 제 16 항에 있어서, 상기 디스플레이 유닛은 기간 동안 검출된 전기 신호의 최대값과 최소값을 자동으로 결정하는 것에 기초하여 그래픽 디스플레이에 대한 최대값과 최소값을 결정하는 것인 대화식 컴퓨터 시스템.
  22. 제 16 항에 있어서, 상기 디스플레이 유닛은 목표 항목의 세트를 각각 포함하는 n 개의 리스트를 포함하는 대화식 디스플레이를 사용자에게 제공하며,
    상기 선택 유닛은 상기 사용자가 원하는 목표 항목을 포함하는 n 개의 리스트 중에서 사용자가 선택한 리스트를 결정하는 것인 대화식 컴퓨터 시스템.
  23. 제 22 항에 있어서, n = 2인 것인 대화식 컴퓨터 시스템.
  24. 제 16 항에 있어서, 상기 검출된 전기 신호는 근전도(EMG) 신호를 포함하는 것인 대화식 컴퓨터 시스템.
  25. 전기 신호를 처리하여 디스플레이하는 방법으로서,
    수신한 전기 신호를 나타내는 디지털 데이터스트림을 발생시키는 단계와;
    기간 동안 상기 전기 신호의 값을 나타내는 10진수 값을 발생시키는 단계와;
    상기 10진수 값을 그래픽 디스플레이에 디스플레이하는 단계로서, 상기 그래픽 디스플레이에 디스플레이되는 연속적인 기간의 롤링 범위 동안에, 이전 기간의 10진수 값이 최근 기간의 10진수 값으로 대체되는 것인 상기 디스플레이 단계를 포함하는 전기 신호의 처리 및 디스플레이 방법.
  26. 제 25 항에 있어서, 상기 그래픽 디스플레에 대한 최대값과 최소값은 기간 동안 또는 연속된 기간 동안 수신된 전기 신호의 수신된 최대값과 최소값에 기초하 여 자동으로 결정되는 것인 전기 신호의 처리 및 디스플레이 방법.
  27. 제 25 항에 있어서, 상기 전기 신호는 생물학적 활동을 나타내는 것인 전기 신호의 처리 및 디스플레이 방법.
  28. 제 25 항에 있어서, 상기 검출된 전기 신호와 임계값과의 비교에 기초하여 선택 표시를 검출하는 단계를 더 포함하는 전기 신호의 처리 및 디스플레이 방법.
  29. 제 25 항에 있어서, 전기 신호 값의 그래픽 디스플레이와 관련된 파라미터를 분석하는 것에 기초하여 선택 표시를 검출하는 단계를 더 포함하는 전기 신호의 처리 및 디스플레이 방법.
  30. 제 29 항에 있어서, 상기 파라미터는 그래픽 디스플레이의 기울기 또는 변화율을 포함하는 것인 전기 신호의 처리 및 디스플레이 방법.
  31. 제 26 항에 있어서, 상기 전기 신호는 지질학적 데이터, 기상학적 데이터, 천문학적 데이터, 자동 조절 장치 데이터 및 생물 의학적 감시 데이터 중 하나를 나타내는 것인 전기 신호의 처리 및 디스플레이 방법.
  32. 목표 항목의 리스트로부터의 대화식 선택 방법으로서,
    (A) 상기 목표 항목을 n 개의 리스트로 나누는 단계와;
    (B) 상기 n 개의 리스트를 사용자에게 디스플레이하는 단계와;
    (C) 상기 n 개의 리스트 중에서 사용자가 선택한 리스트를 결정하는 단계와;
    (D) 상기 단계(C)에서 선택한 리스트가 오직 1 개의 목표 항목만을 가질 때까지, 상기 단계(C)에서 선택한 리스트에서의 목표 항목만을 상기 단계(A)에서 이용하여 상기 단계(A) 내지 단계(C)를 반복하는 단계를 포함하는 목표 항목의 리스트로부터의 대화식 선택 방법.
  33. 제 32 항에 있어서, n = 2인 것인 목표 항목의 리스트로부터의 대화식 선택 방법.
  34. 제 32 항에 있어서, 상기 리스트에서의 목표 항목은 리스트를 나타내는 것인 목표 항목의 리스트로부터의 대화식 선택 방법.
KR1020057023925A 2003-06-12 2004-06-14 상호작용 통신 및 분석을 위한 방법, 시스템 및 소프트웨어 KR20060023149A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US47776203P 2003-06-12 2003-06-12
US60/477,762 2003-06-12

Publications (1)

Publication Number Publication Date
KR20060023149A true KR20060023149A (ko) 2006-03-13

Family

ID=33551759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057023925A KR20060023149A (ko) 2003-06-12 2004-06-14 상호작용 통신 및 분석을 위한 방법, 시스템 및 소프트웨어

Country Status (9)

Country Link
US (1) US7761390B2 (ko)
EP (1) EP1634155A2 (ko)
JP (1) JP2007505423A (ko)
KR (1) KR20060023149A (ko)
CN (1) CN100374986C (ko)
AU (1) AU2004248641C1 (ko)
BR (1) BRPI0411346A (ko)
CA (1) CA2529203C (ko)
WO (1) WO2004111820A2 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120001748A1 (en) * 2010-06-30 2012-01-05 Norman Ladouceur Methods and apparatus for visually supplementing a graphical user interface
GB201212878D0 (en) 2012-07-20 2012-09-05 Pike Justin Authentication method and system
US10528135B2 (en) * 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
WO2015123445A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9477079B2 (en) 2014-06-25 2016-10-25 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
CA2976898C (en) 2015-02-17 2023-11-21 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US9958682B1 (en) 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10197805B2 (en) 2015-05-04 2019-02-05 North Inc. Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
GB201520760D0 (en) 2015-05-27 2016-01-06 Mypinpad Ltd And Licentia Group Ltd Encoding methods and systems
US10488661B2 (en) 2015-05-28 2019-11-26 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
KR20180081043A (ko) 2015-09-04 2018-07-13 탈믹 랩스 인크 안경 렌즈와 홀로그램 광학 소자를 통합시키는 시스템, 아티클 및 방법
US20170097753A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
WO2017180906A2 (en) 2016-04-13 2017-10-19 Thalmic Labs Inc. Systems, devices, and methods for focusing laser projectors
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
WO2018027326A1 (en) 2016-08-12 2018-02-15 Thalmic Labs Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
CA3045192A1 (en) 2016-11-30 2018-06-07 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10663732B2 (en) 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10718951B2 (en) 2017-01-25 2020-07-21 North Inc. Systems, devices, and methods for beam combining in laser projectors
US11300788B2 (en) 2017-10-23 2022-04-12 Google Llc Free space multiple laser diode modules
AU2018367613B2 (en) * 2017-11-16 2022-08-11 Control Bionics Limited Electromyography (EMG) assistive communications device with context-sensitive user interface
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) * 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
GB2145257B (en) * 1983-07-15 1987-01-28 Charles George Smith Display systems for operation by persons of limited controllable mobility
US4951190A (en) * 1985-04-30 1990-08-21 Prometrix Corporation Multilevel menu and hierarchy for selecting items and performing tasks thereon in a computer system
JPH062146B2 (ja) 1987-03-30 1994-01-12 竹井機器工業株式会社 意志伝達装置
DE8809941U1 (ko) * 1988-08-04 1988-09-22 Turnwald, Peter, 6648 Wadern, De
US5124942A (en) * 1988-09-28 1992-06-23 Solatrol, Inc. Machine interface with cyclically displayed hierarchical menus and user selection of menu items by actuation of a single switch
GB8917929D0 (en) * 1989-08-04 1989-09-20 Marconi Co Ltd Control system
EP0468340A3 (en) 1990-07-24 1992-12-16 Biocontrol Systems, Inc. Eye directed controller
US6160536A (en) * 1995-03-27 2000-12-12 Forest; Donald K. Dwell time indication method and apparatus
RU2121706C1 (ru) * 1996-12-24 1998-11-10 Вячеслав Владимирович Минин Способ ручного ввода данных в компьютер и устройство, его реализующее
US6154750A (en) * 1998-04-01 2000-11-28 Cyberpulse Llc Method and system for navigation and data entry in heirarchically-organized database views
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
EP1008925B1 (en) * 1998-12-07 2006-01-11 Hitachi, Ltd. Device for controlling equipment by using signals from a living body
GB2364493B (en) * 2000-06-30 2004-11-10 Nokia Mobile Phones Ltd Improved data input
KR100396924B1 (ko) * 2001-02-27 2003-09-03 한국전자통신연구원 생체신호를 이용한 전자기기 제어 장치 및 그 방법
US6688311B2 (en) * 2002-03-14 2004-02-10 Allergan, Inc. Method for determining effect of a clostridial toxin upon a muscle

Also Published As

Publication number Publication date
WO2004111820A3 (en) 2005-12-08
CN1833217A (zh) 2006-09-13
BRPI0411346A (pt) 2006-07-11
CA2529203A1 (en) 2004-12-23
WO2004111820A2 (en) 2004-12-23
CA2529203C (en) 2015-03-03
JP2007505423A (ja) 2007-03-08
US20050012715A1 (en) 2005-01-20
CN100374986C (zh) 2008-03-12
EP1634155A2 (en) 2006-03-15
AU2004248641A1 (en) 2004-12-23
AU2004248641B2 (en) 2010-09-30
US7761390B2 (en) 2010-07-20
AU2004248641C1 (en) 2011-02-10

Similar Documents

Publication Publication Date Title
KR20060023149A (ko) 상호작용 통신 및 분석을 위한 방법, 시스템 및 소프트웨어
EP1408443B1 (en) Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
EP3667666A1 (en) Dynamic haptic conversion system
CN108858299B (zh) 提供关于用户执行的旋转剃刀的运动的反馈的方法和设备
CN110244850A (zh) 使用分段和组合的触觉转换系统
JP4659905B2 (ja) 脳波識別の要否を決定する装置および方法
WO2015006694A1 (en) Augmentative and alternative communication
US20200159323A1 (en) Neural operating system
CN103412640A (zh) 牙齿控制的字符或命令输入的装置及方法
CN109758141A (zh) 一种心理压力监测方法、装置及系统
Edlinger et al. Brain-computer interfaces for goal orientated control of a virtual smart home environment
CN113205074A (zh) 一种融合肌电和微惯性测量单元多模态信号的手势识别方法
Ameliasari et al. An evaluation of svm in hand gesture detection using imu-based smartwatches for smart lighting control
CN111743538A (zh) 脑机接口报警方法及系统
KR20210070652A (ko) 네트워크형 게임기반 vr콘텐츠를 이용한 재활 훈련 시스템
Fatourechi et al. A hybrid genetic algorithm approach for improving the performance of the LF-ASD brain computer interface
CN110413106B (zh) 一种基于语音和手势的增强现实输入方法及系统
JP2009199535A (ja) 脳波識別方法の調整装置および方法
CA3147026A1 (en) Natural gesture detecting ring system for remote user interface control and text entry
Pinheiro et al. The simulation of click and double-click through EMG signals
US20240168553A1 (en) Brain activity monitoring based messaging and command system
KR20170126237A (ko) 생체신호 분석 및 학습을 통한 사용자 별 운동 강도 추천 시스템 및 방법
Gandhi et al. A novel paradigm for multiple target selection using a two class brain computer interface
CN116913525A (zh) 特征组归一化方法、装置、电子设备和存储介质
Guiard et al. Not Just Pointing: Shannon's Information Theory as a General Tool for Performance Evaluation of Input Techniques

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid