KR100960577B1

KR100960577B1 - 제스처 기반의 제어 시스템을 위한 시스템 및 방법

Info

Publication number: KR100960577B1
Application number: KR1020077018809A
Authority: KR
Inventors: 존 에스. 언더코플러; 켈빈 티. 파렌트; 퀸들라 에이치. 크레이머
Original assignee: 오블롱 인더스트리즈, 인크
Priority date: 2005-02-08
Filing date: 2006-02-08
Publication date: 2010-06-03
Also published as: WO2006086508A3; US20060187196A1; WO2006086508A2; NO339941B1; US20100090946A1; WO2006086508A9; US8830168B2; NO20074200L; US20150205364A1; CN101536494A; EP1851750A4; US9606630B2; CN101536494B; US8866740B2; JP5631535B2; JP2008530661A; KR20070116794A; US20100090947A1; EP1851750A2; US7598942B2

Abstract

시스템은 제스처 인터페이스를, 하나 이상의 디스플레이 스크린 상에서 제공되는 다양한 시각적으로 제공된 요소에게 제공한다. 제스처 어휘는 하나 이상의 손이 적정한 포즈를 형성하고, 이에 따라서 즉각적이고 1회적인 동작이 야기되는 "순간적인" 커맨드와, 조작자가 리터럴 '포인팅' 제스처를 이용하여 스크린 상의 요소를 직접 참조하거나, 상대적인 "오프셋" 제스처를 이용하여 탐색을 수행하는 "공간적" 커맨드를 포함한다. 상기 시스템은 특정 표시를 갖는 하나 이상의 글로브의 형태, 또는 인식가능한 표시를 사용자의 손이나 신체에 제공하기 위한 임의의 적합한 수단인, 사용자 손을 식별하는 기능을 고려한다. 카메라 시스템은 사용자의 손의 위치, 배향 및 움직임을 검출하고, 상기 정보를 실행가능한 커맨드로 해석할 수 있다.

Description

제스처 기반의 제어 시스템을 위한 시스템 및 방법{SYSTEM AND METHOD FOR GESTURE BASED CONTROL SYSTEM}

이 특허 출원은 2005년 2월 8일자 US 가특허출원 60/651,290 “Gesture Based Control System(제스처 기반의 제어 시스템)”로부터 우선권을 주장하고 있으며, 상기 가특허출원은 본원에서 참조로서 인용된다.

본 발명은 일반적으로 컴퓨터 시스템 분야에 관한 것이며, 더 세부적으로 제스처(gesture) 기반의 제어 시스템을 위한 시스템 및 방법에 관한 것이다.

사용자는 커맨드(command)를 입력하여, 디스플레이 상의 윈도우에서의 데이터, 또는 이미지를 조작함으로써, 또는 마우스, 키보드, 조이스틱, 크로스-키(cross-key) 등의 장치를 사용하여 윈도우나 프로그램과 연계되어 있는 메뉴로부터 작업을 선택함으로써, 컴퓨터 시스템과 상호작용할 수 있다. 또한 이러한 입력 장치들은 그래픽적인 온-스크린 포인터, 가령 커서(cursor)를 위치시키기 위해 사용될 수 있는 위치 해석 장치(position translating device)로서 동작할 수 있다. 예를 들어, 수정될 문자를 가리키도록, 또는 데이터가 입력되거나 작업이 수행될 위치를 가리키도록, 커서는 기능한다. 커서는 소정의 형태 또는 외관으로 컴퓨터 디스플레이 상에서 제공되는 것이 일반적이다. 사용자에 의한 입력 장치의 조작이 커서의 대응하는 이동을 야기할 것이다. 따라서 예를 들자면 마우스나 그 밖의 다른 장치의 이동에 의해, 동일한 방향으로의 커서의 이동이 야기된다.

커서는 그 기능 및 컴퓨터 시스템의 상태에 따라 좌우되는 여러 다른 외관을 가질 수 있다. 예를 들어, 컴퓨터 디스플레이 상의 텍스트 필드 중에 위치할 때, 상기 커서는 “I-빔(I-beam)”의 외관을 갖거나, 깜빡거리는 수직의 선을 가질 수 있다. 텍스트 필드 중에 커서가 위치함으로써, 사용자에 의해 통상적으로 키보드를 통해 입력될 다음 문자의 위치가 나타내어진다. 상기 커서는 그 기능에 따라 또 다른 외향을 가질 수 있다. 그리기 프로그램에서, 커서는 페인트 붓, 또는 연필, 또는 지우개, 또는 물통, 또는 그 밖의 다른 그래픽적 형태로서 표현될 수 있다.

또한 상기 커서는 사용자-선택형 작업 위에 위치할 때, 또는 그래픽적 요소, 가령 윈도우를 선택하기 위해 사용될 때, 화살표, 또는 포인터의 형태를 취할 수 있다. 커서를 이용하여 요망 작업을 선택 및 활성화시키기 위해, 상기 커서는 작업의 그래픽적, 또는 텍스트적 표현 위에 위치할 수 있다. 마우스 입력 장치 위에 위치하는 버튼이 눌리거나, 해제되어, 작업이 이뤄질 수 있다. 사용자는 일반적으로 컴퓨터 디스플레이 상의 이미지의 약간의 변화의 형태로 나타나는 시각적 피드백(visual feedback)에 의한 실행을 위해, 작업의 수용을 통지받는다. 통상적으로 사용되는 프로그램 중 하나 이상이 이러한 시각적 응답을 발생시킨다. 이러한 프로그램은 선택된 작업에 응답하여 디스플레이 이미지를 업데이트하기 위한 드로잉 커맨드를 생성한다.

종래의 시스템의 단점은 입력 장치가 단지 하나의 장치라는 것이다. 사용자 는 유선 마우스, 또는 무선 마우스, 또는 그 밖의 다른 입력 장치를 갖도록, 그리고 선택, 위치 해석, 활성화 및 그 밖의 다른 입력 기능을 관리하기 위해 상기 장치를 사용하도록 요구받는다. 종종 이러한 물리적 장치를 사용하는 것은 자연스럽거나 직관적이지 않을 수 있다. 또 다른 단점은 여러 다른 기능이 수행될 수 있도록 입력 장치의 컨텍스트(context)를 변경시키기 위해 특정 단계를 통과해야할 필요성이 있다는 것이다.

매우 큰 디스플레이가 대중화되면서, 종래의 입력 장치 및 시스템의 추가적인 단점이 명백해졌다. 예를 들어, 큰 디스플레이를 가로질러 커서의 위치를 해석하려는 시도를 하기 위해 마우스를 사용할 때, 사용자가 큰 디스플레이의 일부분을 가로지르는 커서를 드래깅할 수 있도록 사용자는 마우스를 들어올려, 마우스 받침 상에 재배치해야한다. 이는 낭비인 부자연스러운 행동이다.

이러한 문제점을 해결하려는 종래 기술에서의 시도가 존재해왔다. 종래 기술의 한 가지 해결책으로는 사용자의 손에서 글로브를 사용하는 것이 있다. 이러한 글로브는 사용자의 하나 이상의 손이 입력 상치로 들어가도록 설계된다. 하나의 실시예에서, 입력 글로브는 컴퓨터 시스템으로 하드 와이어링(hard wiring)되어 있다. 이 해결책은 컴퓨터 시스템에 가까이 위치할 것과 행동반경의 제약을 요구하는, 사용자를 한 지점으로 묶어두는 단점을 갖는다. 한편 이것의 무선 구현은 글로브를 위한 독립적인 전력 공급을 필요로 한다. 전력 공급이 재충전될 필요가 있을 때, 글로브는 사용될 수 없다.

본 시스템은 하나 이상의 디스플레이 스크린 상에서 제공되는 다양한 시각적으로 제공되는 요소로 제스처 인터페이스를 제공한다. 하나의 실시예에서, 상기 시스템의 조작자는 자신의 손을 이용하여 ‘제스처 커맨드’의 연속적인 스트림을 발행시킴으로써, 이러한 요소를 탐색하고 조작한다. 또 다른 실시예에서, 사용자의 손, 발, 팔, 다리, 또는 사용자 전체가 탐색 및 제어를 제공하기 위해 사용될 수 있다. 제스처 어휘(gestural vocabulary)는, 하나 이상의 손이 적정한 ‘포즈’를 형성하여, 즉각적이며 1회적인 동작을 일으키는 ‘순간적인(instantaneous)’커맨드와, 리터럴 ‘포인팅’ 제스처를 이용하여 조작자가 스크린 상의 구성요소를 직접적으로 참조하거나, 상대적, 또는 “오프셋” 제스처를 이용하여 탐색을 수행하는 ‘공간적인(spatial)’커맨드를 포함한다. 절대적, 또는 직접적인 공간 제스처를 위해 사용되는 포인팅 제스처에 덧붙여, 본 발명은 XYZ 공간에서 상대적인 공간 탐색 제스처의 또 다른 카테고리를 인식할 수 있다. 이러한 동작의 카테고리는 XYZ 기법이라고 일컬어진다. 높은 프레임 율(frame rate)을 유지함으로써, 그리고 조작자 제스처의 해석에 있어서 거의 감지할 수 없는 지연을 보장함으로써, 그리고 주의깊게 설계된 공간 메타포와 명백한 ‘직접 조작(direct manipulation)’ 메커니즘을 사용함으로써, 시스템은 조작자와 표현되는 정보&프로세스 간의 선명한 ‘인지 결합(cognitive coupling)’을 제공한다. 상기 시스템은 사용자의 손을 식별할 수 있는 기능을 고려한다. 이러한 식별 시스템은 특정 표시(indicia)를 갖는 장갑의 형태, 또는 사용자의 손 상에 인식가능한 표시를 제공할 수 있는 임의의 적합한 수단일 수 있다. 카메라 시스템은 사용자의 손의 위치, 배향 및 움직임을 검출하고, 상기 정보를 실행가능한 커맨드로 해석할 수 있다.

도 1은 본 발명의 시스템의 하나의 실시예의 다이어그램이다.

도 2는 본 발명의 마킹 태그의 하나의 실시예의 다이어그램이다.

도 3은 본 발명의 하나의 실시예의 제스처 어휘에서의 포즈의 다이어그램이다.

도 4는 본 발명의 하나의 실시예의 제스처 어휘에서의 배향의 다이어그램이다.

도 5는 본 발명의 제스처 어휘에서의 두 손 조합의 다이어그램이다.

도 6은 본 발명의 하나의 실시예에서 제스처 어휘의 배향 혼합의 다이어그램이다.

도 7은 본 발명의 시스템의 하나의 실시예의 조작을 도시한 흐름도이다.

도 8은 시스템의 하나의 실시예에서의 커맨드의 예제이다.

제스처 기반 제어 시스템(gesture based control system)을 위한 시스템 및 방법이 기재된다. 다음의 기재에서, 다수의 특징이 상세하게 설명되어 본 발명의 더욱 완전한 이해가 제공될 수 있다. 본 발명은 이러한 특정 세부사항 없이 구현될 수 있음이 자명하다. 또한, 종래에 알려진 특징은 상세히 설명되지 않았다.

시스템( system )

본 발명의 하나의 실시예의 블록 다이어그램이 도 1에서 도시된다. 사용자는 카메라(104A - 104D)의 어레이의 시계(viewing area)에서 자신의 손(101, 102)을 위치시킨다. 상기 카메라는 손(101, 102) 및 손가락의 위치, 배향 및 움직임을 검출하고, 출력 신호를 선행-프로세서(pre-processor, 105)로 발생시킨다. 선행-프로세서(105)는 카메라 출력을 제스처 신호로 해석하고, 상기 제스처 신호는 시스템의 컴퓨터 프로세싱 유닛(107)으로 제공된다. 상기 컴퓨터(107)는 입력 정보를 사용하여 스크린 커서의 하나 이상을 제어하기 위한 커맨드를 생성하고, 비디오 출력을 디스플레이(103)로 제공한다.

시스템이 한 명의 사용자 손을 입력으로서 갖는 것처럼 나타나지만, 본 발명은 다수의 사용자와 함께 구현될 수 있다. 덧붙여, 손을 대신하여, 또는 손에 추가로, 시스템이 사용자 신체의 일부 부분, 가령 머리, 발, 다리, 팔, 팔꿈치, 무릎 등을 추적할 수 있다.

나타난 실시예에서, 4대의 카메라가 사용되어 사용자의 손(101, 102)의 위치, 배향 및 움직임을 검출할 수 있다. 본 발명의 사상 및 범위를 벗어나지 않고, 본 발명은 더 많거나 더 적은 대수의 카메라를 이용하여 사용될 수 있음이 이해되어야 할 것이다. 덧붙이자면, 카메라가 예시적 실시예에서는 대칭으로 배치되었을지라도, 본 발명에서 이러한 대칭성은 필수 요건이 아니다. 본 발명에서, 사용자의 손의 위치, 배향 및 움직임을 허용하는 임의의 대수의, 그리고 임의의 위치의 카메 라가 사용될 수 있다.

본 발명의 하나의 실시예에서, 사용되는 카메라는 그레이-스케일 이미지(grey-scale image)를 캡처할 수 있는 모션 캡처 카메라(motion capture camera)이다. 하나의 실시예에서, 사용되는 카메라는 Vicon사에서 제조된 것, 가령 Vicon MX40 카메라이다. 이 카메라는 온-카메라 프로세싱(on-camera processing)을 포함하며, 초당 1000프레임으로 이미지 캡처할 수 있다. 모션 캡처 카메라는 마커(marker)를 검출하고, 마커를 위치시킬 수 있다.

설명되는 실시예에서, 상기 카메라가 광학 검출을 위해 사용된다. 그 밖의 다른 실시예에서, 카메라, 또는 그 밖의 다른 검출기가 전자기성(electromagnetic) 검출, 또는 정자기성(magnetostatic) 검출, 또는 RFID 검출, 또는 그 밖의 다른 적합한 타입의 검출을 위해 사용될 수 있다.

3차원 공간 포인트 재구성(3 dimensional space point reconstruction) 및 골격 포인트 라벨링(skeleton point labeling)을 생성하기 위하여, 선행-프로세서(pre-processor, 105)가 사용된다. 3D 공간 정보와 마커 모션 정보를 커맨드 언어로 변환하는 제스처 해석기(gesture translator, 106)가 사용되며, 디스플레이 상에서의 커서의 위치, 형태 및 움직임을 업데이트하기 위해, 상기 커맨드 언어가 컴퓨터 프로세서에 의해 번역될 수 있다. 본 발명의 대안적 실시예에서, 선행-프로세서(105)와 제스처 해석기(106)가 단일 장치로 조합될 수 있다.

컴퓨터(107)는 임의의 범용 컴퓨터, 예컨대, Apple, 또는 Dell, 또는 그 밖의 다른 적합한 제조업체에서 만들어진 컴퓨터일 수 있다. 상기 컴퓨터(107)는 애 플리케이션을 운용하고, 디스플레이 출력을 제공한다. 그 외 다른 경우라면 마우스, 또는 그 밖의 다른 종래의 입력 장치로부터 오는 커서 정보가 이제 제스처 시스템으로부터 온다.

마커 태그( Marker Tags )

시스템이 사용자의 손의 위치를 파악하고, 왼손인지 또는 오른손인지를 식별하고, 손가락이 보이는지를 식별할 수 있도록, 본 발명은 사용자의 하나 이상의 손가락 상에서 마커 태그 사용을 고려한다. 이러한 사용에 의해, 시스템은 사용자 손의 위치, 배향 및 움직임을 검출할 수 있다. 이 정보는 시스템에 의해 다수의 제스처가 인지될 수 있게 하고, 사용자에 의해 커맨드(command)로서 사용될 수 있게 한다.

하나의 실시예에서, 마커 태그는 기판(본 발명의 하나의 실시예에서는 인간의 손의 다양한 위치에 적정하게 부착됨)과, 상기 기판의 표면 상에 특유의 식별되는 패턴으로 배열되는 이산적인(discrete) 마커를 포함하는 물리적 태그이다.

상기 마커 및 이에 연계된 외부 감지 시스템은 정교하고, 정확하며, 신속하고 연속적인 3-공간 위치의 획득을 가능하게 해주는 임의의 도메인(가령 광학, 전자기성, 정자기성 등)에서 동작할 수 있다. 마커 그 자체는 능동적으로(가령, 구조된 전자기성 펄스-structured electromagnetic pulse를 방출함으로써), 또는 수동적(가령, 본 실시예와 같이, 광학적으로 역반사함으로써)으로 동작할 수 있다.

획득의 각각의 프레임에서, 상기 검출 시스템은 계측된 작업공간에 현재 존재하는 태그로부터의 모든 마커가 포함된 복구된 3-공간 로케이션의 군집 '구 름(cloud)'을 수신한다. 각각의 태그 상의 마커는 충분히 다양하며, 특유의 패턴으로 배열되어, 검출 시스템이, 하나의 단일 태그를 형성하는 포인트들의 하나의 서브-집합으로 각각의 복구된 마커 위치가 할당되는 분할(segmentation)(1), 포인트들의 각각의 세그먼트된 서브-집합이 특정 태그로서 식별되는 라벨링(labelling)(2), 식별된 태그의 3-공간 위치가 복구되는 위치 파악(location)(3), 식별된 태그의 3-공간 배향이 복구되는 배향 작업(4)을 수행할 수 있다. 작업(1) 및 작업(2)은 마커-패턴의 특정 속성을 통해 가능해지며, 이는 차후 설명되며 도 2의 하나의 실시예에서 도시된 바와 같다.

하나의 실시예에서 태그 상의 마커가 균일 격자 로케이션(regular grid location)의 서브-세트에서 부착된다. 이러한 기본 격자는 본 발명에서와 같이 종래의 데카르트 정렬(Cartesian sort)일 수 있고, 그 밖의 다른 균일 모자이크 평면(가령 삼각형/육각형 타일 배열)일 수 있다. 인접한 격자 로케이션들이 서로 혼동되지 않도록, 상기 격자의 크기(scale)와 공간 배치는 마커-감지 시스템의 알려진 공간 분해능(spatial resolution)에 관련하여 확립된다. 모든 태그에 대한 마커 패턴의 선택이 다음의 제약사항을 만족시킬 것이다. 회전, 또는 직선 운동, 또는 반전(mirroring)의 임의의 조합을 통해, 어떠한 태그의 패턴도 그 밖의 다른 임의의 태그의 패턴과 동시에 발생하지 않는다. 일부 특정된 개수의 구성요소 마커의 손실은 허용되도록 마커의 중복 및 배열이 추가적으로 선택될 수 있다. 임의의 변형 후에, 절충된 모듈이 다른 것과 혼동되지 않아야 한다.

이제 도 2를 참조하면, 다수의 태그(201A - 201E, 왼손) 및 태그(202A - 202E, 오른손)가 도시되어 있다. 각각의 태그는 사각형이며, 이 실시예에서, 5x7 격자 어레이로 구성되어 있다. 이 사각 형태는 태그의 배향을 결정하는 것을 보조하도록, 거울 복사본(mirror duplicate)의 가능성을 감소시키도록 선택된다. 나타난 실시예에서, 각각의 손의 각각의 손가락에 대한 태그가 존재한다. 일부 실시예에서, 하나의 손 당 1개, 또는 2개, 또는 3개, 또는 4개의 태그를 사용하는 것이 적정할 수 있다. 각각의 태그는 여러 다른 그레이-스케일, 또는 색조의 경계부를 갖는다. 이러한 경계부 내부에서 3x5 격자 어레이가 존재한다. 마커(도 2의 검은 점으로 표시된다)가 격자 어레이의 특정 포인트에서 배치되어 정보를 제공할 수 있다.

각각의 패턴을 “공통의(common)”서브-패턴과 “특유의(unique)”서브-패턴으로 분할함으로써, 검증 정보가 태그의 마커 패턴으로 인코딩될 수 있다. 예를 들어, 본 발명은 두 가지의 가능한 “경계부 패턴”, 즉, 사각 경계부에 대한 마커의 분포를 특정한다. 따라서 태그의 ‘무리(family)’가 확립된다, 즉, 태그(201A - 201E)에서 나타나는 바와 같이, 왼손에 대하여 의도된 태그들은 모두 동일한 경계부 패턴을 사용할 수 있는 반면에, 태그(202A - 202E)에서 나타나는 바와 같이, 오른손의 손가락에 부착된 태그는 서로 다른 패턴을 할당받을 수 있다. 태그의 모든 배향으로, 왼손 패턴이 오른손 패턴으로부터 구별될 수 있도록 이러한 서브-패턴이 선택된다. 도시된 예제에서, 왼손 패턴은 각각의 모서리에서 하나의 마커를 포함하며, 모서리 격자 로케이션으로부터 두 번째에 하나의 마커를 포함한다. 오른손 패턴은 단지 두 개의 모서리에서만 마커를 가지며, 두 개의 마커가 모서리가 아닌 격 자 로케이션에 위치한다. 패턴을 살펴보면, 4개의 마커 중 임의의 3개가 가시적인 한, 왼손 패턴은 오른손 패턴으로부터 명확히 구별될 수 있다. 일부 실시예에서, 경계의 색채나 음영이, 사용되는 손의 인디케이터로서 사용될 수 있다.

물론, 각각의 태그는 여전히 무리의 공통적인 경계부 내부에 위치하는, 마커가 분포되어 있는 특유의 안쪽 패턴을 사용한다. 도시된 실시예에서, 손가락의 회전이나 배향으로 인한 중복 없이, 10개의 손가락 중 각각의 손가락을 식별하기에, 안쪽 격자 어레이의 두 개의 마커면 충분하다. 마커들 중 하나가 겹쳐지는 경우라도, 패턴과, 태그의 왼손·오른손의 여부의 조합이 특유의 식별자(identifier)를 생성한다.

본 실시예에서, 견고한 기판 상에서 격자 로케이션이 시각적으로 제공되며, 이는 각각의 역반사성 마커를 의도한 로케이션에 부착하는 (수동) 작업을 보조할 수 있다. 이러한 격자 및 의도된 마커 로케이션이 컬러 잉크젯 프린터를 통해, 기판으로 인쇄되며, 상기 기판은 본원에서는 유연한 “수축성 막(shrink-film)”의 시트이다. 각각의 모듈이 시트로부터 잘라져서, 오븐에서 구워지며, 이 동안 열처리에 의해, 각각의 모듈이 정확하고 반복적인 수축을 수행한다. 이 절차 후의 짧은 간격 동안, 예를 들어 손가락의 세로 방향 커브를 따르도록 약간 냉각된 태그가 형성될 수 있고, 그 후, 기판이 적절하게 견고히 되어, 마커는 지정된 격자 지점으로 부착될 수 있다.

하나의 실시예에서, 마커 그 자체는 3차원이다. 가령 접착제나 그 밖의 다른 적정한 수단을 통해 기판에 부착되어 있는 반사성 구체(reflective sphere)일 수 있다. 3차원 마커는 2차원 마커보다 검출 및 위치파악에 도움이 될 수 있다. 그러나 본 발명의 사상 및 범위를 벗어나지 않고, 3차원 마커, 또는 2차원 마커가 사용될 수 있다.

현재, 태그는 Velcro, 또는 그 밖의 다른 적정한 수단을 통해, 조작자가 착용한 글로브(glove)로 부착되거나, 또는 대안적으로 부드러운 양면 테이프를 이용하여 조작자의 손가락에 직접 부착된다. 세 번째 실시예로, 견고한 기판과 함께 제공되며, 개별적인 마커를 조작자의 손가락 및 손으로 직접 첨가(또는 “페인팅”)될 수 있다.

제스처 어휘(Gesture vocabulary)

본 발명은 손의 포즈(pose), 배향(orientation), 손 조합(hand combination) 및 배향 혼합(orientation blends)으로 구성된 제스처 어휘를 고려한다. 본 발명의 제스처 어휘에서, 포즈 및 제스처를 설계 및 통신하기 위한 표기 언어가 또한 구현된다. 상기 제스처 어휘는 운동 결합(kinematic linkage)의 순간적인 “포즈 상태(pose state)”를 작은 텍스트 형식으로 나타내기 위한 시스템이다. 상기 결합은 생체학적인 것(예컨대, 인간의 손, 또는 인체 전체, 또는 메뚜기 다리, 또는 여우원숭이의 관절 척추)일 수 있고, 또는 비-생체학적인 것(가령, 로봇의 암-arm)일 수 있다. 임의의 경우에서, 상기 결합은 단순하거나(가령 척추), 나뭇가지의 형태일 수 있다(가령 손). 본 발명의 제스처 어휘 시스템은 특정 결합에 대하여 일정한 길이의 스트링을 확립하며, 스트링의 ‘문자 로케이션(character location)'을 차지하는 특정 ASCII 문자의 총집합은 상기 결합의 순간적인 상태, 또는 포즈의 특유한 기술어(description)가 된다.

손 포즈( hand pose )

도 3은 본 발명을 사용하는 제스처 어휘의 하나의 실시예에서의 손 포즈를 도시한다. 본 발명은 하나의 손의 다섯 개 손가락의 각각이 사용되도록 제안한다. 이 손가락들의 코드는 p-pinkie(새끼손가락), r-ring finger(약손가락), m-middle finger(가운데손가락), i-index finger(집게손가락), t-thumb(엄지손가락)이다. 손가락 및 엄지손가락에 대한 다수의 포즈가 도 3에서 정의되고 도시된다. 제스처 어휘 스트링(string)은 결합(이 경우에서는 손가락)에 대한 각각의 자유도(degree of freedom)에 대하여 단일 문자 위치(character position)를 확립한다. 덧붙이자면, 유한 개수의 표준 ASCII 문자 중 하나를 상기 스트링 위치에 할당시킴으로써 움직임의 전체 범위가 표현될 수 있도록, 이러한 각각의 자유도는 이산화(또는 양자화)된다. 이러한 자유도는 인체-특정 원점(body-specific origin)과 좌표 시스템(손등, 메뚜기의 몸통의 중심, 로봇 암의 기저 등)에 관련하여 표현된다. 적은 수의 추가적인 제스처 어휘 문자 위치가 사용되어, 결합의 위치와 배향을 더 전역적인(global) 좌표 시스템에서 '전체로서(as a whole)' 표현할 수 있다.

도 3을 계속 참조하면, ASCII 문자를 이용하여 다수의 포즈가 정의되고 식별된다. 포즈 중 일부는 엄지손가락과 엄지손가락이 아닌 손가락들로 나눠진다. 이 실시예의 발명은 코딩(coding)을 사용한다. ASCII 자체가 포즈를 함축하고 있다. 그러나 포즈를 나타내기 위해, 상기 포즈를 함축하는 것에 관계없는 임의의 문자가 사용될 수 있다. 덧붙이자면, 표기 스트링(notation string)에 대하여 ASCII 문자 를 사용하기 위한 본 발명의 요구사항은 없다. 본 발명의 사상 및 범위를 벗어나지 않는 임의의 적합한 기호, 또는 숫자, 또는 그 밖의 다른 표현이 사용될 수 있다. 예를 들어, 요구되는 경우, 표기는 손가락 당 2비트를 사용할 수 있고, 또는 요구에 따라 그 밖의 다른 비트 수를 사용할 수 있다.

구부러진 엄지손가락이 “>”로 나타내어지는 반면에, 구부러진 손가락은 문자 “^”로 나타내어진다. 곧 뻗은 손가락, 또는 위로 향하는 엄지손가락은 “I”로 나타내어지며, 이때 각도의 여부는 “＼”, 또는 “/”로 나타내어진다. “-”은 옆으로 직선으로 뻗은 엄지손가락을 나타내며, “x”는 평면으로 향하는 엄지손가락을 나타낸다.

이러한 개별적 손가락 및 엄지손가락 기술어를 사용하여, 다수의 손 포즈가 정의되고, 기록될 수 있다. 각각의 포즈는 앞서 언급된 바와 같이 p-r-m-i-t의 손서를 갖는 다섯 개의 문자로 나타내어진다. 도 3은 다수의 포즈를 도시하며, 그 중 몇 개가 설명과 예시의 방법으로 본원에서 기재된다. 지면에 평행인 평평한 손은 “11111”로 표현된다. 주먹은 “^^^^>”로 표현된다. “OK”는 “111^>”로 표현된다.

문자 스트링이 함축적인 문자를 사용할 때, 수월한 ‘인간의 판독성(human readability)’이 제공된다. 각각의 자유도를 나타내는 가능한 문자의 세트가 빠른 인지와 명백한 유추성을 고려하여 선택될 수 있는 것이 일반적이다. 예를 들어, 수직 바('|')는 결합 요소가 ‘직선’상태임을 의미하고, 엘('L')은 90도 구부러진 상태를 의미하며, 꺽쇠('^')는 더 명백히 접힌 상태를 가리킬 수 있다. 앞서 언급 된 바와 같이, 요구되는 대로 임의의 문자, 또는 코딩이 사용될 수 있다.

앞서 언급된 바와 같은 제스처 어휘 스트링을 사용하는 임의의 시스템은 스트링 비교(임의의 특정된 포즈의 식별, 또는 임의의 특정된 포즈의 검색이 요망 포즈 스트링과 순간적인 실제 스트링 간의 ‘스트링 비교(string compare)’가 된다)에 있어서 높은 연산 효율(computational efficiency)이라는 장점을 갖는다. 덧붙이자면, ‘와일드카드 문자(wildcard character)’의 사용이 프로그래머, 또는 시스템 설계자에게 추가적으로 친숙성과 효율성을 제공하며, 일치하지 않는 순간적인 상태를 갖는 자유도는 의분부호('?')로서 특정될 수 있고, 추가적인 와일드카드 의미가 할당될 수 있다.

배향( orientation )

손가락 및 엄지손가락의 포즈에 추가로, 손의 배향이 정보를 나타낼 수 있다. 전역-공간 배향을 기술하는 문자는 투명하게(transparently) 선택될 수 있다: 배향 문자 위치에서 사용될 때, 문자 '<', '>', '^' 및 'v'가 좌, 우, 상 및 하의 개념을 나타내기 위해 사용될 수 있다. 도 4는 손 배향 기술어를 보여주고, 포즈와 배향을 조합하는 코딩의 예시를 보여준다. 본 발명의 하나의 실시예에서, 두 개의 문자 위치가 우선 손바닥의 방향을 특정하고, 그 후 (손가락의 실제 구부러짐에 관계 없이, 직선 상태인 경우) 손가락의 방향을 특정한다. 이러한 두 개의 위치에 대한 가능한 문자가 배향의 ‘신체-중심(body-centric)’표기를 표현한다, 즉, '-', '+', '*', '^' 및 ‘v’는 보통, 세로방향, 앞쪽(신체로부터 멀리 떨어져서 전방), 뒤쪽(신체로부터 멀리 떨어져서 후방), 위쪽(상향), 뒤쪽(하향)을 표현한다.

본 발명의 실시예의 표시 개념에서, 다섯 개의 손가락의 포즈를 나타내는 문자 뒤에 콜론이 뒤따르며, 완전한 커맨드 포즈를 정의하기 위해 두 개의 배향 문자가 뒤따른다. 하나의 실시예에서, 시작 위치는 " xyz " 포즈로서, 상기 포즈가 오른손을 갖고 이뤄질 때, 엄지손가락이 직선으로 위를 가리키고, 집게손가락이 전방을 가리키며, 가운데 손가락이 집게손가락에 수직이면서 왼쪽 방향을 가리킨다. 이는 스트링 " ^^x1-:-x "로 표현된다.

'XYZ-핸드'는 인간의 손의 기하학적 형태를 활용하기 위한 기법이며, 이에 따라서 시각적으로 제공된 3차원 구조의 완전한 자유도(degree of freedom) 6이 허용된다. (손가락이 원칙적으로 임의의 요망 포즈를 가질 수 있도록) 이 기법이 조작자의 손의 벌크 직선 운동 및 회전 운동에만 따라서 좌우될지라도, 본 발명은 집게손가락이 인체로부터 먼 곳을 가리키고, 엄지손가락이 천정을 향해 가리키며, 가운데손가락이 좌-우를 가리키는 정적인 구성을 선호한다. 따라서 상기 세 개의 손가락이 3-차원 좌표 시스템(따라서 'XYZ-손')의 3개의 서로 직교하는 축을 (대강, 그러나 명확한 의도를 갖고) 나타낸다.

그 후, XYZ-핸드 탐색(navigation)이 지정된 ‘중립 위치(neutral location)’에서의 조작자의 몸 앞쪽에서 행해지는 앞서 언급된 포즈로의 손과 손가락을 이용하여 진행된다. 3-공간 물체(즉 카메라)의 직선운동의 자유도 3 및 회전운동의 자유도 3에 접근하는 것은, 다음의 자연스러운 방식으로 효과를 나타낸다. (신체의 자연스러운 좌표 시스템에 대하여) 손을 좌-우 이동시킴으로써, 연산 컨텍스트의 x-축을 따라 이동되며, 손의 상-하향 움직임은 제어된 컨텍스트의 y-축을 따르는 움직임을 야기하고, 전방-후방 손 움직임(조작자의 신체 방향으로의 손 움직임, 또는 멀어지는 방향으로의 손 움직임)은 컨텍스트에서의 z-축 움직임을 야기한다. 이와 유사하게, 집게손가락에 대한 조작자의 손의 회전은 연산 컨텍스트의 배향의 ‘x-축 중심 회전(roll)’변화를 야기하며, 이와 유사하게, 가운데손가락 및 엄지손가락에 대한 조작자의 손의 회전을 통해, 'y-축 중심 회전(pitch)' 및 'z-축 중심 회전(yaw)' 변화가 야기된다.

'연산 컨텍스트(computational context)'가 XYZ-핸드 방법에 의해 제어되는 개체를 참조하기 위해 사용되지만, 다양한 자유도의 실세계 물체를 제어하기 위한 기법이 똑같이 유용함을 알아야 할 것이며, 그 예로는, 적정한 회전 액추에이터가 구비된 비디오, 또는 모션 픽처 카메라의 팬(pan)/틸트(tilt)/롤(roll) 제어가 있다. 덧붙이자면, XYZ-핸드 포즈에 의해 산출되는 물리적인 자유도가 가상 도메인에서 다소 덜 매핑될 수 있다. 본 발명에서, 또한 조작자의 손의 좌-우 움직임 및 상-하 움직임이 이미지에 대하여 기대되는 좌-우, 또는 상-하 ‘패닝(panning)’을 야기하나, 조작자의 전방-후방 움직임은 ‘줌(zooming)’제어와 매핑되도록, XYZ-핸드가 큰 파노라마 디스플레이 이미지로의 탐색 접근을 제공하기 위해 사용된다.

매 경우에서, 손의 움직임과 이에 따라 유도된 연산적 직선 운동/회전 운동 간의 연결은 직접적(즉, 조작자의 손의 위치나 회전의 오프셋이 선형/비-선형 함수를 통해 1대1로, 연산 컨텍스트에서의 물체나 카메라의 위치나 회전 오프셋에 매핑함)이거나, 또는 간접적(즉, 조작자의 손의 위치나 회전 오프셋이 선형/비-선형 함 수를 통해 1대1로, 상기 연산 컨텍스트에서의 위치/배향의 1차 이상의 도함수에 매핑되며, 그 후 계속되는 적분에 의해, 상기 연산 컨텍스트의 실제 0차 위치/배향으로의 정적이지 않은 변화를 일으킴)일 수 있다. 이러한 후자의 제어 수단은, 페달의 일정한 오프셋이 일정한 차량의 속도에 가속, 또는 감속을 일으키는 자동차의 ‘가속페달’의 사용과 유사하다.

실세계의 XYZ-핸드의 자유도 6 좌표의 영점(origin)으로서 기능하는 '중립 위치(neutral location)'는, (1)공간의 절대 위치 및 배향(방에 관한)으로서, 또는 (2)조작자의 전체 위치 및 '머리 방향(heading)'에 관계없는, 조작자에 대한 고정된 위치 및 배향(가령, 몸 앞의 8인치, 턱 아래 10인치, 어깨 평면과 수직인 라인으로)으로서, 또는 (3) 조작자의 의도된 두 번째 동작(예를 들어, 조작자의 ‘나머지’ 손에 의해 규정되는 제스처 커맨드를 이용하며 이뤄짐, 이때 상기 커맨드는 XYZ-핸드의 현재 위치 및 배향이 직선 운동 및 회전 운동의 영점으로서 사용되어야함을 나타냄)을 통해 상호작용 방식으로 확립될 수 있다.

XYZ-핸드의 중립 위치에 대하여 '멈춤(detent)' 구역을 제공하여, 이 구역 내의 움직임은 제어되는 컨텍스트의 움직임에 매핑하지 않도록 하는 것이 편리하다.

그 밖의 다른 포즈가 포함될 수 있다. 예를 들어,

[||||| : vx] 는 손바닥이 아래를 향하고 손가락이 전방을 향하는 평평한 손(엄지손가락이 다른 손가락에 평행한 상태),

[||||| : x^] 는 손바닥이 전방을 향하고, 손가락이 천정을 향하는 평평한 손,

[||||| : -x] 는 손바닥이 몸의 중심을 향하고(왼손의 경우 오른쪽, 오른손의 경우 왼쪽), 손가락들이 전방을 향하는 평평한 손,

[^^^^- : -x] 는 엄지손가락이 세워져 있는 하나의 손(엄지손가락이 천정을 가리킴),

[^^^|- : -x] 는 전방을 향하는 권총 흉내

가 있다.

두 손 조합( Two Hand Combination )

본 발명은 한 손 커맨드 및 포즈를 고려할 뿐 아니라, 두 손(hand)용 커맨드 및 포즈도 고려한다. 도 5는 본 발명의 하나의 실시예에서 두 손 조합 및 이에 연계된 표기를 도시한다. 첫 번째 예의 표기를 살펴보면, “완전 멈춤(full stop)”은 두 개의 다문 주먹을 포함함을 나타낸다. “스냅샷(snapshot)” 예시는 각각의 손의 엄지손가락과 집게손가락이 펴져 있고, 엄지손가락이 서로를 향하여, 골대 형태의 프레임을 형성하는 것을 나타낸다. “키 및 조절판 시작 위치(rudder and throttle start position)”는 손바닥이 스크린을 향하며, 손가락들 및 엄지손가락들이 위를 가리킨다.

배향 혼합( Orientation Blends )

도 6은 본 발명의 하나의 실시예에서 배향 혼합의 예를 도시한다. 도시된 예제에서, 혼합은 배향 표기의 한 쌍을 괄호로 둘러쌈으로써, 손가락 포즈 스트링 뒤에서 나타난다. 예를 들어, 첫 번째 커맨드는 모두 직선으로 가리키는 손가락 위치 를 나타낸다. 배향 커맨드의 첫 번째 쌍에 의해, 손바닥이 디스플레이쪽으로 평평하며, 두 번째 쌍이 스크린 쪽으로의 45도 피치에 대해 회전하는 손을 갖는다. 혼합의 쌍이 이러한 예시로 나타났을지라도, 본 발명에서는 임의의 개수의 혼합이 고려된다.

예시 커맨드( Example Command )

도 8은 본 발명과 함께 사용될 수 있는 여러 가지 가능한 커맨드를 도시한다. 본원에서 논의되는 점 중 일부가 디스플레이 상의 커서를 제어하는 것에 대한 것일지라도, 본 발명은 이러한 활동에 제한받지 않는다. 실제로, 본 발명은 스크린 상의 임의의 모든 데이터 및 데이터의 부분을 조작하는 것뿐 아니라 디스플레이의 상태를 조작함에 있어 큰 적용성을 갖는다. 예를 들어, 비디오 미디어의 뒤로-재생 동안 비디오 제어를 시작하기 위해 커맨드가 사용될 수 있다. 상기 커맨드는 일시정지, 빨리 감기, 되감기 등을 위해 사용될 수 있다. 덧붙이자면, 이미지를 줌-인(zoom-in), 또는 줌-아웃(zoom-out)하기 위한 커맨드가 구현되어, 이미지의 배향을 변경시키고, 임의의 방향으로 패닝(panning)하며, 그 밖의 다른 작업을 수행할 수 있다. 본 발명은 또한 열기, 닫기, 저장 등의 메뉴 커맨드를 대신하여 사용될 수 있다. 다시 말하자면, 생각되어질 수 있는 임의의 커맨드, 또는 활동이 손 제스처를 이용하여 구현될 수 있다.

조작( Operation )

도 7은 하나의 실시예에서의 본 발명의 동작을 도시하는 흐름도이다. 단계(701)에서, 검출 시스템이 마커 및 태그를 검출한다. 판정 블록(702)에서, 태그 및 마커가 검출되는 여부가 판단된다. 검출되지 않는 경우, 시스템은 단계(701)로 돌아간다. 단계(702)에서 태그 및 마커가 검출되는 경우, 시스템은 단계(703)로 진행한다. 단계(703)에서, 시스템은 검출된 태그 및 마커로부터 손, 손가락 및 포즈를 식별한다. 단계(704)에서, 시스템은 포즈의 배향을 식별한다. 단계(705)에서, 시스템은 검출된 손, 또는 손들의 3차원 공간 위치를 식별한다. (단계(703, 704, 705) 중 일부, 또는 전부가 단일 단계로서 조합될 수 있다.)

단계(706)에서, 정보는 앞서 언급된 제스처 표기로 해석된다. 판정 블록(707)에서, 포즈가 유효한지의 여부가 판단된다. 이는 생성된 표기 스트링을 이용하는 간단한 스트링 비교를 통해 이뤄질 수 있다. 포즈가 유효하지 않는 경우, 시스템은 단계(701)로 돌아간다. 포즈가 유효한 경우, 단계(708)에서 시스템이 표기 및 위치 정보를 컴퓨터로 전송한다. 단계(709)에서, 컴퓨터는 제스처에 응답하기 위한 적정한 동작을 취하고, 이에 따라 단계(710)에서 디스플레이를 업데이트한다.

본 발명의 하나의 실시예에서, 온-카메라 프로세서(on-camera processor)에 의해 단계(701 - 705)는 이뤄진다. 그 밖의 다른 실시예에서, 요청되는 경우, 시스템 컴퓨터에 의해 프로세싱이 이뤄질 수 있다.

파싱 및 해석( Parsing and Translation )

시스템은 하위 시스템에 의해 복구된 로우-레벨(low-level) 제스처의 스트림(stream)을 "파싱(parse)"하고 "해석(translate)"할 수 있으며, 파싱되고 해석된 제스처를, 컴퓨터 애플리케이션 및 시스템을 제어하기 위해 사용될 수 있는 커맨 드, 또는 이벤트 데이터의 스트림으로 변화시킨다. 이러한 기법 및 알고리즘은 이러한 기법을 구현하는 엔진과, 컴퓨터 애플리케이션을 빌드(build)하기 위한 플랫폼을 모두 제공하는 컴퓨터 코드로 구성된 시스템에서 구현될 수 있으며, 상기 컴퓨터 애플리케이션은 엔진의 성능을 사용할 수 있다.

하나의 실시예는, 컴퓨터 인터페이스에서 인간의 손의 풍부한 제스처 사용을 가능하게 하는 것에 초점을 맞춘다. 그러나 또한 그 밖의 다른 신체 부분(예를 들어, 팔, 몸통, 다리 및 머리)뿐 아니라, 정적인 것과 관절이 있는 것 모두의 다양한 종류의 물리적인 툴(예를 들어, 다양한 형태의 캘리퍼스, 컴퍼스, 유연성 커브 근사화기 및 위치지시장치)에 의해 만들어지는 제스처도 인식할 수 있다. 요청되는상기 마커 및 태그가 조작자에 의해 실행되고 사용될 수 있는 아이템 및 툴로 적용될 수 있다.

본원에서 기재된 시스템은 인식될 수 있고 반응될 수 있는 제스처의 범위가 풍부한 제스처 시스템을 구축할 수 있게 하면서, 동시에 애플리케이션으로 손쉽게 통합될 수 있게 하는 다수의 혁신기술을 차용한다.

하나의 실시예에서의 제스처 파싱 및 해석 시스템은

1) 제스처를 특정(컴퓨터 프로그램에서의 사용되기 위해 인코딩)하기 위한 간단하고 효율적인 방법으로 구성되며, 이때 상기 방법은

a. 3차원 공간에서의 한 손 포즈(서로에 대한 손의 배치의 구성 및 배향), 한 손 배향 및 위치

b. 포즈, 또는 위치, 또는 이 둘 모두를 고려한 두 손 조합

c. 여러 사람의 조합; 시스템이 셋 이상의 손을 추적할 수 있고, 둘 이상의 사람이 협력적으로(또는 게임 애플리케이션의 경우, 경쟁적으로) 표적 시스템을 제어할 수 있다.

d. 일련의 포즈가 조합되는 시퀀스 제스처이며, 이를 "애니메이팅(animating)" 제스처라고 일컫는다.

e. 조작자가 공간에서 형태를 추적하는 "서기소(grapheme)" 제스처

의 서로 다른 몇 가지 레벨의 집합에서 이뤄지며, 상기 제스처 파싱 및 해석 시스템은

2) 앞서 언급된 각각의 카테고리로부터의, 주어진 애플리케이션 컨텍스트에 관련되어 있는 특정 제스처를 등록하기 위한 프로그래밍 기법과,

3) 등록된 제스처가 식별될 수 있도록 제스처 스트림을 파싱하기 위한 알고리즘과, 관련 애플리케이션 컨텍스트로 전달될 수 있는, 이러한 제스처를 캡슐화하는 이벤트

로 구성된다.

구성 요소(1a 내지 1f)를 갖는 특정 시스템(1)이 본원에서 설명되는 시스템의 능력을 파싱하고 해석하는 제스처를 사용하기 위한 토대를 제공한다.

한-손 "포즈"는

ⅰ) 손가락과 손등 간의 상대적 배향

ⅱ) 양자화된 작은 수의 이산 상태

의 스트링으로서 나타난다.

상대적인 접합 배향을 이용함으로써, 본원의 시스템은 서로 다른 손 크기 및 기하학적 형태에 관련된 문제를 피할 수 있다. 이러한 시스템에서는 어떠한 "조작자 교정(operator calibration)"이 요구되지 않는다. 덧붙이자면, 상대적인 배향의 스트링, 또는 집합으로서 포즈를 특정함으로써, 포즈 표현을 추가적인 필터나 명세와 조합함으로써 더욱 복잡한 제스처 서술이 쉽게 생성될 수 있다.

포즈 명세(specification)에 대하여 적은 개수의 이산 상태를 이용함으로써, 포즈를 간소하게 특정하는 것뿐 아니라, 다양한 하위 추적 기법(예를 들어, 카메라를 이용하는 패시브 광학 추적, 빛을 받은 도트 및 카메라를 이용하는 활성 광학 추적, 전자기 추적 등)을 이용하는 정확한 포즈 인식을 보장하는 것이 가능해진다.

모든 카테고리(1a 내지 1f)에서, 핵심적이지 않은 데이터는 무시되도록 제스처는 부분적으로(또는 최소한으로) 특정될 수 있다. 예를 들어, 두 개의 손가락의 위치가 결정적이며, 나머지 손가락의 위치는 중요치 않은 제스처는, 상기 두 개의 관련 손가락의 기능적 위치가 주어지는 단일 명세에 의해 표현될 수 있으며, 동일한 스트링 내에서, "와일드카드(wildcard)", 또는 일반적인 "이것을 무시(ignore these)" 인디케이터가 그 밖의 다른 손가락에 대하여 쓰일 수 있다.

제스처 인식에 대하여 본원에서 기재된 혁신기술은, 다층 명세 기법(multi-layered specification technique)과, 상대적 배향의 사용, 데이터의 양자화, 부분이나 최소한의 명세가 모든 레벨에서 허용하기, 손 제스처의 명세를 넘어서 그 밖의 다른 신체 부분과 "제조된" 툴 및 물체를 이용하여 제스처의 명세까지로 일반화시키기가 있다(그러나 이에 제한받지 않음).

"제스처 등록하기"(2)에 대한 프로그래밍 기법은, 어느 제스처가 실행 중인 시스템이 나머지 부분에 유효한지를 프로그래머가 정의할 수 있게 해주는 API(Application Programming Interface) 호출의 정의된 세트로 구성된다.

이러한 API 루틴은 애플리케이션 설정 시점에서 사용될 수 있으며, 실행 중인 애플리케이션의 라이프타임 전체 동안 사용되는 정적인 인터페이스 정의를 생성한다. 또한 이들은 실행 동안 사용될 수 있으며, 이에 따라서, 인터페이스 특성이 온 더 플라이(on the fly)로 변화될 수 있다. 인터페이스의 이러한 실시간 변동에 의해,

ⅰ) 복잡한 컨텍스트 및 조건적 제어 상태가 구축되고,

ⅱ) 히스테리시스(hysterisis)를 제어 환경으로 동적으로 추가하며,

ⅲ) 사용자가 실행중인 시스템의 인터페이스 어휘를 변경하거나 확장시킬 수 있는 애플리케이션을 생성할 수 있다.

제스처 스트림(3)을 파싱하기 위한 알고리즘이 (1)에서 특정된 제스처와 (2)에서 등록된 제스처를 들어오는 로우-레벨 제스처 데이터에 대하여 비교한다. 등록된 제스처에 대한 일치가 인식되면, 일치되는 제스처를 나타내는 이벤트 데이터가 스택으로(up the stack) 실행중인 애플리케이션에게 전달된다.

이 시스템의 설계에서 효율적인 실시간 일치(matching)가 요구되고, 특정 제스처가 가능한 가장 빠르게 처리되는 가능성 트리(tree of possibility)로서 취급된다.

덧붙이자면, 또한 특정된 제스처를 인식하기 위해 사용되는 원시 비교 조작 자가 애플리케이션 프로그래머가 사용하기 위해 노출되어, 추가적인 비교(예를 들어, 복잡하거나 복합적인 제스처의 유연한 상태 조사)가 애플리케이션 컨텍스트 내에서 발생될 수 있다.

"잠금(locking)" 의미어(semantic)의 인식이 본원 발명의 혁신기술이다. 이러한 의미어는 등록 API(2)(명세 어휘(1) 내에서 보다 작은 범위까지)에 의해 의미가 부여된다. 등록 API 호출은

ⅰ) "입력" 상태 통지자 및 "연속" 상태 통지자

ⅱ) 제스처 우선순위 특정자

를 포함한다.

제스처가 인식된 경우, 그 "연속" 의 조건은, 동일하거나 더 낮은 우선순위의 제스처에 대한 모든 “입력” 조건보다 선행한다. 입력 상태와 연속 상태 간의 이러한 구별이 인지된 시스템 유용성을 더 추가시킨다.

본원의 시스템은 현실세계의 데이터 에러와 불확실성에 직면하는 견고한 작업에 대한 알고리즘을 포함한다. (예를 들어, 광학 추적, 또는 네트워크 드롭-아웃, 또는 프로세싱 지연 등에 따른 마커의 폐색 등의 다양한 이유로) 로우-레벨 추적 시스템으로부터의 데이터는 불완전할 수 있다.

잃어버린 데이터가 파싱 시스템에 의해 표시되고, 상기 잃어버린 데이터의ㅏ 크기와 컨텍스트에 따라, "마지막 알려진(last known)", 또는 "가장 유망한(most likely)" 상태로 삽입된다.

특정 제스처 성분에 대한 데이터(예를 들어, 특정 조합의 배향)가 손실된 경 우, 그러나 상기 특정 성분의 "마지막 알려진(last known)" 상태가 물리적으로 가능하다(시스템이 실시간 일치(matching)로 이 마지막 알려진 상태를 이용한다)고 분석될 수 있다.

거꾸로 말하자면, 마지막 알려진 상태가 물리적으로 불가능하다고 분석되는 경우, 상기 시스템은 부품의 "가장 바람직하다고 추정되는 범위"로 돌아가서, 실시간 일치에서 이러한 합성 데이터를 사용한다.

다-손(multi-hand) 제스처를 위해, 각각의 손이 포즈 요구조건을 만족시킬 수 있도록 "손잡이 불가지론(handedness agnosticism)"을 지원하도록 본원 발명의 명세 및 파싱 시스템이 설계되었다.

일치 발생하는 가상/디스플레이와 물리적 공간( Coincident Virtual / Display and Physical Space )

본 시스템은 하나 이상의 디스플레이 장치(“스크린”) 상에서 표현되는 가상 공간이 물리적 공간에서와 일치 발생하도록 처리되는 환경을 제공할 수 있다. 이러한 환경에 대한 실시예가 여기서 기술된다. 이러한 현재 실시예는 투영기에 의해 구동되는 3개의 스크린을 고정된 위치에서 포함하며, 상기 스크린은 단일 데스크탑 컴퓨터에 의해 구동되며, 본원에서 설명된 제스처 어휘와 인터페이스 시스템을 이용하여 제어된다. 그러나 임의의 개수의 스크린이 지원되며, 상기 스크린은 (고정형보다는) 이동형일 수 있고, 상기 스크린이 다수의 독립적인 컴퓨터에 의해 동시에 구동될 수 있으며, 전체 시스템이 입력 장치, 또는 기법에 의해 제어될 수 있다.

본원에서 설명되는 인터페이스 시스템은 물리 공간에서의 스크린의 크기, 배향 및 위치를 결정하는 수단을 가질 것이다. 이러한 정보가 주어지면, 상기 시스템은 이러한 스크린이 위치하는(그리고 시스템의 조작자가 위치하는) 물리적 공간을 투사로서 시스템에서 실행 중인 컴퓨터 애플리케이션의 가상공간으로 동적으로 매핑할 수 있다. 이러한 자동 매핑의 부분으로서, 시스템은 2개의 공간의 스케일, 각도 깊이, 크기 및 그 밖의 다른 특성을, 시스템에 의해 호스팅되는 애플리케이션의 필요성에 따라서 다양한 방식으로 해석한다.

물리적 공간과 가상공간 간의 이러한 연속적인 해석에 의해, 현존하는 애플리케이션 플랫폼 상에서 이뤄지기 어려운, 또는 현존하는 플랫폼 상에서 실행되는 각각의 애플리케이션에 대하여 점진적으로 구현되어야 할 다수의 인터페이스 기법의 호환되면서 보급력 있는 사용이 가능해진다. 이러한 기법은,

1) “리터럴 포인팅(literal pointing)”의 사용, 파급력이 있고 자연스러운 인터페이스 기법으로서, 즉, 제스처 인터페이스 환경에서 손을 사용하거나, 물리적 포인팅 툴, 또는 장치를 사용하는 것과,

2) 스크린의 이동, 또는 재-포지셔닝에 대한 자동 보상과,

3) 조작자의 위치에 따라 변화하는 그래픽 렌더링, 예를 들어, 깊이 지각을 보강하기 위하여 평행 이동을 시뮬레이트하는 것과,

4) 온-스크린 디스플레이에서 물리적 대상의 포함, 즉, 실세계 위치, 배향, 상태 등을 고려하기로서, 예를 들어, 크고 불투명한 스크린의 앞에 위치하는 조작자가 애플리케이션 그래픽과, 상기 스크린의 뒤에 위치하는 스케일 모델의 진정한 위치(그리고 이동하거나 변화하는 배향)의 표현을 모두 볼 수 있는 것

을 포함한다.

상기 리터럴 포인팅은 마우스 기반의 윈도우 인터페이스와 그 밖의 다른 시스템에서 사용되는 추상적인 포인팅과는 다르다는 것이 중요하다. 이러한 시스템에서, 조작자는 가상 포인터와 물리적 포인팅 장치 사이의 해석을 관리하는 것을 습득할 필요가 있고, 이 둘 사이에서 인식적으로 매핑해야할 것이다.

이와 대조적으로, 본원에서 기재된 시스템에서, (가상공간이 수리적 조작에 더욱 사용되기 쉽다는 것을 제외하고) 가상공간과 물리적 공간 사이의 차이점은 없으며, 따라서 애플리케이션, 또는 사용자의 관점에서, 어떠한 인지적인 해석도 조작자에게 요구되지 않는다.

본원에서 기술되는 실시예에 의해 제공되는 리터럴 포인팅에 대한 가장 가까운 유사성은 터치-감지형 스크린(예를 들어 ATM 기계에서 발견되는 것과 같은 터치-감지형 스크린)이다. 터치-감지형 스크린은 스크린 상의 2-차원 디스플레이 공간과 스크린 표면의 2-차원 입력 공간 사이에서 1대1 매핑을 제공한다. 유사한 방식으로, 본원에서 기술된 시스템은 하나 이상의 스크린 상에 디스플레이되는 가상 공간과 조작자에 의해 점거되는 물리적 공간 사이의 유연한 매핑(가능하면 1대1, 그러나 필수적인 것은 아님)을 제공한다. 유사성(analogy)의 유용함에도 불구하고, 3차원으로의 이러한 “매핑 접근(mapping approach)”의 확장과, 임의의 큰 구조적 환경과, 다수의 스크린은 사소한 것이 아니다.

본원에서 설명된 구성요소에 추가로, 시스템은, 환경의 물리적 공간과 각각 의 스크린 상의 디스플레이 공간 사이에서 이뤄지는 (회전운동, 직선운동, 스케일, 또는 그 밖의 다른 기하학적 변형에 의해 수정된) 지속적인 시스템-레벨의 매핑을 구현하는 알고리즘을 구현할 수 있다.

컴퓨터 상의 대상을 취하고, 매핑하며, 가상 공간의 그래픽적 표현을 출력하는 렌더링 스택(rendering stack)이 있다.

제어 시스템으로부터 이벤트 데이터(본 실시예에서, 시스템 및 마우스 입력으로부터의 제스처 데이터와 포인팅 데이터 모두)를 취하고, 입력 이벤트로부터 공간 데이터를 매핑하여 가상 공간으로 좌표를 형성하는 입력 이벤트 프로세싱 스택이 있다. 그 후, 해석된 이벤트가 실행 중인 애플리케이션으로 전달된다.

시스템이 로컬 영역 네트워크 상의 몇 개의 컴퓨터를 가로질러 실행 중인 애플리케이션을 호스팅할 수 있게 하는“부착 계층(glue layer)”이 있다.

Claims

컴퓨터 디스플레이를 제어하기 위한 방법에 있어서, 상기 방법은

광학 검출기를 통해 수신한 제스처 데이터로부터 사용자에 의해 만들어진 물리적 제어 제스처를 검출하는 단계로서, 이때, 상기 제스처 데이터는 시간 및 공간 상의 한 지점에서 사용자의 순간적 상태의 3차원 위치 데이터에 해당하며, 상기 검출은 제스처 데이터를 수집하는 과정과, 제스처 데이터만을 이용하여 물리적 제어 제스처를 식별하는 과정으로 이루어지는 것을 특징으로 하는 단계,

상기 제어 제스처를 실행 가능한 커맨드로 해석하는 단계,

상기 실행 가능한 커맨드에 응답하여, 컴퓨터 디스플레이를 업데이트하는 단계

를 포함하는 것을 특징으로 하는 컴퓨터 디스플레이를 제어하기 위한 방법.
광학 검출기를 통해 수신한 제스처 데이터로부터 물체의 포즈(pose) 및 움직임(motion)을 검출하는 단계로서, 이때, 상기 제스처 데이터는 시간 및 공간 상의 한 지점에서 포즈 및 움직임의 순간적 상태의 3차원적 위치 데이터에 해당하며, 상기 검출은 제스처 데이터를 수집하는 과정과, 제스처 데이터만을 이용하여 포즈 및 움직임을 식별하는 과정으로 이루어지는 것을 특징으로 하는 단계,

제스처 표기(gesture notation)를 이용하여 상기 포즈 및 움직임을 제어 신호로 해석(translate)하는 단계, 그리고

제어 신호를 이용하여 컴퓨터 애플리케이션을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
광학 검출기를 통해 수신한 제스처 데이터로부터 신체(body)의 제스처를 자동으로 검출하는 단계로서, 이때, 제스처 데이터는 시간 및 공간 상의 한 지점에서 신체의 순간적 상태의 3차원적 위치 데이터에 해당하며, 상기 검출은 제스처 데이터를 수집하는 과정과, 제스처 데이터만을 이용하여 제스처를 식별하는 과정으로 이루어지는 것을 특징으로 하는 단계,

상기 제스처를 제스처 신호로 해석하는 단계, 그리고

상기 제스처 신호에 응답하여, 컴퓨터로 연결된 구성요소를 제어하는 단계

를 포함하는 것을 특징으로 하는 방법
제 3 항에 있어서, 상기 검출하는 단계는 신체의 위치(location)를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출하는 단계는 신체의 배향(orientation)을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출하는 단계는 신체의 움직임(motion)을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출하는 단계는 제스처를 식별하는 단계를 포함하며, 이때 상기 식별하는 단계는 신체의 일부분의 포즈와 배향을 식별하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출하는 단계는 신체의 부속기관의 제 1 세트와 부속기관의 제 2 세트 중 하나 이상을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 8 항에 있어서, 상기 신체는 인체이며, 이때 부속기관의 제 1 세트는 하나 이상의 손을 포함하며, 부속기관의 제 2 세트는 상기 하나 이상의 손의 하나 이상의 손가락을 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출하는 단계는 신체의 움직임을 광학적으로 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출하는 단계는 하나 이상의 태그의 위치를 동적으로 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 11 항에 있어서, 상기 검출하는 단계는 상기 신체의 일부분으로 연결되어 있는 태그의 세트의 위치를 검출하는 단계를 포함하는 것을 특징으로 하는 특징으로 하는 방법.
제 12 항에 있어서, 상기 태그의 세트 중 각각의 태그는 패턴을 포함하며, 이때 태그의 세트 중 각각의 태그의 각각의 패턴은 다수의 태그의 임의의 나머지 태그의 임의의 패턴과 구별되는 것을 특징으로 하는 방법.
제 13 항에 있어서, 상기 각각의 태그는 제 1 패턴과 제 2 패턴을 포함하며, 이때 상기 제 1 패턴은 태그의 세트 중 임의의 태그와 공통이며, 상기 제 2 패턴은 태그의 세트 중 둘 이상의 태그 간에서 차이가 있음을 특징으로 하는 방법.
제 12 항에 있어서, 상기 태그의 세트는 신체 상에 다수의 패턴을 형성하는 것을 특징으로 하는 방법.
제 11 항에 있어서, 상기 검출하는 단계는 다수의 신체의 부속기관의 각각과 연결된 태그의 세트를 이용하여, 상기 다수의 신체의 부속기관의 자세를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 16 항에 있어서, 상기 태그의 제 1 세트는 제 1 부속기관으로 연결되며, 상기 태그의 제 1 세트는 다수의 태그를 포함하고, 이때 각각의 태그는 상기 제 1 다수의 태그의 태그들의 공통인 제 1 패턴과, 제 1 다수의 태그의 각각의 태그의 고유한 제 2 패턴을 포함하는 것을 특징으로 하는 방법.
제 17 항에 있어서, 상기 태그의 제 2 세트는 제 2 부속기관으로 연결되며, 상기 태그의 제 2 세트는 제 2 다수의 태그를 포함하며, 이때, 각각의 태그는 상기 제 2 다수의 태그의 태그들의 공통인 제 3 패턴과, 상기 제 2 다수의 태그의 각각의 태그의 고유한 제 4 패턴을 포함하는 것을 특징으로 하는 방법.
제 11 항에 있어서, 하나 이상의 태그가 태그의 하나의 세트를 포함하며, 이때 상기 태그의 세트는 능동 태그(active tag)와 수동 태그(passive tag) 중에서 선택된 하나 이상의 태그 타입을 포함하는 것을 특징으로 하는 방법.
제 11 항에 있어서, 상기 검출 단계는 하나의 단일 태그를 형성하는 포인트의 서브셋으로 각각의 태그의 위치를 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
제 20 항에 있어서, 상기 검출 단계는 포인트의 서브셋을 특정 태그로서 식별하고, 상기 포인트의 서브셋을 특정 태그로서 라벨링(labeling)하는 단계를 포함하는 것을 특징으로 하는 방법.
제 21 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 위치를 복구하는 단계를 포함하는 것을 특징으로 하는 방법.
제 22 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 배향을 복구하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출 단계는, 전자기성 검출(electromagnetic detection), 정자기성 검출(magnetostatic detection), 무선 주파수 식별 정보 검출(detection of radio frequency identification information) 중에서 선택된 검출 방법을 사용하여, 신체의 움직임을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출 단계는 상기 신체 상의 마커(marker)를 동적으로 검출하고, 상기 마커의 위치를 파악하는 단계를 포함하는 것을 특징으로 하는 방법.
제 25 항에 있어서, 상기 검출 단계는 상기 신체의 일부분으로 연결된 마커의 세트의 위치를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 25 항에 있어서, 상기 마커의 세트는 상기 신체 상에서 다수의 패턴을 형성하는 것을 특징으로 하는 방법.
제 25 항에 있어서, 상기 검출 단계는 신체의 다수의 부속기관의 위치를, 상기 부속기관의 각각으로 연결된 마커의 세트를 이용하여 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제 28 항에 있어서, 상기 마커의 제 1 세트는 제 1 부속기관으로 연결되며, 상기 마커의 제 1 세트는 상기 제 1 부속기관의 다수의 구성요소의 공통인 제 1 패턴과, 상기 제 1 부속기관의 구성요소 각각의 특유의 제 2 패턴을 형성하는 것을 특징으로 하는 방법.
제 28 항에 있어서, 상기 마커의 제 2 세트는 제 2 부속기관으로 연결되며, 상기 마커의 제 2 세트는 상기 제 2 부속기관의 다수의 구성요소의 공통인 제 3 패턴과, 상기 제 2 부속기관의 구성요소 각각의 특유의 제 4 패턴을 형성하는 것을 특징으로 하는 방법.
제 25 항에 있어서, 상기 검출 단계는 태그를 형성하는 마커의 서브셋으로 각각의 마커의 위치를 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
제 31 항에 있어서, 상기 검출 단계는 상기 마커의 서브셋을 특정 태그로서 식별하고, 상기 마커의 서브셋을 특정 태그로서 라벨링하는 단계를 포함하는 것을 특징으로 하는 방법.
제 32 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 위치를 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
제 33 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 배향을 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 검출 단계는

물리적 제스처(gesture)를 나타내는 3-차원 공간 포인트 데이터를 발생시키는 단계와,

상기 공간 포인트 데이터를 라벨링하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 35 항에 있어서, 상기 해석하는 단계는 상기 공간 포인트 데이터를 컴퓨터의 구성에 적정한 커맨드(command)로 해석하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 해석하는 단계는 제스처의 정보를 제스처 표기(notation)로 해석하는 단계를 포함하는 것을 특징으로 하는 방법.
제 37 항에 있어서, 상기 제스처 표기는 제스처 어휘(gesture vocabulary)를 나타내며, 제스처 신호(gesture signal)는 상기 제스처 어휘의 통신을 포함하는 것을 특징으로 하는 방법.
제 38 항에 있어서, 상기 제스처 어휘는 신체의 운동 결합(kinematic linkage)의 순간적인 포즈(pose) 상태를 텍스트 형식으로 나타내는 것을 특징으로 하는 방법.
제 38 항에 있어서, 상기 제스처 어휘는 상기 신체의 운동 결합의 배향을 텍스트 형식으로 나타내는 것을 특징으로 하는 방법.
제 38 항에 있어서, 상기 제스처 어휘는 상기 신체의 운동 결합의 배향의 조합을 텍스트 형식으로 나타내는 것을 특징으로 하는 방법.
제 38 항에 있어서, 상기 제스처 어휘는 상기 신체의 운동 결합의 상태를 나타내는 문자의 스트링을 포함하는 것을 특징으로 하는 방법.
제 42 항에 있어서, 상기 운동 결합은 상기 신체의 하나 이상의 제 1 부속기관인 것을 특징으로 하는 방법.
제 43 항에 있어서, 스트링의 각각의 위치를 제 2 부속기관에게 할당하는 단계로서, 상기 제 2 부속기관은 상기 제 1 부속기관으로 연결되어 있는 상기 단계

를 포함하는 것을 특징으로 하는 방법.
제 44 항에 있어서, 다수의 문자 중 문자를 상기 제 2 부속기관의 다수의 위치 중 각각에게 할당하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 45 항에 있어서, 상기 다수의 위치는 좌표 원점에 대하여 확립되는 것을 특징으로 하는 방법.
제 46 항에 있어서, 절대 위치 및 공간에서의 배향과, 신체의 전체 위치와 방향에 관계없는 고정 위치 및 신체에 대한 배향과, 신체의 활동에 반응하는 상호작용 중에서 선택된 위치를 이용하여, 상기 좌표 원점이 확립되는 단계

를 포함하는 것을 특징으로 하는 방법.
제 45 항에 있어서, 상기 다수의 문자 중의 문자를 상기 제 1 부속기관의 다수의 배향 중 각각에게 할당하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 43 항에 있어서, 구성요소를 제어하는 단계는 상기 제 1 부속기관의 제스처를 3-공간 물체로 매핑(mapping)시킴으로써, 동시적으로, 자유도(degree of freedom) 6로 3-공간 물체를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제 43 항에 있어서, 상기 구성요소를 제어하는 단계는, 직선운동 자유도 3과 회전운동 자유도 3을 통해, 3-공간 물체를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제어하는 단계는 제 1 부속기관과 3-공간 물체의 움직임이 직접 연결되는 단계를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제어하는 단계는 상기 제 1 부속기관과 상기 3-공간 물체의 움직임이 간접 연결되는 단계를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 3-공간 물체는 컴퓨터에 연결된 디스플레이 장치 상에 제공되는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 3-공간 물체는 상기 컴퓨터로 연결되는 것을 특징으로 하는 방법.
제 50 항에 있어서, 제 1 부속기관의 다수의 제스처를 상기 3-공간 물체의 다수의 물체 해석으로 매핑시킴으로써, 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 55 항에 있어서, 상기 매핑시키는 단계는 상기 다수의 제스처와 상기 다수의 대상 해석 간의 직접 매핑 단계를 포함하는 것을 특징으로 하는 방법.
제 55 항에 있어서, 상기 매핑시키는 단계는 다수의 제스처와 다수의 물체 해석 간의 간접 매핑 단계를 포함하는 것을 특징으로 하는 방법.
제 55 항에 있어서, 상기 매핑시키는 단계는 상기 다수의 제스처의 위치적 오프셋(positional offset)을 상기 3-공간 물체의 물체 해석의 위치적 오프셋으로 상호연관시키는 단계를 포함하는 것을 특징으로 하는 방법.
제 55 항에 있어서, 상기 매핑시키는 단계는 상기 제 1 부속기관의 위치적 오프셋을 상기 3-공간 물체의 물체 해석의 해석적 속도(translational velocity)로 상호연관시키는 단계를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 선형 제스처를 상기 3-공간 물체의 선형 해석으로 매핑시킴으로써, 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 회전 제스처를 상기 3-공간 물체의 회전 해석으로 매핑시킴으로써, 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 선형 제스처를 상기 3-공간 물체의 회전 해석으로 매핑시킴으로써, 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 회전 제스처를 상기 3-공간 물체의 선형 해석으로 매핑시킴으로써, 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동을 이용하여 X-축을 따라 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 상-하 이동을 이용하여 Y-축을 따라 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 전-후 이동을 이용하여 Z-축을 따라 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동과 상-하 이동의 제 1 조합을 이용하여, X-축 및 Y-축을 따라 동시에 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동과 전-후 이동의 제 2 조합을 이용하여 X-축 및 Z-축을 따라 동시에 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 상-하 이동과 전-후 이동의 제 3 조합을 이용하여, Y-축 및 Z-축을 따라 동시에 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동, 상-하 이동 및 전-후 이동의 제 4 조합을 이용하여, X-축, Y-축 및 Z-축을 따라 동시에 상기 3-공간 물체의 이동을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 1 부속기관의 회전 이동을 이용하여 제 1 축을 중심으로 상기 3-공간 물체의 회전을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 2 부속기관의 제 1 부에 대하여, 상기 제 1 부속기관의 회전 이동을 이용하여, 제 2 축을 중심으로 상기 3-공간 물체의 회전을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 제 2 부속기관의 제 2 부에 대하여, 상기 제 1 부속기관의 회전 이동을 이용하여, 제 3 축을 중심으로 상기 3-공간 물체의 회전을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 50 항에 있어서, 상기 검출 단계는 물체의 추정된 위치가 가상 공간과 마나는 시점을 검출하는 단계를 포함하며, 이때, 상기 가상 공간은 컴퓨터에 연결된 디스플레이 장치 상에 도시된 공간을 포함하는 것을 특징으로 하는 방법.
제 74 항에 있어서, 구성요소를 제어하는 단계는, 상기 추정된 위치가 가상 물체와 만날 때 가상 공간에서 가상의 물체를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제 75 항에 있어서, 상기 구성요소를 제어하는 단계는 상기 가상 공간에서의 추정된 위치에 반응하여 상기 가상 공간에서의 가상 물체의 위치를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제 75 항에 있어서, 상기 구성요소를 제어하는 단계는 상기 제스처에 응답하여, 상기 가상 공간에서의 가상 물체의 자세(attitude)를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 제스처를 다수의 레벨로 특정하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 78 항에 있어서, 상기 제스처의 정보의 일부분을 이용하여, 상기 제스처를 부분적으로 특정하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 78 항에 있어서, 상기 다수의 레벨은 신체의 제 1 부속기관의 포즈(pose)를 포함하는 제 1 레벨을 포함하는 것을 특징으로 하는 방법.
제 80 항에 있어서, 신체의 하나 이상의 제 2 부속기관과 제 1 부속기관의 뒷 부분 간의 상대적 배향의 스트링(string)으로서 상기 포즈를 나타내는 단계로서, 이때 상기 제 2 부속기관은 상기 제 1 부속기관과 연결되어 있는 상기 단계

를 포함하는 것을 특징으로 하는 방법.
제 81 항에 있어서, 상기 상대적 배향의 스트링을 하나 이상의 개별 상태로 양자화하는 단계(quantizing)

를 포함하는 것을 특징으로 하는 방법.
제 78 항에 있어서, 상기 다수의 레벨은 포즈의 조합을 포함하는 제 2 레벨을 포함하며, 상기 포즈의 조합은 신체의 제 1 부속기관의 제 1 포즈와 상기 신체의 제 2 부속기관의 제 2 포즈를 포함하는 것을 특징으로 하는 방법.
제 83 항에 있어서, 제 1 레벨은 위치의 조합을 포함하며, 상기 위치의 조합은 상기 제 1 부속기관의 제 1 위치와 상기 제 2 부속기관의 제 2 위치를 포함하는 것을 특징으로 하는 방법.
제 78 항에 있어서, 상기 다수의 레벨은 포즈와 위치의 조합을 포함하는 제 3 레벨을 포함하며, 이때 포즈의 조합은 하나의 신체의 하나 이상의 부속기관의 제 3 포즈와, 두 번째 신체의 하나 이상의 부속기관의 제 4 포즈를 포함하는 것을 특징으로 하는 방법.
제 85 항에 있어서, 상기 제 3 레벨은 위치의 조합을 포함하며, 상기 위치의 조합은 하나의 신체의 하나 이상의 부속기관의 제 3 위치와 두 번째 신체의 하나 이상의 부속기관의 제 4 위치를 포함하는 것을 특징으로 하는 방법.
제 78 항에 있어서, 상기 다수의 레벨은 제스처의 하나 이상의 시퀀스(sequence)를 포함하는 제 4 레벨을 포함하는 것을 특징으로 하는 방법.
제 78 항에 있어서, 상기 다수의 레벨은 서기소 제스처(grapheme gesture)를 포함하는 제 5 레벨을 포함하며, 이때 상기 서기소 제스처는 자유 공간에서의 형태를 쫏는 신체를 포함하는 것을 특징으로 하는 방법.
제 78 항에 있어서, 하나 이상의 애플리케이션(application)에 관련하여 제스처를 등록함으로써, 등록된 제스처를 생성하는 단계를 포함하며, 이때 상기 애플리케이션은 컴퓨터에 연결되어 있는 것을 특징으로 하는 방법.
제 89 항에 있어서,

등록된 제스처를 파싱(parsing)하는 단계,

상기 등록된 제스처를 식별하는 단계, 그리고

상기 등록된 제스처에 대응하는 이벤트를 하나 이상의 애플리케이션으로 이동(transfer)시키는 단계

를 포함하는 것을 특징으로 하는 방법.
제 90 항에 있어서, 상기 등록된 제스처의 우선순위를 정하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 91 항에 있어서, 하나의 상태를 상기 등록된 제스처에게 할당하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 92 항에 있어서, 상기 상태는 시작 상태(entry state)와 진행 상태(continuation state) 중에서 선택되며, 상기 진행 상태의 우선순위는 상기 시작 상태의 우선순위보다 높은 것을 특징으로 하는 방법.
제 90 항에 있어서, 상기 파싱하는 단계는

제스처의 손실 데이터 구성요소를 마킹하는 단계,

상기 손실 데이터 구성요소를 마지막으로 알려진 상태 및 가장 유사한 상태에 내삽(interpolating)하는 단계로서, 이때 상기 내삽은 상기 손실 데이터의 양과 맥락에 따라 좌우되는 단계

를 포함하는 것을 특징으로 하는 방법.
제 94 항에 있어서, 상기 식별하는 단계는, 마지막으로 알려진 상태가 분석을 위해 사용될 수 있을 때, 식별을 위해, 상기 손실 데이터 구성요소의 상기 마지막으로 알려진 상태를 이용하는 단계를 포함하는 것을 특징으로 하는 방법.
제 94 항에 있어서, 상기 식별하는 단계는, 마지막으로 알려진 상태가 분석을 위해 사용될 수 없을 때, 식별을 위해, 상기 손실 데이터 구성요소의 가장 유사한 추측치를 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 가상 공간과 물리적 공간 사이의 일치를 만들기 위한, 검출 및 제어하는 단계의 눈금 조정(scaling)을 제어하는 단계로서, 상기 가상 공간은 컴퓨터에 연결된 디스플레이 장치 상에 도시된 공간을 포함하며, 이때 물리적 공간은 신체에 의해 점거되는 공간을 포함하는 것을 특징으로 하는 방법.
제 97 항에 있어서, 상기 디스플레이 장치의 물리적 공간에서 크기, 배향 및 위치를 판단하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 98 항에 있어서, 디스플레이 장치가 투사체(projection)로서 위치하는 물리적 공간을, 컴퓨터에 연결된 하나 이상의 애플리케이션의 가상 공간으로 동적으로 매핑하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 97 항에 있어서,

가상 공간과 물리적 공간 사이의 눈금(scale), 각도, 깊이 및 크기를 컴퓨터에 연결된 하나 이상의 애플리케이션에서 이용할 수 있도록 해석하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 97 항에 있어서,

물리적 공간에서 하나 이상의 물리적 물체의 이동에 응답하여, 상기 가상 공간에서의 하나 이상의 가상 물체를 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 97 항에 있어서,

상기 디스플레이 장치의 이동에 대하여 자동으로 보상하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 97 항에 있어서,

디스플레이 장치의 위치에 대한 물리적 공간에서의 신체의 위치에 응답하여, 디스플레이 장치 상의 그래픽의 렌더링(rendering)을 제어하는 단계

를 포함하는 것을 특징으로 하는 방법.
제 97 항에 있어서, 디스플레이 장치 상에서, 물리적 공간에서 제공되는 물리적 물체의 가상 버전을 포함하는 디스플레이를 생성시키는 단계를 포함하며, 이때 상기 디스플레이를 생성시키는 단계는 물리적 물체의 가상 버전의 가상 위치와 물리적 공간에서의 물리적 물체의 위치 사이의 일치를 만드는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 제스처를 결정하는 단계는 유효(valid)한 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 제어하는 단계는 컴퓨터 상에 호스팅되는 애플리케이션의 함수를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 제어하는 단계는 컴퓨터 상에 디스플레이되는 구성요소를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.