KR101284797B1 - 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 - Google Patents

착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 Download PDF

Info

Publication number
KR101284797B1
KR101284797B1 KR1020090090147A KR20090090147A KR101284797B1 KR 101284797 B1 KR101284797 B1 KR 101284797B1 KR 1020090090147 A KR1020090090147 A KR 1020090090147A KR 20090090147 A KR20090090147 A KR 20090090147A KR 101284797 B1 KR101284797 B1 KR 101284797B1
Authority
KR
South Korea
Prior art keywords
user
image
measuring
signal
computing environment
Prior art date
Application number
KR1020090090147A
Other languages
English (en)
Other versions
KR20100047793A (ko
Inventor
손용기
임정묵
이동우
정현태
조일연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/604,895 priority Critical patent/US20100103104A1/en
Priority to JP2009248773A priority patent/JP2010108500A/ja
Publication of KR20100047793A publication Critical patent/KR20100047793A/ko
Application granted granted Critical
Publication of KR101284797B1 publication Critical patent/KR101284797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법에 관한 것으로, 사용자의 손가락 혹은 손목 부근에 착용되어 광 신호를 발생하는 위치 지시기기로부터 발생된 광 신호를 수신하고, 사용자 전면의 영상을 각각 계측하기 위한 이미지 센서를 구비한 복수의 영상 계측부를 포함하는 신호 계측수단, 및 신호 계측수단에 의해 계측된 각각의 영상을 분석하여 3차원 좌표를 계산하고, 신호 계측수단에 의해 수신된 광 신호로부터 3차원 좌표 상에서 사용자 손의 움직임 패턴을 인식하여, 대응하는 명령을 출력하는 신호 처리수단을 포함한다. 본 발명에 따르면, 사용자 전면의 3차원 공간상에서 양손으로 제스처를 취할 때, 그 움직임을 추적하여 3차원적인 소정의 패턴으로 인식하여 처리함으로써, 사용자가 이동하면서 컴퓨터를 사용해야 하는 웨어러블 컴퓨팅 환경에서 사용자 공간에 멀티포인트 입력 기능을 지원하여 사용자 디스플레이 상의 객체를 선택하거나 조작하는 방법에 있어서 마치 공간 속의 사물을 다루는 듯한 사용자 친화적인 입력 인터페이스를 지원할 수 있는 이점이 있다.
3차원 공간, 멀티포인트, 사용자 인터페이스, 웨어러블 컴퓨터

Description

착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법{Apparatus for user interface based on wearable computing environment and method thereof}
본 발명은 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법에 관한 것으로, 특히 웨어러블 컴퓨팅 환경에 적합하면서 사용자 전면의 3차원 공간상에서 사용자 양손의 움직임을 웨어러블 시스템 혹은 주변 장치의 입력으로 사용할 수 있는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-048-01, 과제명: u-컴퓨팅 공간 협업을 위한 Wearable Personal Companion 기술 개발].
기존에 시스템이 갖추어진 제한된 공간에서 사용자의 움직임, 특히 손의 움직임을 검출하여 인간과 컴퓨터 사이의 상호작용(interaction)으로 사용하려는 시도들은 많이 연구되어져 왔다. 기존의 시스템들은 사용자가 장갑형태의 장치를 착용하거나 잘 갖추어진 정해지고 제한된 장소에서만 입력을 수행할 수 있는 단점이 있다.
또한, 현재 시판되고 있는 3차원 공간 마우스 혹은 펜과 같은 장치는 자이로센서를 이용하여 사용자 손의 움직임을 계측하여 사용자 입력으로 사용하고 있다. 이 장치 또한 사용자가 파지하고 사용해야 하며 사용자가 필요한 경우에 소지하고 다녀야하는 불편함이 있다.
애플의 Ipod Touch, 마이크로소프트사의 Surface, 제프한의 Multi-Touch 장치와 같은 멀티 터치는 장치의 디스플레이에 터치를 적용하여 멀티 터치의 장점을 최대한 발휘하고 있지만, 손에 장치를 파지하거나 제한된 장치에서 사용해야 하는 불편함이 있다.
특히, 장치 혹은 컴퓨터를 몸에 부착 혹은 착용하고 다니는 웨어러블 시스템을 위한 사용자 인터페이스인 경우 장치를 가지고 다녀야 하는 이동성 및 사용자가 손쉽게 사용하고 가지고 다닐 수 있는 착용성과 같은 요소들을 고려하여 설계하여야 한다.
상기한 과제를 해결하기 위한 본 발명의 목적은, 웨어러블 컴퓨팅 환경에 적합하면서 사용자 전면의 3차원 공간상에서 사용자 손과 같은 움직임으로 웨어러블 시스템 혹은 주변 장치의 입력으로 사용할 수 있는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치는, 사용자의 손목 부근에 착용되어 사용자의 손 위치를 알리는 위치신호를 발생하는 위치 지시기기로부터 발생된 위치신호를 수신하고, 사용자 전면의 영상을 계측하는 신호 계측수단, 및 상기 신호 계측수단에 의해 계측된 영상으로부터 3차원 좌표를 계산하고, 상기 신호 계측수단에 의해 수신된 위치신호로부터 상기 3차원 좌표상에서 사용자 손의 움직임 패턴을 인식하여, 대응하는 명령을 출력하는 신호 처리수단을 포함하는 것을 특징으로 한다.
상기 신호 계측수단은, 이미지 센서를 구비한 복수의 영상 계측부 및 사용자의 움직임으로부터 신체의 흔들림 정도를 계측하는 신체 흔들림 계측부를 포함하는 것을 특징으로 한다.
상기 신체 흔들림 계측부는, 관성센서를 포함하는 것을 특징으로 한다.
상기 영상 계측부는, 상기 위치 지시기기로부터 발생된 위치 신호와 상기 영상을 구분하기 위한 필터를 구비한 것을 특징으로 한다.
상기 신호 처리수단은, 상기 복수의 영상 계측부에 구비된 이미지 센서의 화각이 서로 겹치는 영역에 가상의 디스플레이 화면을 구현하고, 상기 가상의 디스플레이 화면의 영상으로부터 3차원 좌표를 계산하는 것을 특징으로 한다.
상기 신호 처리수단은, 상기 복수의 영상 계측부에 의해 계측된 각 영상으로부터 2차원 좌표를 추출하는 2차원 좌표 계산부를 포함하며, 상기 2차원 좌표 계산부에 의해 추출된 2차원 좌표 및 상기 위치신호에 의해 감지된 손의 위치정보에 기초하여 3차원 좌표를 계산하는 것을 특징으로 한다.
상기 신호 처리수단은, 상기 신체 흔들림 계측부에 의해 계측된 신체의 흔들림 정도에 기초하여 상기 영상 계측부로부터 계측된 영상의 흔들림을 보정하는 신체 흔들림 보정부를 더 포함하는 것을 특징으로 한다.
상기 위치 지시기기는, 사용자 손의 위치 이동 시마다 위치신호를 발생하는 위치신호 발생수단 및 사용자로부터 제어명령을 입력받는 입력신호 계측수단을 포함하며, 상기 입력신호 계측수단으로 입력된 사용자 제어명령에 기초하여 상기 위치신호 발생수단의 동작을 제어하는 것을 특징으로 한다.
상기 위치신호 발생수단은, 상기 위치신호를 광 신호 형태로 발생하는 것을 특징으로 한다.
한편, 상기한 목적을 달성하기 위한 본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법은, 사용자의 손목 부근에 착용되어 위치신호를 발생하는 위치 지시기기로부터 발생된 위치신호를 수신하고, 사용자 전면의 영상을 계측하는 단계, 상기 계측하는 단계에서 계측된 영상으로부터 3차원 좌표를 계산하는 단계, 상기 계측하는 단계에서 수신된 위치신호로부터 사용자 손의 위치를 파악하고, 상기 계산된 3차원 좌표상에서 사용자 손의 움직임 패턴을 인식하는 단계, 및 상기 인식하는 단계에서 인식된 움직임 패턴에 대응하는 명령을 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기 계측하는 단계는, 상기 사용자의 움직임으로부터 신체의 흔들림 정도를 계측하는 단계를 포함하는 것을 특징으로 한다.
상기 계측된 신체의 흔들림 정도에 근거하여 상기 계측하는 단계에서 계측된 영상의 흔들림을 보정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 계산하는 단계는, 상기 계측하는 단계에서 영상을 계측하는 복수의 이미지 센서의 화각이 서로 겹치는 영역에 가상의 디스플레이 화면을 구현하고, 상기 가상의 디스플레이 화면의 영상으로부터 3차원 좌표를 계산하는 것을 특징으로 한다.
상기 계산하는 단계는, 상기 복수의 영상 계측수단에 의해 계측된 각 영상으로부터 2차원 좌표를 추출하는 단계를 포함하며, 상기 추출된 2차원 좌표, 및 상기 계측하는 단계의 상기 위치신호에 의해 감지된 손의 위치정보에 기초하여 3차원 좌표를 계산하는 것을 특징으로 한다.
상기 위치신호는, 사용자 손의 위치 이동 시마다 상기 위치 지시기기에 의해 발생되는 것을 특징으로 한다.
상기 위치신호는, 사용자로부터 상기 위치 지시기기로 손의 움직임의 시작과 끝을 알리는 신호가 입력되면, 상기 입력된 신호에 기초하여 발생되는 것을 특징으 로 한다.
상기 위치신호는, 광 신호 형태로 발생되는 것을 특징으로 한다.
본 발명에 따르면, 사용자 전면의 3차원 공간상에서 양손으로 제스처를 취할 때, 그 움직임을 추적하여 3차원적인 소정의 패턴으로 인식하여 처리함으로써, 사용자가 이동하면서 컴퓨터를 사용해야 하는 웨어러블 컴퓨팅 환경에서 사용자 공간에 멀티포인트 입력 기능을 지원하여 사용자 디스플레이 상의 객체를 선택하거나 조작하는 방법에 있어서 마치 공간 속의 사물을 다루는 듯한 사용자 친화적인 입력 인터페이스를 지원할 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.
도 1 및 도 2는 본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치를 설명하는데 참조되는 도면이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치는 손목 부근에 장착되어, 손의 움직임을 감지하는 위치 지시기기(20)와, 위치 지시기기(20)에 의해 감지된 신호로부터 손의 움직임을 인식하고 그에 대응하는 동작을 처리하는 움직임 처리기기(10)를 포함한다.
먼저, 사용자는 도 1에서와 같이, 웨어러블 컴퓨터의 벽면형 디스플레이 장치 혹은 HMD(Head Mounted Display)와 같은 실제 디스플레이 화면(1)이 아닌, 가상 의 디스플레이 화면(2) 상에서 디스플레이 화면(1)의 제어를 위하여 손을 움직이게 된다.
여기서, 손의 움직임은 글자, 기호, 제스처 등 사용자가 표현할 수 있는 모든 것이 해당되며, 한 손뿐만 아니라 양손에 의한 복합적인 제스처도 해당된다.
따라서, 사용자는 가상의 디스플레이 화면(2)에서 양손을 사용하여 입력함으로써, 실제 사용자의 눈 앞에 출력되는 사물을 멀티 터치와 유사하게 3차원 공간상에서 제어할 수 있다. 특히, 도 2에 도시된 바와 같이, 안경형태의 양 끝단에 부착된 복수의 영상 계측부(11a, 11b)를 통해 사용자 전면의 일정한 3차원 공간 내에서 입력을 수행할 수 있으며, 해당 공간은 복수의 영상 계측부(11a, 11b)로부터의 화각에 의해 결정된다.
이때, 위치 지시기기(20)는 복수개 구비될 수 있다. 위치 지시기기(20)는 팔찌 형태로 구현되어, 사용자의 한쪽 손목 또는 양쪽 손목에 모두 착용될 수 있다. 뿐만 아니라, 위치 지시기기(20)는 반지 형태로 구현되어 사용자의 손가락에 착용될 수도 있다. 이에, 본 발명의 실시예에서는 위치 지시기기(20)가 팔찌 형태로 구현되어, 사용자의 양쪽 손목에 착용된 경우를 예로 하였으나, 이에 한정되는 것은 아니다. 위치 지시기기(20)에 대한 구체적인 설명은 도 4를 참조하도록 한다.
한편, 움직임 처리기기(10)는 위치 지시기기(20)와 마찬가지로 사용자의 몸에 착용 가능한 형태로 구현되며, 그 실시예로는 안경, 모자, 옷 등과 같이 신체에 어느 부분에도 착용할 수 있다. 본 발명의 실시예에서는 사용자의 시각에서 보는 것과 마찬가지의 효과를 내기 위해, 움직임 처리기기(10)가 안경 형태로 구현된 것을 예로 한다.
움직임 처리기기(10)에는 복수의 영상 계측부(11a, 11b)가 구비된다. 이때, 복수의 영상 계측부(11a, 11b)는 각각 서로 다른 위치에 배치되며, 해당 위치에서 위치 지시기기(20)로부터 발생되는 신호를 계측한다. 움직임 처리기기(10)에 대한 구체적인 설명은 도 3을 참조하도록 한다.
도 3은 본 발명에 따른 움직임 처리기기(10)의 구성을 도시한 블록도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 움직임 처리기기(10)는 신호 계측수단(11), 명령 입력수단(13), 신호 처리수단(15), 및 통신수단을 포함한다.
또한, 신호 계측수단(11)은 제1 영상 계측부(11a), 제2 영상 계측부(11b), 및 신체 흔들림 계측부(11c)를 포함한다.
제1 영상 계측부(11a) 및 제2 영상 계측부(11b)는 서로 다른 위치에 배치되며, 도 2에 도시된 바와 같이, 안경의 양쪽 끝에 배치될 수 있다. 물론, 도 3에서는 제1 영상 계측부(11a)와 제2 영상 계측부(11b)가 구비된 것을 예로 하였으나, 제3 영상 계측부 등 더 많이 구비될 수도 있다.
이때, 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)는 위치 지시기기(20)로부터 발생된 신호를 계측할 수 있는 이미지 센서인 것을 예로 한다. 물론, 위치 지시기기(20)에 의해 발생되는 적외선, 가시광선, 레이져 등의 형태를 가질 수 있 다.
또한, 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)는 위치 지시기기(20)로부터 발생된 신호를 수신하고, 수신된 신호로부터 사용자의 손 위치를 감지한다. 이때, 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)에는 이미지 센서에 의해 계측되는 영상 신호와 위치 지시기기(20)로부터 수신된 신호를 구분하기 위한 물리적인 필터가 구비된다.
이때, 물리적인 필터로는 적외선 통과대역 필터 등이 해당 될 수 있다. 적외선 통과대역 필터는 가시광선에 의한 간섭을 제거함으로써, 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)가 적외선 신호를 더욱 명확하게 계측할 수 있도록 한다.
한편, 신체 흔들림 계측부(11c)는 사용자의 신체 흔들림 정도를 계측한다. 신체 흔들림 계측부(11c)는 손의 움직임을 계측하는 경우, 사용자 신체의 흔들림에 의한 오차가 발생하는 것을 보완하기 위해 관성센서(IMU, Inertial Measurement Unit)를 추가로 구비할 수 있다. 이때, 신체 흔들림 계측부(11c)는 계측된 신호를 신호 처리 수단으로 전달한다.
명령 입력수단(13)은 사용자로부터 제어명령을 입력받기 위한 수단으로, 움직임 기기로부터의 제어명령을 수신하기 위한 통신모듈을 포함한다.
위치 지시기기(20)로 사용자로부터의 사용자로부터 제어명령이 입력되면, 위치 지시기기(20)는 움직임 처리기기(10)로 해당 명령을 전송한다. 따라서, 명령 입 력수단(13)은 위치 지시기기로부터의 제어명령을 수신하여 신호 처리수단(15)으로 전달한다.
신호 처리수단(15)은 2차원 좌표 계산부(15a), 3차원 좌표 계산부(15b), 신체 흔들림 보정부(15c), 패턴 인식부(15d), 및 명령 처리부(15e)를 포함한다.
먼저, 2차원 좌표 계산부(15a)는 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)에 의해 계측된 각 영상으로부터 위치 지시기기(20)가 배치된 영역, 즉, 손이 위치한 영역에서의 손 위치에 대한 2차원 좌표를 계산한다. 이때, 2차원 좌표 계산부(15a)는 각각의 계측 영상에서 점 형태로 나타나는 적외선 이미지의 2차원 좌표를 추출한다.
이후, 3차원 좌표 계산부(15b)는 2차원 좌표 계산부(15a)에 의해 추출된 2차원 좌표를 이용하여 해당 위치에서의 3차원 좌표를 계산한다. 3차원 좌표의 계산을 위한 모델은 도 6을 참조한다.
이때, 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)와, 2차원 좌표 추적부, 3차원 좌표 계산부(15b)는 복합적으로 구현되어 하나의 프로세서로 처리될 수 있다.
신체 흔들림 보정부(15c)는 신체 흔들림 계측부(11c)에 의해 계측된 신호로부터 신체 흔들림 정도를 파악한다. 이때, 신체 흔들림 보정부(15c)는 파악된 정보에 근거하여 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)에 의해 계측된 영상에 대한 신체 흔들림을 보정한다.
패턴 인식부(15d)는 신체 흔들림 보정부(15c)에 의해 보정된 영상으로부터, 3차원 좌표 계산부(15b)에 의해 계산된 3차원 좌표에서의 움직임 패턴을 인식한다.
이후, 명령 처리부(15e)는 패턴 인식부(15d)에 의해 인식된 움직임 패턴에 대응하는 명령을 추출하여, 통신수단(17)을 통해 착용형 컴퓨터로 전송한다.
명령 처리부(15e)는 유무선 통신 인터페이스를 통해 다른 기기와 연결되어, 해당 기기로 명령을 전달할 수도 있다.
이때, 3차원 좌표 계산부(15b), 패턴 인식부(15d), 및 명령 처리부(15e)는 2차원 좌표 계산부(15a)에 통신 인터페이스를 부가하여 외부의 다른 기기에서도 처리할 수도 있다.
한편, 도 4는 본 발명에 따른 위치 지시기기(20)의 구성을 도시한 블록도이다.
도 4를 참조하면, 본 발명에 따른 위치 지시기기(20)는 위치신호 발생수단(21), 입력신호 계측수단(23), 신호 처리수단(25), 및 통신수단(27)을 포함한다.
위치신호 발생수단(21)은 해당 위치 지시기기(20)의 현재 위치를 알리기 위한 위치신호를 발생하는 수단이다. 위치신호 발생수단(21)은 적외선, 가시광선, 레이져 등과 같이 움직임 처리기기(10)의 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)에 의해 계측 가능한 신호 형태로 출력한다. 본 발명의 실시예에서, 위치신호 발생수단(21)은 적외선 신호를 발생하는 것을 예로 한다.
입력신호 계측수단(23)은 사용자로부터 제어명령을 입력받는 수단이다. 즉, 사용자는 컴퓨터 입력장치인 마우스의 클릭과 같은 동작으로 현재 사용자가 행하고 있는 손 움직임의 유효성을 지시한다.
이때, 입력신호 계측수단(23)은 반지형태의 버튼 조작, 손가락 또는 손목 접촉음, 근전도 등을 계측함으로써 사용자로부터의 제어명령을 인식한다.
예를 들어, 사용자가 엄지와 검지로 허공에서 짚는 행위(두드리는 행위)를 하면, 입력신호 계측수단(23)은 현재부터의 동작은 유효한 동작인 것으로 해석하여 움직임의 시작을 지시하는 신호로 인식한다. 또한, 입력신호 계측수단(23)은 사용자의 움직임이 없거나, 혹은 근전도를 사용할 경우에는 손가락을 짚는 행위와 벌어지는 행위로부터 움직임의 시작과 끝을 지시하는 명령을 계측할 수 있다.
입력신호 계측수단(23)은 계측된 사용자의 제어명령을 신호 처리수단(25)으로 전달한다.
신호 처리수단(25)은 입력 신호 인식부(25a), 및 명령 처리부(25b)를 포함한다.
입력 신호 인식부(25a)는 입력신호 계측수단(23)에 의해 계측된 사용자의 제어명령을 인식한다. 이때, 명령 처리부(25b)는 입력 신호 인식부(25a)에 의해 인식된 사용자의 제어명령을 통신수단(27)을 통해 움직임 처리기기(10)의 명령 입력수단(13)으로 전송한다.
한편, 명령 처리부(25b)는 입력 신호 인식부(25a)에 의해 사용자 움직임의 시작을 알리는 명령이 인식되면, 위치신호 발생수단(21)으로 소정의 제어신호를 출력한다. 따라서, 위치신호 발생수단(21)은 명령 처리부(25b)로부터의 제어신호에 따라 위치신호를 발생한다.
도 5는 본 발명에 따른 움직임 처리기기의 영상 계측부에 대한 동작을 설명하는데 참조되는 예시도이다.
도 5에 도시된 바와 같이, 제1 영상 계측부(11a)와 제2 영상 계측부(11b)는 정면의 영상을 취득하게 된다. 이때, 제1 영상 계측부(11a)와 제2 영상 계측부(11b)의 화각에 의해 가상의 디스플레이 화면(2)이 구현되는 영역을 결정한다.
다시 말해, 제1 영상 계측부(11a)와 제2 영상 계측부(11b)는 일정한 화각(θ)을 가지며, 제1 영상 계측부(11a)와 제2 영상 계측부(11b)의 화각이 겹치는 영역에 가상의 디스플레이 화면(2)이 구현하도록 한다.
따라서, 상기와 같이 구현된 3차원 공간의 가상의 디스플레이 화면(2)에서 사용자는 손가락을 쥐거나 손가락을 짚는 형태의 제스쳐를 위하여 가상공간상의 객체를 선택하고 그 상태에서 손을 움직여 해당 객체를 이동하는 것과 같이 컴퓨터를 제어할 수 있게 된다.
도 6은 본 발명에 따른 좌표 계산 방법에 대한 동작을 설명하는데 참조되는 예시도이다.
도 6을 참조하면, 위치 지시기기(20)의 위치신호 발생수단(21)으로부터 위치 신호가 발생되면 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)는 위치신호를 수신하게 된다.
이때, 3차원 좌표 계산부(15b)는 위치신호 발생수단(21)과 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)의 위치에 근거하여 3차원 좌표를 계산한다.
3차원 좌표의 계산을 위한 모델은 아래 [수학식 1]을 이용하여 구할 수 있다.
Figure 112009058512295-pat00001
여기서, dr은 제1 영상 계측부(11a)에 위치신호 발생수단(21)으로부터 발생된 위치신호가 도달한 지점에서 중심까지의 거리이다. dl은 제2 영상 계측부(11b)에 위치신호 발생수단(21)으로부터 발생된 위치신호가 도달한 지점에서 중심까지의 거리이다.
L은 제1 영상 계측부(11a)의 중심에서 제2 영상 계측부(11b)의 중심까지의 거리이다.
f는 제1 영상 계측부(11a)와 제2 영상 계측부(11b)의 중심에서 제1 영상 계측부(11a)와 제2 영상 계측부(11b)에 수직 방향으로, 위치신호 발생수단(21)으로부터 발생된 위치신호와 만나는 지점까지의 거리, 즉, 해당 영상 계측부의 초점거리이다.
x는 제1 영상 계측부(11a)와 제2 영상 계측부(11b)에서 위치신호 발생수단(21)까지의 수직거리이다.
따라서, 3차원 좌표 계산부(15b)는 2차원 좌표 계산부(15a)로부터 추출된 2차원 좌표와 상기에서 산출된 x 값을 이용하여 3차원 좌표를 계산하게 된다.
상기와 같이 구성되는 본 발명의 동작을 다음과 같다.
도 7은 본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법에 대한 동작 흐름을 나타낸 순서도로서, 움직임 처리기기(10)의 동작을 나타낸 것이다.
도 7에 도시된 바와 같이, 움직임 처리기기(10)는 위치 지시기기(20)로부터의 신호에 근거하여 사용자의 신체 움직임을 계측한다(100). 또한, 움직임 처리기기(10)의 제1 영상 계측부(11a) 및 제2 영상 계측부(11b)의 이미지 센서를 이용하여 계측된 움직임 영상을 처리한다(S110).
이후, 2차원 좌표 계산부(15a)는 'S110' 과정의 영상으로부터 2차원 좌표를 계산하고(S120), 3차원 좌표 계산부(15b)는 'S120' 과정에서의 2차원 좌표 및 'S100' 과정에서 수신된 신호에 근거하여 3차원 좌표를 계산한다(S130)
한편, 신체 흔들림 계측부(11c)는 'S100' 과정에서 수신된 신호로부터 신체 흔들림 정도를 계측하고(S140), 신체 흔들림 보정부(15c)는 'S140' 과정에서 계측된 정보에 따라 해당 영상에서의 신체 흔들림 및 그에 따른 오차를 보정한다(S150).
패턴 인식부(15d)는 'S130' 과정에서 계산된 3차원 좌표와, 'S150' 과정에서 보정된 영상으로부터 사용자의 움직임 패턴을 인식하고(S160), 'S160' 과정에서 인식된 패턴에 대응하는 명령 데이터를 추출하여 통신모듈을 통해 착용형 컴퓨터로 전송한다(S170).
본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법은 웨어러블 컴퓨터에 적용되는 것을 실시예로 기술하였으나, 웨어러블 컴퓨터뿐만 아니라 일반적인 컴퓨터의 인터페이스 장치로도 이용 가능함은 당연한 것이다.
이상에서와 같이 본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
도 1 및 도 2 는 본 발명에 따른 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치의 동작 설명에 참조되는 도이다.
도 3 은 본 발명에 따른 사용자 인터페이스 장치의 움직임 처리기기에 대한 구성을 도시한 블록도이다.
도 4 는 본 발명에 따른 사용자 인터페이스 장치의 위치 지시기기에 대한 구성을 도시한 블록도이다.
도 5 는 본 발명에 따른 영상 계측 방법을 설명하는데 참조되는 예시도이다.
도 6 은 본 발명에 따른 위치 좌표 계측 방법을 설명하는데 참조되는 예시도이다.
도 7 은 본 발명에 따른 사용자 인터페이스 방법에 대한 동작 흐름을 도시한 순서도이다.

Claims (14)

  1. 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치로서,
    사용자의 손목 부근에 착용되어 광 신호를 발생하는 위치 지시기기;
    상기 위치 지시기기로부터 발생된 광 신호를 수신하고, 사용자 전면의 영상을 각각 계측하기 위한 이미지 센서를 구비한 복수의 영상 계측부를 포함하는 신호 계측수단; 및
    상기 신호 계측수단에 의해 계측된 각각의 영상을 분석하여 3차원 좌표를 계산하고, 상기 신호 계측수단에 의해 수신된 광 신호로부터 상기 3차원 좌표 상에서 사용자 손의 움직임 패턴을 인식하여, 대응하는 명령을 출력하는 신호 처리수단;을 포함하고,
    상기 위치 지시기기는 손가락의 움직임을 검출할 수 있는 입력 신호 계측수단을 구비하며,
    상기 입력 신호 계측수단은 상기 손의 움직임 패턴의 시작과 끝을 지시하는 명령을 계측하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  2. 청구항 1에 있어서,
    상기 신호 처리수단은,
    상기 복수의 영상 계측부에 구비된 이미지 센서의 화각이 서로 겹치는 영역에 가상의 디스플레이 화면을 구현하고, 상기 가상의 디스플레이 화면의 영상으로부터 3차원 좌표를 계산하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  3. 청구항 1에 있어서,
    상기 신호 처리수단은,
    상기 복수의 영상 계측부에 의해 계측된 각 영상으로부터 2차원 좌표를 추출하는 2차원 좌표 계산부;를 포함하며,
    상기 2차원 좌표 계산부에 의해 추출된 2차원 좌표 및 상기 광 신호에 의해 감지된 손의 위치정보에 기초하여 3차원 좌표를 계산하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  4. 청구항 1에 있어서,
    상기 영상 계측부는,
    상기 위치 지시기기로부터 발생된 위치 신호와 상기 영상을 구분하기 위한 필터를 구비한 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  5. 청구항 1에 있어서,
    상기 신호 계측수단은,
    사용자의 움직임으로부터 신체의 흔들림 정도를 계측하는 신체 흔들림 계측부;를 더 포함하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  6. 청구항 5에 있어서,
    상기 신체 흔들림 계측부는,
    관성센서를 포함하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  7. 청구항 5에 있어서,
    상기 신호 처리수단은,
    상기 신체 흔들림 계측부에 의해 계측된 신체의 흔들림 정도에 기초하여 상기 영상 계측부로부터 계측된 영상의 흔들림을 보정하는 신체 흔들림 보정부;를 더 포함하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  8. 청구항 1에 있어서,
    상기 위치 지시기기는,
    사용자 손의 위치 이동 시마다 광 신호를 발생하는 위치신호 발생수단; 및
    사용자로부터 제어명령을 입력받는 입력신호 계측수단;을 포함하며,
    상기 입력신호 계측수단으로 입력된 사용자 제어명령에 기초하여 상기 위치신호 발생수단의 동작을 제어하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치.
  9. 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법으로서,
    사용자의 손목 부근에 착용된 위치 지시기기로부터 사용자 손의 위치를 나타내는 광 신호가 발생되는 단계;
    상기 위치 지시기기로부터 발생된 광 신호를 수신하고, 사용자 전면에 대한 복수의 영상을 계측하는 단계;
    상기 계측하는 단계에서 계측된 각각의 영상을 분석하여 3차원 좌표를 계산하는 단계;
    상기 계측하는 단계에서 수신된 광 신호로부터 사용자 손의 위치를 파악하고, 상기 계산된 3차원 좌표 상에서 사용자 손의 움직임 패턴을 인식하는 단계; 및
    상기 인식하는 단계에서 인식된 움직임 패턴에 대응하는 명령을 출력하는 단계;를 포함하고,
    상기 복수의 영상을 계측하는 단계는,
    손가락의 움직임을 검출하여 상기 손의 움직임 패턴의 시작과 끝을 지시하는 명령을 계측하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법.
  10. 청구항 9에 있어서,
    상기 계산하는 단계는,
    상기 계측하는 단계에서 영상을 계측하는 복수의 이미지 센서의 화각이 서로 겹치는 영역에 가상의 디스플레이 화면을 구현하고, 상기 가상의 디스플레이 화면의 영상으로부터 3차원 좌표를 계산하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법.
  11. 청구항 9에 있어서,
    상기 계산하는 단계는,
    상기 복수의 영상 계측수단에 의해 계측된 각 영상으로부터 2차원 좌표를 추출하는 단계;를 포함하며,
    상기 추출된 2차원 좌표, 및 상기 계측하는 단계의 상기 광 신호에 의해 감지된 손의 위치정보에 기초하여 3차원 좌표를 계산하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법.
  12. 청구항 9에 있어서,
    상기 계측하는 단계는,
    상기 사용자의 움직임으로부터 신체의 흔들림 정도를 계측하는 단계;를 포함하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법.
  13. 청구항 12에 있어서,
    상기 계측된 신체의 흔들림 정도에 근거하여 상기 계측하는 단계에서 계측된 영상의 흔들림을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법.
  14. 청구항 9에 있어서,
    상기 광 신호는,
    사용자로부터 상기 위치 지시기기로 손의 움직임의 시작과 끝을 알리는 신호가 입력되면, 상기 사용자로부터 입력된 신호에 기초하여 발생되는 것을 특징으로 하는 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 방법.
KR1020090090147A 2008-10-29 2009-09-23 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 KR101284797B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/604,895 US20100103104A1 (en) 2008-10-29 2009-10-23 Apparatus for user interface based on wearable computing environment and method thereof
JP2009248773A JP2010108500A (ja) 2008-10-29 2009-10-29 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080106474 2008-10-29
KR20080106474 2008-10-29

Publications (2)

Publication Number Publication Date
KR20100047793A KR20100047793A (ko) 2010-05-10
KR101284797B1 true KR101284797B1 (ko) 2013-07-10

Family

ID=42274719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090090147A KR101284797B1 (ko) 2008-10-29 2009-09-23 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법

Country Status (2)

Country Link
JP (1) JP2010108500A (ko)
KR (1) KR101284797B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101560474B1 (ko) 2014-02-18 2015-10-14 성균관대학교산학협력단 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법
KR101577359B1 (ko) * 2015-03-16 2015-12-14 박준호 웨어러블 디바이스
US9638534B2 (en) 2014-12-16 2017-05-02 Hyundai Motor Company Arrival time notification system using smart glasses and method thereof
US11262841B2 (en) 2012-11-01 2022-03-01 Eyecam Llc Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010205223A (ja) * 2009-03-06 2010-09-16 Seiko Epson Corp 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置
KR101157073B1 (ko) 2010-12-10 2012-06-21 숭실대학교산학협력단 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치
KR20120064900A (ko) * 2010-12-10 2012-06-20 곽진호 사생활보호 기능이 구현되는 통신단말기 및 통신방법, 사생활보호 기능 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
KR101251774B1 (ko) * 2011-05-17 2013-04-05 목원대학교 산학협력단 거동이 불편한 사용자를 위해 가상 현실과 실세계를 정합하는 정합 시스템 및 정합 방법 그리고 웨어러블 입력장치 및 명령 신호 제공 방법
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
KR101397812B1 (ko) * 2012-11-30 2014-05-20 강원대학교산학협력단 원격 터치 및 드래그 방식 입력 시스템
JP6149403B2 (ja) * 2013-01-07 2017-06-21 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
KR102065417B1 (ko) * 2013-09-23 2020-02-11 엘지전자 주식회사 웨어러블 이동단말기 및 그 제어방법
KR102033334B1 (ko) * 2014-02-03 2019-10-17 한국전자통신연구원 변형가능한 기재를 가지는 손목착용형 장치
WO2015142023A1 (en) 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
KR20150110032A (ko) 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
KR20170028130A (ko) 2015-09-03 2017-03-13 박준호 웨어러블 디바이스
KR102612988B1 (ko) 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
KR102163825B1 (ko) * 2018-02-24 2020-10-13 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
KR102102309B1 (ko) * 2019-03-12 2020-04-21 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법
WO2022250238A1 (ko) * 2021-05-25 2022-12-01 (주) 이즈커뮤니케이션즈 컴퓨터에의 정보 입력 시스템 및 이 정보 입력 시스템을 이용한 입력 정보의 좌표 산출 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
KR20050065197A (ko) * 2003-12-24 2005-06-29 한국전자통신연구원 착용형 인터페이스 장치
KR100674090B1 (ko) 2004-12-20 2007-01-24 한국전자통신연구원 착용형 범용 3차원 입력 시스템
KR100851977B1 (ko) 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003035515A (ja) * 2001-07-23 2003-02-07 Nippon Telegr & Teleph Corp <Ntt> 三次元位置検出方法，装置および三次元位置検出用のマーカ
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP4038689B2 (ja) * 2004-01-21 2008-01-30 ソニー株式会社 表示制御装置および方法、記録媒体、並びにプログラム
EP1821183A4 (en) * 2004-10-05 2011-01-26 Nikon Corp ELECTRONIC EQUIPMENT

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
KR20050065197A (ko) * 2003-12-24 2005-06-29 한국전자통신연구원 착용형 인터페이스 장치
KR100674090B1 (ko) 2004-12-20 2007-01-24 한국전자통신연구원 착용형 범용 3차원 입력 시스템
KR100851977B1 (ko) 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262841B2 (en) 2012-11-01 2022-03-01 Eyecam Llc Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
KR101560474B1 (ko) 2014-02-18 2015-10-14 성균관대학교산학협력단 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법
US9638534B2 (en) 2014-12-16 2017-05-02 Hyundai Motor Company Arrival time notification system using smart glasses and method thereof
KR101577359B1 (ko) * 2015-03-16 2015-12-14 박준호 웨어러블 디바이스
WO2016148486A1 (ko) * 2015-03-16 2016-09-22 박준호 웨어러블 디바이스
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system

Also Published As

Publication number Publication date
JP2010108500A (ja) 2010-05-13
KR20100047793A (ko) 2010-05-10

Similar Documents

Publication Publication Date Title
KR101284797B1 (ko) 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US20190346940A1 (en) Computing interface system
KR101302138B1 (ko) 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
US10444908B2 (en) Virtual touchpads for wearable and portable devices
CN105824431A (zh) 信息输入装置与方法
CN104254816A (zh) 数据输入装置
US10120444B2 (en) Wearable device
CN105026983A (zh) 提供眼睛注视校准的头戴式显示器及其控制方法
KR20110063075A (ko) 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
CN104298340A (zh) 控制方法和电子设备
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
KR20120037739A (ko) 손동작 기반 사용자 인터페이스 장치 및 그 방법
KR101588021B1 (ko) 헤드 마우스
JP2016115310A (ja) 電子機器
WO2021207033A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
KR102322968B1 (ko) 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법
KR20180044535A (ko) 홀로그래피 스마트홈 시스템 및 제어방법
RU2577467C1 (ru) Мобильное устройство для организации сенсорной плоскости
KR20190022019A (ko) 웨어러블 마우스 및 그 동작방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171010

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 7