KR20130117553A - 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법 - Google Patents

제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법 Download PDF

Info

Publication number
KR20130117553A
KR20130117553A KR1020120040492A KR20120040492A KR20130117553A KR 20130117553 A KR20130117553 A KR 20130117553A KR 1020120040492 A KR1020120040492 A KR 1020120040492A KR 20120040492 A KR20120040492 A KR 20120040492A KR 20130117553 A KR20130117553 A KR 20130117553A
Authority
KR
South Korea
Prior art keywords
bubble
bubble cloud
gesture
cloud
layer
Prior art date
Application number
KR1020120040492A
Other languages
English (en)
Inventor
김진우
한태만
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120040492A priority Critical patent/KR20130117553A/ko
Priority to US13/738,651 priority patent/US20130283214A1/en
Publication of KR20130117553A publication Critical patent/KR20130117553A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상현실 또는 증강현실에서 사용자의 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법이 개시된다. 본 발명에 따른 제스처를 인식하는 사용자 인터페이스 제공 장친 가상현실을 3차원 영역에 제공하는 영상 제공부와, 3차원 영역에 표현되고 시각적 접촉 효과를 통한 사용자 경험에 기반하여 제스처를 인식하는 조작 인식부와, 제스처를 인식하여 적어도 하나의 버블 클라우드를 조작하는 처리부를 포함한다. 또한, 제스처를 인식하는 사용자 인터페이스 제공 장치는 3차원 공간에서 증강현실, 가상현실에서 손을 이용한 제스처 인식 기반의 3차원 모델 제어가 아닌 실제 세계에서 물체를 손으로 혹은 도구로 잡을 때 사용하는 동일한 방식으로 가상의 물체를 잡아서 조작할 수 있도록 하기 위한 메뉴 조작 및 구성을 위한 사용자 인터페이스를 제공한다.

Description

제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법{APPARATUS AND METHOD FOR PROVIDING USER INTERFACE FOR RECOGNIZING GESTURE}
본 발명은 사용자 인터페이스에 관한 것으로, 더욱 상세하게는 가상현실 또는 증강현실에서 사용자의 제스처를 인식하는 사용자 인터페이스를 제공하는 장치 및 방법에 관한 것이다.
종래의 3D TV, 증강현실(augmented reality), 가상현실(virtual reality)에서 사용하는 사용자 인터페이스(UI: User Interface)는 2차원 평면에서 사용하는 UI를 그대로 가져와, 가상 터치 방식으로 사용하거나 커서를 이동해서 사용하도록 하고 있다.
또한, 증강현실 또는 가상현실에서 메뉴는 아이콘 형태로 이루어져 있고, 상위 단계로 폴더나 또 다른 화면에서 메뉴를 관리한다. 그리고 드래그 앤 드롭 방식을 사용하거나 선택을 해서 그 하위 내부를 볼 수 있도록 하고 있다. 하지만, 종래의 기술은 3차원 공간에서 2차원 배열을 활용하거나, 3차원 공간 상에 있더라도 도구나 제스처 인식 인터페이스는 원격 포인팅 또는 마우스 역할을 대체하는 수준 이상을 벗어나지 못하고 있다.
한국공개특허 제2009-0056792호는 증강현실을 위한 입력 인터페이스와 이를 구비한 증강현실 시스템에 관한 기술을 제공하고 있으나, 사용자가 3차원의 공간에서 직관적으로 메뉴를 조작하는 데는 한계가 있다.
또한, 상기한 공개특허는 사용자의 제스처를 인식하여 여러 계층으로 분류될 수 있는 메뉴를 실행할 수 없어, 사용자는 증강현실 또는 가상현실에서 직관적으로 메뉴를 선택 또는 실행할 수 없는 문제점이 있다.
본 발명의 목적은 실제 세계에서 물체를 손으로 또는 도구로 잡을 때 사용하는 방식과 동일한 방식으로 가상의 물체를 잡아서 조작할 수 있도록 하는 제스처를 인식하는 사용자 인터페이스를 제공하는 것이다.
또한, 본 발명의 목적은 실제 세계에서 물체를 만지고 조작하는 것과 가상현실 또는 증강현실에서 조작하는 방법의 사용자 경험을 동일하게 하여 사용자에게 직관성과 편의성을 가진 사용자 인터페이스를 제공하는 것이다.
또한, 본 발명의 목적은 버블 클라우드 개념에 기반하여 3차원 공간을 이용하여 많은 양의 데이터를 효과적으로 관리할 수 있는 사용자 인터페이스를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 제스처를 인식하는 사용자 인터페이스 제공 장치의 일 실시예는, 가상현실을 3차원 영역에 제공하는 영상 제공부와, 3차원 영역에 표현되고 시각적 접촉 효과를 통한 사용자 경험에 기반하여 제스처를 인식하는 조작 인식부 및 제스처를 인식하여 적어도 하나의 버블 클라우드를 조작하는 처리부를 포함한다.
이 때, 영상 제공부는, 적어도 하나의 버블 클라우드를 포함하는 버블 계층과, 버블 계층을 검색하여 적어도 하나의 버블 클라우드 중에서 원하는 버블 클라우드를 선택할 수 있도록 하는 버블 외곽 계층을 제공할 수 있다.
이 때, 적어도 하나의 버블 클라우드는, 다수의 계층으로 구분될 수 있고, 하위 계층의 버블 클라우드가 상위 계층의 버블 클라우드에 포함될 수 있다.
이 때, 조작 인식부는, 하나의 손 또는 양손의 제스처를 인식하여 처리부가 적어도 하나의 버블 클라우드를 조작할 수 있도록 한다.
이 때, 처리부는, 조작 인식부가 인식한 제스처에 따라 하위 계층의 버블 클라우드를 상위 계층의 버블 클라우드 내로 이동시키거나, 상위 계층의 버블 클라우드 밖으로 이동시킬 수 있다.
이 때, 처리부는, 조작 인식부가 인식한 제스처에 따라 적어도 하나의 버블 클라우드에 속하는 두 개 이상의 버블 클라우드를 병합시킬 수 있다.
또한, 본 발명의 다른 실시예에 따른 제스처를 인식하는 사용자 인터페이스를 제공하는 방법은, 제스처 또는 음성 명령에 기반하여 적어도 하나의 버블 클라우드를 포함하는 3차원 영역을 회전시켜 적어도 하나의 버블 클라우드를 검색하는 단계와, 적어도 버블 클라우드 중에서 제스처에 상응하는 버블 클라우드를 선택하는 단계와, 줌 인 또는 줌 아웃에 상응하는 제스처에 따라 선택한 버블 클라우드를 줌 인 또는 줌 아웃하는 단계와, 시각적 접촉 효과를 통한 사용자 경험에 기반하여 선택한 버블 클라우드를 인식하는 단계 및 인식한 버블 클라우드를 제스처에 따라 이동 또는 회전시켜 버블 클라우드를 조작하는 단계를 포함한다.
이 때, 사용자 인터페이스 제공 방법은, 인식한 버블 클라우드를 조작하여 다른 버블 클라우드에 포함시키거나, 다른 버블 클라우드와 병합하여 버블 클라우드를 관리하는 단계를 더 포함할 수 있다.
이 때, 적어도 하나의 버블 클라우드는, 하나의 손 또는 양손의 제스처에 의해 조작 또는 관리될 수 있다.
이 때, 적어도 하나의 버블 클라우드는, 다수의 계층으로 구분될 수 있고, 하위 계층의 버블 클라우드가 상위 계층의 버블 클라우드에 포함될 수 있다.
이 때, 버블 클라우드를 관리하는 단계는, 하위 계층의 버블 클라우드는 제스처에 따라 상위 계층의 버블 클라우드 내로 이동하거나, 상위 계층의 버블 클라우드 밖으로 이동하며, 적어도 하나의 버블 클라우드에 속하는 두 개 이상의 버블 클라우드가 제스처에 따라 병합될 수 있다.
본 발명에 따르면, 실제 세계에서 물체를 손으로 또는 도구로 잡을 때 사용하는 방식과 동일한 방식으로 가상의 물체를 잡아서 조작할 수 있도록 한다.
또한, 본 발명은 실제 세계에서 물체를 만지고 조작하는 것과 가상현실 또는 증강현실에서 조작하는 방법의 사용자 경험을 동일하게 하여 사용자에게 직관성과 편의성을 제공할 수 있다.
또한, 본 발명은 버블 클라우드 개념에 기반하여 3차원 공간을 이용하여 많은 양의 데이터를 효과적으로 관리할 수 있다.
도 1은 본 발명의 실시예에 따른 계층에 기반하는 버블 클라우드를 설명하는 개념도이다.
도 2는 본 발명의 실시예에 따른 버블 클라우드에 대한 관리를 설명하는 개념도이다.
도 3은 본 발명의 실시예에 따른 버블 클라우드의 이동을 설명하는 개념도이다.
도 4는 본 발명의 실시예에 따른 버블 클라우드의 결합을 설명하는 개념도이다.
도 5는 본 발명의 실시예에 따른 사용자 인터페이스를 제공하는 장치의 구성을 나타내는 블록도이다.
도 6은 본 발명의 실시예에 따라 사용자 인터페이스를 제공하는 방법에 대한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 계층에 기반하는 버블 클라우드를 설명하는 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 버블 사용자 인터페이스(UI)는 현실 세계의 무중력 상태에서 공중에 떠있는 물체를 만지고 옮기는 사용자 경험을 기본으로 하여, 가상현실 또는 증강현실에서 가상의 3D 물체를 시각적인 접촉효과가 있는 인터페이스를 사용할 경우에 있어서 사용가능 한 UI 개념이다.
더불어, 본 발명에서 제시하는 UI개념은 실제 비누방울의 물리적인 개념과 가상세계에서의 3D 모델의 3차원 정보를 결합하여 가상세계에서 실제 세계의 물체를 조작할 수 있는 느낌을 사용자에게 제공할 수 있다.
따라서, 본 발명에 따른 제스처를 인식하는 사용자 인터페이스는 가상현실을 제공하는 3차원 영역과, 3차원 영역에 표현되고 시각적 접촉 효과를 통한 사용자 경험에 기반하여 제스처에 따라 조작되는 적어도 하나의 버블 클라우드를 포함한다. 여기서, 버블 클라우드는 하나의 버블, 버블의 집합, 버블 아이템, 메뉴, 메뉴의 집합, 아이콘 또는 아이콘의 집합을 의미할 수 있다.
도 1에 있어서, 버블 클라우드는 여러 개의 계층(Layer)으로 분류될 수 있다. 제 1 계층 버블 클라우드(100)는 제 2 계층 버블 클라우드(110)와 비교하여 상위 계층에 있고, 제 2 계층 버블 클라우드(110)는 제 3 계층 버블 클라우드(120)와 비교하여 상위 계층에 있을 수 있다. 예컨대, 제 1 계층 버블 클라우드(100)는 적어도 하나의 제 2 계층 버블 클라우드(110)를 포함하고, 제 2 계층 버블 클라우드(110)는 적어도 하나의 제 3 계층 버블 클라우드(120)를 포함할 수 있다. 또한, 상위의 계층에 속하는 제 1 계층 버블 클라우드(100)는 폴더와 같은 역할을 할 수 있으며, 하위의 제 3 계층 버블 클라우드(120)는 하나의 아이템을 나타내는 버블, 아이콘 또는 메뉴의 역할을 할 수 있다. 즉, 적어도 하나의 버블 클라우드는, 다수의 계층으로 구분될 수 있고 하위 계층의 버블 클라우드가 상위 계층의 버블 클라우드에 포함될 수 있다.
도 1에 있어서, 본 발명의 실시예에 따른 사용자 인터페이스는 버블 클라우드를 손이나 도구를 이용해서 시각적 접촉효과를 통해 잡는 느낌을 사용자에게 제공하여, 사용자가 버블 클라우드를 자유롭게 이동시킬 수 있도록 한다. 버블 클라우드는 한 손뿐만 아니라 양손으로도 제어가 가능하며, 이를 위하여 3차원 복원(Reconstruction)과 카메라 회전(Camera Roation)이 설정된 환경 내에서 3차원 정보를 가지고 있어야 한다. 즉, 적어도 하나의 버블 클라우드는, 하나의 손 또는 양손의 제스처에 의해 조작될 수 있다.
도 2는 본 발명의 실시예에 따른 버블 클라우드에 대한 관리를 설명하는 개념도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 사용자 인터페이스는 제 1 계층 버블 클라우드(100) 내로 하위 계층의 버블 클라우드 또는 버블을 옮기거나 반대로 외부로 옮길 때 사용 가능한 사용자 경험(UX: User eXperience)을 제공한다.
예컨대, 제 1 계층 버블 클라우드(100) 내로 하위 계층의 버블 클라우드 또는 버블을 옮기거나 반대로 외부로 옮김으로써, 해당 버블 클라우드 또는 버블에 해당하는 새로운 응용 프로그램을 엡스토어, 웹이나 다른 저장소를 통해서 다운 받거나 옮길 수 있다.
제스처를 인식하는 사용자 인터페이스는 손이나 가상의 도구로 외부에 있는 버블을 집어서 최상위의 버블 클라우드 내로 넣을 수 있도록 하여, 사용자에게 3차원 공간 내에서의 직관적인 조작을 가능하게 할 수 있다.
도 2는 새로운 버블을 사용가능 한 버블 클라우드 영역 내로 가져오는 방법을 나타내고 있다. 버블 계층(200)은 실제 버블 및 버블 클라우드가 존재하는 영역이며, 버블 외곽 계층(300)은 버블 밖에서 사용자가 제스처 등을 사용하여 버블 클라우드 전체에 대하여 카메라 회전(Camera rotation)을 하거나, 지적(pointing) 제스처 또는 음성 명령으로 원하는 버블 혹은 버블 클라우드를 선택할 수 있도록 하는 3차원 영역이다. 즉, 사용자는 버블 계층(200)의 영역으로 버블 클라우드 또는 버블을 가져올 수 있고, 버블 계층(200)의 영역으로 가져온 버블 클라우드 또는 버블을 사용할 수 있다.
따라서, 3차원 영역은, 적어도 하나의 버블 클라우드를 포함하는 버블 계층(200)과, 버블 계층(200)을 검색하여 적어도 하나의 버블 클라우드 중에서 원하는 버블 클라우드를 선택할 수 있도록 하는 버블 외곽 계층(300)을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 버블 클라우드의 이동을 설명하는 개념도이다.
도 3을 참조하면, 제 3 계층 버블 클라우드(120)에 있는 버블 또는 아이콘을 손 혹은 집게와 같은 도구로 잡아서 다른 버블 클라우드 안에 밀어서 집어넣을 수 있다. 이는 마치 3차원 공간 내 비누방울에 다른 비누방울을 집어넣는 개념과 같은 것이다. 즉, 사용자에게 무중력상태에서의 물리적 성질을 가진 비누방울을 쉽게 손 또는 도구로 조작할 수 있는 직관성을 제공해 준다.
도 3에서와 같이, 사용자는 손 또는 도구를 이용하여 제 3 계층 버블 클라우드(120)를 제 2 계층 버블 클라우드(110)에 삽입하거나 뺄 수 있다. 즉, 사용자는 서로 다른 계층에 속하는 버블 클라우드를 손 또는 도구를 이용하여 직관적으로 이동시킴에 의하여 버블 클라우드를 관리할 수 있다.
따라서, 하위 계층의 버블 클라우드는 제스처에 따라 상위 계층의 버블 클라우드 내로 이동하거나, 상위 계층의 버블 클라우드 밖으로 이동할 수 있다.
도 4는 본 발명의 실시예에 따른 버블 클라우드의 결합을 설명하는 개념도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 제스처를 인식하는 사용자 인터페이스는 사용자가 한 손 또는 양 손으로 버블 클라우드를 합칠 수 있도록 한다.
사용자는 하나의 버블의 내용을 다른 버블의 내용에 포함하고 싶을 경우 한 손으로 하나의 버블을 잡고 포함시키고자 하는 버블에 가져간 뒤 버블을 터트리는 동작 (주먹)을 취하면 하나의 버블을 다른 버블에 합칠 수 있다.
이 때, 버블이 아이템일 경우 두 아이템을 포함하는 또 다른 버블이 생기고 두 버블이 아이템을 포함하고 있는 버블 클라우드인 경우에는 도 4와 같이 합치고자 하는 버블로 손에 잡혔던 버블의 아이템들이 들어간다.
버블 또는 버블 클라우드를 합치는데 있어서, 한 손으로 합쳐질 경우와 양 손으로 합쳐지는 경우를 동시에 사용이 가능하다. 양 손으로 합칠 때는 양쪽 손으로 버블을 하나씩 잡고 합치는 데 이때도 한 손과 마찬가지로 더 많이 움직여서 들어가는 버블이 다른 버블로 합칠 수 있다. 즉, 적어도 하나의 버블 클라우드에 속하는 두 개 이상의 버블 클라우드가 제스처에 따라 병합될 수 있다.
도 5는 본 발명의 실시예에 따른 사용자 인터페이스를 제공하는 장치의 구성을 나타내는 블록도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 사용자 인터페이스 제공 장치(400)는 인터페이스 제공부(410), 조작 인식부(420) 및 처리부(430)를 포함한다.
영상 제공부(410)는 가상현실을 3차원 영역에 제공할 수 있다. 증강현실 또는 가상현실을 3차원 공간에 제공하기 위하여 HMD(Head Mounted Display), EGD(Eye Glass Display) 등을 사용할 수 있다. 예컨대, 영상 제공부(410)는 적어도 하나의 버블 클라우드를 포함하는 버블 계층과 버블 계층을 검색하여 적어도 하나의 버블 클라우드 중에서 원하는 버블 클라우드를 선택할 수 있도록 하는 버블 외곽 계층을 제공할 수 있다.
조작 인식부(420)는 3차원 영역에 표현되고 시각적 접촉 효과를 통한 사용자 경험에 기반하여 제스처를 인식할 수 있다. 본 발명의 실시예에 따르면, 조작 인식부(420)는 카메라, 적외선 탐지 또는 다양한 센서를 활용하여 사용자의 제스처를 인식할 수 있으며, 본 발명에 있어 특별한 제한은 없다. 예컨대, 조작 인식부(420)는 하나의 손 또는 양손의 제스처를 인식하여 적어도 하나의 버블 클라우드를 조작할 수 있다.
처리부(430)는 조작 인식부(420)에 의해 인식된 제스처에 따라 적어도 하나의 버블 클라우드를 조작할 수 있다. 처리부(430)는 조작 인식부에 의해 인식된 제스처에 대한 정보를 처리할 수 있고, 처리된 정보에 기반하여 영상 제공부를 제어할 수 있다. 예컨대, 처리부(430)는 마이크로프로세서(MPU) 또는 마이콤(MCU)일 수 있다. 또한, 처리부(430)는 제스처에 따라 하위 계층의 버블 클라우드를 상위 계층의 버블 클라우드 내로 이동시키거나, 상위 계층의 버블 클라우드 밖으로 이동시킬 수 있다. 또한, 처리부(430)는 적어도 하나의 버블 클라우드에 속하는 두 개 이상의 버블 클라우드를 제스처에 따라 병합시킬 수 있다.
도 6은 본 발명의 실시예에 따라 사용자 인터페이스를 제공하는 방법에 대한 흐름도이다.
도 6을 참조하면, 본 발명의 실시예에 따른 제스처를 인식하는 사용자 인터페이스를 제공하는 방법은, 제스처 또는 음성 명령에 기반하여 적어도 하나의 버블 클라우드를 포함하는 3차원 영역을 회전시켜 적어도 하나의 버블 클라우드를 검색하는 단계와, 적어도 버블 클라우드 중에서 제스처에 상응하는 버블 클라우드를 선택하는 단계와, 줌 인 또는 줌 아웃에 상응하는 제스처에 따라 선택한 버블 클라우드를 줌 인 또는 줌 아웃하는 단계와, 시각적 접촉 효과를 통한 사용자 경험에 기반하여 선택한 버블 클라우드를 인식하는 단계 및 인식한 버블 클라우드를 제스처에 따라 이동 또는 회전시켜 버블 클라우드를 조작하는 단계를 포함한다.
버블 클라우드를 검색하는 단계는, 카메라 회전(Camera rotation) 또는 축을 회전시켜 적어도 하나의 버블 클라우드를 검색할 수 있다(S500). 즉, 사용자가 3차원 공간 내 증강된 버블 아이템 혹은 버블 클라우드를 원거리 혹은 근거리에서 접촉하지 않고 360도로 회전시키면서 원하는 버블을 찾을 수 있다. 이 때 사용하는 사용자 인터페이스는 제스처를 통한 회전과 음성 명령을 통한 회전이 있다. 이 두 가지 명령은 멀티 모델 형태로 융합되거나 독립적인 형태로 공존할 수 있다. 예를 들어 제스처 인식으로 좌우로 돌리다가 음성으로 상하방향으로 회전을 시킬 때 사용자 인터페이스는 가장 최근의 명령을 인식할 수 있다.
버블 클라우드를 선택하는 단계는, 원하는 버블을 시각적으로 찾은 후 음성 혹은 포인팅 제스처로 버블 클라우드를 선택할 수 있다(S510). 즉, 버블 클라우드에 대한 검색이 끝난 후나 사용자 인터페이스가 시작되고 최초로 회전을 통한 검색단계를 거치지 않고 사용자는 근거리 혹은 원거리에 위치한 시야에 들어오는 버블클라우드를 포인팅 명령을 통해서 사용자 가까이 가져올 수 있다. 포인팅 명령은 손가락 혹은 손을 모아서 하나의 방향 벡터로 선택할 수도 있고 도구를 사용하여 포인팅해도 조작할 수 있도록 한다. 또한, 포인팅 명령은 음성 명령을 통해서 버블 ID 혹은 Name을 지칭하여 선택할 수 있도록 한다.
버블 클라우드를 줌 인 또는 줌 아웃하는 단계에 있어서, 선택된 버블 클라우드는 카메라 뷰(Camera View)를 통한 줌인 아웃(Zoom in/out)을 이용하여 관찰될 수 있다(S520). 즉, 선택된 원거리의 버블 클라우드는 사용자 가까이에 줌인 형태로 보여지며, 실제 3차원 깊이 정보를 가진 채 사용자와 가까운 방향으로 복사되어 이동될 수 있다. 이 때 사용자는 앞쪽으로 다가온 3D 버블 아이템 혹은 버블 클라우드를 조작하여 사용 후 다시 원위치 시킬 수도 있고 앞쪽으로 다가온 현 위치에 둘 수도 있다.
버블 클라우드를 인식하는 단계는, 손으로 혹은 도구로 버블을 시각적 접촉효과에 기반하여 사용자가 잡았다고 인식할 수 있다(S530). 즉, 가까이 가져온 버블 클라우드를 원위치로 가져다 놓을 때와 현 위치에 두는 경우를 구분할 수 있다. 원위치로 가져다 놓을 때는 앞쪽으로 가져온 버블 클라우드를 손가락 하나 혹은 하나의 접촉 점의 인식이 가능한 도구로 터치하여 버블 클라우드내의 내용을 살펴 보고 종료한 뒤 다시 깊이 방향으로 밀어 넣은 동작을 취하면 원위치로 돌아간다. 또한, 반대로 가져온 버블 클라우드를 현 위치에 두고 싶을 때는 손으로 잡아서 내용을 확인할 수 있다. 하지만 손으로 잡아서 내용을 확인하고 종료하더라도 버블 클라우드를 하나의 접촉점을 가진 사용자 인터페이스로 깊이 방향으로 밀어 넣으면 원위치로 가게 한다.
버블 클라우드를 조작하는 단계는, 잡은 버블 클라우드를 이동 또는 회전을 통해 조작할 수 있다(S540). 즉, 손이나 도구로 잡은 버블 클라우드는 한 손 혹은 두 손으로 조작이 가능하다. 접촉된 상태의 버블 클라우드는 한 손 혹은 두 손으로 이동 및 회전, 버블 재정렬 동작을 할 수 있다.
버블 클라우드를 관리하는 단계는, 버블 클라우드를 다른 버블 클라우드 내외로 이동시키거나 버블 클라우드간의 병합을 통하여 버블 클라우드를 관리할 수 있다(S550). 즉, 한 손 혹은 두 손으로 잡은 버블 클라우드는 버블 클라우드 간 통합 및 삽입, 빼내기 동작 등을 통하여 하나의 버블 클라우드에서 다른 버블 클라우드로 버블 아이템을 가져올 수 있고, 이를 통하여 여러 개의 버블 메뉴를 효율적으로 관리할 수 있다.
따라서, 하위 계층의 버블 클라우드는 제스처에 따라 상위 계층의 버블 클라우드 내로 이동하거나, 상위 계층의 버블 클라우드 밖으로 이동하며, 적어도 하나의 버블 클라우드에 속하는 두 개 이상의 버블 클라우드가 제스처에 따라 병합될 수 있다.
또한, 적어도 하나의 버블 클라우드는, 하나의 손 또는 양손의 제스처에 의해 조작 또는 관리될 수 있다.
여기서, 적어도 하나의 버블 클라우드는, 다수의 계층으로 구분될 수 있고, 하위 계층의 버블 클라우드가 상위 계층의 버블 클라우드에 포함될 수 있다.
상술한 본 발명에 따른 제스처를 인식하는 사용자 인터페이스 제공 장치는 3차원 공간에서 증강현실, 가상현실에서 손을 이용한 제스처 인식 기반의 3차원 모델 제어가 아닌 실제 세계에서 물체를 손으로 혹은 도구로 잡을 때 사용하는 동일한 방식으로 가상의 물체를 잡아서 조작할 수 있도록 하기 위한 메뉴 조작 및 구성을 위한 사용자 인터페이스를 제공한다.
또한, 상술한 각각의 단계는 실시간으로 사용자 인터페이스에서 동작이 될 수 있고, 서로 독립적으로 기능이 수행될 수 있다.
따라서, 본 발명의 실시예에 따른 사용자 인터페이스는 현실세계에서 물체를 만지고 조작하는 것과 가상현실 혹은 증강현실에서 조작하는 방법의 사용자 경험(UX)를 동일하게 하여 직관성과 편리성을 제공하고자 한다. 이를 위해서는 본 발명에서 제시한 버블 UI는 버블 안의 버블 개념으로 3차원 공간에서 많은 양의 데이터를 효율적이고 효과적으로 관리할 수 있다.
또한, 발명의 실시예에 따른 사용자 인터페이스는 2D 터치 기반 디스플레이 상에서 2.5D로 표현되는 UI를 제공할 수도 있으며, 증강현실, 가상현실 등 3차원 공간에서 HMD(Head Mounted Display), EGD(Eye Glass Display) 등의 장치를 기반으로 한 UI에 적용될 수 있다. 버블 클라우드는 버블 클라우드 속에 버블 클라우드 그리고 버블 클라우드를 하나의 축을 기준으로 회전할 수 있으므로 많은 기존의 스트림 또는 3차원 공간 상에 아이콘 형태로 표현한 UI를 대신하여 효과적인 3차원 가상 폴더 역할을 할 것이다.
또한, 실제 세계에서 공중에 떠 있는 버블 클라우드 속에 필요한 컨텐츠를 손으로 직접 잡아서 상위 버블 클라우드 속으로 밀어 넣고 다시 집어서 빼낼 수 있는 UX는 3차원 공간 내에서 직관적인 인터페이스를 제공할 수 있다.
따라서, 본 발명의 실시예에 따른 제스처를 인식하는 사용자 인터페이스 제공 장치는 모니터 방식의 PC환경을 벗어나 증강현실 및 가상현실뿐만 아니라 모바일 혹은 휴대용 기기 등을 통해서 HMD, EGD 등의 기기에 활용될 수 있다.
이상에서와 같이 본 발명에 따른 제스처를 인식하는 사용자 인터페이스 및 그 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 제 1 계층 버블 클라우드
110: 제 2 계층 버블 클라우드
120: 제 3 계층 버블 클라우드
200: 버블 계층
300: 버블 외곽 계층
400: 사용자 인터페이스 제공 장치
410: 영상 제공부
420: 조작 인식부
430: 처리부

Claims (11)

  1. 가상현실을 3차원 영역에 제공하는 영상 제공부;
    상기 3차원 영역에 표현되고 시각적 접촉 효과를 통한 사용자 경험에 기반하여 제스처를 인식하는 조작 인식부; 및
    상기 제스처를 인식하여 적어도 하나의 버블 클라우드를 조작하는 처리부를 포함하는 제스처를 인식하는 사용자 인터페이스 제공 장치.
  2. 청구항 1에 있어서, 상기 영상 제공부는,
    상기 적어도 하나의 버블 클라우드를 포함하는 버블 계층; 및
    상기 버블 계층을 검색하여 상기 적어도 하나의 버블 클라우드 중에서 원하는 버블 클라우드를 선택할 수 있도록 하는 버블 외곽 계층을 제공하는 것을 특징으로 하는 제스처를 인식하는 사용자 인터페이스 제공 장치.
  3. 청구항 1에 있어서, 상기 적어도 하나의 버블 클라우드는,
    다수의 계층으로 구분될 수 있고, 하위 계층의 버블 클라우드가 상위 계층의 버블 클라우드에 포함되는 것을 특징으로 하는 제스처를 인식하는 사용자 인터페이스 제공 장치.
  4. 청구항 1에 있어서, 상기 조작 인식부는,
    하나의 손 또는 양손의 제스처를 인식하여 상기 처리부가 상기 적어도 하나의 버블 클라우드를 조작하도록 하는 것을 특징으로 하는 제스처를 인식하는 사용자 인터페이스 제공 장치.
  5. 청구항 3에 있어서, 상기 처리부는,
    상기 조작 인식부가 인식한 상기 제스처에 따라 상기 하위 계층의 버블 클라우드를 상기 상위 계층의 버블 클라우드 내로 이동시키거나, 상기 상위 계층의 버블 클라우드 밖으로 이동시키는 것을 특징으로 하는 제스처를 인식하는 사용자 인터페이스 제공 장치.
  6. 청구항 3에 있어서, 상기 처리부는,
    상기 조작 인식부가 인식한 상기 제스처에 따라 상기 적어도 하나의 버블 클라우드에 속하는 두 개 이상의 버블 클라우드를 병합시킬 수 있는 것을 특징으로 하는 제스처를 인식하는 사용자 인터페이스 제공 장치.
  7. 제스처를 인식하는 사용자 인터페이스 제공 장치가 수행하는 방법에 있어서,
    제스처 또는 음성 명령에 기반하여 적어도 하나의 버블 클라우드를 포함하는 3차원 영역을 회전시켜 상기 적어도 하나의 버블 클라우드를 검색하는 단계;
    상기 적어도 버블 클라우드 중에서 상기 제스처에 상응하는 버블 클라우드를 선택하는 단계;
    줌 인 또는 줌 아웃에 상응하는 상기 제스처에 따라 선택한 상기 버블 클라우드를 줌 인 또는 줌 아웃하는 단계;
    시각적 접촉 효과를 통한 사용자 경험에 기반하여 선택한 상기 버블 클라우드를 인식하는 단계; 및
    인식한 상기 버블 클라우드를 상기 제스처에 따라 이동 또는 회전시켜 상기 버블 클라우드를 조작하는 단계를 포함하는 제스처를 인식하는 사용자 인터페이스 제공 방법.
  8. 청구항 7에 있어서, 상기 사용자 인터페이스 제공 방법은,
    인식한 상기 버블 클라우드를 조작하여 다른 버블 클라우드에 포함시키거나, 상기 다른 버블 클라우드와 병합하여 상기 버블 클라우드를 관리하는 단계를 더 포함하는 제스처를 인식하는 사용자 인터페이스 제공 방법.
  9. 청구항 8에 있어서, 상기 적어도 하나의 버블 클라우드는,
    하나의 손 또는 양손의 제스처에 의해 조작 또는 관리되는 것을 특징으로 하는 제스처를 인식하는 사용자 인터페이스 제공 방법.
  10. 청구항 7에 있어서, 상기 적어도 하나의 버블 클라우드는,
    다수의 계층으로 구분될 수 있고, 하위 계층의 버블 클라우드가 상위 계층의 버블 클라우드에 포함되는 것을 특징으로 제스처를 인식하는 사용자 인터페이스 제공 방법.
  11. 청구항 9에 있어서, 상기 버블 클라우드를 관리하는 단계는,
    상기 하위 계층의 버블 클라우드는 상기 제스처에 따라 상기 상위 계층의 버블 클라우드 내로 이동하거나, 상기 상위 계층의 버블 클라우드 밖으로 이동하며, 상기 적어도 하나의 버블 클라우드에 속하는 두 개 이상의 버블 클라우드가 상기 제스처에 따라 병합되는 것을 특징으로 하는 제스처를 인식하는 사용자 인터페이스 제공 방법.
KR1020120040492A 2012-04-18 2012-04-18 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법 KR20130117553A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120040492A KR20130117553A (ko) 2012-04-18 2012-04-18 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
US13/738,651 US20130283214A1 (en) 2012-04-18 2013-01-10 Apparatus and method for providing user interface for recognizing gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120040492A KR20130117553A (ko) 2012-04-18 2012-04-18 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법

Publications (1)

Publication Number Publication Date
KR20130117553A true KR20130117553A (ko) 2013-10-28

Family

ID=49381341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120040492A KR20130117553A (ko) 2012-04-18 2012-04-18 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법

Country Status (2)

Country Link
US (1) US20130283214A1 (ko)
KR (1) KR20130117553A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097989A (ko) 2017-02-24 2018-09-03 한국전자통신연구원 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법
US10163001B2 (en) 2015-07-14 2018-12-25 Korea Institute Of Science And Technology Method and system for controlling virtual model formed in virtual space
WO2020159302A1 (ko) * 2019-01-31 2020-08-06 삼성전자 주식회사 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102412B (zh) * 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
KR102034021B1 (ko) 2015-08-10 2019-10-18 한국전자통신연구원 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법
US20180197342A1 (en) * 2015-08-20 2018-07-12 Sony Corporation Information processing apparatus, information processing method, and program
BR102017012517A2 (pt) * 2017-06-12 2018-12-26 Samsung Eletrônica da Amazônia Ltda. método para exibição de mídia ou interface de bolhas em 360°
USD879831S1 (en) * 2017-11-22 2020-03-31 Lg Electronics Inc. Display screen with graphical user interface
US11402917B2 (en) * 2018-06-20 2022-08-02 Sony Interactive Entertainment Inc. Gesture-based user interface for AR and VR with gaze trigger
CN110348370B (zh) * 2019-07-09 2021-05-11 北京猫眼视觉科技有限公司 一种人体动作识别的增强现实系统及方法
KR102495213B1 (ko) 2020-11-05 2023-02-07 한국전자통신연구원 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310619B1 (en) * 1998-11-10 2001-10-30 Robert W. Rice Virtual reality, tissue-specific body model having user-variable tissue-specific attributes and a system and method for implementing the same
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US9760234B2 (en) * 2008-10-14 2017-09-12 International Business Machines Corporation Desktop icon management and grouping using desktop containers
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US9372701B2 (en) * 2010-05-12 2016-06-21 Sony Interactive Entertainment America Llc Management of digital information via a buoyant interface moving in three-dimensional space

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163001B2 (en) 2015-07-14 2018-12-25 Korea Institute Of Science And Technology Method and system for controlling virtual model formed in virtual space
KR20180097989A (ko) 2017-02-24 2018-09-03 한국전자통신연구원 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법
WO2020159302A1 (ko) * 2019-01-31 2020-08-06 삼성전자 주식회사 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20130283214A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
KR20130117553A (ko) 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
US10437445B2 (en) Gestures involving direct interaction with a data visualization
US11048333B2 (en) System and method for close-range movement tracking
Pfeuffer et al. Gaze-touch: combining gaze with multi-touch for interaction on the same surface
Millette et al. DualCAD: integrating augmented reality with a desktop GUI and smartphone interaction
KR101817467B1 (ko) 가상 환경에서 객체와 상호 작용하는 시스템
US9910498B2 (en) System and method for close-range movement tracking
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US9836146B2 (en) Method of controlling virtual object or view point on two dimensional interactive display
EP2240843B1 (en) Method and apparatus for two-handed computer user interface with gesture recognition
US20130335324A1 (en) Computer vision based two hand control of content
US20140123077A1 (en) System and method for user interaction and control of electronic devices
US20160098094A1 (en) User interface enabled by 3d reversals
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10359905B2 (en) Collaboration with 3D data visualizations
KR20070039868A (ko) 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램
JP2013186540A (ja) 情報処理装置及び情報処理方法
US20110029864A1 (en) Touch-Optimized Approach for Controlling Computer Function Using Touch Sensitive Tiles
CN104040476A (zh) 用于运行能多点触控的显示器的方法和具有能多点触控的显示器的设备
JP6021272B2 (ja) 情報処理システムおよび情報処理方法
EP3204843B1 (en) Multiple stage user interface
JP2012022458A (ja) 情報処理装置およびその制御方法
Everitt et al. Modal spaces: spatial multiplexing to mediate direct-touch input on large displays
US10809794B2 (en) 3D navigation mode
Nishimoto Multi-User Interface for Scalable Resolution Touch Walls

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid