KR20120102754A - Ｔｖ 메뉴 및 문서 탐색에 대한 3차원 이상의 그래픽 유저 인터페이스 - Google Patents

Ｔｖ 메뉴 및 문서 탐색에 대한 3차원 이상의 그래픽 유저 인터페이스 Download PDF

Info

Publication number
KR20120102754A
KR20120102754A KR1020127017693A KR20127017693A KR20120102754A KR 20120102754 A KR20120102754 A KR 20120102754A KR 1020127017693 A KR1020127017693 A KR 1020127017693A KR 20127017693 A KR20127017693 A KR 20127017693A KR 20120102754 A KR20120102754 A KR 20120102754A
Authority
KR
South Korea
Prior art keywords
gui
selection bar
user interface
graphical user
move
Prior art date
Application number
KR1020127017693A
Other languages
English (en)
Inventor
알렉산더 베레스토브
천 친 리
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120102754A publication Critical patent/KR20120102754A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

3차원 이상(3+D)의 그래픽 유저 인터페이스(GUI)는, 대응하는 메뉴, 문서, 또는 데이터 집합의, 표시된 2차원(2D), 3차원, 또는 3+D 표현을 탐색하기 위해 검출된 3차원(3D) 손 움직임 또는 기타 입력 장치를 이용한다. 상, 하, 좌, 우, 선택, 퇴장, 이전, 새로운 검색, 시작, 종료, 및 선택취소 등을 포함(다만, 이에 제한되지는 않음)하는 탐색 명령에 대응하는 특정한 손동작(hand motions)이 사용될 수 있다. GUI는 2개의 초기 수직축과 충분히 각이 진 추가적인 축들을 표시함으로써, 탐색하는 것이(숨겨지기보다는) 잘 보이게 된다. 3+D GUI는 검색 결과, 문서 라이브러리 저장 등의 더 복잡한 데이터 집합(large complex data sets), 또는 TV 메뉴, 음악 선택, 사진, 비디오 등의 더 간단한 데이터 집합을 탐색하기 위해 사용될 수 있다.

Description

ＴＶ 메뉴 및 문서 탐색에 대한 3차원 이상의 그래픽 유저 인터페이스{THREE OR HIGHER DIMENSIONAL GRAPHICAL USER INTERFACE FOR TV MENU AND DOCUMENT NAVIGATION}
관련 출원 참조
이 출원은 2010년 1월 21일에 제출된 미국 특허출원 12/691,609호로부터 우선권을 주장한다.
본 발명은 일반적으로 그래픽 유저 인터페이스(GUI)에 관한 것이고, 더 구체적으로는 3차원(3D) 또는 더 고차원(3+D) 그래픽 유저 인터페이스에 관한 것이다.
종래의 메뉴는 1차원 또는 2차원이어서, 메뉴 엘리먼트(menu element)의 개수가 증가하면 탐색(navigation)이 더욱 어려워진다. 일정 시점에서는, 거의 모든 사람이 이러한 메뉴 구조 내에 위치한 "그 옵션이 어디에 있는가?("where is that option?")"에 관한 질문에 직면해 왔다.
컴퓨터에서 빈번히 발견되는 통상적 메뉴의 일반적 구조는 트리 구조(tree structures)이다. 이 구조는 특정한 옵션이 발견될 때까지 레벨별로 반복적으로 드롭 다운(dropping down)함으로써 탐색된다. 또한, 귀찮고 지루한 메뉴 구조의 가로지르기(traversal) 없이 주어진 메뉴 옵션이 위치한 곳을 결정하는 것은 어렵다.
소니 크로스 바 메뉴(Sony Cross Bar Menu; XBM)는 메뉴 구조 유틸리티(menu structure utility)를 향상시켰으나, 2차원으로 한정되어 있다.
문서 저장 기술은 저장 및 액세스에 대해 트리화된 구조도 사용한다. 마찬가지로, GoogleTM 및 다른 검색 엔진에 표시된 것처럼, 검색 결과는 결과들의 긴 리스트를 생성하고, 필요한 정확한 검색 결과를 찾기 위해 이들 각각을 거의 항상 가로 질러야만 한다.
본 발명의 일 양태는 표시 장치, 표시 장치상의 3차원 이상의(3+D) 그래픽 유저 인터페이스(GUI)를 표시하는 수단, GUI를 제어하는 수단을 포함하는 3차원 이상의 그래픽 유저 인터페이스(GUI)이다.
일 실시형태에서, 제어하는 수단은 손의 움직임(movements)을 포함한다. 손의 움직임은 3차원에서 위치적 움직임(positional movements)을 포함할 수 있다. 손의 움직임은 부호화된 GUI 명령(signed GUI command)을 포함할 수 있다. 부호화된 GUI 명령은 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장(exit), 이전 선택(previous selection), 탈출(escape), 대각선 이동(go diagonally)으로 된 명령 그룹 중 하나로부터 선택될 수 있다.
다른 실시형태는 손의 움직임을 검출하는 검출기를 포함한다. 3차원에서 손의 움직임은 카르테시안 공간(Cartesian space)에서의 움직임을 포함할 수 있다.
다른 실시형태에서, 손의 움직임은 던지기(pitch), 굴리기(roll), 기울이기(yaw) 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 포함할 수 있다. 추가의 움직임은 각각의 손가락으로 할 수 있는 각각의 구부림(bends), 기울기(angles), 또는 다른 설정(configuration)을 포함할 수 있다. 이상적으로, 이 움직임은 쉽게 배울 수 있고, 사실상 본능적인 경향이 있다: 손의 움직임은 본능적으로 GUI 동작에 대응한다.
GUI를 표시하는 수단은 선택된 수평 엘리먼트를 포함하는 실질적인 수평 선택 막대(horizontal selection bar), 선택된 수직 엘리먼트를 포함하는, 선택된 수평 엘리먼트에 종속되는 실질적인 수직 선택 막대(vertical selection bar), 및 선택된 각진 엘리먼트(angled element)를 포함하는, 선택된 수평 엘리먼트 및 선택된 수직 엘리먼트에 모두에 종속되는 실질적인 각진 선택 막대(angled selection element)를 포함할 수 있다. 각진 엘리먼트는 수평 선택 막대에 대해 30˚각에서, 각진 선택 막대에 대해 90˚각에서 수직 선택 막대와 함께 가장 쉽게 도시될 수 있다.
또한, GUI를 표시하는 수단은 선택된 제1 엘리먼트를 포함하는 제1 선택 막대, 선택된 제2 엘리먼트를 포함하는, 선택된 제1 엘리먼트에 종속되는 실질적인 직교의 제2 선택 막대, 및 선택된 제3 엘리먼트를 포함하는, 선택된 제1 엘리먼트 및 선택된 제2 엘리먼트 모두에 종속되는 실질적인 제3 선택 막대(이는 제1 선택 막대 및 제2 선택 막대에 일차 종속(linearly dependent)이나, 제1 선택 막대 및 제2 선택 막대로부터 시각적으로 구별됨)를 포함할 수 있다.
마지막으로, GUI를 표시하는 수단은 선택된 제4 엘리먼트를 포함하는 제4 선택 막대(실질적으로 상기 제3 선택 막대에 직교)를 포함할 수 있고, 선택된 제4 엘리먼트는 선택된 제1 엘리먼트, 선택된 제2 엘리먼트 및 선택된 제3 엘리먼트에 종속되는다. 제3 선택 막대가 수평 선택 막대에 대해 30˚각에서 도시되면, 제4 선택 막대는 제3 선택 막대로부터 90˚가 되도록 수평 선택 막대에 대해 120˚각에서 도시될 수 있다. 그러나, 원근 타입의 시각을 더 선호하는 경우, 제3 선택 막대가 수평 선택 막대에 대해 30˚각에서 도시되면, 수직 선택 막대에 대해 대칭이 되도록 수평 선택 막대에 대해 150˚각에서 제4 선택 막대가 도시될 수 있을 것이고, 이로써 거리의 느낌을 주는 투시도를 구현할 수 있다.
상술한 실시형태에서, 직교성(orthogonality)은, 카르테시안(Cartesian), 원통형(cylindrical), 구형(spherical), 포물형(parabolic), 포물 원통형(parabolic cylindrical), 포물면형(paraboloidal), 편구면형(oblate spheroidal), 장구면형(prolate spheroidal), 타원형(ellipsoidal), 타원 원통형(elliptical cylindrical), 도넛형(toroidal), 이중-구형(bispherical), 양극 원통형(bipolar cylindrical), 및 원뿔형(conical)으로 된 상기 좌표 시스템의 하나 이상에 적용된다.
직교성은 3차원(3D) 공간, 또는 이와 달리 4차원(4D) 공간에서 적용될 수 있다.
발명의 다른 양태는, 디스플레이를 제공하는 단계, 실질적인 수평 선택 막대를 디스플레이 상에 표시하는 단계, 현재 선택된 수평 엘리먼트를 강조표시하는 단계, 및 수평 선택 막대를 선택적으로 가로지르는 단계를 포함하고, 현재 선택된 수평 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법이다.
일 실시형태에서, GUI 탐색 방법은, 현재 선택된 수평 엘리먼트에 종속되는 실질적인 수직 선택 막대를 디스플레이 상에 표시하는 단계, 및 수직 선택 막대를 선택적으로 가로지르는 단계를 포함할 수 있고, 현재 선택된 수직 엘리먼트는 변경된다.
제2 실시형태에서, GUI 탐색 방법은, 현재 선택된 수직 엘리먼트에 종속되는 제1 실질적 대각 선택 막대를 디스플레이 상에 표시하는 단계, 및 대각 선택 막대를 선택적으로 가로지르는 단계를 포함할 수 있고, 현재 선택된 제1 대각 엘리먼트는 변경된다.
제3 실시형태에서, GUI 탐색 방법은, 현재 선택된 제1 대각 엘리먼트에 종속되는 제2 실질적 대각 선택 막대를 디스플레이 상에 표시하는 단계, 및 제2 실질적 대각 선택 막대를 선택적으로 가로지르는 단계를 포함할 수 있고, 현재 선택된 제2 대각 엘리먼트는 변경된다.
다른 실시형태에서, 컴퓨터 판독가능 매체는 상술한 단계를 저장할 수 있다.
다른 실시형태에서, 컴퓨터는 상술한 단계를 실행할 수 있다.
본 발명의 추가 양태는 3차원 이상(3+D)의 표현(representation)을 표시하는 그래픽 유저 인터페이스(GUI) 장치이고, 이는 선택된 제1 엘리먼트를 포함하는 제1 선택 막대, 선택적으로 선택된 제2 엘리먼트를 포함하는, 선택된 제1 엘리먼트에 종속되는 실질적인 직교의 제2 선택 막대, 선택적으로 선택된 제3 엘리먼트를 포함하는, 선택된 제1 엘리먼트 및 선택된 제2 엘리먼트 모두에 종속되는 실질적인 제3 선택 막대(이는 제1 선택 막대 및 제2 선택 막대에 일차 종속이나, 제1 선택 막대 및 제2 선택 막대로부터 시각적으로 구별됨)를 포함하는 표시 장치, GUI 명령으로 손의 움직임을 검출하는 검출기를 포함할 수 있고, GUI 명령은 (1) 제1 선택 막대, 제2 선택 막대, 제3 선택 막대의 탐색을 제어하고, 및 (2) 선택된 제1 엘리먼트, 선택적으로 선택된 제2 엘리먼트, 선택적으로 선택된 제3 엘리먼트를 선택한다.
일 실시형태에서, 손의 움직임은 3차원에서의 위치적 움직임을 포함할 수 있다. GUI 명령은 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 대각선 이동으로 된 명령 그룹 중 하나로부터 선택될 수 있다.
다른 실시형태에서, 3차원에서의 손의 움직임은 카르테시안 공간(Cartesian space)에서의 움직임을 포함할 수 있다. 손의 움직임은 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 더 포함할 수 있다. 또한, 손의 일반화된 관절은 개별적인 연결 부위의 0 이상의 움직임으로 하나 이상의 손가락과 엄지 손가락의 움직임을 구성할 수 있다.
다른 실시형태에서, GUI 장치는, 선택적으로 선택된 제4 엘리먼트를 포함하는 제4 선택 막대(제3 선택 막대는 물론 제1 선택 막대 및 제2 선택 막대와 시각적으로 독립적임)를 포함할 수 있고, 선택된 제4 엘리먼트는 선택된 제1 엘리먼트, 선택적으로 선택된 제2 엘리먼트, 선택적으로 선택된 제3 엘리먼트에 종속되고, GUI 명령은 추가로 (1) 제4 선택 막대의 탐색을 제어하고, 및 (2) 선택적으로 선택된 제4 엘리먼트를 선택한다.
본 발명의 최종 양태에서, 그래픽 유저 인터페이스(GUI)는 표시 장치, 표시 장치 상에 3차원 이상(3+D)의 그래픽 유저 인터페이스(GUI)를 표시하는 수단, 및 GUI를 제어하는 원격 제어기를 포함할 수 있다.
일 실시형태에서, 원격 제어기는, 3차원 이상의 선택 막대가 3+D GUI에서 탐색되게 하는 하나 이상의 대각 버튼을 포함한다. 원격 제어기는 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 대각선 이동으로 된 명령 그룹의 하나로부터 선택된 하나 이상의 명령을 실행할 수 있다.
다른 실시형태에서, 원격 제어기는 3차원에서 위치 움직임을 검출하는 하나 이상의 센서를 포함할 수 있다. 또한, 제어기는 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 검출하는 하나 이상의 센서를 포함할 수 있다.
다른 실시형태에서, 표시 장치는 TV, 평면 화면 모니터, 3차원 TV, 홀로그램 3D TV, 에너글리프 3D TV(anaglyphic 3D TV)(수동 레드-시안 안경으로 시청), 편광 3D TV(수동 편광 안경으로 시청), 교호-프레임 시퀀싱 3D TV(능동 셔터 안경 또는 헤드 기어로 시청), 자동입체 3D TV(안경 또는 헤드 기어없이 시청)로 된 표시 장치의 일 그룹으로부터 선택될 수 있다.
본 발명의 추가 양태는 본 명세서의 이하의 부분에서 기술될 것이며, 상세한 설명은 발명을 제한하지 않으며 그 바람직한 실시 형태를 완전히 개시하기 위함이다.
본 발명은 이하의 도면들을 참조하여 더욱 충분히 이해될 것이다. 이들 도면들은 발명을 설명하기 위한 목적만을 가지고 있다.
도 1은 소니 크로스바 메뉴(Sony Cross Bar Menu)(XBM)의 선행 기술 평면도.
도 2는 3+D GUI를 위한 원격 제어기의 평면도.
도 3a는 3차원(대각선)에서, 간단한 메뉴 컴포넌트를 가진 3차원을 도시하도록 수정된, 크로스바 메뉴의 평면도.
도 3b는 3차원(대각선)에서 보이는 강도 메뉴 컴포넌트(viewable intensity menu component)를 가진 3차원을 도시하도록 수정된, 크로스바 메뉴의 평면도.
도 4a는 6×6×6 엘리먼트 큐브의 데이터 집합의 투시도.
도 4b는 j=1에서 도 4a의 데이터 집합 단면의 평면도.
도 5a는 6×6×6 엘리먼트 큐브의 최대인 복잡한 데이터 집합의 투시도.
도 5b는 j=1에서 도 5a의 데이터 집합 단면의 평면도.
도 5c는 j=2에서 도 5a의 데이터 집합 단면의 평면도.
도 5d는 j=3에서 도 5a의 데이터 집합 단면의 평면도.
도 5e는 j=4에서 도 5a의 데이터 집합 단면의 평면도.
도 5f는 j=5에서 도 5a의 데이터 집합 단면의 평면도.
도 5g는 j=6에서 도 5a의 데이터 집합 단면의 평면도.
도 5h는 엘리먼트 i=3, k=3에 대한 다양한 j 값들을 비스듬한 도시로 나타낸 도 5a의 데이터 집합 단면의 평면도.
도 6a는 데이터 엘리먼트의 집합과, 이에 대응하여 최후방 위치에서 손을 이용해 데이터 엘리먼트의 탐색을 시작하는 손 움직임의 투시도.
도 6b는 도 6a 이후의 연속 동작이고, 앞뒤 사이의 중간으로 손을 움직이므로, 프레임 D가 선택되는 것을 나타낸 도면.
도 6c는 도 6b 이후의 연속 동작이고, 훨씬 전방으로 손을 움직임으로, 프레임 A가 선택되는 것을 나타낸 도면.
도 6d는 도 6c 이후의 연속 동작이고, 앞뒤 사이의 중간으로 손을 움직이므로, 프레임 D가 다시 선택되는 것을 나타낸 도면.
도 6e는 도 6d 이후의 연속 동작이고, 선택 명령의 시작을 지시하기 위해 손을 접고 올리는 것을 나타낸 도면.
도 6f는 도 6e 이후의 연속 동작이고, 3+D GUI에 선택 명령을 지시하기 위해 손을 접고 완전히 올리는 것을 나타낸 도면.
도 6g는 도 6f 이후의 연속 동작이고, 프레임 D의 선택하도록 "입장(Enter)"하기 위해 X축에 대해 손을 접고 올린채로 돌리는 것을 나타낸 도면.
도 6h는 도 6g 이후의 연속 동작이고, 선택된 프레임 D를 표시하는 것을 나타낸 도면.
도 7은 파일 보관함(file cabinet)으로부터 부분적으로 빼내어진 단일 폴더를 가진 파일 보관함 컬렉션(collection)의 투시도로서, 폴더 내의 단일 폴더 내의 문서 및 페이지의 투시도.
도 8은 위치 좌표(4,1,3,2,3)에서 도 7의 "페이지 3" 엘리먼트까지의 3+D 탐색을 나타내는 도면.
정의
이하의 용어는 본 명세서에 사용되고 따라서 본 발명(들)의 설명을 이해하는 것을 돕도록 정의된다. 본 기술에 대한 통상의 기술자는 이하의 용어들이 확정적으로 정의되지 않았고, 용어들이 이하의 정의뿐만 아니라 발명(들)의 문맥 내에서 적절하게 수정되어 사용되도록 해석되야 한다는 것을 잘 알 것이다.
"컴퓨터"는 본 명세서에 설명된 바와 같이 단계, 방법을 수행하고, 또는 신호를 생성할 수 있는 임의의 장치를 의미하고, 마이크로 프로세서, 마이크로 컨트롤러, 비디오 프로세서, 디지털 상태 기계, FGPA(field programmable gate array), 디지털 신호 프로세서, 마이크로 프로세서 및 아날로그 또는 디지털 출력 장치를 가진 병치된 통합 메모리 시스템(a collocated integrated memory system), 디지털 또는 아날로그 신호 프로토콜에 의해 접속된 마이크로 프로세서 및 아날로그 또는 디지털 출력 장치를 가진 분산된 메모리 시스템(a distributed memory system)을 포함하나, 이에 한정되지는 않는다.
"컴퓨터 판독가능 매체"는 본 명세서에 기술된, 논리적 동작(logical operation)을 저장하고 수행하거나 흐름 또는 신호 흐름을 전송하기 위한 단계를 수행하기 위해 컴퓨터에 의해 처리될 수 있는 체계화된 정보의 임의의 소스를 의미하고, RAM(random access memory), ROM(read only memory), 자기 판독가능 저장 시스템; 직접 방법 또는 광학 문자 인식 방법들에 의해 판독가능한 펀치 카드 또는 인쇄물 등의 광학 판독가능 저장 미디어; CD(compact disc), DVD(digital versatile disc), 재기록 가능 CD 및/또는 DVD 등의 다른 광학 저장 미디어; PROMs(programmable read only memories), EEPROMs(electrically erasable programmable read only memories), FGPAs(field programmable gate arrays), 플레쉬(flash) RAM 등의 전기적 판독가능 미디어; 및 무선 전송, 구리선, 및 광섬유를 포함하나 제한되지 않는 전자기 또는 광학 방법에 의해 전송된 정보를 포함하나, 이에 제한되지는 않는다.
"표시 장치"는 2 이상의 차원에서 그래픽 유저 인터페이스(GUI)를 표시할 수 있는 임의의 장치를 의미한다. 이러한 표시 장치는 TV, 평면 화면 모니터, 3차원 TV, 홀로그램 3D TV, 에너글리프 3D TV(anaglyphic 3D TV)(수동 레드-시안 안경(passive red-cyan glasses)으로 시청), 편광 3D TV(수동 편광 안경으로 시청), 교호-프레임 시퀀싱(alternate-frame sequencing) 3D TV(능동 셔터 안경 또는 헤드 기어로 시청), 자동입체 3D TV(안경 또는 헤드 기어없이 시청)를 포함할 수 있으나, 이에 제한되지는 않는다.
이제 선행 기술인 소니 크로스 바 메뉴(Sony Cross Bar Menu; XBM)(100)를 나타내는 텔레비전 화면의 정면도인 도 1을 참조하기로 한다. 여기서 선택들의 수직축(102)을 볼 수 있다. 특정 수직축(102)의 위치(104)에서, 수평축(106)이 표시되고, 특정 수직축(102)의 위치(104)에 종속하는 툴박스 엘리먼트(108) 및 다른 엘리먼트(110, 112)가 나타난다. 특히, 툴박스 엘리먼트(108)가 강조, 표시되어(highlighted), 입력(entry) 또는 추가의 메뉴 탐색(menu navigation)을 행할 수 있게 된다.
이 점에서, 수직축(102)의 하측방향 탐색을 하면, "사진"(114), "소리"(116), 또는 다른 아이콘들을 교차(cross) 수평축(106)이 생길 수 있다. 상측방향 탐색을 하면, "시계/타이머"(118) 또는 다른 아이콘들로 이동할 수 있다.
누군가는 "TV" 아이콘(120)을 선택함으로써 이 화면으로부터 돌아올 수 있다.
이제 원격 제어기(200)의 정면도인 도 2를 참조하기로 한다. 원격 제어기(200)는 "홈"(202) 등의 명령 및 다른 표준 원격 명령들을 포함한다.
화살표 버튼은 본 발명에 기술된 고차원 대각 링크된 메뉴를 가로지르기 위한 메뉴 탐색 제어에 대응한다. 특히, 우상단 화살표(204), 좌하단 화살표(206), 좌상단 화살표(208), 및 우하단 화살표(210)는 아래에 기술된 바와 같이 3차원(혹은 그 이상) 메뉴를 탐색하는데 사용된다.
이제 도 3a를 참조하면, 3차원 그래픽 유저 인터페이스(GUI) 메뉴(300)는 메뉴 엘리먼트 "백라이트"(308)에서의 교차점에서 강조표시된(306) 수직 메뉴축(302) 및 수평 메뉴축(304)을 나타낸다.
수직 메뉴축(302) 및 수평 메뉴축(304)으로부터 기울어진 것은 메뉴에 대해 3차원을 표현하는 다른 축이고, 여기서는 각진축(angled axis)(310)이라 불린다. 각진축(310)에서의 속성은 능동적으로 강조표시된(306) 메뉴 엘리먼트 "백라이트"(308)에 관련이 있다. 각진축(310)에서 움직일 수 있는 두가지 방향은 "밝아짐"(312) 방향 또는 "어두워짐"(314) 방향이다.
그런데, 수직 메뉴축(302)이 너무 작아서 모든 메뉴 옵션을 표시할 수 없다면, 하나 이상의 수직 스크롤 화살표(316)는 수직 메뉴축(302) 상에 엘리먼트를 재배치(reposition)시킬 수 있다. 이와 유사하게, 수평 메뉴축(304)이 너무 작아서 모든 메뉴 옵션을 표시할 수 없다면, 하나 이상의 수평 스크롤 화살표(318)는 수평 메뉴축(304) 상에 엘리먼트를 재배치시킬 수 있다.
"퇴장(Exit)" 기능(320) 또는 유사하게 기능하는 명령은 3차원 메뉴(300)를 떠나도록 동작한다.
도 2 및 도 3a를 다시 참조하면, 원격 제어기(200)의 우상단 화살표(204)는 "어두어짐"(314) 방향으로 이동하게 하고, 반면에 좌하단 화살표(206)는 3차원 메뉴(300)의 "밝아짐"(312) 방향으로 이동하게 하여, 표시 백라이트를 각각 어두어지게 또는 밝아지게 한다.
이제 도 3b를 참조하면, 제2의 3차원 GUI 메뉴(322)는 메뉴 엘리먼트 "백라이트"(330)에 교차점에서의 강조표시된(328) 수직 메뉴축(324) 및 수평 메뉴축(326)을 나타낸다.
하단 및 좌단으로 탐색하면, "백라이트" 선택은 밝아짐(332)으로부터 더 밝아짐(334), 가장 밝아짐(336)으로 변화한다. 이와 유사하게, 상단 및 우단으로 탐색하면, "백라이트" 선택은 어두어짐(338), 더 어두어짐(340), 가장 어두어짐(342)으로 변화한다. 화면 상의 "퇴장"(344)은 이전에 도 3a에 도시된 바와 같은 퇴장과 유사한 위치에 있다.
도 3a 및 도 3b으로부터, 3차원(3D) GUI 메뉴는 쉽게 구성되고, 거의 모든 사용자에게 직관적으로 이해될 것이다.
이제 6×6×6 3D GUI 내의 메뉴 엘리먼트(402)의 메뉴 표현(400)인 도 4a를 참조한다. 이 예에서, 모든 메뉴 엘리먼트는 6×6×6 메뉴에서 나타난다.
이제 도 4b를 참조하면, 도 4b는 j=1 에서의 도 4a의 메뉴 표현(400)의 일면인 그래프(404)이다. 여기서, 도 4a에 나타난 엘리먼트(402)는 그래프(404)의 좌측 상단에 나타남을 볼 수 있다.
이제 메뉴 표현(500)인 도 5a를 참조하기로 한다. 여기서, (i,j,k) 위치(i,j,k=1 에서 6임)의 다수에 엘리먼트들이 있으나, 반드시 모든 위치가 채워져 있는 것은 아니라는 것을 알 수 있다.
이제 도 5b 내지 도 5h를 참조하기로 한다. 여기서, 도 5b는 j=1의 좌표에서 메뉴 엘리먼트의 단일 평면이다. 이와 유사하게, 도 5c는 j=2 좌표에서 메뉴 엘리먼트의 단일 평면이다. 도 5d는 j=3 좌표에서 메뉴 엘리먼트의 단일 평면이다. 도 5e는 j=4 좌표에서 메뉴 엘리먼트의 단일 평면이다. 도 5f는 j=5 좌표에서 메뉴 엘리먼트의 단일 평면이다. 도 5g는 j=6 좌표에서 메뉴 엘리먼트의 단일 평면이다.
마지막으로, 도 5h에서, j=3 위치에서 메뉴 엘리먼트 위치(502)의 단일 평면을 볼 수 있다. 여기서, 오직 i=4, k=4 및 j=3 현재 위치(504)가 나타나고, 이는 이전에 논의된 "백라이트" 옵션의 부분 집합이다. 여기서, 이용가능한 백라이팅 옵션의 스펙트럼에서 현재 위치(504)가 제3 위치일 때, 현재 위치(504)는 "j3"으로 이름붙여진다. 더 밝은 백라이트를 가지기 위해, "j2"(506)가 선택될 수 있고, 가장 밝은 백라이트를 가지기 위해, "j1"(508)이 선택될 수 있고, 더 어두운 백라이트를 가지기 위해 "j4"(510)가 선택될 수 있고, 더 더욱 어두운 백라이트를 가지기 위해 "j5"(512)가 선택될 수 있고, 가장 어두운 백라이트를 가지기 위해 "j6"(514)이 선택될 수 있다.
도 5h에서, "백라이트" 옵션은 설명을 용이하게 하기 위해 오직 6단계로 인위적으로 제한되었다. 실제로는, 옵션의 개수는 임의의 수일 수 있다.
이제 도 6a 내지 도 6h를 살펴보면, 3D 손 움직임(600)은 3D GUI(602)를 제어하기 위해 사용된다. 이들 도면의 각각은 3D GUI(602)의 표시에서의 변화에 대응하는 일련의 손 움직임(600)의 부분들이다.
도 6a에서, 손(604)은
Figure pct00001
방향에서 상당히 후방에 위치한다(상대적으로 큰 양의 Z값). 이는 3D GUI(602)에서, 강조표시되고 있는 최후방 프레임 "G"(606)에 대응한다(여기서, 강조표시되는 것의 의미는 채널 로고, 채널 숫자, 기타 식별 성질을 식별할 수 있도록 3D GUI(602) 내에 존재하는 프레임 더미로부터 부분적으로 올라온 것을 의미함). 이 점에서, 가장 앞선 프레임 "A"(608)는 여전히 3D GUI(602)의 앞에 있다. 다음에 전방(608)(혹은 -방향)으로 손을 이동한다.
도 6b에서, 수직의 전방(-
Figure pct00003
축에 수직)을 향하는 손(604)은
Figure pct00004
및
Figure pct00005
축을 포함하는 평면과 거의 동일 평면상으로 이동된다. 이 손(604)의 위치에서, 프레임 "D"(610)가 강조표시된다.
도 6c에서, 수직의 전방(-
Figure pct00006
축에 수직)을 향하는 손(604)은 -
Figure pct00007
축 위치에서 훨씬 앞으로 이동된다. 이 손(604) 위치에서, 프레임 "A"(608)가 대응하는 3D GUI(602)에서 강조표시된다.
도 6d에서, 수직의 전방(-
Figure pct00008
축에 수직)을 향하는 손(604)은
Figure pct00009
및
Figure pct00010
축을 포함하는 평면과 거의 동일 평면상으로 돌아왔다. 이 손(604) 위치에서, 프레임 "D"(610)가 3D GUI(602)에 존재하는 프레임의 더미로부터 부분적으로 끌어 올려짐으로써 강조표시된다.
도 6e에서, 전방(-
Figure pct00011
축에 수직)을 향하는 접은손(612)은
Figure pct00012
및
Figure pct00013
축을 포함하는 평면과 거의 동일 평면상으로 돌아왔다. 접은손(612)이 객체(object)를 잡은 것을 나타내고, 강조표시된 객체가 프레임 "D"이기 때문에, 접은손(612)의 상향(양의
Figure pct00014
축을 따름) 수직 움직임에 대응하여, 3D GUI(602)에 존재하는 프레임 더미로부터 프레임 "D"(610)가 부분적으로 끌어 올려진다.
도 6f에서, 전방을 향하는(-
Figure pct00015
축에 수직임) 접은손(612)은
Figure pct00016
및
Figure pct00017
축을 포함하는 동일 평면에 대해 최대 상향(양의
Figure pct00018
축을 따름) 위치에 유지된다. 접은손(612)이 프레임 "D" 객체를 잡고 있으므로, "D" 물체가 "선택"된다.
도 6g에서, 전방을 향하는(-
Figure pct00019
축에 수직임) 접은손(612)은 양의 θ방향으로
Figure pct00020
축에 대해 약 90˚틀어져 있다. 이 움직임은 3D GUI(602)에 대해 "입장(Enter)" 명령을 나타낸다. 이 동작이 이미 발생하였다면, 3D GUI(602)는 3D GUI(602)의 앞으로 이동된 프레임 "D"(610) 객체에 입장하고, 아마도 최대 화면 사이즈로 프레임 "D"(610) 객체를 확대하기 시작하면서 응답한다.
도 6h에서, 이전의 동작에 의해 프레임 "D"(610) 객체의 최대 프레임 뷰(view)가 나타나고, 3D GUI(602)가 뷰로부터 없어진다.
요약하자면, 도 6a 내지 도 6h에 도시된 손 제스쳐 또는 유사한 손 제스쳐는 일반적인 전자 기기상에서 요구되는 바와 같은, 디지털 포토 앨범, TV 채널, 제어 볼륨, 밝기 등을 탐색하는데 이용될 수 있다. 그래픽 유저 인터페이스의 이점은 매우 자연스럽고 직관적이라는 것이다.
3D GUI는 가상 깊이(pseudo-depth)를 3차원으로서 이용하고, 종래의 TV에 자연스럽게 이용될 수 있다. 진정한 3D TV를 위해, 실제 깊이는 입체 표시(a stereoscopic display)를 통해 인식되고, 여기서 각 채널은 3D 가상 공간에서 다른 깊이 위치에 위치될 수 있다. 진정한 3D TV에 의하면, 3D GUI는 3차원에 대한 가상 깊이를 필요로 하지 않으며, 3차원은 직접적으로 표시할 수 있다. 그러나, 3D를 넘어 탐색을 위해서는, 각진 가상 깊이(angled pseudo-depths)가 고차원에 대해 지그재그 배열로 이용될 수 있다.
이제 문서 검색을 위해 3차원(혹은 그 이상)(3+D) 그래픽 유저 인터페이스(GUI) 데이터 공간을 도시하는 도 7을 참조하기로 한다. 여기서, 적층된 파일 보관함(700)의 컬렉션은 다수의 파일 보관함 서랍들 모음(assortment)을 포함하고, 특정 파일 보관함(702)이 처음 선택된다. 적층된 파일 보관함(700) 컬렉션은, 예를 들어 도 5a 내지 도 5h에서 이전에 논의된 수평 및 수직 메뉴 선택과 매우 유사한 것임이 명백하다. 각진 3D 표현(angled 3D representation)은 이후에 파일 보관함(702)에서 개별적인 폴더(704)가 될 것이다.
특정 폴더(706)가 선택될 수 있고, 여기서 "X-File"로 이름붙여진다. "X-File" 폴더(706)에, 현재 문서들(708)이 있을 수 있다. 문서들(708) 각각은 현재 0 이상의 페이지(710)를 가질 수 있다. 여기에서, "문서 2"(712)가 선택되었고, 이는 "페이지 1"(714), "페이지 2"(716), "페이지 3"(718)의 3개의 순차적인 페이지로 구성된다.
본 문서의 특정 페이지, 아마도 "페이지 3"(718)이 이후에 선택될 수 있다. 이러한 방식으로, 이전에 기술된 3+D GUI 및 손 명령을 사용해서, 방대한 문서 저장 시스템의 각각의 페이지는 검색될 수 있다.
도 7에 도시된 물리적인 파일 보관함은 3+D GUI의 동작을 시각화하기 위한 단지 하나의 간단한 방법으로서 제한 없이 표시되었다는 것에 유념해야 한다. 사실, 파일링 시스템은 실제로는 완전히 전자적이거나, 하나 이상의 컴퓨터 판독가능 매체에 저장될 수 있다.
사실상, 도 7의 데이터는 데이터 집합에 대한 색인들로서 표시될 수 있다. 여기서,
Figure pct00021
축을 따라 색인된 파일 보관함(700)의 6개의 행(720)을 확인한다. 행(720)은 j축을 따라 수직 상향으로(vertically upward) 확장한다. 파일 보관함(720)은
Figure pct00022
축을 수평방향에 따라 펼쳐진 열(722)을 가진다.
각각의 파일 서랍(file drawer)(예를 들어, 특정 파일 서랍(702))은 k축을 따라 앞뒤로 배열된 콘텐츠를 가질 수 있다. 이 특정 파일 서랍은(702) 파일 보관함의 4번째 행에서의 첫 번째 열에 있다. 그러므로, 그 (i,j) 좌표는 (4,1)이다. 이 특정 파일 서랍(702)에는, 8개의 폴더가 있고, k 색인은 1부터 8에 걸쳐 있다. 제3 폴더인, 특정 파일 보관함(702)에서의 "X-File" 폴더(706)는 그러므로 (4,1,3)의 좌표 위치를 가진다.
계속해서, "X-File" 폴더(706)는
Figure pct00023
축을 따라 펼쳐진 문서들을 가진다. 선택된 문서 "문서 2"(712)는 그러므로
Figure pct00024
축에 2 좌표를 가지고, (4,1,3,2)의 (i,j,k,l) 좌표를 갖게 된다.
"문서 2"(712) 문서 내에서, m축을 따라 앞뒤로 배열된 페이지가 있다. "문서 2"(712)는 3개의 페이지, m1(714), m2(716) 및 "페이지 3" m3(718)을 가진다.
마지막으로, 파일 보관함(700) 내의 (4,1)에 위치한 특정 파일 서랍(702) 내의 "X-File" 폴더(706)의 "문서 2"(712)의 제3 페이지 m3(718)을 판독하면 (i,j,k,l,m) 좌표 (4,1,3,2,3)을 갖게 된다.
그러므로, 좌표 (4,1,3,2,3)을 탐색하는 것은 5 차원 접근이 필요하다. 이는 아래와 같이 수행된다.
도 7의 "페이지 3"(718) 엘리먼트에 대해 추가적으로 참조되어야 하는 3+D 탐색(800)을 나타내는 도 8을 참조하기로 한다. 도 8에서, 열(802) 및 행(804)은 색인 (4,1)에서의 특정 파일 보관함(702)을 나타낸다. 종합하면, 탐색에 기초한 열(802) 및 행(804)이 파일 보관함(700)에 펼쳐진 데이터 집합 내의 임의의 파일 서랍에 접근할 수 있다.
특정 파일 서랍(702)은 폴더(806)의 각진 축으로서 도 8에 도시되어 있다. 선택된 좌표 (4,1,3)에서 폴더(806) 리스트에 종속되는 것은 문서(808)들의 집합이고, 각종 페이지(810)가 다른 각진 축으로 나타난다.
여기서 원하는 검색 결과를 얻기 위해, (i,j) 좌표 (4,1)을 가진 특정 파일 서랍(702)이 선택되어 강조표시(812)된다. (4,1) 선택으로부터, 폴더(806)의 부분집합이 강조표시된다. 그러므로, 특정 파일 서랍(702) 내의 "X-File" 폴더(706)는 (4,1,3) 좌표 위치(814)를 나타낸다. 파일 보관함(700) 내에 존재하는 모든 폴더가 도시되지는 않았고, 따라서 스크롤 바 표시기(816)가 제공된다(이것은 표시된 축의 임의의 말단 중 하나에서 사용될 수 있다).
계속해서, "X-File" 폴더(706)는 문서(808) 방향에서
Figure pct00025
축을 따라 펼쳐진 문서를 가진다. 선택된 문서 "문서 2"(712)는
Figure pct00026
축 입장(entry)을 따른 제2 문서이고, (i,j,k,l) 좌표 (4,1,3,2)(818)를 갖게 된다.
"문서 2"(712) 문서(818) 내에는, m축을 따라 앞뒤로 배열된 페이지(810)가 있다. 좌표 (4,1,3,2)(818)를 가진 "문서 2"(712)는 m1(714), m2(716), 및 "페이지 3" m3(718)의 3개의 페이지를 가지고 있고, 그 중 마지막 페이지는 좌표 (4,1,3,2,3)(820)으로 선택된다.
여기서 좌표 색인들이 다차원 GUI 탐색을 나타내기 위해 사용되지만, 실제로는, 축은 음악 컬렉션, TV 메뉴 특성, 컴퓨터 백업 파일 집합, 사진, 비디오, 데이터 검색 및 결과 등일 수 있다.
향상된 3+D GUI 버전(여기서는 실제로 5차원(5D) GUI)에서, GUI 뷰의 좌하단에서 이미 선택된 아이템은, GUI 탐색 프로세스의 현재 위치를 더 강조하기 위해 크기를 줄일 수 있다.
3+D GUI가 3D 손 제스쳐로 최고로 탐색될 수 있더라도, 터치 스크린 손가락 움직임, 이전에 도 2에 도시된 원격 제어기, 및 컴퓨터 마우스를 이용한 2D 손 제스쳐 움직임으로도 3+D GUI가 탐색될 수 있다.
상술한 설명으로부터, 본 발명은 다양한 형식으로 구현될 수 있고, 이하의 실시형태에 제한되지 않는다.
1. 표시 장치, 표시 장치상의 3차원 이상의(3+D) 그래픽 유저 인터페이스(GUI)를 표시하는 수단, 및 GUI를 제어하는 수단을 포함하는, 그래픽 유저 인터페이스(GUI).
2. 실시형태 1에 있어서, 제어 수단은 손의 움직임(movements)을 포함하는, 그래픽 유저 인터페이스(GUI).
3. 실시형태 2에 있어서, 손의 움직임은 3차원에서의 위치적 움직임(positional movements)을 포함하는, 그래픽 유저 인터페이스(GUI).
4. 실시형태 2에 있어서, 손의 움직임은 부호화된 GUI 명령을 포함하는, 그래픽 유저 인터페이스(GUI).
5. 실시형태 4에 있어서, 부호화된 GUI 명령은 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 대각선 이동으로 된 명령 그룹 중 하나로부터 선택되는, 그래픽 유저 인터페이스(GUI).
6. 실시형태 2에 있어서, 손의 움직임을 검출하는 검출기를 포함하는, 그래픽 유저 인터페이스(GUI).
7. 실시형태 3에 있어서, 3차원에서의 움직임은 3차원(3D) 카르테시안 공간(Cartesian space)에서의 움직임을 포함하는, 그래픽 유저 인터페이스(GUI).
8. 실시형태 2에 있어서, 손의 움직임은 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 포함하는, 그래픽 유저 인터페이스(GUI).
9. 실시형태 1에 있어서, 3+D GUI를 표시하는 수단은 선택된 수평 엘리먼트를 포함하는 실질적인 수평 선택 막대, 선택된 수직 엘리먼트를 포함하는 선택된 수평 엘리먼트에 종속되는 실질적인 수직 선택 막대, 및 선택된 각진 엘리먼트(angled element)를 포함하는 선택된 수평 엘리먼트 및 선택된 수직 엘리먼트에 모두 종속되는 실질적인 각진 선택 막대를 포함하는, 그래픽 유저 인터페이스(GUI).
10. 실시형태 1에 있어서, 3+D GUI를 표시하는 수단은 선택된 제1 엘리먼트를 포함하는 제1 선택 막대, 선택된 제2 엘리먼트를 포함하는, 선택된 제1 엘리먼트에 종속되는 실질적인 직교 제2의 선택 막대, 및 선택된 제3 엘리먼트를 포함하는, 선택된 제1 엘리먼트 및 선택된 제2 엘리먼트 모두에 종속되는 실질적인 제3 선택 막대(이는 제1 선택 막대 및 제2 선택 막대에 일차 종속이나, 제1 선택 막대 및 제2 선택 막대로부터 시각적으로 구별됨)를 포함하는, 그래픽 유저 인터페이스(GUI).
11. 실시형태 10에 있어서, 선택된 제4 엘리먼트를 포함하는 제4 선택 막대(실질적으로 제3 선택 막대에 직교)를 포함하고, 선택된 제4 엘리먼트는 선택된 제1 엘리먼트, 선택된 제2 엘리먼트 및 선택된 제3 엘리먼트에 종속되는, 그래픽 유저 인터페이스(GUI).
12. 실시형태 10에 있어서, 직교성(orthogonality)은, 카르테시안(Cartesian), 원통형(cylindrical), 구형(spherical), 포물형(parabolic), 포물 원통형(parabolic cylindrical), 포물면형(paraboloidal), 편구면형(oblate spheroidal), 장구면형(prolate spheroidal), 타원형(ellipsoidal), 타원 원통형(elliptical cylindrical), 도넛형(toroidal), 이중-구형(bispherical), 양극 원통형(bipolar cylindrical), 및 원뿔형(conical)으로 된 상기 좌표 시스템의 하나 이상에 적용되는, 그래픽 유저 인터페이스(GUI).
13. 실시형태 10에 있어서, 직교성은 3차원(3D) 공간에서 적용되는, 그래픽 유저 인터페이스(GUI).
14. 실시형태 10에 있어서, 직교성은 4차원(4D) 공간에서 적용되는, 그래픽 유저 인터페이스(GUI).
15. 그래픽 유저 인터페이스(GUI) 탐색 방법으로서,
디스플레이를 제공하는 단계, 실질적인 수평 선택 막대를 디스플레이 상에 표시하는 단계, 현재 선택된 수평 엘리먼트를 강조표시하는 단계, 및 수평 선택 막대를 선택적으로 가로지르는 단계를 포함하고,
현재 선택된 수평 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
16. 실시형태 15에 있어서, 현재 선택된 수평 엘리먼트에 종속되는 실질적인 수직 선택 막대를 디스플레이 상에 표시하는 단계, 및 수직 선택 막대를 선택적으로 가로지르는 단계를 포함하고,
현재 선택된 수직 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
17. 실시형태 16에 있어서, 현재 선택된 수직 엘리먼트에 종속되는 제1 실질적 대각 선택 막대를 디스플레이 상에 표시하는 단계, 및 대각 선택 막대를 선택적으로 가로지르는 단계를 포함하고,
현재 선택된 제1 대각 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
18. 실시형태 17에 있어서, 현재 선택된 제1 대각 엘리먼트에 종속되는 제2 실질적 대각 선택 막대를 표시하는 단계, 및 제2 실질적 대각 선택 막대를 선택적으로 가로지르는 단계를 포함하고,
현재 선택된 제2 대각 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
19. 실시 형태 15의 단계들을 저장할 수 있는 컴퓨터 판독가능 매체.
20. 실시 형태 15의 단계들을 실행할 수 있는 컴퓨터.
21. 3차원 이상(3+D)의 표현을 표시하는 그래픽 유저 인터페이스(GUI) 장치로서,
선택된 제1 엘리먼트를 포함하는 제1 선택 막대, 선택적으로 선택된 제2 엘리먼트를 포함하는, 선택된 제1 엘리먼트에 종속되는 실질적 직교 제2 선택 막대, 및 선택적으로 선택된 제3 엘리먼트를 포함하는, 선택된 제1 엘리먼트 및 선택된 제2 엘리먼트 모두에 종속되는 실질적인 제3 선택 막대(이는 제1 선택 막대 및 제2 선택 막대에 일차 종속이나, 제1 선택 막대 및 제2 선택 막대로부터 시각적으로 구별됨)를 포함하는 표시 장치, GUI 명령으로 손의 움직임을 검출하는 검출기를 포함하고, GUI 명령은 (1) 제1 선택 막대, 제2 선택 막대, 제3 선택 막대의 탐색을 제어하고, 및 (2) 선택된 제1 엘리먼트, 선택적으로 선택된 제2 엘리먼트, 및 선택적으로 선택된 제3 엘리먼트를 선택하는, 그래픽 유저 인터페이스(GUI) 장치.
22. 실시형태 21에 있어서, 손의 움직임은 3차원에서의 위치적 움직임을 포함하는, 그래픽 유저 인터페이스(GUI) 장치.
23. 실시형태 21에 있어서, GUI 명령은 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 대각선 이동으로 된 명령 그룹 중 하나로부터 선택되는, 그래픽 유저 인터페이스(GUI) 장치.
24. 실시형태 21에 있어서, 3차원에서의 손의 움직임은 카르테시안 공간에서의 움직임을 포함하는, 그래픽 유저 인터페이스(GUI) 장치.
25. 실시형태 21에 있어서, 손의 움직임은 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 더 포함하는, 그래픽 유저 인터페이스(GUI) 장치.
26. 실시형태 21에 있어서, 선택적으로 선택된 제4 엘리먼트를 포함하는 제4 선택 막대(제3 선택 막대는 물론 제1 선택 막대 및 제2 선택 막대와 시각적으로 독립적임)를 포함하고,
선택된 제4 엘리먼트는 선택된 제1 엘리먼트, 선택적으로 선택된 제2 엘리먼트, 선택적으로 선택된 제3 엘리먼트에 종속되고, GUI 명령은 추가로 (1) 제4 선택 막대의 탐색을 제어하고, 및 (2) 선택적으로 선택된 제4 엘리먼트를 선택하는, 그래픽 유저 인터페이스(GUI) 장치.
27. 그래픽 유저 인터페이스(GUI)는 표시 장치, 표시 장치 상에 3차원 이상(3+D)의 그래픽 유저 인터페이스(GUI)를 표시하는 수단, 및 GUI를 제어하는 원격 제어기를 포함하는, 그래픽 유저 인터페이스(GUI).
28. 실시형태 27에 있어서, 원격 제어기는, 3차원 이상의 선택 막대가 3+D GUI에서 탐색되게 하는 하나 이상의 대각 버튼을 포함하는, 그래픽 유저 인터페이스(GUI).
29. 실시형태 28에 있어서, 원격 제어기는 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 대각선 이동으로 된 명령 그룹의 하나로부터 선택된 하나 이상의 명령을 실행하는, 그래픽 유저 인터페이스(GUI).
30. 실시형태 27에 있어서, 원격 제어기는 3차원에서의 위치적 움직임을 검출하는 하나 이상의 센서를 포함하는, 그래픽 유저 인터페이스(GUI).
31. 실시형태 30에 있어서, 원격 제어기는 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 검출하는 하나 이상의 센서를 포함하는, 그래픽 유저 인터페이스(GUI).
32. 실시형태 27에 있어서, 표시 장치는 TV, 평면 화면 모니터, 3차원 TV, 홀로그램 3D TV, 에너글리프 3D TV(anaglyphic 3D TV)(수동 레드-시안 안경으로 시청), 편광 3D TV(수동 편광 안경으로 시청), 교호-프레임 시퀀싱 3D TV(능동 셔터 안경 또는 헤드 기어로 시청), 자동입체 3D TV(안경 또는 헤드 기어없이 시청)으로 된 표시 장치의 일 그룹으로부터 선택되는, 그래픽 유저 인터페이스(GUI).
본 발명의 실시 형태는 본 발명의 실시형태에 따른 방법 및 시스템의 흐름도를 참조하여 기술된다. 이 방법 및 시스템은 컴퓨터 프로그램 결과물로서 구현될 수도 있다. 이러한 점에서, 흐름도의 각 블록 또는 단계 및 흐름도 내의 블록(및/또는 단계)의 임의의 조합은, 컴퓨터 판독가능 프로그램 코드 로직에 구현된 일 이상의 컴퓨터 프로그램 명령어를 포함하는 하드웨어, 펌웨어, 및/또는 소프트웨어 등의 각종 수단에 의해 구현될 수 있다. 임의의 이러한 컴퓨터 프로그램 명령어는 범용 컴퓨터 또는 특수 목적 컴퓨터, 또는 장비를 생산하기 위한 다른 프로그램가능 처리 장치를 포함(다만, 이들에 제한되는 것은 아님)하는 컴퓨터에 로딩될 수 있어서, 컴퓨터 또는 다른 프로그램가능 처리 장치에서 실행하는 컴퓨터 프로그램 명령어가 흐름도(들)의 블록(들)에서 구체화된 기능들을 구현하는 수단을 생성할 수 있다.
따라서, 흐름도의 블록은 특정한 기능을 수행하기 위한 수단의 조합, 특정한 기능을 수행하기 위한 단계의 조합, 및 특정한 기능을 수행하기 위한 컴퓨터-판독가능 프로그램 코드 로직 수단에 구현된 것과 같은 컴퓨터 프로그램 명령어들을 지원한다. 흐름도의 각 블록 및 흐름도 내의 블록들의 조합은 특정 기능 또는 단계를 수행하는 특수 목적 하드웨어-기반 컴퓨터 시스템, 또는 특수 목적 컴퓨터 및 컴퓨터-판독가능 프로그램 코드 로직 수단의 조합에 의해 구현될 수 있다.
또한, 컴퓨터-판독가능 프로그램 코드 로직에 구현된 것과 같은 컴퓨터 프로그램 명령어들은, 특정 방식으로 기능하도록 컴퓨터 또는 다른 프로그램 가능한 처리 장치를 지시할 수 있는 컴퓨터-판독가능 메모리에 저장될 수도 있어서, 컴퓨터-판독가능 메모리에 저장된 명령어들은 흐름도(들)의 블록(들)에서 구체화된 기능을 실행하는 명령 수단을 포함하는 제조 물품(an article of manufacture)을 생성할 수 있다. 컴퓨터 프로그램 명령어는, 컴퓨터로 구현된 처리(computer-implemented process)를 생성하도록, 컴퓨터 또는 기타 프로그램가능 처리 장치상에서 수행되는 일련의 작동 단계를 도모하기 위해 컴퓨터 또는 기타 프로그램 가능 처리 장치에서 로딩될 수도 있어서, 컴퓨터 또는 기타 프로그램 가능 처리 장치 상에서 실행된 명령어들이 흐름도(들)의 블록(들)에서 특정된 기능을 구현하는 단계를 제공할 수 있다.
상술한 설명이 다수의 세부 사항을 포함하고 있지만, 본 발명의 범위를 제한하는 것으로 해석되어서는 안되고, 단지 본 발명의 바람직한 실시 형태의 일부를 제공하기 위한 것으로 해석되어야 한다. 그러므로, 본 발명의 범위는 통상의 기술자에 의해 명백할 수 있는 다른 실시 형태를 모두 포함하고, 본 발명의 범위는 따라서 첨부된 청구항 외의 다른 것에 의해서는 제한되지 않으며, 단수의 구성요소는 명백히 단수로 기술되어 있지 않다면, "오직 하나(one and only one)"의 의미를 의도하지 않고, "하나 이상(one or more)"을 의도하는 것으로 해석되어야 한다. 본 발명의 통상의 기술자에게 알려진 상술된 바람직한 실시 형태의 구성요소에 대한 모든 구조적, 화학적, 및 기능적 균등물은 참조로서 본 명세서에 명확히 원용되어있고, 본 청구항에 의해 모두 포함되는 것으로 의도된다. 또한, 장치 또는 방법이 본 청구항에 수반되는 본 발명에 의해 해결 되어질 모든 문제점을 특정할 필요는 없다. 또한, 본 명세서의 어떠한 구성요소, 컴포넌트, 또는 방법의 단계도, 이러한 구성요소, 컴포넌트, 방법의 단계가 청구항에 명시적으로 기재되었는지 여부와 관계없이 공중에 기여되는 것으로 해석되어서는 안된다. 본 명세서의 어떠한 청구항의 구성요소도, 그 구성요소가 "~위한 수단"이라는 문구을 사용하여 명확히 기재되지 않았다면, 미국 특허법 제112조, 제6 문단의 규정으로 해석되어서는 안된다.

Claims (32)

  1. 그래픽 유저 인터페이스(GUI)로서,
    표시 장치,
    상기 표시 장치상에 3차원 이상의(3+D) 그래픽 유저 인터페이스(GUI)를 표시하는 수단; 및
    상기 GUI를 제어하는 수단을 포함하는, 그래픽 유저 인터페이스(GUI).
  2. 제1항에 있어서, 상기 제어하는 수단은 손의 움직임을 포함하는, 그래픽 유저 인터페이스(GUI).
  3. 제2항에 있어서, 상기 손의 움직임은 3차원에서의 위치적 움직임(positional movements)을 포함하는, 그래픽 유저 인터페이스(GUI).
  4. 제2항에 있어서, 상기 손의 움직임은 부호화된 GUI 명령을 포함하는, 그래픽 유저 인터페이스(GUI).
  5. 제4항에 있어서, 상기 부호화된 GUI 명령은 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 대각선 이동으로 된 명령 그룹 중 하나로부터 선택되는, 그래픽 유저 인터페이스(GUI).
  6. 제2항에 있어서, 상기 손의 움직임을 검출하는 검출기를 포함하는, 그래픽 유저 인터페이스(GUI).
  7. 제3항에 있어서, 3차원에서의 움직임은 카르테시안 공간(Cartesian space)에서의 움직임을 포함하는, 그래픽 유저 인터페이스(GUI).
  8. 제2항에 있어서, 상기 손의 움직임은 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 포함하는, 그래픽 유저 인터페이스(GUI).
  9. 제1항에 있어서, 상기 3+D GUI를 표시하는 수단은,
    선택된 수평 엘리먼트를 포함하는 실질적인 수평 선택 막대;
    선택된 수직 엘리먼트를 포함하는 상기 선택된 수평 엘리먼트에 종속되는 실질적인 수직 선택 막대; 및
    선택된 각진 엘리먼트(angled element)를 포함하는 상기 선택된 수평 엘리먼트 및 상기 선택된 수직 엘리먼트에 모두 종속되는 실질적인 각진 선택 막대를 포함하는, 그래픽 유저 인터페이스(GUI).
  10. 제1항에 있어서, 상기 3+D GUI를 표시하는 수단은,
    선택된 제1 엘리먼트를 포함하는 제1 선택 막대;
    선택된 제2 엘리먼트를 포함하는, 선택된 제1 엘리먼트에 종속되는 실질적인 직교의 제2 선택 막대; 및
    선택된 제3 엘리먼트를 포함하는, 상기 선택된 제1 엘리먼트 및 상기 선택된 제2 엘리먼트 모두에 종속되는 실질적인 제3 선택 막대 - 상기 제3 선택 막대는 상기 제1 선택 막대 및 상기 제2 선택 막대에 일차 종속이나, 상기 제1 선택 막대 및 상기 제2 선택 막대로부터 시각적으로 구별됨 - 를 포함하는, 그래픽 유저 인터페이스(GUI).
  11. 제10항에 있어서,
    선택된 제4 엘리먼트를 포함하는 제4 선택 막대 - 상기 제4 선택 막대는 실질적으로 상기 제3 선택 막대에 직교함 - 를 포함하고;
    상기 선택된 제4 엘리먼트는 상기 선택된 제1 엘리먼트, 상기 선택된 제2 엘리먼트 및 상기 선택된 제3 엘리먼트에 종속되는, 그래픽 유저 인터페이스(GUI).
  12. 제10항에 있어서, 직교성(orthogonality)은, 카르테시안(Cartesian), 원통형(cylindrical), 구형(spherical), 포물형(parabolic), 포물 원통형(parabolic cylindrical), 포물면형(paraboloidal), 편구면형(oblate spheroidal), 장구면형(prolate spheroidal), 타원형(ellipsoidal), 타원 원통형(elliptical cylindrical), 도넛형(toroidal), 이중-구형(bispherical), 양극 원통형(bipolar cylindrical), 및 원뿔형(conical)으로 된 상기 좌표 시스템의 하나 이상에 적용되는, 그래픽 유저 인터페이스(GUI).
  13. 제10항에 있어서, 직교성은 3차원(3D) 공간에서 적용되는, 그래픽 유저 인터페이스(GUI).
  14. 제10항에 있어서, 직교성은 4차원(4D) 공간에서 적용되는, 그래픽 유저 인터페이스(GUI).
  15. 그래픽 유저 인터페이스(GUI) 탐색 방법으로서,
    디스플레이를 제공하는 단계;
    실질적인 수평 선택 막대를 디스플레이 상에 표시하는 단계;
    현재 선택된 수평 엘리먼트를 강조표시하는 단계; 및
    상기 수평 선택 막대를 선택적으로 가로지르는 단계를 포함하고, 상기 현재 선택된 수평 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
  16. 제15항에 있어서,
    상기 현재 선택된 수평 엘리먼트에 종속되는 실질적인 수직 선택 막대를 상기 디스플레이 상에 표시하는 단계; 및
    상기 수직 선택 막대를 선택적으로 가로지르는 단계를 포함하고, 현재 선택된 수직 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
  17. 제16항에 있어서,
    상기 현재 선택된 수직 엘리먼트에 종속되는 제1 실질적 대각 선택 막대를 표시하는 단계; 및
    상기 대각 선택 막대를 선택적으로 가로지르는 단계를 포함하고, 현재 선택된 제1 대각 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
  18. 제17항에 있어서, 상기 현재 선택된 제1 대각 엘리먼트에 종속되는 제2 실질적 대각 선택 막대를 상기 디스플레이 상에 표시하는 단계; 및
    상기 제2 실질적 대각 선택 막대를 선택적으로 가로지르는 단계를 포함하고, 현재 선택된 제2 대각 엘리먼트는 변경되는, 그래픽 유저 인터페이스(GUI) 탐색 방법.
  19. 제15항에 기재된 상기 단계들을 저장할 수 있는 컴퓨터 판독가능 매체.
  20. 제15항에 기재된 상기 단계들을 실행할 수 있는 컴퓨터.
  21. 3차원 이상(3+D)의 표현을 표시하는 그래픽 유저 인터페이스(GUI) 장치로서,
    (a) 표시 장치로서,
    선택된 제1 엘리먼트를 포함하는, 제1 선택 막대;
    선택적으로 선택된 제2 엘리먼트를 포함하는 상기 선택된 제1 엘리먼트에 종속되는 실질적 직교 제2 선택 막대; 및
    선택적으로 선택된 제3 엘리먼트를 포함하는, 상기 선택된 제1 엘리먼트 및 상기 선택된 제2 엘리먼트 모두에 종속되는 실질적인 제3 선택 막대 - 상기 제3 선택 막대는 상기 제1 선택 막대 또는 상기 제2 선택 막대에 일차 종속이나, 상기 제1 선택 막대 및 상기 제2 선택 막대로부터 시각적으로 구별됨 - 를 포함하는 표시 장치; 및
    (b) GUI 명령으로 손의 움직임을 검출하는 검출기를 포함하고;
    (c) 상기 GUI 명령은
    상기 제1 선택 막대, 상기 제2 선택 막대 및 상기 제3 선택 막대의 탐색을 제어하고, 및
    상기 선택된 제1 엘리먼트, 상기 선택적으로 선택된 제2 엘리먼트, 및 상기 선택적으로 선택된 제3 엘리먼트를 선택하는, 그래픽 유저 인터페이스(GUI) 장치.
  22. 제21항에 있어서, 상기 손의 움직임은 3차원에서의 위치적 움직임을 포함하는, 그래픽 유저 인터페이스(GUI) 장치.
  23. 제21항에 있어서, 상기 GUI 명령은 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 및 대각선 이동으로 된 명령 그룹 중 하나로부터 선택되는, 그래픽 유저 인터페이스(GUI) 장치.
  24. 제21항에 있어서, 3차원에서의 상기 손의 움직임은 카르테시안 공간에서의 움직임을 포함하는, 그래픽 유저 인터페이스(GUI) 장치.
  25. 제21항에 있어서, 상기 손의 움직임은 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 포함하는, 그래픽 유저 인터페이스(GUI) 장치.
  26. 제21항에 있어서,
    선택적으로 선택된 제4 엘리먼트를 포함하는 제4 선택 막대 - 상기 제4 선택 막대는 상기 제3 선택 막대는 물론 상기 제1 선택 막대 및 제2 선택 막대와 시각적으로 독립적임 - 를 포함하고,
    상기 선택된 제4 엘리먼트는 상기 선택된 제1 엘리먼트, 상기 선택적으로 선택된 제2 엘리먼트, 상기 선택적으로 선택된 제3 엘리먼트에 종속되고,
    상기 GUI 명령은 추가로
    상기 제4 선택 막대의 탐색을 제어하고, 및
    상기 선택적으로 선택된 제4 엘리먼트를 선택하는, 그래픽 유저 인터페이스(GUI) 장치.
  27. 그래픽 유저 인터페이스(GUI)로서,
    표시 장치,
    상기 표시 장치상에 3차원 이상(3+D)의 그래픽 유저 인터페이스(GUI)를 표시하는 수단; 및
    상기 GUI를 제어하는 원격 제어기를 포함하는, 그래픽 유저 인터페이스(GUI).
  28. 제27항에 있어서, 상기 원격 제어기는, 3차원 이상의 선택 막대가 상기 3+D GUI에서 탐색되게 하는 하나 이상의 대각 버튼을 포함하는, 그래픽 유저 인터페이스(GUI).
  29. 제28항에 있어서, 상기 원격 제어기는 좌측 이동, 우측 이동, 상측 이동, 하측 이동, 선택, 퇴장, 이전 선택, 탈출, 및 대각선 이동으로 된 명령 그룹의 하나로부터 선택된 하나 이상의 명령을 실행하는, 그래픽 유저 인터페이스(GUI).
  30. 제27항에 있어서, 상기 원격 제어기는 3차원에서의 위치적 움직임을 검출하는 하나 이상의 센서를 포함하는, 그래픽 유저 인터페이스(GUI).
  31. 제30항에 있어서, 상기 원격 제어기는 던지기, 굴리기, 기울이기 및 이들의 조합으로 된 움직임의 그룹으로부터 선택된 움직임을 검출하는 하나 이상의 센서를 포함하는, 그래픽 유저 인터페이스(GUI).
  32. 제27항에 있어서, 상기 표시 장치는 TV, 평면 화면 모니터, 3차원 TV, 홀로그램 3D TV, 에너글리프 3D TV(anaglyphic 3D TV)(수동 레드-시안 안경으로 시청), 편광 3D TV(수동 편광 안경으로 시청), 교호-프레임 시퀀싱 3D TV(능동 셔터 안경 또는 헤드 기어로 시청), 자동입체 3D TV(안경 또는 헤드 기어없이 시청)으로 된 표시 장치의 일 그룹으로부터 선택되는, 그래픽 유저 인터페이스(GUI).
KR1020127017693A 2010-01-21 2011-01-05 Ｔｖ 메뉴 및 문서 탐색에 대한 3차원 이상의 그래픽 유저 인터페이스 KR20120102754A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/691,609 US20110179376A1 (en) 2010-01-21 2010-01-21 Three or higher dimensional graphical user interface for tv menu and document navigation
US12/691,609 2010-01-21

Publications (1)

Publication Number Publication Date
KR20120102754A true KR20120102754A (ko) 2012-09-18

Family

ID=44278472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127017693A KR20120102754A (ko) 2010-01-21 2011-01-05 Ｔｖ 메뉴 및 문서 탐색에 대한 3차원 이상의 그래픽 유저 인터페이스

Country Status (5)

Country Link
US (1) US20110179376A1 (ko)
KR (1) KR20120102754A (ko)
CN (1) CN102713821A (ko)
BR (1) BR112012016771A2 (ko)
WO (1) WO2011090816A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108304A (ko) * 2014-03-17 2015-09-25 오므론 가부시키가이샤 멀티미디어 장치, 멀티미디어 장치의 제어 방법, 및 멀티미디어 장치의 제어 프로그램

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625599B2 (ja) * 2010-08-04 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101734285B1 (ko) * 2010-12-14 2017-05-11 엘지전자 주식회사 이동 단말기의 영상 처리 장치 및 그 방법
US9202297B1 (en) 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US10001898B1 (en) 2011-07-12 2018-06-19 Domo, Inc. Automated provisioning of relational information for a summary data visualization
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
CN104220962B (zh) * 2012-01-09 2017-07-11 莫韦公司 利用触摸手势的手势仿真的设备的命令
US20130185753A1 (en) * 2012-01-12 2013-07-18 Jason Kliot Data Management and Selection/Control System Preferably for a Video Magazine
TWI511540B (zh) * 2012-11-30 2015-12-01 Wistron Corp 具有多軸向操作介面之電子裝置及資訊顯示方法
KR101416749B1 (ko) * 2012-12-13 2014-07-08 주식회사 케이티 Ｔｖ 재생 장치 및 방법
EP3021205B1 (en) 2013-07-09 2021-08-04 Sony Group Corporation Information processing device, information processing method, and computer program
CN103324400B (zh) * 2013-07-15 2016-06-15 天脉聚源(北京)传媒科技有限公司 一种在3d模型中展示菜单的方法及装置
US20150121298A1 (en) * 2013-10-31 2015-04-30 Evernote Corporation Multi-touch navigation of multidimensional object hierarchies
US20150277689A1 (en) * 2014-03-28 2015-10-01 Kyocera Document Solutions Inc. Display input apparatus and computer-readable non-transitory recording medium with display input control program recorded thereon
US9965445B2 (en) 2015-08-06 2018-05-08 FiftyThree, Inc. Systems and methods for gesture-based formatting
JP6684559B2 (ja) 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
CN106598240B (zh) * 2016-12-06 2020-02-18 北京邮电大学 一种菜单项选择方法及装置
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN112492365A (zh) * 2019-09-11 2021-03-12 新加坡商欧之遥控有限公司 遥控器导航界面组件
US11231911B2 (en) * 2020-05-12 2022-01-25 Programmable Logic Consulting, LLC System and method for using a graphical user interface to develop a virtual programmable logic controller

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5678015A (en) * 1995-09-01 1997-10-14 Silicon Graphics, Inc. Four-dimensional graphical user interface
CN1126025C (zh) * 1997-08-12 2003-10-29 松下电器产业株式会社 窗口显示装置
KR100565040B1 (ko) * 1999-08-20 2006-03-30 삼성전자주식회사 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스 방법 및 이를 위한 기록 매체
US6614455B1 (en) * 1999-09-27 2003-09-02 Koninklijke Philips Electronics N.V. Directional navigation within a graphical user interface
US6636246B1 (en) * 2000-03-17 2003-10-21 Vizible.Com Inc. Three dimensional spatial user interface
JP4325075B2 (ja) * 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
US7546548B2 (en) * 2002-06-28 2009-06-09 Microsoft Corporation Method and system for presenting menu commands for selection
US6927886B2 (en) * 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
KR100486739B1 (ko) * 2003-06-27 2005-05-03 삼성전자주식회사 착용형 휴대폰 및 그 사용방법
JP4325449B2 (ja) * 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置，表示制御方法，記録媒体
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
TWI275257B (en) * 2004-07-12 2007-03-01 Sony Corp Inputting apparatus
KR100755684B1 (ko) * 2004-08-07 2007-09-05 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US7598942B2 (en) * 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US20060267927A1 (en) * 2005-05-27 2006-11-30 Crenshaw James E User interface controller method and apparatus for a handheld electronic device
CN101300621B (zh) * 2005-09-13 2010-11-10 时空3D公司 用于提供三维图形用户界面的系统和方法
KR100792295B1 (ko) * 2005-12-29 2008-01-07 삼성전자주식회사 컨텐츠 네비게이션 방법 및 그 컨텐츠 네비게이션 장치
US20070294636A1 (en) * 2006-06-16 2007-12-20 Sullivan Damon B Virtual user interface apparatus, system, and method
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR101207451B1 (ko) * 2006-11-14 2012-12-03 엘지전자 주식회사 비접촉 센서를 구비하는 이동 단말기 및 이를 이용한아이템 목록 탐색 방법
KR100934514B1 (ko) * 2008-05-07 2009-12-29 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스제어방법
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8683383B2 (en) * 2007-10-30 2014-03-25 Sony Corporation Automatically culled cross-menu bar
US8250604B2 (en) * 2008-02-05 2012-08-21 Sony Corporation Near real-time multiple thumbnail guide with single tuner
US8151215B2 (en) * 2008-02-07 2012-04-03 Sony Corporation Favorite GUI for TV
US20100077355A1 (en) * 2008-09-24 2010-03-25 Eran Belinsky Browsing of Elements in a Display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108304A (ko) * 2014-03-17 2015-09-25 오므론 가부시키가이샤 멀티미디어 장치, 멀티미디어 장치의 제어 방법, 및 멀티미디어 장치의 제어 프로그램

Also Published As

Publication number Publication date
CN102713821A (zh) 2012-10-03
WO2011090816A3 (en) 2011-10-27
US20110179376A1 (en) 2011-07-21
BR112012016771A2 (pt) 2018-05-08
WO2011090816A2 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
KR20120102754A (ko) Ｔｖ 메뉴 및 문서 탐색에 대한 3차원 이상의 그래픽 유저 인터페이스
US11281843B2 (en) Method of displaying axis of user-selectable elements over years, months, and days
US10067638B2 (en) Method of navigating axes of information elements
CA2846505C (en) Arranging tiles
AU2010262875B2 (en) User interface visualizations
US6990637B2 (en) Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
US6243093B1 (en) Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups matching objects
US6166738A (en) Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects
US7864978B2 (en) Smart arrangement and cropping for photo views
US10768421B1 (en) Virtual monocle interface for information visualization
US10180773B2 (en) Method of displaying axes in an axis-based interface
EP2860734A1 (en) Method and apparatus for media searching using a graphical user interface
WO2012157958A2 (en) Apparatus, method and computer readable recording medium for displaying content
KR20130132805A (ko) 브라우징 관련 이미지 검색 결과 세트
WO2016000079A1 (en) Display, visualization, and management of images based on content analytics
US20170075534A1 (en) Method of presenting content to the user
US9940014B2 (en) Context visual organizer for multi-screen display
Schoeffmann et al. 3-D interfaces to improve the performance of visual known-item search
Brivio et al. PileBars: Scalable Dynamic Thumbnail Bars.
Joh et al. Understanding the touchscreen-based nonvisual target acquisition task performance of screen reader users
Janjusevic et al. Visualising the query space of the image collection
Cojocaru HIERARCHICAL VIDEO BROWSING INTERFACES ON TOUCH-SCREEN MOBILE DEVICES
AU2014202325A1 (en) User interface visualizations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application