KR20140070326A - 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법 - Google Patents

3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법 Download PDF

Info

Publication number
KR20140070326A
KR20140070326A KR1020130056654A KR20130056654A KR20140070326A KR 20140070326 A KR20140070326 A KR 20140070326A KR 1020130056654 A KR1020130056654 A KR 1020130056654A KR 20130056654 A KR20130056654 A KR 20130056654A KR 20140070326 A KR20140070326 A KR 20140070326A
Authority
KR
South Korea
Prior art keywords
user
dimensional
virtual
dimensional space
mobile device
Prior art date
Application number
KR1020130056654A
Other languages
English (en)
Inventor
일리아 오브시아니코프
민동기
박윤동
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20140070326A publication Critical patent/KR20140070326A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 3차원 인터페이스를 제공하는 모바일 장치의 제스처 제어 방법은, 상기 3차원 인터페이스를 이용하여 가상의 3차원 공간을 디스플레이하는 단계, 적어도 하나의 전면 방향 감지기로부터 적어도 하나의 사용자의 적어도 하나의 제스처를 검출하는 단계, 및 상기 적어도 하나의 사용자가 상기 가상의 3차원 공간에 상호작용하도록 상기 검출된 제스처에 따라 상기 가상의 3차원 공간에 존재하는 객체를 이동시키는 단계를 포함한다.

Description

3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법{MOBILE DEVICE PROVIDING 3D INTERFACE AND GUESTURE CONTROLLING METHOD THEREOF}
본 발명은 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법에 관한 것이다.
현재 단말기는 다양한 멀티미디어 기능들을 구비하는 복합 단말기로 발전하고 있다. 멀티미디어 기능들 중의 하나가 카메라이다. 사용자는 카메라를 이용하여 이미지를 획득한 후, 이를 표시하거나 또는 전송할 수 있다. 일반적으로 카메라를 구비하는 영상처리장치는 카메라로부터 획득되는 2차원 이미지를 처리한다. 2차원 이미지는 하나의 카메라를 이용하여 획득되는 이미지를 처리한다. 사람의 좌안 및 우안에서 보이는 이미지가 서로 다르다. 이런 경우 좌안에서 획득되는 이미지와 우안에서 획득되는 이미지를 합성하여 표시하면 입체적인 이미지로 표현할 수 있다. 즉, 영상처리장치가 복수의 카메라들을 구비하고, 카메라들에서 획득되는 영상을 합성하여 표시하면 3차원 이미지로 표현할 수 있다.
본 발명의 목적은 사용자의 제스처와 상호작용하는 3차원 인터페이스를 제공하는 모바일 장치를 구현하는데 있다.
본 발명의 실시 예에 따른 3차원 인터페이스를 제공하는 모바일 장치의 제스처 제어 방법은, 상기 3차원 인터페이스를 이용하여 가상의 3차원 공간을 디스플레이하는 단계, 적어도 하나의 전면 방향 감지기로부터 적어도 하나의 사용자의 적어도 하나의 제스처를 검출하는 단계, 및 상기 적어도 하나의 사용자가 상기 가상의 3차원 공간에 상호작용하도록 상기 검출된 제스처에 따라 상기 가상의 3차원 공간에 존재하는 객체를 이동시키는 단계를 포함한다.
실시 예에 있어서, 상기 적어도 하나의 사용자의 위치 정보를 근거로 하여 상기 적어도 하나의 사용자에 대응하는 손의 아바타를 발생하는 단계를 더 포함한다.
실시 예에 있어서, 상기 적어도 하나의 사용자가 상기 3차원 공간에 몰입하도록 상기 적어도 하나의 사용자의 주변 환경에 관련된 정지 공간에 대응하는 3차원 장면을 상기 가상의 3차원 공간에 디스플레이하는 단계; 상기 정지 공간에 큐브가 플로팅된 것처럼 상기 3차원 장면을 디스플레이하는 단계; 및 상기 모바일 장치 혹은 상기 적어도 하나의 사용자가 움직일 때, 상기 3 차원 공간 내에서 상기 큐브의 위치가 변화하지 않도록 상기 모바일 장치 혹은 상기 적어도 하나의 사용자의 움직임에 따라 디스플레이되는 상기 큐브의 모습을 변화하는 단계 더 포함한다.
실시 예에 있어서, 상기 큐브의 모습을 변화시키는 단계는, 상기 적어도 하나의 사용자가 머리를 왼쪽으로 움직일 때, 상기 적어도 하나의 사용자가 움직이기 전의 상기 큐브의 모습과 비교하여 상기 큐브의 왼쪽 측면을 좀 더 디스플레이하는 단계를 더 포함한다.
실시 예에 있어서, 상기 적어도 하나의 전면 방향 감지기를 이용하여 물리적 3차원 공간 내에서 상기 적어도 하나의 사용자의 눈의 좌표를 획득 및 추적하는 단계를 더 포함한다.
실시 예에 있어서, 상기 적어도 하나의 사용자가 상기 가상의 3차원 공간에 몰입하도록 상기 눈의 좌표를 근거로 하여 상기 가상의 3차원 공간을 변화시키는 단계를 더 포함한다.
실시 예에 있어서, 상기 가상의 3차원 공간을 상기 적어도 하나의 사용자가 바라보는 물리적 장면에 적재되도록 디스플레이하는 단계를 더 포함한다.
실시 예에 있어서, 상기 가상의 3차원 공간에서 상기 적어도 하나의 사용자의 아바타를 발생하는 단계; 및 상기 발생된 아바타를 이용하여 상기 적어도 하나의 사용자가 아닌 다른 사용자와 통신을 수행하는 단계를 포함한다.
실시 예에 있어서, 상기 가상의 3차원 공간의 객체를 상기 적어도 하나의 사용자의 핀칭(pinching)에 의해 선택하는 단계를 더 포함한다.
실시 예에 있어서, 상기 적어도 하나의 사용자의 스퀴징(squeezing)에 의해 상기 선택된 객체의 크기를 조정하기 위한 크기 조정 모드로 진입하는 단계를 더 포함한다.
실시 예에 있어서, 사전에 결정된 시간 동안 상기 선택된 객체의 크기가 조정되지 않으면, 상기 크기 조정 모드를 종료하는 단계를 더 포함한다.
실시 예에 있어서, 상기 적어도 하나의 사용자가 손으로 푸싱(pushing)함으로써 상기 객체를 이동시키는 단계를 더 포함한다.
실시 예에 있어서, 상기 적어도 하나의 사용자가 손을 회전함으로써 상기 객체를 패닝(panning)시키는 단계를 더 포함한다.
본 발명의 실시 예에 따른 3차원 인터페이스를 제공하는 모바일 장치는, 무선 통신을 수행하는 통신부; 사용자의 데이터 및 구동에 필요한 데이터를 저장하는 메모리부; 상기 3차원 인터페이스에 의해 가상의 3차원 공간을 디스플레이하는 디스플레이부; 상기 사용자의 적어도 하나의 제스처를 검출하는 적어도 하나의 전면방향 감지기를 갖고, 물리적 공간의 정지 화면 및 동영상을 감지하는 감지부; 상기 통신부, 상기 메모리부, 상기 디스플레이부, 및 상기 감지부를 제어하고, 상기 검출된 제스처에 따라 상기 가상의 3차원 공간에 존재하는 객체를 이동시키고, 상기 모바일 장치 혹은 상기 사용자가 움직일 때 상기 사용자가 상기 객체를 바라보는 시각이 변화하도록 상기 3차원 인터페이스를 제어하는 적어도 하나의 프로세서를 포함한다.
실시 예에 있어서, 상기 전면 방향 감지기는 타임 오브 플라이트(time-of-flight) 카메라이다.
본 발명에 따른 모바일 장치는 사용자가 시각적 방해 없이 모바일 장치에서 구동되는 3차원 인터페이스와 상호작용할 수 있고, 사용자가 자연스럽게 가상의 3차원 공간에 도달하고, 가상의 객체들을 조작할 수 있다.
본 발명에 따른 모바일 장치는 3차원 시각화를 갖는 상호작용 어플리케이션들을 수행할 수 있다.
도 1은 본 발명의 실시 예에 따른 모바일 장치를 예시적으로 보여주는 블록도이다.
도 2는 사용자가 본 발명의 실시 예에 따른 모바일 장치의 스크린 뒤에서 어플리케이션 가상의 3차원 공간 내에서 손을 놓은 모습을 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 모바일 장치에서 가상의 3차원 장면을 보는 동안에 향상된 몰입 효과를 얻기 위하여 투시창을 보여주는 도면이다.
도 4 내지 도 10은 손의 제스처에 따른 상호작용 동작들을 예시적으로 보여주는 도면들이다.
도 11은 본 발명의 실시 예에 따른 모바일 장치에서 3차원 인터페이스의 제스처 제어 방법을 예시적으로 보여주는 흐름도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 본 발명의 실시 예를 첨부된 도면을 참조하여 설명할 것이다.
도 1은 본 발명에 따른 모바일 장치를 예시적으로 보여주는 블록도이다. 도 1을 참조하면, 모바일 장치(100)는 적어도 하나의 프로세서(110), 감지부(120), 메모리부(130), 입력부(140), 디스플레이부(150) 및 통신부(160)를 포함할 수 있다. 모바일 장치(100)는 넷북, 스마트폰, 태블릿, 핸드헬드 게임 콘솔, 디지털 스틸 카메라 및 캠코더 등이 될 수 있다.
적어도 하나의 프로세서(110)는 모바일 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(110)는 음성통화 및 데이터 통신을 위한 처리 및 제어를 수행한다. 특히, 프로세서(110)는 3차원 인터페이스를 수행할 수 있다. 3차원 인터페이스는 가상의 3차원 공간을 발생하고, 사용자와 3차원 가상 공간사이에 상호작용할 수 있도록 구현될 것이다. 여기서 디스플레이되는 가상의 3차원 공간은 사용자가 느낄 때에 모바일 장치(100) 후면 혹은 전면에 형성된 것처럼 보일 수 있다.
감지부(120)는 정지 화면 혹은 영상을 감지하거나, 사용자의 제스처를 감지하도록 구현될 것이다. 감지부(120)는 적어도 하나의 사용자의 적어도 하나의 제스처를 검출하는 적어도 하나의 전면 방향(front-facing) 감지기(122) 및 후면 방향(back-facing) 감지기(124)를 포함할 수 있다.
전면 방향 감지기(122) 및 후면 방향 감지기(124) 각각은 일반 2D 카메라와 3차원 카메라(스테레오 카메라 또는 TOF(time of flight) 원리를 이용한 카메라) 등으로 구현될 수 있다.
전면 방향 감지기(122)는 제스처에 관련된 데이터를 프로세서(110)에 전달하고, 프로세서(110)는 전달된 제스처 데이터에 대하여 가우시안 필터링(Gaussian filtering), smoothing, 감마보정(gamma correction), 영상 평활화(image equalization), 영상복원 또는 보정(image recover or image correction) 등과 같은 전처리 작업을 수행하고, 제스처 인식이 가능한 영역을 분류할 수 있다. 즉, 전처리된 데이터에서 칼라 정보, 거리 정보 등을 이용하여 손 영역, 얼굴 영역, 몸 영역과 같은 특정 부위가 분류되고, 분류한 특정 부위에 대하여 마스킹 작업이 수행될 수 있다.
사용자의 제스처에 대한 인식 동작은 프로세서(110)에서 수행될 것이다. 하지만 본 발명이 반드시 여기에 제한되지 않을 것이다. 제스처의 인식 동작은 감지부(120)의 전면 방향 감지기(122) 및 후면 방향 감지기(124)에서 내부적으로 수행될 수도 있다.
실시 예에 있어서, 전면 방향 감지기(122)는 사용자의 위치, 사용자 눈의 좌표 등을 회득 및 추적할 수 있다.
메모리부(130)는 롬(ROM; Read Only Memory), 램(RAM ; Random Access Memory), 플래시 메모리(flash Memory)를 포함할 수 있다. 롬은 프로세서(110) 및, 감지부(120)의 처리 및 제어를 위한 프로그램 코드와 각종 참조 데이터를 저장할 수 있다. 램은 프로세서(110)의 워킹 메모리(working memory)로, 각종 프로그램 수행 중에 발생하는 일시적인 데이터를 저장할 수 있다. 또한, 플래시 메모리는 사용자의 개인 정보(전화번호부(phone book), 발신메시지, 수신메시지) 등을 저장할 수 있다.
입력부(140)는 외부로부터 데이터를 입력받도록 구현될 것이다. 입력부(140)는 사용자에 의해 버튼을 누르거나 터치하는 동작을 통하여 데이터를 입력받을 수 있다. 입력부(140)는 디스플레이부(150) 위에 배치된 터치 입력 장치를 포함할 수 있다.
디스플레이부(150)는 프로세서(110)의 제어에 따라 다양한 정보를 디스플레이할 수 있다. 디스플레이부(150)는 액정 디스플레이 장치(LCD ; Liquid Crystal Display panel), 전기 영동 디스플레이 패널(electrophoretic display panel), 일렉트로웨팅 디스플레이 패널(electrowetting display panel), 플라즈마 디스플레이 패널(plasma display panel; PDP), 유기 발광 다이오드(organic light-emitting diodes; OLED) 등의 다양한 디스플레이 패널들 중 적어도 하나를 이용할 수 있다. 디스플레이부(150)는 3차원 인터페이스를 이용하여 가상의 3차원 공간을 디스플레이할 수 있다.
통신부(160)는 안테나를 통해 입출력되는 무선 신호를 수신할 수 있다. 예를 들어, 통신부(160)는 송신 동작시 송신할 데이터를 채널 코딩(channel coding) 및 확산(spreading)한 후, RF(radio frequency) 신호로 처리하여 송신할 수 있다. 또한, 통신부(160)는 수신 동작시 수신된 RF 신호를 기저대역신호로 변환하고, 기저대역신호를 역확산(de-spreading) 및 채널 복호(channel decoding)하여 데이터를 복원하는 기능을 수행할 수 있다.
일반적으로 3차원 인터페이스를 제공하는 전자장치는, 사용자들이 장치 스크린을 터치함으로써 전자장치들과 상호작용하거나, 스크린 앞에 제스처들을 만듦으로써 전자장치들과 상호작용하거나, 사용자의 손짓들 및/혹은 신체의 아바타 표현들이 스크린에 표시되도록 허용된 물리적 공간 내에서 제스처들을 만듦으로써 전자장치들과 상호작용한다. 그러나 일반적인 전자장치의 3차원 인터페이스를 모바일 장치에 적용하고자 할 때, 스크린 혹은 스크린 앞에서 터치해야 됨으로써 사용자의 제스처를 발생하는 것이 가상의 3차원 공간을 바라보는 사용자의 시각(view)을 방해하는 문제점을 야기하고 있다. 또한, 일반적인 전자장치는, 사용자의 손이 어플리케이션의 가상의 3차원 공간 밖에 위치할 뿐이다. 인체 공학적인 문제로, 가상의 3차원 공간의 객체들은 스크린 앞에서 "하버"(hover)되도록 허용되지 않는다. 이러한 배치는 사용자의 눈에 피로감을 증가시킬 것이다.
반면에, 본 발명의 실시 예에 따라 3차원 인터페이스를 제공하는 모바일 장치(100)는, 사용자의 제스처를 검출하고, 검출된 제스처에 따라 가상의 3차원 공간의 객체를 이동시킴으로써, 사용자가 사용자의 시각적 방해 없이(without blocking his/her view) 모바일 장치(100)에서 디스플레이되는 가상의 3차원 공간과 상호작용할 수 있고, 또한 사용자가 자연스럽게 가상의 3차원 공간에 도달하고, 가상의 3차원 공간의 객체들을 조작할 수 있다. 즉, 본 발명에 따른 모바일 장치(100)는 3차원 시각화(visualization)를 갖는 상호작용 어플리케이션들(interactive applications)을 수행할 수 있다. 예를 들어, 상호작용 어플리케이션은 사용자가 3차원의 객체를 식별하고, 식별된 객체들을 다시 정렬할 수 있다.
도 2는 본 발명의 실시 예에 다른 모바일 장치(100)의 스크린 뒤에서 가상의 3차원 공간 내에서 사용자가 손을 놓은 모습을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 사용자는 손(예를 들어, 왼손) 안에서 혹은 상대적으로 가까운 거리(예를 들어, 팔 길이의 절반 정도)에서 모바일 장치(100)를 잡을 수 있다.
모바일 장치(100)의 상대적인 작은 크기만큼, 모바일 장치(100)의 이러한 가까운 위치는 사용자가 오른손으로 모바일 장치(100) 뒤에 도달할 수 있다. 모바일 장치(100)는 사용자의 오른손의 위치를 감지하는 후면 방향 감지기(124)를 포함한다. 후면 방향 감지기(124)는 적어도 하나의 후면 방향 TOF(back-facing time of flight) 카메라로 구현될 수 있다. 이러한 카메라는 모바일 장치(100) 뒤에서 사용자의 손의 위치를 포착할 수 있다.
또한, 본 발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는 적어도 하나의 전면 방향 감지기(122)로부터 사용자의 위치 정보에 관련된 데이터를 입력받고, 입력된 데이터를 근거로 하여 사용자 손의 아바타 프리젠테이션(avatar presentation)을 발생할 수 있다. 예를 들어, 아바타는 사용자 손과 함께 위치하도록 보일 것이다.
본 발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는, 사용자가 가상의 3차원 공간으로 몰입하도록 사용자 주변 환경에 관련된 물리적인 정지 공간을 표현한 3차원 장면을 계산하고, 가상의 3차원 장면을 디스플레이할 수 있다. 사용자가 가상의 3차원 공간 내에 도달할 수 있는 능력을 결합하는 것은, 가상의 3차원 장면에 몰입하는 효과를 증대시킬 것이다. 그 결과로써 가상의 3차원 장면은 물리적 3차원 공간에 원활하게 삽입될 수 있다.
아래에서는 설명의 편의를 위하여, 가상의 3차원 공간은 사용자의 정면에 위치하고 있고, 그 위치는 실제 사용자가 존재하는 물리적인 3차원 공간으로 고정되어 있다고 가정하겠다. 예를 들어, 가상의 3차원 장면이, 물리적 3차원 공간에 플로팅된 것처럼, 하나의 큐브가 묘사될 수 있다. 사용자가 가볍게 머리를 움직일 때 혹은 모바일 장치(100)의 화면을 움직일 때, 가상의 3차원 장면은, 물리적인 3차원 위치에 대응하는 큐브의 위치가 변화하지 않도록 이러한 변화들을 보상하여 디스플레이될 것이다. 즉, 3차원 인터페이스는 사용자 및 모바일 장치(100)의 움직임을 계산되고, 계산된 움직임을 큐브의 모습에 반영되도록 큐브를 다시 디스플레이할 수 있다.
예를 들어, 사용자가 머리를 상, 하, 좌, 우로 조금 이동하거나, 사용자가 스크린에 가까워지거나, 혹은 3차원 공간에서 가볍게 스크린을 이동할지라도, 큐브는 가상의 3차원 공간에서 동일한 위치에 플로팅되도록 보일 것이다. 큐브는, 실제 3차원 객체가 움직이더라도, 동일한 물리적 위치에 플로팅을 유지한 것처럼 보일 것이다. 좀 더 자세하게, 사용자가 그의 머리를 왼쪽으로 움직일 때, 사용자는 큐브의 왼쪽 측면을 좀더 보게 될 것이다. 왼쪽 측면으로 스크린을 이동하는 것은 가상의 3차원 공간에 일부를 대응하도록 보여질 것이다.
도 3은 본 발명의 실시 예에 따른 모바일 장치(100)에서 가상의 3차원 장면을 보는 동안에 향상된 몰입 효과를 얻기 위하여 투시창(see-through window)을 보여주는 도면이다. 도 3을 참조하면, 모바일 장치(100)는 3차원 객체 디스플레이를 계산할 것이다. 이를 위하여, 모바일 장치(100)의 3차원 인터페이스는 사용자의 눈 좌표를 갖고 있으며, 눈 좌표를 얻기 위하여 안구 추적 기술을 이용할 수 있다.
예를 들어, 적어도 하나의 3차원 범위 TOF(time-of-flight) 카메라는 사용자의 눈 추적 활성화를 위해 모바일 장치(100)의 전면에 위치할 수 있다. TOF 카메라가 사용될 때, 사용자의 눈을 쉽게 감지할 수 있다. 이는 눈동자가 TOF 카메라의 적외선을 잘 반사하기 때문이다. 모바일 장치(100)는 공간에서 눈의 방향과 위치를 트랙하기 위한 감지기들을 추가적으로 구비할 수 있다.
본 발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는 가상의 정지 장면이 실제 이미지에 적재되도록(super-imposed) 디스플레이시킬 수 있다. 적어도 하나의 전면 방향 카메라는 모바일 장치(100)의 전면에서 물리적 3차원 장면에서 객체들의 위치들을 포착하고 3차원 시각 위치(3D view of the location)를 계산할 수 있다. 가상의 3차원 공간은 사용자의 시각에서 물리적 정지 장면에 적재되고 집적화될 수 있다. 예를 들어, 추가적인 객체들 혹은 주체들(objects or subjects)은 가상의 3차원 장면에 디스플레이될 수 있다.
본 발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는, 사용자가 가상의 3차원 장면에 상호작용하도록 사용자가 모바일 장치(100)의 뒤 혹은 앞에 도달할 수 있다. 예를 들어, 모바일 장치(100)는 스테레오 카메라를 이용하여 이미지를 촬상하고, 촬상된 3차원 장면을 이용하여 이동하는 가상의 객체를 디스플레이할 수 있다. 그리고 모바일 장치(100)가 조금 이동하면, 이것에 따라 대응하는 가상의 객체를 바라보는 시각에 변화가 발생될 수 있다.
본 발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는, 복수의 사용자들의 제스처들을 디스플레이할 수 있다.
실시 예에 있어서, 3차원 인터페이스는, 전면 방향 감지기(122, 예를 들어 3차원 범위 카메라들 혹은 스테레오 카메라들)을 통하여 사용자의 주변의 3차원 이미지 얻고, 조합할 수 있다. 여기서 조합된 이미지는 사용자의 머리 및/혹 상체의 3차원 아바타 이미지를 발생하는데 이용될 수 있다.
옵션적으로 조합된 이미지는 사용자의 주변의 물리적 공간의 아바타 이미지를 발생하는데 이용될 수 있다. 조합된 이미지는 통신, 상호작용, 및 오락을 목적으로 저장되고, 디스플레이되고, 공유되고, 그리고 애니매이티드될 수 있다. 예를 들어, 복수의 사용자들은 가상의 3차원 공간을 이용하여 실시간으로 통신할 수 있다. 여기서 한 사용자는 모바일 장치(100)에서 디스플레이되는 가상의 3차원 공간에서 다른 사용자를 볼 수 있다.
본 발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는, 전면 방향 감지기(122)가 사용자의 머리 및 눈의 위치를 획득 및 추적할 수 있도록 구현될 것이다. 특히, 3차원 인터페이스는, 사용자가 바라보거나 반응하는 곳의 방향 및 위치를 분석할 수 있다. 예를 들어, 만일 3차원 인터페이스가 애니매이티드된 주체들을 포함할 때, 주체들은 사용자가 그것들을 바라보거나 혹은 멀어지거나, 반응하는 것을 인지할 수 있다. 다른 예로, 사용자가 주체들을 바라볼 때 객체 반응이 있을 수 있다.
시선 방향 및/혹은 위치 외에, 3차원 인터페이스는, 사용자 머리가 가리키는 곳, 사용자의 대화가 진행되는 곳, 사용자의 머리가 스크린에 얼마나 가까운 지, 머리의 움직임 및 제스처들, 얼굴 움직임(facial motion), 제스처들 및 표현들, 사용자 식별, 드레스, 메이크업 및 헤어를 갖는 사용자 외모, 사용자 자세 및 사용자 손 제스처들에 대한 정보를 이용할 수 있도록 구현될 수 있다.
예를 들어, 3차원 인터페이스는 사용자 얼굴 표현들, 눈을 포함하는 제스처들, 상호작용 동안에 가까워지는 사용자 이동 얼굴 혹은 손들이 제스처들에 반응할 수 있다. 3차원 인터페이스는 얼굴 인식 기술들을 이용하여 사용자를 인식하고, 대응하는 사용자에 따라 사용자의 외모 및 반응을 분석할 수 있다. 사용자는, 사람과 상호작용하는 것처럼 자연스러운 방법으로 3차원 인터페이스과 상호작용할 수 있다. 여기서 3차원 인터페이스는, 일반적인 사람들처럼 사용자의 외모, 제스처들 및 표현들을 분석할 수 있다.
발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는, 사용자의 머리 위치를 추적하는 전면 방향 감지기로부터 사용자의 눈들의 위치들에 대하여 정보가 제공될 수 있다. 3차원 인터페이스는 몰입형 사운드 효과를 최적화하기 위하여 이러한 정보를 이용할 수 있다. 예를 들어, 사용자 눈들의 위치는 가상의 3차원 공간에 위치한 상상의 주체로부터 발생되는 소리를 최대한 현실적으로 보이도록 이용될 수 있다. 또한, 만일 사용자가 헤드폰을 착용할 경우, 머리 위치는 가능한 현실과 같은 특정 가상 위치에서 발생되는 소리를 만들기 위하여 동일한 방식으로 이용될 수 있다.
본 발명의 실시 예에 따른 모바일 장치(100)의 3차원 인터페이스는, 사용자의 눈 위치를 추적하는 전면 방향 감지기들(122)로부터 3차원 이미지를 사용 및/또는 최적화하기 위하여 3차원 디스플레이의 특정 유형에 눈 위치와 시선 방향 및 위치에 대한 정보를 제공받을 수 있다. 예를 들어, 왼쪽 눈을 위하여 디스플레이되는 이미지가 오른쪽 눈이 아닌 왼쪽 눈으로 디스플레이하고, 반대로 오른쪽 눈을 위한 디스플레이 되는 이미지가 왼쪽 눈이 아닌 오른쪽 눈으로 디스플레이되도록 하기 위하여, 디스플레이의 종류는 눈의 위치에 대한 정보에 의존할 것이다.
또한, 전면 방향 감지기(122)는 사용자의 존재(presence)를 검출하고, 위치, 모션 표현들, 복수의 사용자의 시선 방향들 및 위치들을 추적할 수 있다. 예를 들어, 안구 추적에 의존하는 일부 3차원 디스플레이는 복수의 사용자들에게 3차원 이미지를 전달할 수 있다. 따라서 제 2 및 다른 사용자들에 대한 정보는 복수의 사용자 동작을 활성시키도록 3차원 디스플레이에 전달될 수 있다. 또한, 제 2 및 다른 사용자들에 대한 정보는 그들이 제 2 사용자의 존재, 식별, 행동과 표현들에 응답할 수 있도록 3차원 인터페이스에 전달될 수 있다.
가상의 3차원 공간을 유지할 책임이 있는 3차원 인터페이스에 전달된 제 2 및 다른 사용자들에 대한 정보는, 사용자들에 몰입 효과를 활성시키도록 추가적으로 적합한 시각들을 계산하는데 이용될 수 있다. 제 2 및 다른 사용자들의 신체 위치들에 대한 정보는 주 사용자에 의해 설명된 동일한 방식으로 3차원 사운드 최적화를 위해 사용될 것이다. 추가적인 사용자들은 가상 공간 내에 도달하고 및/혹은 스크린 전면에 제스처들을 만듦으로써 모바일 장치(100)와 3차원 어플리케이션과 함께 상호작용을 할 수 있다. 효과적으로, 주 사용자에 적용된 모든 기능들은 추가 사용자에게도 적용될 것이다.
본 발명에 따른 기법은 가상 현실의 요소와 물리적 현실의 완벽한 융합을 달성하기 위한 3차원 시각화 및 상호작용 기술을 결합할 수 있다. 그 결과로써, 사용자는 자신이 물리적 현실로부터 가상의 현실로 도달하고, 여기서 가상 현실은 몰입 방식으로 관찰되고, 또한 물리적 현실에 적재될 수 있다.
아래에서는 사용자의 제스처를 제어하는 방법에 대하여 상세하게 설명하도록 하겠다. 3차원 제스처들을 이용하는 3차원 장면과 상호작용하기 위한 2개 접근 방식들을 설명하겠다. 2개 접근 방식들은 가상의 3차원 공간 내에서 자신의 손을 "배치"하도록 사용자의 능력에 의존할 것이다.
먼저, 유연성과 정밀도를 갖는 단일 객체들을 제어하는 제 1 제스처 제어 방법은 다음과 같다. 사용자는 모든 3차원에서 손을 이동할 수 있다. 사용자의 검지 손가락 끝에 근접하는 디스플레이된 객체들은 선택될 후보 객체를 지시하도록 강조 표시가 될 수 있다.
도 4에 도시된 바와 같이, 가상의 객체는 "핀칭"(pinching)에 의해 선택될 수 있다. 사용자는 선택될 객체의 크기와 일치하도록 사용자의 엄지와 검지 손가락사이의 끝에 위치시키고, 선택적으로 이동을 보류할 수 있다. 객체 선택은 손가락들의 폭에 의해 결정될 수 있다. 객체의 크기는 "스퀴징"(squeezing) 동작에 의해 작게 될 수 있다. 일정 시간 동안 크기 변화가 없을 때, 크기 조정 모드가 종료될 것이다. 예를 들어, 가상의 객체가 먼저 스퀴징이 됨으로써 크기 조정 모드가 진입되고, 그 후에 엄지와 검지의 손가락들을 원래의 거리보다 넓힘으로써 가상의 객체의 크기가 확장될 수 있다.
한 번 선택된 객체들은 3차원 공간에서 상, 하, 좌, 우, 들어오고 나가도록 이동될 수 있다. 한 번 선택된 객체들은 축방향으로 회전하고, 피치-와이즈(pitch-wise), 요우-와이즈(yaw-wise)될 수 있다. 만일, 객체의 크기 조정이 필요하지 않다면, 그것을 이동 및 회전하기 위하여 객체를 핀칭하는 것은, 객체들이 물리적 공간에 플로팅된 것처럼, 가상의 3차원 장면 내에서 객체들과 상호 동작하는 사용자에게 자연스러운 방법으로 제공될 것이다.
다음으로, 동시에 여러 객체들을 제어하는 제 2 제스처 제어 방법은 다음과 같다. 적어도 하나의 객체가 손에 "컵핑"(cupping)되고, 객체(들)은 "아래"(under, just behind)로 이동될 것이다. 여기서, 도 5에 도시된 바와 같이, 사용자의 손의 컵에 유지된 것처럼 개체가 유지됨으로써, 이동될 객체가 선택될 것이다. 객체들은 동일한 제스처 혹은 클리어-올-셀렉션스 제스처(clear-all-selections gesture), 예를 들어, 볼륨에서 신속하게 손을 흔드는 것을 이용하여 선택이 취소될 수 있다. 선택적으로, 객체에 지정된 손가락을 이동하고 그것을 유지함으로써 객체가 선택될 수 있다.
도 6에 도시된 바와 같이, 손으로 "푸싱"(pushing)에 의해 객체가 한쪽으로 이동될 수 있다. 자연스런 상호작용을 위하여, 손이 실제적으로 객체를 밀은 것처럼 보여질 것이다.
도 7에 도시된 바와 같이 "풀링"(pulling)으로 컵핑함으로써 객체를 다른 쪽으로 이동시킬 수 있다.
도 8에 도시된 바와 같이, 손에 컵핑하거나 손바닥을 수평방향으로 아래로 이동하는 것을 이용함으로써, 객체들이 위 혹은 아래로 이동될 수 있다.
도 9에 도시된 바와 같이, 손바닥을 펼치고, 모든 3개의 축들 주위에서 그것을 회전시킴으로써, 3차원적으로 객체가 패닝될 수 있다.
선택적으로, 도 10에 도시된 바와 같이, 주먹을 쥠으로 3차원 공간을 "그래빙"(grabbing)하고, 그것을 팬(pan)하도록 이동하고, 그것을 회전함으로써 패닝(panning)이 달성될 수 있다. 객체들의 개수가 적다면, 객체 선택은 옵션적일 수 있다. 이 경우에, 물리적 공간에 그것들이 플로팅된 것처럼 객체들은 "푸쉬드 어라운드"(pushed around)될 수 있다.
추가적으로 사용자 편의를 위해, 모바일 장치(100)를 한 손으로 계속적으로 유지하는 것을 대신하여, 모바일 장치(100)가 사용자의 무릎에 놓일 수 있다. 특히, 수직 방향으로 모바일 장치(100)를 유지하는 것은, 모바일 장치(100) 뒤에서 사용자가 도달하기에 용이하게 할 것이다.
도 11은 본 발명에 따른 모바일 장치(100)의 제스처 제어 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 11을 참조하면, 제스처 제어 방법은 다음과 같다. 적어도 하나의 전면 방향 감지기(122)는 적어도 하나의 사용자의 적어도 하나의 제스처를 검출한다(S110). 검출된 제스처에 따라 가상의 3차원 공간 내에 적어도 하나의 객체가 상호작용된다(S120). 객체와 제스처의 상호작용 관련된 설명은 도 4 내지 도 10에서 설명되었기 때문에 여기서는 생략하도록 하겠다. 본 발명에 따른 모바일 장치(100)의 제스처 제어 방법은 모바일 장치(100) 전면에 위치한 가상의 3차원 공간과 사용자의 제스처가 상호작용할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지로 변형할 수 있다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 모바일 장치
110: 프로세서
120: 감지부
122: 전면 방향 감지기
124: 후면 방향 감지기
130: 메모리부
140: 통신부
150: 디스플레이부

Claims (10)

  1. 3차원 인터페이스를 제공하는 모바일 장치의 제스처 제어 방법에 있어서:
    상기 3차원 인터페이스를 이용하여 가상의 3차원 공간을 디스플레이하는 단계;
    적어도 하나의 전면 방향 감지기로부터 적어도 하나의 사용자의 적어도 하나의 제스처를 검출하는 단계; 및
    상기 적어도 하나의 사용자가 상기 가상의 3차원 공간에 상호작용하도록 상기 검출된 제스처에 따라 상기 가상의 3차원 공간에 존재하는 객체를 이동시키는 단계를 포함하는 제스처 제어 방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 사용자가 상기 3차원 공간에 몰입하도록 상기 적어도 하나의 사용자의 주변 환경에 관련된 정지 공간에 대응하는 3차원 장면을 상기 가상의 3차원 공간에 디스플레이하는 단계;
    상기 정지 공간에 큐브가 플로팅된 것처럼 상기 3차원 장면을 디스플레이하는 단계; 및
    상기 모바일 장치 혹은 상기 적어도 하나의 사용자가 움직일 때, 상기 3 차원 공간 내에서 상기 큐브의 위치가 변화하지 않도록 상기 모바일 장치 혹은 상기 적어도 하나의 사용자의 움직임에 따라 디스플레이되는 상기 큐브의 모습을 변화하는 단계 더 포함하는 제스처 제어 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 전면 방향 감지기를 이용하여 물리적 3차원 공간 내에서 상기 적어도 하나의 사용자의 눈의 좌표를 획득 및 추적하는 단계를 더 포함하는 제스처 제어 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 사용자가 상기 가상의 3차원 공간에 몰입하도록 상기 눈의 좌표를 근거로 하여 상기 가상의 3차원 공간을 변화시키는 단계를 더 포함하는 제스처 제어 방법.
  5. 제 1 항에 있어서,
    상기 가상의 3차원 공간에서 상기 적어도 하나의 사용자의 아바타를 발생하는 단계; 및
    상기 발생된 아바타를 이용하여 상기 적어도 하나의 사용자가 아닌 다른 사용자와 통신을 수행하는 단계를 포함하는 제스처 제어 방법.
  6. 제 1 항에 있어서,
    상기 가상의 3차원 공간의 객체를 상기 적어도 하나의 사용자의 핀칭(pinching)에 의해 선택하는 단계를 더 포함하는 제스처 제어 방법.
  7. 제 6 항에 있어서,
    상기 적어도 하나의 사용자의 스퀴징(squeezing)에 의해 상기 선택된 객체의 크기를 조정하기 위한 크기 조정 모드로 진입하는 단계를 더 포함하는 제스처 제어 방법.
  8. 제 6 항에 있어서,
    상기 적어도 하나의 사용자가 손으로 푸싱(pushing)함으로써 상기 객체를 이동시키는 단계를 더 포함하는 제스처 제어 방법.
  9. 제 6 항에 있어서,
    상기 적어도 하나의 사용자가 손을 회전함으로써 상기 객체를 패닝(panning)시키는 단계를 더 포함하는 제스처 제어 방법.
  10. 3차원 인터페이스를 제공하는 모바일 장치에 있어서:
    무선 통신을 수행하는 통신부;
    사용자의 데이터 및 구동에 필요한 데이터를 저장하는 메모리부;
    상기 3차원 인터페이스에 의해 가상의 3차원 공간을 디스플레이하는 디스플레이부;
    상기 사용자의 적어도 하나의 제스처를 검출하는 적어도 하나의 전면방향 감지기를 갖고, 물리적 공간의 정지 화면 및 동영상을 감지하는 감지부;
    상기 통신부, 상기 메모리부, 상기 디스플레이부, 및 상기 감지부를 제어하고, 상기 검출된 제스처에 따라 상기 가상의 3차원 공간에 존재하는 객체를 이동시키고, 상기 모바일 장치 혹은 상기 사용자가 움직일 때 상기 사용자가 상기 객체를 바라보는 시각이 변화하도록 상기 3차원 인터페이스를 제어하는 적어도 하나의 프로세서를 포함하고,
    상기 전면 방향 감지기는 타임 오브 플라이트(time-of-flight) 카메라인 모바일 장치.
KR1020130056654A 2012-11-30 2013-05-20 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법 KR20140070326A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261731667P 2012-11-30 2012-11-30
US61/731,667 2012-11-30
US13/828,576 2013-03-14
US13/828,576 US20140157206A1 (en) 2012-11-30 2013-03-14 Mobile device providing 3d interface and gesture controlling method thereof

Publications (1)

Publication Number Publication Date
KR20140070326A true KR20140070326A (ko) 2014-06-10

Family

ID=50826820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130056654A KR20140070326A (ko) 2012-11-30 2013-05-20 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법

Country Status (2)

Country Link
US (1) US20140157206A1 (ko)
KR (1) KR20140070326A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2017091590A1 (en) * 2015-11-25 2017-06-01 Google Inc. Trigger regions

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
USD753658S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD753655S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc Display device with cameras
USD753656S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD752585S1 (en) 2013-01-29 2016-03-29 Aquifi, Inc. Display device with cameras
USD752048S1 (en) 2013-01-29 2016-03-22 Aquifi, Inc. Display device with cameras
USD753657S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
US9342230B2 (en) * 2013-03-13 2016-05-17 Microsoft Technology Licensing, Llc Natural user interface scrolling and targeting
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
KR102265326B1 (ko) * 2014-02-03 2021-06-15 삼성전자 주식회사 이미지 촬영장치 및 방법
WO2016018355A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Virtual reality clamshell computing device
WO2016024782A1 (ko) * 2014-08-11 2016-02-18 서장원 터치입력에 반응하는 3d 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법 및 동영상을 재생하면서 애니메이션을 추가하는 방법
US10809794B2 (en) * 2014-12-19 2020-10-20 Hewlett-Packard Development Company, L.P. 3D navigation mode
US9857939B2 (en) 2015-02-27 2018-01-02 Accenture Global Services Limited Three-dimensional virtualization
KR102510944B1 (ko) 2016-05-16 2023-03-16 삼성전자주식회사 입체 영상 장치 및 그를 포함하는 전자 장치
US11572653B2 (en) * 2017-03-10 2023-02-07 Zyetric Augmented Reality Limited Interactive augmented reality
US10871934B2 (en) 2017-05-04 2020-12-22 Microsoft Technology Licensing, Llc Virtual content displayed with shared anchor
EP3435202A1 (de) * 2017-07-25 2019-01-30 Siemens Healthcare GmbH Zuordnen eines werkzeuges zu einer greifgeste
US11172111B2 (en) * 2019-07-29 2021-11-09 Honeywell International Inc. Devices and methods for security camera installation planning
US11533467B2 (en) 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US9092053B2 (en) * 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US8887086B2 (en) * 2010-04-19 2014-11-11 Blackberry Limited Portable electronic device and method of controlling same
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
US8537157B2 (en) * 2010-06-21 2013-09-17 Verizon Patent And Licensing Inc. Three-dimensional shape user interface for media content delivery systems and methods
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
KR101806891B1 (ko) * 2011-04-12 2017-12-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
US20140068526A1 (en) * 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10776618B2 (en) 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
WO2017091590A1 (en) * 2015-11-25 2017-06-01 Google Inc. Trigger regions

Also Published As

Publication number Publication date
US20140157206A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
KR20140070326A (ko) 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법
US20220382379A1 (en) Touch Free User Interface
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9829989B2 (en) Three-dimensional user input
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
CN103793060B (zh) 一种用户交互系统和方法
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
EP3370102B1 (en) Hmd device and method for controlling same
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US11675198B2 (en) Eyewear including virtual scene with 3D frames
CN111226187A (zh) 通过镜子与用户交互的系统和方法
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
JP2012038025A (ja) 表示装置及び表示装置の制御方法、プログラム
CN117980962A (zh) 用于内容应用的设备、方法和图形用户界面
Unuma et al. [poster] natural 3d interaction using a see-through mobile AR system
KR20200120467A (ko) Hmd 장치 및 그 동작 방법
Kim et al. DRIVE: Directly Reaching Into Virtual Environment with bare hand manipulation behind mobile display
Olwal An introduction to augmented reality
CN117940880A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid