KR20110010906A - 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치 - Google Patents

사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치 Download PDF

Info

Publication number
KR20110010906A
KR20110010906A KR1020090068248A KR20090068248A KR20110010906A KR 20110010906 A KR20110010906 A KR 20110010906A KR 1020090068248 A KR1020090068248 A KR 1020090068248A KR 20090068248 A KR20090068248 A KR 20090068248A KR 20110010906 A KR20110010906 A KR 20110010906A
Authority
KR
South Korea
Prior art keywords
interaction
electronic device
recognition range
gesture
user
Prior art date
Application number
KR1020090068248A
Other languages
English (en)
Inventor
장시학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090068248A priority Critical patent/KR20110010906A/ko
Priority to US12/843,122 priority patent/US20110018795A1/en
Priority to EP10170833.7A priority patent/EP2284655A3/en
Priority to PCT/KR2010/004907 priority patent/WO2011013976A2/en
Priority to CN2010800337890A priority patent/CN102473032A/zh
Priority to AU2010277931A priority patent/AU2010277931B2/en
Publication of KR20110010906A publication Critical patent/KR20110010906A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 전자기기와 인접된 공간상에서 발생하는 사용자 인터랙션을 이용하여 전자기기를 제어하는 방법 및 장치에 관한 것으로, 이러한 본 발명은 전자기기 제어 방법에 있어서, 상기 전자기기와 인접된 공간으로부터 하나 이상의 인터랙션을 인식하는 과정과; 상기 하나 이상의 인터랙션에 대응하여 상기 전자기기를 제어하는 과정을 포함한다.
Figure P1020090068248
전자기기, 디바이스, 인터랙션, 평면, 공간, 멀티모달, 센서, 카메라

Description

사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치{APPARATUS AND METHOD FOR CONTROLLING OF ELECTRONIC MACHINE USING USER INTERACTION}
본 발명은 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치에 관한 것으로, 특히 전자기기와 인접된 공간상에서 발생하는 사용자 인터랙션에 따라 상기 전자기기를 제어할 수 있는 방법 및 장치에 관한 것이다.
최근 들어, 통신 기술의 급속한 발전으로 인해 전자기기에서의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자인터페이스(UI, User Interface) 및 그를 이용한 다양한 기능들이 제공되고 있다. 또한, 전자기기에서는 다양한 기능들을 제어하기 위한 다양한 입력 방식들을 제공한다.
일반적인 전자기기에서 해당 전자기기의 제어 즉, 해당 전자기기에 주어진 다양한 기능들을 수행하기 위해서는, 전자기기에 구비된 키들에 대한 키 입력을 통해 제어할 수 있다. 또는 터치스크린(touchscreen)이 구비된 전자기기의 경우 상기 터치스크린의 특정 영역에 터치 입력을 통해 상기 전자기기를 제어할 수 있다. 이와 같이, 종래에서는 전자기기의 제어를 위한 특정 입력 수단들에 직접 입력을 발생함으로써 전자기기의 제어가 가능하다.
그러나 상기와 같이, 일반적인 전자기기의 제어는 해당 전자기기가 제공하는 각 기능들의 제어가 단순히 키 입력 또는 터치 입력으로 이루어진다. 따라서 전자기기에서의 각 기능들은 키 입력 또는 터치 입력의 의해서만 제어되는 제약에 따른 한계성을 가지며, 또한 각 기능들은 키 입력 또는 터치 입력과 같이 획일화된 입력 방식에 의해서만 제어가 되는 단순성을 가지는 문제점이 있다. 또한, 종래에서 하나의 전자기기의 제어를 위한 입력수단들은 서로 다른 종류의 입력 장치들의 동시 입력에 대해 융합시켜 해당 결과를 출력해 주는 기능을 지원하지 못하는 문제점이 있다.
본 발명의 목적은 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 전자기기의 인접된 공간상에 발생하는 사용자 인터랙션에 의해 전자기기를 제어할 수 있는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 전자기기와 인접된 공간에서 입력되는 복합적인 사용자 인터랙션에 따라 전자기기를 제어할 수 있는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 전자기기와 인접된 공간상에서 발생하는 하나 이상의 인터랙션을 인식하고, 상기 인터랙션에 따라 상기 전자기기를 제어할 수 있는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 전자기기에서 제공되는 다양한 기능들을 쉽고 직관적으로 이용할 수 있는 멀티모달 인터페이스를 제공함에 있다.
본 발명의 또 다른 목적은 전자기기와 인접된 공간에서 평면 인터랙션과 공간 인터랙션 중 하나 이상의 인터랙션을 인지하고, 상기 평면 인터랙션 및 공간 인터랙션 중 적어도 하나의 인터랙션에 따라 전자기기를 간편하고 직관적으로 제어할 수 있는 방법 및 장치를 제공함에 있다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 전자기기는, 상기 전자기기와 인접된 공간상에서 발생하는 하나 이상의 인터랙션을 인식하는 디바이스와, 상기 디바이스가 인식하는 하나 이상의 인터랙션에 따라 상기 전자기기를 제어하는 제어부를 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 전자기기 제어 시스템은, 상기 전자기기의 인접된 공간에서 평면상으로 이루어지는 사용자의 제스처에 따른 평면 인터랙션을 인식하는 제1디바이스와; 상기 전자기기의 인접된 공간에서 공간상으로 이루어지는 사용자의 제스처에 따른 공간 인터랙션을 인식하는 제2디바이스와; 상기 평면 인터랙션 및 공간 인터랙션을 구분하고, 구분하는 적어도 하나의 인터랙션에 대응하여 상기 전자기기를 제어하는 처리수단을 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 전자기기 제어 방법은, 상기 전자기기와 인접된 공간으로부터 하나 이상의 인터랙션을 인식하는 과정과; 상기 하나 이상의 인터랙션에 대응하여 상기 전자기기를 제어하는 과정을 포함한다.
본 발명의 바람직한 실시 예에 따르면, 상기 디바이스는 상기 전자기기의 인접된 공간상에서 발생하는 평면 인터랙션 및 공간 인터랙션 중 하나 이상의 인터랙션을 감지하는 것을 특징으로 한다. 또한, 상기 디바이스는 사용자 제스처에 따른 상기 평면 인터랙션을 인지하는 디바이스와, 사용자 제스처에 따른 공간 인터랙션을 인지하는 디바이스로 구분하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 디바이스가 다수개로 구성될 시, 상기 디바이스는 동일한 타입이 다수개로 구성되거나, 또는 서로 다른 타입이 조합되어 다수개로 구성되는 것을 특징으로 한다. 또한, 상기 디바이스는 사용자 제스처에 따른 인터랙션이 인식되는 인식범위를 가지는 것을 특징으로 한다. 본 발명의 실시 예에서, 상기 인식범위는 상기 디바이스의 구성에 대응하여 다수개로 구분되며, 구분되는 각각의 인식범위들 간에 중첩 영역을 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 디바이스는 인식범위에서 인터랙션을 감지할 시, 상기 인터랙션에 대응하는 사용자 제스처 식별을 위한 정보를 제공하는 것을 특징으로 한다. 본 발명의 실시 예에서, 상기 디바이스는 상기 중첩 영역의 인식범위로부터 평면 인터랙션 및 공간 인터랙션에 대응하는 정보를 제공하며, 상기 중첩 영역 외의 개별 인식범위로부터 평면 인터랙션 또는 공간 인터랙션에 대응하는 정보를 제공하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 제어부를 포함하는 처리수단은, 상기 디바이스가 제공하는 상기 정보의 분석에 의하여 상기 인터랙션을 구분하는 것을 특징으로 한다. 본 발명의 실시 예에서, 상기 처리수단은 하나 이상의 디바이스가 제공하는 상기 정보에 따라 평면 인터랙션 및 공간 인터랙션 중 어느 하나의 인터랙션을 구분하고, 구분하는 인터랙션에 대응하여 상기 전자기기를 제어하는 것을 특징으로 한다. 본 발명의 실시 예에서, 상기 처리수단은 하나 이상의 디바이스가 제공하는 상기 정보에 따라 평면 인터랙션 및 공간 인터랙션이 함께 발생할 시, 상기 평면 인터랙션 및 공간 인터랙션에 대응하여 상기 전자기기를 제어하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에서 제안하는 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치에 따르면, 본 발명의 전자기기는 상기 전자기기와 인접된 공간으로부터 하나 이상의 사용자 인터랙션을 인지하는 하나 이상의 디바이스를 포함하며, 사용자는 상기 전자기기와 인접하는 공간상에서 설정된 사용자 제스처만으로도 상기 전자기기를 간편하고 직관적으로 제어할 수 있다. 본 발명에 따르면 상기 하나 이상의 디바이스를 통해 인지하는 하나 이상의 사용자 인터랙션에 대한 실행 기능을 사용자 설정에 따라 정의할 수 있으며, 또한 입력되는 사용자 인터랙션에 따라 상기 전자기기에 대한 다양한 제어가 가능하다.
또한, 본 발명에 따르면, 전자기기를 제어함에 있어서, 종래의 제한적이고 획일적인 입력수단 및 입력방식에 한정되지 않고, 서로 다른 하나 이상의 디바이스를 이용한 사용자 제스처에 따라 실감나는 제어 및 직관적인 제어가 가능하다. 즉, 본 발명에 따르면, 서로 다른 하나 이상의 디바이스를 통해 전자기기와 인접된 공간상에서 이루어지는 사용자 제스처를 인지하고, 상기 사용자 제스처에 따른 인터랙션에 의한 전자기기의 제어가 가능하다. 이에 따라, 사용자는 전자기기 제어에 따른 사용자 편의 및 접근성을 향상시킬 수 있다.
또한, 본 발명에 따르면, 전자기기를 이용한 연주 기능 실행 시, 전자기기와 인접된 공간에서 사용자 제스처에 의한 인터랙션에 따라 악기 연주가 가능하다. 이로 인해, 다양한 악기 오브젝트들(드럼, 기타, 트럼펫 등)의 특성에 맞는 악기 연주를 직관적이고 실감나게 연주할 수 있다. 이와 같이, 본 발명에 따르면 키 입력 이나 화면의 터치 입력 이외의 또 다른 입력 방식으로 전자기기를 제어한다는 점에서 사용자의 전자기기 제어 입력에 대한 다양성을 제공할 수 있는 효과가 있다. 결국, 본 발명에 따르면 입력의 다양화를 통해 사용자는 전자기기를 제어함에 있어서 보다 다양한 방식에 의한 제어 및 복합적인 제어가 가능하다.
즉, 이상에서와 같은 본 발명에 따르면, 전자기기의 제약적이고 획일적인 제어 방식을 개선하고, 이를 통해 전자기기를 이용함에 있어서 현실감 부여 및 편의성 향상을 도모할 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
제안하는 본 발명은 사용자 인터랙션을 이용하여 전자기기를 제어할 수 있는 방법 및 장치에 관한 것이다. 본 발명의 실시 예에 따른 상기 전자기기는 상기 전자기기와 인접한 공간에서 발생하는 하나 이상의 인터랙션을 인지하는 적어도 하나의 디바이스를 포함한다. 그리고 본 발명의 실시 예에서는 상기 하나 이상의 디바이스가 인식하는 하나 이상의 인터랙션에 따라 전자기기의 기능을 제어할 수 있다.
본 발명의 실시 예에서 상기 전자기기는 전자기기의 주변에서 평면상으로 이루어지는 사용자 제스처에 따른 평면 인터랙션, 공간상으로 이루어지는 사용자 제스처에 따른 공간 인터랙션 및 상기 평면 인터랙션과 공간 인터랙션이 함께 이루어 지는 융합 인터랙션을 구분하여 인지할 수 있으며, 해당 인터랙션에 대응하는 기능을 처리하여 제공한다.
이러한 본 발명에 따르면, 전자기기가 포함하는 디바이스를 활용하여 사용자의 제스처(손 모양, 손 움직임, 이동방향 등)를 감지하고, 감지된 제스처를 미리 설정된 정의에 따라 분류하여 전자기기의 의미 있는 입력으로 사용한다. 또한, 본 발명의 실시 예에서는 상기 사용자 제스처를 감지하고 분별하는데 적어도 하나의 디바이스를 사용하며, 분류된 입력은 전자기기의 제어 인터랙션을 위해 사용되도록 정의한다.
그러면 이하, 본 발명의 실시 예에 따라, 사용자 인터랙션을 이용하는 전자기기 및 상기 사용자 인터랙션을 이용하여 상기 전자기기를 제어하는 방법 및 장치에 대하여 살펴보기로 한다. 하지만, 본 발명의 전자기기 및 그의 제어 동작이 하기에서 기술하는 내용에 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.
도 1 내지 도 3은 본 발명의 실시 예에 따른 전자기기의 예시를 개략적으로 도시한 도면들이다.
상기 도 1 내지 도 3을 참조하면, 상기 도 1은 본 발명에 이용되는 전자기기 중 하나인 휴대단말의 예시를 나타낸 것이고, 상기 도 2는 본 발명에 이용되는 전자기기 중 하나인 안내시스템의 예시를 나타낸 것이고, 상기 도 3은 본 발명에 이용되는 전자기기 중 하나인 텔레비전의 예시를 나타낸 것이다.
여기서, 상기 도 1의 상기 휴대단말은 다양한 통신 시스템들에 대응되는 통 신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기들(mobile communication terminals)를 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말 및 스마트 폰(Smart Phone) 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다. 또한, 상기 도 2의 상기 안내시스템은 박물관, 전시관, 놀이공원, 거리 등지에서 사용자로부터 요청되는 다양한 안내정보를 제공하는 것으로, 벽면, 기둥 및 지면 등지에 고정 장착되는 스크린 모니터, 미디어폴(media pole) 등을 포함할 수 있다. 또한, 상기 도 3의 상기 텔레비전은 대형 전자기기의 예시를 나타낸 것으로, 이러한 텔레비전 외에, 개인용컴퓨터, 개인용컴퓨터의 모니터, 노트북, 노트북의 모니터 등을 더 포함할 수 있다.
상기 도 1 내지 도 3에 나타낸 바와 같이, 본 발명의 실시 예에 따른 전자기기는 사용자의 입력에 대응하는 출력을 제공하는 수단을 나타내며, 이러한 전자기기는 사용자의 휴대가 가능한 소형기기뿐만 아니라, 특정 공간에 고정되는 중대형기기 모두를 포함한다. 따라서 이하에서는, 상기 전자기기가 휴대단말인 것을 대표적인 예시로 설명하지만, 본 발명의 전자기기는 전술한 바와 같이 다양한 형태의 모든 기기들을 포함할 수 있다.
이러한 본 발명의 실시 예에 따른 상기 전자기기는, 상기 전자기기와 인접하는 공간에서 발생하는 하나 이상의 사용자 인터랙션을 감지하고, 상기 사용자 인터랙션에 따른 기능 제어를 처리한다. 이를 위하여, 본 발명의 상기 전자기기는 상기 하나 이상의 사용자 인터랙션을 입력받는 하나 이상의 디바이스를 포함한다. 이하, 상기 하나 이상의 디바이스를 포함하는 전자기기에 대한 구성 예시를 하기 도 4를 참조하여 살펴보기로 한다.
도 4는 본 발명의 실시 예에 따른 전자기기의 구성을 개략적으로 도시한 도면이다. 특히, 상기 도 4에서는 상기 전자기기가 사용자 인터랙션을 이용할 수 있는 휴대단말의 한 형태를 예시로 나타내지만, 본 발명의 전자기기는 반드시 휴대단말에 한정되는 것은 아니며, 전술한 바와 같이 다양한 소형기기 및 중대형기기 모두를 이용할 수 있다.
상기 도 4를 참조하면, 본 발명의 상기 전자기기는 하나 이상의 디바이스를 포함할 수 있다. 예를 들면, 상기 전자기기는 참조부호 410의 제1디바이스, 참조부호 430의 제2디바이스 및 참조부호 450의 제3디바이스를 포함할 수 있다. 본 발명에서 상기 각 디바이스들(410, 430, 450)은 상기 전자기기와 인접된 특정 공간에서 입력되는 사용자 제스처에 대응하는 하나 이상의 인터랙션을 인식하는 수단들을 나타낸다.
본 발명의 실시 예에서, 상기 각 디바이스들(410, 430, 450)은 상기 사용자 제스처를 추적하여 그에 따른 결과 값의 생성이 가능한 모든 형태의 인식수단을 포함한다. 예를 들어, 상기 디바이스들(410, 430, 450)은 근접센서, 적외선센서, 조도센서, 카메라센서 등의 인식수단을 포함할 수 있다. 상기 도 4의 예시의 경우, 상기 전자기기는 상기 제1디바이스(410) 및 제2디바이스(430)가 카메라센서이고, 상기 제3디바이스(450)가 근접센서인 경우를 예시로 나타낸다. 즉, 상기 도 4의 전 자기기는 두 개의 카메라센서들(410, 430)과 하나의 근접센서(450)로 이루어진 디바이스들을 포함하는 휴대단말을 나타낸다.
여기서, 상기 도 4의 각 디바이스들(410, 430, 450)의 위치는 반드시 상기 도 4의 형태에 한정되는 것은 아니다. 예를 들어, 상기 도 4에서는 카메라센서에 해당하는 상기 제1디바이스(410)와 제2디바이스(430)가 상기 전자기기의 좌우 사이드 측면에 각각 하나씩 구비되고, 근접센서에 해당하는 상기 제3디바이스(450)가 상기 전자기기의 내부에 형성되는 경우를 예시로 나타내었다. 하지만, 상기 제1디바이스(410) 및 제2디바이스(430)는 상기 전자기기의 상하 사이드 측면에 각각 하나씩 구비되고, 상기 제3디바이스(450)는 상기 제1디바이스(410) 및 상기 제2디바이스(430) 중 어느 하나 또는 모두에 인접하여 배치되는 등과 같이 전자기기 제조 시 다양한 방식으로 구성될 수 있음은 물론이다.
또한, 상기 도 4의 예시에서는 상기 전자기기가 다수개의 서로 다른 디바이스들을 포함하는 것으로 나타내었으나, 본 발명의 상기 전자기기는 반드시 상기와 같은 디바이스들의 구성에 한정되지는 않는다. 즉, 본 발명의 상기 전자기기는 하나의 디바이스로 이루어질 수 있다. 또한, 본 발명의 전자기기는 상기 제1디바이스(410) 및 제2디바이스(430)와 같이 동일한 타입의 디바이스가 다수개로 이루어질 수 있다. 또한, 본 발명의 전자기기는 제1디바이스(410), 제2디바이스(430) 및 제3디바이스(450)와 같이 서로 다른 타입의 디바이스들의 조합으로 이루어질 수 있다. 이러한 디바이스들의 구성은 전자기기의 형태에 따라 다양하게 제공될 수 있다.
예를 들어, 상기 전자기기는 근접센서, 적외선센서, 조도센서 및 카메라센서 등의 인식수단들 중 어느 하나의 인식수단으로 디바이스를 구성하거나, 또는 하나의 근접센서와 하나의 카메라센서의 조합으로 디바이스를 구성하거나, 또는 하나의 근접센서와 다수개의 카메라센서들의 조합으로 디바이스를 구성할 수 있다.
이하에서는, 본 발명의 실시 예들을 설명함에 있어서, 상기 도 4에서 예시로 나타낸 바와 같이, 전자기기의 좌우 사이드에 카메라센서가 각각 구비되고, 전자기기의 내부에 하나의 근접센서가 구비된 휴대단말을 참조하여 본 발명의 동작을 설명하기로 한다.
즉, 이하에서는 상기 도 4에 나타낸 바와 같은, 카메라센서에 해당하는 제1디바이스(410) 및 제2디바이스(430)와, 근접센서에 해당하는 제3디바이스(450)를 활용하여 전자기기 주변에서 이루어지는 사용자 제스처(예컨대, 손 모양, 손 동작, 손 이동방향 등)를 인식한다. 그리고 적어도 하나의 디바이스에서 인식되는 사용자 제스처를 상기 전자기기의 제어를 위한 인터랙션 입력으로 처리한다.
이때, 본 발명의 실시 예에서 근접센서에 대응하는 상기 제3디바이스(450)는 상기 전자기기와 인접된 공간에서 발생하는 사용자 제스처가 상기 전자기기에 근접하는 상태(근접 상태)를 판단하고, 이를 위한 기준을 제공한다. 그리고 상기 제3디바이스(450)는 신체(예컨대, 사용자의 손 등)의 근접 인식 및 상기 전자기기와 인접된 공간상에서의 영역을 구분하는 용도로 사용된다. 즉, 상기 제3디바이스(450)는 상기 저자기기로부터 특정 거리까지의 물체의 근접 유무를 감지하며, 본 발명에서는 사용자 손의 근접을 감지하여 상기 전자기기의 해당 기능을 판별하는 역할을 담당한다. 즉, 상기 제3디바이스(450)는 상기 전자기기와 인접된 공간상에서 이루 어지는 사용자 제스처에 따른 공간 인터랙션에 의한 제어신호를 발생한다.
또한, 본 발명의 실시 예에서 카메라센서에 대응하는 상기 제1디바이스(410) 및 제2디바이스(430)는 사용자 제스처를 감지하여, 상기 사용자 제스처의 움직임 방향, 움직임 속도 및 제스처 모양(손 모양 등) 등을 측정하는데 이용된다. 특히, 상기 제1디바이스(410) 및 제2디바이스(430)는 상기 전자기기와 인접된 공간상에서 이루어지는 사용자 제스처에 따른 평면 인터랙션에 의한 제어신호를 발생한다.
이때, 상기 제1디바이스(410) 및 제2디바이스(430)와, 상기 제3디바이스(450)에서 사용자 제스처에 따른 공간 인터랙션 및 평면 인터랙션이 함께 발생할 시, 본 발명에서는 상기 공간 인터랙션 및 평면 인터랙션을 융합 인터랙션으로 정의하고, 상기 융합 인터랙션에 의한 제어신호가 발생하는 것으로 설명할 수 있다. 즉, 본 발명의 실시 예에 따르면, 특정 사용자 제스처가 제1디바이스(410) 및 제2디바이스(430) 중 어느 하나에서 감지되는 상태에서 제3디바이스(430)에서도 함께 감지될 시, 상기 제3디바이스(430)에 의해 상기 사용자 제스처에 따른 인터랙션을 단계별 즉, 근접레벨별로 구분하여 전자기기의 해당 기능을 제어하게 된다.
예를 들면, 근접센서를 통해 공간 인터랙션을 인지할 시 상기 공간 인터랙션의 사용자 제스처로 매핑된 해당 기능을 수행하도록 전자기기를 제어하며, 카메라센서를 통해 평면 인터랙션을 인지할 시 상기 평면 인터랙션의 사용자 제스처로 매핑된 해당 기능을 수행하도록 전자기기를 제어하며, 카메라센서 및 근접센서를 통해 융합 인터랙션을 인지할 시 상기 융합 인터랙션의 사용자 제스처로 매핑된 해당 기능을 수행하도록 전자기기를 제어할 수 있다. 이러한 예시들에 대해서는 후술하 는 각 실시 예들에 따른 도면들 및 표를 참조하는 설명 부분에서 설명하기로 한다.
이상에서와 같이, 본 발명의 동작을 위한 제반 구성으로는, 사용자의 제스처에 따른 인터랙션을 감지하는 근접센서, 카메라센서, 적외선센서, 조도센서 등과 같은 디바이스와, 상기 디바이스를 포함하는 전자기기와, 그리고 적어도 하나의 디바이스로부터 감지된 인터랙션을 입력으로 기능 제어를 처리하는 처리부(예컨대, 제어부, 각 기능에 대응하는 실행 어플리케이션 등)으로 이루어질 수 있다. 여기서, 상기 제어부는 본 발명의 실시 예에 따른 인터랙션을 이용한 전자기기의 제어를 담당하며, 상기 실행 어플리케이션은 후술하는 예시에서와 같이, 악기연주 어플리케이션, 이미지 뷰어 어플리케이션, 카메라 기능 관련 어플리케이션 등을 포함하며, 이러한 어플리케이션들은 하나 이상의 디바이스를 통한 인터랙션에 따라 정의된 동작을 실행한다.
도 5는 본 발명의 실시 예에 따른 전자기기에서 평면 및 공간 인터랙션을 인식하는 인식범위를 설명하기 위한 개략적인 도면이다.
먼저, 본 발명의 실시 예에 따른 상기 전자기기가 포함하는 하나 이상의 디바이스를 이용하여 사용자의 손 움직임 등과 같은 제스처를 감지하고, 감지된 제스처를 미리 설정된 정의에 따라 분류하여 전자기기의 의미 있는 입력으로 사용한다. 이때, 본 발명의 실시 예에서는 상기 제스처를 감지하고 분별하는데 적어도 하나의 디바이스가 이용되며, 분류된 입력은 전자기기의 제어 인터랙션을 위해 사용되도록 정의한다.
상기 도 4 및 도 5를 참조하면, 본 발명에서 정의되는 하나 이상의 디바이스 에서 인터랙션 인식을 위한 인식범위는, 제1디바이스(410) 및 제2디바이스(430)가 평면 인터랙션을 인식하는 평면인식범위(510, 530)와, 제3디바이스(450)가 공간 인터랙션을 인식하는 공간인식범위(550)로 구분할 수 있다.
본 발명의 실시 예에서 상기 평면인식범위(510, 530)는 상기 제1디바이스(410) 및 제2디바이스(430)가 상기 전자기기와 인접된 공간으로부터 사용자의 평면 인터랙션을 감지하기 위한 범위를 나타내며, 상기 공간인식범위(550)는 상기 제3디바이스(450)가 상기 전자기기의 공간으로부터 사용자의 공간 인터랙션을 감지하기 위한 범위를 나타낸다. 이때, 상기 평면인식범위(510, 530)는 상기 도 4 및 도 5의 예시와 같이, 상기 제1디바이스(410) 및 제2디바이스(430)의 상기 전자기기에서의 위치에 따라 각각 좌우의 영역으로 구분될 수 있으며, 사용자의 왼손 및 오른손에 따른 각 제스처를 인식하도록 배치될 수 있다.
이때, 본 발명의 실시 예에서는 상기 제1디바이스(410) 내지 제3디바이스(450) 중 적어도 하나의 디바이스의 인식범위로에서 사용자의 제스처를 인식하고, 상기 제스처에 대한 인터랙션을 판별할 수 있다. 그리고 상기 인터랙션에 따라 전자기기를 제어할 수 있다.
예를 들어, 사용자가 상기 전자기기를 이용하여 악기연주를 수행하는 경우를 가정할 시, 사용자는 상기 전자기기와 인접된 공간 중 상기한 인식범위들(510 내지 530) 내에서 설정된 제스처 입력에 의해 인터랙션을 발생할 수 있다. 그러면, 상기 제1디바이스(410) 및/또는 제2디바이스(430)는 참조부호 510 및/또는 참조부호 530의 평면인식범위에서 사용자의 제스처를 인식하고, 그에 대한 평면 인터랙션을 발 생함으로써 악기연주에 따른 해당 기능을 처리한다. 또한, 상기 제3디바이스(450)는 참조부호 550의 공간인식범위의 한계점(경계선)을 기준으로 한계점 아래쪽으로 진입하는 제스처를 인식하고, 이를 악기를 타격하는 공간 인터랙션을 발생함으로써 악기연주에 따른 해당 기능을 처리한다. 또한, 상기 제1디바이스(410) 및/또는 제2디바이스(430)와 상기 제3디바이스(450)의 평면인식범위 및 공간인식범위에서 사용자의 제스처를 인식하고, 그에 대한 융합 인터랙션을 발생함으로써 악기연주에 따른 해당 기능을 처리한다.
이상에서와 같이, 본 발명의 실시 예에 따르면, 적어도 하나의 디바이스에 의한 인터랙션에 따라 전자기기를 구별되게 제어할 수 있다. 이를 개략적으로 정리하면, 하기 <표 1>과 같이 나타낼 수 있다.
Figure 112009045662219-PAT00001
상기 <표 1>에 나타낸 바와 같이, 전자기기의 제어부는 상기 제1디바이스(410)의 평면인식범위(510)에서만 인터랙션이 감지될 시, 즉, 상기 제3디바이스(450)의 공간인식범위(550) 바깥쪽(예컨대, 한계점 상단) 중 상기 평면인식범위(510)에서 인터랙션이 감지될 시, 상기 평면인식범위(510)에서 측정되는 사용자의 제스처를 분석하고, 해당 제스처에 미리 정의된 기능에 따라 전자기기를 제어한다.
또한, 전자기기의 제어부는 상기 제2디바이스(430)의 평면인식범위(530)에서만 인터랙션이 감지될 시, 즉, 상기 제3디바이스(450)의 공간인식범위(550) 바깥쪽(예컨대, 한계점 상단) 중 상기 평면인식범위(530)에서 인터랙션이 감지될 시, 상기 평면인식범위(530)에서 측정되는 사용자의 제스처를 분석하고, 해당 제스처에 미리 정의된 기능에 따라 전자기기를 제어한다.
또한, 전자기기의 제어부는 상기 제3디바이스(450)의 공간인식범위(550)에서만 인터랙션이 감지될 시, 즉, 상기 제3디바이스(450)의 공간인식범위(550) 안쪽(예컨대, 한계점 하단) 중 상기 평면인식범위(510, 530) 외의 영역에서 인터랙션이 감지될 시, 상기 공간인식범위(550)에서 측정되는 사용자의 제스처를 분석하고, 해당 제스처에 미리 정의된 기능에 따라 전자기기를 제어한다.
또한, 전자기기의 제어부는 상기 제1디바이스(410)의 평면인식범위(510)와 상기 제3디바이스(450)의 공간인식범위(550)에서 인터랙션이 감지될 시, 즉, 상기 제3디바이스(450)의 공간인식범위(550) 안쪽(예컨대, 한계점 하단) 중 상기 평면인식범위(510)가 중첩되는 영역에서 인터랙션이 감지될 시, 상기 공간인식범위(550)와 상기 평면인식범위(510)가 중첩된 영역에서 측정되는 사용자의 제스처를 분석하고, 해당 제스처에 미리 정의된 기능에 따라 전자기기를 제어한다.
또한, 전자기기의 제어부는 상기 제2디바이스(430)의 평면인식범위(530)와 상기 제3디바이스(450)의 공간인식범위(550)에서 인터랙션이 감지될 시, 즉, 상기 제3디바이스(450)의 공간인식범위(550) 안쪽(예컨대, 한계점 하단) 중 상기 평면인식범위(530)가 중첩되는 영역에서 인터랙션이 감지될 시, 상기 공간인식범위(550)와 상기 평면인식범위(530)가 중첩된 영역에서 측정되는 사용자의 제스처를 분석하고, 해당 제스처에 미리 정의된 기능에 따라 전자기기를 제어한다.
또한, 전자기기의 제어부는 상기 제1디바이스(410) 및 제2디바이스(430)의 평면인식범위들(510, 530)과 상기 제3디바이스(450)의 공간인식범위(550)에서 인터랙션이 감지될 시, 즉, 상기 제3디바이스(450)의 공간인식범위(550) 안쪽(예컨대, 한계점 하단) 중 상기 평면인식범위(510)가 중첩되는 영역과, 상기 제3디바이스(450)의 공간인식범위(550) 안쪽(예컨대, 한계점 하단) 중 상기 평면인식범위(530)가 중첩되는 영역 각각에서 인터랙션이 감지될 시, 상기 공간인식범위(550)와 상기 평면인식범위(510)가 중첩된 영역 및 상기 공간인식범위(550)와 상기 평면인식범위(530)가 중첩된 영역에서 측정되는 각각의 사용자의 제스처를 분석하고, 해당 제스처에 미리 정의된 기능에 따라 전자기기를 제어한다.
또한, 상기한 바와 같이 본 발명의 실시 예에서는 각 인식범위들에 대응하여 평면 인터랙션, 공간 인터랙션 및 융합 인터랙션으로 구분하고, 측정되는 사용자 제스처와 해당 제스처에 대해 정의된 정보에 따라 해당 기능 제어를 처리하게 된다. 이상에서와 같이, 본 발명의 실시 예에서는 하나 이상의 디바이스의 인식범위를 이용해 공간을 구분하여 사용함으로써 두 개 혹은 그 이상의 레벨에 대한 인터랙션이 가능하도록 한다.
그러면 이하에서, 전술한 바와 같은 본 발명의 구체적인 실시 예들에 대하여 도 6 내지 도 7을 참조하여 살펴보기로 한다.
도 6 내지 도 8은 본 발명의 실시 예에 따른 각 인식범위에서 사용자 제스처에 따른 전자기기의 운용 방법을 설명하기 위해 개략적으로 도시한 도면들이다.
상기 도 4 내지 도 6을 참조하면, 상기 도 6은 상기 제3디바이스(450)의 공간인식범위(550) 밖에서 즉, 중첩되지 않은 영역에서 사용자 제스처가 상기 제1디바이스(410) 및/또는 상기 제2디바이스(430)에 의해 감지되는 경우 및 그에 따른 동작을 나타낸다. 즉, 사용자는 상기 제1디바이스(410) 및 제2디바이스(430)의 적어도 하나의 평면인식범위 중 상기 공간인식범위(550)와 중첩되지 않은 영역에서 미리 정의된 제스처를 발생할 수 있다. 여기서, 상기 제스처는 상기 전자기기를 기준으로 상하좌우의 방향에 해당하는 손의 움직임과, 다양한 형태의 손 모양, 다양한 형태의 손 동작 등을 포함한다. 그러면, 전자기기의 제어부는 제1디바이스(410) 및/또는 제2디바이스(430)에서 인식하는 인터랙션에 따른 제스처를 분석하여 그에 매핑된 기능 제어를 처리하게 된다.
상기 도 4 내지 도 7을 참조하면, 상기 도 7은 상기 제3디바이스(450)의 공간인식범위(550) 안쪽에서 즉, 중첩된 영역에서 사용자 제스처가 상기 제1디바이스(410) 및/또는 제2디바이스(430)에 의해 감지되는 경우 및 그에 따른 동작을 나타낸다. 즉, 사용자는 상기 제1디바이스(410) 및 제2디바이스(430)의 적어도 하나의 평면인식범위 중 상기 공간인식범위(550)와 중첩되는 영역에서 미리 정의된 제스처를 발생할 수 있다. 여기서, 상기 제스처는 상기 전자기기를 기준으로 상하좌우의 방향에 해당하는 손의 움직임과, 다양한 형태의 손 모양, 다양한 형태의 손 동작 등을 포함한다. 그러면, 전자기기의 제어부는 제1디바이스(410) 및/또는 제2디바이스(430)와 상기 제3디바이스(450)에서 인식하는 인터랙션에 따른 제스처를 분석하여 그에 매핑된 기능 제어를 처리하게 된다.
상기 도 4 내지 도 8을 참조하면, 상기 도 8은 상기 제3디바이스(450)의 공간인식범위(한계점)를 가로지르는 즉, 중첩되지 않은 영역에서 중첩된 영역으로 인식범위가 변경되는 제스처가 감지되는 경우 및 그에 따른 동작을 나타낸다. 즉, 사용자는 상기 제1디바이스(410) 및 제2디바이스(430)의 적어도 하나의 평면인식범위 중 상기 공간인식범위(550)와 중첩되지 않은 영역에서 중첩되는 영역으로 인터랙션이 진입하는 미리 정의된 제스처를 발생할 수 있다. 여기서, 상기 제스처는 상기 공간인식범위(550)의 한계점을 기준으로 상측에서 하측으로 진입(예컨대, 타격하는 행위 등) 손 동작 등을 포함한다. 그러면, 전자기기의 제어부는 제1디바이스(410) 및/또는 제2디바이스(430)의 인식범위에서 상기 제3디바이스(450)의 인식범위와 중첩된 영역으로 이동 변경되는 인터랙션을 감지하게 되며, 상기 제어부는 상기 인터랙션에 따른 제스처를 분석하여 그에 매핑된 기능 제어를 처리하게 된다.
상기 도 8의 동작에 대하여, 악기연주 기능을 수행하는 경우를 예시로 하여 살펴보면, 악기의 타격은 사용자 인터랙션이 상기 공간인식범위(550)의 한계점의 바깥쪽으로부터 안쪽으로 넘어오는 동작에 의해 제어하도록 할 수 있다. 이때, 제1디바이스(410) 및 제2디바이스(430) 각각은 사용자 제스처의 진입에 따른 프레임의 변화를 감지하여, 변화의 정도에 따라 상기 타격 강도를 인식하도록 할 수 있다. 또한, 상기 공간감지범위(550)의 한계점 바깥쪽에서 안쪽으로 들어온 제스처에 대하여 상기 제1디바이스(410) 및/또는 제2디바이스(430)의 프레임 변화를 분석하고 그에 따라 타악기를 강하게 쳤는지 약하게 쳤는지를 구분하도록 할 수 있다. 이러한 동작은 왼쪽과 오른쪽 동일하게 적용되며, 각각 다른 소리의 입력으로 사용되도록 할 수 있다. 이러한 동작 예시에 대해서는 후술하는 도면을 참조하여 살펴보기로 한다.
도 9는 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션을 이용한 제어 방법을 도시한 도면이다.
상기 도 4 내지 9를 참조하면, 먼저 전자기기의 제어부는 사용자 요청에 응답하여 사용자 인터랙션을 이용한 전자기기 제어를 위한 모드를 활성화 할 수 있다(901단계). 여기서, 상기 모드 활성화는 사용자 요청에 따라 적응적으로 활성화/비활성화할 수 있으며, 또는 설정 방식에 따라 항상 활성화 상태로 있을 수 있다. 따라서 상기 모드 활성화 과정은 본 발명에서 생략될 수 있다.
다음으로, 상기 전자기기의 제어부는 상기 전자기기와 인접된 공간상으로부터 인터랙션을 감지한다(903단계). 이때, 상기 전자기기의 제어부는 전술한 도 4 내지 도 8을 참조한 설명 부분에서 설명한 바와 같이 하나 이상의 디바이스를 통해 감지되는 하나 이상의 인터랙션을 입력받을 수 있다.
다음으로, 상기 전자기기의 제어부는 입력되는 인터랙션을 구분한다(905단계). 즉, 상기 전자기기의 제어부는 상기 하나 이상의 디바이스를 통해 인식되는 인터랙션의 인식범위를 판단한다. 즉, 상기 제어부는 상기 인터랙션이 하나 이상의 디바이스의 개별 인식범위에서 인식되는 인터랙션인지, 또는 적어도 두 개의 디바이스에의 중첩 인식범위에서 인식되는 인터랙션인지를 판단한다. 그리고 상기 제어부는 상기 인터랙션이 인식되는 해당 인식범위에서 측정하는 사용자 제스처를 식별할 수 있다.
다음으로, 상기 전자기기의 제어부는 상기 입력되는 인터랙션에 따른 설정된 기능을 판단한다(907단계). 즉, 상기 인터랙션에 따라 식별하는 사용자 제스처에 미리 정의된 기능을 판단한다. 그리고 상기 전자기기의 제어부는 상기 판단하는 기능 제어를 처리한다(909단계).
도 10은 본 발명의 실시 예에 따른 사용자 인터랙션에 따라 전자기기를 제어하는 전체 동작을 개략적으로 도시한 도면이다.
상기 도 4 내지 도 10을 참조하면, 먼저 상기 전자기기와 인접된 공간상에서 사용자 제스처가 발생할 시, 상기 전자기기의 제어부는 하나 이상의 디바이스로부터 상기 사용자 제스처에 따른 인터랙션을 감지할 수 있다(1010단계). 그리고 상기 전자기기의 제어부는 상기 하나 이상의 디바이스로부터 인터랙션이 감지되면, 상기 인터랙션을 식별하는 절차를 처리한다(1020단계).
이때, 상기 인터랙션은 상기 전자기기가 디바이스를 구비하는 형태에 따라 다양하게 나타날 수 있다. 예를 들어, 만약 상기 전자기기가 근접센서 등과 같은 공간상의 인터랙션을 인식하는 디바이스로만 구성될 시, 상기 디바이스에 의하여 공간 인터랙션만을 감지하게 된다. 또한, 상기 전자기기가 카메라센서 등과 같은 평면상의 인터랙션을 인식하는 디바이스로만 구성될 시, 상기 디바이스에 의하여 평면 인터랙션만을 감지하게 된다. 또한, 상기 전자기기가 근접센서 및 카메라센서 등과 같이 공간상의 인터랙션 및 평면상의 인터랙션 모두를 개별적으로 인식 가능하도록 서로 다른 종류의 디바이스가 다수개로 구성될 시, 상기 디바이스들에 의하여 공간 인터랙션 및 평면 인터랙션 중 적어도 하나의 인터랙션을 감지하게 된다.
한편, 상기 전자기기의 제어부는 상기 식별하는 인터랙션이 평면 인터랙션인 것으로 식별하면(1031단계), 전술한 도 4 내지 도 9를 참조한 설명 부분에서 설명한 바와 같이 상기 평면 인터랙션에 따른 기능 제어를 처리한다(1033단계). 이때, 상기 전자기기의 제어부는 상기 평면 인터랙션의 타입별로 해당 기능 제어를 처리할 수 있다. 예컨대, 카메라센서의 인식범위 내에서 발생하는 각 사용자 제스처(손 동작, 손 모양, 이동 방향 등)에 대응하게 설정된 인터랙션을 추적하고, 상기 인터랙션에 따른 해당 기능을 제어하게 된다.
다음으로, 상기 전자기기의 제어부는 상기 식별하는 인터랙션이 공간 인터랙션인 것으로 식별하면(1041단계), 전술한 도 4 내지 도 9를 참조한 설명 부분에서 설명한 바와 같이 상기 공간 인터랙션에 따른 기능 제어를 처리한다(1043단계). 이때, 상기 전자기기의 제어부는 상기 공간 인터랙션의 타입별로 해당 기능 제어를 처리할 수 있다. 예컨대, 근접센서의 인식범위 내에서 발생하는 각 사용자 제스처(손 동작, 근접 정도 등)에 대응하게 설정된 인터랙션을 추적하고, 상기 인터랙션에 따른 해당 기능을 제어하게 된다.
다음으로, 상기 전자기기의 제어부는 상기 식별하는 인터랙션이 융합 인터랙션인 것으로 식별하면(1051단계), 전술한 도 4 내지 도 9를 참조한 설명 부분에서 설명한 바와 같이 상기 융합 인터랙션에 따른 기능 제어를 처리한다(1053단계). 여기서, 상기 융합 인터랙션은 상기 공간 인터랙션 및 상기 평면 인터랙션이 함께 발생하는 경우의 인터랙션을 나타낸다. 즉, 상기 공간 인터랙션이 감지되는 인식범위와, 평면 인터랙션이 감지되는 인식범위가 중첩된 영역에서 발생하는 사용자 제스처를 감지할 수 있으며, 이를 융합 인터랙션으로 처리하게 된다. 이때, 상기 전자기기의 제어부는 상기 융합 인터랙션의 타입별로 해당 기능 제어를 처리할 수 있다. 예컨대, 근접센서 및 카메라센서의 각 인식범위가 중첩된 영역 내에서 발생하는 각 사용자 제스처(손 동작, 접근 정도, 손 모양, 이동 방향 등)에 대응하게 설정된 인터랙션을 추적하고, 상기 인터랙션에 따른 해당 기능을 제어하게 된다.
한편, 상기 전자기기의 제어부는 상기와 같이 평면 인터랙션, 공간 인터랙션 및 융합 인터랙션에 따른 기능 제어 중에, 해당 인터랙션의 변화가 감지되면(1060단계), 즉 사용자 제스처가 감지되는 인식범위 또는 제스처 형태가 변경되면 상기 1020단계로 진행하여 전술한 과정을 수행할 수 있다.
그러면 이하, 전술한 바와 같은 본 발명의 동작에 따라 실시되는 동작 실시 예들 및 그들의 화면 예시들에 대하여 살펴보기로 한다. 하지만, 본 발명의 실시 예들이 하기에서 기술하는 내용에 한정되는 것은 아니므로, 하기의 실시 예들에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.
도 11 내지 도 14는 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션에 대응하여 해당 기능을 처리하는 동작 예시를 도시한 도면들이다. 이때, 하기에서는 상기 제1디바이스(410) 및 제2디바이스(430)가 카메라센서에 대응하고, 상기 제3디바이스(450)가 근접센서에 대응하는 것으로서 설명한다.
상기 도 11 내지 도 14에 나타낸 바와 같이, 상기 도 11 내지 도 14는 앨범 어플리케이션 실행 시, 근접센서에서 감지되는 근접 레벨에 따라 인터랙션을 구분하여 설정된 해당 기능을 제어하는 동작 예시를 나타낸 것이다. 즉, 상기 도 11 내지 도 14는 근접센서의 경계(한계점)를 기준으로 안쪽 또는 바깥쪽에서 발생하는 사용자 제스처에 따라 인터랙션을 구분하고, 그에 따른 매핑된 기능을 제어하게 된다. 이하, 상기 도 11 내지 도 14를 참조하여, 근접 레벨에 따른 인터랙션 구분 및 그에 의한 다양한 기능을 제어하는 방법에 대하여 살펴보면 다음과 같다.
먼저, 상기 도 11을 참조하면, 상기 도 11은 앨범 어플리케이션 실행에 따라 임의의 오브젝트(예컨대, 이미지)가 제시된 경우, 상기 근접센서의 인식범위 안쪽에서 인터랙션이 발생할 시, 사용자 제스처(예컨대, 손의 좌우 이동)에 정의된 기능이 오브젝트 내비게이션 기능인 것을 예시로 나타낸다.
즉, 상기 도 11에 도시한 바와 같이, 상기 전자기기의 제어부는 근접센서의 인식범위 안쪽에서 입력되는 사용자 제스처를 인지하고, 또한 상기 사용자 제스처가 상기 카메라센서의 인식범위에서 상하좌우 중 어느 한 방향으로 이동됨을 인지할 수 있다. 그러면, 상기 제어부는 상기 근접센서에 의한 인터랙션과 상기 카메라센서에 의한 인터랙션을 융합하여 상기 제스처가 융합 인터랙션인 것으로 결정한다. 그리고 상기 제어부는 상기 융합 인터랙션에서 상기 사용자 제스처 즉, 추적하는 제스처의 이동 방향에 따라 미리 정의된 기능을 수행하게 된다. 즉, 상기 제스처의 이동 방향에 대응하여 제시된 오브젝트에 대한 내비게이션 기능을 처리한다.
상기와 같이 근접센서 및 카메라센서에 의해 융합 인터랙션이 발생하면, 즉, 근접센서에 의한 제스처가 감지되는 상태에서 카메라센서에 의한 제스처가 함께 감지되는 경우, 상기 전자기기의 제어부는 상기 융합 인터랙션 중 상기 카메라센서에서 감지되는 제스처에 따라 오브젝트 간의 내비게이션을 수행하는 기능 제어를 처리한다.
다음으로, 상기 도 12를 참조하면, 상기 도 12는 앨범 어플리케이션 실행에 따라 임의의 오브젝트(예컨대, 이미지)가 제시된 경우, 상기 근접센서의 인식범위 안쪽에서 인터랙션이 발생할 시, 사용자 제스처(예컨대, 손의 상하 이동)에 정의된 기능이 확대/축소 기능인 것을 예시로 나타낸다.
즉, 상기 도 12에 도시한 바와 같이, 상기 전자기기의 제어부는 근접센서의 인식범위 안쪽에서 입력되는 사용자 제스처를 인지하고, 또한 상기 사용자 제스처가 상기 근접센서의 인식범위 안쪽에서 전자기기와 근접하거나 멀어지는 즉, 가변됨을 인지할 수 있다. 그러면, 상기 제어부는 상기 제스처가 상기 근접센서에 의한 근접레벨 변화에 따른 공간 인터랙션인 것으로 결정한다. 그리고 상기 제어부는 상기 공간 인터랙션에서 상기 사용자 제스처 즉, 추적하는 제스처의 근접레벨에 따라 미리 정의된 기능을 수행하게 된다. 즉, 상기 제스처가 전자기기에 근접하는 정도에 대응하여 제시된 오브젝트에 대한 확대/축소 기능을 처리한다. 이때, 상기 제스처가 상기 근접센서의 인식범위(한계점)를 벗어날 시, 상기 오브젝트를 기본 설정된 기본 크기로 복원하는 동작을 설정 방식에 따라 수행할 수도 있음은 물론이다.
상기와 같이 근접센서에 의한 제스처가 감지되거나, 또는 상기 근접센서에 의한 제스처가 감지되는 상태에서 카메라센서에 의한 제스처가 함께 감지되는 경우, 상기 전자기기의 제어부는 상기 근접센서에서 감지되는 제스처에 따라 오브젝트의 확대/축소를 수행하는 기능 제어를 처리한다.
다음으로, 상기 도 13을 참조하면, 상기 도 13은 앨범 어플리케이션 실행에 따라 임의의 오브젝트(예컨대, 이미지)가 제시된 경우, 상기 근접센서의 인식범위 바깥쪽에서 인터랙션이 발생할 시 사용자 제스처(예컨대, 손의 상하 이동)에 정의된 기능이 카테고리 내비게이션 기능인 것을 예시로 나타낸다.
즉, 상기 도 13에 도시한 바와 같이, 상기 근접센서의 인식범위 바깥쪽에서 입력되는 사용자 제스처에 대해서는 상기 근접센서에 의한 인터랙션이 발생하지 않는다. 즉, 상기 사용자 제스처는 상기 카메라센서의 인식범위 내에서만 감지되어 그에 따른 인터랙션이 발생하게 된다. 이러한 경우, 상기 전자기기의 제어부는 상기 카메라센서의 인식범위에서 상하좌우 중 어느 한 방향으로 이동되는 제스처를 인지할 시, 상기 카메라센서에 의한 인터랙션을 평면 인터랙션으로 결정하고, 상기 평면 인터랙션에서 상기 사용자 제스처 즉, 추적하는 제스처의 이동 방향에 매핑된 기능(예컨대, 카테고리 내비게이션 제어)을 수행하게 된다. 즉, 상기 제스처의 이동 방향에 대응하여 제시된 카테고리에 대한 내비게이션 기능을 처리한다.
따라서 상기와 같이 카메라센서에 의해 평면 인터랙션이 발생하면, 상기 평면 인터랙션에 따라 카테고리 간의 내비게이션을 수행하는 기능 제어를 처리한다. 이때, 상기 카테고리의 변경에 따라 해당 카테고리에 속한 내용(예컨대, 이미지) 역시 함께 변경되어 제공될 수 있다.
다음으로, 상기 도 14를 참조하면, 상기 도 14는 앨범 어플리케이션 실행에 따라 임의의 오브젝트(예컨대, 이미지)가 제시된 경우, 상기 근접센서의 인식범위 바깥쪽에서 인터랙션이 발생할 시 사용자 제스처(예컨대, 손의 회전)에 정의된 기능이 오브젝트 회전 기능인 것을 예시로 나타낸다.
즉, 상기 도 14에 도시한 바와 같이, 상기 근접센서의 인식범위 바깥쪽에서 입력되는 사용자 제스처에 대해서는 상기 근접센서에 의한 인터랙션이 발생하지 않는다. 즉, 상기 사용자 제스처는 상기 카메라센서의 인식범위 내에서만 감지되어 그에 따른 인터랙션이 발생하게 된다. 이러한 경우, 상기 전자기기의 제어부는 상기 카메라센서의 인식범위에서 시계방향 또는 반시계방향으로 회전하는 제스처를 인지할 시, 상기 카메라센서에 의한 인터랙션을 평면 인터랙션으로 결정하고, 상기 평면 인터랙션에서 상기 사용자 제스처 즉, 추적하는 제스처의 회전 방향에 매핑된 기능(예컨대, 오브젝트 회전 제어)을 수행하게 된다. 즉, 상기 제스처의 회전 방향에 대응하여 제시된 오브젝트에 대한 회전 기능을 처리한다.
따라서 상기와 같이 카메라센서에 의해 평면 인터랙션이 발생하면, 상기 평면 인터랙션에 따라 오브젝트를 회전하는 기능 제어를 처리한다. 이때, 상기 제스처의 시계방향 또는 반시계방향의 회전에 대응하여 상기 오브젝트를 해당 방향으로 회전하는 이펙트를 적응적으로 반영하여 제공할 수 있다.
이상에서와 같이, 본 발명의 실시 예에 따르면, 근접센서를 이용하여 근접에 따른 공간상의 범위를 결정할 수 있다. 또한, 근접범위 안쪽에서는 카메라센서에 의해 제스처의 움직이는 방향을 인식하여 해당 인터랙션으로 활용하고, 근접센서 바깥쪽에서는 카메라센서에 의해 제스처 모양/동작을 인식하여 해당 인터랙션으로 활용하는 등 사용자 정의에 따라 다양한 운용이 가능하다.
도 15 및 도 16은 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션에 대응하여 해당 기능을 처리하는 다른 동작 예시를 도시한 도면들이다. 이때, 하기에서는 상기 제1디바이스(410) 및 제2디바이스(430)가 카메라센서에 대응하고, 상기 제3디바이스(450)가 근접센서에 대응하며, 또한, 상기 제1디바이스(410)인 카메라센서는 카메라 본연의 기능을 수행하고, 상기 제2디바이스(430)인 카메라센서는 본 발명에서 사용자 인터랙션을 위한 기능으로서 동작하는 것으로서 설명한다. 또한 상기 제1디바이스(410) 및 제2디바이스(430) 간의 기능을 서로 전환하여 이용이 가능함도 물론이다.
상기 도 15 및 도 16에 나타낸 바와 같이, 상기 도 15 및 도 16은 근접센서에서 감지되는 근접레벨에 따라 인터랙션을 구분하여 기능을 제어하는 동작의 예시를 나타낸 것이다. 특히, 상기 도 15 및 도 16에서는 카메라를 이용하는 기능 중 셀프 촬영 기능을 수행할 시의 예시를 나타낸 것으로, 이러한 동작은, 화상통화 시에서도 응용할 수 있음은 물론이다.
상기 도 15 및 도 16을 참조하면, 상기 도 15 및 도 16은 근접센서의 인식범위(한계점)를 기준으로 안쪽 또는 바깥쪽에서 발생하는 사용자 제스처에 따라 인터랙션을 구분하고, 각 인터랙션에 대응하는 사용자 제스처에 따라 셀프 촬영에 관련된 기능을 제어하는 동작 예시를 나타낸 것이다. 즉, 상기 도 15 및 도 16에서는 셀프 촬영 어플리케이션이 실행 시, 근접센서 및 나머지 다른 카메라센서에서 감지되는 인터랙션을 구분하여 설정된 셀프 촬영 기능을 제어하는 동작 예시를 나타낸 것이다.
먼저, 상기 도 15를 참조하면, 상기 도 15는 셀프 촬영 기능 수행 중 상기 근접센서의 인식범위(550) 안쪽에서 사용자 제스처에 따른 인터랙션이 발생하는 경우를 나타낸다. 상기 도 15에 도시한 바와 같이, 상기 전자기기의 제어부는 상기 근접센서의 인식범위(550) 안쪽에서 입력되는 사용자 인터랙션을 인지하고, 또한 상기 사용자 제스처가 상기 근접센서의 인식범위(550) 안쪽에서 전자기기와 근접하거나 멀어지는 즉, 가변됨을 인지할 수 있다. 그러면, 상기 제어부는 상기 제스처가 상기 근접센서에 의한 근접레벨 변화에 따른 인터랙션인 것으로 결정한다. 그리고 상기 제어부는 상기 인터랙션에서 상기 사용자 제스처 즉, 추적하는 제스처의 근접레벨에 따라 미리 정의된 기능을 수행하게 된다. 예를 들어, 상기 제스처가 전자기기에 근접하는 정도에 대응하여 셀프 촬영에 따른 피사체의 줌인/줌아웃 기능을 처리한다.
상기와 같이 근접센서에 의한 제스처가 감지되거나, 또는 상기 근접센서에 의한 제스처가 감지되는 상태에서 카메라센서에 의한 제스처가 함께 감지되는 경우, 상기 전자기기의 제어부는 상기 근접센서에서 감지되는 제스처에 따라 셀프 촬영에 따른 줌인/줌아웃 기능 제어를 처리한다.
즉, 상기 도 15에서는 상기 카메라센서에 의해 사용자 인터랙션이 발생하고, 또한 상기 근접센서에 의해 사용자 인터랙션이 발생하거나, 또는 상기 근접센서에 의해서만 사용자 인터랙션이 발생할 시, 상기 근접센서에 의한 사용자 인터랙션의 근접레벨에 따라 셀프 촬영의 줌인/줌아웃 기능을 제어할 수 있다. 이때, 근접센서의 인식범위(550) 안쪽에서 발생하는 근접레벨에 따라 즉, 감지되는 인식 값의 강약에 따라 줌인 또는 줌아웃 기능을 처리한다. 상기 도 15를 참조하면, 사용자의 손이 근접센서의 인식범위(550)의 한계점에서 전자기기 쪽으로 근접하는 경우 줌인 기능을 처리하고, 사용자의 손이 상기 전자기기에서 상기 인식범위(550)의 한계점으로 멀어지는 경우 줌아웃 기능을 처리할 수 있다.
다음으로, 상기 도 16을 참조하면, 상기 도 16은 셀프 촬영 기능 수행 중 상기 근접센서의 인식범위(550) 바깥쪽에서 사용자 제스처에 따른 인터랙션이 발생하는 경우를 나타낸다. 상기 도 16에 도시한 바와 같이, 상기 사용자 제스처는 상기 카메라센서의 인식범위(550) 내에서만 감지되어 그에 따른 인터랙션이 발생하게 된다. 이러한 경우, 상기 전자기기의 제어부는 상기 카메라센서의 인식범위(550)에서 발생하는 제스처를 인지할 시, 상기 카메라센서에 의한 인터랙션에서 상기 사용자 제스처 즉, 추적하는 제스처의 형태에 따라 매핑된 기능을 수행하게 된다. 예를 들어, 상기 제스처가 "OK"에 대응하는 손 모양을 가질 시, 상기 손 모양에 대응하여 셀프 촬영에 따른 촬영 기능을 처리한다.
즉, 상기 도 16에서는 상기 카메라센서에 의해 사용자 인터랙션이 발생할 시, 상기 카메라센서에 의해 추적되는 제스처의 형태에 따라 셀프 촬영에 따른 다양한 부가 기능을 처리할 수 있다.
한편, 상기 셀프 촬영 등에서 상기 카메라센서 및 근접센서 상호 간에 의한 기능 제어는 반드시 상기한 예시에 한정되는 것은 아니며, 사용자 제스처 및 디바이스 간의 기능 제어 정보는 사용자 설정에 따를 수 있으며, 이러한 예시는 하기 <표 2>와 같이 나타낼 수 있다.
Figure 112009045662219-PAT00002
상기 <표 2>에 나타낸 바와 같이, 본 발명의 실시 예에서는 사용자 설정에 따라 인터랙션, 제스처 및 그에 해당하는 기능들을 설정할 수 있다. 예를 들어, 같은 줌인/줌아웃 기능에 대해서도 근접센서 및 카메라센서에 의한 융합 인터랙션을 감지하도록 하거나, 또는 어느 하나의 디바이스에 의한 평면 인터랙션 또는 공간 인터랙션을 감지하도록 하고, 또한 인터랙션 발생을 위한 제스처 역시 사용자 희망에 따라 설정할 수 있다. 또한, 같은 제스처 및 그에 따른 기능에 대해서도 공간 인터랙션에 의해 수행할 것인지, 또는 평면 인터랙션에 의해 수행할 것인지 등 사용자 편의에 따라 다양하게 설정이 가능하다.
도 17 내지 도 20은 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션에 대응하여 해당 기능을 처리하는 또 다른 동작 예시를 도시한 도면들이다. 이때, 하기에서는 상기 제1디바이스(410) 및 제2디바이스(430)가 카메라센서에 대응하고, 상기 제3디바이스(450)가 근접센서에 대응하는 것으로서 설명한다.
이때, 상기 도 17 내지 도 20에 나타낸 전자기기는 사용자 인터랙션을 식별하기 위한 디바이스로서, 두 개의 카메라센서가 전자기기의 평면 측면에 각각 구비되고, 전자기기 내부 또는 일측에 근접센서가 구비되는 경우의 예시를 나타낸다. 이러한 구성의 예시는 본 발명의 다양한 전자기기 형태 중 일 예에 해당하는 것으로, 본 발명의 전자기기가 반드시 상기 도 17 내지 도 20의 형태에 한정되는 것은 아니다.
먼저, 상기 도 17을 참조하면, 상기 도 17은 전자기기에서 악기연주 어플리케이션 실행 시 사용자가 제스처를 입력하는 동작 예시를 나타낸 것이다. 상기 도 17에 나타낸 바와 같이, 사용자의 왼손 및 오른손 각각은 상기 두 개의 카메라센서(410, 430)의 각 인지범위 상에 위치할 수 있다. 이때, 상기 두 개의 카메라센서(410, 430) 각각은 상기 왼손 및 오른손에 대한 손동작을 지속적으로 감지한다.
또한, 상기 근접센서(450)의 인식범위(한계점)를 타악기의 가상의 표면으로 간주하고, 상기 인식범위(한계점) 바깥쪽에서 안쪽으로 진입되는 입력을 감지할 시 타악기를 타격하는 것으로 정의할 수 있다. 또한, 상기 각 카메라센서(410, 430)는 사용자 제스처의 이동 속도를 감지할 수 있으며, 이는 악기를 연주하는 힘의 세기로 정의할 수 있다.
이러한 예시로, 상기 도 17의 예시와 같이, 상기 전자기기에서 악기연주 어플리케이션을 실행하는 경우를 가정하면, 두 개의 카메라센서들(410, 430) 및 근접센서(450)는 각각 좌우 손의 움직임을 통한 악기 연주를 위해 사용되어지며, 상기 각 카메라센서들(410, 430)에서 감지하는 프레임 변화를 추적하여 손의 움직임의 빠르기를 측정할 수 있다.
한편, 상기 도 17에서는 두 개의 카메라센서(410, 430)를 이용하는 경우를 예시로 나타내었으나, 두 개 이상의 다수개의 카메라센서들이 구비되고, 각각의 인식범위들이 구분되면 다수 개의 입력을 받아들일 수 있다.
그러면, 이하 본 발명의 사용자 인터랙션을 이용하여 전자기기에서 악기연주 기능을 실행하는 동작에 대하여 살펴보기로 한다.
상기 도 18 내지 도 20을 참조하면, 먼저 전자기기에서는 악기연주 어플리케이션 실행에 대응하는 사용자인터페이스(UI, User Interface)를 화면상에 표시할 수 있다. 상기 사용자인터페이스는 실제 악기 형태에 대응하는 그래픽사용자인터페이스(GUI, Graphical User Interface)일 수 있다. 또는 실제 악기 형태를 간소화하여 나타낸 GUI일 수 있다. 상기 도 18 내지 도 20에서는 사용자 요청에 대응하는 악기의 형태를 간소화하여 GUI로 나타내는 경우의 예시를 나타낸다. 예를 들어, 상기 도 18 내지 도 20에서는 사용자가 타악기 중 드럼을 선택한 경우, 그에 대응하는 GUI를 나타낸 것이다.
먼저, 상기 도 18에 나타낸 바와 같이, 악기에 대한 타격의 경우, 근접센서(450)의 인식범위로부터 안쪽으로 진입하는 동작만을 인식하여 인터랙션으로 처리한다. 이때, 상기 카메라센서들(410, 430) 각각은 프레임의 변화를 감지하고, 그 변화의 정도에 따른 인터랙션을 처리할 수 있다. 즉, 사용자 제스처에 따른 강도를 구분할 수 있다. 또한, 상기 근접센서(450)의 인식범위 바깥쪽에서 안쪽으로 진입하는 제스처의 이동에 대하여 상기 카메라센서(410, 430)에서 프레임 변화를 분석하고, 그에 따라 타악기를 강하게 쳤는지 약하게 쳤는지를 구분하게 된다. 이러한 동작은 왼쪽과 오른쪽으로 동일하게 적용되며, 각각 다른 소리의 입력으로 사용될 수도 있다.
다음으로, 상기 도 19에 나타낸 바와 같이, 악기 연주에서 반복적인 약한 입력은 상기 근접센서(450)의 인식범위 안쪽에서 웨이브 동작으로 정의하고, 근접센서 및 카메라센서 중첩된 인식범위에서 상기 웨이브 제스처와 같은 인터랙션이 발생할 시, 이를 악기연주 기능에서의 연속적인 약한 입력으로 처리할 수 있다.
다음으로, 상기 도 20에 나타낸 바와 같이, 악기는 특성상 소리의 울림이 지속될 수 있으며, 따라서 현재의 소리를 뮤트(mute)시키는 인터랙션을 정의할 수 있다. 상기 도 20의 예시에서는 상기 뮤트 기능 제어를 위한 입력을 상기 근접센서(450)의 인식범위 바깥쪽에서 이루어지는 웨이브 동작으로 정의하고, 상기 근접센서(450)의 인식범위 바깥쪽에서의 상기 카메라센서(410, 430)에 의해 인터랙션이 발생할 시, 이를 악기연주 기능에서의 뮤트 입력으로 처리할 수 있다. 이러한 동작은 사용자 인터랙션이 발생하는 어느 한쪽만을 뮤트시키거나, 또는 좌우 모두를 뮤트시킬 수 있다.
이상에서와 같이, 본 발명의 실시 예에 따르면, 하나 이상의 디바이스를 이용하여 사용자 인터랙션에 따른 전자기기의 제어가 가능하다. 예를 들어, 카메라센서는 손동작의 움직임을 지속적으로 감지하여 해당 동작을 각각의 인터랙션으로 활용할 수 있다. 또한, 근접센서는 근접의 범위를 정의하여 공간상의 영역을 구분하는 역할로 활용할 수 있다. 이러한 본 발명에 의해, 단일 센서를 이용한 인터랙션 방식에 비해 두 센서의 결합으로 공간의 개념(근접 레벨)을 도입하여 확장된 인터랙션을 제공할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1 내지 도 3은 본 발명의 실시 예에 따른 전자기기의 예시를 개략적으로 도시한 도면들,
도 4는 본 발명의 실시 예에 따른 전자기기의 구성을 개략적으로 도시한 도면,
도 5는 본 발명의 실시 예에 따른 전자기기에서 평면 및 공간 인터랙션을 인식하는 인식범위를 설명하기 위한 개략적인 도면,
도 6 내지 도 8은 본 발명의 실시 예에 따른 각 인식범위에서 사용자 제스처에 따른 전자기기의 운용 방법을 설명하기 위해 개략적으로 도시한 도면들,
도 9는 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션을 이용한 제어 방법을 도시한 도면,
도 10은 본 발명의 실시 예에 따른 사용자 인터랙션에 따라 전자기기를 제어하는 전체 동작을 개략적으로 도시한 도면,
도 11 내지 도 14는 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션에 대응하여 해당 기능을 처리하는 동작 예시를 도시한 도면들,
도 15 및 도 16은 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션에 대응하여 해당 기능을 처리하는 다른 동작 예시를 도시한 도면들,
도 17 내지 도 20은 본 발명의 실시 예에 따른 전자기기에서 사용자 인터랙션에 대응하여 해당 기능을 처리하는 또 다른 동작 예시를 도시한 도면들.

Claims (26)

  1. 전자기기에 있어서,
    상기 전자기기와 인접된 공간상에서 발생하는 하나 이상의 인터랙션을 인식하는 디바이스와,
    상기 디바이스가 인식하는 하나 이상의 인터랙션에 따라 상기 전자기기를 제어하는 제어부를 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  2. 제1항에 있어서, 상기 디바이스는,
    상기 전자기기의 인접된 공간상에서 발생하는 평면 인터랙션 및 공간 인터랙션 중 적어도 하나의 인터랙션을 인식하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  3. 제2항에 있어서, 상기 디바이스는,
    상기 전자기기의 주변에서 평면상으로 이루어지는 사용자 제스처에 따른 상기 평면 인터랙션을 인지하는 디바이스와,
    상기 전자기기의 주변에서 공간상으로 이루어지는 사용자 제스처에 따른 상 기 공간 인터랙션을 인지하는 디바이스를 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  4. 제3항에 있어서,
    상기 디바이스가 다수개로 구성될 시, 상기 디바이스는 동일한 타입이 다수개로 구성되거나, 또는 서로 다른 타입이 조합되어 다수개로 구성되는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  5. 제3항에 있어서,
    상기 디바이스는 사용자 제스처에 따른 인터랙션이 인식되는 인식범위를 가지는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  6. 제5항에 있어서,
    상기 인식범위는 상기 디바이스의 구성에 대응하여 다수개로 구분되며, 구분되는 각각의 인식범위들 간에 중첩 영역을 이루는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  7. 제6항에 있어서,
    상기 디바이스는 인식범위에서 인터랙션을 감지할 시, 상기 인터랙션에 대응하는 사용자 제스처 식별을 위한 정보를 제공하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  8. 제7항에 있어서, 상기 디바이스는
    상기 중첩 영역의 인식범위로부터 평면 인터랙션 및 공간 인터랙션에 대응하는 정보를 제공하며, 상기 중첩 영역 외의 개별 인식범위로부터 평면 인터랙션 또는 공간 인터랙션에 대응하는 정보를 제공하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  9. 제8항에 있어서, 상기 제어부는
    상기 디바이스가 제공하는 상기 정보의 분석에 의하여, 상기 인터랙션을 구분하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  10. 제9항에 있어서, 상기 제어부는
    상기 디바이스가 제공하는 상기 정보에 따라 평면 인터랙션 및 공간 인터랙션 중 어느 하나의 인터랙션을 구분하고, 구분하는 인터랙션에 대응하여 상기 전자기기를 제어하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  11. 제9항에 있어서, 상기 제어부는
    상기 디바이스가 제공하는 상기 정보에 따라 평면 인터랙션 및 공간 인터랙션이 함께 발생할 시, 상기 평면 인터랙션 및 공간 인터랙션에 대응하여 상기 전자기기를 제어하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기.
  12. 전자기기 제어 시스템에 있어서,
    상기 전자기기의 인접된 공간에서 평면상으로 이루어지는 사용자의 제스처에 따른 평면 인터랙션을 인식하는 제1디바이스와,
    상기 전자기기의 인접된 공간에서 공간상으로 이루어지는 사용자의 제스처에 따른 공간 인터랙션을 인식하는 제2디바이스와,
    상기 평면 인터랙션 및 공간 인터랙션을 구분하고, 구분하는 적어도 하나의 인터랙션에 대응하여 상기 전자기기를 제어하는 처리수단을 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 시스템.
  13. 제12항에 있어서,
    상기 제1디바이스 및 상기 제2디바이스는 서로 동일한 타입의 디바이스거나, 또는 서로 다른 타입의 디바이스인 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 시스템.
  14. 제13항에 있어서,
    상기 제1디바이스는 상기 평면 인터랙션을 위한 인식범위를 가지며, 상기 제2디바이스는 상기 공간 인터랙션을 위한 인식범위를 가지는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 시스템.
  15. 제14항에 있어서,
    상기 제1디바이스의 인식범위 및 상기 제2디바이스의 인식범위는 중첩되는 영역을 가지는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 시스템.
  16. 제15항에 있어서,
    상기 제1디바이스 및 상기 제2디바이스 각각은 자신의 인식범위 내에서 인식하는 사용자 제스처에 따른 인터랙션 정보를 상기 처리수단으로 제공하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 시스템.
  17. 제16항에 있어서, 상기 처리수단은
    상기 제1디바이스 및 상기 제2디바이스 중 하나 이상의 디바이스로부터 제공되는 하나 이상의 인터랙션 정보에 대응하여 상기 전자기기를 제어하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 시스템.
  18. 전자기기 제어 방법에 있어서,
    상기 전자기기와 인접된 공간으로부터 하나 이상의 인터랙션을 인식하는 과정과,
    상기 하나 이상의 인터랙션에 대응하여 상기 전자기기를 제어하는 과정을 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  19. 제18항에 있어서, 상기 인식하는 과정은,
    상기 전자기기와 인접된 공간으로부터 사용자 제스처를 감지하는 과정과,
    상기 사용자 제스처에 대응하는 하나 이상의 인터랙션을 인식하는 과정을 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  20. 제19항에 있어서,
    상기 인식하는 하나 이상의 인터랙션을 식별하는 과정과,
    상기 식별하는 하나 이상의 인터랙션에 대응하는 제어 기능을 판별하는 과정을 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  21. 제19항에 있어서, 상기 인식하는 과정은,
    상기 전자기기의 인접된 공간상에서 상기 사용자 제스처가 발생하는 인식범위에 따라 평면 인터랙션 및 공간 인터랙션 중 적어도 하나의 인터랙션을 인식하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  22. 제21항에 있어서,
    상기 인식범위는 상기 평면 인터랙션을 위한 인식범위와 상기 공간 인터랙션을 위한 인식범위로 구분되는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  23. 제22항에 있어서,
    상기 인식범위는 상기 평면 인터랙션을 위한 인식범위와 상기 공간 인터랙션을 위한 인식범위가 중첩된 영역을 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  24. 제21항에 있어서, 상기 제어하는 과정은,
    상기 평면 인터랙션 및 공간 인터랙션 중 어느 하나의 인터랙션을 식별하고, 식별하는 인터랙션에 대응하여 상기 전자기기를 제어하는 과정을 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  25. 제21항에 있어서, 상기 제어하는 과정은,
    상기 평면 인터랙션 및 공간 인터랙션이 함께 발생할 시, 상기 평면 인터랙션 및 공간 인터랙션에 대응하여 상기 전자기기를 제어하는 과정을 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
  26. 제19항에 있어서,
    상기 인터랙션을 인식할 시, 상기 사용자 제스처의 타입을 판별하는 과정과,
    상기 사용자 제스처에 대응하게 미리 정의된 제어 기능을 추적하는 과정을 더 포함하는 것을 특징으로 하는 입력 인터랙션을 이용하는 전자기기 제어 방법.
KR1020090068248A 2009-07-27 2009-07-27 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치 KR20110010906A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020090068248A KR20110010906A (ko) 2009-07-27 2009-07-27 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US12/843,122 US20110018795A1 (en) 2009-07-27 2010-07-26 Method and apparatus for controlling electronic device using user interaction
EP10170833.7A EP2284655A3 (en) 2009-07-27 2010-07-26 Method and apparatus for controlling electronic device using user interaction
PCT/KR2010/004907 WO2011013976A2 (en) 2009-07-27 2010-07-27 Method and apparatus for controlling electronic device using user interaction
CN2010800337890A CN102473032A (zh) 2009-07-27 2010-07-27 使用用户交互来控制电子装置的方法和设备
AU2010277931A AU2010277931B2 (en) 2009-07-27 2010-07-27 Method and apparatus for controlling electronic device using user interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090068248A KR20110010906A (ko) 2009-07-27 2009-07-27 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20110010906A true KR20110010906A (ko) 2011-02-08

Family

ID=42672082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090068248A KR20110010906A (ko) 2009-07-27 2009-07-27 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치

Country Status (6)

Country Link
US (1) US20110018795A1 (ko)
EP (1) EP2284655A3 (ko)
KR (1) KR20110010906A (ko)
CN (1) CN102473032A (ko)
AU (1) AU2010277931B2 (ko)
WO (1) WO2011013976A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014021547A1 (en) * 2012-08-02 2014-02-06 Samsung Electronics Co., Ltd. Method for controlling device, and device using the same
KR101390099B1 (ko) * 2013-10-30 2014-04-29 조영일 셀프촬영시 줌아웃 기능을 구비한 스마트폰 및 이를 이용한 촬영방법
WO2017073941A1 (ko) * 2015-10-30 2017-05-04 삼성전자 주식회사 제스처 감지 방법 및 이를 지원하는 전자 장치
US9940012B2 (en) 2014-01-07 2018-04-10 Samsung Electronics Co., Ltd. Display device, calibration device and control method thereof
KR101881525B1 (ko) * 2012-01-31 2018-07-25 삼성전자 주식회사 디스플레이장치, 업그레이드장치 및 이를 포함하는 디스플레이시스템 및 그 제어방법

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8719714B2 (en) 2009-07-08 2014-05-06 Steelseries Aps Apparatus and method for managing operations of accessories
BR112012026354A8 (pt) * 2010-04-13 2018-05-08 Nokia Corp aparelho, método, programa de computador e interface de usuário
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP2012027515A (ja) * 2010-07-20 2012-02-09 Hitachi Consumer Electronics Co Ltd 入力方法及び入力装置
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
KR101794350B1 (ko) * 2011-02-08 2017-12-04 삼성전자주식회사 휴대단말기의 영상 촬영 방법
CN106125921B (zh) 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
CN102692995A (zh) * 2011-03-21 2012-09-26 国基电子（上海）有限公司 具有接近感应功能的电子装置及接近感应控制方法
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20120281129A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Camera control
JP2012238152A (ja) * 2011-05-11 2012-12-06 Nec Saitama Ltd 表示装置、表示方法およびプログラム
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US20130088429A1 (en) * 2011-10-05 2013-04-11 Pantech Co., Ltd. Apparatus and method for recognizing user input
US11493998B2 (en) * 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
GB2500006A (en) * 2012-03-06 2013-09-11 Teknologian Tutkimuskeskus Vtt Oy Optical touch screen using cameras in the frame.
US11169611B2 (en) 2012-03-26 2021-11-09 Apple Inc. Enhanced virtual touchpad
US9213436B2 (en) 2012-06-20 2015-12-15 Amazon Technologies, Inc. Fingertip location for gesture input
US9400575B1 (en) 2012-06-20 2016-07-26 Amazon Technologies, Inc. Finger detection for element selection
TWI498771B (zh) * 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9690384B1 (en) * 2012-09-26 2017-06-27 Amazon Technologies, Inc. Fingertip location determinations for gesture input
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9110541B1 (en) * 2013-03-14 2015-08-18 Amazon Technologies, Inc. Interface selection approaches for multi-dimensional input
WO2014140827A2 (en) * 2013-03-14 2014-09-18 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
US9687730B2 (en) * 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9423874B2 (en) 2013-03-15 2016-08-23 Steelseries Aps Gaming accessory with sensory feedback device
US20140267142A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Extending interactive inputs via sensor fusion
CN103327256A (zh) * 2013-07-05 2013-09-25 上海斐讯数据通信技术有限公司 调整移动终端摄像头取景界面显示图像的系统及方法
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
CN105705993B (zh) * 2013-11-29 2019-09-06 英特尔公司 利用面部检测来控制摄像机
KR20150068001A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 센서를 이용한 동작 인식 방법 및 장치
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
US9652044B2 (en) * 2014-03-04 2017-05-16 Microsoft Technology Licensing, Llc Proximity sensor-based interactions
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US10289820B2 (en) * 2015-02-24 2019-05-14 Motorola Mobility Llc Multiuse 3D IR for electronic device
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
KR102229658B1 (ko) 2015-04-30 2021-03-17 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
WO2017200571A1 (en) * 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10775998B2 (en) * 2017-01-04 2020-09-15 Kyocera Corporation Electronic device and control method
JP6293953B1 (ja) * 2017-04-04 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11416077B2 (en) * 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
JP2023069663A (ja) * 2021-11-08 2023-05-18 ヤマハ株式会社 演奏解析方法、演奏解析システムおよびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6981019B1 (en) * 2000-05-02 2005-12-27 International Business Machines Corporation System and method for a computer based cooperative work system
US7289083B1 (en) * 2000-11-30 2007-10-30 Palm, Inc. Multi-sided display for portable computer
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7152033B2 (en) * 2002-11-12 2006-12-19 Motorola, Inc. Method, system and module for multi-modal data fusion
KR100621593B1 (ko) * 2004-09-24 2006-09-19 삼성전자주식회사 다중양식의 입력을 이용하는 통합 원격 제어 장치 및 방법
CN100345085C (zh) * 2004-12-30 2007-10-24 中国科学院自动化研究所 基于玩家姿势和语音的电子游戏场景和角色控制方法
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US20090307633A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Acceleration navigation of media device displays
US9703398B2 (en) * 2009-06-16 2017-07-11 Microsoft Technology Licensing, Llc Pointing device using proximity sensing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881525B1 (ko) * 2012-01-31 2018-07-25 삼성전자 주식회사 디스플레이장치, 업그레이드장치 및 이를 포함하는 디스플레이시스템 및 그 제어방법
WO2014021547A1 (en) * 2012-08-02 2014-02-06 Samsung Electronics Co., Ltd. Method for controlling device, and device using the same
KR101390099B1 (ko) * 2013-10-30 2014-04-29 조영일 셀프촬영시 줌아웃 기능을 구비한 스마트폰 및 이를 이용한 촬영방법
US9940012B2 (en) 2014-01-07 2018-04-10 Samsung Electronics Co., Ltd. Display device, calibration device and control method thereof
WO2017073941A1 (ko) * 2015-10-30 2017-05-04 삼성전자 주식회사 제스처 감지 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
US20110018795A1 (en) 2011-01-27
EP2284655A3 (en) 2014-06-25
AU2010277931A1 (en) 2012-02-02
CN102473032A (zh) 2012-05-23
AU2010277931B2 (en) 2015-08-13
WO2011013976A3 (en) 2011-06-30
EP2284655A2 (en) 2011-02-16
WO2011013976A2 (en) 2011-02-03

Similar Documents

Publication Publication Date Title
KR20110010906A (ko) 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US9448714B2 (en) Touch and non touch based interaction of a user with a device
US8836649B2 (en) Information processing apparatus, information processing method, and program
KR100735566B1 (ko) 이동 통신 단말기를 포인터로 이용하는 시스템 및 그 방법
US20180292907A1 (en) Gesture control system and method for smart home
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
WO2015040861A1 (ja) 電子機器、電子機器の制御方法及び記憶媒体
US20140055385A1 (en) Scaling of gesture based input
JP2013105310A (ja) 情報処理装置、制御方法およびプログラム
JP2013105312A (ja) 情報処理装置、制御方法およびプログラム
KR20170124933A (ko) 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP2010086230A (ja) 情報処理装置、情報処理方法およびプログラム
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
KR20100078234A (ko) 듀얼 터치 센서를 이용하여 제어 신호를 입력하는 장치 및 방법
JP2013105311A (ja) 情報処理装置
JP2010102395A (ja) 画像処理装置、画像処理方法およびプログラム
KR102134882B1 (ko) 컨텐츠 재생을 제어하기 위한 방법 및 장치
JP2013200660A (ja) 表示制御装置及びその制御方法
US8809665B2 (en) Electronic percussion gestures for touchscreens
JP2011134272A (ja) 情報処理装置、情報処理方法およびプログラム
JP5911321B2 (ja) 表示制御装置および表示制御装置の制御方法
JP2013164701A (ja) ユーザインタラクションを利用した電子機器とその制御方法、及び電子機器制御システム
US20150241982A1 (en) Apparatus and method for processing user input
JP7077024B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
KR102163825B1 (ko) 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application