KR102034587B1 - 이동 단말기 및 이의 제어 방법 - Google Patents

이동 단말기 및 이의 제어 방법 Download PDF

Info

Publication number
KR102034587B1
KR102034587B1 KR1020130103008A KR20130103008A KR102034587B1 KR 102034587 B1 KR102034587 B1 KR 102034587B1 KR 1020130103008 A KR1020130103008 A KR 1020130103008A KR 20130103008 A KR20130103008 A KR 20130103008A KR 102034587 B1 KR102034587 B1 KR 102034587B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
external device
input
controller
user
Prior art date
Application number
KR1020130103008A
Other languages
English (en)
Other versions
KR20150025385A (ko
Inventor
윤성혜
김수진
지주민
박지영
최재호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130103008A priority Critical patent/KR102034587B1/ko
Priority to US14/445,779 priority patent/US9704386B2/en
Priority to EP14181668.6A priority patent/EP2843511B1/en
Priority to CN201410438075.8A priority patent/CN104423581B/zh
Publication of KR20150025385A publication Critical patent/KR20150025385A/ko
Application granted granted Critical
Publication of KR102034587B1 publication Critical patent/KR102034587B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/04—Input or output devices integrated in time-pieces using radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은, 사용자가 손목에 찰 수 있는 시계 형태의 이동 단말기를 개시한다. 본 발명에 따른 이동 단말기는 정보를 디스플레이하기 위한 디스플레이부; 원격 제어의 대상이 되는 외부 장치와의 통신을 위한 무선 통신부; 상기 이동 단말기의 움직임 및 상기 이동 단말기가 채워진 부분에서의 근육 움직임에 따른 변화를 감지하기 위한 센싱부; 및 상기 센싱부의 감지 신호를 기초로, 상기 이동 단말기 및 상기 외부 장치 중 어느 하나를 원격으로 제어하기 위한 제어 명령을 생성하는 제어부를 포함할 수 있다.

Description

이동 단말기 및 이의 제어 방법{MOBILE TERMINAL AND CONTROLLING METHOD THEREOF}
본 발명은 이동 단말기 및 이의 제어 방법에 관한 것으로, 구체적으로는 시계 형태의 이동 단말기를 원격 제어하거나, 외부 장치를 원격 제어할 수 있는 이동 단말기 및 이의 제어 방법에 관한 것이다.
단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
이동 단말기는 TV, PC 등의 고정형 장치에 비해 스크린 크기가 훨씬 작기 때문에, 동영상을 세세한 부분까지 감상하는 것은 어렵다. 동영상의 세밀히 감상하기 위해서는, 사용자가 동영상을 확대하는 별도의 입력을 가하여야 한다.
이동 단말기의 휴대성을 더욱 증가시키기 위해, 시계와 같이, 손목에 찰 수 있는 형태의 이동 단말기가 개발되고 있다. 다만, 시계 형태의 이동 단말기는 그 특성상 디스플레이부의 크기가 매우 작아, 종래의 이동 단말기와 같이 사용자가 화면을 터치하는 것이 쉽지 않다. 이에 따라, 시계 형태의 이동 단말기를 적절히 조작하기 위한 새로운 입력 방법이 개발된다면, 시계 형태의 이동 단말기를 보다 적절히 사용할 수 있을 것이다.
아울러, 시계 형태의 이동 단말기를 차고 있을 때, 시계 형태의 이동 단말기와 외부 장치 사이의 상호 작용에 기초하여 외부 장치를 원격 제어할 수 있는 방법을 제공하는 것도 사용자 편의를 제공하는데 주요한 기능으로 인식될 수 있을 것이다.
본 발명은 사용자 편의를 향상시킨 이동 단말기를 제공하는 것을 그 목적으로 한다.
구체적으로, 본 발명은 이동 단말기가 채워진 부분(예컨대, 손목)에서의 근육 움직임, 이동 단말기의 움직임 및 이들로 인해 발생하는 소리 등의 요소를 고려하여, 이동 단말기 및 외부 장치를 원격 제어할 수 있는 이동 단말기를 제공하는 것을 그 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일예에 따른 시계 형태의 이동 단말기는, 정보를 디스플레이하기 위한 디스플레이부; 원격 제어의 대상이 되는 외부 장치와의 통신을 위한 무선 통신부; 상기 이동 단말기의 움직임 및 상기 이동 단말기가 채워진 부분에서의 근육 움직임에 따른 변화를 감지하기 위한 센싱부; 및 상기 센싱부의 감지 신호를 기초로, 상기 이동 단말기 및 상기 외부 장치 중 어느 하나를 원격으로 제어하기 위한 제어 명령을 생성하는 제어부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 일예에 따른 시계 형태의 이동 단말기의 제어 방법은, 상기 이동 단말기의 움직임 및 상기 이동 단말기가 채워진 부분에서의 근육 움직임에 따른 변화를 감지하는 단계; 및 감지 결과 발생하는 감지 신호를 기초로, 상기 이동 단말기 및 상기 외부 장치 중 어느 하나를 원격 제어하기 위한 제어 명령을 생성하는 단계를 포함한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 사용자 편의를 향상시킨 이동 단말기를 제공할 수 있는 효과가 있다.
구체적으로, 본 발명은 시계 형태의 이동 단말기를 원격 제어 하거나, 이를 이용하여 외부 장치를 원격 제어할 수 있는 이동 단말기를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 관련된 이동 단말기의 전면 사시도이다.
도 3은 본 발명의 일 실시예에 관련된 이동 단말기의 후면 사시도이다.
도 4는 시계 형태의 이동 단말기를 예시한 도면이다.
도 5는 본 발명의 일실시예에 따른 이동 단말기의 동작 흐름도이다.
도 6은 이동 단말기를 찬 팔의 위치에 따라 설정 값이 자동으로 조절되는 것을 설명하기 위해 예시한 도면이다.
도 7은 사용자 제스처 별 매칭되는 기능을 예시한 도표이다.
도 8 및 도 9는 이동 단말기 및 외부 장치에서의 절전 모드가 해제되는 것을 예시한 도면이다.
도 10a-10d 및 도 11a-11d는 이동 단말기 및 외부 장치에서의 포인터 제어를 설명하기 위해 예시한 도면이다.
도 12a, 12b 및 도 13a, 13b는 이동 단말기 및 외부 장치에서의 확대/축소 기능을 설명하기 위해 예시한 도면이다.
도 14a, 14b 및 도 15a, 15b는 이동 단말기 및 외부 장치에서의 스크롤 기능을 설명하기 위해 예시한 도면이다.
도 16 및 도 17은 이동 단말기 및 외부 장치에서 입력된 텍스트가 삭제되는 것을 설명하기 위해 예시한 도면이다.
도 18 및 도 19는 이동 단말기 및 외부 장치에서 수행되는 작업이 중단되는 것을 설명하기 위해 예시한 도면이다.
도 20 및 도 21은 이동 단말기 및 외부 장치에서 페이지 넘김 기능이 실행되는 것을 설명하기 위해 예시한 도면이다.
도 22는 사용자 제스처에 의해 이동 단말기가 필기 입력 모드 및/또는 음성 입력 모드로 진입하는 예를 설명한 도면이다.
도 23은 텍스트가 입력하여야 하는 상황이 발생함으로써, 이동 단말기가 필기 입력 모드 및/또는 음성 입력 모드로 진입하는 예를 설명하기 위한 도면이다.
도 24 및 도 25는 사용자의 필기에 의해, 이동 단말기 및 외부 장치에 텍스트가 입력되는 것을 설명하기 위해 예시한 도면이다.
도 26 및 도 27은 음성 입력에 의해 이동 단말기 및 외부 장치를 원격 제어하는 예를 설명하기 위한 도면이다.
도 28은 외부 장치에서 선택된 오브젝트의 미리 보기 영상이 이동 단말기를 통해 출력되는 예를 도시한 도면이다.
도 29는 이동 단말기 및 외부 장치가 각각 확대된 컨텐트 및 컨텐트의 미니 맵을 표시하는 예를 도시한 도면이다.
도 30은 이동 단말기가 외부 장치의 클립 보드에 저장된 데이터를 디스플레이하는 예를 도시한 도면이다.
도 31은 외부 장치를 통해 출력되는 컨텐트의 특정 영역을 중심으로 확대된 컨텐트가 이동 단말기를 통해 디스플레이되는 예를 도시한 도면이다.
도 32는 미러링을 위한 제스처가 입력됨으로써, 외부 장치와 이동 단말기 사이의 미러링이 개시되는 예를 설명하기 위해 예시한 도면이다.
도 33은 외부 장치를 통해 이동 단말기에서 출력 중인 컨텐트 리스트에서 특정된 어느 하나가 디스플레이되는 예를 도시한 도면이다.
도 34는 손바닥과 바닥면과의 접촉 면적을 통해 이동 단말기의 동작 모드가 결정되는 예를 설명하기 위한 도면이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다. 도 1에 도시된 상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 이동단말기(100)에 제공될 수 있다.
상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS (Convergence of Broadcasting and Mobile Service), OMA-BCAST (Open Mobile Alliance-BroadCAST), CMMB (China Multimedia Mobile Broadcasting), MBBMS (Mobile Broadcasting Business Management System), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, GSM(Gobal System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), LTE(Long Term Evolution)(이에 한정되지 않음)와 같은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), GSM, CDMA, WCDMA, LTE(Long Term Evolution)(이에 한정되지 않음) 등이 이용될 수 있다.
Wibro, HSDPA, GSM, CDMA, WCDMA, LTE 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로으로 이해될 수도 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 이동단말기(100)의 전·후면 또는 측면에 위치하는 버튼(136), 터치 센서(정압/정전)(137)로 구성될 수 있고, 도시되지는 않았지만 키패드(key pad), 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등을 더욱 포함하여 구성될 수 있다.
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 상기 센싱부(140)의 예로는, 자이로스코프 센서, 가속도 센서, 지자기 센서 등이 있을 수 있다.
예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 상기 터치센서(137) 가 상호 레이어 구조를 이루 거나 일체형으로 형성되는 는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가 지는 경우 디스플레이부(151)에 적층되어 레이어 구조를 형성할 수도 있고, 상기 디스플레이부(151)의 구성에 포함시켜 일체형으로 이루어질 수 있다.
터치센서(137)는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치센서(137)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치센서(137)에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
도 2를 참조하면, 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 상기 디스플레이부(151) 및 음성출력모듈(152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다. 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(170)의 일 예로서 구성될 수 있다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도이다.
개시된 휴대 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다.
상기 이동단말기(100)의 바디는 외관을 이루는 케이스(101, 102, 103)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다.
경우에 따라서는 리어 케이스(102)의 표면에도 전자부품이 실장 될 수 있다. 상기 리어 케이스(102)의 표면에 실장되는 전자부품은 사용자가 탈착이 필요한 배터리, USIM 카드 및 메모리카드 등이 있다. 이때, 상기 리어 케이스(102)는 그 표면을 커버하기 위한 후면커버(103)를 더 구비할 수 있다. 상기 후면커버(103)는 사용자가 용이하게 탈부착 가능한 구조로 형성되며, 상기 후면커버(103)를 제거하면, 상기 리어 케이스(102)의 표면이 노출된다.
도 2에 도시된 바와 같이 상기 후면커버(103)를 결합하면, 상기 리어 케이스(102)의 측면 일부만 노출될 수도 있고, 상기 후면커버(103)의 사이즈를 작게하면 상기 리어케이스(102)의 배면 일부도 노출될 수 있다. 상기 후면커버(103)가 상기 리어 케이스(102)의 배면 전체을 커버하는 경우 카메라(121')나 음향 출력부(152')를 외부로 노출시키기 위한 개구부(103')를 포함할 수 있다.
케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.
단말기 케이스(101, 102)에는 디스플레이부(151), 음향출력부(152), 카메라(121), 사용자 입력부(130/131,132), 마이크(122), 인터페이스(170) 등이 배치될 수 있다.
디스플레이부(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. 디스플레이부(151)의 양단부 중 일 단부에 인접한 영역에는 음향출력부(152)와 카메라(121)가 배치되고, 다른 단부에 인접한 영역에는 사용자 입력부(131)와 마이크(122)가 배치된다. 사용자 입력부(132)와 인터페이스(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다.
사용자 입력부(130)는 휴대 단말기(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(131,132)을 포함할 수 있다. 조작 유닛들(131,132)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.
제1 또는 제2조작 유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 제2 조작 유닛(132)은 음향출력부(152)에서 출력되는 음향의 크기 조절과 같은 명령을 입력받고, 제 3 조작 유닛(133)은 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력받을 수 있다.
도 3은 도 2에 도시된 휴대 단말기의 후면 사시도이다.
도 3를 참조하면, 단말기 바디의 후면, 다시 말해서 리어 케이스(102)에는 카메라(121')가 추가로 장착될 수 있다. 카메라(121')는 카메라(121, 도 2 참조)와 실질적으로 반대되는 촬영 방향을 가지며, 카메라(121)와 서로 다른 화소를 가지는 카메라일 수 있다.
예를 들어, 카메라(121)는 화상 통화 등의 경우에 사용자의 얼굴을 촬영하여 상대방에 전송함에 무리가 없도록 저 화소를 가지며, 카메라(121')는 일반적인 피사체를 촬영하고 바로 전송하지는 않는 경우가 많기에 고 화소를 가지는 것이 바람직하다. 카메라(121,121')는 회전 또는 팝업(pop-up) 가능하게 단말기 바디에 설치될 수도 있다.
카메라(121')에 인접하게는 플래쉬(123)와 거울(124)이 추가로 배치된다. 플래쉬(123)는 카메라(121')로 피사체를 촬영하는 경우에 피사체를 향해 빛을 비추게 된다. 거울(124)은 사용자가 카메라(121')를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다.
단말기 바디의 후면에는 음향 출력부(152')가 추가로 배치될 수도 있다. 음향 출력부(152')는 음향 출력부(152, 도 2a 참조)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디의 측면에는 통화 등을 위한 안테나 외에 방송신호 수신용 안테나(116)가 추가적으로 배치될 수 있다. 방송수신모듈(111, 도 1 참조)의 일부를 이루는 안테나(116)는 단말기 바디에서 인출 가능하게 설치될 수 있다.
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(190)가 장착된다. 전원공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 직접 탈착될 수 있게 구성될 수 있다.
리어 케이스(102)에는 터치를 감지하기 위한 터치 패드(135)가 추가로 장착될 수 있다. 터치 패드(135)는 디스플레이부(151)를 위해 광 투과형으로 구성될 수도 있다. 이 경우에, 디스플레이부(151)가 양면에서(즉, 이동단말기의 전면 및 후면 둘 다의 방향으로) 시각 정보를 출력하도록 구성된다면, 터치 패드(135)를 통해서도 상기 시각 정보를 인지할 수 있게 된다. 상기 양면에 출력되는 정보는 상기 터치 패드(135)에 의해 모두 제어될 수도 있다.
한편, 터치 패드(135) 전용 디스플레이가 별도로 장착됨으로써, 리어 케이스(102)에도 터치 스크린이 배치될 수도 있다.
터치 패드(135)는 프론트 케이스(101)의 디스플레이부(151)와 상호 관련되어 작동한다. 터치 패드(135)는 디스플레이부(151)의 후방에 평행하게 배치될 수 있다. 이러한 터치 패드(135)는 디스플레이부(151)와 동일하거나 작은 크기를 가질 수 있다.
본 발명에서 설명하는 이동 단말기(100)는 사용자가 손목에 찰 수 있는 시계 형태로 구현될 수도 있다. 일예로, 도 4는 시계 형태의 이동 단말기(100)를 예시한 도면이다. 이동 단말기(100)가 시계 형태를 띄는 경우, 이동 단말기(100)의 내측면(즉, 사용자의 피부와 맞닫는 면) 에는 센싱부(140)가 구비될 수도 있다. 이동 단말기(100)의 내측면에 구비된 센싱부(140)는 이동 단말기(100)가 패용된 부분(예컨대, 사용자의 손목)에서의 근육 움직임의 변화를 감지할 수 있다. 센싱부(140)는 이동 단말기(100)가 패용된 부분에서의 근육 움직임의 변화를 감지하기 위해 적어도 하나 이상의 센서를 구비할 수 있다. 일예로, 센싱부(140)는 근육이 움직임에 따라 자기(magnet)가 변화하는 자기 센서, 근육이 움직이면서 가하여지는 압력을 감지하기 위한 압력 센서 및 초음파를 발사한 뒤 반사되는 초음파를 센싱함으로써 근육의 움직임을 파악하는 초음파 센서 등을 채용(employ)함으로써, 근육 움직임의 변화를 감지할 수 있다.
손가락을 이용할 때 사용되는 근육은 손가락별로 다르고, 손가락 한 개를 움직일 때와 손가락 여러 개를 움직일 때 전체적으로 사용되는 근육 및 그 변화 역시 달라지기 때문에, 제어부(180)는 근육 움직임의 변화를 감지하는 센싱부(140)의 감지 신호를 기초로, 사용자의 어떠한 손가락이 어떻게 움직였는가를 판단할 수 있다.
센싱부(140)는 이동 단말기(100) 자체의 움직임을 감지할 수 있는 센서(예컨대, 가속도 센서 또는 자이로 센서)를 더욱 포함할 수도 있음은 물론이다. 이에 따라, 제어부(180)는 이동 단말기(100)를 패용한 팔이 움직이는 것 역시 감지할 수 있다. 나아가, 센싱부(140)는 광 센서를 포함할 수도 있다. 광 센서는 광원부와 수광부를 포함하고, 수광부는 광원부의 발광시, 바닥면을 통해 반사되는 빛을 감지하여, 이동 단말기(100)의 움직임을 파악할 수 있다. 광 센서는 광원부에서 발하는 빛이 바닥면을 통해 반사될 수 있도록, 이동 단말기(100)가 손목에 패용될 경우 손목의 안쪽에 대응하는 부분에 위치하는 것이 바람직할 것이다.
센싱부(140)는 근육이 이완 혹은 수축될 때 압력의 세기나 생체 리듬(예컨대, 맥박 등)을 감지하기 위한 센서(예컨대, 압력 센서나 생체 센서) 등을 더 포함할 수도 있다. 이에 따라, 이동 단말기(100)는 근육이 이완 혹은 수축될 때의 세기나 사용자의 신체 리듬을 더 파악할 수도 있다.
설명의 편의를 위해, 이하에서는 이동 단말기(100)가 손목에 패용될 수 있는 시계 형태인 것으로 가정한다. 나아가, 후술되는 이동 단말기(100)는 도 1에 도시된 구성요소 중 적어도 하나 이상을 포함하는 것으로 가정한다. 구체적으로, 후술되는 이동 단말기(100)가 도 1에 도시된 구성요소 중 무선 통신부(110), 마이크(122), 센싱부(140), 디스플레이부(151) 및 제어부(180)를 포함하는 것으로 가정한다.
시계 형태의 이동 단말기(100)에 적용되는 디스플레이부(151)는 터치스크린일 수도 있고, 그렇지 않을 수도 있다. 디스플레이부(151)가 터치스크린인 경우, 디스플레이부(151)는 정보를 출력하는 출력 장치로서 활용됨과 동시에, 사용자로부터 터치 입력을 수신하기 위한 입력 장치로서도 활용될 수 있다. 설명의 편의를 위해, 후술되는 실시예들에서는 디스플레이부(151)가 터치스크린인 것으로 가정하기로 한다.
본 발명에서 이동 단말기(100)는 이동 단말기(100)의 패용한 팔의 움직임 또는 이동 단말기(100)를 패용한 부분의 근육 움직임을 기초로 원격으로 이동 단말기(100) 또는 외부 장치(200)(external device)를 제어할 수 있도록 하기 위한 것이다. 여기서, 이동 단말기(100)와 무선 통신을 수행할 수 있는 다양한 종류의 전자 기기가 외부 장치(200)의 범주에 포함될 수 있다. 일예로, 외부 장치(200)는 퍼스널 컴퓨터(Personal Computer, PC), 텔레비전, 에어컨, 세탁기 등의 고정형 전자 기기일 수도 있고, 스마트폰, PDA, PDP, MP3, 랩탑, 태블릿 PC 등의 이동형 전자 기기일 수도 있다.
상술한 가정들을 기초로, 본 발명에 따른 이동 단말기(100)의 동작에 대해 상세히 살펴보기로 한다.
도 5는 본 발명의 일실시예에 따른 이동 단말기(100)의 동작 흐름도이다. 먼저, 이동 단말기(100)와 외부 장치(200) 사이에 무선 통신이 구축될 수 있다(S501). 이동 단말기(100)와 외부 장치(200)는 직접(direct) 연결될 수도 있고, 중계 장치(예컨대, AP(Access Point))를 경유하도록 간접 연결될 수도 있다. 이동 단말기(100)와 외부 장치(200) 사이에는 블루투스(Bluetooth), 지그비(Zigbee), Wifi Direct, Wifi 등의 무선 통신 기술이 적용될 수 있다.
일반적으로, 이동 단말기(100)와 외부 장치(200) 사이의 무선 통신을 구축을 위해서는, 적절한 사용자 입력을 수신할 필요가 있다. 일예로, 이동 단말기(100)가 블루투스 무선 기술을 이용하여 외부 장치(200)와 페어링 되기 위해서는, 블루투스 모듈을 활성화 하기 위한 사용자 입력, 블루투스로 페어링될 수 있는 기기 목록 중 외부 장치(200)를 선택하기 위한 사용자 입력 및 페어링을 위한 접속 암호를 입력하는 사용자 입력이 수신될 필요가 있다. 이동 단말기(100)와 외부 장치(200) 사이의 무선 통신 구축시 사용자가 일일이 적절한 사용자 입력을 가하여야 하는 불편함을 해소하기 위해, 이동 단말기(100)는 NFC 또는 RFID 등의 비접촉신 근거리 무선 통신 기술을 이용하여, 외부 장치(200)로부터 무선 통신 구축시 필요한 인증 정보를 획득하고, 획득한 인증 정보에 기초로 자동으로 외부 장치(200)와의 무선 통신을 구축할 수 있다.
예컨대, NFC 또는 RFID 등의 비접촉식 근거리 무선 통신 기술을 이용하여 외부 장치(200)로부터 수신한 인증 정보에 외부 장치(200)의 이름 및 페어링을 위한 접속 암호가 포함되어 있다면, 이동 단말기(100)는 인증 정보가 지시하는 외부 장치(200)의 이름으로 접속을 요청하고, 접속 암호 요청 시 인증 정보가 지시하는 접속 암호를 자동으로 입력함으로써, 외부 장치(200)와의 무선 통신이 자동으로 구축될 수 있다.
즉, 사용자가 이동 단말기(100)를 외부 장치(200)의 NFC 또는 RFID 등에 갖다 대는 것 만으로, 이동 단말기(100)와 외부 장치(200) 사이의 무선 통신이 구축될 수 있다.
이동 단말기(100)와 외부 장치(200) 사이에 무슨 통신이 구축된 이후, 센싱부(140)가 이동 단말기(100)를 패용한 팔의 움직임 또는 이동 단말기(100)를 차고 있는 부분의 근육 움직임의 변화를 감지하면(S502), 제어부(180)는 센싱부(140)의 감지 신호 및 마이크(122)로 입력된 소리 중 적어도 하나를 기초로 이동 단말기(100) 혹은 외부 장치(200)를 제어하기 위한 제어 명령을 생성할 수 있다(S503). 이때, 제어부(180)는 사용자의 제스처(일예로, 이동 단말기(100)를 패용한 팔 또는 손의 움직임)를 고려하여, 제어 명령을 생성할 수 있다. 제어 명령을 생성함에 있어서, 제어부(180)는 마이크(122)를 통해 손가락이 움직이면서 발생하는 소리를 더 고려할 수도 있다. 즉, 제어 명령 생성 시, 센싱부(140)의 감지 신호 외 마이크(122)를 통해 입력되는 소리를 더욱 고려함으로써, 사용자의 의도에 적합한 제어 명령을 생성할 수 있다.
생성된 제어 명령이 이동 단말기(100)를 위한 것일 경우, 제어부(180)는 스스로 제어 명령을 처리할 수 있다(S504). 그렇지 않고, 생성된 제어 명령이 외부 장치(200)를 위한 것일 경우, 제어부(180)는 생성된 제어 명령이 외부 장치(200)로 전송되도록 무선 통신부(110)를 제어할 수 있다(S504).
제어부(180)는 메모리(160)에 저장된 설정 값에 따라, 제어 명령의 처리 주체를 결정할 수 있다. 메모리(160)에 저장된 설정 값은 자기 제어 모드 및 원격 제어 모드 중 어느 하나를 지시할 수 있다. 자기 제어 모드 하에서, 제어부(180)는 제어 명령을 스스로 처리할 수 있고, 원격 제어 모드 하에서, 제어부(180)는 외부 장치(200)가 제어 명령을 처리하도록, 제어 명령이 외부 장치(200)에 전송되도록 제어할 수 있다. 설정 값은 사용자에 의해 수동으로 변경되는 것이 일반적이나, 이동 단말기(100)의 현 상황에 따라 자동 조절될 수도 있다. 일예로, 제어부(180)는 이동 단말기(100)를 찬 팔의 위치를 기초로 설정 값을 자동으로 조절할 수 있다. 도 6은 이동 단말기(100)를 찬 팔의 위치에 따라 설정 값이 자동으로 조절되는 것을 설명하기 위해 예시한 도면이다. 도 6의 (a)에 도시된 예에서와 같이, 이동 단말기(100)를 찬 팔이 안쪽으로 굽어져 있는 것으로 판단되는 경우, 설정 값은 자기 제어 모드를 지시할 수 있다. 이에 따라, 이동 단말기(100)를 찬 팔이 안쪽으로 굽어져 있는 상태에서의 사용자 제스처는 외부 장치(200)가 아닌 이동 단말기(100)를 원격 제어하기 위한 것으로 판단될 수 있을 것이다.
이와 달리, 도 6의 (b)에 도시된 예에서와 같이, 이동 단말기(100)를 찬 팔이 앞으로 펴져 있는 것으로 판단되는 경우, 설정 값은 원격 제어 모드를 지시할 수 있다. 이에 따라, 이동 단말기(100)를 찬 팔이 앞으로 펼쳐져 있는 상태에서의 사용자 제스처는 이동 단말기(100)가 아닌 외부 장치(200)를 원격 제어하기 위한 것으로 판단될 수 있을 것이다.
제어부(180)는 사용자의 제스처 별로 이동 단말기(100) 및 외부 장치(200) 중 어느 하나의 동작을 원격 제어하기 위한 다양한 제어 명령을 생성해 낼 수 있다.
일예로, 도 7은 사용자 제스처 별 매칭되는 기능을 예시한 도표이다. 도 7에 도시된 예에서와 같이, 제어부(180)는 사용자의 제스처 별로, 절전 모드 조절, 포인터 제어, 화면 확대/축소, 필기 입력, 페이지 넘김, 스크롤 등의 기능을 위한 제어 명령을 생성할 수 있다. 메모리(160)에는 사용자의 제스처 별 제어 명령을 매핑한 매핑 테이블이 저장될 수 있고, 제어부(180)는 매핑 테이블을 이용하여 사용자의 제스처에 따라 적절한 제어 명령을 호출할 수 있다. 후술되는 도면들을 참조하여, 도 7에 도시된 사용자 제스처 별 이동 단말기(100) 및 외부 장치(200)의 동작을 상세히 살펴보기로 한다.
도 8 및 도 9는 이동 단말기(100) 및 외부 장치(200)에서의 절전 모드가 해제되는 것을 예시한 도면이다.
이동 단말기(100) 및 외부 장치(200)는 효율적인 전력 소모를 위해, 절전 모드로 설정될 수 있다. 절전 모드 하에서, 외부 장치(200)의 전원은 켜져 있지만, 전력 소모를 최소화하기 위해, 디스플레이부(151)는 꺼져 있을 수 있다.
제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 절전 모드를 해제하기 위한 제스처가 감지되면, 제어부(180)는 도 8에 도시된 예에서와 같이, 이동 단말기(100)의 절전 모드가 해제되도록 제어할 수 있다.
이와 반대로, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 절전 모드를 해제하기 위한 제스처가 감지된다면, 제어부(180)는 외부 장치(200)에 절전 모드 해제와 관련된 제어 명령을 전송하여, 도 9에 도시된 예에서와 같이, 외부 장치(200)가 절전모드에서 벗어나도록 제어할 수 있다.
도 7에 도시된 예에서와 같이, 절전 모드를 해제하기 위한 제스처가, 손가락을 접어 바닥면을 노크하는 것이라면, 제어부(180)는 손가락이 접었을 때의 근육 움직임, 바닥면을 노크함에 따라 발생하는 이동 단말기(100)의 상하 움직임 및 바닥면을 노크함에 따라 발생하는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 절전 모드를 해제하기 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
도 10a-10d 및 도 11a-11d는 이동 단말기(100) 및 외부 장치(200)에서의 포인터 제어를 설명하기 위해 예시한 도면이다.
이동 단말기(100) 및 외부 장치(200)에는 사용자의 조작 편의를 향상시키기 위해 포인터가 디스플레이될 수 있다. 제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 포인터를 움직이기 위한 제스처가 감지되면, 제어부(180)는 도 10a에 도시된 예에서와 같이, 디스플레이부(151)를 통해 출력되는 포인터의 위치를 조절할 수 있다.
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서 포인터를 움직이기 위한 제스처가 감지된다면, 제어부(180)는 외부 장치(200)에 포인터를 움직이기 위한 제어 명령을 전송하여, 도 11a에 도시된 예에서와 같이, 외부 장치(200)에서의 포인터가 움직이도록 제어할 수 있을 것이다.
포인터를 움직이기 위한 제스처가 손가락을 움직이는 것이라면, 제어부(180)는 도 10a 및 도 11a에 도시된 예에서와 같이, 손가락이 움직인 궤적을 쫓아 포인터가 움직이도록 제어할 수 있을 것이다.
도 7에 도시된 예에서와 같이, 포인터를 움직이기 위한 제스처가 특정 손가락(예컨대, 검지 손가락)을 움직이는 것이라면, 제어부(180)는 특정 손가락을 움직일 때의 근육 움직임 및 특정 손가락이 바닥면을 긁음에 따라 발생하는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 포인터를 움직이기 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
도 7에 도시된 예에서와 달리, 이동 단말기(100)를 패용한 팔을 움직이는 것이 포인터를 움직이기 위한 제스처일 수도 있다. 이동 단말기(100)를 패용한 팔을 움직이는 것이 포인터를 움직이기 위한 제스처라면, 제어부(180)는 이동 단말기(100) 자체의 움직임을 따라 포인터를 이동 시킬 수 있을 것이다. 이때, 제어부(180)는 앞서 설명한 센싱부(140)의 감지 신호에 의해 이동 단말기(100)의 움직임을 파악할 수 있을 것이다.
제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 포인터가 지시하는 지점을 선택하기 위한 제스처(예를 들어, 마우스 좌클릭에 대응되는 제스처)가 감지되면, 제어부(180)는 도 10b에 도시된 예에서와 같이, 디스플레이부(151)를 통해 출력되는 포인터가 가리키는 지점(point)이 선택되도록 제어할 수 있다(도 10b에서는 포인터가 지시하는 인터넷 아이콘이 선택되어, 웹 브라우저가 실행되는 것으로 예시됨).
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 포인터가 지시하는 지점을 선택하기 위한 제스처가 감지된다면, 제어부(180)는 외부 장치(200)로 포인터가 가리키는 지점을 선택하기 위한 제어 명령을 전송하여, 도 11b에 도시된 예에서와 같이, 포인터가 지시하는 지점이 선택되도록 제어할 수 있을 것이다(도 11b에서는 포인터가 지시하는 인터넷 아이콘이 선택되고, 선택된 인터넷 아이콘이 식별 표시되는 것으로 예시됨).
도 10b 및 도 11b에서는 사용자의 제스처에 의해 아이콘이 선택되는 것으로 예시되었다. iOS, 안드로이드, Windows 8, 심비안, 타이젠 등의 모바일 OS 환경에서는 소정 아이콘이 1회 선택(클릭)되는 것으로 소정 아이콘이 실행될 수 있고, Windows Vista, Windows XP, Windows 7 등의 데스크톱 OS 환경에서는 소정 아이콘이 연속적으로 2회 선택(더블 클릭)되어야만 소정 아이콘이 실행될 수 있다. 이에 따라, 포인터가 소정 아이콘을 지시할 때, 모바일 환경에서는 사용자의 제스처가 1회 입력되는 것 만으로도 도 10b에 도시된 예에서와 같이, 포인터가 지시하는 아이콘이 실행될 수 있는 반면, 데스크톱 환경에서는 사용자의 제스처가 2회 연속 입력되어야만, 포인터가 지시하는 아이콘이 실행될 수 있을 것이다.
도 10b 및 도 11b에서는 사용자의 제스처에 의해 아이콘이 선택되는 것으로 예시되었지만, 사용자가 선택할 수 있는 객체(Object)가 아이콘에 한정되지는 않는다. 이동 단말기(100) 또는 외부 장치(200)에 디스플레이되는 포인터가 텍스트나 그림을 가리키고 있다면, 제어부(180)는 포인터가 가리키는 텍스트나 그림이 선택되도록 제어할 수도 있다.
일예로, 도 10c 및 도 11c는 사용자의 제스처에 의해 텍스트가 선택되는 것을 예시한 도면이다. 제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 포인터가 가리키는 텍스트를 선택하기 위한 제스처가 입력된다면, 제어부(180)는 도 10c에 도시된 예에서와 같이, 포인터가 가리키는 텍스트가 선택되도록 제어할 수 있다.
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 포인터가 가리키는 선택하기 위한 제스처가 입력된다면, 제어부(180)는 외부 장치(200)로 포인터가 가리키는 텍스트를 선택하기 위한 제어 명령을 전송하여, 도 11c에 도시된 예에서와 같이, 포인터가 가리키는 텍스트가 선택되도록 제어할 수 있다.
텍스트가 선택된 경우, 이동 단말기(100) 또는 외부 장치(200)에는 선택된 텍스트의 시작점과 종료점을 식별하기 위한 인디케이터가 표시될 수 있다. 이때, 포인터가 가리키는 부분을 선택하기 위한 제스처가 도 7에 도시된 예에서와 같이, 두개의 손가락(예컨대, 검지 손가락 및 중지 손가락)으로 바닥면을 두드리는 것(tapping)이라면, 어느 하나의 손가락의 위치는 시작점의 인디케이터의 위치에 대응되고, 다른 하나의 손가락의 위치는 종료점의 인디케이터의 위치에 대응될 수 있다. 일예로, 도 11c에 도시된 예에서와 같이, 검지 손가락 및 중지 손가락의 위치가 각각 시작점 및 종료점의 인디케이터의 위치와 대응된다면, 검지 손가락 및 중지 손가락의 위치를 변경함으로써, 시작점 및 종료점의 인디케이터의 위치도 변화할 수 있다. 이와 같이, 검지 손가락 및 중지 손가락의 위치를 조절함으로써, 텍스트의 선택 범위가 조절될 수 있다.
도 7에 도시된 예에서와 같이, 포인터가 지시하는 지점을 선택하기 위한 제스처가, 두개 손가락으로 바닥면을 두드리는 것(tapping)이라면, 제어부(180)는 두개의 손가락이 펼쳐졌을 때의 근육 움직임의 감지 및 두개의 손가락이 바닥면을 두드림에 따라 발생하는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 포인터가 가리키는 지점을 선택하기 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
제어부(180)는 사용자로부터 메뉴를 디스플레이하기 위한 제스처(예컨대, 마우스 우클릭에 대응되는 제스처)를 입력 받을 수도 있다. iOS, 안드로이드, 심비안, 타이젠 등과 같이, 마우스 우클릭에 대응되는 기능이 할당되지 않은 환경에서는 메뉴를 디스플레이하기 위한 제스처가 포인터가 지시하는 지점을 롱프레스(Long Press) 하는 것으로 취급될 수도 있다.
이에 따라, 제어부(180)는 사용자의 제스처에 반응하여, 도 10d 및 도 11d에 도시된 예에서와 같이, 포인터가 지시하는 지점이 롱 프레스 된 것으로 처리하거나, 포인터가 지시하는 지점에서 메뉴가 디스플레이되도록 제어할 수도 있다. 도 10d에서는 사용자 제스처에 대응하여, 포인터가 지시하는 지점의 텍스트가 선택되고, 이에 대해 수행하고자 하는 추가 기능을 선택할 수 있는 메뉴(1030)가 디스플레이되는 것으로 예시되었고, 도 11d에서는 사용자 제스처에 대응하여, 바탕화면(또는 홈 스크린 화면)에서 수행가능한 기능들의 메뉴(1140)가 디스플레이되는 것으로 예시되었다.
도 7에 도시된 예에서와 같이, 메뉴를 디스플레이하기 위한 제스처가, 4개 이상의 손가락으로 바닥면을 두드리는 것이라면, 제어부(180)는 4개 이상의 손가락이 펼쳐졌을 때의 근육 움직임의 감지 및 4개의 손가락이 바닥면을 두드림에 따라 발생하는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 메뉴를 디스플레이하기 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
도 7에서는 포인터가 지시하는 지점을 선택하기 위한 제스처(즉, 마우스 좌클릭에 대응되는 제스처) 및 메뉴를 디스플레이하기 위한 제스처(즉, 마우스 우클릭에 대응되는 제스처)를 각각 두개의 손가락으로 바닥면을 두드리는 것과 4개 이상의 손가락으로 바닥면을 두드리는 것으로 예시하였다. 도 7에 도시된 예에서와 달리, 실제 마우스를 사용하는 것과 유사한 사용자 경험을 제공하기 위해, 포인터가 지시하는 지점을 선택하기 위한 제스처는 검지 손가락으로 바닥면을 두드리는 것이고(즉, 검지 손가락을 까닥이는 것), 메뉴를 디스플레이하기 위한 제스처는 중지 손가락으로 바닥면을 두드리는 것(즉, 중지 손가락을 까닥이는 것)으로 설정될 수도 있다. 이 경우, 제어부(180)는 검지 손가락 또는 중지 손가락의 움직임에 따른 근육 움직임 및 검지 손가락 또는 중지 손가락이 바닥면을 두드리면서 발생시키는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 포인터 지시 지점의 선택 또는 메뉴의 호출을 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
사용자가 손가락으로 바닥면을 친(hit) 뒤 손가락을 바닥면에서 떼지 않고 있다가, 바닥면을 따라 손가락을 움직인다면, 손가락이 움직이는 구제ㅓㄱ을 따라 드래그 입력이 입력되도록 제어할 수 있다. 다른 예로, 다른 제스처를 드래그 입력을 위해, 사용할 수도 있다. 일예로, 사용자가 제 1 손가락(에컨대, 엄지 손가락)을 바닥면에 고정적으로 대고 있으면서 바닥면 위에 제 2 손가락(예컨대 검지 손가락)을 움직인다면, 제어부는 제 2 손가락의 움직임을 따라 드래그 입력이 입력되도록 제어할 수도 있다.
마우스의 좌클릭에 대응하는 제스처 및 우클릭에 대응하는 제스처가 입력된 경우, 제어부(180)는 해당 제스처가 오류 없이 입력되었음을 알리기 위한 피드백이 출력되도록 제어할 수 있다. 피드백은 소리(예컨대, '딸깍' 소리) 및 진동 중 적어도 하나의 형태로 출력될 수 있다.
도 12a, 12b 및 도 13a, 13b는 이동 단말기(100) 및 외부 장치(200)에서의 확대/축소 기능을 설명하기 위해 예시한 도면이다.
제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 화면을 확대 또는 축소하기 위한 제스처가 입력되면, 제어부(180)는 도 12a 및 12b 에 도시된 예에서와 같이, 디스플레이부(151)의 출력이 확대 또는 축소되도록 제어할 수 있다.
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 화면을 확대 또는 축소하기 위한 제스처가 입력되면, 제어부(180)는 도 13a 및 13b에 도시된 예에서와 같이, 외부 장치(200)의 출력이 확대 또는 축소 되도록 외부 장치(200)로 제어 명령을 전송할 수 있다.
도 7에 도시된 예에서와 같이, 2개의 손가락을 바닥면에 터치한 뒤 두개의 손가락 사이의 거리를 증가시키는 것 및 두개의 손가락 사이의 거리를 감소시키는 것이 각각 화면을 확대 및 축소하기 위한 제스처라면, 제어부(180)는 두개의 손가락이 움직임에 따른 근육 움직임 및 두개의 손가락이 바닥면을 긁으면서 발생시키는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 화면을 확대 혹은 축소하기 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
도 14a, 14b 및 도 15a, 15b는 이동 단말기(100) 및 외부 장치(200)에서의 스크롤 기능을 설명하기 위해 예시한 도면이다. 제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 화면을 가로 혹은 세로로 스크롤 하기 위한 제스처가 입력되면, 제어부(180)는 도 14a 및 14b에 도시된 예에서와 같이, 디스플레이부(151)가 가로 혹은 세로로 스크롤 되도록 제어할 수 있다.
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 화면을 가로 혹은 세로로 스크롤 하기 위한 제스처가 입력되면, 제어부(180)는 도 15a 및 15b에 도시된 예에서와 같이, 외부 장치(200)가 가로 혹은 세로로 스크롤 될 수 있도록 제어 명령을 전송할 수 있다.
도 7에 도시된 예에서와 같이, 어느 한 손가락을 편 상태에서, 그 손가락을 가로 및 세로로 움직이는 것이 각각 가로 및 세로 스크를을 위한 제스처라면, 제어부(180)는 손가락이 펼쳐졌을 때의 근육 움직임, 손가락의 움직임에 따른 근육 움직임 및 손가락이 바닥면을 긁으면서 발생시키는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 가로 혹은 세로 스크롤을 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
도 16 및 도 17은 이동 단말기(100) 및 외부 장치(200)에서 입력된 텍스트가 삭제되는 것을 설명하기 위해 예시한 도면이다.
제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 이동 단말기(100)에 입력된 텍스트를 삭제하기 위한 제스처가 입력되면, 제어부(180)는 도 16에 도시된 예에서와 같이, 입력된 텍스트가 삭제되도록 제어할 수 있다.
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 외부 장치(200)에 입력된 텍스트를 삭제하기 위한 제스처가 입력되면, 제어부(180)는 외부 장치(200)에 입력된 텍스트를 삭제하기 위한 제어 명령을 전송하여, 도 17에 도시된 예에서와 같이, 외부 장치(200)에 입력된 텍스트가 삭제되도록 제어할 수 있다.
도 7에 도시된 예에서와 같이, 손가락을 모두 편 상태에서 손바닥으로 바닥을 문지르는 것이 텍스트를 삭제하기 위한 제스처라면, 제어부(180)는 손가락이 모두 펴진 경우의 근육 움직임 및 손바닥이 바닥면을 문지르면서 발생하는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 텍스트를 삭제하기 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
도 18 및 도 19는 이동 단말기(100) 및 외부 장치(200)에서 수행되는 작업이 중단되는 것을 설명하기 위해 예시한 도면이다.
제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 이동 단말기(100)에서 실행 중인 작업을 중단하기 위한 제스처가 입력되면, 제어부(180)는 도 18에 도시된 예에서와 같이, 실행되던 작업이 중단되도록 제어할 수 있다. 일예로, 이동 단말기(100)에서 응용 프로그램(application program)이 실행되는 동안, 사용자 제스처가 입력되는 경우, 제어부(180)는 응용 프로그램을 종료하거나 또는 응용 프로그램을 후선 상태(background)로 전환함으로써, 응용 프로그램이 중단되도록 제어할 수 있다. 위와 같이, 이동 단말기(100)에서 실행 중인 작업을 중단하기 위한 제스처는 iOS, 안드로이드, Windows 8, 심비안, 타이젠 등의 모바일 OS 환경에서 홈 버튼을 누른 것과 동일한 효력을 갖도록 설정될 수도 있다.
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 외부 장치(200)에서 실행 중인 작업을 중단하기 위한 제스처가 입력되면, 제어부(180)는 외부 장치(200)에 실행 중인 작업을 종료하기 위한 제어 명령을 전송하여, 도 19에 도시된 예에서와 같이, 외부 장치(200)에서 실행 중인 작업이 중단되도록 제어할 수 있다.
도 7에 도시된 예에서와 같이, 주먹으로 바닥면을 내리치는 것이 작업을 중단하기 위한 제스처라면, 제어부(180)는 손가락이 모두 접힌 경우의 근육 움직임 및 주먹이 바닥면을 치면서 발생하는 소리 등을 고려하여(열거된 모든 요소를 고려할 필요는 없음) 작업을 중단하기 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
도 20 및 도 21은 이동 단말기(100) 및 외부 장치(200)에서 페이지 넘김 기능이 실행되는 것을 설명하기 위해 예시한 도면이다.
제어 명령의 처리 주체가 이동 단말기(100)로 설정된 상태에서, 페이지 넘김을 위한 제스처가 입력되면, 제어부(180)는 이동 단말기(100)에서 페이지 넘김 동작이 수행되도록 제어할 수 있다. 일예로, 도 20에 도시된 예에서와 같이, 이동 단말기(100)를 통해 사진이 디스플레이되는 동안 페이지 넘김을 위한 제스처가 입력되었다면, 제스처 입력에 반응하여 다음 사진(혹은 이전 사진)이 디스플레이되도록 제어할 수 있을 것이다. 다른 예로, 이동 단말기(100)에서 이북이나 문서와 같이 페이지 단위로 구성된 컨텐트가 디스플레이되는 동안 페이지 넘김을 위한 제스처가 입력되었다면, 제어부(180)는 제스처 입력에 반응하여 다음 페이지(혹은 이전 페이지)가 디스플레이되도록 제어할 수도 있을 것이다. 또 다른 예로, 이동 단말기(100)에서 TV 방송이 디스플레이되고 있는 동안 페이지 넘김을 위한 제스처가 입력되었다면, 제어부(180)는 제스처 입력에 반응하여 다음 채널(혹은 이전 채널)이 선국되도록 제어할 수도 있을 것이다.
이와 달리, 제어 명령의 처리 주체가 외부 장치(200)로 설정된 상태에서, 페이지 넘김을 위한 제스처가 입력되면, 제어부(180)는 외부 장치(200)에 페이지 넘김을 위한 제어 명령을 전송하여, 외부 장치(200)에서 페이지 넘김 동작이 수행되도록 제어할 수 있다. 도 21에서는 제스처 입력에 반응하여, 이북 컨텐트의 페이지가 변경되는 것으로 예시되었다.
도 7에 도시된 예에서와 같이, 손가락을 편 상태로 공중에서 손을 흔드는 것(즉, 하버링(hovering)하는 것)이 페이지 넘김을 위한 제스처라면, 제어부(180)는 손가락이 모두 펼쳐 졌을 때의 근육 움직임 및 공중에서 손이 흔들림에 따라 발생하는 이동 단말기(100)의 움직임 등을 고려하여 페이지 넘김을 위한 제스처가 입력되었음을 인지할 수 있을 것이다.
이때, 제어부(180)는 이동 단말기(100)가 흔들리는 정도(예컨대, 좌우 이동 폭 또는 흔들리는 속도)를 고려하여, 페이지 넘김의 단위가 가변되도록 제어할 수도 있다. 예컨대, 이동 단말기(100)가 흔들리는 정도가 약하면(예컨대, 이동 단말기(100)의 좌우 이동 폭이 기 설정된 값 이하이거나, 이동 단말기(100)가 흔들리는 속도가 기 설정된 값 이하인 경우 등), 1 페이지(또는 1 컨텐트) 단위로 페이지 변경이 이뤄지도록 제어하고, 이동 단말기(100)가 흔들리는 정도가 강하면(예컨대, 이동 단말기(100)의 좌우 이동 폭이 기 설정된 값보다 크거나, 이동 단말기(100)가 흔들리는 속도가 기 설정된 값보다 큰 경우 등), 복수의 페이지(또는 복수의 컨텐트) 단위로 페이지 변경이 이뤄지도록 제어할 수도 있다.
도 7 내지 도 21에 도시된 예에서와 같이, 사용자의 제스처가 입력되면, 제어부(180)는 입력된 제스처에 매치되는 기능을 실행하기 위한 제어 명령을 생성할 수 있다. 앞서, 도 7에 도시된 제스처와 기능 사이의 매핑 관계는 설명의 편의를 위해 예시한 것에 불과할 뿐 본 발명을 한정하는 것은 아니다. 도 7에 도시된 예와 다른 제스처를 소정 기능에 매핑 시킬 수도 있고, 도 7에 도시된 제스처를 다른 기능과 매핑하여 이동 단말기(100)를 사용할 수도 있다.
상술한 설명을 기초로, 본 발명에 따른 이동 단말기(100)를 통해 구현될 수 있는 다양한 실시예들에 대해 상세히 설명하기로 한다.
<필기 입력 모드 및 음성 입력 모드의 트리거링>
제어부(180)는 이동 단말기(100) 혹은 외부 장치(200)에 텍스트를 입력하기 위해 위해 필기 입력 모드 혹은 음성 입력 모드로 설정될 수 있다. 구체적으로, 제어부(180)는 필기 입력 모드 또는 음성 입력 모드를 시작하기 위한 사용자 제스처가 입력된 경우, 이동 단말기(100) 혹은 외부 장치(200)를 통해 텍스트를 입력하여야 하는 상황이 발생한 경우 등에 있어서, 필기 입력 모드 및/또는 음성 입력 모드로 진입할 수 있다. 이에 대한 상세한 설명은 도 22 및 도 23을 참조하기로 한다.
도 22은 사용자 제스처에 의해 이동 단말기(100)가 필기 입력 모드 및/또는 음성 입력 모드로 진입하는 예를 설명한 도면이다. 필기 입력 모드 및/또는 음성 입력 모드로 진입하기 위한 사용자 제스처가 입력되면, 제어부(180)는 이동 단말기(100)가 필기 입력 모드 및/또는 음성 입력 모드로 진입하도록 제어할 수 있다. 이때, 필기 입력 모드로 진입하기 위한 사용자 제스처는 도 22의 (a)에 도시된 예에서와 같이 다른 손가락을 접은 채 어느 하나를 펼치는 것이고, 음성 입력 모드로 진입하기 위한 사용자 제스처는 도 22의 (b)에 도시된 예에서와 같이, 다섯개의 손가락을 모두 펼치는 것일 수 있으나, 이에 한정되는 것은 아니다. 특정 제스처가 입력되는 경우, 제어부(180)는 이동 단말기(100)가 필기 입력 모드 및 음성 입력 모드 모두에 진입하도록 설정할 수도 있다.
도 23은 텍스트가 입력하여야 하는 상황이 발생함으로써, 이동 단말기(100)가 필기 입력 모드 및/또는 음성 입력 모드로 진입하는 예를 설명하기 위한 도면이다. 이동 단말기(100) 혹은 외부 장치(200)를 통해 텍스트를 입력하여야 하는 상황이 발생한 경우(예컨대, 웹 브라우저에서 주소 입력 창이 선택된 경우, 포털 사이트에서 검색어 입력 창이 선택된 경우, 문서(document)를 편집 중인 경우, 이메일을 작성하는 경우, 문자 메시지를 작성하는 경우 등), 제어부(180)는 사용자가 손쉽게 텍스트를 입력할 수 있도록 유도하기 위해, 이동 단말기(100)가 필기 입력 모드로 설정되도록 제어할 수 있다. 이때, 제어부(180)는 이동 단말기(100)가 자기 동작 모드인 경우와 원격 제어 모드인 경우를 구분하여, 제어 대상이 되는 장치에 텍스트를 입력하여야 하는 상황이 발생하는 경우에만 필기 입력 모드로 설정될 수 있다. 일예로, 이동 단말기(100)가 자기 동작 모드로 설정된 상태에서, 도 23의 (a)에 도시된 예에서와 같이, 이동 단말기(100)에 텍스트를 입력하여야 하는 상황이 발생하는 경우(도 23의 (a)에서는 이동 단말기(100)를 통해 디스플레이되는 검색 창이 터치된 것으로 예시됨), 제어부(180)는 필기 입력 모드 및/또는 음성 입력 모드로 진입할 수 있다. 이동 단말기(100)가 원격 제어 모드로 설정된 상태에서 도 23의 (b)에 도시된 예에서와 같이, 외부 장치(200)에 텍스트를 입력하여야 하는 상황이 발생하는 경우(도 23의 (b)에서는 외부 장치(200)를 통해 디스플레이되는 검색 창이 터치된 것으로 예시됨), 제어부(180)는 필기 입력 모드 및/또는 음성 입력 모드로 진입할 수 있다. 즉, 자기 제어 모드 하에서는 이동 단말기(100)에 텍스트를 입력하여야 하는 상황이 발생하여야만 필기 입력 모드로 진입할 수 있고, 원격 제어 모드 하에서는 외부 장치(200)에 텍스트를 입력하여야 하는 상황이 발생하여야만 필기 입력 모드로 진입할 수 있다.
도 22 및 도 23의 예에서와 같이, 제어부(180)는 사용자가 원격으로 화면을 터치하지 않고 텍스트를 입력할 수 있도록 하기 위해, 필기 입력 모드 및/또는 음성 입력 모드로 진입할 수 있다.
제어부(180)는 이동 단말기(100)가 필요에 따라 필기 입력 모드 및 음성 입력 모드 중 어느 하나로 설정되도록 제어할 수도 있고, 필기 입력 모드로 설정됨과 동시에 음성 입력 모드로 설정되도록 제어할 수도 있다. 이동 단말기(100)가 필기 입력 모드 및 음성 입력 모드 모두로 설정된다면, 사용자는 필기 입력과 음성 입력 양자를 이용하여 텍스트를 입력할 수 있을 것이다.
다른 예로, 제어부(180)는 이동 단말기(100)에 텍스트를 입력하여야 하는 상황이 발생하는 경우와 외부 장치(200)에 텍스트를 입력하여야 하는 상황이 발생하는 경우를 구분하여, 전자의 경우는 이동 단말기(100)를 음성 입력 모드(또는 필기 입력 모드)로 설정하고, 후자의 경우는 이동 단말기(100)를 필기 입력 모드(또는 음성 입력 모드)로 설정할 수도 있다.
또 다른 예로, 제어부(180)는 이동 단말기(100)에 텍스트를 입력하여야 하는 상황이 음성 명령에 의해 발생하는 경우와 그렇지 않은 경우를 구분하여, 전자의 경우는 이동 단말기(100)를 음성 입력 모드로 설정하고, 후자의 경우는 이동 단말기(100)를 필기 입력 모드로 설정할 수도 있다. 일예로, 사용자의 음성 명령에 의해 문서의 편집 기능이 실행된 경우에는 이동 단말기(100)를 음성 입력 모드로 설정하고, 사용자의 제스처 혹은 터치 입력에 의해 문서의 편집 기능이 실행된 경우에는 이동 단말기(100)를 필기 입력 모드로 설정할 수 있다.
<필기 입력 모드 하에서의 동작>
필기 입력 모드 하에서, 사용자는 필기를 하듯 손가락을 움직여 텍스트를 입력할 수 있다. 구체적으로, 제어부(180)는 사용자의 손가락 궤적의 움직임을 감지하고, 움직인 손가락의 움직임에 대응하는 적합한 텍스트가 이동 단말기(100) 또는 외부 장치(200)에 입력되도록 제어할 수 있다.
도 24 및 도 25은 사용자의 필기에 의해, 이동 단말기(100) 및 외부 장치(200)에 텍스트가 입력되는 것을 설명하기 위해 예시한 도면이다.
자기 제어 모드 하에서 이동 단말기(100)에 텍스트를 입력하여 하는 상황이 발생하는 경우, 제어부(180)는 이동 단말기(100)가 필기 입력 모드로 진입하도록 제어할 수 있다. 필기 입력 모드 하에서, 사용자가 필기를 하듯 손가락을 움직이면, 제어부(180)는 도 24에 도시된 예에서와 같이, 손가락의 움직임에 대응하는 텍스트가 이동 단말기(100)에 입력되도록 제어할 수 있다(도 24에서는 손가락의 움직임에 대응하여, 검색 창에 문자 S가 입력된 것으로 예시됨).
원격 제어 모드 하에서 외부 장치(200)에 텍스트를 입력하여 하는 상황이 발생하는 경우, 제어부(180)는 이동 단말기(100)가 필기 입력 모드로 진입하도록 제어할 수 있다. 필기 입력 모드 하에서, 사용자가 필기를 하듯 손가락을 움직이면, 제어부(180)는 도 25에 도시된 예에서와 같이, 손가락의 움직임에 대응하는 텍스트가 외부 장치(200)에 입력되도록 제어할 수 있다(도 25에서는 손가락의 움직임에 대응하여, 검색 창에 문자 S가 입력된 것으로 예시됨).
오입력을 방지하기 위해, 이동 단말기(100)는 필기 입력 모드 하에서, 사용자가 필기를 입력하기 위한 적절한 포즈를 취하고 있을 때에만, 필기 인식 및 텍스트 입력 동작이 수행되도록 제어할 수 있다. 일예로, 제어부(180)는 도 24 및 도 25에 도시된 예에서와 같이, 어느 하나의 손가락을 제외한 다른 손가락이 접혀져 있는 상태에서 손가락이 움직일 경우에만, 필기 인식 및 텍스트 입력 동작이 수행되도록 제어할 수 있다.
사용자의 필기에 의해 입력된 텍스트는, 입력된 텍스트를 삭제하기 위한 제스처(도 7, 도 16 및 도 17 참조)에 의해 삭제될 수 있음은 물론이다.
사용자가 입력한 텍스트가 웹 페이지의 검색어 입력 창에 입력된 경우라면, 검색을 트리거링 하는 사용자의 제스처에 의해 검색 결과가 디스플레이될 수도 있다. 예컨대, 사용자가 손가락으로 바닥면을 2회 두드리는 경우, 제어부(180)는 검색어 입력 창에 입력된 텍스트의 검색 결과를 반영한 웹 페이지를 디스플레이할 수 있다.
상술한 예에서는, 손가락을 움직임이 감지되면, 제어부(180)는 손가락의 움직임에 대응되는 텍스트를 추출한 뒤, 추출된 텍스트가 이동 단말기(100) 또는 외부 장치(200)를 통해 입력되도록 제어하는 것으로 예시되었다.
이에 그치지 않고, 제어부(180)는 이동 단말기(100) 또는 외부 장치(200)에 손가락이 움직인 궤적을 따라 필기 입력이 입력되도록 제어할 수도 있다. 즉, 제어부(180)는 손가락이 움직인 궤적에 대응하는 문자를 추출하지 않고, 사용자의 궤적을 따라 그려진 필기 입력이 입력되도록 제어할 수 있다.
이때, 입력되는 필기의 굵기는 사용자가 손가락으로 바닥면을 눌렀을 때의 세기에 비례하여 증가 혹은 감소할 수 있다. 손가락으로 바닥면을 눌렀을 때 근육의 수축(또는 이완) 정도를 감지하는 센싱부(140)의 감지 신호를 기초로 손가락으로 바닥면을 눌렀을 때의 세기를 측정할 수 있을 것이다.
<음성 입력 모드 하에서의 동작>
음성 입력 모드 하에서 사용자는 음성을 통해 이동 단말기(100) 혹은 외부 장치(200)에 적용될 제어 명령 혹은 텍스트를 입력할 수 있다. 구체적으로, 제어부(180)는 마이크(122)를 통해 입력되는 음성 신호를 STT (Speech To Text) 변환한 뒤, 변환된 텍스트가 지시하는 제어 명령을 처리하거나, 변환된 텍스트가 입력 되도록 제어할 수 있다.
도 26 및 도 27는 음성 입력에 의해 이동 단말기(100) 및 외부 장치(200)를 원격 제어하는 예를 설명하기 위한 도면이다.
자기 제어 모드 하에서 이동 단말기(100)에 음성이 입력되면, 제어부(180)는 음성을 STT 변환하여, 도 26의 (a)에 도시된 예에서와 같이 변환된 텍스트에 대응되는 제어 명령을 처리할 수 있다. 도 26의 (a)에서는 사용자가 실행하기를 원하는 어플리케이션의 이름을 부르면, 해당 어플리케이션이 실행되는 것으로 예시되었다(도 26의 (a)에서는 사용자의 '메모'라는 음성에 대응하여 메모 어플리케이션이 실행된 것으로 예시됨). 이동 단말기(100)에 텍스트를 입력하여야 하는 상황이 발생한 상태에서 사용자의 음성이 입력된 경우, 제어부(180)는 음성을 STT 변환하여, 도 26의 (b)에 도시된 예에서와 같이, 변환된 텍스트가 입력되도록 제어할 수 있다.
원격 제어 모드 하에서 이동 단말기(100)에 음성이 입력되면, 제어부(180)는 음성을 STT 변환하여, 도 27의 (a)에 도시된 예에서와 같이 변환된 텍스트에 대응되는 제어 명령이 외부 장치(200)를 통해 처리될 수 있도록 외부 장치(200)에 제어 명령을 전달할 수 있다. 도 27의 (a)에서는 앞서 도 26에 도시된 예에서와 마찬가지로, 사용자가 실행하기를 원하는 어플리케이션의 이름을 부르면, 해당 어플리케이션이 실행되는 것으로 예시되었다. 외부 장치(200)에 텍스트를 입력하여야 하는 상황이 발생한 상태에서 사용자의 음성이 입력된 경우, 제어부(180)는 음성을 STT 변환하고, 도 27의 (b)에 도시된 예에서와 같이, 변환된 텍스트가 외부 장치(200)에 입력될 수 있도록, 외부 장치(200)에 변환된 텍스트를 전달할 수 있다.
<보조 정보의 표시>
이동 단말기(100) 및 외부 장치(200)는 각각 서로를 보조하기 위한 보조 장치로써 동작할 수 있다. 후술되는 도면을 참조하여, 이에 대해 상세히 설명하기로 한다.
이동 단말기(100) 및 외부 장치(200) 중 어느 하나에서 소정 오브젝트가 선택된 경우, 다른 하나에는 선택된 오브젝트의 미리 보기 영상이 출력될 수 있다. 일예로, 도 28은 외부 장치(200)에서 선택된 오브젝트의 미리 보기 영상이 이동 단말기(100)를 통해 출력되는 예를 도시한 도면이다. 외부 장치(200)를 통해 소정 오브젝트(예컨대, 어플리케이션 실행 아이콘)이 선택되면, 제어부(180)는 도 28에 도시된 예에서와 같이, 선택된 오브젝트의 미리 보기 영상(예컨대, 어플리케이션이 실행되었을 경우 구동 영상)을 외부 장치(200)로부터 수신하고, 디스플레이부(151)를 통해 수신된 미리 보기 영상이 출력되도록 제어할 수 있다. 선택된 오브젝트가 이북, 이미지, 동영상 등과 같은 컨텐트의 아이콘이라면, 이북, 이미지, 동영상 등의 미리 보기 영상이 출력될 수도 있을 것이다.
도시되지는 않았지만, 이동 단말기(100)에서 소정 오브젝트가 선택된 경우라면, 제어부(180)는 선택된 소정 오브젝트의 미리 보기 영상을 외부 장치(200)로 전송하여, 외부 장치(200)를 통해 선택된 오브젝트의 미리 보기 영상이 출력되도록 제어할 수 있을 것이다.
이동 단말기(100) 및 외부 장치(200) 중 어느 하나에서 컨텐트가 확대 표시되는 경우(즉, 컨텐트의 일부만이 표시되는 경우), 다른 하나에서는 컨텐트의 미니 맵이 표시될 수 있다. 일예로, 도 29는 이동 단말기(100) 및 외부 장치(200)가 각각 확대된 컨텐트 및 컨텐트의 미니 맵을 표시하는 예를 도시한 도면이다. 이동 단말기(100)를 통해 디스플레이되던 컨텐트가 확대되면, 제어부(180)는 도 29에 도시된 예에서와 같이, 외부 장치(200)를 통해 확대된 컨텐트의 미니 맵이 디스플레이되도록 제어할 수 있다. 구체적으로, 제어부(180)는 컨텐트(혹은 컨텐트의 미리 보기 영상) 및 이동 단말기(100)에서 출력 중인 부분의 좌표 정보를 외부 장치(200)에 제공하여, 외부 장치(200)가 이동 단말기(100)에서 확대 표시되는 컨텐트의 미니 맵을 디스플레이하도록 제어할 수 있다.
도시되지는 않았지만, 외부 장치(200)에서 컨텐트가 확대된 경우라면, 외부 장치(200)를 통해 디스플레이되는 컨텐트의 미니 맵이 이동 단말기(100)에서 출력될 수도 있을 것이다.
이동 단말기(100) 및 외부 장치(200) 중 어느 하나는 다른 하나의 클립 보드에 저장된 데이터(즉, 임시 저장된 데이터)를 디스플레이할 수도 있다. 일예로, 도 30은 이동 단말기(100)가 외부 장치(200)의 클립 보드에 저장된 데이터를 디스플레이하는 예를 도시한 도면이다. 외부 장치(200)에서 소정의 데이터가 클립 보드에 복사되면(즉, 임시 저장되면), 제어부(180)는 외부 장치(200)로부터 클립 보드에 복사된 데이터를 수신하고, 수신한 데이터가 디스플레이되도록 제어할 수 있다. 일예로, 도 30에 도시된 예에서와 같이 외부 장치(200)에서 텍스트가 임시 저장 되었다면, 제어부(180)는 외부 장치(200)에 임시 저장된 텍스트를 수신하고, 수신한 텍스트가 디스플레이부(151)를 통해 출력되도록 제어할 수 있다.
도시되지는 않았지만, 제어부(180)는 이동 단말기(100)에 임시 저장된 데이터가 외부 장치(200)에 출력되도록 제어할 수도 있다. 이를 위해, 제어부(180)는 임시 저장된 데이터를 외부 장치(200)에 송신할 수 있을 것이다.
이동 단말기(100) 및 외부 장치(200) 중 어느 하나에서 표시 중인 컨텐트의 특정 영역(혹은 지점)이 선택된 경우, 다른 하나는 선택된 영역(혹은 지점)을 중심으로 컨텐트가 확대 표시되도록 제어할 수 있다. 일예로, 도 31은 외부 장치(200)를 통해 출력되는 컨텐트의 특정 영역을 중심으로 확대된 컨텐트가 이동 단말기(100)를 통해 디스플레이되는 예를 도시한 도면이다. 외부 장치(200)를 통해 출력되는 컨텐트의 특정 영역이 선택되면, 제어부(180)는 외부 장치(200)로부터 컨텐트(혹은 컨텐트의 미리 보기 영상) 및 선택된 영역의 좌표 정보를 수신하여, 외부 장치(200)를 통해 선택된 특정 영역을 중심으로 컨텐트를 확대 표시할 수 있다.
도시되지는 않았지만, 제어부(180)는 이동 단말기(100)를 통해 디스플레이되는 컨텐트의 특정 영역이 선택된 경우, 외부 장치(200)를 통해 특정 영역을 중심으로 확대된 컨텐트가 디스플레이되도록 제어할 수도 있다. 이를 위해, 제어부(180)는 컨텐트(혹은 컨텐트의 미리 보기 영상) 및 선택된 영역의 좌표 정보를 외부 장치(200)에 제공할 수 있을 것이다.
도 28 내지 도 31에 도시된 예에서와 같이, 제어부(180)는 이동 단말기(100) 및 외부 장치(200)를 통해 다른 하나를 위한 보조 정보가 디스플레이되도록 제어할 수 있다. 도 28 내지 도 31에서는 이동 단말기(100) 및 외부 장치(200)를 통해 디스플레이될 수 있는 보조 정보로, 미리 보기 영상(도 28 참조), 미니 맵(도 29 참조), 클립 보드에 저장된 데이터(도 30 참조) 및 확대 영상(도 31 참조) 등을 열거하였다.
열거된 것 이외에도, 보조 정보는 컨텐트에 대한 메타 데이터(예컨대, 사진 파일의 exif 데이터), 단어에 대한 사전상 의미 등을 더 포함할 수도 있다. 즉, 이동 단말기(100) 및 외부 장치(200) 중 어느 하나에서 컨텐트를 출력되는 동안 다른 하나에서는 해당 컨텐트의 메타 데이터가 출력될 수도 있고, 이동 단말기(100) 및 외부 장치(200) 중 어느 하나에서 단어가 선택되면, 다른 하나에서는 선택된 단어에 대한 사전상 의미가 출력될 수도 있다.
<미러링 동작>
사용자로부터 미러링을 위한 제스처가 입력되면, 제어부(180)는 외부 장치(200)와 이동 단말기(100) 사이의 미러링이 개시되도록 제어할 수 있다. 미러링이 개시되면, 외부 장치(200)는 이동 단말기(100)의 출력 화면과 동일한 화면을 출력할 수 있다.
도 32는 미러링을 위한 제스처가 입력됨으로써, 외부 장치(200)와 이동 단말기(100) 사이의 미러링이 개시되는 예를 설명하기 위해 예시한 도면이다. 미러링을 위한 제스처가 입력되면, 제어부(180)는 도 32에 도시된 예에서와 같이, 외부 장치(200)가 이동 단말기(100)와 동일한 화면을 출력하도록 제어할 수 있다. 구체적으로, 제어부(180)는 외부 장치(200)가 이동 단말기(100)와 동일한 출력을 출력할 수 있도록, 이동 단말기(100)의 비디오 신호를 외부 장치(200)로 전송할 수 있다.
도 32에서는, 다섯개의 손가락을 모두 펼치는 것을 미러링을 위한 사용자의 제스처로 예시하였다. 제어부(180)는 다섯개의 손가락을 모두 펼쳤을 때의 근육 움직임을 감지하는 감지 신호를 통해 미러링을 위한 사용자 제스처가 입력되었음을 판단할 수 있을 것이다.
도시되지는 않았지만, 제어부(180)는 이동 단말기(100)가 외부 장치(200)와 동일한 출력을 출력할 수 있도록 외부 장치(200)로부터 비디오 신호를 수신할 수도 있다.
디스플레이부(151)를 통해 컨텐트 리스트가 출력되면, 제어부(180)는 컨텐트 리스트에서 특정된 어느 하나가 외부 장치(200)를 통해 디스플레이되도록 제어할 수도 있다. 이에 대한 상세한 설명은 도 33을 참조하기로 한다.
도 33은 외부 장치(200)를 통해 이동 단말기(100)에서 출력 중인 컨텐트 리스트에서 특정된 어느 하나가 디스플레이되는 예를 도시한 도면이다. 이동 단말기(100)를 통해 컨텐트 리스트가 디스플레이되고 있을 때, 컨텐트 리스트 중 어느 하나를 특정하는 제스처 및 미러링을 위한 제스처가 연속적으로 입력되는 경우, 제어부(180)는 컨텐트 리스트 중 특정된 컨텐트가 외부 장치(200)를 통해 디스플레이되도록 제어할 수 있다. 일예로, 도 33의 (a)에 도시된 예에서와 같이, 컨텐트 리스트 중 소정 컨텐트를 특정하기 위한 사용자 제스처가 입력된 이후, 도 33의 (b)에 도시된 예에서와 같이, 특정된 소정 컨텐트를 외부 장치(200)에서 디스플레이하기 위한 사용자 제스처가 연속적으로 입력된 경우, 제어부(180)는 외부 장치(200)를 통해 특정된 컨텐트가 디스플레이되도록 제어할 수 있다. 이에 따라, 이동 단말기(100)에서는 컨텐트 리스트가 디스플레이됨에 반해, 외부 장치(200)에서는 컨텐트 리스트 중 특정된 컨텐트가 디스플레이될 수 있을 것이다.
여기서, 컨텐트 리스트 중 어느 하나를 특정하기 위한 사용자 제스처는 손가락을 움켜 쥐는 것일 수 있고, 특정된 컨텐트의 디스플레이를 명령하기 위한 사용자 제스처는 움켜 쥔 손가락을 펼치는 것일 수 있으나 이에 한정되는 것은 아니다. 도 33에서는 사용자 제스처에 의해 선택된 컨텐트가 시각적으로 인식될 수 있는 테두리에 둘러쌓임으로써, 사용자가 선택한 컨텐트가 시각적으로 식별되는 것으로 예시되었다.
이때, 컨텐트 리스트 중 어느 하나를 특정하는 것은 이동 단말기(100)의 동작을 제어한다는 점에서, 이동 단말기(100)가 자기 제어 모드로 동작하는 도중에 입력되어야 할 것이고(일예로, 팔이 안쪽으로 굽어져 있을 때(도 6 참조)), 외부 장치(200)를 통해 특정된 컨텐트를 디스플레이하기 위한 사용자 제스처는 외부 장치(200)의 출력을 제어한다는 점에서, 이동 단말기(100)가 원격 제어 모드로 동작하는 도중에 입력되어야 할 것이나(일예로, 팔이 펴져 있을 때(도 6 참조)) 입력되는 것이 바람직할 것이나, 반드시 이에 한정되는 것은 아니라 할 것이다.
도시되지는 않았지만, 제어부(180)는 외부 장치(200)에서 출력 중인 컨텐트 리스트 중 특정된 어느 하나가 이동 단말기(100)를 통해 출력되도록 제어할 수도 있다.
<이동 단말기(100)의 동작 모드 구분>
상술한 실시예에서, 사용자 제스처에 의한 제어 동작으로, 포인터 제어, 필기 입력 모드로의 진입 및 페이지 넘김 동작 등을 예시하였다. 이때, 각각의 동작 별로 서로 다른 제스처가 할당된다면, 사용자는 각각의 제스처와 연계된 동작을 암기함으로써, 원하는 제어 명령을 생성할 수 있을 것이다.
다만, 사용자가 암기하여야 할 제스처가 너무 많다면, 사용자가 원하는 제어 명령을 적절히 생성할 수 없다는 문제가 발생할 수도 있다.
이에, 제어부(180)는 이동 단말기(100)의 동작 모드를, 두개 이상의 모드로 구분하여, 동일한 제스처가 입력되더라도, 이동 단말기(100)가 어떤 동작 모드에서 동작하는지 여부에 따라 적절한 제어 명령을 생성할 수도 있다. 이는 사용자가 암기하여야 할 제스처의 수를 획기적으로 줄일 수 있는 효과가 있다.
일예로, 제어부(180)는 이동 단말기(100)를 패용한 팔의 손바닥(palm)과 바닥면과의 접촉 면적을 통해 이동 단말기(100)의 동작 모드를 결정할 수 있다. 이에 대한 상세한 설명은 도 34를 참조하기로 한다.
도 34는 손바닥과 바닥면과의 접촉 면적을 통해 이동 단말기(100)의 동작 모드가 결정되는 예를 설명하기 위한 도면이다. 도 34의 (a)에 도시된 예에서와 같이, 손가락이 접혀져 있어 손바닥과 바닥면의 접촉 면적이 작으면, 제어부(180)는 이동 단말기(100)가 포인터 제어를 위한 마우스 모드로 입력된 상태인 것으로 판단할 수 있다. 이와 달리, 도 34의 (b)에 도시된 예에서와 같이, 손가락이 펼쳐져 있어, 손바닥과 바닥면의 접촉 면적이 크면, 제어부(180)는 이동 단말기(100)가 필기 입력을 위한 필기 입력 모드로 설정된 상태인 것으로 판단할 수 있다. 도 34의 (c)에 도시된 예에서와 같이, 손가락이 펼쳐진 상태이나, 손바닥이 허공에 위치하여, 손바닥과 바닥면이 접촉하고 있지 않으면, 제어부(180)는 이동 단말기(100)가 하버링 모드로 설정된 상태인 것으로 판단할 수 있다.
특정 제스처가 입력되면, 제어부(180)는 현재의 동작 모드에 따라 서로 다른 제어 명령을 적용할 수 있다. 예컨대, 마우스 모드에서 이동 단말기(100)를 움직이는 것은 포인터를 움직이기 위한 것일 수 있고, 필기 입력 모드에서 이동 단말기(100)를 움직이는 것은 입력된 필기(혹은 텍스트)를 삭제하기 위한 것일 수 있다. 나아가, 하버링 모드에서 이동 단말기(100)를 움직이는 것은 페이지 넘김을 위한 것일 수도 있다.
즉, 위와 같이, 제어부(180)는 이동 단말기(100)의 현재 입력 모드에 따라, 특정 제스처와 매핑될 기능을 결정할 수도 있다.
<사용자가 이동 단말기(100)를 찬 손의 위치 판단>
보다 정확한 근육 움직임을 파악하기 위해서는, 사용자가 이동 단말기(100)를 차고 있는 손의 위치를 판단하는 것이 중요하다. 예컨대, 왼쪽에서 두번째 손가락이 움직인 것으로 판단되었을 때, 이동 단말기(100)가 왼쪽에 채워져 있다면, 약지 손가락이 움직인 것으로 판단될 것이고, 이동 단말기(100)가 오른쪽에 채워져 있다면, 검지 손가락이 움직인 것으로 판단될 것이므로, 움직인 손가락을 정확히 파악하기 위해서는, 사용자가 이동 단말기(100)를 차고 있는지에 대한 정보가 필요할 것이다.
이동 단말기(100)는 사용자로부터 사용자가 주로 사용하는 손에 대한 입력을 받아, 이동 단말기(100)를 차고 있는 손의 위치를 판단할 수도 있고, 이동 단말기(100)를 차고 있는 상태에서 이동 단말기(100)의 움직임을 분석하여 이동 단말기(100)를 차고 있는 팔의 위치를 판단할 수도 있다. 일예로, 이동 단말기(100)가 주로 시계 방향으로 스윙된 뒤(사용자가 왼쪽 팔을 안쪽으로 굽히는 동작) 반시계 방향으로 스윙 백(back)되었다면(사용자가 굽힌 왼쪽 팔을 펴는 동작) 제어부(180)는 이동 단말기(100)가 왼쪽 손에 채워져 있는 것으로 인식할 수 있다. 이와 달리, 이동 단말기(100)가 주로 반시계 방향으로 스윙된 뒤(사용자가 오른쪽 팔을 안쪽으로 굽히는 동작) 시계 방향으로 스윙 백(back) 되었다면(사용자가 굽힌 오른쪽 팔을 펴는 동작) 제어부(180)는 이동 단말기(100)가 오른쪽 손에 채워져 있는 것으로 인식할 수 있을 것이다.
본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기(100)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100 : 이동 단말기
110 : 무선 통신부
122 : 마이크
140 : 센싱부
151 : 디스플레이부
160 : 메모리
180 : 제어부
200 : 외부 장치

Claims (17)

  1. 사용자가 손목에 찰 수 있는 시계 형태의 이동 단말기에 있어서,
    정보 표시를 위한 디스플레이부;
    원격 제어의 대상인 외부 장치와의 통신을 위한 무선 통신부;
    상기 이동 단말기의 움직임 및 상기 이동 단말기가 착용된 부분에서의 근육 움직임의 변화를 감지하기 위한 센싱부; 및
    상기 센싱부의 감지 신호를 기초로, 상기 이동 단말기 또는 상기 외부 장치를 원격으로 제어하기 위한 제어 명령을 생성하는 제어부;를 포함하고,
    상기 제어부는, 상기 이동 단말기가 착용된 팔의 위치에 기초하여 제어 모드를 결정하고,
    상기 제어 모드는, 상기 이동 단말기를 제어하는 자체 제어 모드 및 상기 외부 장치를 제어하는 원격 제어 모드를 포함하는 이동 단말기.
  2. 삭제
  3. 제 1 항에 있어서, 상기 제어부는,
    상기 이동 단말기 또는 상기 팔의 손가락의 움직임이 감지되면, 상기 이동 단말기 또는 상기 손가락의 움직임을 따라 상기 이동 단말기 또는 상기 외부 장치에서 디스플레이되는 포인터를 움직이기 위한 상기 제어 명령을 생성하는 이동 단말기.
  4. 제 3 항에 있어서, 상기 제어부는,
    상기 손가락을 까닥(bobbed)이는 움직임이 감지되면, 상기 포인터가 가리키는 지점을 클릭(click)하기 위한 상기 제어 명령을 생성하고,
    상기 포인터가 가리키는 지점이 클릭된 것에 대한 피드백이 출력되도록 제어하는 이동 단말기.
  5. 제 1 항에 있어서, 상기 제어부는,
    상기 팔의 두개의 손가락을 바닥면에 두드리는 움직임이 감지되면, 상기 디스플레이부 또는 상기 외부 장치를 통해 디스플레이되는 데이터 중 종료점과 시작점에 의해 설정된 영역내의 데이터를 선택하기 위한 상기 제어 명령을 생성하고,
    상기 시작점의 위치는, 상기 두개의 손가락 중 어느 하나의 움직임을 따라 변화하고,
    상기 종료점의 위치는, 다른 하나의 움직임을 따라 변화하는 이동 단말기.
  6. 제 1 항에 있어서, 상기 제어부는,
    상기 팔의 허공에서의 움직임이 감지되면, 상기 이동 단말기 또는 상기 외부 장치에서 페이지 넘김이 수행되도록 상기 제어 명령을 생성하는 이동 단말기.
  7. 제 1 항에 있어서, 상기 제어부는,
    상기 이동 단말기 및 상기 외부 장치 중 적어도 하나에 텍스트를 입력하여야 하는 상황이 발생한 경우, 상기 이동 단말기가 필기 입력 모드 및 음성 입력 모드 중 적어도 하나로 설정되도록 제어하는 이동 단말기.
  8. 제 7 항에 있어서, 상기 제어부는,
    상기 이동 단말기가 상기 필기 입력 모드로 설정되어 있을 동안 상기 팔의 손가락의 움직임이 감지되면, 상기 이동 단말기 및 상기 외부 장치 중 적어도 하나에 상기 손가락의 움직임에 대응되는 문자가 입력되도록 하기 위한 상기 제어 명령을 생성하는 이동 단말기.
  9. 제 7 항에 있어서, 상기 제어부는,
    상기 이동 단말기가 상기 음성 입력 모드로 설정되어 있을 동안 사용자의 음성이 입력되면, 상기 이동 단말기 및 상기 외부 장치 중 적어도 하나에 상기 음성을 텍스트로 변환하였을 때 변환된 텍스트가 입력되도록 하기 위한 상기 제어 명령을 생성하는 이동 단말기.
  10. 제 1 항에 있어서, 상기 제어부는,
    상기 디스플레이부 및 상기 외부 장치 중 어느 하나를 통해 아이콘이 선택되면, 상기 디스플레이부 및 상기 외부 장치 중 다른 하나를 통해 상기 선택된 아이콘의 미리 보기가 디스플레이되도록 제어하는 이동 단말기.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020130103008A 2013-08-29 2013-08-29 이동 단말기 및 이의 제어 방법 KR102034587B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130103008A KR102034587B1 (ko) 2013-08-29 2013-08-29 이동 단말기 및 이의 제어 방법
US14/445,779 US9704386B2 (en) 2013-08-29 2014-07-29 Mobile terminal and controlling method thereof
EP14181668.6A EP2843511B1 (en) 2013-08-29 2014-08-20 Mobile terminal of a watch type and controlling method thereof
CN201410438075.8A CN104423581B (zh) 2013-08-29 2014-08-29 移动终端及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130103008A KR102034587B1 (ko) 2013-08-29 2013-08-29 이동 단말기 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20150025385A KR20150025385A (ko) 2015-03-10
KR102034587B1 true KR102034587B1 (ko) 2019-10-21

Family

ID=51429033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130103008A KR102034587B1 (ko) 2013-08-29 2013-08-29 이동 단말기 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US9704386B2 (ko)
EP (1) EP2843511B1 (ko)
KR (1) KR102034587B1 (ko)
CN (1) CN104423581B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240062517A (ko) 2022-11-02 2024-05-09 주식회사 럭스로보 웨어러블 키보드 및 그의 동작방법

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826400B2 (en) * 2014-04-04 2017-11-21 Qualcomm Incorporated Method and apparatus that facilitates a wearable identity manager
KR102343657B1 (ko) * 2014-08-28 2021-12-24 삼성전자주식회사 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US20160088060A1 (en) * 2014-09-24 2016-03-24 Microsoft Technology Licensing, Llc Gesture navigation for secondary user interface
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US20160085311A1 (en) * 2014-09-24 2016-03-24 Sony Corporation Control unit and method of interacting with a graphical user interface
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
US10274992B2 (en) * 2014-11-12 2019-04-30 Kyocera Corporation Wearable device with muscle activity detector
CN104731336B (zh) * 2015-03-27 2018-01-30 百度在线网络技术（北京）有限公司 一种适用于设定场景的移动终端使用方法及装置
US20160291703A1 (en) * 2015-03-31 2016-10-06 Sony Corporation Operating system, wearable device, and operation method
WO2016157193A1 (en) * 2015-04-01 2016-10-06 Snapback S.R.L. Methods and systems foe electronic device interactions
KR101927323B1 (ko) * 2015-04-03 2018-12-10 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20160133328A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
CN104867311A (zh) * 2015-05-14 2015-08-26 连宁 通过第三方终端配置无线遥控终端的方法和装置
CN106293022A (zh) * 2015-05-21 2017-01-04 中兴通讯股份有限公司 一种移动终端的输入方法及装置
US10386941B2 (en) * 2015-06-16 2019-08-20 Intel Corporation Gyratory sensing system to enhance wearable device user experience via HMI extension
CN105049628A (zh) * 2015-07-31 2015-11-11 小米科技有限责任公司 控制终端驾驶模式的方法和装置
CN105159553B (zh) * 2015-08-26 2018-09-04 广东欧珀移动通信有限公司 一种闪光灯控制方法及智能手表
US20170083101A1 (en) * 2015-09-17 2017-03-23 International Business Machines Corporation Gesture recognition data transfer
CN106571493A (zh) * 2015-10-13 2017-04-19 璁镐赴 智能可控电池
KR102520402B1 (ko) * 2015-10-27 2023-04-12 엘지전자 주식회사 와치 타입 이동 단말기 및 그 동작 방법
TWI585555B (zh) * 2015-11-06 2017-06-01 Princo Corp Watch, wear device, emergency method and quick dial law
TWI596454B (zh) * 2016-02-01 2017-08-21 巨擘科技股份有限公司 腕錶無線控制功能模組及腕錶與外界溝通的方法
KR102568710B1 (ko) 2016-03-30 2023-08-21 삼성전자주식회사 전자장치 및 그 동작 방법
US10417881B2 (en) * 2016-05-02 2019-09-17 Norman R. Byrne Wireless status indicator light
MX366613B (es) 2016-07-08 2019-07-15 Norman R Byrne Sistema de alerta inalambrico integrado.
CN108279560A (zh) * 2017-01-04 2018-07-13 深圳智能表芯科技有限公司 一种手表的功能启动方法以及机芯
US10573171B2 (en) * 2017-05-23 2020-02-25 Lenovo (Singapore) Pte. Ltd. Method of associating user input with a device
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
KR102495326B1 (ko) * 2018-01-31 2023-02-02 삼성전자주식회사 전자장치 및 그 제어방법
CN108495212A (zh) * 2018-05-09 2018-09-04 惠州超声音响有限公司 一种与智能音响交互的系统
US11422692B2 (en) * 2018-09-28 2022-08-23 Apple Inc. System and method of controlling devices using motion gestures
TWI700615B (zh) 2018-12-14 2020-08-01 群光電子股份有限公司 藉由敲擊控制電子裝置的方法和敲擊控制組
US11287885B1 (en) * 2019-01-22 2022-03-29 Facebook Technologies, Llc Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
EP4202579A1 (fr) * 2021-12-22 2023-06-28 ETA SA Manufacture Horlogère Suisse Piece d'horlogerie munie d'un affichage d'une selection adaptative de commandes manuelles
US20230376193A1 (en) * 2022-05-17 2023-11-23 Apple Inc. User interfaces for device controls

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
WO2011055326A1 (en) * 2009-11-04 2011-05-12 Igal Firsov Universal input/output human user interface
US20120188158A1 (en) 2008-06-26 2012-07-26 Microsoft Corporation Wearable electromyography-based human-computer interface
EP2632131A1 (en) 2012-02-21 2013-08-28 Research In Motion Limited Method, apparatus, and system for providing a shared user interface

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093344A1 (en) 2001-05-14 2002-11-21 Koninklijke Philips Electronics N.V. Device for interacting with real-time streams of content
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8942428B2 (en) * 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
WO2011070554A2 (en) 2009-12-13 2011-06-16 Ringbow Ltd. Finger-worn input devices and methods of use
US9086741B2 (en) * 2010-10-29 2015-07-21 Microsoft Corporation User input device
KR101740436B1 (ko) * 2010-12-08 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9604542B2 (en) * 2011-04-20 2017-03-28 Harman Becker Automotive Systems Gmbh I/O device for a vehicle and method for interacting with an I/O device
US8468022B2 (en) * 2011-09-30 2013-06-18 Google Inc. Voice control for asynchronous notifications
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US20120188158A1 (en) 2008-06-26 2012-07-26 Microsoft Corporation Wearable electromyography-based human-computer interface
WO2011055326A1 (en) * 2009-11-04 2011-05-12 Igal Firsov Universal input/output human user interface
EP2632131A1 (en) 2012-02-21 2013-08-28 Research In Motion Limited Method, apparatus, and system for providing a shared user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240062517A (ko) 2022-11-02 2024-05-09 주식회사 럭스로보 웨어러블 키보드 및 그의 동작방법

Also Published As

Publication number Publication date
EP2843511A1 (en) 2015-03-04
CN104423581B (zh) 2017-09-01
EP2843511B1 (en) 2018-02-28
US20150061842A1 (en) 2015-03-05
CN104423581A (zh) 2015-03-18
US9704386B2 (en) 2017-07-11
KR20150025385A (ko) 2015-03-10

Similar Documents

Publication Publication Date Title
KR102034587B1 (ko) 이동 단말기 및 이의 제어 방법
US10452333B2 (en) User terminal device providing user interaction and method therefor
KR102138505B1 (ko) 이동단말기 및 그 제어방법
KR102182160B1 (ko) 휴대 단말기 및 그 제어 방법
KR102043146B1 (ko) 전자 기기 및 전자 기기를 이용한 전자 노트 시스템
KR102217560B1 (ko) 이동 단말기 및 그것의 제어방법
KR101990039B1 (ko) 이동 단말기 및 이의 제어방법
KR20180134668A (ko) 이동 단말기 및 그 제어방법
KR20130102834A (ko) 이동 단말기 및 그 제어방법
KR20120001476A (ko) 휴대 단말기 및 그 동작 제어방법
KR102138518B1 (ko) 단말기 및 그 제어 방법
KR20100042978A (ko) 단말기 및 그 제어 방법
KR20130133460A (ko) 이동 단말기 및 그 제어방법
KR102131828B1 (ko) 휴대 단말기 및 그 제어 방법
KR102065414B1 (ko) 이동 단말기 및 그 제어방법
KR102127387B1 (ko) 이동 단말기 및 이의 화면 스크롤 방법
KR102131827B1 (ko) 이동 단말기 및 이의 제어 방법
KR101688150B1 (ko) 이동단말기 및 그의 멀티터치를 이용한 객체 표시 제어 방법
KR20120001941A (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR20180040955A (ko) 이동 단말기 및 그 제어방법
KR101496623B1 (ko) 이동 단말기 및 그 제어방법
KR102118406B1 (ko) 단말에서 페이지 표시 방법 및 장치
KR102138500B1 (ko) 휴대 단말기 및 그 제어 방법
KR102120104B1 (ko) 이동 단말기 및 그 제어 방법
KR101843451B1 (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant