KR20160065503A - 이동 단말기 및 그 제어 방법 - Google Patents

이동 단말기 및 그 제어 방법 Download PDF

Info

Publication number
KR20160065503A
KR20160065503A KR1020140169548A KR20140169548A KR20160065503A KR 20160065503 A KR20160065503 A KR 20160065503A KR 1020140169548 A KR1020140169548 A KR 1020140169548A KR 20140169548 A KR20140169548 A KR 20140169548A KR 20160065503 A KR20160065503 A KR 20160065503A
Authority
KR
South Korea
Prior art keywords
user
voice
mobile terminal
received
control unit
Prior art date
Application number
KR1020140169548A
Other languages
English (en)
Inventor
손지연
이상운
길병철
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140169548A priority Critical patent/KR20160065503A/ko
Priority to PCT/KR2015/012395 priority patent/WO2016089029A1/en
Priority to US14/948,444 priority patent/US9696963B2/en
Publication of KR20160065503A publication Critical patent/KR20160065503A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/06—Input or output devices integrated in time-pieces using voice
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)

Abstract

본 발명은 음성을 통해 제어 가능한 와치 타입 이동 단말기 및 그 제어 방법에 관한 것이다. 이를 위한 와치 타입의 이동 단말기는, 터치 입력을 수신하기 위한 터치 입력부; 무선 통신을 수행하기 위한 무선 통신부; 상기 이동 단말기의 움직임을 감지하기 위한 센싱부; 사용자 음성을 수신하기 위한 마이크; 및 기 설정된 제 1 제스처 입력이 수신되면, 상기 마이크를 활성화하고, 상기 터치 입력부가 터치된 상태에서 상기 사용자 음성이 수신되는 경우, 상기 사용자 음성이 지시하는 타겟에게 데이터가 전송되도록 제어하고, 상기 터치 입력부가 터치되지 않은 상태에서 상기 사용자 음성이 수신되는 경우, 상기 이동 단말기 상에서 상기 사용자 음성이 지시하는 기능이 실행되도록 제어하는 제어부를 포함할 수 있다.

Description

이동 단말기 및 그 제어 방법{MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME}
본 발명은 음성을 통해 제어 가능한 와치 타입 이동 단말기 및 그 제어 방법에 관한 것이다.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이동 단말기의 휴대성을 더욱 증가시키기 위해, 시계와 같이, 손목에 찰 수 있는 형태의 이동 단말기가 개발되고 있다. 착용 가능한(wearable) 형태의 이동 단말기는 전형적인 이동 단말기와 달리, 사용자가 몸에 항상 지니고 있다는 이점이 있다. 전통적인 바 타입 또는 폴더 타입의 이동 단말기는 주머니 또는 가방 속에 휴대하다가 사용자가 필요한 경우 꺼내보아야 하는 불편함이 있지만, 웨어러블 기기는 사용자가 몸에 항상 지니고 있기 때문에, 언제든지 사용자가 이동 단말기의 내용을 확인할 수 있는 이점이 있다.
다만, 와치 타입 단말기는 디스플레이부가 작기 때문에, 종래 터치 스크린을 채용하는 디바이스(예컨대, 스마트폰 또는 태블릿 PC 등)에서의 문자 입력 체계와 동일한 방식을 취하기 힘들다. 예컨대, 종래 스마트 폰 또는 태블릿 PC 등에서는 가상 키패드를 디스플레이한 뒤 가상 키패드에 대한 사용자의 터치 입력에 의거 문자를 입력하였지만, 와치 타입 단말기에서는 디스플레이부의 작은 면적으로 인한 한계로, 가상 키패드를 온전히 디스플레이하기 힘들다.
이에, 와치 타입 이동 단말기에서는 터치를 통한 조작보다는 음성을 통한 조작이 보다 유용하게 사용될 수 있다. 이에, 본 발명에서는 음성을 통해 와치 타입 이동 단말기를 조작하는 방법에 대해 제안하고자 한다.
본 발명은 사용자 편의를 증진시킨 이동 단말기 및 그 제어 방법을 제공하는 것을 목적으로 한다.
구체적으로, 본 발명은 음성을 통해 와치 타입 이동 단말기를 제어할 수 있는 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 음성을 입력되었을 때 디스플레이부가 터치되었는지 여부에 따라 각기 다른 기능을 실행할 수 있는 이동 단말기를 제공하는 것을 그 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 터치 입력을 수신하기 위한 터치 입력부; 무선 통신을 수행하기 위한 무선 통신부; 상기 이동 단말기의 움직임을 감지하기 위한 센싱부; 사용자 음성을 수신하기 위한 마이크; 및 기 설정된 제 1 제스처 입력이 수신되면, 상기 마이크를 활성화하고, 상기 터치 입력부가 터치된 상태에서 상기 사용자 음성이 수신되는 경우, 상기 사용자 음성이 지시하는 타겟에게 데이터가 전송되도록 제어하고, 상기 터치 입력부가 터치되지 않은 상태에서 상기 사용자 음성이 수신되는 경우, 상기 이동 단말기 상에서 상기 사용자 음성이 지시하는 기능이 실행되도록 제어하는 제어부를 포함하는 와치 타입의 이동 단말기가 개시된다.
또한, 본 발명의 다른 측면에 따르면, 기 설정된 제 1 제스처 입력을 수신하는 단계; 상기 제 1 제스처 입력에 대한 응답으로 마이크를 활성화하는 단계; 및 상기 마이크를 통해 사용자 음성을 수신하는 단계를 포함하되, 터치 입력부가 터치된 상태에서 상기 사용자 음성이 수신된 경우, 상기 사용자 음성이 지시하는 타겟에게 데이터를 전송하고, 상기 터치 입력부가 터치되지 않은 상태에서 상기 사용자 음성이 수신되는 경우, 상기 사용자 음성이 지시하는 기능을 실행하는 것을 특징으로 하는 이동 단말기의 제어 방법이 개시된다.
본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자 편의를 증진시킨 이동 단말기를 제공할 수 있는 장점이 있다.
구체적으로, 본 발명은 음성을 통해 와치 타입 이동 단말기를 제어할 수 있는 방법을 제공할 수 있는 효과가 있다.
또한, 본 발명은 음성을 입력되었을 때 디스플레이부가 터치되었는지 여부에 따라 각기 다른 기능을 실행할 수 있는 이동 단말기를 제공할 수 있는 효과가 있다.
본 발명에서 이루고자 하는 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2는 본 발명의 다른 일 실시 예와 관련된 와치 타입의 이동 단말기의 일 예를 보인 사시도이다.
도 3은 음성 입력의 구현예를 간략하게 도시한 도면이다.
도 4는 디스플레이부 및 이를 감싸는 베젤을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 이동 단말기의 동작 흐름도이다.
도 6은 기 설정된 제스처의 일예를 도시한 도면이다.
도 7은 마이크가 활성화되고, 사용자의 음성이 지시한 기능이 시작되는 예를 도시한 도면이다.
도 8은 마이크가 활성화되고, 사용자의 음성이 지시한 타겟에게 컨텐트가 전송되는 예를 도시한 도면이다.
도 9는 마이크가 활성화되고, 사용자의 음성을 녹음한 녹음 파일이 생성되는 예를 도시한 도면이다.
도 10은 기 설정된 제스처 입력에 대한 응답으로, 포인터가 지시하는 데이터가 사용자 음성이 지시하는 타겟으로 전송되는 예를 도시한 도면이다.
도 11은 디스플레이부를 통해 출력 중인 컨텐트가 사용자 음성이 지시하는 타겟으로 전송되는 예를 도시한 도면이다.
도 12는 디스플레이부를 통해 출력 중인 컨텐트가 사용자 음성이 지시하는 타겟으로 전송되는 다른 예를 도시한 도면이다.
도 13은 이동 단말기에서 재생 중인 컨텐트가 사용자 음성이 지시하는 타겟으로 전송되는 예를 도시한 도면이다.
도 14는 데이터가 첨부된 메시지 작성 화면이 출력되는 예를 도시한 도면이다.
도 15는 사용자 음성을 STT 변환한 텍스트가 메시지의 본문에 삽입되는 예를 도시한 도면이다.
도 16은 사용자 음성에 기초하여 생성된 메시지가 타겟에게 전송되는 예를 도시한 도면이다.
도 17은 사용자와 이동 단말기 사이의 거리에 따라, 사용자 음성을 STT 변환한 텍스트의 출력 여부가 결정되는 예를 도시한 도면이다.
도 18은 전화 통화 도중 마이크가 활성화 또는 비활성화되는 예를 도시한 도면이다.
도 19는 이동 단말기를 귓가에 가져갔을 때 이동 단말기의 동작을 설명하기 위한 도면이다.
도 20은 이동 단말기의 볼륨이 조절되는 예를 도시한 도면이다.
도 21은 사용자 음성이 지시하는 키워드에 대한 웹 검색이 수행되는 예를 도시한 도면이다.
도 22는 사용자 음성이 지시하는 타겟으로 전화를 거는 예를 도시한 도면이다.
도 23은 사용자 음성에 의해 메시지가 전송되는 예를 도시한 도면이다.
도 24는 음성 메모가 잠금 설정되는 예를 도시한 도면이다.
도 25는 사진이 잠금 설정되는 예를 도시한 도면이다.
도 26은 특정 어플리케이션이 잠금 설정되는 예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력 받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
도 2은 본 발명의 다른 일 실시 예와 관련된 와치 타입의 이동 단말기(200)의 일 예를 보인 사시도이다.
도 2을 참조하면, 와치 타입의 이동 단말기(200)는 디스플레이부(251)를 구비하는 본체(201) 및 본체(201)에 연결되어 손목에 착용 가능하도록 구성되는 밴드(202)를 포함한다. 일반적으로 이동 단말기(200)는 도1a 내지 도 1c의 이동 단말기(100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.
본체(201)는 외관을 형성하는 케이스를 포함한다. 도시된 바와 같이, 케이스는 각종 전자부품들을 수용하는 내부 공간을 마련하는 제1케이스(201a) 및 제2케이스(201b)를 포함할 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 하나의 케이스가 상기 내부 공간을 마련하도록 구성되어 유니 바디의 이동 단말기(200)가 구현될 수도 있다.
와치 타입의 이동 단말기(200)는 무선 통신이 가능하도록 구성되며, 본체(201)에는 상기 무선 통신을 위한 안테나가 설치될 수 있다. 한편, 안테나는 케이스를 이용하여 그 성능을 확장시킬 수 있다. 예를 들어, 도전성 재질을 포함하는 케이스가 안테나와 전기적으로 연결되어 그라운드 영역 또는 방사 영역을 확장시키도록 구성될 수 있다.
본체(201)의 전면에는 디스플레이부(251)가 배치되어 정보를 출력할 수 있으며, 디스플레이부(251)에는 터치센서가 구비되어 터치 스크린으로 구현될 수 있다. 도시된 바와 같이, 디스플레이부(251)의 윈도우(251a)는 제1 케이스(201a)에 장착되어 제1 케이스(201a)와 함께 단말기 바디의 전면을 형성할 수 있다.
본체(201)에는 음향 출력부(252), 카메라(221), 마이크로폰(222), 사용자 입력부(223) 등이 구비될 수 있다. 디스플레이부(251)가 터치 스크린으로 구현되는 경우, 사용자 입력부(223)로 기능할 수 있으며, 이에 따라 본체(201)에 별도의 키가 구비되지 않을 수 있다.
밴드(202)는 손목에 착용되어 손목을 감싸도록 이루어지며, 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 그러한 예로서, 밴드(202)는 가죽, 고무, 실리콘, 합성수지 재질 등으로 형성될 수 있다. 또한, 밴드(202)는 본체(201)에 착탈 가능하게 구성되어, 사용자가 취향에 따라 다양한 형태의 밴드로 교체 가능하게 구성될 수 있다.
한편, 밴드(202)는 안테나의 성능을 확장시키는 데에 이용될 수 있다. 예를 들어, 밴드에는 안테나와 전기적으로 연결되어 그라운드 영역을 확장시키는 그라운드 확장부(미도시)가 내장될 수 있다.
밴드(202)에는 파스너(fastener; 202a)가 구비될 수 있다. 파스너(202a)는 버클(buckle), 스냅핏(snap-fit)이 가능한 후크(hook) 구조, 또는 벨크로(velcro; 상표명) 등에 의하여 구현될 수 있으며, 신축성이 있는 구간 또는 재질을 포함할 수 있다. 본 도면에서는, 파스너(202a)가 버클 형태로 구현된 예를 제시하고 있다.
본 발명에 따른 이동 단말기는 음성을 통해 와치 타입의 이동 단말기를 원격 제어할 수 있는 새로운 방법을 제공하고자 한다. 일반적으로, 이동 단말기를 음성으로 원격 제어하기 위해서는, 음성 입력을 위한 어플리케이션을 별도로 설치하여야 한다. 이에 따라, 특정 어플리케이션 실행 중 음성을 입력하기 위해서는 특정 어플리케이션의 실행을 임시 중단하고, 음성 입력 어플리케이션이 실행되어야 한다. 이에 의하면, 어플리케이션간 전환에 의한(즉, 특정 어플리케이션의 실행을 멈추고 음성 입력 어플리케이션 실행) 사용자 경험의 단절이 발생하여, 이동 단말기 사용의 연속성이 끊긴다는 문제가 발생할 수 있다. 이의 문제점을 해결하기 위해, 어플리케이션 레이어 밑에 음성 플랫폼을 두어, 음성 플랫폼을 통해 음성 입력을 수행하는 방안이 제안될 수 있다.
일 예로, 도 3은 음성 입력의 구현예를 간략하게 도시한 도면이다. 도 3의 (a)에 도시된 예에서와 같이, 음성 입력이 어플리케이션 레이어 상의 음성 입력 어플리케이션에 의해 이루어진다고 가정하였을 때, App 1 실행 중 사용자가 음성을 입력하고자 하는 경우라면, App 1의 실행을 일시 중단하고 음성 입력 어플리케이션을 실행해야 할 것이다. 이에 따라, App 1에 대한 연속성을 유지할 수 없다는 문제점이 발생할 수 있다.
이와 달리, 도 3의 (b)에 도시된 예에서와 같이, 음성 입력이 어플리케이션 레이어 밑 음성 플랫폼으로 구현된다면, 어플리케이션의 실행 중단 없이 음성을 입력할 수 있다. 일 예로, App 1이 실행되고 있을 때 음성을 입력하고자 한다면, App 1을 지속적으로 실행하면서, 음성 입력 플랫폼을 로드함으로써 음성 입력을 수신할 수 있다.
이와 같이, 음성 입력을 어플리케이션이 아닌 플랫폼 상에서 구현하게 된다면, 사용자 경험의 연속성을 보장할 수 있다는 이점이 있다. 후술되는 본 발명에 따른 이동 단말기는 도 3의 (b)에 도시된 예에서와 같이, 음성 플랫폼을 이용하여 음성 명령을 수행할 수 있는 상태라 가정한다. 즉, 본 발명에 따른 이동 단말기는 어플리케이션의 실행 도중 사용자의 조작에 의해 간편히 음성 입력을 위한 UI를 제공할 수 있는 것으로 가정한다.
이를 위한 와치 타입의 이동 단말기는 도 1a 내지 도 1c에 도시된 구성요소 중 적어도 하나를 포함하는 것으로 가정될 수 있다. 일 예로, 본 발명에 따른 와치 타입의 이동 단말기는 도 1a 내지 도 1c에 도시된 구성요소 중 무선 통신부(110), 마이크(122), 센싱부(140), 디스플레이부(151), 메모리(170) 및 제어부(180)를 포함하는 것으로 가정한다.
센싱부(140)는 이동 단말기의 움직임 및 이동 단말기 주변에 근접한 물체가 있는지 여부 등을 감지할 수 있다. 일 예로, 사용자가 손목에 채워진 와치 타입 이동 단말기를 입 주변에 가져다 대면, 센싱부(140)는 이동 단말기가 움직였음을 감지하였음을 지시하는 감지 신호 및 이동 단말기 주변에 근접한 오브젝트(예컨대, 사용자의 얼굴)을 감지하였음을 지시하는 감지 신호를 생성할 수 있다. 제어부(180)는 센싱부(140)에 의해 생성된 감지 신호를 기초로, 제스처 입력이 수신되었는지 여부를 판단할 수 있다.
디스플레이부(151)는 터치 입력을 수신할 수 있는 터치스크린일 수 있다. 아울러, 본 발명에 따른 이동 단말기는, 디스플레이부(151)를 감싸는 베젤 영역을 통해서도, 사용자의 터치 입력을 수신할 수 있다.
일 예로, 도 4는 디스플레이부(151) 및 이를 감싸는 베젤을 설명하기 위한 도면이다. 도 4에 도시된 예에서와 같이, 디스플레이부(251) 주변에는 디스플레이부(251)를 감싸는 베젤(410)이 위치할 수 있다. 베젤(410)은 이동 단말기의 외형을 형성하고, 디스플레이부(251)를 외부 충격에서 보호하는 역할을 수행할 수 있다.
베젤(410)에는 사용자의 터치 입력을 수신하기 위한 터치 센서가 매립되어 있을 수 있다. 이에 따라, 제어부(180)는 디스플레이부(251)를 터치하는 터치 입력을 수신할 수도 있고, 베젤(410)을 터치하는 터치 입력을 수신할 수도 있다. 베젤(410)에 매립되는 터치 센서는 디스플레이부(251)에 매립된 터치 센서가 확장되어 형성된 것일 수도 있다.
상술한 베젤(410) 및 디스플레이부(251)는 사용자의 터치 입력을 수신할 수 있는 점에서 공통되므로, '터치 입력부'라 호칭될 수 있다. 즉, 본 발명에서 터치 입력부라 함은 터치 입력을 수신할 수 있는 베젤 및 디스플레이부(151) 중 적어도 하나를 포함하는 것이라 볼 수 있다.
다만, 설명의 편의를 위해, 이하에서는 디스플레이부(151)를 터치하는 사용자 입력과, 베젤 영역을 터치하는 사용자 입력을 서로 구분하여 설명하기로 한다. 그러나, 디스플레이부(151)를 터치 하는 사용자 입력에 대한 응답으로 수행될 동작이 베젤 영역을 터치하는 사용자 입력에 대한 응답으로 수행될 수 있음은 물론이며, 베젤 영역을 터치하는 사용자 입력에 대한 응답으로 수행될 동작이 디스플레이부(151)를 터치하는 사용자 입력에 대한 응답으로 수행될 수도 있다 할 것이다.
즉, 후술되는 실시예에서, 베젤 영역을 터치하는 사용자 입력은 디스플레이부(151)를 터치하는 사용자 입력으로 대체될 수 있고, 디스플레이부(151)를 터치하는 사용자 입력은 베젤 영역을 터치하는 사용자 입력에 의해 대체될 수 있다 할 것이다.
다른 예로, 베젤 영역을 터치하는 사용자 입력 또는 디스플레이부(151)를 터치하는 사용자 입력은 이동 단말기의 외부에 노출된 버튼(예컨대, 조그 다이얼 또는 푸쉬형 버튼 등)의 조작으로 대체될 수도 있다할 것이다.
상술한 설명을 바탕으로, 이하, 본 발명에 따른 이동 단말기에 대해 상세히 설명하기로 한다.
도 5는 본 발명의 일실시예에 따른 이동 단말기의 동작 흐름도이다. 설명의 편의를 위해, 와치 타입의 이동 단말기는 사용자의 손목에 채워져 있는 상태라 가정한다. 사용자에 의해 기 설정된 제스처 입력이 수신되면(S501), 제어부(180)는 마이크(122)를 활성화하여 사용자의 음성을 청취할 수 있는 상태가 되도록 제어할 수 있다(S502). 마이크(122)가 활성화 되면, 제어부(180)는 마이크(122)가 활성화되어 음성을 입력할 수 있는 상태가 되었음을 알리는 피드백을 출력할 수 있다. 여기서, 피드백은 인디케이터(예컨대, 이미지, 아이콘 또는 텍스트)의 디스플레이, 소리의 출력 또는 진동의 출력 등의 형태를 띌 수 있다.
마이크(122)를 활성화하기 위한 기 설정된 제스처 입력은 다양한 형태를 띌 수 있다. 일 예로, 마이크(122)를 활성하기 위한 기 설정된 제스처 입력은 이동 단말기를 입가로 들어올리는 것일 수 있다.
일 예로, 도 6은 기 설정된 제스처의 일예를 도시한 도면이다. 도 6에 도시된 예에서와 같이, 사용자가 입가로 이동 단말기를 들어 올리는 제스처를 취한 경우, 제어부(180)는 마이크(122)가 활성화 되도록 제어할 수 있다. 이때, 제어부(180)는 이동 단말기가 아래에서 위로 올라갔음을 지시하는 센싱부(140)의 감지 신호 및 이동 단말기 주변에 근접한 오브젝트가 감지되었음을 지시하는 센싱부(140)의 감지 신호 중 적어도 하나를 기초로 기 설정된 제스처가 입력되었는지 여부를 판단할 수 있다.
이때, 제어부(180)는 근접 센서를 통해 이동 단말기 주변에 근접한 물체가 있는지 여부를 결정할 수도 있고, 거리 측정 센서를 통한 주변 물체와의 거리를 기초로(예컨대, 레이저 또는 적외선의 발광 및 수광을 통한 거리 측정) 이동 단말기 주변에 근접한 물체가 있는지 여부를 결정할 수도 있다. 일 예로, 제어부(180)는 근접 센서가 근접한 물체를 감지하는 감지 신호를 발생시키는 경우, 제어부(180)는 이동 단말기 주변에 근접한 물체가 있는 것으로 판단할 수 있다. 다른 예로, 제어부(180)는 거리 측정 센서를 통해 측정된 소정 오브젝트와의 거리가 소정 거리 이내에 위치하는 경우에 있어서, 이동 단말기 주변에 근접한 물체가 있는 것으로 판단할 수 있다.
다른 예로, 제어부(180)는 이동 단말기가 아래에서 위로 올라갔음을 지시하는 센싱부(140)의 감지 신호 및 카메라를 통해 촬영된 영상에 사용자의 입 또는 눈이 감지되었는지 여부를 기초로 기 설정된 제스처가 입력되었는지 여부를 판단할 수도 있다. 일 예로, 이동 단말기가 아래에서 위로 움직였음을 감지하는 감지 신호가 발생하면, 제어부(180)는 카메라를 활성화하여, 카메라를 통해 주변 환경을 촬영할 수 있다. 카메라를 통해 입력되는 영상을 분석하였을 때, 사용자의 입이 감지되는 경우나 사용자의 눈이 감지되지 않는 경우(즉, 이동 단말기가 충분히 사용자의 입가에 근접하여, 카메라가 사용자의 눈을 촬영할 수 없는 상태가 된 경우), 제어부(180)는 기 설정된 제스처가 입력된 것으로 판단할 수 있다.
마이크(122)가 활성화 되어 있는 동안 사용자의 음성이 입력되면(S503), 제어부(180)는 사용자의 음성을 녹음한 음성 파일을 생성하거나, 사용자의 음성이 지시하는 기능을 수행할 수 있다(S504).
이때, 제어부(180)는 기 설정된 다른 제스처(예컨대, 이동 단말기를 아래로 내리는 제스처) 입력이 수신되는 경우 또는 기 설정된 터치 입력(예컨대, 인디케이터를 터치하는 터치 입력)이 수신되는 경우 등에 있어서, 사용자의 음성이 지시하는 기능을 수행할 수도 있다.
일 예로, 도 7은 마이크(122)가 활성화되고, 사용자의 음성이 지시한 기능이 시작되는 예를 도시한 도면이다.
도 7의 (a) 및 (b)에 도시된 예에서와 같이, 입가에서 떨어져 있던 이동 단말기를 입가로 들어 올리는 제스처 입력이 수신되면, 제어부(180)는 마이크(122)를 활성화 할 수 있다. 마이크(122)가 활성화되면, 제어부(180)는 도 7의 (b)에 도시된 예에서와 같이, 마이크(122)가 활성화 되었음을 알리는 인디케이터(710)(예컨대, 아이콘 또는 텍스트 등)가 출력되도록 제어할 수 있다.
마이크(122)를 통해 사용자의 음성이 입력되면, 제어부(180)는 마이크(122)를 통해 사용자의 음성이 입력되고 있음을 알리는 정보가 출력되도록 제어할 수 있다. 일 예로, 도 7의 (c)에서는 사용자의 음성이 입력됨에 따라, 인디케이터(710)의 크기가 변경되는 것으로 예시되었다.
만약, 사용자 음성이 수신된 이후 소정의 제스처가 수신된 경우라면, 제어부(180)는 입력된 사용자 음성을 취소할 수 있다. 이 경우, 제어부(180)는 다시 한번 사용자로부터 음성을 입력받을 수 있는 상태(예컨대, 도 7의 (b))가 되도록 제어할 수 있다. 여기서, 음성 입력을 취소하기 위한 제스처는 이동 단말기를 소정 횟수 흔드는 것, 이동 단말기를 착용한 손목을 회전하는 것 또는 이동 단말기를 내렸다 다시 드는 것 등 다양한 형태로 구현될 수 있다.
사용자의 음성이 입력된 뒤, 이동 단말기를 내리는 제스처 입력(즉, 입가에서 이동 단말기를 떼는 제스처 입력)이 수신되면(도 7의 (d) 참조), 제어부(180)는 사용자의 음성이 지시하는 기능을 시작할 수 있다.
일 예로, 사용자 음성에 어플리케이션 이름이 포함되어 있다면, 어플리케션이 실행될 수 있을 것이고, 사용자 음성에 소정 인물의 정보(예컨대, 전화 번호 또는 전화번호부에 등록된 인물의 이름 등)가 포함되어 있다면, 제어부(180)는 소정 인물의 정보(예컨대, 전화번호부에 등록된 소정 인물의 연락처 정보) 또는 소정 인물에게 메시지(문자 메시지, 인스턴트 메시지 또는 이메일 등)를 전송하기 위한 메시지 작성 화면을 출력하거나, 소정 인물에게 전화를 걸 수 있다. 사용자 음성에 시간 또는 날짜가 포함되어 있는 경우, 제어부(180)는 음성이 지시하는 시간 또는 날짜에 등록된 일정을 디스플레이하거나, 음성이 지시하는 시간 또는 날짜에 새로운 알람 또는 일정을 등록하기 위한 화면이 출력되도록 제어할 수 있다.
일 예로, 도 7의 (c) 및 (d)에서는 사용자 음성이 지시하는 Music 어플리케이션이 실행되는 것으로 예시하였다.
다른 예로, 제어부(180)는 자연어 처리를 통해 사용자가 의도한 기능을 수행할 수도 있다. 일 예로, 사용자로부터 "내일 약속 확인해줘"와 같이 특정 어플리케이션을 지시하는 단어가 포함되어 있지 않은 음성을 입력받았다 하더라도, 약속을 확인하기에 적절한 어플리케이션(예컨대, 일정 어플리케이션)을 선정하고, 이를 실행하여, 사용자에게 약속이 있는지를 확인하여 줄 수 있다.
만약, 사용자가 디스플레이부(151) 또는 베젤을 터치한채 이동 단말기를 입가로 끌어올린 경우 또는 이동 단말기를 입가로 끌어올린 뒤, 디스플레이부(151) 또는 베젤을 터치한 채 음성을 입력한 경우 중 어느 하나에 있어서, 제어부(180)는 디스플레이부(151)를 통해 출력 중인 컨텐트, 이동 단말기가 재생하고 있는 컨텐트, 디스플레이부(151)의 출력 화면을 캡처한 캡처 이미지 또는 터치 입력에 의해 지시되는 데이터 중 적어도 하나가 음성 명령에 의해 지시되는 타겟에게 전달되도록 제어할 수 있다.
일 예로, 도 8은 마이크(122)가 활성화되고, 사용자의 음성이 지시한 타겟에게 컨텐트가 전송되는 예를 도시한 도면이다.
도 8의 (a) 및 (b)에 도시된 예에서와 같이, 입가에서 떨어져 있던 이동 단말기를 입가로 들어 올리는 제스처 입력이 수신되면, 제어부(180)는 마이크(122)를 활성화 할 수 있다.
만약, 사용자가 터치스크린을 터치한 채 음성을 입력하고(도 8의 (b) 및 (c) 참조), 이동 단말기를 내리는 제스처(즉, 입가에서 이동 단말기를 떼는 제스처 입력)를 취하면(도 8의 (d) 참조), 제어부(180)는 디스플레이부(151)를 통해 출력되던 컨텐트, 이동 단말기가 재생하고 있는 컨텐트, 디스플레이부(151)의 출력 화면을 캡처한 캡처 이미지 또는 터치 위치에 대응하는 데이터를 사용자의 음성이 지시하는 타겟에게 전송할 수 있다. 일 예로, 도 8의 (c) 및 (d)에서는 사용자 음성이 지시하는 인물인 Jane에게 데이터가 전송되는 것으로 예시되었다.
이와 달리, 사용자 음성이 수신된 이후 소정의 제스처가 수신된 경우라면, 제어부(180)는 입력된 사용자 음성을 취소할 수 있다. 이 경우, 제어부(180)는 다시 한번 사용자로부터 음성을 입력받을 수 있는 상태(예컨대, 도 8의 (b))가 되도록 제어할 수 있다. 여기서, 음성 입력을 취소하기 위한 제스처는 이동 단말기를 소정 횟수 흔드는 것, 이동 단말기를 착용한 손목을 회전하는 것 또는 이동 단말기를 내렸다 다시 드는 것 등 다양한 형태로 구현될 수 있다.
사용자가 디스플레이부(151) 또는 베젤을 터치한채 이동 단말기를 입가로 끌어올린 경우 또는 이동 단말기를 입가로 끌어올린 뒤, 디스플레이부(151) 또는 베젤을 터치한 채 음성을 입력한 경우 중 어느 하나에 있어서, 제어부(180)는 사용자의 음성을 녹음한 녹음 파일을 생성할 수도 있다.
일 예로, 도 9는 마이크(122)가 활성화되고, 사용자의 음성을 녹음한 녹음 파일이 생성되는 예를 도시한 도면이다.
도 9의 (a) 및 (b)에 도시된 예에서와 같이, 입가에서 떨어져 있던 이동 단말기를 입가로 들어 올리는 제스처 입력이 수신되면, 제어부(180)는 마이크(122)를 활성화할 수 있다. 만약 사용자가 베젤을 터치한 경우(도 9의 (b) 및 (c) 참조), 제어부(180)는 마이크(122)를 통해 입력되는 소리의 녹음을 시작할 수 있다.
이때, 디스플레이부(151)를 통해서는 도 9의 (c)에 도시된 예에서와 같이, 녹음이 진행되고 있음을 알리는 녹음 정보(예컨대, 녹음 시간, 마이크(122)를 통해 입력되는 음성을 STT(Speech to Text) 변환한 텍스트)가 출력될 수 있다. 일 예로, 도 9의 (c)에서는 녹음 시간 "00:01"과 사용자 음성을 STT 변환한 텍스트 "Hello"가 출력되는 것으로 예시되었다.
이후, 이동 단말기를 내리는 제스처 입력(즉, 입가에서 이동 단말기를 떼는 제스처 입력)이 수신되면(도 9의 (d) 참조), 제어부(180)는 녹음을 종료하고, 마이크(122)가 비 활성화 되도록 제어할 수 있다. 녹음이 종료되면, 제어부(180)는 녹음된 음성을 STT 변환한 텍스트를 출력할 수도 있다. 일 예로, 도 9의 (d)에서는 녹음된 음성을 STT 변환한 "Hello, I'm Tom" 이라는 텍스트가 출력되는 것으로 예시되었다.
도 9에서는 사용자가 두개의 포인터로 베젤을 터치하여야만, 사용자의 음성 녹음이 시작되는 것으로 예시되었으나, 음성 녹음을 시작하기 위한 사용자의 터치 입력이 도시된 예에 한정되는 것은 아니라 할 것이다. 일 예로, 제어부(180)는 단일 포인터에 의한 터치 입력 또는 포인터에 의한 드래그 입력 등에 의해 음성 녹음이 시작되도록 제어할 수도 있다할 것이다.
도 8 및 도 9에서는, 각각 디스플레이부(151)가 터치되는 동안 기 설정된 제스처 입력이 입력되는 경우에는 음성이 지시하는 타겟으로 데이터가 전송되고, 베젤이 터치되는 동안 기 설정된 제스처 입력이 입력되는 경우에는 사용자의 음성을 녹음한 녹음 파일이 생성되는 것으로 예시되었다. 설명한 바와 반대로, 베젤이 터치되는 동안 기 설정된 제스처 입력에 대한 응답으로, 사용자 음성이 지시하는 타겟으로 데이터가 전송될 수도 있고, 디스플레이부(151)가 터치되는 동안 기 설정된 제스처 입력에 대한 응답으로 음성 녹음이 시작될 수도 있다 할 것이다.
이하, 본 발명에 적용될 수 있는 다양한 사례들(use cases)을 참조하여, 본 발명에 대해 더욱 상세히 살펴보기로 한다.
도 10은 기 설정된 제스처 입력에 대한 응답으로, 포인터가 지시하는 데이터가 사용자 음성이 지시하는 타겟으로 전송되는 예를 도시한 도면이다. 설명의 편의를 위해, 이동 단말기를 통해서는 지도 어플리케이션이 실행되고 있는 것으로 가정한다.
사용자가 입가로 이동 단말기를 들어 올리는 제스처를 취하고, 디스플레이부(151)의 임의 지점을 터치(또는 소정 시간 이상 터치)한 경우, 제어부(180)는 마이크(122)를 활성화하고, 도 10의 (a)에 도시된 예에서와 같이, 포인터에 의해 터치된 위치를 가리키는 마커(1010)가 표시되도록 제어할 수 있다.
포인터에 의해 디스플레이부(151)가 터치되고 있는 동안, 사용자의 음성 입력이 수신되면, 제어부(180)는 사용자의 음성 입력이 지시하는 타겟으로 마커(1010)가 가리키는 위치 정보를 전송할 수 있다.
일 예로, 도 10의 (b)에 도시된 예에서와 같이, 사용자의 음성 입력 중 'Jane'이라는 타겟이 포함되어 있다면, 제어부(180)는 'Jane'의 단말기로 마커(1010)가 가리키는 위치 정보가 전송되도록 제어할 수 있다. 구체적으로, 제어부(180)는 메모리(170)에 저장된 전화번호부(또는 외부 서버)로부터 사용자 음성이 지시하는 인물, 'Jane'의 연락처 정보를 추출한 뒤, 추출된 연락처 정보를 이용하여 'Jane'의 단말기로 위치 정보를 전송할 수 있다.
여기서, 위치 정보는 마커(1010)가 가리키는 위치의 좌표 정보(예컨대, 위도 및 경도) 또는 주소 정보(예컨대, 행정 구역 주소) 일 수도 있고, 웹 상에서 마커(1010)가 지시하는 위치로 액세스하기 위한 URL 주소일 수도 있다.
도 10에 도시된 것과 달리, 제어부(180)는 이동 단말기를 통해 출력 중인 지도를 캡처한 캡처 이미지를 타겟 단말에게 전송할 수도 있다. 구체적으로, 사용자 음성 입력이 'Jane'이라는 타겟을 지시하는 경우라면, 제어부(180)는 디스플레이부(151)를 통해 출력 중인 지도를 캡처한 캡처 이미지를 Jane의 단말기로 전송할 수 있다.
도 10에서는 포인터가 가리키는 위치의 위치 정보가 타겟 단말에게 전송되는 것으로 예시되었으나, 포인터가 가리키는 사진, 동영상, 문서, 연락처 정보, 일정 정보, 알람 정보 등이 타겟 단말에 전송될 수도 있다 할 것이다. 일 예로, 포인터가 컨텐트 목록 상의 어느 하나의 항목을 선택하고 있는 상태에서, 사용자 음성이 입력되는 경우라면, 제어부(180)는 포인터가 지시하는 타겟에게 선택된 항목에 대응되는 컨텐트를 전송할 수 있을 것이다. 여기서, 컨텐트는 사진, 동영상, 음악, 문서, 연락처 정보, 일정 정보, 알람 정보 등 이동 단말기에서 취급 가능한 각종 데이터들을 의미할 수 있다.
도 11은 디스플레이부(151)를 통해 출력 중인 컨텐트가 사용자 음성이 지시하는 타겟으로 전송되는 예를 도시한 도면이다. 설명의 편의를 위해, 디스플레이부(151)를 통해서는 사진이 출력 중인 상태라 가정한다.
사용자가 입가로 이동 단말기를 들어 올리는 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고, 마이크(122)가 활성화되었음을 지시하는 인디케이터(1110)가 출력되도록 제어할 수 있다(도 11의 (a) 참조). 만약, 사용자가 사진이 출력 중인 디스플레이부(151)를 터치한다면, 제어부(180)는 도 11의 (b)에 도시된 예에서와 같이, 사용자의 터치 입력에 대한 응답으로, 사진 속 피사체에 대한 정보(1120)가 출력되도록 제어할 수 있다. 구체적으로, 제어부(180)는 사진 속 얼굴과 전화번호부(또는 외부 서버)에 등록된 사진(예컨대, 프로필 사진)의 얼굴 매칭을 통해, 전화번호부(또는 외부 서버)로부터 사진 속 피사체에 대한 정보를 추출할 수도 있고, 사진의 메타 데이터를 이용하여 사진 속 피사체에 대한 정보를 출력할 수도 있다. 도 11의 (b)에서는 사진 속 피사체의 이름이 'Jane'인 것으로 예시되었다.
만약, 사진속 피사체에 대한 정보를 획득할 수 없는 경우라면(예컨대, 전화번호부에 사진 속 피사체의 얼굴과 일치하는 프로필 사진이 등록되어 있지 않은 경우), 제어부(180)는 해당 피사체의 정보를 출력할 수 없음을 알리는 인디케이터를 표시하거나, 사용자의 터치 입력에 대한 응답으로 어떠한 정보도 출력되지 않도록 제어할 수 있다.
포인터에 의해 디스플레이부(151)가 터치되고 있는 동안, 사용자의 음성 입력이 수신되면, 제어부(180)는 사용자의 음성 입력이 지시하는 타겟으로 사진을 전송할 수 있다.
일 예로, 도 11의 (c)에 도시된 예에서와 같이, 사용자의 음성에 'Jane'이라는 타겟이 포함되어 있다면, 경우라면, 제어부(180)는 도 11의 (d)에 도시된 예에서와 같이, 'Jane'의 단말기로 디스플레이부(151)를 통해 출력 중인 사진이 전송되도록 제어할 수 있다. 구체적으로, 제어부(180)는 메모리(170)에 저장된 전화번호부(또는 외부 서버)로부터 사용자 음성이 지시하는 인물, 'Jane'의 연락처 정보를 추출한 뒤, 추출된 연락처 정보를 이용하여 'Jane'의 단말기로 사진을 전송할 수 있다.
도 10 및 도 11에서는 사용자의 음성이 특정 인물의 이름을 지시하는 것으로 예시되었다. 다만, 도 10 및 도 11에 도시된 예에서와 같이, 사용자의 음성이 데이터를 전송받을 타겟의 이름을 지시하여야 하는 것은 아니다. 도시된 예와 달리, 사용자 음성은 데이터를 전송하고자 하는 타겟의 전화번호, ID를 지시할 수도 있고, 디스플레이부(151)를 통해 출력 중인 인물을 지시할 수도 있다.
일 예로, 도 12은 디스플레이부(151)를 통해 출력 중인 컨텐트가 사용자 음성이 지시하는 타겟으로 전송되는 다른 예를 도시한 도면이다. 설명의 편의를 위해, 디스플레이부(151)를 통해서는 복수인물이 촬영된 사진이 출력 중인 상태라 가정한다.
사용자가 입가로 이동 단말기를 들어 올리는 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고, 마이크(122)가 활성화되었음을 지시하는 인디케이터(1210)가 출력되도록 제어할 수 있다(도 12의 (a) 참조). 사진이 출력 중인 디스플레이부(151)의 임의 위치가 포인터에 의해 터치되면, 제어부(180)는 도 12의 (b)에 도시된 예에서와 같이, 사용자의 터치 입력에 대한 응답으로 사진 속 복수의 피사체 각각에 대한 정보가 출력되도록 제어할 수 있다. 일 예로, 도 12의 (b)에서는 사진 속 각각의 피사체가 'Jane', 'Tom', 'Ann'인 것으로 예시되었다.
이후, 사용자로부터 음성이 수신되고, 수신된 음성이 사진 속 특정 피사체를 지시하는 경우라면, 제어부(180)는 사용자의 음성이 지시하는 인물에게 사진을 전송할 수 있다. 일 예로, 도 12의 (c)에 도시된 예에서와 같이, 사용자의 음성이 "사진 속 친구들"과 같이, 사진 속 모든 피사체를 지시하는 경우라면, 제어부(180)는 도 12의 (d)에 도시된 예에서와 같이, 사진 속 인물들의 단말, 즉, Jane, Tom 및 Ann의 단말들에게 디스플레이부(151)를 통해 출력 중인 사진이 전송되도록 제어할 수 있다.
만약, 사진 속 복수의 인물들 중 적어도 하나에 대한 연락처 정보를 획득할 수 없는 경우, 제어부(180)는 연락처 정보를 획득할 수 있는 인물들의 단말기에는 사진을 전송하고, 나머지 인물들은 사진을 전송할 수 없음을 알리는 메시지가 출력되도록 제어할 수 있다. 일 예로, Jane, Tom 및 Ann 중 Jane 및 Tom의 연락처는 획득할 수 있으나, Ann의 연락처 정보는 획득할 수 없는 경우라면, 제어부(180)는 Ann을 제외한 Jane 및 Tom의 단말기에만 사진이 전송되도록 제어할 수 있다.
만약, 사용자의 음성이, "왼쪽 사람" 또는 "오른쪽 사람"과 같이 특정 위치에 위치한 인물을 지시하는 경우라면, 제어부(180)는 사용자 음성이 지시한 위치에 위치하는 인물의 단말기로 사진을 전송할 수도 있다. 일 예로, 사용자의 음성이 '왼쪽 사람'을 지시하는 경우라면, 제어부(180)는 도 12의 (c)에 도시된 예에서, 사진 속 제일 왼쪽편에 있는 Jane의 단말기로 사진을 전송할 수 있을 것이다.
도 13은 이동 단말기에서 재생 중인 컨텐트가 사용자 음성이 지시하는 타겟으로 전송되는 예를 도시한 도면이다. 설명의 편의를 위해, 이동 단말기는 현재 음악 파일을 재생 중인 상태라 가정한다.
사용자가 입가로 이동 단말기를 들어 올리는 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고, 마이크(122)가 활성화되었음을 지시하는 인디케이터가 출력되도록 제어할 수 있다(도 13의 (a) 참조). 이후, 사용자가 터치스크린을 터치한 상태에서, 음성을 입력하면, 제어부(180)는 음성에 의해 지시되는 대상에게 재생 중인 음악 파일이 전송되도록 제어할 수 있다.
일 예로, 도 13의 (b)에 도시된 예에서와 같이, 사용자의 음성이 'Jane'이라는 타겟을 포함하는 경우라면, 제어부(180)는 도 13의 (c)에 도시된 예에서와 같이, 'Jane'의 단말기로 이동 단말기를 통해 재생 중인 음악 파일이 전송되도록 제어할 수 있다. 구체적으로, 제어부(180)는 메모리(170)에 저장된 전화번호부(또는 외부 서버)로부터 사용자 음성이 지시하는 인물, 'Jane'의 연락처 정보를 추출한 뒤, 추출된 연락처 정보를 이용하여 'Jane'의 단말기로 음악 파일을 전송할 수 있다.
도 13에서는 이동 단말기에서 재생 중인 멀티미디어 파일(예컨대, 음악 또는 동영상 등)이 사용자 음성이 지시하는 타겟 단말로 전송되는 것으로 예시되었다. 도시된 예와 달리, 제어부(180)는 이동 단말기에서 재생 중인 멀티미디어 파일이 타겟 단말에서 스트리밍 재생되도록 하기 위한 스트리밍 데이터를 타겟 단말로 전송할 수도 있다. 스트리밍 데이터를 수신한 타겟 단말은 이동 단말기에서 재생 중인 컨텐트를 스트리밍 재생할 수 있을 것이다.
도 10 내지 도 13에서는 사용자의 음성이 입력되면, 제어부(180)가 사용자 음성이 지시하는 타겟으로 데이터(예컨대, 위치 정보, 캡처 이미지, 사진 및 음악 파일 등)를 전송할 수 있는 것으로 예시되었다. 제어부(180)는 사용자의 음성이 입력된 이후, 기 설정된 다른 제스처(예컨대, 입가에서 이동 단말기를 떼는 제스처 입력)이 수신되면 비로소 사용자 음성이 지시하는 타겟에게 데이터가 전송되도록 제어할 수도 있다.
만약, 기 설정된 다른 제스처가 수신되기 전까지, 사용자가 음성을 통해 복수 타겟을 지시한 경우라면, 제어부(180)는 사용자 음성이 지시한 복수 타겟 모두에게 데이터를 전송할 수 있을 것이다. 일 예로, 사용자 음성이 'Jane' 및 'Tom'을 지시하는 경우라면, 제어부(180)는 Jane의 단말기 및 Tom 의 단말기 모두에게 데이터를 전송할 수 있을 것이다.
도 10 내지 도 13에 도시된 예에서와 달리, 제어부(180)는 사용자의 음성이 입력되면(또는 사용자 음성이 입력된 후 기 설정된 다른 제스처가 수신되면), 사용자 음성이 지시하는 타겟이 수신인으로 지정되고, 데이터(예컨대, 위치 정보, 캡처 이미지, 사진 및 음악 파일 등)가 첨부된 메시지 작성 화면이 출력되도록 제어할 수도 있다.
일 예로, 도 14는 데이터가 첨부된 메시지 작성 화면이 출력되는 예를 도시한 도면이다. 설명의 편의를 위해, 이동 단말기를 통해서는 지도 어플리케이션이 실행되고 있는 것으로 가정한다.
사용자가 입가로 이동 단말기를 들어 올리는 제스처를 취하고, 디스플레이부(151)의 임의 지점을 터치한 경우, 제어부(180)는 마이크(122)를 활성화하고, 도 14의 (a)에 도시된 예에서와 같이 포인터에 의해 터치된 위치에 마커(1410)가 표시되도록 제어할 수 있다.
포인터에 의해 디스플레이부(151)가 터치되고 있는 동안 사용자의 음성 입력이 수신되면, 제어부(180)는 사용자의 음성 입력이 지시하는 타겟으로 전송될 메시지 작성 화면이 출력되도록 제어할 수 있다. 이때, 마커(1410)의 표시 위치에 대응하는 위치 정보(예컨대, 행정 구역 주소 또는 웹 상에서 마커(1410)가 지시하는 위치로 액세스하기 위한 URL 주소 등)가 메시지의 본문에 삽입될 수도 있고, 지도를 캡처한 캡처 이미지가 메시지의 첨부 파일로서 설정될 수도 있다.
일 예로, 도 14의 (b)에 도시된 예에서와 같이, 사용자의 음성 입력이 'Jane'이라는 타겟을 지시하는 경우라면, 제어부(180)는 'Jane'의 단말기로 메시지를 전송하기 위한 메시지 작성 화면이 표시되도록 제어할 수 있다. 이때, 제어부(180)는 도 14의 (c)에 도시된 예에서와 같이, 위치 정보(1420)가 메시지의 본문에 삽입되도록 제어하거나, 도 14의 (d)에 도시된 예에서와 같이, 디스플레이부(151)의 출력 화면을 캡처한 캡처 이미지가 메시지의 첨부 파일(1430)로 설정되도록 제어할 수 있다.
도 14에서는 지도 어플리케이션이 실행되고 있는 동안 이동 단말기의 동작을 예시하였지만, 도 11 내지 도 13를 통해 설명한 바와 같이, 사진 파일 또는 음악 파일 등과 같은 컨텐트가 출력되는 동안 사용자 음성에 대한 응답으로 사진 파일 또는 음악 파일 등의 컨텐트가 첨부된 메시지 작성 화면이 출력될 수도 있다 할 것이다.
메시지 작성 화면이 출력되는 동안 사용자 음성이 입력되면, 제어부(180)는 사용자 음성을 STT 변환한 텍스트가 메시지 본문에 삽입되도록 제어할 수 있다.
일 예로, 도 15는 사용자 음성을 STT 변환한 텍스트가 메시지의 본문에 삽입되는 예를 도시한 도면이다.
사용자가 입가로 이동 단말기를 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고, 도 15의 (a)에 도시된 예에서와 같이, 마이크(122)가 활성화되었음을 알리는 인디케이터가 출력되도록 제어할 수 있다. 반대로, 이동 단말기를 입가에서 떼는 제스처를 취하면, 제어부(180)는 마이크(122)를 비활성화하고, 인디케이터의 출력을 종료할 수 있다. 즉, 사용자는 이동 단말기를 입가에 들어 올리거나 내리는 제스처로 간단히 마이크(122)를 활성화 또는 비활성화 할 수 있다.
마이크(122)가 활성화된 상태에서 사용자의 음성이 수신되면, 제어부(180)는 사용자가 입력한 음성을 STT 변환한 텍스트가 메시지의 본문으로 삽입되도록 제어할 수 있다. 일 예로, 도 15의 (b)에 도시된 예에서와 같이, 사용자의 음성이 'Hello'인 경우라면, 제어부(180)는 도 15의 (c)에 도시된 예에서와 같이, 메시지의 본문에 'Hello'라는 텍스트가 삽입되도록 제어할 수 있다.
이때, 사용자의 음성이 오(吳)변환되는 문제점을 해결하기 위해, 제어부(180)는 사용자의 음성을 STT 변환한 텍스트가 출력된 후 소정 시간 이내에 기 설정된 제스처(예컨대, 이동 단말기를 내렸다가 들어올리는 제스처, 이동 단말기를 소정 횟수 흔드는 제스처 또는 이동 단말기를 회전하는 제스처)가 수신되면, 변환된 텍스트가 삭제되도록 제어할 수 있다.
일 예로, 사용자의 음성을 STT 변환한 텍스트가 출력된 이래로 소정 시간 이내, 도 15의 (d)에 도시된 예에서와 같이 사용자가 이동 단말기를 내렸다가 들어올리는 제스처(즉, 이동 단말기를 입가에서 떼었다가 붙이는 제스처)가 수신되면, 제어부(180)는 사용자 음성을 STT 변환한 텍스트를 삭제할 수 있다.
사용자의 메시지 작성이 완료되면, 제어부(180)는 타겟에게 작성된 메시지를 전송할 수 있다. 일 예로, 제어부(180)는 메시지의 전송을 트리거하는 버튼의 터치 입력 또는 메시지 전송을 트리거하는 사용자의 음성 명령에 대한 응답으로 메시지 전송을 개시할 수 있다.
도 10 내지 도 13에서는 사용자 음성이 지시하는 타겟으로 데이터(예컨대, 위치 정보, 캡처 이미지, 사진 및 음악 파일 등)가 전송되는 것으로 예시되었다. 도시된 예와 달리, 데이터를 전송할 타겟이 이미 정해져 있는 상태라면, 제어부(180)는 사용자 음성을 녹음한 녹음 파일 또는 사용자 음성을 STT 변환한 텍스트가 타겟으로 전송되도록 제어할 수도 있다.
일 예로, 도 16은 사용자 음성에 기초하여 생성된 메시지가 타겟에게 전송되는 예를 도시한 도면이다. 설명의 편의를 위해, 디스플레이부(151)를 통해서는 복수의 인물이 참석하기로 예정된 일정 정보가 출력되는 것으로 가정한다.
사용자가 입가로 이동 단말기를 들어 올리는 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고 마이크(122)가 활성화되었음을 지시하는 인디케이터(1610)가 출력되도록 제어할 수 있다. 만약, 사용자가 디스플레이부(151)를 터치한다면, 제어부(180)는 도 16의 (b)에 도시된 예에서와 같이, 사용자의 터치 입력에 대한 응답으로, 일정에 참석하기로 예정된 인물들의 정보가 출력되도록 제어할 수 있다. 구체적으로, 제어부(180)는 전화번호부로부터 일정에 참석하기로 예정된 인물의 이름과 매칭되는 연락처 정보를 추출하거나, 일정에 참석하기로 예정된 인물의 이름과 매칭되는 이미지를 추출하여 추출된 정보를 디스플레이부(151)에 표시할 수 있다. 일 예로, 도 16의 (b)에서는 일정에 참석하기로 예정된 인물들의 사진(1622, 1624, 1626)이 출력되는 것으로 예시되었다.
이후, 사용자가 음성을 입력하면, 제어부(180)는 사용자가 입력한 음성을 녹음한 녹음 파일 또는 사용자가 입력한 음성을 STT 변환한 텍스트를 일정에 참석하기로 예정된 인물들에게 전송할 수 있다.
일 예로, 도 16의 (c)에 도시된 예에서와 같이, 사용자가 "도착하면 전화주세요"라는 음성을 입력한 경우라면, 제어부(180)는 도 16의 (d)에 도시된 예에서와 같이, 사용자의 음성을 녹음한 음성 녹음 파일 또는 "도착하면 전화주세요"라는 텍스트가 일정에 참석하기로 예정된 인물들에게 전송되도록 제어할 수 있다.
다른 예로, 제어부(180)는 도 15를 통해 설명한 바와 같이, 타겟들에게 전송할 메시지를 작성하기 위한 메시지 작성 화면을 출력하고, 사용자 음성을 STT 변환한 텍스트가 메시지의 본문에 삽입되도록 제어할 수도 있다.
사용자가 입가로 이동 단말기를 가져가는 제스처를 취한 경우, 이동 단말기로부터 사용자 입까지의 거리에 따라 디스플레이부(151)에 대한 시야가 확보될 수도, 디스플레이부(151)에 대한 시야가 확보되지 않을 수도 있다. 이에, 제어부(180)는 사용자가 디스플레이부(151)에 대한 시야를 확보하였는지 여부에 따라, 사용자 음성을 STT 변환한 텍스트를 출력하거나, 텍스트 출력을 생략할 수 있다.
일 예로, 도 17은 사용자와 이동 단말기 사이의 거리에 따라, 사용자 음성을 STT 변환한 텍스트의 출력 여부가 결정되는 예를 도시한 도면이다.
도 17의 (a)에 도시된 예에서와 같이, 사용자가 이동 단말기를 들어 올린 뒤에도, 사용자와 이동 단말기 사이의 거리가 충분히 멀어 사용자가 이동 단말기의 디스플레이부(151)를 볼 수 있는 경우라면, 제어부(180)는 사용자 음성을 STT 변환한 텍스트가 디스플레이부(151)를 통해 출력되도록 제어할 수 있다.
이와 달리, 도 17의 (b)에 도시된 예에서와 같이, 사용자가 이동 단말기를 들어 올린 뒤, 사용자와 이동 단말기 사이의 거리가 가까워 사용자가 이동 단말기의 디스플레이부(151)를 볼 수 없는 상태라면, 제어부(180)는 사용자 음성을 STT 변환한 텍스트의 출력을 생략할 수 있다.
도 17의 (a) 및 도 17의 (b)에 도시된 예에서, 제어부(180)는 근접 센서 또는 거리 측정 센서 등을 통해 이동 단말기와 사용자 사이의 거리가 기 설정된 거리 이상이 되었는지 여부를 판단할 수도 있고, 카메라를 통해 입력되는 영상을 분석하여 사용자가 디스플레이부(151)에 대한 시야를 확보하였는지 여부를 판단할 수도 있다. 일 예로, 제어부(180)는, 카메라를 통해 입력되는 영상에 사용자의 눈이 촬영된 경우라면, 디스플레이부(151)를 통해 사용자 음성을 STT 변환한 텍스트를 출력하고, 카메라를 통해 입력되는 영상에 사용자의 눈이 촬영되고 있지 않은 상태라면, 사용자 음성을 STT 변환한 텍스트의 출력을 생략할 수 있다.
다른 예로, 제어부(180)는 사용자의 시선이 이동 단말기를 향하는지 여부에 따라 사용자 음성을 STT 변환한 텍스트를 출력할 것인지 여부를 결정할 수도 있다.
본 발명에 따른 이동 단말기는 전화 통화 중에도 사용자의 제스처 입력에 따라 마이크(122)를 활성화하거나 비활성화 할 수도 있다.
일 예로, 도 18은 전화 통화 도중 마이크(122)가 활성화 또는 비활성화되는 예를 도시한 도면이다. 도 18의 (a)에 도시된 예에서와 같이, 전화 통화 도중 이동 단말기를 입가로 가져가는 제스처가 입력되면, 제어부(180)는 마이크(122)가 활성화 되도록 제어할 수 있다. 반대로, 도 18의 (b)에 도시된 예에서와 같이, 전화 통화 도중 이동 단말기를 입가에서 떼는 제스처가 입력되면, 제어부(180)는 마이크(122)가 비활성화되도록 제어할 수 있다.
즉, 사용자는 이동 단말기를 들어 올리거나 내리는 것만으로 간단하게 마이크(122)의 활성 상태를 조절할 수 있다.
추가로, 제어부(180)는 디스플레이부(151) 또는 베젤을 터치하지 않은채 입력되는 음성은 통화음으로 취급하고, 디스플레이부(151) 또는 베젤을 터치한채 입력되는 음성은 이동 단말기(100)를 제어하기 위한 음성으로 취급할 수 있다. 즉, 사용자가 디스플레이부(151) 또는 베젤을 터치한채 음성을 입력하는 경우, 제어부(180)는 사용자 음성이 지시하는 타겟에게 데이터를 전송하거나, 사용자 음성을 녹음할 수 있다. 사용자가 베젤 또는 디스플레이부(151)를 터치한 채 음성을 입력한 경우, 입력되는 음성은 통화음으로 취급되지 않으며, 이에 따라, 통화 상대방에게 전달되지 않을 수 있다.
이동 단말기를 사용자의 귓가에 가져가는 제스처가 입력되는 경우, 제어부(180)는 이동 단말기에서 발생한 이벤트의 내용을 TTS 변환한 음성 데이터가 출력되도록 제어할 수도 있다. 여기서, 이동 단말기에서 발생한 이벤트에는, 메시지의 수신, 부재중 전화의 발생, 알람, 일정 등이 포함될 수 있다. 이동 단말기를 귓가에 가져대면, 제어부(180)는 수신된 메시지의 내용, 부재중 전화의 내용, 알람의 이름, 기 등록된 일정의 내용 등이 출력되도록 제어할 수 있다.
일 예로, 도 19는 이동 단말기를 귓가에 가져갔을 때 이동 단말기의 동작을 설명하기 위한 도면이다. 설명의 편의를 위해 이동 단말기는 도 19의 (a)에 도시된 예에서와 같이, 2개의 새로운 메시지를 수신한 상태인 것으로 가정한다. 도 19의 (b)에 도시된 예에서와 같이, 이동 단말기를 귓가로 가져가는 제스처가 입력되면, 제어부(180)는 이동 단말기에서 발생한 이벤트에 대한 정보가 출력되도록 제어할 수 있다.
일 예로, 도 19의 (b)에서는 메시지를 전송한 인물의 정보 및 메시지의 내용이 음성으로 변환되어 출력되는 것으로 예시되었다.
만약, 이동 단말기에서 발생한 이벤트가 복수개인 경우, 제어부(180)는 사용자의 제스처 입력에 대한 응답으로 다음 차례의 이벤트의 상세 내용이 출력되도록 제어할 수도 있다.
일 예로, 도 19의 (c)에 도시된 예에서와 같이, 귓가에 놓인 이동 단말기를 앞뒤로 흔드는 제스처가 입력되는 경우, 제어부(180)는 도 19의 (d)에 도시된 예에서와 같이 다음 메시지의 내용을 TTS 변환한 음성 데이터가 출력되도록 제어할 수 있다.
도 19의 (c)에서는 다음 메시지의 출력을 트리거하는 제스처 입력이 이동 단말기를 앞뒤로 흔드는 것으로 예시하였으나, 본 발명은 이에 한정되지 않는다. 일 예로, 이동 단말기를 귓가에서 떼었다가 다시 귓가로 가져가는 제스처 입력 또는 다음 메시지의 출력을 지시하는 사용자의 음성 명령 등과 같이 다양한 형태의 사용자 입력에 의해 다음 메시지의 출력이 시작될 수도 있다고 할 것이다.
아울러, 사용자 입력이 추가로 입력되지 않더라도, 첫번째 메시지의 출력이 완료되면, 제어부(180)는 자동으로 두번째 메시지의 출력이 시작되도록 제어할 수도 있다.
제어부(180)는 사용자와 이동 단말기 사이의 거리를 고려하여 볼륨을 조절할 수 있다. 구체적으로, 제어부(180)는 이동 단말기가 사용자의 귀와 가까워 질수록 볼륨이 감소하도록 제어할 수 있다.
일 예로, 도 20은 이동 단말기의 볼륨이 조절되는 예를 도시한 도면이다.
도 20의 (a) 및 (b)에 도시된 예에서와 같이, 이동 단말기를 귓가에 가져가는 제스처가 입력되면, 제어부(180)는 이동 단말기의 볼륨이 소정 레벨 이하로 감소하도록 제어할 수 있다. 이후, 도 20의 (b) 및 (c)에 도시된 예에서와 같이, 이동 단말기가 귀에 더욱더 밀착하게 되면, 제어부(180)는 이동 단말기의 볼륨을 더욱더 감소시켜 속삭임 모드에 진입하도록 하거나, 골전도 모드에 진입하도록 제어할 수 있다.
속삭임 모드는 이동 단말기의 볼륨이 소정 레벨 이하가 된 상태(예컨대, 볼륨이 최소 레벨로 설정된 상태)일 수 있고, 골전도 모드는 음파를 발생시켜 소리를 전달하는 상태를 의미할 수 있다.
이때, 제어부(180)는 이동 단말기의 디스플레이부(151)가 귓가에 밀착하는 경우와 밴드부가 귓가에 밀착하는 경우를 구분하여, 어느 한쪽의 경우에는 이동 단말기가 속삭임 모드로 설정되도록 제어하고 다른 한쪽의 경우에는 골전도 모드로 설정되도록 제어할 수 있다.
일 예로, 제어부(180)는 도 20의 (c)에 도시된 예에서와 같이, 디스플레이부(151)가 사용자의 귓가에 밀착하는 경우에는 이동 단말기를 속삭임 모드로 설정하고, 이동 단말기의 밴드부가 귓가에 밀착하는 경우에는 이동 단말기를 골전도 모드로 설정할 수 있다.
제어부(180)는 사용자 음성이 지시하는 키워드를 이용하여 웹 검색을 수행하거나, 사용자 음성이 지시하는 대상으로 전화를 걸 수도 있다. 이때, 사용자가 이동 단말기를 가린채 음성을 입력하는 경우라면, 제어부(180)는 사용자 음성에 의한 웹 검색 기록 또는 사용자 음성에 의한 통화 기록이 남지 않도록 제어할 수 있다.
일 예로, 도 21은 사용자 음성이 지시하는 키워드에 대한 웹 검색이 수행되는 예를 도시한 도면이다.
사용자가 이동 단말기를 입가에 가져가는 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고 마이크(122)가 활성화되었음을 알리는 인디케이터(2110)가 출력되도록 제어할 수 있다(도 21의 (a) 참조).
이후, 사용자가 음성을 입력하면, 제어부(180)는 사용자의 음성을 STT 변환한 텍스트를 키워드로 삼아 웹 검색을 수행할 수 있다. 일 예로, 도 21의 (b)에 도시된 예에서와 같이, 사용자 음성이 'Seoul'이란 단어를 가리킨다면, 제어부(180)는 도 21의 (c)에 도시된 예에서와 같이, 'Seoul'이라는 키워드에 대한 웹 검색 결과가 출력되도록 제어할 수 있다.
이때, 도 21의 (b)에 도시된 예에서와 같이, 사용자가 한손으로 이동 단말기를 가린 채 음성을 입력한 경우라면, 제어부(180)는 사용자 음성이 지시하는 키워드에 대한 웹 검색 기록이 남지 않도록 제어할 수 있다. 사용자가 한손으로 이동 단말기를 가리는 경우, 제어부(180)는 도 21의 (b)에 도시된 예에서와 같이, 검색 기록이 남지 않을 것임을 알리는 메시지(2120)를 출력할 수 있다.
여기서, 이동 단말기를 가린다는 것은 도 21의 (b)에 도시된 예에서와 같이, 손바닥을 오므려 이동 단말기 측면에 두는 것일 수도 있고, 도시되지는 않았지만, 디스플레이부(151) 또는 베젤의 적어도 일부 영역을 가리는 것일 수도 있다.
다른 예로, 도 22은 사용자 음성이 지시하는 타겟으로 전화를 거는 예를 도시한 도면이다.
사용자가 이동 단말기를 입가에 가져가는 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고 마이크(122)가 활성화되었음을 알리는 인디케이터(2210)가 출력되도록 제어할 수 있다.
이후, 사용자가 음성을 입력하면, 제어부(180)는 사용자의 음성을 STT 변환한 텍스트가 지시하는 인물에게 전화를 걸 수 있다. 일 예로, 사용자 음성이 'Jane'을 지시하는 경우라면, 제어부(180)는 도 22의 (c)에 도시된 예에서와 같이, 'Jane'에게 전화를 걸 수 있다.
이때, 도 22의 (b)에 도시된 예에서와 같이, 사용자가 한손으로 이동 단말기를 가린 채 음성을 입력한 경우라면, 제어부(180)는 사용자 음성이 지시하는 타겟으로의 통화 기록이 남지 않도록 제어할 수 있다. 아울러, 제어부(180)는 사용자가 한손으로 이동 단말기를 가리는 경우, 도 22의 (b)에 도시된 예에서와 같이 통화 기록이 남지 않을 것임을 알리는 메시지(2220)를 출력할 수 있다.
도 23은 사용자 음성에 의해 메시지가 전송되는 예를 도시한 도면이다.
사용자가 이동 단말기를 입가에 가져가는 제스처를 취하면, 제어부(180)는 마이크(122)를 활성화하고 마이크(122)가 활성화되었음을 알리는 인디케이터(2310)가 출력되도록 제어할 수 있다. 이후, 특정 인물을 지시하는 사용자 음성이 수신되면, 제어부(180)는 사용자 음성이 지시하는 인물이 수신인으로 지정된 메시지 작성 화면이 출력되도록 제어할 수 있다. 일 예로, 도 23의 (b) 및 (c)에서는 사용자 음성이 지시하는 인물, 'Jane'에게 전송할 메시지를 작성하기 위한 메시지 작성 화면이 출력되는 것으로 예시되었다.
이후, 사용자가 음성을 입력하면, 제어부(180)는 사용자의 음성을 STT 변환한 텍스트가 메시지의 본문에 삽입되도록 제어할 수 있다. 일 예로, 사용자 음성이 'Hello'를 지시하는 경우라면, 제어부(180)는 도 23의 (d)에 도시된 예에서와 같이, 메시지의 본문에 'Hello'가 삽입되도록 제어할 수 있다.
이때, 도 23의 (c)에 도시된 예에서와 같이, 사용자가 한손으로 이동 단말기를 가린 채 음성을 입력한 경우라면, 제어부(180)는 해당 메시지의 전송 기록이 남지 않도록 제어할 수 있다. 아울러, 제어부(180)는 사용자가 한손으로 이동 단말기를 가리는 경우, 도 23의 (c)에 도시된 예에서와 같이 메시지 전송 기록이 남지 않을 것임을 알리는 메시지가 출력되도록 제어할 수 있다.
도 23에서는 메시지 본문 삽입을 위한 음성이 입력될 때 사용자가 한 손으로 이동 단말기를 가려야 메시지의 전송 기록이 남지 않게 되는 것으로 예시하였다. 메시지 수신인을 지정하기 위한 사용자 입력을 입력할 때 사용자가 한 손으로 이동 단말기를 가리는 경우에 있어서도, 해당 메시지의 전송 기록은 남지 않게 될 수 있다.
도 21 내지 도 23에 도시된 예에서와 같이, 제어부(180)는 이동 단말기가 가려진 상태에서 사용자 음성이 입력되는 경우, 사용자 음성이 지시하는 기능의 실행 이후 또는 사용자 음성이 지시하는 타겟과의 통신 이후, 실행 기록 또는 통신 기록이 생성되지 않도록 제어할 수 있다. 이때, 제어부(180)는 센싱부(140)의 감지 신호 또는 카메라를 통해 입력되는 영상 분석을 통해 사용자가 이동 단말기를 가리고 있는지 여부를 판단할 수 있을 것이다.
도 21 내지 도 23에서는 이동 단말기를 가리는 제스처에 의해 사용 로그(log)의 생성이 차단되는 것으로 예시하였지만, 사용 로그의 생성을 차단하기 위한 제스처 입력은 예시된 것에 한정되는 것은 아니라 할 것이다. 즉, 도시된 예와 다른 제스처 입력에 의해 사용 로그의 생성이 차단될 수도 있다 할 것이다.
본 발명에 따른 이동 단말기는 사용자의 터치 입력에 대한 응답으로 특정 컨텐트 또는 특정 어플리케이션에 잠금 설정을 할 수 있다. 특정 컨텐트 또는 특정 어플리케이션에 잠금이 설정되면, 사용자는 잠금을 해제하여야만 특정 컨텐트 또는 특정 어플리케이션에게 액세스 할 수 있다 할 것이다.
일 예로, 도 24는 음성 메모가 잠금 설정되는 예를 도시한 도면이다. 사용자가 이동 단말기를 입가로 들어 올리는 제스처를 취하고, 베젤을 터치하는 경우, 제어부(180)는 도 24의 (a)에 도시된 예에서와 같이, 마이크(122)를 통해 입력되는 소리를 녹음하는 음성 녹음을 시작할 수 있다.
사용자 음성을 녹음하던 중 사용자로부터 기 설정된 터치 입력이 수신되면, 제어부(180)는 음성 녹음을 멈추고, 생성된 음성 녹음 파일이 잠금 설정되도록 제어할 수 있다. 일 예로, 도 24의 (b)에 도시된 예에서와 같이, 베젤을 터치하고 있는 두개의 포인터가 시계방향으로 회전하는 터치 입력이 수신되는 경우, 제어부(180)는 도 24의 (b)에 도시된 예에서와 같이, 음성 녹음 파일이 잠금 설정되도록 제어할 수 있다.
이후, 제어부(180)는 잠금 설정된 음성 녹음 파일의 잠금이 해제되어야만 음성 녹음 파일을 재생할 수 있을 것이다.
음성 녹음 파일 뿐만 아니라, 사진, 음악 파일, 동영상, 일정, 연락처, 메시지 등도 잠금 설정될 수 있다.
일 예로, 도 25는 사진이 잠금 설정되는 예를 도시한 도면이다. 디스플레이부(151)를 통해 사진이 출력되고 있는 동안 기 설정된 터치 입력이 수신되면, 제어부(180)는 디스플레이되던 사진이 잠금 설정되도록 제어할 수 있다. 일 예로, 도 25의 (a)에 도시된 예에서와 같이, 사진이 출력되고 있는 동안 베젤을 터치하는 두개의 포인터가 시계 방향으로 회전하는 터치 입력이 수신되는 경우, 제어부(180)는 도 25의 (b)에 도시된 예에서와 같이, 디스플레이되고 있던 사진이 잠금 설정되도록 제어할 수 있다.
이후, 제어부(180)는 잠금 설정된 사진의 잠금이 해제되어야만 잠금 설정된 사진 파일을 출력할 수 있을 것이다.
도 24 및 도 25에서는 이동 단말기에 저장된 개별 데이터에 대한 잠금 설정이 가능한 것으로 예시되었다. 추가로, 제어부(180)는 이동 단말기에 설치된 어플리케이션에 대해서도 잠금 설정할 수도 있다.
일 예로, 도 26는 특정 어플리케이션이 잠금 설정되는 예를 도시한 도면이다. 특정 어플리케이션이 실행되고 있는 동안 기 설정된 터치 입력이 수신되면, 제어부(180)는 어플리케이션의 실행을 멈추고(예컨대, 백그라운드 상태로 전환), 어플리케이션을 잠금 상태로 설정할 수 있다. 일 예로, 도 26의 (a)에 도시된 예에서와 같이, '헬스 캐어'라고 명명된 아이콘이 터치되면, 제어부(180)는 '헬스 캐어' 어플리케이션이 실행할 수 있다. 헬스 캐어 어플리케이션이 실행되고 있는 동안, 도 26의 (b)에 도시된 예에서와 같이, 베젤을 터치하는 두개의 포인터가 시계 방향으로 회전하는 터치 입력이 수신되는 경우, 제어부(180)는 어플리케이션의 실행을 중단하고, 어플리케이션이 잠금 설정되도록 제어할 수 있다. 이때, 제어부(180)는 잠금 설정된 어플리케이션의 아이콘 위에 해당 어플리케이션이 잠금 상태임을 알리는 인디케이터(2610)이 출력되도록 제어할 수 있다.
이후, 제어부(180)는 잠금 설정된 어플리케이션의 잠금이 해제되어야만, 잠금 설정된 어플리케이션을 실행할 수 있을 것이다.
잠금 설정된 데이터 또는 잠금 설정된 어플리케이션에 액세스 하고자 하는 사용자 입력이 수신되면, 제어부(180)는 잠금을 해제하기 위한 잠금 해제 화면이 출력되도록 제어할 수 있다. 만약, 잠금을 해제하기 위한 암호가 설정되어 있다면(예컨대, PIN 코드 또는 패턴 암호 등), 잠금 설정 화면에는 암호를 입력하기 위한 오브젝트가 포함될 수 있을 것이다. 이 경우, 제어부(180)는 사용자가 입력한 암호의 정확성을 검증하여 데이터 또는 어플리케이션의 잠금을 해제할 수 있을 것이다.
만약 잠금을 해제하기 위한 암호가 설정되어 있지 않은 상태라면, 제어부(180)는 기 설정된 터치 입력에 대한 응답으로 잠금을 해제할 수 있다. 일 예로, 제어부(180)는 베젤을 터치한 두개의 포인터가 반시계 방향으로 회전하는 터치 입력에 대한 응답으로 데이터 또는 어플리케이션의 잠금을 해제할 수 있다.
상술한 예에서는 베젤을 터치한 두개의 포인터가 시계 방향으로 회전하는 것이 잠금 설정을 위한 터치 입력으로 예시되고, 베젤을 터치한 두개의 포인터가 반시계 방향으로 회전하는 것이 잠금 해제를 위한 터치 입력으로 예시되었다. 다만, 예시한 터치 입력은 설명의 편의를 위해 예시한 것일 뿐 본 발명을 한정하는 것은 아니라 할 것이다. 나아가 베젤 영역이 아닌 디스플레이부(151)에 대한 터치 입력에 의해 잠금 또는 잠금 해제가 이루어질 수도 있다 할 것이다.
상술한 예에서는 기 설정된 제스처(예컨대, 사용자가 이동 단말기를 입가로 들어올리는 제스처)가 수신되어야 마이크(122)가 활성화되어, 사용자가 음성을 입력할 수 있는 상태가 되는 것으로 예시되었다. 그러나, 사용자가 운전 중이거나, 사용자가 양손 가득 물건을 들고 있는 상태라면, 사용자가 이동 단말기를 입가로 들어올리는 제스처를 취하기 쉽지 않다. 이에 따라, 제어부(180)는 사용자가 운전 중인것으로 판단되는 경우 또는 이동 단말기를 착용한 손으로 물건을 들고 있는 경우에는 마이크(122)를 활성화하여 언제든지 음성을 청취할 수 있는 상태가 되도록 제어할 수 있다.
다만, 이동 단말기의 오동작을 방지하기 위해, 제어부(180)는 기 설정된 문구가 수신된 이후부터 음성 명령 기능이 시작되도록 제어할 수 있다. 일 예로, 기 설정된 문구가 'Ok Watch'인 경우, 제어부(180)는 마이크(122)를 통해 'Ok Watch'라는 어구가 수신되기 전까지는 사용자 음성을 무시하다가, 'Ok Watch'라는 어구가 수신되면 비로소 사용자 음성의 처리를 시작할 수 있다. 그리고, 음성 명령 기능이 실행된 이후 소정 시간 동안 사용자 음성이 수신되지 않는 경우, 제어부(180)는 자동으로 음성 명령 기능이 비활성화되도록 제어할 수도 있다 할 것이다.
이때, 제어부(180)는 이동 단말기가 움직이는 속도를 통해 사용자가 운전하고 있는지 여부를 감지할 수 있고, 이동 단말기를 착용하고 있는 손목에서의 근육 움직임을 통해 사용자가 물건을 들고 있는 상태인지 여부를 감지할 수 있다 할 것이다. 이때, 이동 단말기의 속도는 GPS 등에 의해 측정될 수 있을 것이고, 손목에서의 근육 움직임은 센싱부(140)를 통해 감지될 수 있다 할 것이다.
상술한 실시예들은 와치 타입의 이동 단말기를 중심으로 설명하였지만, 상술한 실시예들이 반드시 와치 타입의 이동 단말기에 적용되는 것은 아니라 할 것이다. 와치 타입의 이동 단말기뿐만 아니라 다른 웨어러블 디바이스(예를 들어, 목걸이 타입 디바이스, 반지 타입 디바이스, 글래스 타입의 디바이스 등)에도 본 발명이 적용될 수 있다 할 것이며, 비 웨어러블 디바이스(예컨대, 스마트폰, 태블릿 PC, MP3 플레이어 등)에도 본 발명이 적용될 수 있다 할 것이다.
본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기(100)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110 : 무선 통신부
110 : 무선 통신부
122 : 마이크
151 : 디스플레이부
170 : 메모리
180 : 제어부

Claims (20)

  1. 와치 타입의 이동 단말기에 있어서,
    터치 입력을 수신하기 위한 터치 입력부;
    무선 통신을 수행하기 위한 무선 통신부;
    상기 이동 단말기의 움직임을 감지하기 위한 센싱부;
    사용자 음성을 수신하기 위한 마이크; 및
    기 설정된 제 1 제스처 입력이 수신되면, 상기 마이크를 활성화하고,
    상기 터치 입력부가 터치된 상태에서 상기 사용자 음성이 수신되는 경우, 상기 사용자 음성이 지시하는 타겟에게 데이터가 전송되도록 제어하고,
    상기 터치 입력부가 터치되지 않은 상태에서 상기 사용자 음성이 수신되는 경우, 상기 이동 단말기 상에서 상기 사용자 음성이 지시하는 기능이 실행되도록 제어하는 제어부
    를 포함하는 이동 단말기.
  2. 제 1 항에 있어서,
    상기 터치 입력부가 터치되고 있을 때 상기 사용자 음성이 수신되는 경우,
    상기 제어부는 상기 터치 입력에 의해 선택된 데이터가 상기 타겟에게 전송되도록 제어하는 것을 특징으로 하는 이동 단말기.
  3. 제 1 항에 있어서,
    상기 터치 입력부가 터치되고 있을 때 상기 사용자 음성이 수신되는 경우,
    상기 제어부는 상기 이동 단말기를 통해 출력 중인 컨텐트가 상기 타겟에게 전송되도록 제어하는 것을 특징으로 하는 이동 단말기.
  4. 제 3 항에 있어서,
    상기 디스플레이부를 통해 사진 컨텐트가 출력되는 동안, 상기 사용자 음성이 수신되는 경우,
    상기 제어부는 상기 사진 컨텐트 속 상기 사용자 음성이 가리키는 인물에게 상기 사진 컨텐트가 전송되도록 제어하는 것을 특징으로 하는 이동 단말기.
  5. 제 1 항에 있어서,
    상기 터치 입력부가 터치되고 있을 때 상기 사용자 음성이 수신되는 경우,
    상기 제어부는 출력 화면을 캡처한 캡처 이미지가 상기 타겟에게 전송되도록 제어하는 것을 특징으로 하는 이동 단말기.
  6. 제 1 항에 있어서,
    상기 터치 입력부는,
    정보를 표시하기 위한 디스플레이부 및 상기 디스플레이부를 감싸는 베젤을 포함하고,
    상기 제어부는 상기 디스플레이부 및 상기 베젤 중 어느 하나가 터치된 상태에서 상기 사용자 음성이 수신되는 경우, 상기 사용자 음성이 지시하는 타겟에게 데이터가 전송되도록 제어하는 것을 특징으로 하는 이동 단말기.
  7. 제 6 항에 있어서,
    상기 디스플레이부 및 상기 베젤 중 다른 하나가 터치되면,
    상기 제어부는 상기 마이크를 통해 입력되는 소리의 녹음이 시작되도록 제어하는 것을 특징으로 하는 이동 단말기.
  8. 제 7 항에 있어서,
    상기 터치 입력부를 통해 기 설정된 터치 입력이 수신되면,
    상기 제어부는 상기 녹음을 종료하고, 녹음 결과로 생성된 녹음 파일이 잠금 상태가 되도록 제어하는 것을 특징으로 하는 이동 단말기.
  9. 제 8 항에 있어서,
    상기 녹음 파일에 액세스 하고자 하는 경우, 상기 제어부는 상기 녹음 파일의 잠금을 해제하기 위한 잠금 해제 화면이 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  10. 제 7 항에 있어서,
    상기 제어부는 상기 녹음이 진행되는 동안 상기 사용자 음성을 STT(Speech to Text) 변환한 텍스트가 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  11. 제 1 항에 있어서,
    상기 제어부는, 상기 제 1 제스처 입력이 수신된 이후 상기 이동 단말기와 상기 사용자 사이의 이격 거리가 소정 거리 이상인 경우, 상기 디스플레이부를 통해 상기 사용자 음성을 STT 변환한 텍스트가 출력되도록 제어하고,
    상기 이동 단말기와 상기 사용자 사이의 이격 거리가 상기 소정 거리 미만인 경우 상기 텍스트 출력을 생략하는 것을 특징으로 하는 이동 단말기.
  12. 제 1 항에 있어서, 상기 제어부는,
    상기 사용자 음성이 수신된 이후, 기 설정된 제 2 제스처 입력이 수신되면, 상기 사용자 음성의 입력을 취소하고,
    상기 사용자 음성이 수신되기 전, 기 설정된 제 3 제스처 입력이 수신되면, 상기 마이크를 비활성화 하는 것을 특징으로 하는 이동 단말기.
  13. 제 1 항에 있어서,
    상기 제어부는 통화 도중 상기 터치 입력부가 터치되지 않은 상태에서 수신되는 상기 사용자 음성은 통화음으로 처리하고, 상기 터치 입력부가 터치된 상태에서 수신되는 상기 사용자 음성은 상기 데이터를 전송할 타겟을 결정하는데 이용하거나 녹음하는 것을 특징으로 하는 이동 단말기.
  14. 제 1 항에 있어서,
    상기 이동 단말기를 사용자의 귓가로 가져가는 제스처 입력이 수신되면, 상기 제어부는 상기 이동 단말기에서 발생한 이벤트의 정보를 소리 데이터로 출력하는 것을 특징으로 하는 이동 단말기.
  15. 제 14 항에 있어서,
    상기 제어부는 상기 이동 단말기가 상기 사용자의 귓가와 가까워질수록 볼륨이 감소하도록 제어하는 것을 특징으로 하는 이동 단말기.
  16. 제 14 항에 있어서,
    상기 이벤트 정보의 소리 데이터가 출력되는 동안 기 설정된 제 2 제스처 입력이 수신되면,
    상기 제어부는 차순위 이벤트의 정보가 소리 데이터로 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  17. 제 1 항에 있어서,
    상기 터치 입력부가 터치되지 않은 상태에서 상기 사용자 음성이 수신되는 경우, 상기 제어부는 상기 사용자 음성이 지시하는 키워드를 이용한 웹 검색을 수행하는 것을 특징으로 하는 이동 단말기.
  18. 제 17 항에 있어서,
    상기 사용자가 상기 이동 단말기의 일부를 가리는 제스처를 취한 상태에서 상기 사용자 음성을 입력한 경우, 상기 제어부는 상기 웹 검색 수행 히스토리가 기록되지 않도록 제어하는 것을 특징으로 하는 이동 단말기.
  19. 제 1 항에 있어서,
    상기 터치 입력부가 터치되지 않은 상태에서 상기 사용자 음성이 수신되는 경우, 상기 제어부는 상기 사용자 음성이 지시하는 인물에게 전화를 거는 것을 특징으로 하고,
    전화 통화 도중 상기 제 1 제스처가 유지되는 상기 마이크가 동안에만 활성화 상태를 유지하도록 제어하는 것을 특징으로 하는 이동 단말기.
  20. 와치 타입 이동 단말기의 제어 방법에 있어서,
    기 설정된 제 1 제스처 입력을 수신하는 단계;
    상기 제 1 제스처 입력에 대한 응답으로 마이크를 활성화하는 단계; 및
    상기 마이크를 통해 사용자 음성을 수신하는 단계를 포함하되,
    터치 입력부가 터치된 상태에서 상기 사용자 음성이 수신된 경우, 상기 사용자 음성이 지시하는 타겟에게 데이터를 전송하고,
    상기 터치 입력부가 터치되지 않은 상태에서 상기 사용자 음성이 수신되는 경우, 상기 사용자 음성이 지시하는 기능을 실행하는 것을 특징으로 하는 이동 단말기의 제어 방법.
KR1020140169548A 2014-12-01 2014-12-01 이동 단말기 및 그 제어 방법 KR20160065503A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140169548A KR20160065503A (ko) 2014-12-01 2014-12-01 이동 단말기 및 그 제어 방법
PCT/KR2015/012395 WO2016089029A1 (en) 2014-12-01 2015-11-18 Mobile terminal and controlling method thereof
US14/948,444 US9696963B2 (en) 2014-12-01 2015-11-23 Mobile terminal and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140169548A KR20160065503A (ko) 2014-12-01 2014-12-01 이동 단말기 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20160065503A true KR20160065503A (ko) 2016-06-09

Family

ID=56079259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140169548A KR20160065503A (ko) 2014-12-01 2014-12-01 이동 단말기 및 그 제어 방법

Country Status (3)

Country Link
US (1) US9696963B2 (ko)
KR (1) KR20160065503A (ko)
WO (1) WO2016089029A1 (ko)

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180098440A (ko) * 2017-02-24 2018-09-04 삼성디스플레이 주식회사 스마트 워치 및 이의 잠금 해제 방법
WO2019199030A1 (ko) * 2018-04-11 2019-10-17 삼성전자 주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391627B (zh) * 2014-12-15 2021-01-15 联想(北京)有限公司 一种控制方法及电子设备
JP6459684B2 (ja) * 2015-03-23 2019-01-30 カシオ計算機株式会社 情報出力装置、情報出力方法及びプログラム
WO2016171467A1 (en) * 2015-04-23 2016-10-27 Samsung Electronics Co., Ltd. Electronic device including rotary member and display method thereof
JP6727921B2 (ja) 2016-05-18 2020-07-22 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法
CN107452383B (zh) * 2016-05-31 2021-10-26 华为终端有限公司 一种信息处理方法、服务器、终端及信息处理系统
JP2019527887A (ja) * 2016-07-13 2019-10-03 ザ マーケティング ストア ワールドワイド，エルピー インタラクティブなリーディングのためのシステム、装置、及び方法
US10438583B2 (en) 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
CN108401066B (zh) * 2017-02-08 2022-01-25 北京奇虎科技有限公司 在智能终端中进行语音控制的方法、装置和智能终端
CN108573597A (zh) * 2017-03-08 2018-09-25 捷音特科技股份有限公司 声控无线系统及其穿戴式语音收发装置
CN107203322B (zh) * 2017-05-12 2021-05-18 歌尔科技有限公司 触控式音响按键及其控制方法
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
JP7006198B2 (ja) * 2017-12-01 2022-01-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
CN108346107B (zh) * 2017-12-28 2020-11-10 创新先进技术有限公司 一种社交内容风险识别方法、装置以及设备
WO2019216996A1 (en) * 2018-05-07 2019-11-14 Apple Inc. Raise to speak
KR102592907B1 (ko) * 2018-06-22 2023-10-23 삼성전자주식회사 텍스트 입력 디바이스 및 그 방법
CN108718402B (zh) * 2018-08-14 2021-04-13 四川易为智行科技有限公司 视频会议管理方法及装置
CN109524003A (zh) * 2018-12-29 2019-03-26 出门问问信息科技有限公司 智能交互终端、以及智能交互终端的信息处理方法
US11087778B2 (en) * 2019-02-15 2021-08-10 Qualcomm Incorporated Speech-to-text conversion based on quality metric
US11537093B2 (en) * 2019-03-08 2022-12-27 Citizen Watch Co., Ltd. Mobile device and mobile device system
EP3779612A1 (fr) * 2019-08-16 2021-02-17 The Swatch Group Research and Development Ltd Procédé et système de diffusion d'un message à un porteur d'une montre
CN111524513A (zh) * 2020-04-16 2020-08-11 歌尔科技有限公司 一种可穿戴设备及其语音传输的控制方法、装置及介质
CN112188646B (zh) * 2020-09-18 2023-08-25 Oppo（重庆）智能科技有限公司 客户终端设备
WO2022160911A1 (zh) * 2021-01-29 2022-08-04 青岛海信传媒网络技术有限公司 显示设备上语音方案的切换方法、显示设备及控制装置
US11804215B1 (en) 2022-04-29 2023-10-31 Apple Inc. Sonic responses

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556222B1 (en) * 2000-06-30 2003-04-29 International Business Machines Corporation Bezel based input mechanism and user interface for a smart watch
US9100493B1 (en) * 2011-07-18 2015-08-04 Andrew H B Zhou Wearable personal digital device for facilitating mobile device payments and personal use
US20070112571A1 (en) * 2005-11-11 2007-05-17 Murugappan Thirugnana Speech recognition at a mobile terminal
US20140045547A1 (en) * 2012-08-10 2014-02-13 Silverplus, Inc. Wearable Communication Device and User Interface
EP3809407A1 (en) * 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US9275638B2 (en) * 2013-03-12 2016-03-01 Google Technology Holdings LLC Method and apparatus for training a voice recognition model database
US9583097B2 (en) * 2015-01-30 2017-02-28 Google Inc. Dynamic inference of voice command for software operation from help information

Cited By (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
KR20180098440A (ko) * 2017-02-24 2018-09-04 삼성디스플레이 주식회사 스마트 워치 및 이의 잠금 해제 방법
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
WO2019199030A1 (ko) * 2018-04-11 2019-10-17 삼성전자 주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US11537360B2 (en) 2018-04-11 2022-12-27 Samsung Electronics Co., Ltd. System for processing user utterance and control method of same
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
KR20210129002A (ko) * 2018-05-07 2021-10-27 애플 인크. 들어서 말하기
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
US9696963B2 (en) 2017-07-04
WO2016089029A1 (en) 2016-06-09
US20160154624A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
KR20160065503A (ko) 이동 단말기 및 그 제어 방법
CN105988666B (zh) 移动终端及其控制方法
KR102102647B1 (ko) 무선 리시버 및 그 제어 방법
KR101832966B1 (ko) 이동 단말기 및 이의 제어방법
KR20160085614A (ko) 이동단말기 및 그 제어방법
US20160357386A1 (en) Display device and controlling method thereof
KR20150144668A (ko) 이동 단말기 및 그 제어 방법
CN105450848A (zh) 移动终端及其控制方法
KR20170017112A (ko) 이동 단말기 및 그 제어 방법
KR20170033062A (ko) 이동 단말기 및 그 제어 방법
KR20160048532A (ko) 이동단말기 및 그 제어방법
KR20150142933A (ko) 와치 타입 단말기 및 그것의 제어 방법
CN110109608B (zh) 文本显示方法、装置、终端及存储介质
KR20180012751A (ko) 상황에 따라 최적화된 화면을 디스플레이하는 웨어러블 단말기
EP2998705A1 (en) Mobile terminal and control method for the mobile terminal
KR20160039407A (ko) 이동 단말기 및 그 제어 방법
KR20150146091A (ko) 이동단말기 및 그 제어방법
CN106302982B (zh) 移动终端以及用于控制该移动终端的方法
US10365888B2 (en) Mobile terminal with microphone configured to receive external input including vibration of air and method for controlling the same in response to external input
KR101623273B1 (ko) 와치 타입의 이동 단말기
EP4131028A1 (en) Note creating method and electronic device
KR20160087969A (ko) 이동 단말기 및 그의 듀얼 lcd연동방법
KR101626307B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR20160019279A (ko) 이동단말기 및 그 제어방법
KR20170006759A (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right