KR102160767B1 - 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법 - Google Patents

제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법 Download PDF

Info

Publication number
KR102160767B1
KR102160767B1 KR1020130071062A KR20130071062A KR102160767B1 KR 102160767 B1 KR102160767 B1 KR 102160767B1 KR 1020130071062 A KR1020130071062 A KR 1020130071062A KR 20130071062 A KR20130071062 A KR 20130071062A KR 102160767 B1 KR102160767 B1 KR 102160767B1
Authority
KR
South Korea
Prior art keywords
portable terminal
touch screen
function
voice
input
Prior art date
Application number
KR1020130071062A
Other languages
English (en)
Other versions
KR20140147557A (ko
Inventor
서호성
조시연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130071062A priority Critical patent/KR102160767B1/ko
Priority to US14/310,716 priority patent/US10162512B2/en
Publication of KR20140147557A publication Critical patent/KR20140147557A/ko
Application granted granted Critical
Publication of KR102160767B1 publication Critical patent/KR102160767B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 휴대 단말에 관한 것으로서, 특히 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법에 관한 것이다.
이를 위한 본 발명은 휴대 단말의 기능 제어 방법에 있어서, 제스처를 감지하는 과정과, 상기 감지된 제스처에 대응하여 음성 인식 모듈을 활성화하는 과정과, 상기 활성화된 음성 인식 모듈에 입력되는 음성을 분석하고, 상기 입력되는 음성에 대응되는 기능을 실행하는 과정을 포함한다.

Description

제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법{MOBILE TERMINAL AND METHOD FOR DETECTING A GESTURE TO CONTROL FUNCTIONS}
본 발명은 휴대 단말에 관한 것으로서, 특히 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법에 관한 것이다.
최근 휴대 단말에서 제공하는 다양한 서비스 및 부가 기능들은 점차 확대되고 있다. 이러한 휴대 단말의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 휴대 단말에서 실행 가능한 다양한 애플리케이션들이 개발되고 있다.
이에 따라 최근 스마트 폰, 휴대폰, 노트 PC 및 태블릿 PC와 같은 이동이 가능할 뿐만 아니라 손목 등에 부착 가능하고, 터치 스크린을 가지는 휴대 단말 내에는 적어도 수 개에서 수백 개의 애플리케이션들이 저장될 수 있으며, 복수 개의 애플리케이션들은 휴대 단말의 터치 스크린에 디스플레이될 수 있다. 그리고, 이러한 휴대 단말 및 애플리케이션들은 손가락 또는 전자펜, 스타일러스 펜 등과 같은 입력 유닛의 터치 또는 호버링에 의해 제어된다.
이와 같이, 다양한 기능을 제공하는 휴대 단말은 손목뿐만 아니라 허리, 발목 등에 부착할 수 있다. 통상적으로 이러한 휴대 단말을 착용형(wearable) 단말이라 칭한다. 이러한, 착용형 단말(즉, 착용형 휴대 단말)은 스마트 시계(smart watch), 와치 폰(watch phone), 팔목 전화(wrist phone), 팔찌 전화(bangle phone) 등 다양하다. 그리고, 이러한 휴대 단말을 이용해 음성 인식 기능을 이용하거나 또는 다른 기능을 이용하고자 하는 경우, 사용자는 터치 스크린을 활성화하기 위한 명령을 입력하고 음성 인식 기능을 실행하기 위해 특정 버튼을 여러번 누르거나 또는 애플리케이션을 실행해야 하는 불편함이 존재한다. 또한, 잠금 설정이 되어 있는 상태에서 음성을 바로 인식해야 할 경우 마이크로 음성이 입력되는지 지속적으로 모니터링을 해야 하며 이는 결국 배터리 소모를 야기시킨다.
상기한 바와 같이 손목, 발목, 허리 등에 착용 가능한 휴대 단말의 터치 스크린이 비활성 상태에 있어도 제스처에 의한 움직임을 감지하여 터치 스크린과 음성 인식 모듈을 활성화하여 휴대 단말을 터치하지 않고 조작할 수 있고 전력 소모를 최소화하는 필요성이 존재한다.
따라서 본 발명은 제스처를 감지하여 휴대 단말을 제어하는 휴대 단말 및 방법을 제공한다.
또한, 본 발명은 제스처 감지에 대응한 음성 인식을 이용하여 휴대 단말의 기능을 제어하는 휴대 단말 및 방법을 제공한다.
상술한 바를 달성하기 위해 본 발명은 휴대 단말의 기능 제어 방법에 있어서, 제스처를 감지하는 과정과, 상기 감지된 제스처에 대응하여 음성 인식 모듈을 활성화하는 과정과, 상기 활성화된 음성 인식 모듈에 입력되는 음성을 분석하고, 상기 입력되는 음성에 대응되는 기능을 실행하는 과정을 포함한다.
바람직하게, 본 발명은 상기 감지된 제스처에 대응하여 터치 스크린을 활성화하는 과정을 더 포함한다.
바람직하게, 본 발명에 따른 음성 인식 모듈은 휴대 단말의 제스처가 감지된 이후 미리 정해진 시간 동안 움직임이 없는 경우에 활성화된다.
바람직하게, 본 발명에 따른 제스처는 휴대 단말의 고도가 높아지면서 휴대 단말의 터치 스크린이 위로 향하도록 하는 움직임을 포함한다.
바람직하게, 본 발명은 제스처가 휴대 단말의 고도가 낮아지면서 휴대 단말의 터치 스크린을 아래로 향하도록 하는 움직임인 경우, 휴대 단말을 움직이게 하는 사용자의 안구를 적어도 하나의 카메라를 통해 스캔한다.
바람직하게, 본 발명은 제스처가 터치 스크린을 아래로 향하도록 하는 움직임이고 사용자의 안구가 감지되는 경우, 음성 인식 모듈을 활성화하는 과정을 더 포함한다.
바람직하게, 본 발명은 제스처가 휴대 단말의 고도가 낮아지면서 휴대 단말의 터치 스크린을 아래로 향하도록 하는 움직임이 발생된 이후 안구가 감지되지 않으면 음성 인식 모듈을 비활성 상태로 유지하는 과정을 더 포함한다.
바람직하게, 본 발명에 따른 휴대 단말에 입력되는 음성에 대응되는 기능은 사용자의 개인 정보의 포함 유무에 따라서 실행 여부가 결정된다.
또한, 상술한 바를 달성하기 위해 본 발명은 휴대 단말의 음성 인식을 이용한 기능 제어 방법에 있어서, 제스처의 감지 이후 미리 정해진 시간 동안 휴대 단말이 움직임이 없는지 판단하는 과정과, 상기 휴대 단말의 음성 인식 모듈을 활성화하는 과정과, 상기 음성 인식 모듈로 입력되는 음성에 대응되는 기능이 개인 정보를 포함하는지 판단하여 상기 기능의 실행 여부를 결정하는 과정을 포함한다.
바람직하게, 본 발명은 미리 정해진 시간 동안 상기 휴대 단말이 움직임이 없으면, 터치 스크린을 활성화하는 과정을 포함한다.
바람직하게, 본 발명은 기능이 개인 정보를 포함하지 않으면, 상기 음성에 대응되는 기능을 실행하는 과정을 포함한다.
바람직하게, 본 발명은 기능이 개인 정보를 포함하고 있으면, 상기 음성에 대응되는 기능을 실행할 수 없음을 출력하는 과정을 더 포함한다.
바람직하게, 본 발명은 음성에 대응하여 실행 가능한 적어도 하나의 기능을 포함하는 리스트를 음성으로 출력하거나 상기 터치 스크린에 디스플레이한다.
바람직하게, 본 발명은 기능이 실행된 이후 미리 정해진 시간 동안 명령이 입력되지 않으면, 상기 기능을 비활성 상태로 전환하는 과정을 더 포함한다.
또한, 상술한 바를 달성하기 위해 본 발명은 음성 인식을 이용하여 기능을 제어하는 휴대 단말에 있어서, 적어도 하나의 기능을 실행하는 터치 스크린과, 제스처를 감지하는 센서 모듈과, 상기 감지된 제스처에 대응하여 음성 인식 모듈을 활성화하여 입력되는 음성을 분석하고, 상기 입력되는 음성에 대응되는 기능의 실행을 제어하는 제어부를 포함한다.
바람직하게, 본 발명에 따른 상기 센서 모듈은 제스처가 상기 휴대 단말의 고도가 높아지면서 상기 터치 스크린이 위로 향하는 움직임인지 감지한다.
바람직하게, 본 발명은 제스처의 감지 이후 미리 정해진 시간 동안 상기 휴대 단말이 수평 상태로 유지되는 경우 상기 터치 스크린과 상기 음성을 입력받기 위한 마이크를 활성화한다.
바람직하게, 본 발명에 따른 제어부는 제스처가 상기 휴대 단말의 고도가 낮아지면서 상기 휴대 단말의 터치 스크린이 아래로 향하도록 놓여지는 경우 상기 휴대 단말을 움직이게 하는 사용자의 안구를 인식하기 위해 적어도 하나의 카메라를 제어한다.
바람직하게, 본 발명에 따른 제어부는 기능이 상기 개인 정보를 포함하지 않으면 상기 음성에 대응되는 기능을 실행하고, 상기 개인 정보를 포함하고 있으면 상기 음성에 대응되는 기능을 실행할 수 없음을 출력한다.
본 발명에 따르면, 휴대 단말에 구비된 기능을 실행하기 위해 손가락을 사용하지 않고, 제스처와 음성을 통해서 휴대 단말을 제어할 수 있으며 저전력으로 음성 기능을 사용할 수 있는 편의성이 있다.
도 1은 본 발명의 일 실시 예에 따른 휴대 단말을 나타내는 개략적인 블록도.
도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도를 나타낸 도면.
도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도를 나타낸 도면.
도 4는 본 발명의 실시 예에 따른 입력 유닛과 터치 스크린의 내부 단면도를 나타낸 도면.
도 5는 본 발명의 실시 예에 따른 입력 유닛을 나타낸 블럭도.
도 6은 본 발명의 실시 예에 따른 휴대 단말의 기능을 제어하는 과정을 나타낸 순서도.
도 7a는 본 발명에 따른 휴대 단말을 사용자가 손목에 장착한 예시도.
도 7b는 본 발명에 따른 휴대 단말을 장착한 손을 앞으로 구부린 예시도.
도 7c는 본 발명의 실시 예에 따른 휴대 단말이 음성 인식 모듈을 활성화한 예시도.
도 7d는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응되는 기능을 실행한 예시도.
도 8은 본 발명의 실시 예에 따른 휴대 단말에서 음성 인식을 이용하여 기능을 제어하는 과정을 나타낸 순서도.
도9a는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응되는 기능을 실행할 수 없음을 출력하는 예시도이고, 도 9b는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응하여 실행될 수 있는 기능들의 리스트를 디스플레이한 예시도
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 본 발명에서 사용되는 용어의 정의는 다음과 같다.
휴대 단말: 휴대뿐만 아니라 손목, 발목, 허리등 사용자의 신체 일부에 장착 가능하고 데이터 송수신과 음성 및 영상 통화가 가능한 이동 단말로서 적어도 하나의 터치 스크린이 구비될 수 있는 모든 단말을 포함한다.
입력 유닛: 터치 스크린상의 접촉 또는 호버링과 같은 비접속 상태에서도 휴대 단말에 명령 또는 입력을 제공할 수 있는 손가락, 전자펜, 디지털 타입의 펜, 집적 회로가 구비되지 않은 펜, 집적 회로가 구비된 펜, 집적 회로와 메모리가 구비된 펜, 근거리 통신이 가능한 펜, 텍스트를 리딩하는 롤롤 펜, 조이스틱 및 스타일러스 펜 중 적어도 하나를 포함한다.
도 1은 본 발명의 일 실시 예에 따른 휴대 단말을 나타내는 개략적인 블록도이다.
도 1을 참조하면, 휴대 단말(100)은 이동 통신 모듈(120), 서브통신 모듈(130), 커넥터(165), 및 이어폰 연결잭(167) 중 적어도 하나를 이용하여 외부 장치(도시되지 아니함)와 연결될 수 있다. 이러한, 외부 장치는 상기 휴대 단말(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 네비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 상기 외부 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 휴대 단말은 유선 또는 무선을 이용하여 다른 장치, 즉 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC, 및 서버와 연결될 수 있다.
도 1을 참조하면, 휴대 단말(100)은 적어도 하나의 터치 스크린(190) 및 적어도 하나의 터치 스크린 컨트롤러(195)를 포함한다. 또한, 휴대 단말(100)은 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(157), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원 공급부(180)를 포함한다.
서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함한다. 또한, 본 발명의 휴대 단말(100)의 카메라 모듈(150)은 휴대 단말(100)의 주 용도에 따라 제1 및/또는 제2 카메라(151, 152)의 줌 인/줌 아웃을 위한 경통부(155), 상기 경통부(155)의 줌 인/줌 아웃을 위해 경통부(155)의 움직임을 제어하는 모터부(154), 촬영을 위해 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 그리고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(111), 휴대 단말(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 휴대 단말(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 휴대 단말(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
또한, 제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(157), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 터치 스크린(190), 및 터치 스크린 컨트롤러(195)를 제어할 수 있다.
또한, 제어부(110)는 터치 스크린(190) 상에 복수의 객체들이 디스플레이된 상태에서 전자 펜 등의 터치 가능한 입력 유닛(168)에 의해 어느 하나의 객체에 근접함에 따른 호버링이 인식되는지 판단하고, 호버링이 발생한 위치에 대응하는 객체를 식별한다. 또한, 제어부(110)는 휴대 단말(100)로부터 입력 유닛까지의 높이와, 높이에 따른 호버링 입력 이벤트를 감지할 수 있는데, 이러한, 호버링 입력 이벤트는 입력 유닛에 형성된 버튼 눌림, 입력 유닛에 대한 두드림, 입력 유닛이 미리 정해진 속도보다 빠르게 이동함, 객체에 대한 터치 중 적어도 하나를 포함한다. 그리고, 제어부(110)는 호버링 입력 이벤트가 발생되면, 호버링 입력 이벤트에 대응하는 미리 설정된 호버링 입력 효과를 터치 스크린(190)에 디스플레이한다.
또한, 제어부(110)는 센서 모듈(170)에 의해 제스처가 감지되는 경우, 감지된 제스처에 대응하여 음성 인식 모듈을 활성화하고, 활성화된 음성 인식 모듈에 입력되는 음성을 분석한다. 제어부(110)는 입력되는 음성에 대응되는 기능을 활성화하여 터치 스크린(190)에 디스플레이한다. 휴대 단말(100)은 사용자의 팔, 다리 등에 장착될 수 있으며, 제어부(110)는 센서 모듈(170)을 통해서 휴대 단말의 제스처를 감지할 수 있다. 또한, 제어부(110)는 음성 인식 모듈을 활성화하기 위해 미리 설정된 속도, 각도, 시간, 고도 등 다양한 정보를 통해 이러한 제스처가 음성 인식 모듈을 활성화하기 위한 움직임인지 아니면 통상적으로 발생될 수 있는 움직임인지를 판단할 수 있다. 또한, 제어부(110)는 제스처의 각도, 속도, 시간, 고도에 따라 다양한 기능을 매핑시킬 수 있으며, 이러한 다양한 움직임에 대응되는 기능을 실행할 수 있다. 예를 들어, 휴대 단말(100)이 90도 이상 움직인 후, 미리 정해진 시간 동안 움직임이 없으면, 제어부(110)는 음성 인식 모듈을 활성화할 수 있다. 이러한, 각각의 기능은 음성 입력으로도 실행 또는 출력될 수 있을 뿐만 아니라 사용자 또는 제조사에 의해 기 설정될 수 있다. 또한, 휴대 단말은 복수의 기능들이 구비될 수 있다. 이러한 기능들은 사용자의 개인 정보를 포함하는 기능과 개인 정보를 포함하지 않는 기능으로 나뉠 수 있다. 상기 개인 정보라 함은 휴대 단말의 사용자의 개인 신상에 관한 정보를 포함하며 타인에게 제공되기를 꺼려하는 정보일 수 있다. 예를 들어, 전화번호부, 이메일, 문자 메시지, 통화 목록, 다이어리, 메신저 및 사진첩 등을 포함하며, 본 발명은 상술한 것 이외에 개인 정보를 포함할 수 있는 다양한 기능을 포함할 수 있으며, 이러한 기능은 사용자의 선택에 의해 타인에게 제공되거나 또는 제공되지 않도록 설정할 수 있다. 또한, 개인 정보를 포함하지 않는 기능은 인터넷 검색, 전화 통화, 지도 검색, 방송 시청 또는 뉴스 보기 등 다양한 기능을 포함한다. 이러한, 개인 정보를 포함하지 않는 기능은 불특정 개인 또는 다수에게 공개 또는 실행되어도 사용자 정보가 노출되지 않는 기능들이다. 이러한 개인 정보를 포함하지 않는 기능 역시 사용자의 선택에 의해 타인에게 제공되거나 또는 제공되지 않도록 설정할 수 있다.
그리고, 제어부(110)는 제스처가 감지되고, 미리 정해진 시간 동안 움직임이 없는 경우 음성 인식 모듈 및 터치 스크린(190) 중 적어도 하나를 활성화한다. 상기 음성 인식 모듈은 제스처가 감지된 후 미리 정해진 시간 동안 움직임이 없는 경우에 활성화될 수 있다. 그리고, 상기 제스처는 휴대 단말(100)의 고도가 높아지면서 휴대 단말의 터치 스크린이 위로 향하도록 움직이는 것을 포함한다. 또한, 상기 제스처가 휴대 단말(100)의 고도가 낮아지면서 휴대 단말의 터치 스크린을 아래로 향하도록 하는 움직임인 경우, 제어부(110)는 휴대 단말을 움직이게 하는 사용자의 안구를 인식 또는 스캔할 수 있는 적어도 하나의 카메라를 제어한다. 제어부(110)는 센서 모듈(170)을 통해 휴대 단말(100)의 터치 스크린(190)이 위를 향하고 있는지 아니면 아래를 향하고 있는지 또는 세워져 있는지를 판단할 수 있다. 그리고, 제어부(110)는 상기 제스처가 발생된 상태 또는 상기 제스처가 발생된 후 미리 정해진 시간 동안 움직임이 없는 상태 또는 상기 제스처가 발생된 후 미리 정해진 시간 동안 움직임이 없는 상태에서 적어도 하나의 카메라에 의해 사용자의 안구가 인식 또는 스캔되는 상태가 되면, 음성 인식 모듈 및 터치 스크린(190) 중 적어도 하나를 활성 상태로 제어한다. 만일, 제스처가 발생된 후 미리 정해진 시간 동안 움직임이 없는 상태이지만, 사용자의 안구가 인식 또는 스캔되지 않은 상태이면, 터치 스크린 및 음성 인식 모듈 중 적어도 하나를 비활성 상태로 유지한다.
또한, 제어부(110)는 제스처의 감지 이후 미리 정해진 시간 동안 휴대 단말이 수평 상태를 유지하는지 분석하여 음성 인식 모듈을 활성화한다. 제어부(110)는 미리 정해진 시간 동안 휴대 단말이 수평 상태로 유지되면, 터치 스크린 및 음성 인식 모듈 중 적어도 하나를 활성화한다. 그리고, 제어부(110)는 음성 인식 모듈로 입력되는 음성에 대응되는 기능이 개인 정보를 포함하는지 판단하여 기능의 실행 여부를 결정한다. 제어부(110)는 상기 음성이 개인 정보를 포함하는 기능을 실행하는 음성인 경우 실행 불가를 사용자에게 출력하고, 실행 가능한 기능 역시 터치 스크린(190)을 통해서 출력할 수 있다. 제어부(110)는 입력되는 음성에 대응되는 기능이 휴대 단말의 사용자에 관한 개인 정보를 포함하지 않는 기능이면, 상기 기능을 실행한다. 그러나, 제어부(110)는 입력되는 음성에 대응되는 기능이 휴대 단말의 사용자에 관한 개인 정보를 포함하는 기능이면, 상기 기능을 실행할 수 없음을 알리는 정보를 사용자에게 출력한다. 이러한 출력은 음성, 경고음, 팝업 창 디스플레이등 다양한 방법이 있으며, 본 발명은 여기에 국한하지 않는다. 또한, 제어부(110)는 음성 입력으로 실행될 수 있는 적어도 하나의 기능들을 나열한 리스트를 팝업 창을 통해서 터치 스크린(190)에 디스플레이할 수 있다. 그리고, 제어부는 상기 기능이 실행된 이후 미리 정해진 시간 동안 명령이 입력되지 않으면 실행된 기능을 비활성 상태로 전환하고, 터치 스크린 역시 슬립 모드로 전환한다. 상기 슬립 모드는 배터리 소모를 방지하기 위해 터치 스크린에 전원이 인가되지 않는 모드이다.
그리고, 이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 휴대 단말(100)이 외부 장치와 연결되도록 할 수 있다. 이동통신 모듈(120)은 휴대 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다. 또한, 서브통신 모듈(130)은 입력 유닛(168)과 제어 신호를 송수신한다. 휴대 단말(100)과 입력 유닛(168)간에 송수신되는 제어 신호는 입력 유닛에 전원을 공급하기 위한 필드, 입력 유닛과의 터치 스크린간의 터치 또는 호버링을 감지한 필드, 입력 유닛에 구비된 버튼의 눌림 또는 입력을 감지하는 필드, 입력 유닛의 식별자, 입력 유닛이 위치한 X축 좌표 및 Y축 좌표를 나타내는 필드 중 적어도 하나를 포함할 수 있다. 또한, 입력 유닛(168)은 휴대 단말(100)로부터 수신되는 제어 신호에 대한 피드백 신호를 휴대 단말(100)로 전송한다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 휴대 단말(100)과 화상형성장치(도시되지 아니함)사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
이러한, 제어부(110)는 서브통신 모듈(130) 무선랜 모듈(131) 중 적어도 하나를 통해서 인접한 통신 장치 또는 원격에 위치한 통신 장치와 통신할 수 있고, 입력 유닛과 통신할 수 있다. 이러한 통신은 제어 신호의 송수신을 이용하여 이루어질 수 있다.
그리고, 휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 또한, 휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다. 본 발명에서는 이러한, 이동통신 모듈(120), 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나 또는 이들의 조합을 송수신부라 칭하며, 이는 본 발명의 범위를 축소하지 않는다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(110)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 카메라 모듈(150)은 피사체를 촬영하기 위해 줌 인/줌 아웃을 수행하는 경통부(155), 상기 경통부(155)의 움직임을 제어하는 모터부(154), 피사체를 촬영하기 위해 필요한 보조 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 제1 카메라(151)는 상기 휴대 단말(100) 전면에 배치되고, 제2 카메라(152)는 상기 휴대 단말(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.
또한, 제1 및 제2 카메라(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 카메라(151, 152)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호로 변환하여 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 카메라(151, 152)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.
GPS 모듈(157)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 휴대 단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 휴대 단말(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166), 이어폰 연결잭(167) 및 입력 유닛(168) 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입/출력 모듈은 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 제어부(110)와의 통신 상기 터치 스크린(190) 상의 커서 움직임 제어를 위해 제공될 수 있다.
버튼(161)은 상기 휴대 단말(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 또한, 마이크(162)는 터치 스크린(190)의 활성 여부에 상관없이 제어부(110)의 제어에 따라 음성 또는 사운드를 입력받을 수 있다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 소리를 휴대 단말(100) 외부로 출력할 수 있다. 또한, 스피커(163)는 근거리 통신 모듈(132)을 통해 입력 유닛(168)으로 전송되는 제어 신호에 대응되는 소리를 출력할 수 있다. 상기 제어 신호에 대응되는 소리는 입력 유닛(168)의 진동 소자(520)의 활성화에 따른 소리, 진동 세기에 대응하여 크기가 달라지는 소리, 및 진동 소자(520)의 비활성화에 따른 소리를 포함한다. 그리고, 스피커(163)는 휴대 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 휴대 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동 모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 휴대 단말(100)은 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 휴대 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치 스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치 스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 상기 휴대 단말(100)과 외부 장치(도시되지 아니함)또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 상기 휴대 단말(100)은 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 휴대 단말(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다.
키패드(166)는 휴대 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치 스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 단말(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 상기 휴대 단말(100)에 연결될 수 있고, 입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 또는 탈착될 수 있다. 이러한, 입력 유닛(168)이 삽입되는 휴대 단말(100) 내부의 일 영역에는 상기 입력 유닛(168)의 장착 및 탈착에 대응하여 동작하는 탈부착 인식 스위치(169)가 구비되어, 제어부(110)로 상기 입력 유닛(168)의 장착 및 탈착에 대응하는 신호를 제공할 수 있다. 탈부착 인식 스위치(169)는 입력 유닛(168)이 삽입되는 일 영역에 마련되어, 상기 입력 유닛(168)의 장착시 직간접적으로 접촉되도록 구비된다. 이에 따라, 탈부착 인식 스위치(169)는 상기 입력 유닛(168)과의 직간접적으로 접촉에 기초하여, 상기 입력 유닛(168)의 장착이나 탈착에 대응하는 신호를 생성하고, 제어부(110)에 제공한다.
센서 모듈(170)은 휴대 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 휴대 단말(100)에 대한 접근 여부를 검출하는 근접센서, 휴대 단말(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 휴대 단말(100)의 동작(예, 휴대 단말(100)의 회전, 휴대 단말(100)에 가해지는 가속도 또는 진동) 또는 움직임(위로 향하는지, 아래로 향하는지 또는 옆으로 기울어져 있는지 등등)을 검출하는 모션 센서(도시되지 아니함), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서 모듈(170)은 휴대 단말의 고도뿐만 아니라 터치 스크린이 어느 방향으로 놓여져 있는지를 분석할 수 있다. 센서 모듈(170)은 휴대 단말의 고도가 높아지면서 터치 스크린이 위로 향하는지 아래로 향하는지 판단할 수 있으며, 또한, 고도가 낮아지면서 터치 스크린이 위로 향하는지 아래로 향하는지 판단할 수 있다. 이러한, 센서모듈(170)의 센서는 휴대 단말(100)의 성능에 따라 추가되거나 삭제될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(157), 입/출력 모듈(160), 센서 모듈(170), 터치 스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 휴대 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
상기 저장부라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 휴대 단말(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD)또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
또한, 상기 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 애플리케이션 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 터치 입력을 처리하는 방법과 관련된 데이터베이스들 또는 데이터, 상기 휴대 단말(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라 모듈(150)에 의해 촬영된 이미지들 등을 저장할 수 있다. 상기 저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 기계로 읽을 수 있는 매체는 저장 매체일 수 있다. 상기 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punch card), 페이퍼 테이프(paper tape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.
전원 공급부(180)는 제어부(110)의 제어에 따라 휴대 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 휴대 단말(100)에 전원을 공급한다.
그리고, 휴대 단말(100)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공하는 적어도 하나의 터치 스크린을 포함할 수 있다. 이러한, 각각의 터치 스크린은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 해당 터치 스크린 컨트롤러로 전송할 수 있다. 이와 같이, 휴대 단말(100)은 복수의 터치 스크린을 구비할 수 있는데, 각각의 터치 스크린 별로 터치에 대응되는 아날로그 신호를 수신하는 터치 스크린 컨트롤러가 구비될 수 있다. 이러한, 각각의 터치 스크린은 힌지의 연결을 통한 복수의 하우징에 각각 연결되거나 또는 복수의 터치 스크린들이 힌지 연결 없이 하나의 하우징에 위치할 수 있다. 본 발명에 따른 휴대 단말(100)은 상술한 바와 같이, 적어도 하나의 터치 스크린을 구비할 수 있으며, 이하에서는 설명 편의상 하나의 터치 스크린의 경우에 대해서 설명한다.
이러한, 터치 스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 유닛(예, 스타일러스 펜, 전자 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치 스크린(190)은 스타일러스 펜 또는 전자 펜과 같은 펜을 통해서 입력되면, 이를 인식하는 펜 인식 패널(191)을 포함하며, 이러한 펜 인식 패널(191)은 펜과 터치 스크린(190)간의 거리를 자기장을 통해 파악할 수 있다. 또한, 터치 스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 전송할 수 있다.
나아가, 본 발명에서 터치는 터치 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 한정되지 않고, 비접촉(예: 터치 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 유닛 접촉하지 않고 검출가능한 간격(예: 5mm 내외))을 포함할 수 있다. 터치 스크린(190)에서 검출가능한 간격은 휴대 단말(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치 스크린(190)은 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 검출 가능하도록, 상기 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 아날로그 값으로 전압 값 또는 전류 값을 포함)이 다르게 출력될 수 있도록 구성된다. 더 나아가, 터치 스크린(190)은 호버링 이벤트가 발생되는 공간과 터치 스크린(190) 사이의 거리에 따라, 검출되는 값(예컨대, 전류값 등)을 다르게 출력하는 것이 바람직하다.
이러한, 터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
또한, 터치 스크린(190)은 사용자의 신체 및 터치 가능한 입력 유닛에 의한 입력을 순차적 또는 동시에 입력받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 유닛의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력 값을 터치 스크린 컨트롤러에 제공하고, 터치 스크린 컨트롤러는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치 스크린(190)으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 유닛에 의한 입력인지를 구분할 수 있다. 그리고, 터치 스크린(190)은 적어도 하나 이상의 객체를 디스플레이한다.
보다 상세하게, 터치 스크린(190)은 핑거 또는 입력 유닛(168)을 통한 입력을 유도 기전력의 변화를 통해 감지하는 패널과, 터치 스크린(190)에 핑거 또는 입력 유닛(168)을 통한 접촉을 감지하는 패널이 서로 밀착되거나 또는 일부 이격되어 차례로 적층된 구조로 형성될 수 있다. 이러한, 터치 스크린(190)은 다수의 픽셀들을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 이러한 터치 스크린(190)은 액정 표시 장치(Liquid Crystal Display: LCD), 유기 발광 다이오드(Organic Light Emitting Diodes: OLED 및 LED등을 사용할 수 있다.
또한, 터치 스크린(190)은 표면에 핑거 또는 입력 유닛(168)이 닿거나, 터치 스크린(190)의 일정 거리에 놓이게 되면, 놓인 위치를 파악하는 복수의 센서를 구성하고 있다. 복수의 센서들 각각은 코일 구조로 형성될 수 있으며, 복수의 센서들로 형성되는 센서층은 각각의 센서들이 기 설정된 패턴들을 가지며, 복수의 전극 라인을 형성한다. 이러한, 구조로 인해 터치 스크린(190)은 핑거 또는 입력 유닛(168)을 통해 터치 스크린(190)에 접촉 또는 호버링 입력이 발생되면, 센서층과 입력 수단 사이의 정전용량에 기인하여 파형이 변경된 감지 신호가 발생되는데, 터치 스크린(190)은 발생된 감지 신호를 제어부(110)로 전송한다. 그리고, 입력 유닛(168)과 터치 스크린(190)간의 일정 거리는 코일(430)에 의해 형성된 자기장의 세기를 통해 파악될 수 있다.
또한, 터치 스크린(190)은 센서 모듈(170)에 의해 휴대 단말(100)의 제스처가 감지된 이후 미리 정해진 시간 동안 휴대 단말(100)이 수평 상태가 유지되면, 제어부(110)의 제어 하에 활성화된다. 상기 활성화는 터치 스크린(190)의 모드가 슬립(sleep) 모드에서 어웨이크(awake)로 변경되는 것으로서, 사용자의 설정에 따라 잠금화면을 디스플레이하거나 또는 바탕화면을 디스플레이하는 것을 말한다. 이와 같이, 터치 스크린(190)은 제어부(110)의 제어 하에 휴대 단말(100)이 움직이는 경우에 대응하여 활성화 상태로 변경될 수 있다. 그리고, 이러한 활성화 상태는 휴대 단말(100)에 구비된 마이크(162)를 활성화하는 것을 포함한다. 이러한, 제스처는 휴대 단말을 장착하고 있는 사용자가 마치 시계를 보기 위해 가슴 앞으로 팔을 앞으로 구부리는 것과 같이, 휴대 단말의 고도가 높아지면서 휴대 단말의 터치 스크린이 위로 향하도록 움직이는 것을 포함한다. 이때, 제어부(110)는 팔이 앞으로 구부린 시간을 계산하고, 계산된 시간과 미리 정해진 시간을 비교하여 구부린 시간이 상기 미리 정해진 시간을 초과하는 경우, 터치 스크린(190)을 활성 상태로 변경한다. 이러한, 팔의 구부림에 의한 터치 스크린(190)의 활성화는 왼팔 및 오른팔 모드 적용 가능하다. 그리고, 터치 스크린(190)을 활성화하기 위한 제스처는 사용자 또는 제조사에 의해 설정가능하거나 변경 가능하다.
또한, 터치 스크린(190)은 마이크(162)에 의해 입력되는 음성(또는 명령)에 대응하여 해당 기능을 제어부(110)의 제어 하에 디스플레이한다. 만일, 입력되는 음성이 실행하면 안되는 기능들(예: 전화번호부 검색 기능, 이메일, 문자 메시지, 통화 목록, 다이어리, 메신저 또는 사진첩 등등)이면 실행 불가를 사용자에게 출력하고, 실행 가능한 적어도 하나의 기능을 팝업 창을 통해서 디스플레이한다. 그리고, 터치 스크린(190)은 미리 정해진 시간 동안 사용자로부터 명령이 입력되지 않으면 비활성 상태로 전환된다.
한편, 터치 스크린 컨트롤러(195)는 터치 스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(도시되지 아니함) 또는 객체가 선택되게 하거나 또는 실행할 수 있다. 또한, 터치 스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
더 나아가, 터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 터치 스크린(190) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도를 나타낸 도면이고, 도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도를 나타낸 도면이다.
도 2 및 도 3을 참조하면, 휴대 단말(100)의 전면(100a) 중앙에는 터치 스크린(190)이 배치된다. 터치 스크린(190)은 휴대 단말(100)의 전면(100a)의 대부분을 차지하도록 크게 형성될 수 있다. 도 2에서는, 상기 터치 스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 휴대 단말(100)의 전원을 켰을 때 터치 스크린(190) 상에 표시되는 첫 화면이다. 또한, 휴대 단말(100)이 여러 페이지의 서로 다른 홈 화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인 메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 상기 메인 메뉴 전환키(191-4)는 상기 터치 스크린(190) 상에 메뉴 화면을 표시한다. 또한, 상기 터치 스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수도 있다.
상기 터치 스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다.
홈 버튼(161a)은 터치 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치 스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(161a)가 터치되면, 터치 스크린(190)에 메인 홈 화면이 디스플레이될 수 있다. 또한, 터치 스크린(190) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(191a)이 터치되면, 상기 터치 스크린(190)상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치 스크린(190) 상에 최근에(recently) 사용된 어플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다.
메뉴 버튼(161b)은 터치 스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.
뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다.
휴대 단말(100)의 전면(100a) 가장자리에는 제1 카메라(151)와 조도 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 휴대 단말(100)의 후면(100c)에는 제2 카메라(152), 플래시(flash, 153), 스피커(163)가 배치될 수 있다.
휴대 단말(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160a), 음량 버튼(161b), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 휴대 단말(100)에 고정되거나, 탈착 가능하게 형성될 수도 있다.
또한, 휴대 단말(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 휴대 단말(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.
또한, 휴대 단말(100)의 하단 측면에는 입력 유닛(168)이 형성될 수 있다. 입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 및 탈착될 수 있다.
도 4는 본 발명의 실시 예에 따른 입력 유닛과 터치 스크린의 내부 단면도를 나타낸 도면이다.
도 4에 도시된 바와 같이, 터치 스크린(190)은 제1 터치 패널(440), 표시 패널(450), 제2 터치 패널(460)을 포함한다. 표시 패널(450)은 LCD, AMOLED 등과 같은 패널이 될 수 있으며, 휴대 단말(100)의 각종 동작 상태, 애플리케이션 실행 및 서비스 등에 따른 다양한 영상과, 복수의 객체들을 표시한다.
제1 터치 패널(440)은 정전용량 방식 터치 패널로서, 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅된 패널이다. 이러한 제1 터치 패널(440)의 표면에 입력 유닛(예를 들면, 사용자의 손가락 또는 펜)이 터치되면 정전기에 의해 일정량의 전하가 터치된 위치로 이동하고, 제1 터치 패널(440)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 된다. 제1 터치 패널(440)을 통해서는 정전기를 발생시킬 수 있는 모든 터치의 감지가 가능하며, 입력 유닛인 손가락이나 펜에 의한 터치의 감지가 모두 가능하다.
제2 터치 패널(460)은 EMR(Electronic Magnetic Resonance) 방식 터치 패널로서, 복수의 루프 코일이 미리 정해진 제1 방향 및 제1 방향과 교차하는 제2 방향에 각각 배치되어 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와, 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함한다. 이러한 제2 터치 패널(460)의 루프 코일 근방에 공진회로를 내장하는 입력 유닛(168)이 존재하면, 해당 루프 코일로부터 송신되는 자계가 입력 유닛(168) 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 그리고 전류를 기초로 하여, 입력 유닛(168) 내의 공진 회로를 구성하는 코일(미도시)로부터 유도 자계가 발생하게 되고, 제2 터치 패널(460)은 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 입력 유닛(168)의 호버링(Hovering) 위치, 터치 위치, 그리고 휴대 단말(100)은 제1 터치 패널(440)로부터 입력 유닛(168)의 펜촉(430)까지의 높이(h)를 감지한다. 이러한, 터치 스크린(190)의 제1 터치 패널(440)에서 펜촉(430)까지의 높이(h)는 휴대 단말(100)의 성능 또는 구조에 대응하여 변경될 수 있음은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 수 있다. 제2 터치 패널(460)을 통해서는 전자기 유도에 기초한 전류를 발생시킬 수 있는 입력 유닛이라면 호버링 및 터치의 감지가 가능하며, 상기 제2 터치 패널(460)은 입력 유닛(168)에 의한 호버링 또는 터치 감지 전용으로 이용되는 것으로 설명한다. 그리고, 입력 유닛(168)은 전자기 펜 또는 EMR 펜으로도 지칭될 수 있다. 또한, 입력 유닛(168)은 상기 제1 터치 패널(440)을 통해 감지되는 공진 회로가 포함되지 아니한 일반적인 펜과는 상이할 수 있다. 이러한, 입력 유닛(168)은 펜촉(430)에 인접된 영역의 펜대 내부에 배치되는 코일에 의해 발생하는 전자기 유도 값을 변경할 수 있는 버튼(420)을 포함하여 구성될 수 있다. 이러한, 입력 유닛(168)에 대한 보다 상세한 설명은 도 5에서 후술한다.
그리고, 제1 터치 패널(440) 및 제2 터치 패널 중 적어도 하나는 제어부(110)의 제어 하에 동작 모드가 변환된다. 즉, 제1 터치 패널(440) 및 제2 터치 패널 중 적어도 하나는 제어부(110)의 제어 하에 입력 유닛(168)이 위치한 지점에서 측정되는 적어도 하나의 파라미터에 대응되는 모드로 변환된다. 제1 터치 패널(440) 및 제2 터치 패널 중 적어도 하나는 입력 유닛이 위치한 지점에서의 전압과 입력 유닛과의 거리에 따라서 수동 모드 또는 디지털 모드로 변경된다. 상기 수동 모드는 입력 유닛이 검출되었으나 검출된 입력 유닛에 의해 터치 스크린의 모드 변환 및 모드 제어 중 적어도 하나가 발생되지 않는 모드이다. 그리고, 디지털 모드는 검출된 입력 유닛과의 통신 수행 및 전원 공급 중 적어도 하나를 수행하는 모드이다. 이러한 디지털 모드는 입력 유닛과의 데이터 통신 및 입력 유닛에 의한 터치 측정 가능 여부에 따라 복수의 모드들로 구분된다. 상기 복수의 모드들은 입력 유닛과의 호버링 및 터치를 감지하지 않는 모드, 입력 유닛과의 호버링을 감지하는 모드 및 입력 유닛과의 터치를 감지하는 모드를 포함한다. 그리고, 이러한 복수의 모드들은 입력 유닛과 제어 신호를 송수신할 수 있다. 또한, 디지털 모드는 입력 유닛에 배터리가 존재하는 능동 디지털 모드 또는 배터리가 존재하지 않은 수동 디지털 모드로 구분된다. 그리고, 만일, 검출된 입력 유닛이 휴대 단말로부터 전원을 공급받지 못하는 수동 타입의 입력 유닛인 경우, 제1 터치 패널(440) 및 제2 터치 패널 중 적어도 하나는 수동 모드로 동작한다.
그리고, 터치 스크린 컨트롤러(195)는 제1 터치 패널 컨트롤러와 제2 터치 패널 컨트롤러를 포함할 수 있다. 상기 제1 터치 패널 컨트롤러는 상기 제1 터치 패널(440)로부터 손 또는 펜 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호(예컨대 X, Y, Z 좌표)로 변환하여 제어부(110)로 전송한다. 그리고 상기 제2 터치 패널 컨트롤러는 제2 터치 패널(460)로부터 입력 유닛(168)의 호버링 또는 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 그리고, 제어부(110)는 상기 제1 및 제2 터치 패널 컨트롤러로부터 각각 수신된 디지털 신호를 이용하여 표시 패널(450), 제1 터치 패널(440), 제2 터치 패널(460)을 제어할 수 있다. 예를 들어, 제어부(110)는 손가락이나 펜, 또는 입력 유닛(168) 등의 호버링 또는 터치에 응답하여 표시 패널(450)에 미리 정해진 형태의 화면을 표시할 수 있다.
따라서 본 발명의 일 실시 예에 따른 휴대 단말(100)에 의하면 상기 제1 터치 패널은 사용자의 손가락이나 펜에 의한 터치를 감지하고, 상기 제2 터치 패널은 상기 입력 유닛(168)에 의한 호버링 또는 터치를 감지할 수 있다. 따라서 상기 휴대 단말(100)의 제어부(110)는 상기 사용자의 손가락이나 펜에 의한 터치와 입력 유닛(168)에 의한 호버링 또는 터치를 구별하여 감지할 수 있다. 그리고, 도 4에서는 단지 하나의 터치 스크린에 대해서만 도시하였으나, 본 발명은 단지 하나의 터치 스크린에 제한되지 않으며, 복수의 터치 스크린을 구비할 수 있다. 그리고, 각각의 터치 스크린은 각각 하우징에 구비되어 힌지에 의해 연결되거나 또는 하나의 하우징이 복수의 터치 스크린이 구비될 수 있다. 그리고, 복수의 터치 스크린 각각은 도 4에 도시된 바와 같이, 표시 패널과 적어도 하나의 터치 패널을 포함하여 구성된다.
도 5는 본 발명의 실시 예에 따른 입력 유닛을 나타낸 블럭도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 입력 유닛(예: 터치용 펜)은 펜대와, 펜대 끝에 배치된 펜촉(430), 펜촉(430)에 인접된 영역의 펜대 내부에 배치되는 코일 (510)에 의해 발생하는 전자기 유도 값을 변경할 수 있는 버튼(420), 호버링 입력 효과 발생시 진동하는 진동 소자(520), 휴대 단말(100)과의 호버링으로 인해 휴대 단말(100)로부터 수신되는 제어 신호를 분석하고, 이에 따른 입력 유닛(168)에 햅틱 효과를 제공하기 위해 진동 소자(520)의 진동 세기, 진동 주기를 제어하는 제어부(530), 휴대 단말(100)과 근거리 통신을 수행하는 근거리 통신부(540) 및 입력 유닛(168)의 진동을 위한 전원을 공급하는 전원부(550)를 포함하여 구성될 수 있다. 또한, 상기 입력 유닛(168)은 입력 유닛(168)의 진동 주기 및/또는 진동 세기에 대응하는 소리를 출력하는 스피커(560)를 포함할 수 있다. 상기 스피커(560)는 입력 유닛(168)에 제공되는 햅틱 효과에 대응하는 소리를 휴대 단말(100)에 구비된 스피커(163)와 동시 또는 미리 정해진 시간(예: 10ms) 이전/이후에 출력할 수 있다.
그리고, 이러한 구성을 가지는 입력 유닛(168)은 정전유도 방식을 지원하는 구성이다. 그리고, 코일(510)에 의하여 터치 스크린(190)의 일정 지점에 자기장이 형성되면, 터치 스크린(190)은 해당 자기장 위치를 검출하여 터치 지점을 인식할 수 있도록 구성된다.
보다 상세하게, 상기 스피커(560)는 제어부(530)의 제어에 따라 휴대 단말(100)에 구비된 이동통신 모듈(120), 서브통신 모듈(130) 또는 멀티미디어 모듈(140)로부터 다양한 신호(예: 무선신호, 방송신호, 디지털 오디오 파일, 또는 디지털 동영상 파일 등)에 대응되는 사운드를 출력할 수 있다. 또한, 스피커(560)는 휴대 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있으며, 상기 입력 유닛(168)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
제어부(530)는 펜 촉(430)이 터치 스크린(190) 상에 접촉하거나 호버링이 감지될 수 있는 위치(예: 5mm)에 놓이게 되면, 근거리 통신부(540)를 통해 휴대 단말(100)로부터 수신된 적어도 하나의 제어 신호를 분석하고, 분석된 제어 신호에 따라 입력 유닛(168)에 구비된 진동 소자(520)의 진동 주기, 진동 세기 등을 제어한다.
도 6은 본 발명의 실시 예에 따른 휴대 단말의 기능을 제어하는 과정을 나타낸 순서도이다.
이하, 도 6을 참조하여 본 발명의 실시 예에 따른 휴대 단말의 기능을 제어하는 과정을 상세히 설명하면 다음과 같다.
본 발명의 실시 예에 따른 휴대 단말은 휴대 단말 자신의 움직임에 대응하여 터치 스크린을 활성화하고 음성을 인식할 수 있는 음성 인식 모듈을 활성화할 수 있다.
본 발명의 휴대 단말에 구비된 터치 스크린은 미리 정해진 시간 동안 어떠한 명령 또는 입력이 입력되지 않으면, 터치 스크린을 비활성 상태 즉, 슬립 모드로 유지한다(S605). 이러한 비활성 상태는 터치 스크린의 화면이 꺼진 상태를 의미한다.
이러한 비활성 상태에서, 휴대 단말의 움직임이 감지되고 미리 정해진 시간 동안 움직임이 없으면, 터치 스크린을 활성상태로 변경하고 음성 인식 모듈을 활성화한다(S610, S612, S614). 제어부(110)는 센서 모듈(170)에서 감지되는 휴대 단말의 제스처 또는 움직임을 통해서 터치 스크린 및 음성 인식 모듈을 활성화한다. 제어부는 이러한 제스처가 감지되면, 미리 정해진 시간 동안 움직임이 없거나 또는 수평 상태가 유지되는 경우 터치 스크린을 활성화하고 사용자로부터 입력되는 음성을 감지하기 위한 음성 인식 모듈을 활성화한다. 상기 음성 인식 모듈은 상기 제스처가 감지된 이후 미리 정해진 시간 동안 움직임이 없는 경우에 활성화된다. 그리고, 상기 제스처는 상기 휴대 단말의 고도에 따라 및/또는 휴대 단말에 구비된 터치 스크린이 향하는 방향에 따라 다를 수 있으며, 제어부(110)는 이러한 다양한 제스처를 센서 모듈(170)을 통해 파악할 수 있다. 제어부(110)는 센서 모듈(170)을 통해 제스처가 휴대 단말의 고도가 낮아지면서 터치 스크린이 아래로 향하도록 하는 움직임인지를 판단하고, 카메라 모듈(150)에 구비된 적어도 하나의 카메라를 통해서 현재 휴대 단말을 움직이게 하는 사용자의 안구를 인식 또는 스캔하도록 제어하고 음성 인식 모듈을 활성화한다. 만일, 안구가 인식 또는 감지되지 않는 경우 제어부(110)는 음성 인식 모듈을 비활성 상태로 유지한다. 제어부(110)는 상기 활성화된 음성 인식 모듈을 통해서 입력되는 음성을 분석하고, 분석 결과 음성에 대응되는 기능을 실행할지 실행하지 않을지를 개인 정보의 유무 또는 해당 여부를 통해서 판단한다. 상기 개인 정보라 함은 휴대 단말의 사용자의 개인 신상에 관한 정보를 포함하며 타인에게 제공되기를 꺼려하는 정보일 수 있다. 예를 들어, 전화번호부, 이메일, 문자 메시지, 통화 목록, 다이어리, 메신저 및 사진첩 등을 포함하며, 본 발명은 상술한 것 이외에 개인 정보를 포함할 수 있는 다양한 기능을 포함할 수 있으며, 이러한 기능은 사용자의 선택에 의해 타인에게 제공되거나 또는 제공되지 않도록 설정할 수 있다. 또한, 개인 정보를 포함하지 않는 기능은 인터넷 검색, 전화 통화, 지도 검색, 방송 시청 또는 뉴스 보기 등 다양한 기능을 포함한다. 이러한, 개인 정보를 포함하지 않는 기능은 불특정 개인 또는 다수에게 공개 또는 실행되어도 사용자 정보가 노출되지 않는 기능들이다. 이러한 개인 정보를 포함하지 않는 기능 역시 사용자의 선택에 의해 타인에게 제공되거나 또는 제공되지 않도록 설정할 수 있다.
그리고, 입력되는 음성에 대응되는 기능을 실행한다(S616). 제어부(110)는 상기 음성이 휴대 단말(100)의 개인 정보를 포함하지 않는 기능을 실행하는 명령이면, 해당 기능을 실행한다. 그러나, 개인 정보를 포함하는 기능을 실행하는 명령이면, 해당 기능을 실행하지 않는다. 즉, 제어부(110)는 음성 인식 모듈로 입력되는 음성에 대응되는 기능이 개인 정보를 포함하는지 판단하여 기능의 실행 여부를 결정한다. 그리고, 상기 입력되는 음성에 의해 실행하고자 하는 기능이 개인 정보를 포함하는 경우, 제어부(110)는 음성에 대응되는 기능을 실행할 수 없음을 출력한다.
제어부(110)는 음성이 개인 정보를 포함하는 기능을 실행하는 음성인 경우 실행 불가를 사용자에게 출력하고, 실행 가능한 기능 역시 터치 스크린(190)을 통해서 출력할 수 있다. 이러한 출력은 음성, 경고음, 팝업 창 디스플레이등 다양한 방법이 있으며, 본 발명은 여기에 국한하지 않는다. 또한, 제어부(110)는 음성 입력으로 실행될 수 있는 적어도 하나의 기능들을 나열한 리스트를 팝업 창을 통해서 터치 스크린(190)에 디스플레이할 수 있다.
그리고, 제어부(110)는 상기 기능이 실행된 이후 미리 정해진 시간 동안 명령이 입력되지 않으면 실행된 기능을 비활성 상태로 전환하고, 터치 스크린 역시 비활성 상태, 즉 슬립 모드로 전환한다(S618). 상기 슬립 모드는 배터리 소모를 방지하기 위해 터치 스크린에 전원이 인가되지 않는 모드이다.
도 7은 본 발명의 실시 예에 따른 휴대 단말의 기능을 제어하는 과정을 나타낸 예시도이다.
도 7을 참조하면, 도 7a는 본 발명에 따른 휴대 단말을 사용자가 손목에 장착한 예시도이고, 도 7b는 본 발명에 따른 휴대 단말을 장착한 손을 앞으로 구부린 예시도이고, 도 7c는 본 발명의 실시 예에 따른 휴대 단말이 음성 인식 모듈을 활성화한 예시도이고, 도 7d는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응되는 기능을 실행한 예시도이다.
이하, 도 7a 내지 도 7d를 참조하여 본 발명의 실시 예에 따른 휴대 단말의 기능을 제어하는 과정을 상세히 설명하면 다음과 같다.
도 7a를 참조하면, 도 7a는 사용자가 휴대 단말을 손목에 장착한 예시도로서, 사용자(710)는 왼손에 부착이 가능한 휴대 단말(720)을 장착하고 있다. 이러한 휴대 단말(720)은 팔, 다리 등과 같이 대상물에 부착될 수 있도록 벨트, 줄 등이 구비될 수 있다. 그리고, 통상적으로 사용자(710)는 걷거나 뛰는 동작을 수행할 수 있는데, 휴대 단말(720)은 이러한 동작을 센서 모듈(170)을 통해 감지할 수 있다. 이와 같이, 움직임이 감지되면, 휴대 단말(720)은 움직임이 휴대 단말(720)의 동작 또는 기능을 제어하기 위한 움직임인지를 판단할 수 있다. 판단 근거로는 휴대 단말(720)은 일상 생활에서 움직이는 패턴을 저장하여 이를 움직임과 비교를 통해서 판단하거나 또는 센서 모듈(170)에서 감지되는 속도, 고도, 각도 등 다양한 정보를 통해서 판단할 수 있다. 또한, 휴대 단말(720)은 이러한 움직임이 발생된 후, 미리 정해진 시간 동안 움직임이 없거나 또는 정지 상태로 되는 경우 이를 감지할 수 있다. 예를 들어, 통상적으로 시계를 볼 때 시계를 장착한 팔을 앞으로 구부리듯이 사용자(710)가 휴대 단말(720)을 장착한 팔을 앞으로 구부린 후, 미리 정해진 시간 동안 정지해 있거나 움직임이 멈추면 휴대 단말(720)은 이러한 제스처를 감지한다.
도 7b를 참조하면, 도 7b는 도 7b는 사용자가 휴대 단말을 장착한 손을 앞으로 구부린 예시도로서, 사용자(720)는 휴대 단말(720)을 장착한 왼 팔을 앞으로 구부리면, 휴대 단말(720)은 자신이 도 7a의 상태에서 도 7b의 상태로 움직임 또는 제스처가 발생되었음을 인지한다. 본 실시 예에서는 휴대 단말을 장착한 왼 팔을 앞으로 구부리는 제스처에 대해서 설명하였으나 이는 단지 실시 예일 뿐, 본 발명은 휴대 단말이 움직이는 다양한 제스처를 포함한다. 이러한, 다양한 제스처는 휴대 단말(720)을 통해 실행하고자 하는 기능의 속성에 따라 다른 제스처를 매핑할 수 있다. 즉, 휴대 단말(720)을 장착한 팔을 앞으로 구부렸을 때 음성 인식 모듈을 활성화 하듯, 휴대 단말(720)을 발목에 장착한 경우 사용자가 걸을 때 마다 발걸음을 계산하는 모듈이 활성화 될 수 있다. 이와 같이, 본 발명은 휴대 단말(720)의 움직임에 따라 미리 설정된 기능을 실행할 수 있다.
그리고, 휴대 단말(720)은 도 7b의 상태로의 움직임 이후 타이머를 구동한다. 그리고, 휴대 단말(720)은 구동된 타이머에 의해 계산된 시간이 미리 정해진 시간을 초과하는 경우, 사용자로부터 어떠한 명령을 입력받을 수 있음을 판단하고 휴대 단말(720)의 터치 스크린 및 음성 인식 모듈 중 적어도 하나를 활성화한다. 상기 터치 스크린의 활성과 상기 음성 인식 모듈의 활성은 각각 수행되거나 또는 동시에 수행될 수 있으며 단지 하나만 수행될 수 있다. 또한, 휴대 단말(720)은 자신에 구비된 적어도 하나의 카메라를 통해 사용자(720)의 안구를 인식 또는 스캔할 수 있다. 이와 같이, 사용자(720)의 안구를 인식하거나 스캔하여 음성 인식 모듈을 활성화할지를 보다 명확히 판단할 수 있다. 예를 들어, 구동된 타이머에 의해 계산된 시간이 미리 정해진 시간을 초과하였으나, 사용자의 안구가 인식되거나 스캔되지 않으면, 터치 스크린 및 음성 인식 모듈 중 적어도 하나를 활성화하지 않을 수 있다.
이와 같이, 터치 스크린이 활성화되면, 사용자의 취향에 따라 잠금 화면을 디스플레이하거나 또는 잠금이 설정되지 않으면 기본적인 바탕 화면이 디스플레이된다. 잠금 화면이 디스플레이된 후, 사용자가 잠금을 해제하면 휴대 단말(720)은 자신이 제공할 수 있는 모든 기능을 사용할 수 있도록 대기 모드로 진입한다. 이때, 음성 인식 모듈은 실행될 수도 있고 실행되지 않을 수도 있다.
그리고, 만일 구동된 타이머에 의해 계산된 시간이 미리 정해진 시간을 초과하여 음성 인식 모듈이 실행되는 경우, 휴대 단말(720)은 마이크(162)를 활성화하여 사용자로 하여금 음성 또는 사운드를 입력받기 위한 대기 모드로 진입한다.
도 7c를 참조하면, 도 7c는 본 발명의 실시 예에 따른 휴대 단말이 음성 인식 모듈을 활성화한 예시도로서, 사용자(710)에 의해 입력되는 음성 또는 사운드를 입력받고자 하는 경우, 음성 인식 모듈(730)을 활성화하고, 터치 스크린에 디스플레이한다. 상기 음성 인식 모듈은 사용자에 의해 발성되는 음성뿐만 아니라 주변 소리, 기계 매체에서 출력되는 사운드를 입력받을 수 있다. 음성 인식 모듈은 이러한 음성이나 사운드의 입력이 중지될 때까지 지속적으로 활성 상태로 유지될 수 있으며, 음성이나 사운드의 입력이 중지되면 비활성 상태로 전환될 수 있다. 또한, 환경 설정 메뉴(732)는 음성 인식 모듈(720)의 환경을 설정하기 위한 메뉴로서, 음성을 인식하기 위한 민감도를 설정하거나 언어 선택 또는 욕설이나 불쾌감을 유발할 수 있는 단어를 차단하는 기능들을 설정할 수 있다. 그리고, 마이크 아이콘(731)은 음성 인식 모듈의 현재 상태를 나타내며, 사용자는 이를 통해 음성 인식 모듈이 활성 상태인지 비활성 상태인지 판단할 수 있다. 이러한 음성 인식 모듈을 통해 사용자가 특정 홈페이지를 음성으로 입력하는 경우 상기 특정 홈페이지는 터치 스크린에 디스플레이된다.
도 7d를 참조하면, 도 7d는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응되는 기능을 실행한 예시도로서, 휴대 단말(100)은 도 7c에서 입력되는 음성에 대응되는 기능을 터치 스크린(740)에 실행한다. 도 7d는 도 7c에서 입력되는 음성이 '인터넷'인 경우 휴대 단말(100)은 인터넷에 접속할 수 있는 브라우저에 설정된 홈페이지(예: http://www.daum.net)에 접속하고, 그 결과를 터치 스크린(740)에 디스플레이한다. 상기 입력되는 음성이 '인터넷'인 경우, 터치 스크린(740)에 '다음((http://www.daum.net)' 홈페이지가 디스플레이된 상태에서 사용자가 검색하고자 하는 키워드를 터치 패드를 통해 입력하거나 또는 마이크 메뉴(742)를 선택하여 검색하고자 하는 키워드를 음성으로 입력하면, 휴대 단말(100)은 이러한 사용자가 입력한 음성 또는 키워드에 대응되는 결과를 출력한다.
도 8은 본 발명의 실시 예에 따른 휴대 단말에서 음성 인식을 이용하여 기능을 제어하는 과정을 나타낸 순서도이다.
이하, 도 8을 참조하여 본 발명의 실시 예에 따른 휴대 단말에서 음성 인식을 이용하여 기능을 제어하는 과정을 상세히 설명하면 다음과 같다.
본 발명의 휴대 단말에 구비된 터치 스크린은 미리 정해진 시간 동안 어떠한 명령 또는 입력이 입력되지 않으면, 터치 스크린을 비활성 상태 즉, 슬립 모드로 유지한다(S805). 이러한 비활성 상태는 터치 스크린의 화면이 꺼진 상태를 의미한다.
이러한 비활성 상태에서, 휴대 단말을 움직이는 제스처가 감지된 이후 미리 정해진 시간 동안 움직임이 없으면, 제어부(110)는 터치 스크린과 음성 인식 모듈을 활성 상태로 변경한다(S810, S812). 휴대 단말(100)은 센서 모듈(170)에서 감지되는 휴대 단말의 제스처 또는 움직임을 통해서 터치 스크린 및 음성 인식 모듈 중 적어도 하나를 활성화한다. 활성화 순서는 가변적으로 조절되며, 본 발명은 어떤 순서로 활성화가 되던지 모두 적용될 수 있다. 그리고, 휴대 단말은 이러한 제스처가 감지되면, 제스처 감지 이후 미리 정해진 시간 동안 움직임이 없거나 또는 수평 상태가 유지되는 경우 터치 스크린을 활성화하고 사용자로부터 입력되는 음성을 감지하기 위한 음성 인식 모듈을 활성화한다. 상기 음성 인식 모듈은 상기 제스처가 감지된 이후 미리 정해진 시간 동안 움직임이 없는 경우에 활성화된다. 그리고, 상기 제스처는 상기 휴대 단말의 고도에 따라 및/또는 휴대 단말에 구비된 터치 스크린이 향하는 방향에 따라 다를 수 있는데, 제어부(110)는 이러한 다양한 제스처를 센서 모듈(170)을 통해 파악할 수 있다. 제어부(110)는 센서 모듈(170)을 통해 제스처가 휴대 단말의 고도가 낮아지면서 터치 스크린이 아래로 향하도록 하는 움직임인지를 판단하고, 카메라 모듈(150)에 구비된 적어도 하나의 카메라를 통해서 현재 휴대 단말을 움직이게 하는 사용자의 안구를 인식 또는 스캔하도록 제어하고 음성 인식 모듈을 활성화한다. 만일, 안구가 인식 또는 감지되지 않는 경우 제어부(110)는 음성 인식 모듈을 비활성 상태로 유지한다. 제어부(110)는 상기 활성화된 음성 인식 모듈을 통해서 입력되는 음성을 분석하고, 분석 결과 음성에 대응되는 기능을 실행할지 실행하지 않을지를 개인 정보의 유무 또는 해당 여부를 통해서 판단한다.
그리고, 음성 입력 또는 잠금 해제를 위한 입력이 감지되는 경우 이를 분석하여, 분석 결과 음성 입력인 경우 입력된 음성이 개인 정보에 해당되지 않는 입력인지 판단한다(S814, S816). 상기 과정(S812)에서 휴대 단말은 터치 스크린 및 음성 인식 모듈 중 적어도 하나를 활성화한다. 이러한 활성화를 통해서 휴대 단말은 사용자로부터 음성을 입력받거나 또는 활성화된 터치 스크린을 통해 잠금을 해제하기 위한 명령을 입력받거나 또는 잠금이 설정되지 않은 경우 터치 스크린을 통해 배경 화면을 디스플레이한다. 만일, 활성화된 음성 인식 모듈을 통해 사용자로부터 휴대 단말에서 제공될 수 있는 기능을 실행하기 위한 음성이 입력되는 경우, 입력된 음성을 분석하고 입력된 음성에 대응되는 기능의 실행 여부를 판단한다. 즉, 판단 결과, 입력되는 음성에 대응되는 기능이 개인 정보를 포함 또는 대응하는지 아니면, 입력되는 음성에 대응되는 기능이 개인 정보를 포함하지 않거나 또는 대응하지 않는지를 판단한다.
상기 과정(S816)에서 판단 결과, 입력된 음성이 개인 정보에 해당되지 않으면, 입력되는 음성에 대응되는 기능을 실행한다(S818). 제어부(110)는 음성 인식 모듈로 입력되는 음성에 대응되는 기능이 개인 정보를 포함하는지 판단하여 기능의 실행 여부를 결정한다. 즉, 제어부(110)는 입력된 음성이 휴대 단말(100)의 개인 정보를 포함하지 않는 기능을 실행하기 위한 명령이면, 해당 기능을 실행한다. 이러한, 기능은 휴대 단말의 원래 사용자의 개인 정보를 포함하지 않는 기능으로서, 인터넷 검색, 전화 통화, 지도 검색, 방송 시청 또는 뉴스 보기를 포함한다. 그러나, 본 발명은 이러한 기능 이외에 사용자의 개인 정보를 포함하지 않는 다양한 기능을 포함할 수 있다. 그리고, 이러한 각각의 기능은 개별적으로 실행되거나 개인 정보를 포함하지 않는 다른 기능과 상호 연동될 수 있거나 또는 개인 정보를 포함할 수 있는 다른 기능과 상호 연동하지 않을 수 있다.
그리고, 상기 과정(S816)에서 판단 결과, 입력된 음성이 개인 정보에 해당되는 경우, 입력된 음성에 대응되는 기능을 실행할 수 없음을 출력하고 실행 가능한 기능을 출력한다(S820). 제어부(110)는 입력된 음성에 대응되는 기능이 개인 정보를 포함하는 경우, 입력된 음성에 대응되는 해당 기능을 실행하지 않는다. 상기 입력되는 음성에 의해 실행하고자 하는 기능이 개인 정보를 포함하는 경우, 제어부(110)는 음성에 대응되는 기능을 실행할 수 없음을 출력한다. 이러한 출력은 사용자가 인지할 수 있는 음성, 사운드, 경고음 등 다양한 방법을 포함하며, 본 발명은 여기에 국한하지 않는다. 그리고, 제어부(110)는 음성 입력으로 인하여 실행될 수 있는 적어도 하나의 기능을 나타내는 리스트를 팝업 창을 통해 출력한다. 제어부(110)는 음성 입력으로 실행될 수 있는 적어도 하나의 기능들을 나열한 리스트를 팝업 창을 통해서 터치 스크린에 디스플레이할 수 있다. 그리고, 제어부는 상기 기능이 실행된 이후 미리 정해진 시간 동안 명령이 입력되지 않으면 실행된 기능을 비활성 상태로 전환하고, 터치 스크린 역시 슬립 모드로 전환한다. 상기 슬립 모드는 배터리 소모를 방지하기 위해 터치 스크린에 전원이 인가되지 않는 모드이다.
그리고, 상기 과정(S814)에서 분석 결과 잠금 해제를 위한 입력인 경우 휴대 단말이 제공할 수 있는 복수의 기능을 활성화한다(S822). 제어부(110)는 잠금 해제를 위한 입력이 설정된 잠금과 비교하여 일치하는 경우 잠금 설정을 해제하고, 휴대 단말(100)에서 제공될 수 있는 복수의 기능을 활성화한다.
그리고, 상기 과정들(S818, S820, S822)이 수행된 이후, 미리 정해진 시간 동안 어떠한 명령이나 입력이 입력되지 않으면, 제어부(110)는 터치 스크린을 비활성 상태 즉, 슬립 모드로 전환한다(S824). 이러한 비활성 상태 또는 슬립 모드는 휴대 단말의 배터리 소모를 방지하기 위해 터치 스크린에 전원이 인가되지 않는 모드이다.
도 9는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응되는 기능을 실행할 수 없는 경우의 출력 예시도이다.
도 9를 참조하면, 도9a는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응되는 기능을 실행할 수 없음을 출력하는 예시도이고, 도 9b는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응하여 실행될 수 있는 기능들의 리스트를 디스플레이한 예시도이다.
도 9a를 참조하면, 도9a는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응되는 기능을 실행할 수 없음을 출력하는 예시도로서, 제어부(110)는 휴대 단말(100)의 제스처를 감지한 후, 활성된 음성 인식 모듈을 통해서 입력되는 음성을 분석한다. 분석 결과, 입력된 음성에 대응되는 기능이 개인 정보를 포함하지 않는 기능이면 상기 기능을 실행한다. 그러나, 입력된 음성에 대응되는 기능이 개인 정보를 포함하는 기능이면 상기 기능을 실행하지 않는다. 그리고, 실행되지 못하는 알림을 사용자가 인지하도록 출력한다. 도 9a의 터치 스크린(910)은 이러한 팝업 창(920)을 디스플레이한다. 상기 팝업 창(920)은 입력된 음성에 대응되는 기능이 개인 정보를 포함하여 실행할 수 없음을 알리기 위한 팝업 창이다. 또한, 터치 스크린(910)은 상기 팝업 창(920) 이외에 다른 기능의 실행을 위한 음성을 입력받는 음성 입력 메뉴(921)와 상기 팝업 창의 종료 또는 음성 입력에 의한 기능의 실행을 취소하기 위한 취소 메뉴(922)를 포함하여 디스플레이할 수 있다. 상기 음성 입력 메뉴(921)을 선택하는 경우, 일시적으로 중단될 수 있는 음성 인식 모듈을 다시 활성화할 수 있다.
도 9b를 참조하면, 도 9b는 본 발명의 실시 예에 따른 휴대 단말에 입력되는 음성에 대응하여 실행될 수 있는 기능들의 리스트를 디스플레이한 예시도로서, 제어부(110)는 도 9a에 도시된 바와 같이, 입력된 음성에 대응되는 기능을 실행할 수 없음을 알리는 팝업 창(920)을 디스플레이하고, 휴대 단말(100)에서 실행할 수 있는 적어도 하나의 기능을 포함하는 리스트를 나타내는 팝업 창(930)을 디스플레이할 수 있다. 상기 팝업 창(930)은 인터넷 검색(931), 전화 통화(932), 지도 검색(933), 유투브 검색(934), DMB 시청(935) 및 뉴스 및 날씨(936)을 포함한다. 또한, 상기 팝업 창(930)은 상술한 기능 이외에 사용자의 개인 정보를 포함하지 않는 다양한 기능들을 포함할 수 있으며, 본 발명은 여기에 국한하지 않는다. 또한, 터치 스크린(920)은 상기 팝업 창(930) 이외에 다른 기능의 실행을 위한 음성을 입력받거나 또는 상기 팝업 창(930)에 디스플레이된 적어도 하나의 기능을 입력받는 음성 입력 메뉴(937)와 상기 팝업 창의 종료 또는 음성 입력에 의한 기능의 실행을 취소하기 위한 취소 메뉴(938)를 포함하여 디스플레이할 수 있다. 상기 음성 입력 메뉴(937)을 선택하는 경우, 일시적으로 중단될 수 있는 음성 인식 모듈을 다시 활성화하여 터치 스크린(920)에 디스플레이할 수 있다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 휴대 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 휴대 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 휴대 단말의 기능을 제어하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 기능 제어 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 휴대 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 휴대 단말의 요청 또는 자동으로 해당 프로그램을 상기 호스트 장치로 전송하는 제어부를 포함할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
110: 제어부 120: 이동통신 모듈
130: 서브 통신 모듈 140: 멀티미디어 모듈
150: 카메라 모듈 160: 입/출력 모듈
168: 입력 수단 170: 센서 모듈
180: 전원 공급부 190: 터치 스크린

Claims (30)

  1. 휴대 단말의 기능 제어 방법에 있어서,
    제스처를 감지하는 과정과,
    상기 감지된 제스처에 대응하여 음성 인식 모듈을 활성화하는 과정과,
    상기 활성화된 음성 인식 모듈에 입력되는 음성을 분석하는 과정과,
    상기 입력되는 음성이 개인 정보를 포함하는지 여부에 따라, 상기 입력되는 음성에 대응되는 기능의 실행 여부를 결정하는 과정을 포함하며,
    상기 입력되는 음성이 상기 개인 정보를 포함하지 않으면 상기 기능을 실행하고, 상기 입력되는 음성이 상기 개인 정보를 포함하면 상기 기능을 실행할 수 없음을 출력하는 것을 특징으로 하는 기능 제어 방법.
  2. 제1 항에 있어서,
    상기 감지된 제스처에 대응하여 터치 스크린을 활성화하는 과정을 더 포함하는 것을 특징으로 하는 기능 제어 방법.
  3. 제1 항에 있어서,
    상기 음성 인식 모듈은 상기 제스처가 감지된 이후 미리 정해진 시간 동안 움직임이 없는 경우에 활성화되는 것을 특징으로 하는 기능 제어 방법.
  4. 제1 항에 있어서,
    상기 제스처는 상기 휴대 단말의 고도가 높아지면서 상기 휴대 단말의 터치 스크린이 위로 향하도록 하는 움직임인 것을 특징으로 하는 기능 제어 방법.
  5. 제1 항에 있어서,
    상기 제스처가 상기 휴대 단말의 고도가 낮아지면서 상기 휴대 단말의 터치 스크린이 아래로 향하도록 하는 움직임인 경우, 상기 휴대 단말을 움직이게 하는 사용자의 안구를 적어도 하나의 카메라를 통해 인식하는 과정을 더 포함하는 것을 특징으로 하는 기능 제어 방법.
  6. 제5 항에 있어서,
    상기 인식하는 과정은 상기 제스처가 상기 터치 스크린을 아래로 향하도록 하는 움직임이고 상기 사용자의 상기 안구가 감지되는 경우, 상기 음성 인식 모듈을 활성화하는 과정을 포함하는 것을 특징으로 하는 기능 제어 방법.
  7. 제6 항에 있어서,
    상기 안구가 감지되지 않는 경우, 상기 음성 인식 모듈을 비활성 상태로 유지하는 과정을 포함하는 것을 특징으로 하는 기능 제어 방법.
  8. 삭제
  9. 제1 항에 있어서,
    상기 개인 정보를 포함하지 않는 상기 입력되는 음성에 대응되는 상기 기능은 인터넷 검색, 전화 통화, 지도 검색, 방송 시청 또는 뉴스 및 날씨를 포함하며, 다른 기능과 상호 연동되지 않는 것을 특징으로 하는 기능 제어 방법.
  10. 삭제
  11. 제1 항에 있어서,
    상기 개인 정보를 포함하는 상기 입력되는 음성에 대응되는 상기 기능은 전화번호부 검색 기능, 이메일, 문자 메시지, 통화 목록, 다이어리, 메신저 또는 사진첩을 포함하며, 사용자에 의해 기 설정되는 것을 특징으로 하는 기능 제어 방법.
  12. 제1 항에 있어서,
    상기 기능이 실행된 이후 미리 설정된 시간 동안 명령이 입력되지 않으면, 상기 기능을 비활성 상태로 전환하는 과정을 더 포함하는 것을 특징으로 하는 기능 제어 방법.
  13. 휴대 단말의 음성 인식을 이용한 기능 제어 방법에 있어서,
    제스처의 감지 이후 미리 정해진 시간 동안 상기 휴대 단말이 움직임이 없는지 판단하는 과정과,
    상기 휴대 단말의 음성 인식 모듈을 활성화하는 과정과,
    상기 음성 인식 모듈로 입력되는 음성을 분석하는 과정과,
    상기 입력되는 음성이 개인 정보를 포함하는지 여부에 따라, 상기 입력되는 음성에 대응되는 기능의 실행 여부를 결정하는 과정을 포함하며,
    상기 입력되는 음성이 상기 개인 정보를 포함하지 않으면 상기 기능을 실행하고, 상기 입력되는 음성이 상기 개인 정보를 포함하면 상기 기능을 실행할 수 없음을 출력하는 것을 특징으로 하는 기능 제어 방법.
  14. 제13 항에 있어서,
    상기 미리 정해진 시간 동안 상기 휴대 단말이 움직임이 없으면, 터치 스크린을 활성화하는 과정을 포함하는 것을 특징으로 하는 기능 제어 방법.
  15. 삭제
  16. 삭제
  17. 제13 항에 있어서,
    상기 출력은 음성 입력에 대응하여 실행 가능한 적어도 하나의 기능을 포함하는 리스트를 음성으로 출력하거나 터치 스크린에 디스플레이하는 것을 특징으로 하는 기능 제어 방법.
  18. 제13 항에 있어서,
    상기 제스처는 상기 휴대 단말의 고도가 높아지면서 상기 휴대 단말의 터치 스크린이 위로 향하도록 하는 움직임인 것을 특징으로 하는 기능 제어 방법.
  19. 제13 항에 있어서,
    상기 제스처가 상기 휴대 단말의 고도가 낮아지면서 상기 휴대 단말의 터치 스크린이 아래로 향하도록 하는 움직임인 경우, 상기 휴대 단말을 움직이게 하는 사용자의 안구를 적어도 하나의 카메라를 통해 스캔하는 과정을 더 포함하는 것을 특징으로 하는 기능 제어 방법.
  20. 제19 항에 있어서,
    상기 스캔 과정은 상기 제스처가 상기 터치 스크린이 아래로 향하도록 하고 상기 사용자의 상기 안구가 스캔되는 경우, 상기 음성 인식 모듈을 활성화하는 과정을 포함하는 것을 특징으로 하는 기능 제어 방법.
  21. 제20 항에 있어서,
    상기 안구가 감지되지 않는 경우, 상기 음성 인식 모듈을 비활성 상태로 유지하는 과정을 포함하는 것을 특징으로 하는 기능 제어 방법.
  22. 제13 항에 있어서,
    상기 기능이 실행된 이후 미리 설정된 시간 동안 명령이 입력되지 않으면, 상기 기능을 비활성 상태로 전환하는 과정을 더 포함하는 것을 특징으로 하는 기능 제어 방법.
  23. 음성 인식을 이용하여 기능을 제어하는 휴대 단말에 있어서,
    적어도 하나의 기능을 실행하는 터치 스크린과,
    제스처를 감지하는 센서 모듈과,
    상기 감지된 제스처에 대응하여 음성 인식 모듈을 활성화하고, 상기 활성화된 음성 인식 모듈에 입력되는 음성을 분석하고, 상기 입력되는 음성이 개인 정보를 포함하는지 여부에 따라 상기 입력되는 음성에 대응되는 기능의 실행 여부를 결정하는 제어부를 포함하며,
    상기 제어부는 상기 입력되는 음성이 상기 개인 정보를 포함하지 않으면 상기 기능을 실행하고, 상기 입력되는 음성이 상기 개인 정보를 포함하면 상기 기능을 실행할 수 없음을 출력하도록 제어하는 것을 특징으로 하는 휴대 단말.
  24. 제23 항에 있어서,
    상기 센서 모듈은 상기 제스처가 상기 휴대 단말의 고도가 높아지면서 상기 터치 스크린이 위로 향하는 움직임인지 감지하는 것을 특징으로 하는 휴대 단말.
  25. 제23 항에 있어서,
    상기 휴대 단말을 움직이게 하는 사용자의 안구를 인식하기 위한 적어도 하나의 카메라를 포함하는 카메라 모듈을 더 포함하는 것을 특징으로 하는 휴대 단말.
  26. 제23 항에 있어서,
    상기 제어부는 상기 제스처의 감지 이후 미리 정해진 시간 동안 상기 휴대 단말이 수평 상태로 유지되는 경우 상기 터치 스크린과 상기 음성 인식 모듈을 활성화하는 것을 특징으로 하는 휴대 단말.
  27. 삭제
  28. 삭제
  29. 제25 항에 있어서,
    상기 제어부는 상기 제스처가 상기 휴대 단말의 고도가 낮아지면서 상기 휴대 단말의 상기 터치 스크린이 아래로 향하도록 하는 경우 상기 휴대 단말을 움직이게 하는 상기 사용자의 상기 안구를 인식하기 위해 상기 적어도 하나의 카메라를 제어하는 것을 특징으로 하는 휴대 단말.
  30. 제23 항에 있어서,
    상기 제어부는 상기 기능이 실행된 이후 미리 설정된 시간 동안 명령이 입력되지 않으면 상기 실행된 기능을 비활성 상태로 전환하는 것을 특징으로 하는 휴대 단말.
KR1020130071062A 2013-06-20 2013-06-20 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법 KR102160767B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130071062A KR102160767B1 (ko) 2013-06-20 2013-06-20 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US14/310,716 US10162512B2 (en) 2013-06-20 2014-06-20 Mobile terminal and method for detecting a gesture to control functions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130071062A KR102160767B1 (ko) 2013-06-20 2013-06-20 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법

Publications (2)

Publication Number Publication Date
KR20140147557A KR20140147557A (ko) 2014-12-30
KR102160767B1 true KR102160767B1 (ko) 2020-09-29

Family

ID=52111606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130071062A KR102160767B1 (ko) 2013-06-20 2013-06-20 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법

Country Status (2)

Country Link
US (1) US10162512B2 (ko)
KR (1) KR102160767B1 (ko)

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20100078472A1 (en) 2008-09-30 2010-04-01 Apple Inc. Group peer-to-peer financial transactions
US10380573B2 (en) 2008-09-30 2019-08-13 Apple Inc. Peer-to-peer financial transaction devices and methods
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
JP6065369B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20140067366A1 (en) * 2012-08-30 2014-03-06 Google Inc. Techniques for selecting languages for automatic speech recognition
US10304465B2 (en) * 2012-10-30 2019-05-28 Google Technology Holdings LLC Voice control user interface for low power mode
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR102179056B1 (ko) * 2013-07-19 2020-11-16 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR101444091B1 (ko) 2013-08-06 2014-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10924603B1 (en) * 2014-03-01 2021-02-16 sigmund lindsay clements Phone map used to find and operate multiuser devices
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
CN106463110A (zh) * 2014-06-03 2017-02-22 索尼公司 信息处理设备、信息处理方法和程序
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US11330100B2 (en) * 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
KR102271434B1 (ko) * 2014-09-26 2021-07-01 엘지전자 주식회사 이동단말기 및 그 제어방법
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
CN107077275B (zh) * 2015-01-20 2021-02-12 华为技术有限公司 多媒体信息的呈现方法和终端
JP6591167B2 (ja) * 2015-01-28 2019-10-16 京セラ株式会社 電子機器
WO2016137797A1 (en) 2015-02-23 2016-09-01 SomniQ, Inc. Empathetic user interface, systems, and methods for interfacing with empathetic computing device
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
KR101651529B1 (ko) * 2015-03-26 2016-08-26 주식회사 얍컴퍼니 모바일 단말의 비콘 수신기 활성화 장치 및 방법
WO2016167672A1 (es) * 2015-04-14 2016-10-20 Delmar Lissa Jose Antonio Dispositivo portátil de comunicación para transmitir mensajes táctiles
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR20170004160A (ko) 2015-07-01 2017-01-11 엘지전자 주식회사 이동단말기 및 그 제어방법
USD777784S1 (en) * 2015-08-26 2017-01-31 Google Inc. Display screen with icon
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
KR20170046958A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 전자 장치 및 그의 음성 인식을 이용한 기능 실행 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN106855780A (zh) * 2015-12-09 2017-06-16 阿里巴巴集团控股有限公司 输入操作的处理方法、装置和智能终端
CN106855778A (zh) * 2015-12-09 2017-06-16 阿里巴巴集团控股有限公司 界面操作的处理方法、装置和智能终端
EP3387628B1 (en) * 2015-12-11 2021-05-12 Somniq, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
USD806711S1 (en) 2015-12-11 2018-01-02 SomniQ, Inc. Portable electronic device
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10831273B2 (en) * 2016-01-26 2020-11-10 Lenovo (Singapore) Pte. Ltd. User action activated voice recognition
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
US10481863B2 (en) 2016-07-06 2019-11-19 Baidu Usa Llc Systems and methods for improved user interface
USD815110S1 (en) * 2016-07-07 2018-04-10 Baidu Usa Llc Display screen or portion thereof with graphical user interface
USD812635S1 (en) * 2016-07-07 2018-03-13 Baidu Usa Llc. Display screen or portion thereof with graphical user interface
USD817337S1 (en) * 2016-07-07 2018-05-08 Baidu Usa Llc Display screen or portion thereof with graphical user interface
WO2018013564A1 (en) * 2016-07-12 2018-01-18 Bose Corporation Combining gesture and voice user interfaces
US10438583B2 (en) 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US9842330B1 (en) 2016-09-06 2017-12-12 Apple Inc. User interfaces for stored-value accounts
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
DE102016221564A1 (de) * 2016-10-13 2018-04-19 Bayerische Motoren Werke Aktiengesellschaft Multimodaler Dialog in einem Kraftfahrzeug
JP6570505B2 (ja) * 2016-12-08 2019-09-04 三菱電機株式会社 送受信システム及びその端末装置
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
TWI724096B (zh) * 2017-01-23 2021-04-11 香港商斑馬智行網絡（香港）有限公司 介面操作的處理方法、裝置和智慧終端
CN108509119B (zh) * 2017-02-28 2023-06-02 三星电子株式会社 用于功能执行的电子设备的操作方法和支持其的电子设备
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11221744B2 (en) 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
CN110999228A (zh) 2017-05-16 2020-04-10 苹果公司 用于对等传输的用户界面
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
CN107566649A (zh) * 2017-09-06 2018-01-09 上海青橙实业有限公司 电子终端检测位置变化的方法与电子终端
FR3075427A1 (fr) * 2017-12-18 2019-06-21 Orange Assistant vocal
CN111630472A (zh) * 2018-01-26 2020-09-04 索尼公司 信息处理装置、信息处理方法和程序
US20190237003A1 (en) * 2018-01-26 2019-08-01 Mobvoi Information Technology Co., Ltd. Display device, electronic device and method of controlling screen display
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
EP3627501B1 (en) * 2018-05-18 2023-10-18 Shenzhen Aukey Smart Information Technology Co., Ltd. Headphones, wrist-worn voice interaction device and system
EP3621067A1 (en) 2018-05-18 2020-03-11 Shenzhen Aukey Smart Information Technology Co., Ltd. Ai voice interaction method, apparatus and system
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
CN112219203A (zh) 2018-06-03 2021-01-12 苹果公司 用于转账账户的用户界面
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11100498B2 (en) 2018-06-03 2021-08-24 Apple Inc. User interfaces for transfer accounts
KR102592907B1 (ko) * 2018-06-22 2023-10-23 삼성전자주식회사 텍스트 입력 디바이스 및 그 방법
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) * 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11231975B2 (en) * 2018-09-29 2022-01-25 Apple Inc. Devices, methods, and user interfaces for providing audio notifications
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
CN109618059A (zh) * 2019-01-03 2019-04-12 北京百度网讯科技有限公司 移动终端中语音识别功能的唤醒方法和装置
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US20210382561A1 (en) * 2020-06-05 2021-12-09 Koninklijke Fabriek Inventum B.V. Gesture control for overhead bins
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11983702B2 (en) 2021-02-01 2024-05-14 Apple Inc. Displaying a representation of a card with a layered structure
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account
TWI799090B (zh) * 2022-01-18 2023-04-11 華碩電腦股份有限公司 具有動態桌布的電子裝置
US11709653B1 (en) * 2022-04-11 2023-07-25 Google Llc Contextual assistant using mouse pointing or touch cues

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164219A1 (en) * 2007-12-19 2009-06-25 Enbiomedic Accelerometer-Based Control of Wearable Devices
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3571254B2 (ja) 1999-04-27 2004-09-29 シャープ株式会社 通話装置
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP2002358149A (ja) 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP4329801B2 (ja) * 2006-09-29 2009-09-09 ブラザー工業株式会社 通信装置
KR101053872B1 (ko) * 2008-06-16 2011-08-03 삼성전자주식회사 이동통신단말기 및 그의 개인정보 보호방법
KR101502004B1 (ko) * 2008-07-25 2015-03-12 엘지전자 주식회사 이동 단말기 및 그의 음성 명령 인식 방법
US8456420B2 (en) * 2008-12-31 2013-06-04 Intel Corporation Audible list traversal
US7873849B2 (en) * 2009-09-02 2011-01-18 Apple Inc. Motion sensor data processing using various power management modes
US20120265535A1 (en) * 2009-09-07 2012-10-18 Donald Ray Bryant-Rich Personal voice operated reminder system
KR101577124B1 (ko) * 2010-08-27 2015-12-11 인텔 코포레이션 원격 제어 장치
KR101828273B1 (ko) 2011-01-04 2018-02-14 삼성전자주식회사 결합기반의 음성명령 인식 장치 및 그 방법
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9262208B2 (en) * 2012-08-20 2016-02-16 International Business Machines Corporation Automated, controlled distribution and execution of commands and scripts
US9317721B2 (en) * 2012-10-31 2016-04-19 Google Inc. Privacy aware camera and device status indicator system
US9195388B2 (en) * 2013-03-15 2015-11-24 Apple Inc. Specifying applications to share in a shared access mode
US9530410B1 (en) * 2013-04-09 2016-12-27 Google Inc. Multi-mode guard for voice commands
US9082407B1 (en) * 2014-04-15 2015-07-14 Google Inc. Systems and methods for providing prompts for voice commands

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164219A1 (en) * 2007-12-19 2009-06-25 Enbiomedic Accelerometer-Based Control of Wearable Devices
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities

Also Published As

Publication number Publication date
US20140379341A1 (en) 2014-12-25
US10162512B2 (en) 2018-12-25
KR20140147557A (ko) 2014-12-30

Similar Documents

Publication Publication Date Title
KR102160767B1 (ko) 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9977529B2 (en) Method for switching digitizer mode
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
KR102090964B1 (ko) 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
US9977497B2 (en) Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal
KR102264444B1 (ko) 전자 장치에서 기능 실행 방법 및 장치
KR102155836B1 (ko) 터치 스크린 상에서 객체 디스플레이를 제어하는 휴대 단말 및 방법
KR101815720B1 (ko) 진동 제어 방법 및 장치
KR20140076261A (ko) 펜을 이용한 사용자 인터페이스 제공 단말 및 방법
US20140340336A1 (en) Portable terminal and method for controlling touch screen and system thereof
KR102091710B1 (ko) 좌표 측정 장치 및 그 제어 방법
US20140348334A1 (en) Portable terminal and method for detecting earphone connection
US20150002420A1 (en) Mobile terminal and method for controlling screen
KR102079033B1 (ko) 장소 인식을 제어하는 휴대 단말 및 방법
US10101830B2 (en) Electronic device and method for controlling operation according to floating input
KR20140092106A (ko) 터치 스크린 상의 사용자 입력을 처리하는 방법 및 단말과 저장 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant