KR102065409B1 - 이동단말기 및 그 제어방법 - Google Patents
이동단말기 및 그 제어방법 Download PDFInfo
- Publication number
- KR102065409B1 KR102065409B1 KR1020130106043A KR20130106043A KR102065409B1 KR 102065409 B1 KR102065409 B1 KR 102065409B1 KR 1020130106043 A KR1020130106043 A KR 1020130106043A KR 20130106043 A KR20130106043 A KR 20130106043A KR 102065409 B1 KR102065409 B1 KR 102065409B1
- Authority
- KR
- South Korea
- Prior art keywords
- mobile terminal
- memo
- stylus pen
- voice
- controller
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
- Telephone Set Structure (AREA)
- User Interface Of Digital Computer (AREA)
- Mechanical Pencils And Projecting And Retracting Systems Therefor, And Multi-System Writing Instruments (AREA)
Abstract
본 발명은 사용자의 편의가 더욱 고려되어 단말기의 사용이 구현될 수 있도록 하는 이동 단말기 및 그 제어 방법에 관한 것이다. 본 발명의 실시예들 중 적어도 하나에 의하면, 착탈식 스타일러스 펜(Stylus Pen)을 이용하여 음성 데이터를 녹음하고, 녹음한 음성 데이터를 이동 단말기에 손쉽게 저장 및 관리할 수 있다는 장점이 있다. 또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 착탈식 스타일러스 펜으로 작성된 가상의 필기 메모를 손쉽게 저장 및 관리할 수 있다는 장점도 가진다.
Description
본 발명은 사용자의 편의가 더욱 고려되어 단말기의 사용이 구현될 수 있도록 하는 이동 단말기 및 그 제어 방법에 관한 것이다.
단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
특히, 최근 단말기를 효율적으로 제어하는 방법에 대한 연구는, 사용자의 제어 입력이 보다 직관적이 되도록 하는 것에 초점이 맞추어지고 있다. 이러한 직관적인 제어 입력의 대표적인 수단으로는, 스타일러스 펜(stylus pen)을 들 수 있다. 스타일러스 펜은, 단말기의 터치스크린의 터치 입력 수단으로써, 단말기에 구비되는 터치스크린의 크기가 커짐에 따라 그 효용성이 높아지고 있다. 이처럼 높아지는 효용성에 부흥하기 위하여, 스타일러스 펜을 이용하는 확장된 제어 방법들에 대한 연구가 요구되고 있다.
본 발명은 전술한 필요성을 충족하기 위해 제안되는 것으로서, 스타일러스 펜을 터치 입력 수단으로써 이용할 뿐만 아니라, 녹음 및 메모 보조 기구로 활용할 수 있도록 하는 이동단말기 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위해 본 발명은, 마이크를 구비하는 착탈식 스타일러스 펜(Stylus pen), 소정 어플리케이션의 실행화면을 출력하는 터치스크린, 상기 스타일러스 펜이 분리된 상태에서 상기 마이크로부터 녹음된 음성 신호를 수신하는 무선 통신부, 및 상기 소정 어플리케이션의 실행화면 상의 소정 위치에 상기 수신된 음성 신호를 텍스트 형식으로 붙여넣는(paste) 입력을 수신하면, 상기 수신된 음성 신호를 식별하여 텍스트로 변환하고, 상기 변환된 텍스트를 상기 소정 어플리케이션 상의 상기 소정 위치에 붙여넣기하는 제어부를 제공한다.
또한, 상기 목적을 달성하기 위해 본 발명은, 마이크를 구비하는 착탈식 스타일러스 펜(Stylus pen), 터치스크린 및 무선 통신부를 구비하는 이동 단말기의 제어 방법에 있어서, 상기 터치스크린을 통하여 소정 어플리케이션의 실행화면을 출력하는 단계, 상기 무선 통신부를 통하여, 상기 스타일러스 펜이 분리된 상태에서 상기 마이크로부터 녹음된 음성 신호를 수신하는 단계, 상기 소정 어플리케이션의 실행화면 상의 소정 위치에 상기 수신된 음성 신호를 텍스트 형식으로 붙여넣는(paste) 입력을 수신하면, 상기 수신된 음성 신호를 식별하여 텍스트로 변환하는 단계, 및 상기 변환된 텍스트를 상기 소정 어플리케이션 상의 상기 소정 위치에 붙여넣기하는 단계를 제공한다.
또한, 상기 목적을 달성하기 위해 본 발명은, 트랙킹 센서를 구비하는 착탈식 스타일러스 펜(Stylus pen), 무선 통신부, 및 상기 무선 통신부를 통하여 소정 상대방과 통화를 수행하기 위한 세션을 수립하고, 상기 통화 중 상기 착탈식 스타일러스 펜의 트랙킹 센서로부터 감지된 사용자의 가상 필기 메모를 수신하면, 상기 수신한 가상 필기 메모를 소정 어플리케이션을 이용하여 저장하는 제어부를 제공한다.
또한, 상기 목적을 달성하기 위해 본 발명은, 트랙킹 센서를 구비하는 착탈식 스타일러스 펜(Stylus pen) 및 무선 통신부를 구비하는 이동 단말기의 제어 방법에 있어서, 상기 무선 통신부를 통하여 소정 상대방과 통화를 수행하기 위한 세션을 수립하는 단계, 및 상기 통화 중 상기 착탈식 스타일러스 펜의 트랙킹 센서로부터 감지된 사용자의 가상 필기 메모를 수신하면, 상기 수신한 가상 필기 메모를 소정 어플리케이션을 이용하여 저장하는 단계를 제공한다.
본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시예들 중 적어도 하나에 의하면, 스타일러스 펜을 통하여 단말기의 기능을 확장시킬 수 있다는 장점이 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 단말기를 통하여 메모 내용을 기록하는데 있어, 편의성이 향상된 사용자 인터페이스 환경을 제공할 수 있다는 장점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도이다.
도 3은 도 2에 도시된 휴대 단말기의 후면 사시도이다.
도 4는 본 발명의 일 실시예에 따른 이동 단말기의 후면커버를 분리하여 리어 케이스의 표면을 도시한 후면 사시도이다.
도 5는 본 발명의 일실시예에 따른 포인팅 디바이스(pointing device)의 예시를 도시하는 도면이다.
도 6은 본 발명의 일실시예에 따른, 스타일러스 펜(500)의 블록도를 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모를 이동 단말기(100)에 텍스트 형태로 붙여넣는(paste) 방법을 도시하는 도면이다.
도 8은 본 발명의 일실시예에 따라, 텍스트 붙여넣기 동작을 수행한 후 텍스트를 수정할 수 있는 방법을 도시하는 도면이다.
도 9는 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모를 이동 단말기(100)에 오디오 데이터 형태로 붙여넣는 방법을 도시하는 도면이다.
도 10은 본 발명의 일실시예에 따른 재생 아이콘의 예시들을 도시하는 도면이다.
도 11은 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모가, 복수 개의 음성 신호 데이터로 이루어진 경우, 이동 단말기(100)에 음성 메모를 붙여넣는 방법을 도시하는 도면이다.
도 12는 본 발명의 일실시예에 따라서, 스타일러스 펜(500)을 통해 입력 받은 음성 메모가, 복수 개의 음성 신호 데이터로 이루어진 경우, 이동 단말기(100)에 음성 메모를 붙여넣기 동작을 수행할 때, 추천 항목을 표시하는 방법의 일례를 도시하는 도면이다.
도 13은 본 발명의 일실시예에 따라, 타이핑 메모와 함께 음성 메모를 입력하는 방법을 도시하는 도면이다.
도 14는 본 발명의 일실시예에 따라, 필기 메모와 함께 음성 메모를 입력하는 방법을 도시하는 도면이다.
도 15는 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 활용하여 통화 중 메모를 하는 방법의 일례를 도시하는 도면이다.
도 16은 스타일러스 펜(500)을 통하여 입력되는 가상의 필기 메모 상 소정 그리기 패턴에 따라서 저장될 어플리케이션을 선택하는 방법의 일례를 도시하는 도면이다.
도 17은 본 발명의 일실시예에 따라서, 스타일러스 펜(500)을 이용하여 음성 메모를 녹음하면서 동시에 지도 어플리케이션 상 저장한 필기 메모를 열람하는 방법을 도시하는 도면이다.
도 18은 본 발명의 일실시예에 따라서, 복수 명의 사람으로부터 동시에 음성 메모를 입력 받아 저장하고, 저장된 음성 메모를 회의록 형식으로 열람하는 방법을 도시하는 도면이다.
도 19 및 도 20은 본 발명의 일실시예에 따라, 복수 명의 이동 단말기 상에서 하나의 자료를 공유하여 열람하는 도중 입력되는 음성 및 필기 메모를 공유하는 제어 방법을 도시하는 도면이다.
도 21은 본 발명의 일실시예에 따라서, 복수 명의 인원에 의해서 공유된 음성/필기 메모를 일괄적으로 열람하기 위한, 공유 메모 목록을 도시하는 도면이다.
도 22 및 도 23은 본 발명의 일실시예에 따라, 작성된 음성/필기 메모를 회의록 상에서 공유하는 방법을 도시하는 도면이다.
도 24는 본 발명의 일실시예에 따라, 음성 메모를 저장하는 방법의 순서도를 도시하는 도면이다.
도 25는 본 발명의 다른 실시예에 따른, 스타일러스 펜(500)을 활용하여 통화 중 메모를 하는 방법의 순서도를 도시하는 도면이다.
도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도이다.
도 3은 도 2에 도시된 휴대 단말기의 후면 사시도이다.
도 4는 본 발명의 일 실시예에 따른 이동 단말기의 후면커버를 분리하여 리어 케이스의 표면을 도시한 후면 사시도이다.
도 5는 본 발명의 일실시예에 따른 포인팅 디바이스(pointing device)의 예시를 도시하는 도면이다.
도 6은 본 발명의 일실시예에 따른, 스타일러스 펜(500)의 블록도를 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모를 이동 단말기(100)에 텍스트 형태로 붙여넣는(paste) 방법을 도시하는 도면이다.
도 8은 본 발명의 일실시예에 따라, 텍스트 붙여넣기 동작을 수행한 후 텍스트를 수정할 수 있는 방법을 도시하는 도면이다.
도 9는 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모를 이동 단말기(100)에 오디오 데이터 형태로 붙여넣는 방법을 도시하는 도면이다.
도 10은 본 발명의 일실시예에 따른 재생 아이콘의 예시들을 도시하는 도면이다.
도 11은 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모가, 복수 개의 음성 신호 데이터로 이루어진 경우, 이동 단말기(100)에 음성 메모를 붙여넣는 방법을 도시하는 도면이다.
도 12는 본 발명의 일실시예에 따라서, 스타일러스 펜(500)을 통해 입력 받은 음성 메모가, 복수 개의 음성 신호 데이터로 이루어진 경우, 이동 단말기(100)에 음성 메모를 붙여넣기 동작을 수행할 때, 추천 항목을 표시하는 방법의 일례를 도시하는 도면이다.
도 13은 본 발명의 일실시예에 따라, 타이핑 메모와 함께 음성 메모를 입력하는 방법을 도시하는 도면이다.
도 14는 본 발명의 일실시예에 따라, 필기 메모와 함께 음성 메모를 입력하는 방법을 도시하는 도면이다.
도 15는 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 활용하여 통화 중 메모를 하는 방법의 일례를 도시하는 도면이다.
도 16은 스타일러스 펜(500)을 통하여 입력되는 가상의 필기 메모 상 소정 그리기 패턴에 따라서 저장될 어플리케이션을 선택하는 방법의 일례를 도시하는 도면이다.
도 17은 본 발명의 일실시예에 따라서, 스타일러스 펜(500)을 이용하여 음성 메모를 녹음하면서 동시에 지도 어플리케이션 상 저장한 필기 메모를 열람하는 방법을 도시하는 도면이다.
도 18은 본 발명의 일실시예에 따라서, 복수 명의 사람으로부터 동시에 음성 메모를 입력 받아 저장하고, 저장된 음성 메모를 회의록 형식으로 열람하는 방법을 도시하는 도면이다.
도 19 및 도 20은 본 발명의 일실시예에 따라, 복수 명의 이동 단말기 상에서 하나의 자료를 공유하여 열람하는 도중 입력되는 음성 및 필기 메모를 공유하는 제어 방법을 도시하는 도면이다.
도 21은 본 발명의 일실시예에 따라서, 복수 명의 인원에 의해서 공유된 음성/필기 메모를 일괄적으로 열람하기 위한, 공유 메모 목록을 도시하는 도면이다.
도 22 및 도 23은 본 발명의 일실시예에 따라, 작성된 음성/필기 메모를 회의록 상에서 공유하는 방법을 도시하는 도면이다.
도 24는 본 발명의 일실시예에 따라, 음성 메모를 저장하는 방법의 순서도를 도시하는 도면이다.
도 25는 본 발명의 다른 실시예에 따른, 스타일러스 펜(500)을 활용하여 통화 중 메모를 하는 방법의 순서도를 도시하는 도면이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈(1100)이 상기 이동 단말기(100)에 제공될 수 있다.
상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미한다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS (Convergence of Broadcasting and Mobile Service), OMA-BCAST (Open Mobile Alliance-BroadCAST), CMMB (China Multimedia Mobile Broadcasting), MBBMS (Mobile Broadcasting Business Management System), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, GSM(Global System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA)(이에 한정되지 않음)와 같은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), GSM, CDMA, WCDMA, LTE(Long Term Evolution)(이에 한정되지 않음) 등이 이용될 수 있다.
Wibro, HSDPA, GSM, CDMA, WCDMA, LTE 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로 이해될 수도 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 위치정보 모듈(115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 이동 단말기(100)의 전후면 또는 측면에 위치하는 버튼(136), 터치 센서(정압/정전)(137)로 구성될 수 있고, 도시되지는 않았지만 키패드(key pad), 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등을 더욱 포함하여 구성될 수 있다.
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 상기 센싱부(140)의 예로는, 자이로스코프 센서, 가속도 센서, 지자기 센서 등이 있을 수 있다.
예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparent OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 호칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 호칭할 수 있다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미할 수 있다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(152)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(151) 및 음향 출력 모듈(152)은 알람부(153)의 일종으로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)가 저장될 수 있다.
또한, 상기 메모리(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 이동 단말기(100)와 연결될 수 있다.
상기 인터페이스부는 이동 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller)(180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다. 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스부(170)의 일 예로서 구성될 수 있다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
이하, 본 발명의 실시예를 설명하는데 있어서, 디스플레이부(151)는 터치스크린(151)으로 가정하여 설명하기로 한다. 하지만, 본 발명의 실시예들이 터치스크린(151)에 한정되는 것은 아니다.
또한, 본 발명의 실시예에서 터치 제스처는 터치 스크린(151)를 접촉 터치하거나 근접 터치하여 구현되는 제스처를 의미하며, 터치 입력은 터치 제스처에 의해 수신되는 입력을 의미한다.
터치 제스처는 동작에 따라 태핑(tapping), 터치 드래그(touch & drag), 플리킹(flicking), 프레스(press), 멀티 터치(multi touch), 핀치 인(pinch in), 핀치 아웃(pinch out) 등으로 구분된다.
태핑은 터치 스크린(151)을 가볍게 한번 눌렀다 떼는 동작으로, 일반 퍼스널 컴퓨터에서의 마우스의 클릭과 같은 터치 제스처를 의미한다.
또한, 터치 드래그는 터치 스크린(151)에 터치를 유지한 상태에서 특정 위치로 이동한 후 떼는 동작으로, 객체를 드래그하는 경우, 해당 객체는 드래그 방향에 따라 지속적으로 이동하여 표시될 수도 있다.
또한, 플리킹은 터치 스크린(151)을 터치한 후 특정 방향(상, 하, 좌, 우 또는 대각선)으로 이동 후 접점을 떼는 동작을 의미하며, 이동 단말기(100)는 플리킹에 의해 터치 입력이 수신되면, 플리킹 방향, 속도 등을 토대로 특정 동작의 처리를 수행한다. 예를 들어, 플리킹 방향을 토대로 전자 책(e-book)의 페이지 넘김 동작을 수행할 수 있다.
또한, 프레스는 터치 스크린(151)을 터치 후 기 설정된 시간 이상 지속적으로 터치를 유지하는 동작을 의미한다.
또한, 멀티 터치는 터치 스크린(151)의 복수의 지점을 동시에 터치하는 동작을 의미한다.
또한, 핀치 인은 터치 스크린(151)을 멀티 터치 중인 복수의 포인터가 서로 가까워지는 방향으로 드래그하는 동작을 의미한다. 즉, 터치 스크린(151)에서 멀티 터치되는 복수의 지점 중 적어도 하나의 지점으로부터 시작되고, 멀티 터치되는 복수의 지점이 서로 가까워지는 방향으로 발생하는 드래그를 의미한다.
또한, 핀치 아웃은 터치 스크린(151)을 멀티 터치 중인 복수의 포인터가 서로 멀어지는 방향으로 드래그하는 동작을 의미한다. 즉, 터치 스크린(151)에서 멀티 터치되는 복수의 지점 중 적어도 하나의 지점으로부터 시작되고, 멀티 터치되는 복수의 지점이 서로 멀어지는 방향으로 발생하는 드래그를 의미한다.
도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도이다.
개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다.
상기 이동 단말기(100)의 바디는 외관을 이루는 케이스(101, 102, 103)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다.
경우에 따라서는 리어 케이스(102)의 표면에도 전자부품이 실장 될 수 있다. 상기 리어 케이스(102)의 표면에 실장되는 전자부품은 사용자가 탈착이 필요한 배터리, USIM카드 및 메모리카드 등이 있다. 이 때, 상기 리어 케이스(102)는 그 표면을 커버하기 위한 후면커버(103)를 더 구비할 수 있다. 상기 후면커버(103)는 사용자가 용이하게 탈부착 가능한 구조로 형성되며, 상기 후면커버(103)를 제거하면, 상기 리어 케이스(102)의 표면이 노출된다.
도 2에 도시된 바와 같이 상기 후면커버(103)를 결합하면, 상기 리어 케이스(102)의 측면 일부만 노출될 수도 있고, 상기 후면커버(103)의 사이즈를 작게하면 상기 리어 케이스(102)의 배면 일부도 노출될 수 있다. 상기 후면커버(103)가 상기 리어 케이스(102)의 배면 전체를 커버하는 경우 카메라(121')나 음향 출력부(152')를 외부로 노출시키기 위한 개구부(103')를 포함할 수 있다.
케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.
단말기 케이스(101, 102)에는 디스플레이부(151), 음향 출력 모듈(152), 카메라(121), 사용자 입력부(130/131,132), 마이크(122), 인터페이스부(170) 등이 배치될 수 있다.
디스플레이부(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. 디스플레이부(151)의 양단부 중 일 단부에 인접한 영역에는 음향 출력 모듈(152)와 카메라(121)가 배치되고, 다른 단부에 인접한 영역에는 사용자 입력부(131)와 마이크(122)가 배치된다. 사용자 입력부(132)와 인터페이스부(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다.
사용자 입력부(130)는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(131,132)을 포함할 수 있다. 조작 유닛들(131,132)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.
제1 또는 제2조작 유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 제2 조작 유닛(132)은 음향 출력 모듈(152)에서 출력되는 음향의 크기 조절 과 같은 명령을 입력받고, 제 3 조작 유닛(133)은 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력받을 수 있다.
도 3은 도 2에 도시된 휴대 단말기의 후면 사시도이다.
도 3을 참조하면, 단말기 바디의 후면, 다시 말해서 리어 케이스(102)에는 카메라(121')가 추가로 장착될 수 있다. 카메라(121')는 카메라(121, 도 2 참조)와 실질적으로 반대되는 촬영 방향을 가지며, 카메라(121)와 서로 다른 화소를 가지는 카메라일 수 있다.
예를 들어, 카메라(121)는 화상 통화 등의 경우에 사용자의 얼굴을 촬영하여 상대방에 전송함에 무리가 없도록 저 화소를 가지며, 카메라(121')는 일반적인 피사체를 촬영하고 바로 전송하지는 않는 경우가 많기에 고 화소를 가지는 것이 바람직하다. 카메라(121,121')는 회전 또는 팝업(pop-up) 가능하게 단말기 바디에 설치될 수도 있다.
카메라(121')에 인접하게는 플래쉬(123)와 거울(124)이 추가로 배치된다. 플래쉬(123)는 카메라(121')로 피사체를 촬영하는 경우에 피사체를 향해 빛을 비추게 된다. 거울(124)은 사용자가 카메라(121')를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다.
단말기 바디의 후면에는 음향 출력부(152')가 추가로 배치될 수도 있다. 음향 출력부(152')는 음향 출력부(152, 도 2a 참조)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디의 측면에는 통화 등을 위한 안테나 외에 방송신호 수신용 안테나(116)가 추가적으로 배치될 수 있다. 방송수신모듈(111, 도 1 참조)의 일부를 이루는 안테나(116)는 단말기 바디에서 인출 가능하게 설치될 수 있다.
도 4는 본 발명의 일 실시예에 따른 이동 단말기의 후면커버를 분리하여 리어 케이스의 표면을 도시한 후면 사시도이다. 도 4를 참조하면, 프론트 케이스(101), 리어 케이스(102), 후면커버(또는 배터리 커버)(103), 카메라(121'), 인터페이스부(170), 마이크(122), 스피커 모듈음향출력부(154152'), 배터리(191), 배터리 장착부(104), USIM카드 장착부(166), 메모리카드 장착부(167)가 도시되어 있다.
상기 리어 케이스(102) 표면에는 배터리 장착부(104), USIM카드 장착부(105) 및 메모리카드 장착부(106)와 같은 외장부품이 실장될 수 있는 공간을 구비할 수 있다. 일반적으로 상기 리어 케이스(102)의 표면에 실장되는 외장부품은 이동 단말기(100)의 기능이 다양화 되고 다양해진 소비자의 요구를 충족시키기 위해 이동 단말기(100)의 기능을 확장할 수 있도록 하기 위함이다.
이동 단말기(100)의 성능이 다양화됨에 따라 전력소모가 큰점을 보완하기 위해 배터리(191)를 도 4에 도시된 바와 같이 교체형으로 구성할 수 있다. 교체형의 경우 사용자가 탈부착할 수 있도록 상기 리어 케이스(102)의 표면에 배터리 장착부(104)를 형성한다. 상기 배터리 장착부(104)에는 상기 케이스 내부에 실장되는 부품과 전기적으로 연결되도록 접속 단자를 구비한다.
도 4에 도시된 바와 같이 USIM카드 장착부(166)나 메모리카드 장착부(167)는 배터리 장착부(104)의 옆에 형성될 수도 있고, 배터리 장착부(104)의 바닥면에 형성하여, 배터리(191)를 상기 배터리 장착부(104)로부터 분리하면 외부로 노출되도록 형성할 수도 있다. 이 경우 배터리 장착부(104)의 크기가 더 커질 수 있어 배터리(191)의 대형화가 가능하다.
도 4에는 USIM카드 장착부(166)나 메모리카드 장착부(167)는 리어 케이스(102)의 후면에 실장되는 구성이 도시되어 있으나, 그 외에 측면에서 삽입하는 방식으로 이동 단말기(100)에 삽입 분리 가능하다.
상기 후면커버(103)는 상기 리어케이스의 표면을 커버하여, 상기 리어 케이스(102)의 표면에 실장된 배터리(191), USIM카드, 메모리카드 등이 이탈되지 않도록 고정하며, 외부 충격이나 이물질로부터 상기 외장부품을 보호한다. 최근에는 방수기능을 부가하여, 상기 외장부품에 물이 투입되지 않도록 상기 리어 케이스(102)와 상기 후면커버(103)를 결합시 밀폐되도록 하는 방수구조(미도시)를 더 포함할 수 있다.
이하에서는 이와 같이 구성된 이동 단말기에서 구현될 수 있는 제어 방법과 관련된 실시예들에 대해 첨부된 도면을 참조하여 살펴보겠다.
도 5는 본 발명의 일실시예에 따른 포인팅 디바이스(pointing device)의 예시를 도시하는 도면이다.
이동 단말기(100)를 제어하는 수단으로는, 손가락 및 포인팅 디바이스를 고려할 수 있다. 이러한 수단을 이용하여 터치스크린(151)에 소정의 터치 제스처를 입력할 경우, 이동 단말기(100)는 입력되는 터치 제스처에 대응하는 동작을 수행할 수 있다. 손가락은 언제 어디서나 손쉬운 입력수단인 것은 분명하나, 세밀한 터치 입력은 어렵다는 단점이 존재한다.
포인팅 디바이스는, 손가락의 단점을 보완하기 위한 입력 보조 수단으로써, 대표적으로 스타일러스 펜(stylus pen)을 들 수 있다. 스타일러스 펜(500)은, 도 5에 도시된 바와 같이, 이동 단말기(100)와 결합/분리되는 형태로 구비될 수 있다.
스타일러스 펜(500)이란, 컴퓨터 화면(예를 들면 터치스크린 및 드로잉 패드) 등에 글을 쓰거나 그림을 그리는 등의 표시를 할 때 사용하는 펜을 의미한다. 스타일러스 펜(500)은, 연필처럼 스타일러스 펜(500)을 쥔 상태에서 그 것의 일단을 통하여 필기하듯이 입력할 수 있기 때문에 손가락 보다 세밀한 터치 입력을 할 수 있다. 그 뿐만 아니라, 스타일러스 펜(500) 내부에 각종 모듈을 포함시킴으로써, 단순히 터치 입력만을 보조하는 것에 지나지 않고 이동 단말기(100)의 여러 기능들을 보조해 줄 수도 있다는 점에서 강점을 가지고 있다.
본 발명의 일실시예에 따른 스타일러스 펜(500)은, 마이크를 구비할 수 있으며, 마이크의 위치는 도 5에 도시된 바와 같이 스타일러스 펜(500)의 일단(501, 펜 촉의 반대편 끝)에 구비될 수 있다.
본 발명의 실시예들에서는, 이러한 기능들을 확장시킬 수 있는 효과적인 제어 방법들을 제공하고자 한다.
도 6은 본 발명의 일실시예에 따른, 스타일러스 펜(500)의 블록도를 도시하는 도면이다.
도 6을 참조하면, 스타일러스 펜(500)은, s-제어부(601), s-무선 통신부(602), s-마이크(603), s-센싱부(604), s-전원 공급부(605), s-메모리(606) 및 s-사용자 입력부(607) 중 적어도 하나를 포함할 수 있다. 본 발명의 실시예에 따른, 이동 단말기(100)와 스타일러스 펜(500)은 내부 구성의 명칭에 있어서 일부 동일한 명칭의 구성을 포함하고 있다. 따라서, 본 발명의 실시예들을 설명하는데 있어서, 동일한 명칭의 구성을 편리하게 하기 위하여 스타일러스 펜(500)의 구성의 명칭 앞에 's-'를 붙이기로 한다.
s-제어부(601)는 본 발명의 일실시예에 따른, 스타일러스 펜(500)의 전반적인 동작을 제어할 수 있다. 예를 들어, s-제어부(601)은 s-마이크(603)로부터 수신되는 오디오 데이터를 s-메모리(606)에 저장하거나, s-무선 통신부(602)를 통하여 외부 기기로 전송시키도록 제어할 수 있다.
s-무선 통신부(602)는, 무선 통신기술을 이용하여 외부 기기와 데이터를 송수신할 수 있다. 특히, 본 발명의 일실시예에서 s-무선 통신부(602)는 이동 단말기(100)와 데이터를 송수신하기 위하여 구비될 수 있다. 이동 단말기(100)와 데이터를 송수신 하기 위해서는, 근거리 통신 기술들이 이용될 수 있을 것이며, 근거리 통신 기술의 예시로는, 블루투스(Bluetooth), 적외선 통신, 지그비(ZigBee) 및 와이파이(Wi-Fi)를 들 수 있다. 한편, 본원 발명의 실시예에서의 근거리 통신 기술에 제한이 있지 않고, 이동 단말기(100)와 스타일러스 펜(500) 간에 데이터를 송수신 할 수 있는 기술이라면 본 발명의 일실시예에 적용 가능할 것이다.
s-마이크(603)는, 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 이러한 음성 데이터는, 동작 모드에 따라서 s-무선 통신부(602)를 통하여 외부 기기(예를 들면 이동 단말기)로 전송되거나, s-메모리(606)에 저장될 수 있다.
s-센싱부(604)는, 스타일러스 펜(500)의 위치, 스타일러스 펜(500)의 가속/감속, 스타일러스 펜(500)을 이용하여 작성되는 필기 메모 감지 등과 같이 스타일러스 펜(500)의 현 상태를 감지하여 센싱 신호를 발생시킨다. 특히, 본 발명의 일실시예에 따른 s-센싱부(604)는, 스타일러스 펜(500) 상의 일단에 위치하여, 스타일러스 펜(500)을 이용하여 작성되는 필기 메모를 감지할 수 있다. 필기 메모의 감지는, 트랙킹 센서(tracking sensor)를 통하여 이루어질 수 있다. 트랙킹 센서는, 가상의 필기 메모가 이루어지는 면과의 상대적인 위치 변화를 감지하는 센서로써, 광센서 또는 볼센서를 예시로 들 수 있다. 즉, 스타일러스 펜(500)의 일단에 위치하는 트랙킹 센서를 통하여, 가상의 필기 메모가 이루어지는 면과의 상대적인 위치 변화를 감지하고, 감지된 위치 변화의 경로를 분석함으로서, 스타일러스 펜(500)을 통한 필기 메모를 감지할 수 있다. 감지된 필기 메모는 s-메모리(606)에 저장 또는 s-무선 통신부(602)를 통하여 외부 기기(예를 들면 이동 단말기)로 전송될 수 있다.
s-전원 공급부(605)는, 스타일러스 펜(500)의 각 구성에 전력을 공급한다. 이동 단말기(100)에 결합되어 있는 상태에서는, 이동 단말기(100)와 전기적으로 연결되고, 전기적인 연결을 통하여 전력을 공급 받아 충전할 수 있다.
s-메모리(606)는, 각종 데이터를 저장할 수 있으며, 특히 상술한 바와 같이 s-마이크(603)을 통하여 전환되는 음성 데이터 또는 센싱부를 통하여 감지되는 필기 메모 데이터 등을 저장할 수 있다.
s-사용자 입력부(607)는 사용자로부터 특정 명령을 수신하기 위하여 구비된다. 예를 들어, 녹음을 시작/종료하기 위한 녹음 버튼(미도시)을 들 수 있다.
이하에서는 도면을 참조하여, 상술한 스타일러스 펜(500)을 이용함으로써 사용자의 직관적인 입력을 보조할 수 있는 다양한 제어 방법에 대해서 설명한다.
도 7은 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모를 이동 단말기(100)에 텍스트 형태로 붙여넣는(paste) 방법을 도시하는 도면이다.
도 7 (a)에서와 같이, 본 발명의 일실시예에 따른 제어 방법은 스타일러스 펜(500)의 s-마이크(603)을 통하여 사용자(701)의 음성 신호(Voice signal, 702)를 입력 받는다.
스타일러스 펜(500) 자체는, 이동 단말기(100)와 비교하였을 때 상대적으로 작은 부피와 가벼운 무게를 가질 수 있다. 따라서, 음성 메모를 녹음하는데 있어서 이동 단말기(100)의 마이크(122)를 이용하는 것 보다 상대적으로 가벼운 스타일러스 펜(500)의 s-마이크(603)을 이용하는 것이 편리할 수 있다. 왜냐하면, 마이크의 위치와 음성 신호(702)의 거리가 가까울 수록 주변 소음으로부터의 영향이 최소화될 수 있기 때문이다. 즉, 스타일러스 펜(500)의 s-마이크(603)를 이용할 경우, 음성 녹음을 하고자 하는 사용자(701)의 입 근처로 가져가기 쉽다. 더군다나, 이동 단말기(100)의 터치스크린(151)을 통하여 특정 이미지 또는 영상을 보면서 동시에 음성 녹음을 입력하고자 할 때, 스타일러스 펜(500)의 s-마이크(603)을 통한 음성 메모의 입력이 더욱 효용성이 높아질 수 있다.
무엇보다도, 복수 개의 마이크를 활용할 경우 음성 신호(702)의 방향성 정보까지 확보할 수 있다는 점에서, 본 발명의 일실시예에서는 스타일러스 펜(500)의 s-마이크(603)를 통한 음성 신호(702)를 수신한다. 그리고 스타일러스 펜(500)은 수신한 음성 신호(702)를 이동 단말기(100)에게 전달할 수 있다.
본 발명의 일실시예에 따르면, 스타일러스 펜(500)을 통하여 수신한 음성 신호(702)를 저장하는데 있어서, 스타일러스 펜(500)을 통한 소정 입력을 통하여 음성 신호(702)가 저장되는 형태 및/또는 저장되는 위치(어플리케이션의 종류)를 결정할 것을 제안한다.
본 발명의 일실시예에 따르면, 제어부(180)는 터치스크린(151)을 통하여 입력되는 터치 수단을 구분함으로써, 일반적으로 입력되는 터치 입력과 스타일러스 펜(500)을 통하여 입력되는 터치 입력을 구분할 수 있다. 이하에서 설명되는 본 발명의 일실시예에서는, 이렇게 터치 수단을 통하여 구분되는 터치 입력을 구분하기 위하여, 스타일러스 펜(500)을 통하여 입력되는 터치 입력의 앞에는 '펜-'을 붙이기로 한다(예를 들면, 펜-터치, 펜-터치 드래그 등).
도 7 (b)에서와 같이, 제어부(180)는 소정 어플리케이션의 실행 상태도 상에 펜-터치 입력(710a)을 수신하면, 이에 대응하여 스타일러스 펜(500)을 통하여 녹음한 음성 신호(702)를 붙여넣기 동작을 수행할 수 있다.
제어부(180)는 상술한 붙여넣기 동작을 수행하는데 있어서, 붙여넣기 모드를 선택하고 선택한 모드에 따라 붙여넣기 형태를 달리 하도록 제안한다.
텍스트로 붙여넣기 모드는, 녹음한 음성 신호(702)를 텍스트로 변환한 후, 변환한 텍스트에 대해 붙여넣기를 수행하는 모드이다(도 7 및 도 8을 참조하여 설명).
오디오 데이터 붙여넣기 모드는, 녹음한 음성 신호(702)를 그대로 저장한 후, 저장한 오디오 데이터를 재생시키기 위한 재생 아이콘에 대해 붙여넣기를 수행하는 모드이다(도 9 및 도 10을 참조하여 설명).
제어부(180)는 붙여넣기 모드를 선택하는데 있어서, 사용자에게 선택 입력을 받을 수 있는 붙여넣기 선택 팝업창(704)을 출력하고, 붙여넣기 선택 팝업창(704)을 통하여 사용자로부터 붙여넣기 모드를 선택하는 입력을 수신할 수 있다.
도 7 (b)의 붙여넣기 선택 팝업창(704)에서 '텍스트로 붙여넣기'가 선택되었다고 가정한다. 제어부(180)는, 녹음되어 있는 음성 신호(702)를 텍스트로 변환한 후, 변환된 텍스트를 붙여넣을 수 있다.
한편, 상기 변환된 텍스트를 붙여넣는데 있어서, 그 붙여넣기 동작이 수행될 어플리케이션의 결정 및 붙여넣기 동작을 수행하는 위치 또한 결정되어야 할 것이다. 본 발명의 일실시예에서는, 소정 어플리케이션의 실행 상태도 상 소정 위치에 펜-터치 입력(710a)가 이루어질 경우, 그 소정 어플리케이션의 소정 위치에 붙여넣기 동작을 수행하도록 제안한다. 따라서 제어부(180)는, 펜-터치 입력(710a)이 이루어지는 소정 어플리케이션 및 소정 위치를 판단하고, 판단된 소정 어플리케이션의 소정 위치에 변환된 텍스트에 대한 붙여넣기 동작을 수행할 수 있다(오디오 데이터 붙여넣기 모드에 대해서 동일하게 적용될 수 있을 것이다). 그러므로, 도 7 (b)에서와 같이 메모 어플리케이션의 실행 상태도 상의 소정 위치(710a 입력이 이루어 지는 위치)에 붙여넣기 동작이 수행될 수 있다.
한편, 상기 녹음된 음성 신호(702)에 복수 명의 인물에 대한 음성이 녹음되어 있다고 가정한다. 본 발명의 일실시예에 따른 제어부(180)는, 변환된 텍스트를 출력하는데 있어서, 인물 별로 식별되도록 출력할 수 있다. 예를 들면, 도 7 (c)에서와 같이, 제어부(180)는 제 1 인물의 음성이 변환된 텍스트는 제 1 색상 말풍선(703-1)으로 표시하고, 제 2 인물의 음성이 변환된 텍스트는 제 2 색상 말풍선(703-2)으로 표시할 수 있다.
한편, 음성을 텍스트로 변환하는데 있어서, 주변 소음 또는 불명확한 발음 등에 의해서 정확하게 변환되지 않는 경우가 존재할 수 있다. 따라서 본 발명의 일실시예에서는, 텍스트 붙여넣기 모드에서 붙여넣기 동작을 수행한 후 변환된 텍스트를 편하게 수정할 수 있는 사용자 인터페이스를 제공하고자 한다.
도 8은 본 발명의 일실시예에 따라, 텍스트 붙여넣기 동작을 수행한 후 텍스트를 수정할 수 있는 방법을 도시하는 도면이다.
도 8 (a)를 참조하면, 도 7 (c)에서와 같이 사용자의 음성 신호(702)에 대해 텍스트 형태로 붙여넣기가 이루어졌다. 제 2 말풍선(703-2)를 참조하면 "silence"라는 단어가 포함되어 있는데, 이 단어는 텍스트 변환 과정에서 잘 못 변환된 것으로 가정한다. 예를 들면, 해당 음성은 "science"를 의미하였으나, 텍스트 변환 과정에서 "silence"로 잘 못 변환 되었다고 가정한다.
제어부(180)는, 변환된 텍스트에 대한 붙여넣기가 수행되고, 붙여넣기 동작이 이루어진 텍스트 상 소정 터치 입력을 수신할 경우, 사용자가 해당 텍스트를 수정할 수 있도록 한다. 제어부(180)는 "silence"에 대해 펜-터치 입력을 수신하면, 도 8 (b)에서와 같이 수정할 수 있는 후보 단어 목록 팝업창(802)을 출력할 수 있다. 후보 단어 목록 팝업창(802)는, 현재 표시되고 있는 단어인 "silence"를 포함하여, 해당 음성과 가장 유사한 후보 단어들을 포함할 수 있다. 후보 단어 목록 팝업창(802) 상에서, 현재 선택된 "silence" 단어를 식별되도록 표시할 수 있다.
제어부(180)는, 후보 단어 목록 팝업창(802) 상에서 어느 하나의 후보 단어가 선택될 경우, 선택된 텍스트로 텍스트 수정 동작을 수행할 수 있다. 예를 들어, 도 8 (b)에서와 같이 "science"가 선택되는 것으로 가정할 경우, 제어부(180)는 제 2 말풍선(703-2) 상의 해당 텍스트를 "science"로 수정하여 출력할 수 있다.
더 나아가, 제어부(180)는 후보 단어의 목록에서 어느 하나의 후보 단어를 선택 받는 방법뿐만 아니라, 타이핑 입력을 수신하고 수신된 타이핑 입력에 따라 단어를 수정할 수 있도록 동작할 수도 있다.
도 9는 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모를 이동 단말기(100)에 오디오 데이터 형태로 붙여넣는 방법을 도시하는 도면이다.
도 9 (a)는 도 7에서 상술한 바와 같이, 붙여넣기 선택 팝업창(704)을 출력하고 있으며, 오디오 파일로 저장하도록 선택 받았다고 가정한다. 제어부(180)는 음성 신호(702)에 대해서 붙여넣기를 수행하는데 있어서, 오디오 데이터 붙여넣기 모드로 동작할 수 있다. 즉, 상기 음성 신호(702)를 재생시키기 위한 재생 아이콘(901-1)을 붙여넣기 할 수 있다.
재생 아이콘(901-1)은, 도 9 (b)에서와 같이, 음성 신호(702)의 재생 시간 및 스타일러스 펜(500)으로부터 수신된 음성 신호임을 나타낼 수 있다. 재생 아이콘(901-1)이 선택되는 입력을 수신하면, 제어부(180)는 해당 음성 신호(702)를 재생시킬 수 있다.
도 10은 본 발명의 일실시예에 따른 재생 아이콘의 예시들을 도시하는 도면이다. 도 10에 도시된 재생 아이콘들은 하나의 예시일 뿐, 본 발명의 실시예들이 이러한 형태에 제한이 되는 것은 아니다.
도 10 (a)는 도 9 (b)에 도시된 901-1 재생 아이콘을 도시하고 있으며, 재생 정지 상태일 때와 재생 중일 때의 아이콘 형태가 변경될 수 있다. 마찬가지로 도 10 (b) 및 (c)에서도, 재생 중과 재생 정지 상태에서 아이콘의 형태가 변하도록 동작할 수 있다.
즉, 도 10에 도시된 재생 아이콘에서는, 녹음된 음성 신호(702)의 재생 시간 및 재생하기 위한 버튼을 포함하고 있다.
한편, 도 7 내지 도 9를 참조하여 상술한 바에 따르면, 음성 신호(702)는 하나의 연속적인 음성 신호인 것으로 가정하여 설명하였다. 본 발명의 일실시예에서는, 하나의 음성 신호 데이터뿐만 아니라, 복수 개의 음성 신호 데이터에 대해서도 붙여넣기 동작을 수행할 수 있도록 제안한다. 이러한 실시예에 대해서, 도 11을 참조하여 설명한다.
도 11은 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 통해 입력 받은 음성 메모가, 복수 개의 음성 신호 데이터로 이루어진 경우, 이동 단말기(100)에 음성 메모를 붙여넣는 방법을 도시하는 도면이다.
도 11 (a)를 참조하면, 제 1 음성 신호(702-1) 내지 제 3 음성 신호(702-3)가 스타일러스 펜(500)을 통하여 수신된 것으로 가정한다. 스타일러스 펜(500)은 상기 수신된 제 1 내지 제 3 음성 신호(702-1 내지 702-3)를 s-메모리(606)에 저장할 수 있다.
복수 개의 음성 신호 데이터들은, 사용자가 음성 메모의 녹음 동작을 여러 번 수행함에 따라서 생성될 수도 있지만, 일련의 녹음 과정 중 음성 신호의 연속성에 의해서 복수 개의 음성 신호 데이터들이 생성될 수도 있다. 즉, 제어부(180)는 음성 메모를 녹음하는 도중 음성 신호가 없는 일부 구간들은 자동으로 삭제하고, 음성 신호가 존재하는 구간들 만을 자동으로 구분하여 복수 개의 음성 신호 데이터들을 생성할 수도 있다.
제어부(180)는, 복수 개의 음성 신호 데이터들에 대해 붙여넣기 명령을 수신할 경우, 복수 개의 음성 신호 데이터 중 어느 것에 대한 붙여넣기를 수행할 것인지 묻는 팝업창을 출력할 수 있다.
즉, 도 11에서의 예시와 같이, 스타일러스 펜(500)을 통하여 제 1 및 제 3 음성 신호(702-1 내지 702-3)가 녹음된 상태에서, 붙여넣기 명령(710c 펜-터치 입력)을 수신할 경우 제어부(180)는 붙여넣기 대상을 선택하기 위한 팝업창(1101)을 출력할 수 있다. 즉, 팝업창(1101)을 통하여 전체 음성 신호에 대한 붙여넣기를 수행할 것인지, 제 1 및 제 3 음성 신호 중 어느 하나에 대한 붙여넣기 동작을 수행할 것인지에 대한 선택을 할 수 있다.
예를 들어, 팝업창(1101) 상 1101b 항목이 선택될 경우, 제 1 음성 신호(702-1)에 대해서만 붙여넣기 동작을 수행할 수 있을 것이다. 다른 항목에 대해서도 동일하다.
한편, 본 발명의 일실시예에서는, 더 나아가 복수 개의 음성 신호 데이터 중 하나를 선택하는 팝업창(1101) 중 추천 항목을 식별되도록 표시하는 방법을 제안하기로 한다. 이러한 실시예에 대해서 도 12를 참조하여 설명한다.
도 12는 본 발명의 일실시예에 따라서, 스타일러스 펜(500)을 통해 입력 받은 음성 메모가, 복수 개의 음성 신호 데이터로 이루어진 경우, 이동 단말기(100)에 음성 메모를 붙여넣기 동작을 수행할 때, 추천 항목을 표시하는 방법의 일례를 도시하는 도면이다.
도 12 (a)는, 녹음 동작과 필기 메모가 동시에 수행되고 있는 상황을 도시하고 있다. 즉, 사용자는 이동 단말기(100)의 터치스크린(151)에 스타일러스 펜(500)을 이용하여 필기 메모를 입력하고 있으며, 스타일러스 펜(500)의 s-마이크(603)를 이용하여 음성 메모를 저장하였다고 가정한다. 그리고, 저장된 음성 메모는 도 11에서 상술한 바와 같이 복수 개의 음성 신호 데이터로 이루어 졌다고 가정한다.
도 12 (b)는 녹음이 완료된 상태에서, 필기 메모의 중간 즈음 소정 위치에 녹음된 음성 메모에 대한 붙여넣기 동작을 수행하는 상태도를 도시하고 있다. 본 발명의 일실시예에서는, 복수 개의 음성 신호 데이터 중에서, 소정 위치에 대한 필기 메모와 동일한 시점에 이루어진 음성 신호 데이터를 팝업창(1101) 상에서 추천 항목으로 식별하여 표시하도록 제안한다. 즉, 제 1 내지 제 3 음성 신호(702-1 내지 702-3) 중, 메모의 작성 시점과 일치되는 항목을 추천하는 것이다.
따라서, 제어부(180)는, 입력되어 있는 필기 메모 상에서, 붙여넣기 명령이 입력된 소정 지점의 위치를 감지하고, 감지된 소정 위치의 필기 메모가 입력되는 시점과 가장 근접한 시점에 녹음된 음성 신호를 추천할 수 있다. 그리고 제어부(180)는 추천하는 음성 신호 항목을 팝업창(1101) 상에서 식별되도록 표시(1101c)할 수 있다.
이하, 도 13 및 도 14를 참조하여, 음성 메모의 입력과 필기 메모(또는 타이핑 메모)의 입력을 동시에 입력하는데 있어서 편의성이 향상된 제어 방법에 대해서 상세히 살펴보기로 한다.
도 13은 본 발명의 일실시예에 따라, 타이핑 메모와 함께 음성 메모를 입력하는 방법을 도시하는 도면이다.
도 13 (a)를 참조하면, 이동 단말기(100)는 사용자로부터 타이핑 메모를 입력 받고 있으며, 스타일러스 펜(500)의 s-마이크(603)를 통하여 음성 메모 또한 입력 받고 있다고 가정한다. 제어부(180)는 음성 메모가 녹음되고 있음을 나타내는 녹음 인디케이터(1301)를 출력할 수 있다.
녹음 인디케이터(1301)은, 도 13 (a)에서와 같이 현재 녹음이 진행되고 있는 시간을 표시할 수 있으며, 타이핑 메모가 이루어지는 커서의 위치에 표시될 수 있다. 즉, 커서의 위치는 타이핑 메모가 진행될 수록 이동하므로, 도 13 (b)에서와 같이 녹음 및 타이핑이 진행됨에 따라서 녹음 인디케이터(1301)의 위치도 이에 따라서 이동할 수 있을 것이다.
도 13 (c)는 녹음이 완료된 상태의 상태도를 도시하고 있다. 녹음 인디케이터(1301)는 녹음이 완료된 이후 재생 아이콘(901-2)로 변경될 수 있다.
본 발명의 일실시예에서는, 녹음이 완료될 경우 녹음된 음성 메모에 대한 텍스트 확장 아이콘(1302a)를 출력할 것을 제안한다. 텍스트 확장 아이콘(1302a)는, 녹음된 음성 메모를 텍스트 형식으로 출력하기 위한 아이콘으로써, 제어부(180)는 텍스트 확장 아이콘(1302a)이 선택될 경우 녹음된 음성 메모를 텍스트 형식으로 출력(1303)할 수 있다(도 13 (d) 참조). 추가적으로, 음성 메모의 텍스트 형식의 출력과 함께, 텍스트를 다시 없어지도록 하는 텍스트 축소 아이콘(1302b)를 출력할 수 있다. 즉, 사용자는 텍스트 확장 아이콘(1302a)를 이용하여 음성 메모를 텍스트 형식으로 펼친 후, 텍스트 축소 아이콘(1302b)를 이용하여 확장된 텍스트들을 다시 접을 수 있다.
텍스트 확장 및 축소와는 별개로, 재생 아이콘(901-2)가 선택될 경우, 녹음된 음성 메모가 재생될 수 있음은 상술한 바와 동일하다.
도 14는 본 발명의 일실시예에 따라, 필기 메모와 함께 음성 메모를 입력하는 방법을 도시하는 도면이다.
도 14 (a)를 참조하면, 메모 어플리케이션의 상태도를 도시하고 있으며, 이미 필기 메모가 일부 입력되어 있는 상태이다. 이와 같이 필기 메모가 입력되어 있는 상태에서 녹음을 시작하는 명령이 입력되면, 스타일러스 펜(500)은 녹음을 시작하면서 동시에 녹음 인디케이터(1301)를 출력할 수 있다. 녹음 인디케이터(1301)는 도 13을 참조하여 상술한 바와 동일하므로 자세한 내용은 생략하도록 한다.
도 14 (b)는 추가적으로 필기 메모가 입력되는 상태도를 도시하고 있다. 필기 메모와 함께 녹음이 동시에 진행됨에 따라서, 녹음 인디케이터(1301) 상 현재 녹음이 진행되는 시간이 증가함을 확인할 수 있다.
도 14 (c)는 필기 메모와 녹음이 종료된 상태를 도시하고 있다. 녹음이 완료되면 제어부(180)는 녹음 인디케이터(1301)를 재생 아이콘(901-3)으로 바뀌어 출력할 수 있다. 본 발명의 일실시예에서는, 녹음이 완료되면 제어부(180)는 텍스트 확장 아이콘(1302a)를 출력할 수 있으며, 텍스트 확장 아이콘(1302a)의 위치를 도 14 (c)에서와 같이 필기 메모의 가장 끝부분에 위치하도록 출력할 수 있다. 즉, 제어부(180)는 녹음이 완료되는 순간에 필기 메모가 완료되는 위치에 텍스트 확장 아이콘(1302a)를 출력할 수 있다.
도 13에서 상술한 바와 같이 텍스트 확장 아이콘(1302a)를 선택할 경우 제어부(180)는 녹음된 음성 메모를 텍스트 형식으로 출력할 수 있다.
한편, 본 발명의 일실시예에서는, 재생 아이콘(901-3)이 선택될 경우 녹음된 음성 메모를 재생함과 동시에, 녹음된 음성이 재생되는 정도를 나타내는 프로그레시브 인디케이터(1401)를 표시할 것을 제안한다. 특히, 프로그레시브 인디케이터(1401)를 표시하는데 있어서, 음성 메모의 녹음과 함께 입력된 필기 메모 상에 표시하며, 녹음된 시점과 동일한 시점의 필기 메모를 가리키도록 표시할 것을 제안한다.
도 14에서, 음성 메모의 녹음과 함께 메모 문구 중 "The market is dull due to the stagnant economy"라는 필기 메모가 작성되었다. 그러면 제어부(180)는 프로그레시브 인디케이터(1401)를 표시하는데 있어서, 녹음된 시점과 일치하는 필기 메모의 위치에 표시할 수 있다. 즉, 사용자는 녹음된 시점에 작성된 필기 메모를 함께 확인할 수 있을 것이다.
본 발명의 일실시예에 따른 스타일러스 펜(500)의 효용성은, 이동 단말기(100) 자체가 다른 작업을 하고 있을 때 극대화될 수 있을 것이다. 대표적인 예로써, 이동 단말기(100)를 이용하여 통화를 하는 도중에, 스타일러스 펜(500)을 효과적으로 활용할 수 있다. 이러한 실시예에 대해서, 도 15 및 도 16을 참조하여 설명한다.
도 15는 본 발명의 일실시예에 따라, 스타일러스 펜(500)을 활용하여 통화 중 메모를 하는 방법의 일례를 도시하는 도면이다.
도 15 (a)는 이동 단말기(100)를 이용하여 호 신호를 수신하고 있는 도중, 스타일러스 펜(500)을 이용하여, 가상의 메모지(1501, 예를 들면 바닥이나 종이 등)에 필기 메모를 입력하고 있는 상황을 도시하고 있다. 본 발명의 일실시예에 따른 스타일러스 펜(500)의 펜촉 부분에는, 트랙킹 센서를 포함하여 사용자의 필기 메모를 감지할 수 있다.
사용자는 통화를 하는 도중, 메모를 해야 할 필요성이 생기면, 스타일러스 펜(500)을 이동 단말기(100)로부터 분리하고, 스타일러스 펜(500)을 이용하여 가상의 메모지(1501, 예를 들면 바닥이나 종이 등)에 대고 가상의 필기 메모를 입력할 수 있다(도 15 (b)). 스타일러스 펜(500)은 s-센싱부(604)를 통해 가상의 필기 메모를 감지하고, s-무선 통신부(602)를 통해 감지된 가상의 필기 메모를 이동 단말기(100)로 전송시킬 수 있다.
제어부(180)는, 무선 통신부(110)을 통하여 스타일러스 펜(500)으로부터 가상의 필기 메모를 수신하면, 소정 어플리케이션(또는 소정 방식)을 통하여 수신한 가상의 필기 메모를 저장할 수 있다. 소정 어플리케이션을 선택하는데 있어서, 본 발명의 일실시예에서는, 어플리케이션의 선택을 받기 위한 선택 팝업창(1502)를 출력하고 사용자로부터 저장하기 위해 사용할 어플리케이션을 선택 받을 수 있다.
제어부(180)는 선택 팝업창(1502)를 통하여 적어도 하나의 어플리케이션을 선택 받고, 선택 받은 적어도 하나의 어플리케이션을 이용하여 상기 가상의 필기 메모를 저장할 수 있다.
본 발명의 일실시예에서의 제어부(180)는, 더 나아가 가상의 필기 메모를 텍스트로 인식하고, 필기 메모를 저장하는데 있어서 인식한 텍스트 형태로 저장할 수 있다. 도 15 (d)는, 텍스트 형태로 저장된 메모의 열람화면을 도시하는 도면으로, 이 메모는 달력 어플리케이션 상에 저장된 것으로 가정한다. 추가적으로 제어부(180)는 저장된 필기 메모를 열람할 시, 필기를 저장할 당시 통화 상대방에게 바로 연결할 수 있는 통화 아이콘(1504)을 더 출력할 수 있다. 즉, 사용자는 달력 어플리케이션을 통하여 저장된 메모를 열람하면서, 통화 아이콘(1504)을 선택하여, 메모를 입력할 당시의 통화 상대방에게 다시 전화를 걸 수 있다. 그러기 위하여, 제어부(180)는 가상의 필기 메모를 저장하는데 있어서, 메모를 입력할 당시의 통화 상대방에 대한 상대방 식별 정보를 더 저장할 수 있다. 상대방 식별 정보는, 예를 들면, 연락처 상의 이름, 전화번호를 포함할 수 있다.
한편, 도 15와 관련된 설명에서, 가상의 필기 메모를 저장하기 위한 어플리케이션(또는 저장 방법)을 선택하는데 있어서, 팝업창을 출력함으로써 사용자로부터의 선택을 입력 받았다. 본 발명의 다른 실시예에서는, 상기 방법과는 달리, 가상의 필기 메모 상에서 입력되는 미리 약속된 소정 패턴에 따라서 어플리케이션을 선택할 것을 제안한다. 이러한 실시예에 대해서 도 16을 참조하여 설명한다.
도 16은, 스타일러스 펜(500)을 통하여 입력되는 가상의 필기 메모 상 소정 그리기 패턴에 따라서 저장될 어플리케이션을 선택하는 방법의 일례를 도시하는 도면이다.
도 16 (a)에서와 같이, 사용자는 가상의 메모지(1501, 예를 들면 바닥이나 종이 등)상에 가상의 필기 메모를 입력하면서, 미리 약속된 소정 그리기 패턴(1601)을 입력하였다고 가정한다. 제어부(180)는, 사용자에 의해서 입력된 가상의 필기 메모를 인식하고, 인식한 필기 메모 상에 소정 패턴(1601)이 있다고 감지할 경우, 소정 패턴(1601)에 대응하는 어플리케이션을 이용하여 상기 가상의 필기 메모를 저장하도록 제안한다. 도 16의 예시에서, 소정 패턴(1601)에 대응하는 어플리케이션은 메모 어플리케이션이다.
도 16 (b)에서는, 소정의 패턴들과 대응되는 어플리케이션의 예시를 도시하는 도면이다. 제어부(180)는 가상의 필기 메모 상에 도 16 (b)에서와 같은 패턴들이 인식될 경우, 인식된 패턴에 대응하는 어플리케이션을 이용하여 저장하도록 제어할 수 있을 것이다.
상술한 실시예에서는, 메모 어플리케이션 상에서의 제어 방법에 대해서 설명하였으나, 이에 한정되는 것은 아니다. 이하에서는, 다른 어플리케이션 상에서의 제어 방법에 대해서 설명하기로 한다.
도 17은 본 발명의 일실시예에 따라서, 스타일러스 펜(500)을 이용하여 음성 메모를 녹음하면서 동시에 지도 어플리케이션 상 저장한 필기 메모를 열람하는 방법을 도시하는 도면이다.
본 발명의 일실시예에서는, 음성 녹음과 함께 필기 메모가 저장될 경우, 음성 메모의 재생 시에 필기 메모의 작성 경로에 따라서 동영상 같이 재생시키도록 제안한다.
도 17 (a)를 참조하면, 녹음 인디케이터(1301)가 출력되고 있으며, 녹음 인디케이터(1301)에 표시된 바와 같이 녹음이 진행됨과 동시에 지도 어플리케이션 상 필기 메모가 경로(1701)에 따라서 화살표 방향으로 작성된 것으로 가정한다.
도 17 (b)는, 도 17 (a)에서 작성된 메모를 열람 방식을 도시화하는 도면이다. 도 17 (b)의 하단에는 재생되는 오디오의 파형이 시간축을 기준으로 도시되어 있으며, 오디오 파형의 소정 시간에 따라서 필기 메모가 경로에 따라서 1701a(00:23), 1701b(00:45) 및 1701c(01:06) 순으로 표시된다. 즉, 제어부(180)는 음성 메모가 재생의 진행 정도에 따라서 필기 메모의 표시 정도를 동기화 시킨 메모의 열람을 제공할 수 있다. 도 17 (b)의 열람 방식에서는 재생되는 필기 메모 동영상의 일부 프레임 만이 표시되어 있으나, 프레임 레이트(frame rate)를 높여 저장 및 재생시킬 수 있음은 자명하다.
한편, 본 발명의 일실시예에 따르면, 여러 명의 사람으로부터 동시에 음성 메모를 수신하는 경우(예를 들면, 회의를 하는 경우) 더욱 효과적인 제어 방법을 제공할 수 있다. 이러한 실시예에 대해서, 도 18 내지 도 23을 참조하여 설명하기로 한다.
도 18은 본 발명의 일실시예에 따라서, 복수 명의 사람으로부터 동시에 음성 메모를 입력 받아 저장하고, 저장된 음성 메모를 회의록 형식으로 열람하는 방법을 도시하는 도면이다.
도 18 (a)는 복수 명의 참석자를 포함하는 회의가 진행되고 있는 상황을 도시하고 있다. 복수 명의 참석자는 A 내지 D 참석자로 도시되어 있으며, 복수 명의 참석자의 발언은 이동 단말기(100) 및 스타일러스 펜(500)에 의해서 녹음되는 것으로 가정한다. 한편, 본 발명의 일실시예에 따르면, 하나의 이동 단말기(100) 및 하나의 스타일러스 펜(500)에 의해서 녹음이 이루어질 수도 있지만, 하나의 이동 단말기(100)에 각 인원 별로 구비되는 스타일러스 펜(500)에 의해서 녹음이 이루어질 수도 있다. 즉, 하나의 이동 단말기(100)에 복수 개의 스타일러스 펜(500)이 연결되어 녹음이 이루어질 수도 있다.
도 18 (b)는, 복수 명의 인원으로부터 녹음된 음성 메모의 열람 상태도를 도시하는 도면이다. 제어부(180)는 녹음된 음성 메모를 텍스트 형식으로 변환한 후, 변환된 텍스트 형식의 메모를 저장하고, 마치 회의록의 형식처럼 위에서 아래 방향의 시간 순으로 출력할 수 있다. 특히, 본 발명의 일실시예에 따른 제어부(180)는 복수 명의 인원으로부터 녹음된 음성 메모(텍스트 형식으로 변환된 메모)를 열람 시, 각 인원으로부터의 음성의 분석을 통하여 해당 인원을 식별한 후, 메모를 출력하는데 있어서 인원 별로 식별되도록 출력할 수 있다. 예를 들면, 도 18 (b)에서와 같이 제어부(180)는 A 참석자로부터 입력된 음성 메모는 제 1 색(1802A)로, B 참석자로부터 입력된 음성 메모는 제 2 색(1802B)로, C 참석자로부터 입력된 음성 메모는 제 3 색(1802C)로, D 참석자로부터 입력된 음성 메모는 제 4 색(1802D)로 출력할 수 있다.
본 발명의 실시예에서는 더 나아가, 복수 개의 이동 단말기 상에서 하나의 자료를 공유하여 열람할뿐만 아니라, 공유되는 자료 상에 음성 메모 및/또는 필기 메모를 입력하여 공유할 수 있는 제어 방법을 제안한다.
도 19 및 도 20은 본 발명의 일실시예에 따라, 복수 명의 이동 단말기 상에서 하나의 자료를 공유하여 열람하는 도중 입력되는 음성 및 필기 메모를 공유하는 제어 방법을 도시하는 도면이다.
도 19 (a)에서 제 1 이동 단말기(100A) 내지 제 4 이동 단말기(100D)가 하나의 자료를 공유하고 있다. 도 19 (b)의 상단에서는 제 1 이동 단말기(100A)의 터치스크린(151A)의 상태도를 출력하고 있으며, 제 1 이동 단말기(100A) 및 제 1 이동 단말기(100A)의 제 1 스타일러스 펜(500A)를 통하여 음성 메모 및 필기 메모가 입력되는 것으로 가정한다.
제 1 이동 단말기(100A)와 자료를 공유하고 있는 나머지 이동 단말기(100B 내지 100D)는, 제 1 이동 단말기(100A)를 통하여 음성/필기 메모가 입력되면, 입력된 메모를 공유 받아 자신이 출력하고 있는 자료 상에 공유 받은 메모를 동기화시킬 수 있다. 예를 들면, 도 19 (b)에서와 같이, 제 2 이동 단말기(100B)는, 제 1 이동 단말기(100A)로부터 입력된 음성 메모를 동기화하였음을 나타내는 음성 메모 인디케이터(1901) 및 필기 메모를 동기화하였음을 나타내는 필기 메모 인디케이터(1902)를 출력할 수 있다.
제어부(180)는 음성 메모 인디케이터(1901) 및 필기 메모 인디케이터(1902)가 선택되는 입력을 수신하면, 공유된 메모를 구체적으로 열람할 수 있는 상태로 변경하여 출력할 수 있다. 즉, 음성 메모 인디케이터(1901)가 선택되는 입력을 수신하면, 제어부(180)는 공유된 음성 메모를 재생시킬 수 있는 상태인 1901'로 변경하여 출력할 수 있다. 그리고 필기 메모 인디케이터(1902)가 선택되는 입력을 수신하면, 제어부(180)는 공유된 필기 메모를 열람할 수 있는 상태인 1902'로 변경하여 출력할 수 있다. 도 20과 관련되는 실시예에서는, 제 2 이동 단말기(100B)를 기초로 설명하였으나, 다른 이동 단말기에 대해서도 동일하게 적용될 수 있음은 자명하다.
도 20에서 설명하는 실시예에서는, 함께 공유하고 있는 자료 상에서 공유된 메모를 열람하는 방법에 대해서 설명하였다. 하지만, 본 발명의 일실시예에서는 이에 지나지 않고, 공유된 음성/필기 메모를 한꺼번에 모아서 열람할 수 있는 제어 방법을 제공하고자 한다. 도 21을 참조하여 상세히 설명하기로 한다.
도 21은 본 발명의 일실시예에 따라서, 복수 명의 인원에 의해서 공유된 음성/필기 메모를 일괄적으로 열람하기 위한, 공유 메모 목록을 도시하는 도면이다.
공유 메모 목록은 상술한 바와 같이, 복수 명의 사람에 의해서 작성된 음성/필기 메모를 취합하여 하나의 목록으로 출력한 것을 의미한다. 예를 들면, 도 21에서와 같이 "Kate(2001A)", "Marvin(2001B)" 및 "Natali(2001C)"라는 참석자가 존재할 때, 참석자 별로 작성된 메모를 열람할 수 있다. 즉, 어느 하나의 참석자가 선택되는 입력을 수신하면, 제어부(180)는 선택된 참석자에 의해서 작성된 음성 메모(1901'') 및 필기 메모(1902'')의 목록을 출력할 수 있다. 다른 참석자에 대해서도 동일하게 적용할 수 있음은 자명할 것이다.
한편, 회의록의 녹음과 함께 작성된 음성/필기 메모는, 회의록의 출력과 함께 제공될 수 있을 것이다. 이러한 실시예에 대해서 도 22를 참조하여 설명한다.
도 22 및 도 23은 본 발명의 일실시예에 따라, 작성된 음성/필기 메모를 회의록 상에서 공유하는 방법을 도시하는 도면이다. 도 22 (a)에서 출력되는 회의록은 도 18 (b)에서 상술한 회의록과 같이, 위에서 아래 방향으로 시간순으로 기록된 것으로 가정한다. 도 22 (b)는 제 3 이동 단말기(100C)의 상태도를 도시하고 있으며, 제 3 이동 단말기(100C)를 통하여 입력된 필기 메모는 도 22 (a)에서의 1802C 음성 메모와 같은 시점에 입력된 것으로 가정한다.
도 22 (c)는 제 1 이동 단말기(100A)에서 열람하는 회의록의 상태도를 도시하고 있으며, 제 3 이동 단말기(100C)를 통하여 입력된 필기 메모가 공유되고 있는 상태이다. 즉, 제 1 이동 단말기(100A)는 공유된 필기 메모가 있음을 나타내는 필기 메모 인디케이터(1902)를 출력하고, 필기 메모 인디케이터(1902)가 선택되는 입력을 수신하면 제어부(180)는 공유된 메모를 열람할 수 있는 상태인 1902'로 변환하여 출력할 수 있다.
1902' 상태는 도 22 (d)에 도시된 예시에서와 같이, 공유된 메모를 출력하면서 동시에 메모를 작성한 사람이 누구인지도 표시할 수 있을 것이다.
한편, 본 발명의 일실시예에서는, 메모 간에 키워드 검색할 수 있도록 제안한다.
도 23 (a)를 참조하면, 제어부(180)는 회의록의 출력과 함께 공유된 메모를 열람하는 인디케이터(1902')를 출력하고 있다. 이 경우, 공유된 메모 상에 소정 키워드가 선택될 경우, 제어부(180)는 출력된 회의록 상에서 선택된 소정 키워드를 이용하여 검색을 수행하고 검색 결과를 출력할 수 있다. 예를 들면, 도 23 (b)에서와 같이, 검색된 소정 키워드를 식별되도록 표시(2302-1 내지 2302-3)할 수 있다. 즉, 도 23 (a)에서 소정 키워드로 "강의 자료"가 선택되면, 제어부(180)는 선택된 "강의 자료"로 검색 동작을 수행하고, 수행된 결과 회의록 상에서 "강의 자료"가 포함된 부분을 도 23 (b)에서와 같이 식별되도록 표시할 수 있다.
도 24는 본 발명의 일실시예에 따라, 음성 메모를 저장하는 방법의 순서도를 도시하는 도면이다.
S2401단계에서 제어부(180)는 스타일러스 펜(500)이 분리되었는지 판단하고, 분리되어 있지 않은 경우 순서도를 종료한다. 만약 스타일러스 펜(500)이 분리되어 있다고 판단될 경우, 제어부(180)는 S2402단계로 진행할 수 있다.
S2402단계에서 제어부(180)는 이동 단말기(100)와 스타일러스 펜(500) 간에 연결을 수립한다. 연결을 수립하는 단계는, 사용되는 통신 방식에 따라서, 미리 이루어질 수도 있고, 나중에 이루어질 수도 있으며, 별도의 연결 수립이 필요 없이 데이터의 송수신이 가능한 경우에는 단계가 생략될 수도 있을 것이다.
S2403단계에서 스타일러스 펜(500)은 s-마이크(603)를 통하여 음성 메모를 녹음할 수 있다. 녹음된 음성 메모는 경우에 따라서, 이동 단말기(100)로 바로 전송이 될 수도 있고, s메모리(606)에 저장될 수도 있다.
S2404단계에서, 제어부(180)는 S2403단계에서 녹음한 음성 메모에 대해서 붙여넣는 입력을 수신하면, S2405단계로 진행하고, 붙여넣는 입력을 수신하지 못하면 S2403단계로 복귀한다.
S2405단계에서 제어부(180)는 스타일러스 펜(500)으로부터 음성 메모를 수신한다. 한편, S2404단계와 S2405단계는 그 순서에 있어서 한정적이지 않을 수 있다. 즉, S2405단계가 더 먼저 이루어 질 수 있으며, 그런 경우에 제어부(180)는 스타일러스 펜(500)으로부터 미리 음성 메모를 수신하고 메모리(160)에 저장할 수 있을 것이다.
S2406단계에서 제어부(180)는 붙여넣기 모드를 선택한다. 붙여넣기 모드의 선택은 사용자 또는 시스템에 의해서 기설정되어 있을 수도 있으며, 도 7과 함께 상술한 바와 같이 선택을 위한 팝업창(704)을 통하여 사용자로부터 선택 받을 수도 있다. 텍스트 붙여넣기 모드일 경우 제어부(180)는 S2407단계로 진행하고, 오디오 데이터 붙여넣기 모드일 경우 S2409단계로 진행할 수 있다.
S2407단계는 텍스트 붙여넣기 모드에서의 동작이다. S2407단계에서 제어부(180)는 S2405단계에서 수신한 음성 메모를 텍스트 형식으로 변환한다. S2408단계에서, 제어부(180)는 S2407단계에서 변환한 텍스트 메모에 대해 붙여넣기 동작을 수행할 수 있다.
S2409단계는, 오디오 데이터 붙여넣기 모드에서의 동작이다. S2409단계에서 제어부(180)는 오디오 데이터를 재생시킬 수 있는 재생 아이콘을 붙여넣을 수 있다.
S2408 또는 S2409단계를 거친 제어부(180)는 순서도를 종료할 수 있다.
도 25는 본 발명의 다른 실시예에 따른, 스타일러스 펜(500)을 활용하여 통화 중 메모를 하는 방법의 순서도를 도시하는 도면이다.
S2501단계에서 제어부(180)는 호 신호를 수신 및 응답한다. 또는, 호 신호 발신을 통한, 통화 중 상태에 진입한다.
S2502단계에서 제어부(180)는 스타일러스 펜(500)이 이동 단말기(100)로부터 분리되는지 여부를 판단한다. 만약 스타일러스 펜(500)이 이동 단말기로부터 분리되지 않은 경우, 제어부(180)는 순서도를 종료할 수 있다.
S2502단계에서 분리된 것으로 감지되면, 제어부(180)는 S2503단계로 진행할 수 있다.
S2503단계에서 제어부(180)는 이동 단말기(100)와 스타일러스 펜(500) 간에 연결을 수립한다. 연결을 수립하는 단계는, 사용되는 통신 방식에 따라서, 미리 이루어질 수도 있고, 나중에 이루어질 수도 있으며, 별도의 연결 수립이 필요 없이 데이터의 송수신이 가능한 경우에는 단계가 생략될 수도 있을 것이다.
S2504단계에서 제어부(180)는, 사용자로부터 수신되는 가상의 필기 메모를 수신한다. 이 경우, 가상의 필기 메모는, 스타일러스 펜(500)의 s-센싱부(604)를 통해 수신되는 정보로써, 사용자가 가상의 메모지(1501, 예를 들면, 바닥이나 종이 등) 상에 스타일러스 펜(500)을 이용하여 작성하는 가상의 필기 메모를 의미한다.
S2505단계에서 제어부(180)는 통화가 종료되는 것을 감지하고, 종료되지 않는다면 S2504단계를 반복하며, 통화가 종료될 경우 S2506단계로 진행한다.
S2506단계에서 제어부(180)는 스타일러스 펜(500)으로부터 상기 S2504단계에서 감지한 가상의 필기 메모를 수신한다.
S2507단계에서 제어부(180)는 가상의 필기 메모를 저장할 수단을 결정한다. 여기서 저장할 수단이라 함은 저장을 수행할 어플리케이션의 종류를 포함한다.
제어부(180)는 사용자에게 어플리케이션을 선택할 수 있도록 하는 선택 팝업창을 출력하고, 사용자로부터의 선택에 따라서 가상의 필기 메모를 저장하기 위한 어플리케이션을 결정할 수 있다(도 16에서 상술한 방법에 따른 결정).
다른 방법으로 제어부(180)는 가상의 필기 메모를 식별하고, 가상의 필기 메모에 포함되어 있는 소정 패턴을 감지한 후, 소정 패턴에 따라서 가상 필기 입력을 저장하기 위한 어플리케이션을 결정할 수 있다.
S2508단계에서 제어부(180)는 가상의 필기 메모를 저장하는데 있어서, S2507단계에서 결정한 수단으로 저장한다. S2508단계를 수행한 제어부(180)는 순서도를 종료할 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 이동 단말기110: 무선통신부
120: A/V 입출력부130: 사용자 입력부
140: 센싱부150: 출력부
160: 메모리170: 인터페이스부
180: 제어부190: 전원공급부
120: A/V 입출력부130: 사용자 입력부
140: 센싱부150: 출력부
160: 메모리170: 인터페이스부
180: 제어부190: 전원공급부
Claims (20)
- 마이크를 구비하는 착탈식 스타일러스 펜(Stylus pen);
소정 어플리케이션의 실행화면을 출력하는 터치스크린;
상기 스타일러스 펜이 분리된 상태에서 상기 마이크로부터 녹음된 음성 신호를 수신하는 무선 통신부; 및
상기 스타일러스 펜에 의해 상기 소정 어플리케이션의 실행화면 상의 소정 위치가 선택되면, 상기 수신된 음성신호 중 적어도 일부를 상기 선택된 소정 위치에 텍스트로 표시하도록 상기 터치스크린을 제어하는 제어부를 포함하고,
상기 제어부는,
상기 표시된 텍스트 상 소정 단어를 선택하는 명령을 수신할 경우, 상기 소정 단어를 대체하기 위한 후보 단어 목록을 표시하도록 상기 터치스크린을 제어하는,
이동 단말기. - 제 1 항에 있어서,
메모리를 더 포함하고,
상기 제어부는,
상기 스타일러스 펜에 의해 상기 소정 어플리케이션의 실행화면 상의 소정 위치가 선택되면, 상기 수신된 음성 신호를 상기 메모리에 저장하고, 상기 저장된 음성 신호를 재생하기 위한 재생 아이콘을 더 표시하는 제어부를 포함하는,
이동 단말기. - 제 1 항에 있어서,
상기 수신된 음성 신호가 복수 명에 의한 목소리를 포함할 경우,
상기 제어부는, 상기 텍스트를 표시하는데 있어서, 상기 복수 명의 목소리 별로 식별되도록 표시하는,
이동 단말기. - 삭제
- 제 1 항에 있어서, 상기 후보 단어 목록은,
상기 소정 단어에 대응하는 상기 음성 신호의 신호 구간에 가장 근접한 소정 순위 내의 단어들 집합인,
이동 단말기. - 제 1 항에 있어서,
상기 수신된 음성 신호가 복수 개의 음성 데이터를 포함한 경우,
상기 제어부는, 상기 복수 개의 음성 데이터 중 표시할 음성 데이터를 선택 받기 위한 팝업창을 상기 터치스크린을 통하여 출력하는,
이동 단말기. - 제 6 항에 있어서, 상기 제어부는,
상기 소정 위치를 기초로, 상기 팝업창 중에서 상기 복수 개의 음성 데이터 중 추천 항목을 식별되도록 표시하는,
이동 단말기. - 마이크를 구비하는 착탈식 스타일러스 펜(Stylus pen), 터치스크린 및 무선 통신부를 구비하는 이동 단말기의 제어 방법에 있어서,
상기 터치스크린을 통하여 소정 어플리케이션의 실행화면을 출력하는 단계;
상기 무선 통신부를 통하여, 상기 스타일러스 펜이 분리된 상태에서 상기 마이크로부터 녹음된 음성 신호를 수신하는 단계;
상기 스타일러스 펜에 의해 상기 소정 어플리케이션의 실행화면 상의 소정 위치가 선택되면, 상기 수신된 음성신호 중 적어도 일부를 상기 선택된 소정 위치에 텍스트로 표시하도록 상기 터치스크린을 제어하는 단계; 및
상기 표시된 텍스트 상 소정 단어를 선택하는 명령을 수신할 경우, 상기 소정 단어를 대체하기 위한 후보 단어 목록을 출력하는 단계를 포함하는,
이동 단말기의 제어 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130106043A KR102065409B1 (ko) | 2013-09-04 | 2013-09-04 | 이동단말기 및 그 제어방법 |
| US14/321,601 US9946510B2 (en) | 2013-09-04 | 2014-07-01 | Mobile terminal and method for controlling the same |
| EP14002492.8A EP2846256B1 (en) | 2013-09-04 | 2014-07-17 | Mobile terminal and method for controlling the same |
| CN201410429438.1A CN104427047B (zh) | 2013-09-04 | 2014-08-27 | 移动终端及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130106043A KR102065409B1 (ko) | 2013-09-04 | 2013-09-04 | 이동단말기 및 그 제어방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150027542A KR20150027542A (ko) | 2015-03-12 |
| KR102065409B1 true KR102065409B1 (ko) | 2020-01-13 |
Family
ID=51260547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130106043A KR102065409B1 (ko) | 2013-09-04 | 2013-09-04 | 이동단말기 및 그 제어방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9946510B2 (ko) |
| EP (1) | EP2846256B1 (ko) |
| KR (1) | KR102065409B1 (ko) |
| CN (1) | CN104427047B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023113250A1 (ko) * | 2021-12-14 | 2023-06-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
Families Citing this family (150)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| KR101992191B1 (ko) * | 2012-11-01 | 2019-06-24 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| EP3809407A1 (en) | 2013-02-07 | 2021-04-21 | Apple Inc. | Voice trigger for a digital assistant |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| KR101922663B1 (ko) | 2013-06-09 | 2018-11-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| WO2015005595A1 (en) * | 2013-07-08 | 2015-01-15 | Lg Electronics Inc. | Mobile terminal and control method thereof |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9966065B2 (en) * | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| KR102337157B1 (ko) * | 2014-11-05 | 2021-12-08 | 삼성전자주식회사 | 전자 칠판 장치 및 그 제어 방법 |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| KR101952711B1 (ko) * | 2017-11-30 | 2019-02-27 | (주)프로차일드 | 스마트 메모 장치와 스마트 메모 시스템 및 방법 |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
| KR102518970B1 (ko) | 2018-06-08 | 2023-04-10 | 삼성전자 주식회사 | 스타일러스 펜을 포함하는 전자 장치 및 마이크로 폰의 제어 방법 |
| KR102506158B1 (ko) * | 2018-07-30 | 2023-03-07 | 삼성전자주식회사 | 디지털 펜을 포함하는 전자 장치 |
| CN110442280B (zh) * | 2018-08-09 | 2022-12-23 | 京瓷办公信息系统株式会社 | 移动终端以及信息处理系统 |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| CN109243509A (zh) * | 2018-10-29 | 2019-01-18 | 江门市奥威斯电子有限公司 | 一种语音笔录机 |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
| DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| KR20210017099A (ko) * | 2019-08-06 | 2021-02-17 | 삼성전자주식회사 | 스타일러스 펜을 인식하는 전자 장치 및 그 동작 방법 |
| WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
| US11177968B2 (en) | 2020-02-19 | 2021-11-16 | International Business Machines Corporation | Roller-shaped electronic stamp |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| CN113050812B (zh) * | 2021-03-30 | 2023-11-21 | 联想(北京)有限公司 | 一种控制方法、电子笔及电子设备 |
| CN113726940B (zh) * | 2021-06-15 | 2023-08-22 | 北京荣耀终端有限公司 | 录音方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010038383A1 (en) | 2000-04-05 | 2001-11-08 | Petter Ericson | Method and apparatus for information management |
| US20020031243A1 (en) | 1998-08-18 | 2002-03-14 | Ilya Schiller | Using handwritten information |
| WO2007101089A1 (en) | 2006-03-01 | 2007-09-07 | At & T Corp. | Error correction in automatic speech recognition transcipts |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6904405B2 (en) | 1999-07-17 | 2005-06-07 | Edwin A. Suominen | Message recognition using shared language model |
| US7392469B1 (en) * | 2003-05-19 | 2008-06-24 | Sidney Bailin | Non-intrusive commentary capture for document authors |
| US20050210394A1 (en) * | 2004-03-16 | 2005-09-22 | Crandall Evan S | Method for providing concurrent audio-video and audio instant messaging sessions |
| KR101592296B1 (ko) * | 2008-09-03 | 2016-02-05 | 엘지전자 주식회사 | 이동 단말기 및 그의 객체 선택과 실행 방법 |
| KR101565768B1 (ko) * | 2008-12-23 | 2015-11-06 | 삼성전자주식회사 | 휴대단말의 잠금 모드 해제 방법 및 장치 |
| EP3091535B1 (en) * | 2009-12-23 | 2023-10-11 | Google LLC | Multi-modal input on an electronic device |
| EP2527968B1 (en) * | 2011-05-24 | 2017-07-05 | LG Electronics Inc. | Mobile terminal |
| US9304608B2 (en) * | 2011-12-20 | 2016-04-05 | Htc Corporation | Stylus device |
| US20140168176A1 (en) * | 2012-12-17 | 2014-06-19 | Microsoft Corporation | Multi-purpose stylus for a computing device |
-
2013
- 2013-09-04 KR KR1020130106043A patent/KR102065409B1/ko active IP Right Grant
-
2014
- 2014-07-01 US US14/321,601 patent/US9946510B2/en not_active Expired - Fee Related
- 2014-07-17 EP EP14002492.8A patent/EP2846256B1/en not_active Not-in-force
- 2014-08-27 CN CN201410429438.1A patent/CN104427047B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020031243A1 (en) | 1998-08-18 | 2002-03-14 | Ilya Schiller | Using handwritten information |
| US20010038383A1 (en) | 2000-04-05 | 2001-11-08 | Petter Ericson | Method and apparatus for information management |
| WO2007101089A1 (en) | 2006-03-01 | 2007-09-07 | At & T Corp. | Error correction in automatic speech recognition transcipts |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023113250A1 (ko) * | 2021-12-14 | 2023-06-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2846256B1 (en) | 2018-03-07 |
| CN104427047B (zh) | 2019-06-18 |
| US20150065200A1 (en) | 2015-03-05 |
| EP2846256A3 (en) | 2015-06-17 |
| EP2846256A2 (en) | 2015-03-11 |
| KR20150027542A (ko) | 2015-03-12 |
| US9946510B2 (en) | 2018-04-17 |
| CN104427047A (zh) | 2015-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102065409B1 (ko) | 이동단말기 및 그 제어방법 | |
| CN104423581B (zh) | 移动终端及其控制方法 | |
| US10241743B2 (en) | Mobile terminal for matching displayed text with recorded external audio and method of controlling the mobile terminal | |
| KR102047696B1 (ko) | 이동 단말기 및 이의 제어 방법 | |
| KR102218906B1 (ko) | 이동 단말기 및 이의 제어 방법 | |
| KR102131826B1 (ko) | 이동 단말기 및 이의 제어 방법 | |
| KR101872860B1 (ko) | 이동 단말기 및 그 제어방법 | |
| KR101992191B1 (ko) | 이동 단말기 및 그 제어방법 | |
| KR101943320B1 (ko) | 이동단말기 및 그 제어방법 | |
| US9239625B2 (en) | Mobile terminal and control method thereof | |
| KR101997446B1 (ko) | 이동 단말기 및 그 제어방법 | |
| KR20140018661A (ko) | 이동 단말기 및 그 제어방법 | |
| KR101698096B1 (ko) | 단말기의 드로잉을 이용한 검색 방법 및 그 단말기 | |
| KR20140074535A (ko) | 이동단말기 및 그 제어 방법 | |
| KR102065416B1 (ko) | 이동단말기 및 그 제어방법 | |
| KR20140072554A (ko) | 이동 단말기 및 그 제어방법 | |
| KR101992194B1 (ko) | 이동단말기 및 그 제어 방법 | |
| KR101725388B1 (ko) | 이동 단말기 및 그 제어방법 | |
| KR101592298B1 (ko) | 이동 단말기 및 이동 단말기의 유저 인터페이스 방법 | |
| KR20130132679A (ko) | 플렉서블 디스플레이를 구비하는 이동 단말기 | |
| KR102124482B1 (ko) | 이동 단말기 및 이의 제어 방법 | |
| KR101919778B1 (ko) | 이동 단말기 및 그 제어방법, 이를 위한 기록매체 | |
| KR102026731B1 (ko) | 이동단말기 및 그 제어방법 | |
| KR20150071162A (ko) | 이동 단말기 및 그 제어방법 | |
| KR20150065511A (ko) | 이동 단말기 및 이동 단말기의 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |