JP2013054745A - 携帯端末機の入力装置及び方法 - Google Patents

Abstract

【課題】ペン入力での新しい動作モードを提供する。
【解決手段】携帯端末機は、ボタンと、ボタンのクリック有無によってそれぞれ第１電気信号を有する第１入力及び第２電気信号を有する第２入力を発生するペンと、ペンのタッチ有無を感知し、これによる第１入力及び第２入力の感知信号を発生するタッチデバイスとを備え、また、ペンのタッチによってタッチパネルを介して感知される入力を分析する過程と、入力が第１電気信号の変化を有する第１入力なら実行中のアプリで第１入力に対応して設定された機能を行う第１入力処理過程と、入力が第２電気信号の変化を有する第２入力なら設定されたアプリを呼出す、又は設定された命令を実行する過程とを備え、ここで、第１入力は、実行中のアプリの動作を制御する一般入力、ハンドライティング文字、及びドローイングなどを含み、第２入力は、特定のアプリを呼出す命令語及び特定動作の実行を命令する命令語である。
【選択図】図５

Description

本発明は、携帯端末機の入力装置及び方法に関し、特にタッチパネルを使用する携帯端末機のペン入力装置及び方法に関する。

現在、携帯端末機は、一般的にタッチデバイスを装着する傾向にあり、タッチデバイスはタッチパネル上のタッチ位置を感知し、携帯端末機の動作を制御している。このようなタッチデバイスは、一般的に電気信号感知方式を使用する傾向にある。前述のような携帯端末機は、指タッチ操作中心の動作を提供している。しかし、指タッチ方式は、精密な作業を行うに適していない。

従って、タッチデバイスを備える携帯端末機において指と同時に他の入力方法に対する要求が次第に大きくなっている。特に、メモ、描画（ドロ−イング）などのように精密な入力を必要とする場合、ペン使用はより有利である。

従って、本発明の実施例は、タッチデバイスを備える携帯端末機においてペン入力装置及び方法を提案する。本発明の実施例では、従来実際に使用しているペンの動作をタッチモバイルデバイスにもそのまま適用し、タッチモバイルデバイス上のペンゼスチャー、ペンハンドライティングなど、指タッチだけでは実現できないであろう新しい動作モードを提供する。

このために、ペンでアプリケーションの動作を行うための第１入力と、該第１入力と独立的に特定のアプリケーションを呼び出すか又は特定のコマンドを行うための第２入力を発生し、携帯端末機が前記第１入力と第２入力によってそれぞれ設定された機能又は命令を実行できる。

本発明は、ペンの入力によって実行されるアプリケーションの動作制御を実行でき、ハンドライティング（手書き）による文字入力を実行でき、ドローイングイメージを多様なアプリケーションに含ませることができる携帯端末機の入力装置及び方法を制御する。
また、本発明は、ペンにボタンを追加することによって、携帯端末機で実行されるアプリケーションの動作制御と独立的に携帯端末機の特定のアプリケーションの呼出及び特定のコマンドの発生ができる携帯端末機の多様な入力を発生する装置及び方法を提案する。

本発明の実施例による携帯端末機の入力装置は、ボタンを備え、ボタンクリック有無によってそれぞれ第１電気信号を有する第１入力及び第２電気信号を有する第２入力を発生するペンと、前記ペンタッチ時に電気信号が変化するタッチセンサーを備えるタッチパネルと、前記タッチパネルを介して入力される入力を分析し、第１入力なら、実行中のアプリケーションで前記第１入力に対応して設定された機能を行い、第２入力なら、設定されたアプリケーションを呼出す、又は、設定された命令を実行する制御部と、前記制御部の制御下に第１入力及び第２入力の少なくとも一方に従って処理される画面を表示する表示部と、から構成され、前記第１入力は、実行中のアプリケーションの動作を制御する一般入力、ハンドライティング文字、及びドローイングの内の少なくとも一つを含み、前記第２入力は、特定のアプリケーションを呼出す命令語及び特定動作の実行を命令する命令語であることを特徴とする。

また、本発明の実施例によってタッチデバイスを備える携帯端末機の入力方法は、ペンがボタンを備え、前記ボタンクリックの有無によってそれぞれ第１電気信号を有する第１入力及び第２電気信号を有する第２入力を発生し、前記ペンのタッチによってタッチパネルを介して感知される入力を分析する過程と、前記入力が第１電気信号の変化を有する第１入力なら実行されるアプリケーションで前記第１入力に対応して設定された機能を行う第１入力処理過程と、前記入力が第２電気信号の変化を有する第２入力なら設定されたアプリケーション呼出又は設定された命令を行う過程と、から構成され、前記第１入力は、実行されるアプリケーションの動作を制御する一般入力、ハンドライティング文字及びドローイングの内の少なくとも一つを含み、前記第２入力は、特定のアプリケーション呼出及び特定動作の実行を命令する命令語であることを特徴とする。

タッチデバイスを備える携帯端末機において、ペンを使用してタッチ機能を行うことによって、従来のペン手書きに特有の動作を提供でき、これにより、精密な動作制御を実現でき、同時にハンドライティングによる文字入力を実現でき、ユーザの便宜性を向上でき、ハンドライティングによるドローイングイメージを多様なアプリケーションに活用でき、携帯端末機の多様な効果を具現できる。
また、ペンにボタンを追加し、携帯端末機で実行されるアプリケーションの動作制御と独立的に携帯端末機の特定のアプリケーション呼出及び特定のコマンドを発生する携帯端末機の多様な入力を発生できる。
従って、携帯端末機にペンを使用した入力機能を導入することによって、従来のペン特有のハンドライティング動作がモバイル全般に拡張され、これにより、既存には不可能であった、手書きのペンに特有の動作を携帯端末機上で具現できるという効果がある。

は、本発明の実施例による携帯端末機の構成を示す図である。 は、本発明の実施例によってペン設定手続を示す図である。 は、図２のようなペン設定手続を行う過程で表示部に表示される画面を示す図である。 は、図２のようなペン設定手続を行う過程で表示部に表示される画面を示す図である。

は、本発明の実施例によってペンを利用した携帯端末機の動作制御に係るペン入力の判定手続を示す流れ図である。 は、本発明の実施例による第１入力のうち一般入力の形態の例を示す図である。 は、本発明の実施例による第２入力の形態の例を示す図である。 は、図５で行われる第１入力の分析処理手続を示す流れ図である。 は、図８で処理される第１入力のうちの一般入力に対する処理手続の詳細を示す図である。 は、本発明の実施例によってペンを利用して文書を作成する手続を示す図である。 は、文字作成アプリケーションで表示されるハンドライティングパッド（ｈａｎｄｗｒｉｔｉｎｇ ＩＭＥ）を示す図である。 は、文書作成アプリケーションでハンドライティングされる文字修正方法を示す図である。 は、本発明の実施例においてドローイング入力を処理する手続を示す図である。 は図１３のドローイングモードを行う第１の例を示す図である。 は図１３のドローイングモードを行う第２の例を示す図である。 は図１３のドローイングモードを行う第３の例を示す図である。 は図１３のドローイングモードを行う第４の例を示す図である。 は図１３のドローイングモードを行う第５の例を示す図である。 は図１３のドローイングモードを行う第６の例を示す図である。 は図１３のドローイングモードを行う第７の例を示す図である。

は、本発明の実施例によって第２入力を処理する手続を示す流れ図である。 は、図２１のような手続を行いながら処理される第１の具体例を示す図である。 は、図２１のような手続を行いながら処理される第２の具体例を示す図である。 は、本発明の実施例による携帯端末機のリッチメモリスト及びリストを制御する手続を示す図である。 は、本発明の実施例による携帯端末機のリッチメモリスト及びリストを制御する手続を示す図である。 は、本発明の実施例による携帯端末機のリッチメモリスト及びリストを制御する手続を示す図である。 は、本発明の実施例によるリッチメモの例を示す図である。 は、リッチメモで使用されるドローイングパッドの例を示す図である。 は、本発明の実施例によるリッチメモに含まれたクィックメモリストを示す図である。 は、図２９のクィックメモリストでクィックメモを生成するためのパッド構成を示す図である。 は、本発明の実施例によってクィックメモアプリケーションを選択する方法を説明するための図である。

以下、添付の図面を参照して本発明の好ましい実施例を詳しく説明する。この際、添付の図面において同一の構成要素は、できるだけ同一の符号で示していることに留意しなければならない。

また、下記説明では、ペンの入力による動作モードに関する具体的な特定事項が示されているが、これは、本発明のより全般的な理解を助けるために提供されたものに過ぎず、このような特定事項に限定することなく本発明が実施され得ることは、この技術分野における通常の知識を有する者にとって自明であると言える。また、本発明を説明するにあたって、関連する公知機能あるいは構成に対する具体的な説明が本発明の要旨を却って不明瞭にすると判断される場合、そのような詳細な説明を省略する。

本発明は、タッチデバイスを備える携帯端末機においてペンタッチによって特定機能又はコマンドを行う装置及び方法を提案する。ここで、前記携帯端末機は、携帯電話機、ＭＰ３などのようなマルチメディア機器、タブレットＰＣなどを全て含む。また、本発明の実施例においてペンは、ボタン及び／又はこれと類似の機能を有する手段を備え、互いに異なる種類の入力信号を発生できる。以下の説明において、第１入力は、ボタンを押圧しない状態でタッチパネルを介して感知される入力信号を意味し、第２入力は、ボタンを押圧した状態でタッチパネルを介して感知される信号を意味する。また、以下の説明において文書作成モードというのは、ユーザのハンドライティングされた文字入力を文字データに変換するためのモードを意味し、ドローイング（描画）モードというのは、ユーザのハンドライティングによるドローイング入力をイメージに変換するためのモードを意味する。この際、ドローイングモードでハンドライティングされた文字は、認識命令発生時に文字データに変換できる。

［携帯端末機の構成］
図１は、本発明の実施例による携帯端末機の構成を示す図である。
図１を参照すれば、本発明の実施例による携帯端末機１００は、ボタン１１と、ヘッド１２と、アルミニウムなどで構成される胴体で構成されるペン１０とを含む。ここで、ヘッド１２は、導電性物質（例えば、シリコーンゴム材質）で構成され、ボタン１１の押圧有無によって異なる大きさの電気信号を発生する構成を内部に備える。

また、タッチパネル１２０は、電気信号感知方式のタッチデバイスのみを使用でき、又は、電磁気誘導（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ）方式及び電気信号感知方式のタッチデバイスを使用できる。電磁気誘導方式及び電気信号感知方式のタッチデバイスを使用する場合、電磁気誘導方式のタッチパネルはペンタッチパネルとして、ペンタッチによる誘導電流（ｉｎｄｕｃｅｄ ｃｕｒｒｅｎｔ）を測定する。また、携帯端末機１００の制御部１１０（図示せず）は、前記タッチパネル１２０にタッチされるペンの誘導電流の変化によりタッチ有無及び位置を判断する。また、前記制御部１１０は、指タッチ時、電気信号感知タッチパネルを介して感知する。従って、前記制御部１１０は、指タッチ及びペンタッチ入力をそれぞれ独立に動作するタッチパネルを介して感知するので、前記制御部１１０は両方のタッチ入力を同時に受信できる。本発明の実施例において、前記ペンタッチパネルは、電気信号感知方式のタッチパネル又は電磁気誘導方式のタッチパネルを使用できる。
また、前記タッチパネル１２０は、表示部１３０と一体形に構成できる。本発明の実施例によるタッチパネル１２０は、ペン１０及びユーザの指などのタッチを区別して感知できなければならない。表示部１３０は、携帯端末機で実行されるアプリケーションの動作画面を表示する。

メモリ１４０は、携帯端末機の動作プログラム及び本発明の実施例によるプログラムを保存し、また、本発明の実施例によるペン１０の入力形態（ｉｎｐｕｔ ｔｙｐｅ）に対応して動作するべき機能又は命令語を保存している。

制御部１１０は、携帯端末機の全般的な動作を制御し、本発明の実施例によってタッチパネル１２０を介して受信される異なるペン入力形態を分析し、当該機能又は命令語を処理する。また、制御部１１０は、文字認識処理部を備え、文書作成モードでハンドライティングされた文字を認識する。即ち、表示部１３０の画面上に、ハンドライティング文字認識命令が発生するとタッチパネル１２０を介してハンドライティング文字を認識する。
また、制御部１１０は、映像処理部を備え、ドローイング又はハンドライティングされたイメージを表示されている画面イメージと結合し、新しいイメージを生成する。また、制御部１１０は、クロップ（ｃｒｏｐ）処理部を備え、ユーザが表示された画面に閉曲線をドローイングしてクロップ命令を発生すると、閉曲線内のイメージをクロップして処理する。

通信部１５０は、携帯端末機１００の通信機能を行う。ここで、通信部１５０は、公衆通信網（ＰＳＴＮ）と無線通信するＣＤＭＡ、ＷＣＤＭＡ、又はＬＴＥ方式の通信部であり得、無線インターネット網と連結されるＷｉＦｉ、ＷｉＭａｘ、又はＷｉＢｒｏ方式の通信部であり得、また、近距離の外部装置と無線通信ができる、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又はＲＦＩＤ方式などの通信部であり得る。
即ち、通信部１５０は、前述のような通信部のうち１つ以上を備え得る。例えば、通信部１５０は、ＬＴＥ、ＷｉＦｉ、ブルートゥース、ＮＦＣ通信部などを備え得る。オーディオ処理部１６０は、携帯端末機のオーディオ信号を処理し、ビデオ処理部１７０は、携帯端末機のビデオ信号を処理する。

ペン１０の構造は、身体に流れる電流を機器の表面にまでよく到達させる導電性の胴体（例えば、アルミニウム製など）と、一定の最小面積以上の面積で電気信号を検知できるように拡大変形できる材質（例えば、シリコーン又はシリコーンゴム）のヘッド１２を備える。
また、ペン１０は、ボタン１１を備え、ボタン１０の押圧有無によって異なる大きさの電気信号を発生できる構成を有する。即ち、人が接触した状態（人がペンを手に握った状態）でペン１０は、電気信号を発生し、その際、ペン１０は、ボタンを押圧しない状態では、第１の大きさの電気信号を発生し、ボタンを押圧した状態では、第２の大きさの電気信号を発生するように構成される。

前述のような構成を有する携帯端末機においてタッチパネル１２０は、タッチセンサーを備え、前記タッチセンサーは、或る一定の最小面積以上の面積で電気信号が感知されれば、これをタッチとして認識する。例えば、「三星」（登録商標）製のタッチスウクリーン付き電子装置である「ギャラクシーＳシリーズ」（登録商標）、「ギャラクシーＮｏｔｅ」（登録商標）、「ギャラクシーＮＥＸＵＳ」（登録商標）の場合は、横・縦共各々、２．５ｍｍ以上の面積で、「アップル」（登録商標）製の「アイホン」（登録商標）の場合は、横・縦共各々、３ｍｍ以上の面積で、「パンテック」（登録商標）製の「ベガＸ」（登録商標）の場合は、横・縦共各々、５ｍｍ以上の面積で、各々電気信号が感知されると、これをタッチとして認識する。
また、タッチパネル１２０の場合、ペン１０のヘッド１２の接触面積と指の接触面積は、その大きさが異なる。即ち、ペン１０の接触面積は、指接触面積に比べて相対的に小さく、従って、制御部１１０は、タッチパネル１２０を介して受信される入力を感知する際、接触する面積の大きさによってペンタッチか、又は指タッチかを弁別できる。また、ペン１０は、ボタンの押圧の有無によって異なる大きさの電気信号を発生する。従って、タッチパネル１２０を介して感知される電気信号の変化値が異なるので、制御部１１０は、電気信号の変化によって、ボタン押圧の有無に依存するペン入力を区別して感知できる。

また、タッチパネル１２０を構成するとき、指タッチを感知するためのタッチセンサー及びペン１０のタッチを感知するためのタッチセンサーをそれぞれ独立的に構成することもできる。これは、指及びペンのタッチによる接触面積及び／又は電気信号の大きさが異なるので、制御部１１０は、それぞれのタッチセンサーから発生する電気信号の変化を感知し、指タッチ又はペン１０のタッチを区別して感知できる。

以下の説明において、ペン１０のボタンを押圧しない状態（ボタンオフ状態）で発生するタッチ信号を第１入力信号と称し、ボタンを押圧した状態（ボタンオン状態）で発生するタッチ信号を第２入力信号と称することにする。本発明の実施例において第１入力信号は、タップ（ｔａｐ）、ロングプレス（ｌｏｎｇ ｐｒｅｓｓ）、フリック（ｆｌｉｃｋ）などのような一般入力（ｇｅｎｅｒａｌ ｉｎｐｕｔ）、ライティング（ｈａｎｄｗｒｉｔｉｎｇ）、ドローイング（ｄｒａｗｉｎｇ）及びクロップ（ｃｒｏｐ）などに区分でき、当該アプリケーションで設定された機能を行う入力になる。
そして一方、第２入力信号は、携帯端末機で特定の機能を行う命令語入力になり、ペン１０のボタン１１を押圧した状態でペンのゼスチャー（ｈａｎｄ ｇｅｓｔｕｒｅ）によって発生される。即ち、第２入力は、ペン１０のボタン１１を押圧した状態でのロングプレス、ダブルタップ（ダブルクリック）、フリック（水平、垂直）、及び特定形態のゼスチャー（例えば、円形、方形又はこれと類似の形態の動きなど）などに区分できる。第２入力は、第１入力の一般入力と重複できる。
メモリ１４０は、第１入力信号及び第２入力信号による機能及び命令語に対するマッピングテーブルを備える。制御部１１０は、第１又は第２入力信号発生時に、メモリ１４０を参照して現在実行されているアプリケーションに対して入力された信号による機能又は命令を行う。

［ペン設定手続］
前述のようなペン１０の入力を効率的に処理するために、制御部１１０は、ペン入力設定（セッティング）動作を実行できる。
図２は、本発明の実施例によってペン設定手続を示す図である。また、図３及び図４は、図２のようなペン設定手続を行う過程で表示部１３０に表示される画面を示す図である。

図２と、図３及び図４を参照すれば、図３に示すような画面３１１が表示されている状態で、２１１段階で、タグ「ｐｅｎ＿ｓｅｔｔｉｎｇｓ」（ペン設定モード）が選択されなければ、制御部１１０は、２５０段階で設定された当該機能を行う。しかし、図３の画面３１１が表示されている状態でタグ「ｐｅｎ＿ｓｅｔｔｉｎｇｓ」（ペン設定モード）が選択されれば、制御部１１０は、２１１段階で、ペン設定モードであることを感知し、２１３段階で、図３の画面３１３を表示する。前記ペン設定モードで設定できる機能には、タグ「ｓｈｏｒｔｃｕｔ＿ｓｅｔｔｉｎｇｓ」によるショートカット設定、タグ「ｐｒｅｆｅｒｒｅｄ＿ｈａｎｄ＿ｓｉｄｅ」によるタッチ領域モード設定、タグ「ｐｅｎ＿ｄｅｔｅｃｔｉｏｎ」によるペン検出モード設定がある。
まず、前記ショートカット設定」は、特定のアプリケーションを迅速に実行する機能の設定を意味し、前記タッチ領域モード設定は、ペンタッチが主に発生するタッチパネルの領域の設定を意味し、前記ペン検出モード設定は、文字入力を行うアプリケーション実行時に、文字入力パッド（ｈａｎｄｗｒｉｔｉｎｇ＿ｐａｄ）をオンさせるか否かの設定を意味する。

この際、ユーザがタグ「ｓｈｏｒｔｃｕｔ ｓｅｔｔｉｎｇｓ」（ショートカット設定）を選択すれば、制御部１１０は、２１５段階で、これを感知し、２１７段階で、図３の画面３１５に、ショートカット機能に係るアプリケーション項目タグを表示する。図３では、メモ項目の例を表示していて、ここで、タグ「Ｓ＿ｍｅｍｏ」は、携帯端末機でペン１０を使用して多様なメモ（ハンドライティング、ドローイング、オーディオ、イメージなどを結合した電子的メモ）を作成できるリッチメモ（ｒｉｃｈ ｍｅｍｏ）機能設定用であり、タグ「Ｑｕｉｃｋ＿ｍｅｍｏ」（クィックメモ）は、ハンドライティングメモ機能設定用である。
従って、ユーザは、画面３１５にメニュー表示されるタグ項目のうち１つを選択でき、或る項目が選択されれば、制御部１１０は、２１９段階で、これを感知し、２２１段階で、選択された項目をショートカットに登録する。前記ショートカット機能は、前述したように、ペン１０の第２入力の１つとマッピングできる。図３の３１７は、前記ショートカット機能を第２入力のダブルクリックとしてマッピングしたと仮定した場合であり、ショートカットのデフォルトは、クィックメモに設定される場合を例示している。しかし、２１９段階で、ショートカット項目の選択がなければ、制御部１１０は、２１７段階に戻り、アイテム表示及び／又は選択機能の実行を続ける。また、２２１段階を行った後、制御部１１０は、２３５段階に進行し、設定モードの終了であるかを検査し、終了なら、設定モードを終了し、そうではなければ、２１３段階に戻る。

また、２１５段階で、「ショートカット設定」の選択がなければ、制御部１１０は、２２３段階で、「タッチ領域モード設定」か検査する。この際、ユーザが「タッチ領域モード設定」（タグ「Ｐｒｅｆｅｒｒｅｄ＿ｈａｎｄ＿ｓｉｄｅ」による）を選択すれば、制御部１１０は、２２３段階で、これを感知し、２２５段階で、図３の画面３２１の「Ｐｒｅｆｅｒｒｅｄ＿ｈａｎｄ」のようなタッチ領域項目を表示する。これは、携帯端末機の全体に適用される機能であって、ユーザがペン１０を使用するとき、ペン１０の傾きに合わせたタッチ領域認識を右手又は左手ユーザに区分して設定するためである。この際、ユーザがタッチ領域項目タグ「Ｒｉｇｈｔ ｈａｎｄｅｄ」（右利き）、又は、タグ「Ｌｅｆｔ ｈａｎｄｅｄ」（左利き）を選択すれば、制御部１１０は、２２７段階で、これを感知し、２２９段階で、選択された項目によるタッチパネル１２０のタッチ領域を決定する。即ち、制御部１１０は、右手又は左手の何れであることを確認した後、選択結果によってタッチパネル１２０でタッチ領域を設定し、この際、設定されるタッチ領域は、他の領域より認識能力を高めて使用する。制御部１１０は、２２９段階を行った後、２３５段階に進行し、２２７段階で、タッチ領域項目が選択されなければ、２２５段階に戻って、タッチ項目領域表示を続ける。
また、２２３段階で、タッチ領域設定モードが選択されなければ、制御部１１０は、２３１段階に進行し、ペン検出モード設定であるかを検査する。この際、ユーザがペン検出モード設定（タグ「ｐｅｎ ｄｅｔｅｃｔｉｏｎ」による）を選択すれば、制御部１１０は、２３１段階でこれを感知し、２３３段階で、ハンドライティングパッド（ｈａｎｄｗｒｉｔｉｎｇ ｐａｄ）の表示有無を設定するペン検出モードのオン又はオフを設定するように表示する。この際、制御部１１０は、２３３段階で、ユーザがペンオフを選択すれば、携帯端末機のテキスト入力モードで直前に使用されたＩＭＥ（ｌａｓｔ ＩＭＥ）が表示されるように設定し、ペンオンを選択すれば、携帯端末機のテキスト入力モードでハンドライティングパッド（ｈａｎｄｗｒｉｔｉｎｇ ｐａｄ）が表示されるように設定する。ここで、携帯端末機のテキスト入力モードは例えば、ＳＭＳなどのテキストメッセージアプリ、電子メールアプリ、又はメッセンジャーアプリである。この際、ペン検出モードがオフ状態でテキスト入力モードが行われる場合、制御部１１０は、直前状態のＩＭＥを表示部１３０に表示する。

ここで図４を参照すると、前記ペン検出モードがオン状態で、図４の画面３３１に示すように手のタッチが感知されれば、制御部１１０は、以前状態のＩＭＥを分析し、ＱＷＥＲＴＹモードなら、画面３３３のように表示し、３＊４キーパッドモードなら、画面３３５のように表示する。一方、画面３４１のようにペン１０のタッチが感知されれば、制御部１１０は、画面３４３のようにハンドライティングパッドを表示する。前記ハンドライティングパッドの構成を見れば、ユーザは、３５５領域にペン１０を利用して文字をハンドライティングし、ライティングされた文字は、認識され、３５１領域に表示される。そして、ユーザは、ハンドライティング動作を行いながら、３５３領域に表示される項目（ｓｏｆｔ ｋｅｙ）を利用して文章を作成できる。

図２のようなペン設定モードを行った後、ユーザがペン設定モードを終了すれば、制御部１１０は２３５段階で、これを感知しペン設定モードを終了する。
前述のように、ペン設定モードを行った後、ユーザは、ペンを利用して携帯端末機の動作を行うか、又は制御することができる。

［ペン入力判定］
図５は、本発明の実施例によってペン１０を利用した携帯端末機の動作制御に係るペン入力の判定手続を示す流れ図である。
図５を参照すれば、図１に示した携帯端末機のタッチパネル１２０の入力は、ペン１０又は指を用いて入力される。制御部１１０は、４１１段階で入力有無を検査し、４１３段階で入力の種類を判別する。この際、入力がなければ制御部１１０は４１１段階で、これを感知し入力を待機する。そして、手タッチ入力なら、制御部１１０は４１３段階で、これを感知し（「Ｐｅｎ入力？」で「ＮＯ」に行く）、手タッチ入力を処理する。しかし、ペン１０の入力なら、制御部１１０は、４１１段階及び４１３段階でこれを感知し、４１５段階で、ペン１０の第１入力であるか又は第２入力であるかを確認する。ここで、第１入力は、ペン１０のボタン１１を押圧しない状態で入力される信号であり、第２入力は、ペン１０のボタン１１を押圧した状態で入力される信号を意味する。この際、第１入力なら、制御部１１０は、４１７段階で、入力された信号を分析した後、４１９段階で、分析された結果によって対応する動作を行った後、４１１段階に戻る。そして、第２入力なら、制御部１１０は、４１５段階で、これを感知し、４２５段階で、入力された信号を分析した後、４２３段階で、分析された結果によって当該命令を行った後、４１１段階に戻る。

図６は、本発明の実施例による第１入力のうち一般入力（ｇｅｎｅｒａｌ ｉｎｐｕｔｓ）の形態の例を示す図であり、図７は、本発明の実施例による第２入力の形態の例を示す図である。

第１入力は例えば、図６に示すようなタップ（Ｔａｐ）、ロングプレス（Ｌｏｎｇ＿ｐｒｅｓｓ）、フリック（Ｆｌｉｃｋ）などの一般入力、そして図示しないハンドライティング、ドローイング及びクロップである。第１入力の一般入力のうち、タップは、実行されるアプリケーションでアイテムを選択（Ｓｅｌｅｃｔ＿ｉｔｅｍ）する機能に、ロングプレスは、関連情報をポップアップ表示（ｄｉｓｐｌａｙ ｃｏｎｔｅｘｔｕａｌ ｐｏｐ−ｕｐ）する機能に、フリックは、左右方向又は上下方向によって以前又は次のページに移動（Ｍｏｖｅ ｔｏ ｎｅｘｔ ｐａｇｅ ｏｒ ｐｒｅｖｉｏｕｓ ｐａｇｅ）するか又はスクロール（Ｓｃｒｏｌｌ ｕｐ ｏｒ ｄｏｗｎ）する機能に、各々設定できる。

第２入力は、ボタン１１を押圧した状態でペン１０のタッチによるゼスチャー（ｈａｎｄ ｇｅｓｔｕｒｅ）であって、携帯端末機の特定機能を行う命令語に設定できる。即ち、図７に示したように、第２入力のうちダブルクリックは、実行されるアプリケーションに関係なく、メモモードに移動し（図２のペン設定モードにおいて、ショートカット機能としてクィックメモを設定し、前記ショートカットを行う命令語として第２入力のダブルクリックが設定された場合）、メモ機能を行う命令語として使用される。そして、第２入力のうちロングプレスは、映像処理モード（例えば、動画を表示するモード、例えば、カメラモード、映像再生モードなど）でスクリーンキャプチャー命令語として使用できる。

フリック（ｆｌｉｃｋ）は、ユーザの水平方向又は上下方向へのタッチ入力によって発生される。以下の説明で、水平フリック及び左右フリックの用語は、同一の意味で使用され、また、垂直フリック及び上下フリックの用語も同じ意味で使用される。このようなフリックは第２入力としては、バック（Ｂａｃｋ）動作又はメニュー（Ｍｅｎｕ）呼出の命令語として使用できる。また、ユーザの円形状のタッチ入力は、ホーム画面移動の命令語として使用できる。即ち、第２入力は、携帯端末機において任意のアプリケーションを行う状態で特定の機能を行うように命令する入力として使用でき、また、特定のアプリケーションを行う状態で設定された動作（例えば、スクリーンキャプチャー）を行うように指示する命令語として使用できる。
このように、第１入力の一般入力及び第２入力は、同一の形態をとり得る。例えば、上述のロングプレス、フリックなどの形態をとり得る。

図８は、本発明の実施例によって図５の４１７段階で行われる第１入力の分析処理手続を示す流れ図である。
図８を参照すれば、ペン１０の第１入力が感知されれば、制御部１１０は、６１１段階で、第１入力を分析する。本発明の実施例による第１入力としては、図６のような一般入力、文書作成モードでのハンドライティング文字入力、ドローイングモードでのドローイング入力、イメージが表示されるモードでのクロップ入力などがある。しかし、ペン１０の第１入力は、前述のような入力以外にさらに拡張することもできる。以下の説明では、一般入力、文書作成モードでのハンドライティング文字入力、ドローイングモードでのドローイング入力、及びクロップモードでのクロップ入力の順に説明する。

［一般入力］
第一に、図６のような一般入力なら、制御部１１０は、６１３段階で、これを感知し、６１５段階で当該入力を処理する。
図９は、図８の６１５段階で処理される、第１入力のうちの一般入力に対する処理手続の詳細を示す図である。

図９を参照すれば、７１１段階でタップ入力が発生したと感知すれば、制御部１１０は７１３段階で、現在実行中のアプリケーションでタッチされたアイテムを選択する。また、７１５段階でロングプレス（ＬＯＮＧ ＰＲＥＳＳ）が感知されれば、制御部１１０は７１７段階で、当該アプリケーションに関連する機能をポップアップ表示（ｄｉｓｐｌａｙ ｃｏｎｔｅｘｔｕａｌ ｐｏｐ−ｕｐ）する。また、７１９段階でフリック（ＦＬＩＣＫ）が発生すれば、制御部１１０は、これを感知し、７１９段階で、フリック方向によって設定された機能を行う。
この際、フリックが水平方向に感知されれば、制御部１１０は、現在のページで以前又は次のページに移動し、上下方向に感知されれば、制御部１１０は、画面を上方又は下方にスクロールする。図９では、図６のように、第１入力の一般入力が設定された場合を仮定して説明しているが、前記一般入力と入力タイプのマッピング結果によって異なる機能を行うこともできる。また、一般入力の形態がタップ（ｔａｐ）、ロングプレス（ｌｏｎｇ ｐｒｅｓｓ）、フリック（ｆｌｉｃｋ）の場合を例示して説明しているが、他の形態の一般入力をさらに追加することもできる。

［文書作成モードでのハンドライティング入力］
第二に、第１入力がハンドライティングであり、現在のアプリケーションが文書作成モードの場合、制御部１１０は、６１７段階で、これを感知し、６１９段階で、ハンドライティングされる文字を認識して処理することができる。
図１０は、本発明の実施例によってペン１０を利用して文書を作成する手続を示す図である。
図１０は、図８の６１９段階で行われる動作を表示する図である。図１０を参照すれば、文書作成モードは、前述したように、ＳＭＳ、電子メール、メッセンジャーなどのアプリケーションで行われることができる。このような場合、ペン１０がタッチするか、又はタッチパネル１２０の一定距離以内に近接することを感知すれば、制御部１１０は８１１段階で、図１１に示すようなハンドライティングパッドを表示部１３０に表示する。この際、ハンドライティングパッドは、前述したように、ペン１０によってライティングされる文字を表示する第２表示領域３５５と、ライティングされた文字を認識して表示する第１表示領域３５１と、ハンドライティングの作成するために必要なソフトキーを表示する領域３５３とで構成される。

ここで、９１１領域の「Ｓｙｍｂｏｌ」は、特殊文字を呼び出す機能キーであって、ローマ字、数学記号、特殊記号などの文字の組合わせを表示する。９１３領域の「Ｖｏｉｃｅ」は、文書作成モードで音声を挿入する機能を行い、９１５領域（コンパス又はギアを表示）は、設定機能「Ｓｅｔｔｉｎｇｓ」を行う領域である。また、９１７領域は、言語を選択する領域（例えば、本図では「Ｅｎｇｌｉｓｈ」とラベリング）であって、ロングプレス（又はクリック）すれば、使用可能な言語を関連ポップアップ画面（ｄｉｓｐｌａｙ ｃｏｎｔｅｘｔｕａｌ ｐｏｐ ｕｐ）で表示する。この際、ポップアップ画面は、英語、フランス語、韓国語などの使用可能な言語の項目を表示する。
また、９１９領域「ＩＭＥ」は、文書作成パッドを変更する領域であって、図１１のようなハンドライティングパッドを表示する状態で前記「ＩＭＥ」を選択すれば、上述の図４の画面３３３、３３５のように各々、ＱＷＥＲＴＹキーパッド又は３＊４キーパッドが表示される。そして、９２１領域は、バックスペース及び削除（ｂａｃｋ ｓｐａｃｅ ａｎｄ ｄｅｌｅｔｅ）機能を行う領域であって、この領域が選択されれば、制御部１１０は、現在のカーソルー位置を後方に移動させる。９２３領域は、エンターキー領域であって、作成中の文書のエンターキー機能を行う。この際、前記エンターキー領域がタッチされた場合、制御部１１０は、第２表示領域３５５にテキストがあれば、挿入“Ｉｎｓｅｒｔ”動作を行い、テキストがなく、マルチラインの場合には、エンターキー“Ｅｎｔｅｒ”動作を行い、テキストがなく、マルチラインでもない場合には、完了“Ｄｏｎｅ”機能を行い、電子メールの場合、ＵＲＬ入力窓にテキストがなければ、“Ｇｏ”機能を行う。

図１１のようなハンドライティングパッドが表示される状態は、図１０で、８１１段階を行った後、８１３段階の動作に進行できる。８１３段階を行う状態で、ユーザは、第２表示領域３５５にハンドライティング文字を発生できる。その場合、制御部１１０は８１５段階でペン１０の移動軌跡によって発生するハンドライティング文字を、タッチパネル１２０を介して感知し、第２表示領域３５５に表示し、また、第２表示領域３５３に表示されるハンドライティング文字を認識し、第１表示領域３５１に表示する。
この際、前記認識方法としては、何れも周知の、完成認識（単語単位で認識）方法、又は字画認識方法を使用できる。そして、前述のように、文書を作成及び認識する過程で誤認識が発生する場合、制御部１１０は、第１表示領域３５１の底部（又はハンドライティングパッドの特定位置に設定される領域）に推薦文字を表示し、ユーザが表示された推薦文字を選択すれば、制御部１１０は、選択された文字を第１表示領域３５１の当該文字位置に挿入できる。

しかし、ユーザの誤入力又は文字認識過程で誤認識が発生する場合、ユーザは、タッチパネル１２０を利用して誤入力又は誤認識を修正できる。この際、ユーザの修正要求が発生すれば、制御部１１０は、８１７段階で、これを感知し、８１９段階で、ユーザの文書修正要求によって入力されるハンドライティング文字を再認識して修正した後、８１３段階に戻る。この際、上記のような修正は、第２表示領域３５５でユーザのハンドライティングによって直接修正することができるようにすることが好ましい。

図１２は、本発明の実施例による文字修正方法を示す図である。また、文書修正は、一般的な文書修正用の文字（記号）をハンドライティングしても可能なようにできる。
図１２を参照すれば、ユーザが誤って入力した文字は、第２表示領域に表示される誤入力された文字の上にオーバライトして修正する。即ち、図１２の９３１欄のように、ＵＳをＵＫに修正しようとする場合、第２表示領域３５５に表示されるＳ文字の上にＫをハンドライティングする。このような場合、制御部１１０は、第２表示領域３５５にライティングされた文字にオーバーライティングされる文字は、文字修正として感知し、先にライティングされた文字の代わりに、後でライティングされた文字を認識して修正した後、これを第１表示領域３５１に表示する。
また、文書作成時に行単位又は単語を削除しようとする場合、図１２の９３３欄のように、第２表示領域３５５に表示される当該文字の上で右側から左側に線引きをすればよい。このような場合、制御部１１０は、右側から左側方向に線引きが感知されれば、線に位置する文字を削除し、第１表示領域３５１に表示する。前述のような方法で図１２の９３５欄のように、ライティングされた文字の上で右側から左側方向に線引きが感知されれば、制御部１１０は、以前文字と当該文字との間に空間（ｓｐａｃｅ機能）を作る。図１２の９３７欄のように、ライティングされた文字と文字との間を連結すれば、制御部１１０は、文字と文字との間の空白を除去する。図１２の９３９欄のように、エンター形状の線引きが感知されれば、制御部１１０は、当該位置で改行機能を行う。図１２の９４１欄のように、“鴎（カモメ）”型のタッチが発生すれば、制御部１１０は、当該位置にライティングされた文字を削除する。
また、図１２の９４３欄のように、ライティングされた文字の上にロングタッチ（ｌｏｎｇ ｐｒｅｓｓ）が発生すれば、制御部１１０は、当該位置にライティングされた文字によって文字を修正するための単語を表示し、ユーザが表示される単語を選択すれば、当該単語を選択する。例えば、第２表示領域３５５に表示された文字が“ｃｏｏｋ”であり、前記“ｃｏｏｋ”字の上にペン１０のロングプレス（Ｌｏｎｇ ｐｒｅｓｓ）が感知されれば、制御部１１０は、ハンドライティングパッドの設定された位置（例えば、第１表示領域３５１の下部領域）に代替可能な単語（例えば、ｃｏｏｋ、ｂｏｏｋ、ｃｏｏｌ…）を表示する。そして、ユーザが所望の単語をクリック（ｔａｐ）すれば、制御部１１０は、ユーザが選択された単語を前記ｌｏｎｇ ｐｒｅｓｓされた単語に代替して表示する。

前述したように、図１１の第２表示領域にハンドライティングされた文字は認識され、第１表示領域３５１に表示され、この際、図１２のような修正が発生すれば、制御部１１０は、８１７段階で、これを感知し、８１９段階で、該当する修正要求によるライティング文字又は文書を修正（文字修正、文章又は単語削除、空白追加、空白除去、改行、文字削除、文字変更選択など）する。この際、前述のような修正は、ユーザが第２表示領域３５５に表示される文字の上に直接修正でき、制御部１１０は、ユーザの修正要求によるペン１０の入力を感知し、文書修正手続を行う。従って、文書修正手続が簡便に実行できることが分かる。

上記のようなハンドライティング文字入力及び修正を行う場合、制御部１１０は、これを認識し、第１表示領域３５１に表示し、上記のように、文書作成モードを行う状態で終了命令が発生すれば、制御部１１０は、８２１段階で、これを感知し、作成された文字を処理する。この際、前記作成された文字を処理する方法は、文書作成モードによって異なり得る。即ち、ＳＭＳの場合には、作成された文書を設定された電話番号加入者に伝送すると同時に、メモリ１４０に保存し、ＥＭＳの場合には、作成された文書を設定された電子メール加入者に伝送すると同時に、メモリ１４０に保存し、メモの場合には、ユーザの指定によって対応するメモ（アラーム、スケジュールなど）としてメモリ１４０に保存できる。
以上の８２３段階の後、本方法は、上述の図８の６１９段階に戻ってこれを完了し、同じく上述の図５の４１９段階に戻ってこれを完了する。

図１０では、文書作成モードでハンドライティングパッドを表示する状態で第１入力のライティング文字として処理する方法を示しているが、ハンドライティングパッドを表示しない状態でもハンドライティングされた文字を文書として認識できる。このような場合、制御部１１０は、ハンドライティングされた文字を表示部１３０に表示し、ユーザが認識命令を発生すれば、表示中のハンドライティング文字を認識し、文書に変換する。

［ドローイング入力］
第三に、ペン１０を用いた第１入力のドローイングが感知されれば、制御部１１０は、図８の６２１段階で、これを感知し、６２３段階で、ペン１０を用いて入力されるドローイングを感知して処理する。
図１３は、本発明の実施例においてドローイング入力を処理する手続を示す図であり、図８の６２３の動作手続を示している。また、図１４ないし図２０は、図１３のようなドローイングモードを行う具体例を示す図である。
図１３を参照すれば、ドローイングモードでは、ユーザがドローイングモードを選択してドローイング動作を行うことができ、また、現在行われるアプリケーション中でハンドライティング又はドローイングを行うこともできる。即ち、図１４に示したように、文書作成モードで作成された文書にドローイングを挿入又は追加して伝送しようとする場合、ユーザは、当該アプリケーションでドローイングモードに進入し、ドローイング動作を行った後、これを当該文書に挿入又は追加することができる。また、現在行われるアプリケーション中でイメージにドローイング動作を行い、当該イメージに重ね書き（ｏｖｅｒｗｒｉｔｉｎｇ）することもできる。

図１４乃至図２０は、図１３のドローイングモードを行う各々、第１乃至第７の例を示す図であって、以下、これらを参照して説明する。
ドローイングモードでユーザがドローイングパッドの表示を選択すれば、制御部１１０は、１０１１段階で、これを感知し、１０１３段階で、現在アプリケーションをしばらく中断し、ドローイングパッドを表示する。
例えば、図１４の１１１１のように、電子メール文書を作成している最中に、例えば「挿入（Ｉｎｓｅｒｔ）」タグをタップする機能を実行すれば、１１１３のように選択できる項目を表示し、ここで、「ドローイング（Ｄｒａｗｉｎｇ）」タグをペン１０を利用して第１入力として選択（タップ、又はクリック）すれば、制御部１１０は、１１１５のようにドローイングパッドを表示する。その後、前記ドローイングパッドにユーザがペン１０を利用してドローイングすれば、制御部１１０は、１０１５段階で、タッチパネル１２０を介してこれを感知し、表示部１３０に１１１７のように表示する。その後、ユーザがドローイング終了（１１１７画面の「完了（ｄｏｎｅ）」タグをタッチ）すれば、制御部１１０は、１０１７段階で、これを感知し、１０１９段階で、１１１９のように、ドローイングイメージを生成し、１０２１段階で、当該イメージを処理する。

即ち、図１４のように、電子メールを作成する中にドローイングモードを選択した場合、制御部１１０は、ドローイングパッドを表示し、ドローイングパッド上にユーザのドローイングを表示する。その後、ドローイングを終了すれば、制御部１１０は、生成されたドローイングを電子メールメッセージに挿入し、ユーザが「伝送（Ｓｅｎｄ）」などの機能を選択すれば、前記ドローイングイメージを含むメッセージを相手に伝送すると同時に、メモリ１４０に保存する。
前述したように、ドローイングパッドを利用してドローイングを行うアプリケーションの種類によっては、図１６のように、文書作成アプリケーション（テキストメッセージ、電子メールなどのメッセージアプリケーション）でメッセージを作成している途中に描画できるドローイングパッドを提供し、メッセージとともに描いた絵を伝送でき、また、図１７のように、ハンドライティングパッドを提供するアプリケーション（即ち、テキスト入力が可能なアプリケーション）で直接ユーザがハンドライティングしてドローイング機能を実行できる。

また、前記ドローイングパッドを使用せずに、ドローイングを実行できるアプリケーションの場合、ユーザがペン１０を利用して第１入力のドローイングを発生すると、制御部１１０は、１０１１段階で、これを感知し、１０２３段階で、現在の画面の上にユーザから発生するドローイングを表示する。その後、ユーザがドローイングを終了すれば、制御部１１０は、１０２３段階で、これを感知し、１０１９段階で、ドローイングイメージを生成し、１０２１段階で、ユーザの命令によって生成されたイメージを処理する。
上記のようにドローイングパッドを使用せずに、ドローイングを実行できるアプリケーションは例えば、次の通りである。現在行われているマルチメディアアプリケーション（例えば、Ｐｈｏｔｏ Ｅｄｉｔｏｒ、Ｖｉｄｅｏ Ｍａｋｅｒ、Ｇａｌｌｅｒｙアプリケーション）の場合、図１５のように、ユーザが表示部１３０に表示されるマルチメディアイメージの上に直接ドローイングを行い、マルチメディアイメージにユーザのドローイングが追加されたイメージを生成する。
また、ハンドライティング機能が提供されるメモアプリケーション（例えば、クィックメモ、リッチメモアプリケーション）でユーザがハンドライティングしたメモを図１８のようにイメージとして生成して処理する。即ち、メモアプリケーションで作成されたハンドライティング文字をドローイングのようにイメージとして生成する。
また、イメージが表示されるアプリケーション（例えば、電子ブックアプリケーションなど）において図１９のように、表示されたイメージに対してユーザが直接、注釈設定、ライティングなどのハンドライティング及びドローイングを行い、ドローイングイメージとして生成する。
また、編集可能なアプリケーション（ｅｄｉｔａｂｌｅ ｓｃｒｅｅｎ ｃａｐｔｕｒｅアプリケーションなど）で図２０のように、ユーザが画面に直接ライティングしてドローイングイメージを生成する。このような場合、ハンドライティング編集が可能な画面キャプチャー機能を提供でき、携帯端末機上に表示される全ての画面で当該ドローイング機能を行う。例えば、インターネットサーフィン、雑誌画面、文書画面などを表示するアプリケーションで当該画面にドローイングを行い、画面を編集できる。

［クロップ入力］
第四に、前記画面にイメージが表示される状態で、ペンを利用して表示されるイメージの特定部分を囲むように円形又は多角形の閉曲線をドローイングし、クロップ機能を選択すれば、制御部１１０は、６２５段階で、これを感知し、当該画面をクロップし、クロップされた画面を処理する。例えば、表示部１３０に写真などのようなイメージが表示される状態で閉曲線ドローイングをした後、クロップ項目を選択し、タッチ（タップ、又はクリック）すれば、制御部１１０は、これをイメージクロップとして見なし、閉曲線内部のイメージをキャプチャして処理する。そして、前記クロップされた画面をメモリに保存し、また、他の画面に挿入又は追加して新しいイメージとして生成する。

前述したように、ペン１０のボタン１１を押圧しない状態でタッチパネル１２０にタッチされる場合、制御部１１０は、図５の４１５段階で、これを第１入力として感知し、第１入力が感知されれば、制御部１１０は、４１７段階及び４１９段階で入力される形態によって一般入力、ハンドライティング、ドローイング又はクロップとして認識し、当該アプリケーションを処理する。
しかし、ペン１０のボタン１１を押圧した状態でタッチパネル１２０にタッチされる場合、制御部１１０は、図５の４２１段階で、これを第２入力として感知し、第２入力が感知されれば、制御部１１０は、４２５段階及び４２３段階で入力される第２入力のハンドゼスチャーによって当該命令を処理する。ここで、第２入力のうち、特定入力（例えば、ｌｏｎｇ ｐｒｅｓｓ）を除いた残りの第２入力は、現在実行中のアプリケーションに関係なく、対応する命令に対応するアプリケーションを行う。

前述したように、本発明の第１入力は、ペン１０のボタン１１を押圧することなく入力する。第１入力は、指で行う全てのインタラクションをペンでも同様に提供できる。この際さらに第１入力は、アプリケーションでペンに特化した機能を実行できる。

［第２入力］
図２１は、本発明の実施例によって第２入力を処理する手続を示す流れ図である。
また、図２２及び図２３は、図２１のような手続を行いながら処理される具体例を示す図である。

図５と図２１を参照すれば、図５の４１５段階で第１入力ではないと、即ち、第２入力が感知されれば、制御部１１０は、図２１の１２１１段階で、第２入力を確認した後、第２入力の形態を分析する。この際、第２入力がダブルクリックなら、１２１３段階で、これを感知し、１２１５段階で、設定されたアプリケーションを呼出して処理する。この際、前記アプリケーションは、図２の段階２１５乃至２２１のようなペン設定手続で設定されるショートカット（ｓｈｏｒｔｃｕｔ）アプリケーションであり得る。
例えば、前記ショ−トカットアプリケーションがクィックメモに設定された場合、図２２の１３１１及び１３２１のように、ペン１０のボタンがクリックオン（押圧）された状態でダブルクリックが発生すれば、制御部１１０は、１３２３のように、ショ−トカットに設定されたクィックメモを表示部１３０に表示する。

また一方、第２入力がロングプレス（ｌｏｎｇ ｐｒｅｓｓ）であるならば、制御部１１０は、１２１３段階では「ダブルクリック」ではないと感知し、１２１７段階で「ロングプレス」と感知し、１２１９段階で、現在実行されているアプリケーションで表示されている画面をキャプチャする。この際、前記アプリケーションは、画面イメージを表示するアプリケーションになる。例えば、図２２の１３１１及び１３１３のように、ペン１０のボタンがクリックオン（押圧）された状態でｌｏｎｇ ｐｒｅｓｓが発生すれば、制御部１１０は、１３１５のように表示されるイメージをキャプチャし、表示部１３０に表示する。

また、第２入力が水平フリックなら、制御部１１０は、１２２１段階で、これを感知し、１２２３段階で、水平フリックに設定された命令を行う。ここでは、前記水平フリックが右側から左側に行われ、設定された命令は、バック（ＢＡＣＫ）機能に設定された場合を仮定している。このような場合、図２３の１３１１及び１３３１のように、ペン１０のボタンがクリックオン（押圧）された状態で右側から左側にフリックが感知されれば、制御部１１０は、１３３３のように「ＢＡＣＫ」機能を行う。

また、第２入力が上下フリックなら、制御部１１０は、１２２５段階で、これを感知し、１２２７段階で、上下フリックに設定された命令を行う。ここでは、前記上下フリックが下側から上側に行われ、設定された命令は、「メニュー（Ｍｅｎｕ）呼出」機能に設定された場合を仮定している。このような場合、図２３の１３１１及び１３４１のように、ペン１０のボタンがクリックされた状態で下側から 上側にフリックが感知されれば、制御部１１０は、１３３３のように「メニュー呼出」機能を行う。

また、第２入力が円形なら、制御部１１０は、１２２５段階で上下フリックを感知せず、１２２９段階で、円形入力を感知し、１２３１段階で、該円形入力に対応して設定された命令を行う。ここでは、前記円形の第２入力に設定された命令がホーム画面呼出の場合を仮定する。

前述したように、第２入力は、ペン１０のボタンがクリックオン（押圧）された状態で入力されるハンドゼスチャーであり、制御部１１０は、感知される第２入力を分析し、それぞれ対応する命令を行う。この際、第２入力は、ダブルタップ及びロングプレスなどのアプリケーション呼出ゼスチャーと、フリック（右→左）及びフリック（下→上）などの特定のコマンド実行ゼスチャーよりなる。第２入力は、ペンのボタンを押圧した状態で既定のゼスチャー入力として、従来のペンの使用経験を継承できるようにハードキー（Ｈａｒｄ＿ｋｅｙ）の機能をペンのジェスチャーにマッピングし、ペン全般の使用性改善、スクリーンキャプチャー、メモなどのアプリケーション呼出、及びバック（Ｂａｃｋ）、メニュー（Ｍｅｍｕ）など特定のコマンドを行うことができる。
また、第１入力及び第２入力は、前述したように、ペンがタッチパネル１２０にタッチされるとき、異なる大きさの電気信号を発生するものと仮定している。即ち、ペン１０は、ボタンがクリックオン（押圧）される場合とクリックオン（押圧）されない場合で、発生する電気信号が異なる大きさを有し、このような場合、ペン１０がタッチパネル１２０にタッチされると、異なる電気信号の変化を引き起こす。ここで、第１入力は、ペン１０のボタン１１がクリックオンされない状態で前記タッチパネルを介して感知される入力として仮定し、第２入力は、ペン１０のボタン１１がクリックオンされた状態で前記タッチパネルを介して感知される入力と仮定している。しかし、ペン１０のボタン１１がクリックオンされない状態で前記タッチパネルを介して感知される入力を第２入力とし、ペン１０のボタン１１がクリックオンされた状態で前記タッチパネルを介して感知される入力を第１入力としても、同一の動作を行うことができる。

上記のように、タッチデバイスを備える携帯端末機において本発明によるペン入力機能を使用すれば、さまざまな特化されたサービスを効率的に実行できる。このようなサービスのうち１つがメモ機能である。現在携帯端末機のメモは、文字、イメージ、ビデオ及びオーディオなどが結合された複合メモ（以下、ｒｉｃｈ ｍｅｍｏ、ｓ−ｍｅｍｏ）機能をサービスしている。また、携帯端末機をスケジューラに使用でき、従って、迅速にメモ機能を実行できるクィックメモ機能も追加することが好ましい。

［リッチメモ］
図２４ないし図２６は、本発明の実施例による携帯端末機のリッチメモリスト及びリストを制御する手続を示す図である。
図２４ないし図２６を参照すれば、図２４において画面１４１１は、リッチメモをサムネイルリスト（ｌｉｓｔ ａｒｒａｎｇｅｄ ｂｙ ｔｈｕｍｂｎａｉｌｓ）として示す図であり、図２５において画面１４５１は、リッチメモをリスト−バイ−リスト（ｌｉｓｔ ｂｙ ｌｉｓｔ）として示す図である。図２４を参照すれば、リッチメモのサムネイルリストを示す画面１４１１は、クィックメモ及びリッチメモのサムネイル項目をリストで示していて、リストの各項目の特徴は、表１４１３のように定義される。ここで、クィックメモボタンは、クィックメモを１つのサムネイルで表示し、リッチメモをそれぞれ対応するサムネイルで構成し、リスト化する。図２４のようなリッチメモのサムネイルリストを示す画面１４１１を表示する状態でユーザがメニュー呼出をすれば、図２４ の表１４２１のようなメニューが呼び出される。ここで、前記メニュー呼出は、前述したように、第２入力として実行でき、図７のように、第２入力を定義した場合、図２４の１４１１のように、リッチメモのサムネイルリストを示す画面が表示された状態でペン１０のボタン１１をクリックオンし、下側方向から上側方向にフリックすれば、制御部１１０は、これをメニュー呼出として感知する。そして、表１４２１のように表示されたメニューにおいて当該項目をクリック（第１入力のタップ）すれば、選択された項目のリストが表１４２３、１４２５、１４２７のように表示される。

図２５に示す画面１４５１に示すリッチメモのリスト−バイ−リストは、図２４のサムネイルリストと異なる形態を有するリストであって、参照符号１４５１、１４５３、１４６１、１４６３、１４６５、１４６７は、それぞれ図２４の１４１１、１４１３、１４２１、１４２３、１４２５、１４２７に対応する。

図２６は、本発明の実施例によって前記リッチメモ及びクィックメモを選択する手続を説明するための図である。画面１４８１に示すようなサムネイルリストでクィックメモボタンをクリック（ｔａｐ）すれば、画面１４９１に示すようなクィックメモリストを表示する。そして、画面１４９１のクィックメモリストを表示した状態でペン１０を利用して水平フリック（右から左）の第２入力を発生すれば、制御部１１０は、画面１４８１のリッチメモのサムネイルリストを再び表示する。また、画面１４８１のなリッチメモのサムネイルリストが表示された状態でペン１０を利用して垂直フリック（下側から上側）の第２入力を発生すれば、制御部１１０は、メニューを呼出し、ユーザの選択によって画面１４８３のようなリッチメモのリストを表示することができる。

また、画面１４８１又は１４８３のようなリッチメモリストを表示する状態でユーザがペン１０を利用して生成ボタンをクリックすれば、画面１４８５のようなドローイングパッドを生成し、ユーザは、前記ドローイングパッドを用いてリッチメモを作成できる。また、画面１４９１のように、クィックメモリストを表示する状態でユーザがクィックメモをクリック（第１入力のタップ）すれば、画面１４９３のようなドローイングパッド又は画面１４９５のようなテキストパッドを生成し、ユーザは、これを利用してクィックメモをドローイング又はテキストとして生成できる。

図２７は、本発明の実施例によるリッチメモの例を示す図であり、図２８は、リッチメモで使用されるドローイングパッドの例を示している。
図２７及び図２８を参照すれば、ユーザは、リッチメモのリストが表示された状態で特定のリッチメモのサムネイル（又はリスト上の項目）を選択すれば、図２７の画面１５１１に示すように該当するリッチメモを表示する。この際、前記リッチメモの形態は、表１５１３に示す構造を有する。そして、前記画面１５１１の状態で、前述したような第２入力でメニューを呼出すれば、表１５２１のようなメニューが呼出され、呼出されたメニューで表１５２３〜１５２７のような下部メニューを選択できる。

また、ユーザは、リッチメモのリストが表示される状態は、特定のリッチメモが表示される状態で生成ボタンを押圧すれば、図２８の画面１５５１のようなドローイングパッドを表示する。ここで、前記ドローイングパッドは例えば、図２８の表１５５５のような構成を有する。表１５５３及び１５５５に示すようなメニュー及び設定を通じて、ユーザは、画面１５５７のように、画面１５５１のようなドローイングパッドにタイトルを追加でき、またユーザは、画面１５５９のように、画面１５５１のようなドローイングパッドにタグを追加できる。前述したように、リッチメモは、テキストメモ以外にドローイングによるイメージ生成、イメージ挿入、オーディオ音挿入などを行うことができる。
この際、前記リッチメモを作成する方法は、テキスト及びドローイングは、前述したようなペン１０を利用して実行でき、この際、第１入力のテキストライティング、ドローイング及びクロップなどの方法を使用でき、また、一般入力によってリッチメモアプリケーションの動作を制御できる。ここで、前記リッチメモのハンドライティングは、ドローイングパッド上で実行でき、前記ハンドライティング文字は、イメージとして処理でき、また、メニューを通じて認識命令を発生して認識できる。即ち、前記リッチメモは、ペン１０を用いてドローイング、ハンドライティングなどを通じて作成でき、また、作成されたリッチメモにビデオ及び／又はオーディオなども挿入できる。さらに、前記ハンドライティングされた文字は、必要時に、認識命令によってデータに変換して保存できる。さらに、上記のように作成されたリッチメモは、メモリ１４０に保存でき、また、通信部１５０を介して外部装置又は外部加入者に伝送できる。

図２９は、本発明の実施例によるリッチメモに含まれたクィックメモリストを示す図である。クィックメモは、画面１６１１に示すようなサムネイルリストで表示され、前述したように、メニュー呼出の第２入力発生時に、表１６１３のようなメニューを表示し、表示されるメニュー上で表１６１５〜１６２１のような下部メニューを選択できる。
図３０は、図２９のクィックメモリストでクィックメモを生成するためのパッド構成を示す図である。図３０を参照すれば、クィックメモアプリケーションにおいてユーザは、画面１７１１のようなドローイングパッド又は画面１７２３のようなテキストパッドを利用してクィックメモを作成できる。そして、ユーザは、ペン１０を用いてメニュー呼出を行うことができ、この際、メニューは例えば、表１７２５〜１７３１に示すとおりである。

また、前記クィックメモアプリケーションは、リッチメモアプリケーションを行う時に選択でき、また、第２入力を通じてクィックメモを選択できる。即ち、図２及び図３で説明したように、ユーザは、設定過程でショートカット機能で行うアプリケーションを設定できる。この際、前記ショートカットアプリケーションに前記クィックメモが設定された場合、図３１に示すように、クィックメモアプリケーションを選択することができる。
図３１は、本発明の実施例によってクィックメモアプリケーションを選択する方法を説明するための図である。図３１を参照すれば、ショートカットアプリケーションに前記クィックメモが設定された場合、ユーザが、画面１８１１に示すように、任意のアプリケーションを実行している状態でショートカット機能に設定されたクィックメモを選択するために、第２入力（ペン１０のボタン１１をクリックオンした状態でダブルタップを発生すれば、制御部１１０は、これを感知し、画面１８１３に示すようなクィックメモアプリケーションを行うためのドローイングパッドを表示する。そして、ユーザが画面１８１３に示すようなドローイングパッド上にクィックメモをドローイング及び／又はハンドライティングにより作成すれば、制御部１１０は、これをドローイングパッド上に表示する。そして、作成されたクィックメモは、図２９の画面１６１１のようなクィックメモのサムネイルリストに登録される。

本明細書と図面に開示された本発明の実施例は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施例以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明が属する技術分野における通常の知識を有する者に自明であろう。

１０ ペン
１１ ボタン
１２ ヘッド
１００ 携帯端末機
１１０ 制御部
１２０ タッチパネル
１３０ 表示部
１４０ メモリ
１５０ 通信部
１６０ オーディオ処理部
１７０ ビデオ処理部

Claims (15)

1. 携帯端末機の入力装置において、
   ボタンを備え、ボタンクリックの有無によってそれぞれ第１電気信号を有する第１入力及び第２電気信号を有する第２入力を発生するペンと、
   前記ペンタッチ時に電気信号が変化するタッチセンサーを備えるタッチパネルと、
   前記タッチパネルを介して入力される入力を分析し、第１入力なら、実行中のアプリケーションで前記第１入力に対応して設定された機能を行い、第２入力なら、設定されたアプリケーションを呼出す、又は、設定された命令を実行する制御部と、
   前記制御部の制御下に第１入力及び第２入力の少なくとも一方に従って処理される画面を表示する表示部と、から構成され、
   前記第１入力は、実行されるアプリケーションの動作を制御する一般入力、ハンドライティング文字、及びドローイングの内の少なくとも一つを含み、前記第２入力は、特定のアプリケーションを呼出す命令語及び特定動作の実行を命令する命令語であることを特徴とする装置。
2. 前記制御部が、文書作成アプリケーション実行時にハンドライティングパッドを表示し、前記ハンドライティングパッドに入力されるハンドライティング文字を表示し、前記ハンドライティング文字を認識して処理することを特徴とする請求項１に記載の装置。
3. 前記制御部が、ドローイングアプリケーション選択時にドローイングパッドを表示し、前記第１入力のドローイングをドローイングパッドで表示し、ドローイング終了時に現在実行されるアプリケーションに前記ドローイングにより生成されたイメージを含ませて処理することを特徴とする請求項２に記載の装置。
4. 前記ドローイングがイメージを表示するアプリケーション上に発生すれば、現在の画面イメージに入力される前記第１入力のドローイングを表示し、ドローイング終了時に前記画面イメージに前記ドローイングを含んでイメージとして生成することを特徴とする請求項３に記載の装置。
5. 前記制御部が、前記第２入力感知時に入力タイプを分析し、アプリケーション呼出なら対応する第２入力に設定されたアプリケーションを呼出して表示し、コマンドなら対応する第２入力に設定されたコマンドを行うことを特徴とする請求項１に記載の装置。
6. タッチデバイスを備える携帯端末機の入力方法において、
   ペンがボタンを備え、前記ボタンクリックの有無によってそれぞれ第１電気信号を有する第１入力及び第２電気信号を有する第２入力を発生し、前記ペンのタッチによってタッチパネルを介して感知される入力を分析する過程と、
   前記入力が第１電気信号の変化を有する第１入力なら実行されるアプリケーションで前記第１入力に対応して設定された機能を行う第１入力処理過程と、
   前記入力が第２電気信号の変化を有する第２入力なら設定されたアプリケーション呼出又は設定された命令を行う過程と、から構成され、
   前記第１入力は、実行されるアプリケーションの動作を制御する一般入力、ハンドライティング文字及びドローイング
   の内の少なくとも一つを含み、前記第２入力は、特定のアプリケーションを呼出す命令語及び特定動作の実行を命令する命令語であることを特徴とする方法。
7. 前記第１入力処理過程が、
   文書作成アプリケーション実行時にハンドライティングパッドを表示する過程と、
   前記ハンドライティングパッドに入力されるハンドライティング文字を表示する過程と、
   前記ハンドライティング文字を認識して処理する過程と、を含むことを特徴とする請求項６に記載の方法。
8. 前記ハンドライティングされる文字を認識する過程において、前記表示されるハンドライティング文字の上に修正のための第１入力が発生すれば、当該機能で文字を修正する過程をさらに備えることを特徴とする請求項７に記載の方法。
9. 前記文書作成アプリケーションがテキストメッセージアプリケーション、電子メールアプリケーション、又はメッセンジャーアプリケーションの何れかであることを特徴とする請求項８に記載の方法。
10. 第１入力処理過程が、
    前記ドローイングモードアプリケーション選択時にドローイングパッドを表示する過程と、
    前記第１入力のドローイングをドローイングパッドで表示する過程と、
    前記ドローイング終了時に現在実行されるアプリケーションに前記ドローイングされたイメージを含ませて処理する過程と、をさらに備えることを特徴とする請求項６に記載の方法。
11. 前記実行されるアプリケーションは、文字作成アプリケーションであり、前記生成されたドローイングされたイメージを前記作成された電子メールに含むことを特徴とする請求項１０に記載の方法。
12. 前記第１入力処理過程が、
    前記イメージが表示されるアプリケーション上で前記第１入力のドローイングが発生すれば、現在の画面イメージに入力される前記第１入力のドローイングを表示する過程と、
    前記ドローイング終了時に前記画面イメージに前記ドローイングイメージを含んでイメージで生成する過程と、をさらに備えることを特徴とする請求項１０に記載の方法。
13. 前記第１入力の一般入力は、タップ、ロングプレス、水平フリック及び上下フリックの内の少なくとも一つを含み、前記一般入力発生時に実行されるアプリケーションで前記一般入力に対応する機能を行うことを特徴とする請求項１２に記載の方法。
14. 前記第２入力処理過程が、
    前記第２入力感知時に入力タイプを分析する過程と、
    前記第２入力がアプリケーション呼出なら対応する第２入力に設定されたアプリケーションを呼出して表示する過程と、
    前記第２入力がコマンドなら対応する第２入力に設定されたコマンドを行う過程と、から構成されることを特徴とする請求項６に記載の方法。
15. 前記アプリケーション呼出のための第２入力は、ダブルクリック、ロングプレスの内の少なくとも一つを含み、コマンド実行のための第２入力は、フリックであることを特徴とする請求項１４に記載の方法。
    

Images