JP2015522883A - 手書きイメージ認識を用いたアプリケーションの制御方法及び装置 - Google Patents

Abstract

手書きイメージ認識を用いたアプリケーションの制御方法及び装置が提供される。この方法は、実行されたアプリケーションをタッチパネルの上に表示するステップと、予め定められたユーザ入力を感知するステップと、感知されたユーザ入力に応答して、前記アプリケーションの上に、手書き入力領域と、手書き入力が不可能な領域とを含むメモウィンドウを表示するステップと、前記メモウィンドウの手書き入力領域で、手書き入力イメージを受信及び認識するステップと、認識の結果に従い、前記アプリケーションの機能を制御するステップとを含む。

Description

本発明は、手書きイメージ認識を用いたアプリケーションの制御方法及び装置に関する。より詳しくは、本発明は、タッチパネルを含む電子装置において、手書き入力を認識して、現在実行中のアプリケーションの機能を制御する装置及び方法に関する。

最近、携帯用電子機器の成長と共に、直観的な入／出力が可能なユーザインターフェース（ＵＩ： Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の要求が増大している。例えば、キーボード、キーパッド、マウスなどの別途の構成を利用して、情報を入力する伝統的なＵＩ方式は、指やタッチ用の電子ペンなどを用いて、画面を直接タッチするか、音声を用いて情報を入力する直観的なＵＩ方式へ漸次進化している。

その上、ＵＩ技術は、ユーザの便宜を考慮するのみならず、直観的であり、かつ人間中心の開発が行われている。この代表的なＵＩ技術として、ユーザが音声で携帯用電子機器と対話し、これを介して、所望の情報を入力するか、所望の情報を得るのが可能となった。

代表的に、スマートフォンのような、ユーザの携帯用電子機器には、多様なアプリケーションがインストールされ、このインストールされたアプリケーションを介して、新しい機能を利用できる。

代表的に、スマートフォンにインストールされた複数のアプリケーションは、独立的に駆動するのが一般的であるが、複数のアプリケーションが連動して新しい機能又は結果を、ユーザに提供することは、一般的ではなかった。

例えば、スケジュール管理をサポートするアプリケーションにおいて、直観的ＵＩをサポートするユーザ端末にもかかわらず、当該アプリケーションでサポートするＵＩのみを用いて情報の入力が可能であった。

さらに、タッチパネル又はタッチパネルを用いて、メモ機能をサポートするユーザ端末において、ユーザが、指、電子ペンなどの入力手段を用いて、主に情報をメモする用途としてのみ活用するだけで、メモ内容を他のアプリケーションに連携して活用する方案は提示されなかった。

従って、ユーザ端末において、手書きベースのユーザインターフェースを用いて、ユーザとの情報を交換する装置及び方法が必要となった。

上記の情報は、本開示の理解を助けるだけの背景情報として提示される。本発明に関する従来の技術として適用できるかどうかについては、確認されず、断定されない。

本発明の目的は、上述の問題及び／又は短所を解決するために、後述の少なくとも一つの利点を提供することにある。従って、本発明は、ユーザ端末において、手書きベースのユーザインターフェースを用いて、ユーザとの情報を交換する装置及び方法を提供する。

本発明の他の目的は、タッチパネルを含む電子装置において、手書き認識を用いて実行中のアプリケーションの機能を制御する装置及び方法を提供することにある。特に、本発明の目的は、ユーザがタッチパネルに入力した手書きイメージを認識して、現在実行中のアプリケーションの機能を制御する装置及び方法を提供することにある。ユーザ端末は、タッチパネルを含む電子装置である。前記タッチパネルは、グラフィックとテキストを表示し、ユーザと装置との間の相互作用をサポートするユーザインターフェースを提供するように、様々な電子装置に用いられている。

本発明のまた他の目的は、ユーザ端末において、手書きベースのメモ機能を用いて、所定のコマンドを実行させるユーザインターフェース装置及び方法を提供することにある。

本発明のまた他の目的は、ユーザ端末において、手書きベースのメモ機能を用いて、問答が可能なユーザインターフェース装置及び方法を提供することにある。

本発明のまた他の目的は、ユーザ端末において、メモ機能を用いて、画面の上に表示されたメモ内容から選択された全体又は一部のメモを処理するためのコマンドを受信するためのユーザインターフェース装置及び方法を提供することにある。

本発明のまた他の目的は、電子ペンを用いたメモ機能をサポートするユーザ端末において、メモモードとコマンド処理モードとの転換をサポートするユーザインターフェース装置及び方法を提供することにある。

本発明のまた他の目的は、ユーザ端末において、メモ機能により、駆動されているアプリケーション又は他のアプリケーションを制御するためのコマンドの入力が可能なユーザインターフェース装置及び方法を提供することにある。

本発明のまた他の目的は、ユーザ端末において、ユーザのメモパターンを分析し、前記分析したメモパターンを考慮して、メモ機能により入力される情報を判断するユーザインターフェース装置及び方法を提供することにある。

本発明の一態様によると、手書きベースのメモ機能をサポートするユーザ端末におけるユーザインターフェース方法が提供される。この方法は、特定のアプリケーションが実行されている中に、ユーザの要請により、手書きが可能なメモ階層が、前記特定のアプリケーションの実行画面の上に表示され、前記ユーザにより前記メモ階層に手書きされる内容に基づいて、前記ユーザの意図を認知し、前記認知したユーザの意図に応じて、前記特定のアプリケーションの動作を制御することを含む。前記メモ階層は、メモウィンドウで実現されてもよい。即ち、前記メモ階層と前記メモウィンドウとは、同様の意味として使用可能である。

本発明の他の態様によると、手書きベースのメモ機能をサポートするユーザ端末におけるユーザインターフェース装置が提供される。この装置は、タッチパネルを有する電子装置を含み、特定のアプリケーションが実行されている中に、ユーザの要請により手書きが可能なメモ階層が、前記特定のアプリケーションの実行画面の上に表示され、前記ユーザの要請に応じて、前記メモ階層に手書きした内容に基づいて、前記ユーザの意図を認知し、前記特定のアプリケーションの動作は、前記認知したユーザの意図に応じて制御される。

本発明のまた他の態様によると、タッチパネルを含む電子装置におけるアプリケーションの制御方法が提供される。この方法は、実行されたアプリケーションを、前記タッチパネルの上に表示するステップと、予め定められた入力を表示するステップと、感知されたユーザ入力に応答して、前記アプリケーションの上に、手書き入力領域と、手書き入力が不可能な領域とを含むメモウィンドウを表示するステップと、前記メモウィンドウの手書き入力領域に、手書きイメージを受信及び認識するステップと、認識の結果に従い、前記アプリケーションの機能を制御するステップとを含む。

前記メモウィンドウの前記手書き入力が不可能な領域には、前記アプリケーションから提供されたテキスト及びイメージのうち、少なくとも一つが表示されてもよい。

前記メモウィンドウは、前記手書き入力が不可能な領域の上にタッチが感知されると、前記手書き入力領域に入力された手書きイメージを認識して、前記認識された手書きイメージを、前記手書きイメージとマッチするテキストに変換し、前記テキストを、前記アプリケーションに提供し得る。

前記アプリケーションは、前記メモウィンドウから提供されたテキストを、前記アプリケーションの機能を制御するためのコマンド及び該コマンドと関連したデータに分けてもよい。

本発明の更なる他の態様によると、タッチパネルを含む電子装置におけるアプリケーションの制御方法が提供される。この方法は、実行されたアプリケーションと関連付いた情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンを、前記タッチパネルの上に表示するステップと、前記ボタンの上にタッチが感知されると、前記ボタンに対応する前記アプリケーションの機能を制御するステップと、前記タッチパネルの上に、予め定められた入力が感知されると、少なくとも一つの前記グラフィックオブジェクト及び前記ボタン上の手書き入力領域と、手書き入力が不可能な領域とを含むメモウィンドウを、前記タッチパネルに表示するステップと、前記タッチパネルの上に予め定められた入力が感知されると、前記メモウィンドウの手書き入力領域に手書きイメージを受信及び認識するステップと、認識の結果に従い、前記アプリケーションの機能を制御するステップとを含む。

前記メモウィンドウの前記手書き入力が不可能な領域には、前記アプリケーションから提供されたテキスト及びイメージのうち、少なくとも一つが表示されてもよい。

前記メモウィンドウは、前記テキスト及び前記イメージの上にタッチが感知されると、前記手書き入力領域に入力された手書きイメージを認識して、前記認識された手書きイメージを、前記手書きイメージとマッチするテキストに変換し、前記テキストを前記アプリケーションに提供する。

前記ボタンの上に前記メモウィンドウが表示されると、前記ボタンは非活性化されてもよい。

本発明のまた他の態様によると、タッチパネルを含む電子装置におけるアプリケーションの制御方法が提供される。この方法は、第１モードで、タッチ入力が感知されると、実行されたアプリケーションの機能を制御するステップと、
第２モードで、前記アプリケーションの実行中に前記タッチパネル上の予め定められた入力を識別し、識別された入力に従い、手書き入力が可能なメモウィンドウを、前記アプリケーションに表示し、前記メモウィンドウに入力された手書きイメージを認識し、前記認識された手書きイメージに従い、前記実行されたアプリケーションの機能を制御するステップと、を含む。

前記第２モードの状態では、前記第１モードが行われないようにしてもよい。

本発明のまた他の態様によると、電子装置が提供される。この電子装置は、タッチを感知するタッチパネルと、実行されたアプリケーションを前記タッチパネルに表示し、前記タッチパネルから感知された、予め定められた入力に応答して、前記アプリケーションに、手書き入力領域と、手書き入力が不可能な領域とを含むメモウィンドウを表示し、前記メモウィンドウの手書き入力領域に手書きイメージを認識し、認識の結果に従い、前記アプリケーションの機能を制御する制御部と、を含む。

前記制御部は、前記メモウィンドウの前記手書き入力が不可能な領域に、前記アプリケーションから提供されるテキスト及びイメージが表示されるように制御することができる。

また、前記制御部は、前記テキスト及びイメージの上にタッチが感知されると、前記手書き入力領域に入力された手書きイメージを認識して、前記認識された手書きイメージを、前記手書きイメージとマッチするテキストに変換し、前記テキストに対応する前記アプリケーションの機能を制御することができる。さらに、前記制御部は、前記テキストを、前記アプリケーションの機能を制御するためのコマンドと該コマンドと関連付いたデータとに分けてもよい。

本発明のまた他の態様によると、電子装置が提供される。この電子装置は、タッチを感知するタッチパネルと、実行されたアプリケーションと関連付いた情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンの少なくとも一つを、前記タッチパネルの上に表示し、前記ボタンの上にタッチが感知されると、前記ボタンに対応する前記アプリケーションの機能を制御し、前記タッチパネルの上に予め定められた入力が感知されると、グラフィックオブジェクト及びボタン上の手書き入力領域と、手書き入力が不可能な領域とを含むメモウィンドウを、前記タッチパネルに表示し、前記メモウィンドウの手書き入力領域に入力された手書きイメージを認識し、認識の結果に従い、前記アプリケーションの機能が行われるように制御する制御部と、を含む。

前記制御部は、前記メモウィンドウの前記手書き入力が不可能な領域には、前記アプリケーションから提供されたテキスト及びイメージが表示されるように制御することができる。また、前記制御部は、前記テキスト及びイメージの上にタッチが感知されると、前記手書き入力領域に入力された手書きイメージを認識して、前記認識された手書きイメージを、前記手書きイメージとマッチするテキストに変換し、前記テキストに対応する前記アプリケーションの機能を制御することができる。さらに、前記制御部は、前記メモウィンドウが前記ボタンの上に表示されると、前記ボタンが非活性化されるように制御してもよい。

本発明のまた他の態様によると、電子装置が提供される。この電子装置は、タッチを感知するタッチパネルと、タッチ入力が感知されると、実行されたアプリケーションの機能を制御する第１モードで動作され、前記アプリケーションの実行中に、前記タッチパネル上の予め定められた入力を識別し、識別された入力に従い、手書き入力が可能なメモウィンドウを、前記アプリケーションに表示し、前記メモウィンドウに入力された手書きイメージを認識し、前記認識された手書きイメージに応じて、前記実行されたアプリケーションの機能を制御する第２モードで動作される制御部と、を含む。

本発明のまた他の態様によると、電子装置が提供される。この電子装置は、タッチを感知するタッチパネルと、実行されたアプリケーションと関連付いた情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンの少なくとも一つを、前記タッチパネルの上に表示し、前記ボタン上にタッチが感知されると、前記ボタンに対応するアプリケーションの機能が行われるように制御し、前記タッチパネルの上に、予め定められた入力が感知されると、前記グラフィックオブジェクト及び前記ボタンが表示される画面に、手書き入力が可能なメモウィンドウを表示し、前記メモウィンドウに入力された手書きイメージを認識し、認識の結果に従い、前記アプリケーションの機能が行われるように制御する制御部と、を含む。

本発明の他の目的、効果、及び顕著な特徴は、添付の図面と関連して、本発明の実施形態を開示する後述の詳細な説明から当業者に明らかとなる。

本発明の実施形態によると、多様な用途においてメモ機能をサポートすることにより、ユーザの利便さを向上することができ、これにより、その用途の直観的な制御が可能である。

本発明の実施形態によると、ユーザが画面にメモ階層を起動し、このメモ階層上の情報を手書きするとき、ユーザ端末は、前記情報を認識し、前記情報に該当する動作を実行する。この目的のために、メモ階層を画面に起動するための技術を付加的に記述することが好ましい。

本発明の実施形態による前述の目的及び他の目的、構成及び効果は、添付の図面と共に、以下の詳細な説明からより明らかとなる。

本発明の一実施形態による手書きベースのＮＬＩをサポートするユーザ端末の構成図である。 本発明の一実施形態によるユーザ端末における手書きベースのＮＬＩをサポートするためのコマンド処理部の構成を示している図面である。 本発明の一実施形態によるユーザ端末における手書きベースのＮＬＩを用いたユーザインターフェースをサポートするための制御動作を示しているフローチャートである。 本発明の一実施形態により、メモ機能を用いて特定のアプリケーション又は特定の機能による動作の要請を示している図面である。 本発明の実施形態により、ユーザの実際のメモパターンを示している図面である。 本発明の一実施形態により、多様な意味として解釈される一つのシンボルを示している図面である。 本発明の一実施形態により、前記シンボルによって異なる意味として解釈されるテキストとシンボルとの組み合わせの入力情報を示している図面である。 本発明の一実施形態により、シンボル学におけるサイン（ｓｉｇｎｓ）及びシンボル（ｓｙｍｂｏｌ）の活用を示している図面である。 本発明の一実施形態により、機械／電気／コンピュータ分野及び化学分野におけるサイン及びシンボルの活用を示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している図面である。 本発明の一実施形態によるユーザ端末におけるメモ機能を用いて、駆動アプリケーションを制御する構成を示している図面である。 本発明の一実施形態によるユーザ端末におけるメモ階層を呼び出して、下位階層アプリケーションを制御するための制御動作を示しているフローチャートである。 本発明の一実施形態によるユーザ端末におけるメモ階層を呼び出すための動作を示している図面である。 本発明の一実施形態によるユーザ端末におけるメモ階層を呼び出すための動作を示している図面である。 本発明の一実施形態によるユーザ端末におけるメモ階層を呼び出すための動作を示している図面である。 本発明の一実施形態によるユーザ端末における画面の上に表示されたメモ階層上のユーザ手書きメモを示している図面である。 本発明の一実施形態によるユーザ端末における画面の上に表示されたメモ階層上のユーザ手書きメモを示している図面である。 本発明の一実施形態によるユーザ端末における画面の上に表示されたメモ階層上のユーザ手書きメモを示している図面である。 本発明の一実施形態によるユーザ端末における画面の上に表示されたメモ階層上のユーザ手書きメモを示している図面である。 本発明の一実施形態によるユーザ端末におけるメモ階層を用いて、現在実行中の特定のアプリケーションを制御することを示している図面である。 本発明の実施形態により、特定のアプリケーションが駆動された後、メモ機能をサポートするアプリケーションを呼び出して、前記駆動されたアプリケーションを、前記呼び出されたアプリケーションにより実行するシナリオを示している図面である。 本発明の実施形態により、特定のアプリケーションが駆動された後、メモ機能をサポートするアプリケーションを呼び出して、前記駆動されたアプリケーションを、前記呼び出されたアプリケーションにより実行するシナリオを示している図面である。 本発明の実施形態により、特定のアプリケーションが駆動された後、メモ機能をサポートするアプリケーションを呼び出して、前記駆動されたアプリケーションを、前記呼び出されたアプリケーションにより実行するシナリオを示している図面である。 本発明の実施形態により、特定のアプリケーションが駆動された後、メモ機能をサポートするアプリケーションを呼び出して、前記駆動されたアプリケーションを、前記呼び出されたアプリケーションにより実行するシナリオを示している図面である。 本発明の実施形態により、特定のアプリケーションが駆動された後、メモ機能をサポートするアプリケーションを呼び出して、前記駆動されたアプリケーションを、前記呼び出されたアプリケーションにより実行するシナリオを示している図面である。 本発明の実施形態により、特定のアプリケーションが駆動された後、メモ機能をサポートするアプリケーションを呼び出して、前記駆動されたアプリケーションを、前記呼び出されたアプリケーションにより実行するシナリオを示している図面である。 本発明の実施形態により、記号学と関連付いたシナリオを示している図面である。 本発明の実施形態により、記号学と関連付いたシナリオを示している図面である。 本発明の一実施形態によるユーザ端末におけるメモ階層を呼び出して、下位階層アプリケーションを制御するための制御動作を示しているフローチャートである。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の実施形態によるタッチパネルを含んだ電子装置において、メモウィンドウを用いて、現在実行中の下位階層アプリケーションを制御する動作シナリオを示している図面である。 本発明の一実施形態による下位階層アプリケーションとメモ階層（メモウィンドウ）アプリケーションとに含まれるソフトウェアモジュールを示している図面である。 本発明の実施形態による下位階層アプリケーションとメモ階層（メモウィンドウ）アプリケーションとに含まれるソフトウェアモジュールを示している図面である。

図面の全般に渡って、類似の部分、構成要素、及び構造については同様の参照番号を付ける。

以下の説明は、添付の図面を参照して、特許請求の範囲の記載及びこれと均等したものの範囲内で定められた本発明の実施形態の包括的な理解を助けるために提供される。以下の説明は、本発明の理解を助けるために多様な特定の細部事項を含んでいるものの、これらは単なる例示的なものに過ぎない。したがって、本発明の範囲及び趣旨から逸脱することなく、本発明に記載された実施形態の多様な変形及び修正が可能であることは、当業者には明らかである。また、公知の機能及び構成についての詳細な説明は、説明の便宜上、省略する。

後述の説明及び特許請求の範囲に用いられた用語及び単語は、書誌の意味に限定されず、専ら本発明の明確で、かつ一貫性のある理解のために用いられる。したがって、本発明の実施形態により後述する説明は、単に添付の特許請求の範囲及びこれらの均等物により定められる本発明を制限する目的ではなく、単に例示的な目的のために提供されることは、当業者には明らかである。

明細書において明確に言及しない限り、「ａ」、「ａｎ」、及び、「ｔｈｅ」の単数形態は、複数の対象を含む。例えば、「ａ ｃｏｍｐｏｎｅｎｔ ｓｕｒｆａｃｅ」への言及は、そのようなｓｕｒｆａｃｅの一つ又はそれ以上への言及を含む。

用語「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）は、挙げられた特徴、パラメータ、又は値が、必ずしも正確に成し遂げられる必要はないが、例えば、偏差、許容誤差、測定エラー、測定精密限界及び当業者に知られた他の要因を含めて、変動又は号差が、特性を提供するための意図された効果を妨げない程度に起こり得ることを意味する。

以下、本発明の実施形態による詳細な説明では、前述の技術的課題を達成するための代表的な実施形態を提示するはずである。また、本発明の実施形態についての説明の便宜上、定義している個体の名称を同様に使ってもよい。しかし、説明の便宜上、使われた名称が、本発明の実施形態による権利を限定することではなく、類似の技術的背景を有するシステムについて、同様又は容易な変更により適用が可能であることは、明らかである。

本発明の実施形態では、ＮＬＩ（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｉｎｔｅｒａｃｔｉｏｎ）で手書きベースのＵＩ技術（以下、「手書きベースのＮＬＩ」と称する）を適用したユーザ端末において、メモ機能を用いて、ユーザとの問答手続きを行うことが可能とする。

前記ＮＬＩは、通常、理解と生成能力を含む。このような機能は、入力したものをコンピュータが理解し、人が理解しやすくようにテキストを表示するようにする。このように人間と電子機器との間に、自然語で対話を可能とする自然語の理解への一つの応用であると言える。

例えば、ユーザ端末は、手書きベースのＮＬＩを用いて、ユーザから入力されるコマンドを実行するか、前記入力されたコマンドを実行するために必要な情報を、問答手続きを介してユーザから獲得する。

本発明の実施形態においては、手書きベースのＮＬＩをユーザ端末に適用するために、好ましくは、メモモードとコマンド処理モードとの相互間の転換が、手書きベースのＮＬＩを介して有機的に実施すべきである。前記メモモードにおいて、ユーザは、ユーザ端末において、指、電子ペンなどの入力手段を用いて、駆動中のアプリケーションにより表示される画面の上にメモを書き、一方で、前記コマンド処理モードにおいては、メモモードを介して入力されたメモ内容が、現在駆動されているアプリケーションによる情報と連動して処理される。

例えば、電子ペンに備えられたボタンを押し付けると、即ち、ハードウェアにおける信号が発生すると、前記メモモードとコマンド処理モードとの間に転換が生じ得る。

以下、メモ機能をサポートするための主な入力手段として、電子ペンを説明する。しかし、以下の説明による本発明の実施形態は、入力手段として電子ペンを用いるユーザ端末にのみ適用可能なことではない。換言すると、本発明の実施形態においては、タッチパネルの上に情報の入力が可能な手段であれば、いずれも入力手段として用いることができることは明らかである。

本発明の実施形態の手書きベースのＮＬＩを用いて、ユーザ端末がユーザとの問答によりユーザから意図された情報を受信し、この受信された情報を処理した結果を、ユーザに提供するためには、ユーザ端末とユーザとの間に、事前に相互の約束による情報を共有するのが好ましい。例えば、動作モードの転換を要請するために、シンボル、パターン、テキスト、及びこれらの組合せのうちの少なくとも一つを用いることを約束してもよく、ジェスチャー入力認識機能を介して、一つの動作を用いることを約束してもよい。要請される代表的な動作モードの転換は、メモモードからコマンド処理モードへ、又はコマンド処理モードからメモモードへの転換となってもよい。

一方、シンボル、パターン、テキスト、又はこれらの組合せに相応する入力情報を約束する時に、ユーザのメモパターンを分析し、前記分析の結果を考慮して決めることが好ましい。これは、ユーザが意図した情報を直観的に入力することができる利便さを提供する。

多様なアプリケーションが駆動された状況で、手書きベースのＮＬＩを適用して、メモ機能により前記駆動中のアプリケーションを制御し、その制御結果を出力する様々なシナリオは、本発明の別途の実施形態として記述する。

例えば、メモした内容のうち、全体又は一部を選択し、この選択されたメモ内容を特定のコマンドにより処理するシナリオ、駆動された特定のアプリケーションの画面に、メモ機能を用いて特定の情報を入力するシナリオ、その他に、手書きベースのＮＬＩを用いた問答手続きにより特定のコマンドを処理するシナリオなどについて具体的に説明する。

以下、添付した図面を参照して、本発明の実施形態を詳細に説明する。図面のうち、同様の構成要素には、同様の参照符号を付することに留意すべきである。また、本発明の要旨を不要に曖昧にするおそれがある公知機能及び構成についての説明は、省略する。

図１は、本発明の一実施形態による手書きベースのＮＬＩをサポートするユーザ端末の構成図である。この際、図１では、手書きベースのＮＬＩをサポートするために、ユーザ端末に備えるべき構成のみを示しているが、前記ユーザ端末には、その他の機能を実行するための構成が、さらに具備されてもよい。その上に、図１に示している各構成は、ハードウェア機能ブロックのみならず、ソフトウェア機能ブロックの形態で実現することができる。

図１を参照すると、アプリケーション実行部１１０は、ユーザの要請に応じて、ネットワーク又は外部のインターフェースを介して提供されるアプリケーションを、メモリ（図示せず）と連動してインストールする。アプリケーション実行部１１０は、ユーザの要請に応じて、予めインストールしたアプリケーションのうちの一つを駆動させ、前記駆動中のアプリケーションを外部のコマンドに基づいて制御する。前記外部のコマンドは、自体的に発生するコマンドを除いた、外部から入力される大部分のコマンドを含む。

例えば、前記外部のコマンドは、ネットワークを介して入力される情報によるコマンドの他に、手書きベースのＮＬＩを用いてユーザにより入力される情報によるコマンドを含む。以下では、説明の便宜上、手書きベースのＮＬＩを用いて、ユーザにより入力される情報によるコマンドに限って説明する。しかし、本発明の実施形態は、必ずこれに限定されることではないことに留意すべきである。

アプリケーション実行部１１０は、特定のアプリケーションをインストールするか、駆動する結果を、手書きベースのＮＬＩを介してユーザに提供する。例えば、アプリケーション実行部１１０は、タッチパネル部１３０のディスプレイ手段を介して、特定のアプリケーションのインストール又は駆動による結果を出力する。タッチパネル部１３０は、タッチを感知することができる。

タッチパネル部１３０は、手書きベースのＮＬＩを介して情報の入／出力を処理する構成である。タッチパネル部１３０は、ディスプレイ機能と、入力機能とを実行する。前記ディスプレイ機能は、ある情報を画面に表示する機能を包括的に意味し、前記入力機能は、ユーザから情報を受ける機能を包括的に意味する。

しかし、ユーザ端末が、前記ディスプレイ機能と前記入力機能とを実行するための別途の構成を備え得ることは自明である。一例として、ユーザ端末は、動作の感知のためのカメラをさらに含んでもよい。

実施形態において、タッチパネル部１３０は、タッチパネル部１３０の動作を、ディスプレイ機能と入力機能とに区分せず、ディスプレイ機能と入力機能とを行うことと説明する。タッチパネル部１３０は、ユーザから入力される特定の情報又は特定のコマンドを認知し、前記認知した情報又はコマンドを、アプリケーション実行部１１０及び／又はコマンド処理部１２０へ伝達する。

前記情報は、ユーザにより作成されたメモに関する情報又は手書きベースのＮＬＩによる問答手続きにおける答弁に関する情報となってもよい。また、前記情報は、現在画面の上に表示されたメモの内容のうち、一部又は全部を選択するための情報となってもよい。

前記コマンドは、特定のアプリケーションのインストールを要請するコマンド又は既にインストールされたアプリケーションのうち、特定のアプリケーションの駆動を要請するコマンドとなってもよい。前記コマンドは、選択されたアプリケーションによりサポートされる特定の動作、機能などの実行を要請するコマンドとなってもよい。

前記情報又はコマンドは、テキストの他に、線、シンボル、パターン及びこれらの組合せなどの形態で入力されてもよい。このような線、シンボル、パターンなどは、約束により予め設定されてもよい。

タッチパネル部１３０は、アプリケーション実行部１１０による特定のアプリケーションの駆動、又は駆動されたアプリケーションにおける特定の機能の実行による結果を画面に表示する。

さらに、タッチパネル部１３０は、問答手続きによる質問又は結果を画面に表示する。例えば、ユーザにより特定のコマンドが入力される時、タッチパネル部１３０は、コマンド処理部１２０から提供される前記特定のコマンドの処理結果を表示するか、又はユーザから前記特定のコマンドを処理するために必要な追加情報を獲得するための質問を表示する。前記質問に対する応答として、ユーザから追加情報が入力されると、タッチパネル部１３０は、前記入力された追加情報をコマンド処理部１２０へ伝達する。

その後、タッチパネル部１３０は、コマンド処理部１２０の要請により、他の情報を得るための追加質問を表示するか、前記入力される追加情報を反映した前記特定のコマンドの処理結果を表示する。

コマンド処理部１２０は、ユーザにより入力されたテキスト、シンボル、イメージ、パターンなどを、タッチパネル部１３０から伝達され、前記伝達されたテキスト、シンボル、イメージ、パターンなどにより、ユーザが伝達しようとする内容を確認する。

一例として、コマンド処理部１２０は、伝達されたテキスト、シンボル、イメージ、パターンなどの自然語処理を介して、ユーザが伝達しようとする内容を認識することができる。前記自然語処理のために、コマンド処理部１２０は、手書きベースのＮＬＩを使用する。前記ユーザが伝達しようとする内容は、特定のアプリケーションの駆動又は現在駆動中のアプリケーションにおける特定の機能の実行を要請するコマンド、又は質問に対する応答を含む。

コマンド処理部１２０は、前記ユーザが伝達しようとする内容が、ある動作を要請するコマンドであると判断する際、前記判断されたコマンドを処理する。具体的に、コマンド処理部１２０は、前記判断されたコマンドによって、アプリケーション実行部１１０で特定のアプリケーションを駆動することを指示するか、現在駆動中のアプリケーションで特定の機能を実行することを指示してもよい。この場合、コマンド処理部１２０は、アプリケーション実行部１１０から処理結果を受信し、この処理結果をタッチパネル部１３０に提供する。

アプリケーション実行部１１０は、前記処理結果をコマンド処理部１２０ではなく、タッチパネル部１３０に直接提供してもよい。

前記判断されたコマンドを処理するために追加情報が必要な場合、コマンド処理部１２０は、追加情報を得るための質問を生成し、この質問をタッチパネル部１３０に提供する。その後、コマンド処理部１２０は、前記質問に対する応答を、タッチパネル部１３０から受信する。

コマンド処理部１２０は、前記判断されたコマンドを処理するために十分な情報を獲得するまで、タッチパネル部１３０を介してユーザとの問答、即ち、ユーザとの対話を持続する。例えば、コマンド処理部１２０は、タッチパネル部１３０を介した問答手続きを繰り返して行ってもよい。

前述のような動作のために、コマンド処理部１２０は、タッチパネル部１３０との連動により手書きベースのＮＬＩを採用する。例えば、コマンド処理部１２０は、手書きに基づいた自然語インターフェースを用いて、メモ機能によりユーザと電子機器との間の問答、即ち、対話が可能となる。前記対話を通じて、前記ユーザ端末は、ユーザのコマンドを処理するか、又はその処理結果をユーザに提供する。

タッチパネル部１３０は、タッチを感知することができる。アプリケーション実行部１１０と、コマンド処理部１２０とは、制御部（図示せず）に含まれるか、又は制御部自体が、コマンド処理部１２０及びアプリケーション実行部１１０の動作を実施するように実現されてもよい。前記制御部は、実行されたアプリケーションをタッチパネルの上に表示し、前記タッチパネルから検出された予め定められたジェスチャーに応答して、前記アプリケーションにメモウィンドウを表示する。前記メモウィンドウは、手書き入力領域と手書き入力が不可能な領域に区分けられる。手書き入力領域では、ユーザのタッチ入力が感知されてもよい。手書き入力が不可能な領域では、ユーザのタッチ入力が無視されてもよい。予め定められたジェスチャーは、ユーザが指又は電子ペンを用いて、タッチパネルをタッチドラッグする動作となってもよい。前記予め定められたジェスチャーは、指又は電子ペンを用いて、タッチパネルの上に特定の模様やパターンを表示する動作であってもよい。

前記制御部は、前記メモウィンドウの手書き入力領域に入力された手書きイメージを認識し、前記認識の結果に従い、前記アプリケーションの機能が行われるように制御することができる。

ユーザが、メモウィンドウの手書き入力領域に手書きメモをすると、制御部は、入力される手書きイメージを認識し、この認識された手書きイメージに対応するテキストを出力することができる。

手書きイメージは、ユーザが電子ペンを用いて、タッチパネルの上に字を書く動作により生成されてもよい。メモウィンドウは、固有の名称を有し、メモウィンドウの名称は、実行されたアプリケーションによって異なる。例えば、現在実行中のアプリケーションが、メモウィンドウに表示されるメモウィンドウの名称についての情報を有している。

制御部は、前記メモウィンドウの前記手書き入力が不可能な領域に、前記アプリケーションから提供されたテキスト及びイメージが表示されるように制御することができる。前記テキストは、メモウィンドウの名称となってもよく、前記イメージは、アイコンであってもよい。

ユーザがイメージをタッチすると、メモウィンドウが消えることができる。例えば、アイコンは、ユーザが操作できるボタンと同様である。

制御部は、前記テキスト又はイメージの上にタッチが感知されると、前記手書き入力領域に入力されたメモの手書きイメージを認識して、前記手書きイメージをこれとマッチするテキストに変換し、前記テキストに基づいて、前記アプリケーションの機能を制御することができる。前記テキストは、コマンドとなっても、コマンドを実行するのに用いられるデータとなってもよい。

制御部は、前記テキストを、前記アプリケーションの機能を制御するコマンド又は前記コマンドと関連付いたデータとして識別することができる。

本発明の実施形態によると、電子装置は、タッチを感知するタッチパネルと、制御部とを含んでもよい。前記制御部は、実行されたアプリケーションと関連付いた情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンが、前記タッチパネルの上に表示されるように制御することができる。アプリケーションが実行されると、テキスト又はイメージから構成されるグラフィックオブジェクトは、タッチパネルの上に表示されてもよい。さらに、前記アプリケーションの機能を制御するために、ユーザからコマンドの入力を受けるボタンが、タッチパネルの上に表示されてもよい。ユーザがボタンをタッチすると、ボタンに割り当てられたコマンドがアプリケーションへ伝達される。

制御部は、ボタンの上にタッチが感知されると、前記アプリケーションの機能を制御することができる。また、制御部は、前記タッチパネルの上に、予め定められたジェスチャーが感知されると、前記タッチパネルの上に表示されたグラフィックオブジェクト及び前記ボタンとオーバーラップしてメモウィンドウを表示することができる。例えば、ユーザがタッチパネルの上にドラッグをすると、前記メモウィンドウが表示されてもよい。

前記メモウィンドウは、手書き入力領域と、手書き入力が不可能な領域とに分けられてもよい。前記制御部は、前記手書き入力領域に入力された手書きイメージを認識し、前記認識の結果に従い、前記アプリケーションの機能が行われるように制御することができる。

前記制御部は、前記メモウィンドウの前記手書き入力が不可能な領域に、前記アプリケーションから提供されたテキスト及びイメージが表示されるように制御することができる。

前記制御部は、前記メモウィンドウに表示された前記テキスト又はイメージの上にタッチが感知されると、前記手書き入力領域に入力された手書きイメージを認識して、前記手書きイメージを、これとマッチする第１テキストに変換し、前記第１テキストに応じて、前記アプリケーションの機能を制御することができる。第１テキストは、手書きイメージの認識結果から得られる。

前記制御部は、また前記ボタンの機能を示す第２テキストを前記ボタンに表示する。前記第１テキストが、前記ボタンに表示された第２テキストと完全にマッチするか、又は一部マッチする場合、前記制御部は、前記ボタンに対応する前記アプリケーションの機能を実行することができる。第１テキストは、第２テキストと完全にマッチしてもよい。また、第１テキストは、第２テキストと部分的にマッチしてもよい。例えば、ユーザが入力した手書きイメージを認識した第１テキストの結果値が「ｄｅｌｅｔｅ」であり、ボタンに表示されている第２テキストが「ｄｅｌｅｔｅ ｉｔｅｍ」であると、第１テキストは、部分的に第２テキストとマッチする。この場合、制御部は、前記アプリケーションの機能のうち、第１テキストに対応する「ｄｅｌｅｔｅ」コマンドが実行されるように制御することができる。

前記制御部は、前記ボタンの上にオーバーラップして前記メモウィンドウが表示されると、前記ボタンが非活性化されるように制御することができる。前記メモウィンドウは、半透明の状態で表示されてもよい。前記メモウィンドウによりボタンが隠されるため、制御部はボタンを非活性化する。前記ボタンの位置から検出されるタッチ入力を無視してもよい。

本発明の一実施形態において、電子装置は、タッチパネルと、該タッチパネルの上に、実行されたアプリケーションに関する情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンを表示する。前記ボタンがタッチされると、前記電子装置は、前記ボタンに対応するアプリケーションの機能が行われるように制御する。前記タッチパネルの上に、予め定められたジェスチャーが入力されると、前記電子装置は、前記グラフィックオブジェクト及び前記ボタンが表示される画面に、手書き入力が可能なメモウィンドウを表示し、前記メモウィンドウを介して入力された手書きイメージを認識し、前記認識の結果に従い、前記アプリケーションの機能が行われるように制御することができる。

図２は、本発明の一実施形態によるユーザ端末における手書きベースのＮＬＩをサポートするためのコマンド処理部の構成例を示している。

図２を参照すると、手書きベースのＮＬＩをサポートするコマンド処理部１２０は、認知エンジン（Ｒｅｃｏｇｎｉｔｉｏｎ Ｅｎｇｉｎｅ）２１０と、ＮＬＩエンジン２２０とを含む。

認知エンジン２１０は、認知管理モジュール２１２と、遠隔認知クライアントモジュール２１４と、地域認知モジュール（Ｌｏｃａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｏｄｕｌｅ）２１６とを含む。地域認知モジュール２１６は、手書き認知ブロック２１５−１、光文字認知ブロック２１５−２、及びオブジェクト認知ブロック２１５−３から構成される。

ＮＬＩエンジン２２０は、対話モジュール（Ｄｉａｌｏｇ Ｍｏｄｕｌｅ）２２２と、知能モジュール（Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｍｏｄｕｌｅ）２２４とを含む。対話モジュール２２２は、対話の流れを制御するための対話管理ブロック及びユーザの意図を把握するための自然語理解（ＮＵＬ）ブロッから構成される。知能モジュール２２４は、ユーザの選好度を反映するためにユーザモデリングブロック、一般常識を反映するための常識推論ブロック及びユーザの状況を反映するためのコンテキスト管理ブロックから構成される。

認知エンジン２１０は、電子ペンなどの入力手段に相応する描きエンジン（Ｄｒａｗｉｎｇ Ｅｎｇｉｎｅ）と、カメラなどの知能入力プラットホーム（Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｐｕｔ Ｐｌａｔｆｏｒｍ）とによる情報を入力することができる。知能入力プラットホーム（図示せず）は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）などのような光文字認識機となってもよい。前記知能入力プラットホームは、印刷テキスト又は手書きテキストや数字又はシンボルの形態を有する情報を読取り、前記読み取れた情報を認知エンジン２１０に提供することができる。前記描きエンジンは、指、物体、ペンなど、各種の入力手段による入力を受けるための構成要素として、前記入力手段による入力情報を感知し、前記感知された入力情報を認知エンジン２１０に提供することができる。これにより、認知エンジン２１０は、知能入力プラットホーム及びタッチパネル部１３０から情報の入力を受けて、各種の情報を認識することができる。

本発明の一実施形態においては、タッチパネル部１３０が入力手段から入力を受けて、タッチ入力認識情報と、ペン入力認識情報とを認知エンジン２１０に提供する場合を例として説明する。

本発明の一実施形態によると、認知エンジン２１０は、情報として入力されたテキスト、線、シンボル、パターン、イメージ、又はこれらの組合せから、現在表示されたメモ内容のうち、ユーザにより選ばれた一部又は全体の領域のメモ内容を認識するか、ユーザにより選択されたコマンドを認識する。ユーザにより選択されたコマンドは、予め定められた入力である。ユーザにより選択されたコマンドは、約束されたシンボル、パターン、テキスト、これらの組合せのうちの少なくとも一つ又はジェスチャー認識機能を介して、事前に約束された少なくとも一つのジェスチャーに対応してもよい。

認知エンジン２１０は、前述の動作で得られた認識の結果を出力する。
このために、認知エンジン２１０は、入力情報の認識結果を出力するための全般的な制御を提供する認知管理モジュール２１２、遠隔認知クライアントモジュール２１４及び入力情報を認知するための地域認知モジュール２１６を含む。地域認知モジュール２１６は、手書き入力情報を認知する手書き認知ブロック２１５−１と、入力される光学式信号から情報を認知する光文字認知ブロック２１５−２と、入力されるジェスチャーから情報を認知するオブジェクト認知ブロック２１５−３とを少なくとも含む。

手書き認知ブロック２１５−１は、手書き入力情報を認知する。例えば、手書き認知ブロック２１５−１は、メモ画面の上に、タッチペン２０により手書きした内容を認識する。具体的に、手書き認知ブロック２１５−１は、タッチパネル部１３０からメモ画面の上にタッチされるポイントの座標値の入力を受けて、前記タッチされたポイントの座標値をストロークとして格納し、前記ストロークを用いてストロークアレイを生成する。手書き認知ブロック２１５−１は、予め格納された手書きライブラリーと、前記生成されたストロークアレイを含むストロークアレイリストとを用いて、手書きした内容を認識する。手書き認知ブロック２１５−１は、認識された内容のうち、メモ内容及びコマンドに該当する認識の結果を出力する。

光文字認知ブロック２１５−２は、光感知モジュールにより感知された光信号の入力を受け、光文字認識の結果を出力する。オブジェクト認知ブロック２１５−３は、動作感知モジュールにより感知されたジェスチャー感知信号の入力を受け、ジェスチャーを認識し、ジェスチャー認識の結果を出力する。

手書き認知ブロック２１５−１、光文字認知ブロック２１５−２及びオブジェクト認知ブロック２１５−３から認知された認識の結果は、ＮＬＩエンジン２２０又はアプリケーション実行部１１０に提供される。

ＮＬＩエンジン２２０は、認知エンジン２１０から提供される認知の結果についての分析などの処理により、ユーザの意図を把握する。例えば、ＮＬＩエンジン２２０は、認知エンジン２１０から提供される認知の結果から、ユーザの意図した入力情報を把握する。具体的に、ＮＬＩエンジン２２０は、手書きベースのＮＬＩを用いてユーザとの問答による対話を行って、十分な情報を収集し、前記収集した情報に基づいてユーザの意図を把握する。

このために、ＮＬＩエンジン２２０を構成する対話モジュール２２２は、ユーザとの対話のための質問を構成し、前記構成した質問をユーザに伝達して、ユーザからの応答を受信するための対話の流れを制御する。対話モジュール２２２は、問答から獲得した情報を管理する（対話管理ブロック）。対話モジュール２２２は、また前記管理されている情報を考慮して、最初に提供されたコマンドについての自然語処理を介してユーザの意図を理解する（ＮＬＵブロック）。

ＮＬＩエンジン２２０を構成する知能モジュール２２４は、自然語処理を介してユーザの意図を把握するために参照される情報を生成し、この参照情報を対話モジュール２２２に提供する。例えば、知能モジュール２２４は、メモの時にユーザの習慣などを分析して、ユーザの選好度を反映する情報をモデル（ユーザモデリングブロック）するか、一般常識を反映するための情報を推論（常識推論ブロック）するか、現在ユーザの状況を考慮する情報を管理（コンテキスト管理ブロック）する。

従って、対話モジュール２２２は、知能モジュール２２４から提供される情報の援助を受けて、ユーザとの問答手続きに応じた対話の流れを制御することができる。

一方、アプリケーション実行部１１０は、認知エンジン２１０からコマンドに該当する認識の結果を受信し、前記コマンドが、予め格納された類義語テーブルに存在するか否かを判断して、前記コマンドに該当する類義語が存在すると、類義語に該当するＩＤを読み取れる。アプリケーション実行部１１０は、予め格納されたメソッドテーブルで前記ＩＤに該当するメソッドを実行する。これによって、前記メソッドが、前記コマンドに相応するアプリケーションを実行させ、前記アプリケーションに前記メモ内容が伝達される。アプリケーション実行部１１０は、前記メモ内容を用いて当該アプリケーションの機能を行う。

図３は、本発明の一実施形態によるユーザ端末における手書きベースのＮＬＩを用いて、ユーザインターフェースをサポートするための制御動作を示しているフローチャートである。
図３を参照すると、ユーザ端末は、ステップ３１０において、特定のアプリケーションを駆動し、前記駆動されたアプリケーションの機能を提供する。前記特定のアプリケーションは、ユーザの要請により、ユーザ端末にインストールされたアプリケーションのうち、ユーザにより駆動が要請されたアプリケーションである。

一例として、ユーザは、ユーザ端末のメモ機能により、前記特定のアプリケーションを駆動してもよい。例えば、ユーザ端末は、ユーザの要請によりメモ階層を画面の上に起動する。その後、特定のアプリケーションの識別情報と、実行コマンドに相応する識別情報が入力されるとき、ユーザ端末は、前記特定のアプリケーションを検索し、その検出されたアプリケーションを駆動する。この方法は、ユーザ端末に多くのアプリケーションがインストールされた場合に、所望のアプリケーションの素早い実行のために有用である。

前記特定のアプリケーションの識別情報は、例えば、当該アプリケーションの名称となってもよい。前記実行コマンドに相応する情報は、アプリケーションの駆動をコマンドするために、事前に設定されたイメージ、シンボル、パターン、テキストなどとなってもよい。

図４は、本発明の一実施形態により、メモ機能を用いて特定のアプリケーション又は特定の機能による動作を要請する例を示している。

図４を参照すると、メモ機能を用いて作成されたメモ内容中の一部内容を、線、閉曲線、イメージなどを使って選択し、前記選択した一部内容を他のアプリケーションを用いて処理する。例えば、線を使って「ギャラクシーメモプレミアムスイート（Ｇａｌａｘｙ Ｎｏｔｅ Ｐｒｅｍｉｕｍ Ｓｕｉｔｅ）」というメモ内容を選択し、前記選択したメモ内容をテキスト発送アプリケーションを用いて伝送することをコマンドする。

ユーザ入力とマッチするアプリケーションが、ユーザ端末に存在しない場合、候補群に該当するアプリケーションから、ユーザが所望のアプリケーションを選択できるように、類似のアプリケーションによる候補群を、ユーザに提供してもよい。

他の例として、ユーザ端末によりサポートされる機能は、メモ機能により実行されてもよい。このために、ユーザ端末は、ユーザの要請によりメモ階層を呼び出し、ユーザにより入力される情報に応じて、インストールされたアプリケーションの検索を実施する。

例えば、検索のキーワードは、ユーザ端末にインストールされたアプリケーションのうち、特定のアプリケーションを検索するために、メモ機能による画面に入力される。その後、ユーザ端末は、入力されたキーワードとマッチするアプリケーションについての検索を行う。例えば、ユーザが、メモ機能を用いて画面の上に「自動車ゲーム」と入力したとき、ユーザ端末は、インストールされたアプリケーションのうち、「自動車ゲーム」と関連付いたアプリケーションを検索し、その検索結果を、画面の上に提供する。

他の例として、ユーザは、メモ機能により、画面の上にインストール時期、例えば、「Ｆｅｂｒｕａｒｙ ２０１１」を入力してもよい。その後、ユーザ端末は、Ｆｅｂｒｕａｒｙ ２０１１にインストールされたアプリケーションについての検索を行う。例えば、ユーザが、メモ機能を用いて、画面の上に「Ｆｅｂｒｕａｒｙ ２０１１」と入力するとき、ユーザ端末は、インストールされたアプリケーションのうち、「Ｆｅｂｒｕａｒｙ ２０１１」にインストールされたアプリケーションを検索し、その検索結果を、画面の上に提供する。

前述のように、ユーザのメモにより特定のアプリケーションを駆動するか、検索することは、ユーザ端末に多くのアプリケーションがインストールされた場合に有用である。

アプリケーションをより効率よく検索するためには、インストールされたアプリケーションについての索引作業が行われることが好ましい。索引作業によりインストールされたアプリケーションは、特徴、分野、機能などの基準によって分類されてもよい。

ユーザが特定のキー又はジェスチャーを入力すると、ユーザが駆動のためのアプリケーションの識別情報を入力するか、特定のアプリケーションの検索のための索引情報を入力するためにメモ階層が呼び出されてもよい。

前述の方式で駆動されるか、検索される特定のアプリケーションは、メモアプリケーション、スケジュール管理アプリケーション、地図アプリケーション、音楽アプリケーション、地下鉄アプリケーションなどを含む。

図３を参照すると、前記特定のアプリケーションが駆動されると、前記ユーザ端末は、ステップ３１２において、手書き情報が入力されるか否かを監視する。入力される情報は、テキストの他に、線、シンボル、パターン及びこれらの組合せの形態で入力することができる。前記ユーザ端末は、現在画面の上で、メモにより表示された内容中の一部又は全部を選択する領域を指定する情報の入力を監視してもよい。

前記メモされた内容のうち、一部又は全部が選択されたとき、前記ユーザ端末は、ステップ３１２において、前記選択された領域内に表示されたメモ内容を処理するためのコマンドに相応する情報の追加入力を連続して監視する。

前記ユーザ端末は、手書き情報の入力が感知されると、ステップ３１４において、前記感知した入力情報を認識するための動作を行う。例えば、前記一部又は全部が選択された領域内のメモ内容についてのテキスト情報を認識するか、テキストの他にも、線、シンボル、パターン及びこれらの組合わせの形態で入力された情報を認識する。前記入力された情報への認識は、図２に示した認知エンジン２１０内で行われる。

前記ユーザ端末が前記感知した入力情報を認識すると、前記ユーザ端末は、前記認識したテキスト情報の内容を理解するために、前記認識したテキスト情報に対する自然語処理を行う。前記認識したテキスト情報の自然語処理は、ＮＬＩエンジン２２０内で行われる。

前記ユーザ端末は、入力情報として、ユーザがテキストとシンボルとを混用して入力したと判断する場合、自然語処理と共にシンボルの処理も行う。

前記シンボル処理のためには、ユーザ端末は、ユーザの実際のメモパターンを分析し、前記メモパターンの分析を介して、ユーザが多く用いる代表シンボルを検出する。その後、ユーザ端末は、前記検出した代表シンボルを、ユーザがどのような意図として用いるかを分析し、その分析結果に基づいて当該代表シンボルの意味を決定する。

代表シンボル別に、ユーザが伝達しようとする意味は、データベース化して、向後入力されるシンボルを解釈する時に適用してもよい。例えば、シンボル処理のために、予め整理されたデータベースを活用してもよい。

図５は、本発明の実施形態によるユーザの実際のメモパターンを示している。
図５を参照すると、ユーザは、→、（）、＿、−、＋、？などのシンボルを多く使う。例えば、シンボル→は、敷衍説明又は段落区分などの意味として用いられ、シンボル（）は、（）内の内容が用語の定義又は記述であることを示す。

同一のシンボルが、異なる意味で解釈されてもよい。例えば、シンボル→は、「時間の流れ」、「因果関係」、「位置」、「属性の関係説明」、「集中化（ｃｌｕｓｔｅｒｉｎｇ）のための基準点」、「変更」などのように多様な意味として用いられてもよい。

図６は、本発明の一実施形態により、多様な意味として解釈される一つのシンボルを示している。
図６を参照すると、シンボル→は、時間の流れ、因果関係、位置などの意味で用いられてもよい。

図７は、本発明の一実施形態により、前記シンボルによって異なる意味として解釈するテキストとシンボルとが結合された入力情報を示している。
図７を参照すると、「ソウル→プサン」というユーザの入力情報は、「ソウルからプサンまで」という意味の他に、「ソウルをプサンに変更」という意味とも解釈されてもよい。複数の意味として解釈できるシンボルの場合には、追加情報又は前後の情報との関係などを考慮して、その意味を解釈しても良い。しかし、このような解釈は、ユーザの意図を正確に把握することができない原因として作用することもある。

前記のような問題を解消するためには、シンボル認識／理解への深みのある研究及び努力が要求される。例としては、人文学分野の記号学（ｓｅｍｉｏｔｉｃｓ）において、シンボル認識及び理解関係についての研究が進んでおり、これは、広告、文学、映画、交通信号などで活用されている。記号学は、広い意味でサイン及びシンボルの機能と分析、意味作用と表現、意思疎通と関連した多様な体系を研究する学問の分野である。

サイン及びシンボルは、また工学的なアプローチもなされている。例えば、機械、電気、コンピュータ分野において、フローチャートと設計図のシンボル認識と関連して研究が進んでいる。これは、Ｓｋｅｔｃｈ（Ｈａｎｄ−ｄｒａｗｎ Ｄｉａｇｒａｍ）認知などで活用されている。また、化学分野では、複雑な化学構造式のシンボルを認識するための関連の研究が進行されており、これはＨａｎｄ−ｄｒａｗｎ Ｃｈｅｍｉｃａｌ Ｄｉａｇｒａｍ Ｒｅｃｏｇｎｉｔｉｏｎなどで活用されている。

図８は、本発明の一実施形態により、記号学におけるサイン及びシンボルの活用を示し、図９は、本発明の一実施形態により、機械、電気、コンピュータ分野及び化学分野において、サイン及びシンボルの活用を示している。

再び図３を参照すると、前記ユーザ端末は、認識の結果の自然語処理により、ユーザが入力した情報による内容を理解した後、ステップ３１８において、前記認識した内容に基づいて、ユーザが当該情報を入力した意図を把握する。

前記ユーザ端末は、当該情報を入力したユーザの意図を把握すると、ステップ３２２で、前記ユーザの意図に相応する動作を行うか、前記ユーザの意図に対応する応答を出力する。前記ユーザ端末は、前記ユーザの意図に相応する動作を行った後、その結果をユーザに出力してもよい。

しかし、前記ユーザ端末は、当該情報を入力したユーザの意図を把握できないと、ステップ３２０において、ユーザとの問答手続きを介してユーザの意図を把握するための追加情報を獲得する。このために、前記ユーザ端末は、ユーザに問うための質問を構成し、前記質問をユーザに提供する。ユーザが、この質問に対する応答により、追加情報を入力するとき、前記ユーザ端末は、前に自然語処理を行って理解した内容に、新たに入力された情報を考慮して、ユーザの意図を再び把握する。

図面には示していないが、前記ユーザ端末は、前記新たに入力された情報の内容を理解するために、ステップ３１４とステップ３１６をさらに行ってもよい。

前記ユーザ端末は、ユーザの意図を正確に把握するまで、ステップ３２０での問答手続き、即ち、ユーザとの対話を介してユーザの意図を把握するために要求される大部分の情報を確保することができる。

前述の問答手続きを経て、ユーザの意図を把握した場合、前記ユーザ端末は、ステップ３２２で前記ユーザの意図に相応する動作又は応答の結果を、ユーザに出力する。

前記ユーザ端末に備えられたユーザインターフェース装置の構成及びその構成に基づいて、手書きベースのＮＬＩによるユーザインターフェースの方案は、多様なシナリオを仮定してもよい。

図１０〜図１７は、本発明の一実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを示している。

具体的に、図１０〜図１７は、メモ機能をサポートするアプリケーションにおいて、ユーザにより入力されたメモ内容を、他のアプリケーションを呼び出して処理することを示している。

図１０は、本発明の一実施形態により、ユーザ端末におけるメモ機能を用いてメモした一部の内容をメール発送するシナリオを示している。

図１０を参照すると、ユーザは、メモ機能を活用してユーザ端末の画面に手書きし、前記手書きの内容中の一部を、線、シンボル、閉曲線などを用いて選択する。一例として、前記一部の内容の選択は、手書きした全体内容中の一部領域を、閉曲線を用いて選択することにより、前記閉曲線内に存在する領域内の内容が選択されてもよい。

その後、ユーザは、約束された又は直観的に認知可能なシンボルとテキストとを活用して、前記選択した内容の処理を要請するコマンドを入力する。例えば、図面では、前記選択した領域を指定する矢印と任意の人（キムファキョン先任）を指定するテキストを手書きする。

情報の入力により、ユーザ端末は、選択された領域内のメモ内容を、「キムファキョン先任」に伝送しなさいというユーザの意図を把握する。その後、ユーザ端末は、インストールされたアプリケーションのうち、選択されたメモ内容の伝送が可能な推奨アプリケーションを抽出し、前記抽出した推奨アプリケーションを画面上に表示することにより、ユーザが推奨アプリケーションの選択又は駆動を要請できるようにする。

前記ユーザ端末は、ユーザにより推奨アプリケーションのうちの一つのアプリケーションが選択される時、前記選択されたアプリケーションを起動し、前記アプリケーションを活用して、先に選択したメモ内容を「キムファキョン先任」に伝送する。

前記ユーザ端末は、受信側に関する情報が事前に登録されていないと、ユーザに、「キムファキョン先任」のメールアドレスなどを問い合わせしてもよい。この場合、ユーザ端末は、前記選択したメモ内容を、ユーザからメールアドレスの入力に応答して伝送する。

前記ユーザ端末は、ユーザの意図した通りに処理した後、その結果を画面上に表示することにより、ユーザが自分の意図に適切な処理が行われたかを確認できるようにする。一例として、ユーザ端末は、メール伝送が完了されたことを知らせる内容のメッセージと共に、メールの発送内訳をリストに格納するか否かを問い合わせる。これに応答して、ユーザがメールの発送内訳をリストに格納することを要請する時、前記ユーザ端末は、メールの発送内訳をリストに登録する。

前述のようなシナリオは、ユーザ端末内で、アプリケーション間の移動なしで、会議などを進行する過程で行われた手書きのうち、必要な内容を当事者にメールで伝送した後、相互作用を通じて、メールの発送内訳を格納することができ、生産性の向上に役立つことができる。

図１１ａ及び図１１ｂは、本発明の一実施形態により、ユーザ端末がメモ機能を用いてメモした全体の内容を発送するシナリオを示している。

図１１ａ及び図１１ｂを参照すると、ユーザは、メモ機能を活用してメモ内容を画面に手書きする（Ｗｒｉｔｉｎｇ ｍｅｍｏ）。その後、ユーザは、前記手書きした内容のうち、全体を、線、シンボル、閉曲線などを使って選択する（Ｔｒｉｇｇｅｒｉｎｇ）。一例として、閉曲線を用いて、メモが行われた全体領域を選択することにより、前記閉曲線の内に存在する全体内容が選択されたと認知できる。

ユーザは、約束された又は直観的に認知可能なテキスト、一例として、「テキスト送り」と手書きすることにより、前記選択した内容についてのテキスト発送を要請する（Ｗｒｉｔｉｎｇ ｃｏｍｍａｎｄ）。

ユーザが入力した情報に基づいて、ユーザインターフェースを構成するＮＬＩエンジンは、選択された領域内の内容についてのテキスト発送が、ユーザの意図であることを認知する。その後、前記ＮＬＩエンジンは、テキスト発送のための情報が足りないと判断して、ユーザとの問答手続きを介して所望の情報をさらに獲得する。例えば、前記ＮＬＩエンジンは、テキストを送る対象が誰かを問合せる質問、即ち「誰に？」という質問をユーザに提供する。

これに対する応答として、ユーザが、メモ機能を用いてテキストを伝達する対象に関する情報を入力する。前記情報は、対象者の名前又は電話番号を直接入力することも可能である。図１１ｂでは、対象者の名前として、「キムファキョン」、「ベジュユン」が入力される。

前記ＮＬＩエンジンは、住所録に、入力された名前、「キムファキョン」、「ベジュユン」に対応して登録された電話番号を確認し、前記確認した電話番号を受信対象として、先に選択した内容を本文とするテキストを発送する。前記選択した内容がイメージの場合、ユーザ端末は、前記イメージをテキストにさらに変換して、認知可能な形態に変換する手続きを追加に行ってもよい。

テキストの伝送が完了されると、前記ＮＬＩエンジンは、処理結果を知らせる内容、例えば、「テキストの伝送が完了されました。」というメッセージを表示する。これにより、ユーザは、自分の意図に応じて適切な処理が行われたことを確認できるようになる。

図１２ａ及び図１２ｂは、本発明の一実施形態により、ユーザ端末におけるメモ機能を用いてメモした一部の内容の意味を確認するシナリオを示している。

図１２ａ及び図１２ｂを参照すると、ユーザは、メモ機能を活用してユーザ端末の画面に手書きする（Ｗｒｉｔｉｎｇ ｍｅｍｏ）。その後、ユーザは、前記内容中の一部を、線、シンボル、閉曲線などを用いて選択する（Ｔｒｉｇｇｅｒｉｎｇ）。例えば、ユーザは、閉曲線を用いて、メモが行われた全体領域のうち、一部領域に記載された一つの単語を選択してもよい。

ユーザは、約束された又は直観的に認知可能なシンボル、例えば、「？」と手書きすることにより、前記選択した単語の意味を要請する（Ｗｒｉｔｉｎｇ ｃｏｍｍａｎｄ）。

ユーザにより入力された情報に基づいて、ユーザインターフェースを構成するＮＬＩエンジンは、選択した単語内の意味を確認するために、どのような検索エンジンを用いるかを問合せる。このために、前記ＮＬＩエンジンは、ユーザとの問答手続きを利用する。例えば、前記ＮＬＩエンジンは、画面の上に「Ｗｈｉｃｈ ｓｅａｒｃｈ ｅｎｇｉｎｅ？」と表示して、ユーザが検索エンジンを選択する情報を入力することを誘導する。

ユーザが、応答としてメモ機能を用いて「ｗｉｋｉｐｅｄｉａ」を入力した。したがって、前記ＮＬＩエンジンは、前記ユーザの入力により検索するエンジンとして、「ｗｉｋｉｐｅｄｉａ」を用いなさいというユーザの意図を認知する。前記ＮＬＩエンジンは、「ｗｉｋｉｐｅｄｉａ」を用いて、先に選択した「ＭＬＳ」の意味を確認した後、その結果を表示する。これにより、ユーザは、「ＭＬＳ」の意味を、画面を介して提供される情報から確認できるようになる。

図１３ａ及び図１３ｂは、本発明の一実施形態により、ユーザ端末において、メモ機能を用いてメモした内容の一部を、他のアプリケーションのための情報として登録するシナリオを示している。

図１３ａ及び図１３ｂを参照すると、ユーザは、メモ機能を活用して中国旅行のために用意する事項を整理する内容を、ユーザ端末の画面に手書きする（Ｗｒｉｔｉｎｇ ｍｅｍｏ）。その後、ユーザは、前記手書きした内容中の一部を、線、シンボル、閉曲線などを用いて選択する（Ｔｒｉｇｇｅｒｉｎｇ）。例えば、閉曲線を用いてメモが行われた全体領域のうち、「航空券残金決済」という内容がメモされた一部領域を選択する。

ユーザは、約束された又は直観的に認知可能なテキスト、例えば、「やることリストに登録」というテキストを手書きすることにより、前記選択した内容のやることリストとして登録することを要請する（Ｗｒｉｔｉｎｇ ｃｏｍｍａｎｄ）。

ユーザが入力した情報に基づいて、ユーザインターフェースを構成するＮＬＩエンジンは、選択された領域の内容に相応する業務の日程管理を要請することが、ユーザの意図であることを認知する。その後、前記ＮＬＩエンジンは、日程管理のための情報が足りないと判断して、ユーザとの問答手続きを介して必要な情報をさらに獲得する。例えば、前記ＮＬＩエンジンは、日程を問合せる質問、一例として、「完了日を入力してください」という質問をユーザに提供する。

これに対する応答として、ユーザが、メモ機能を用いて当該日程を処理する予定の日付として「５月２日」を入力する。前記ＮＬＩエンジンは、前記選択した内容を、５月２日まで処理する業務として記憶する。

ユーザの要請を処理した後、前記ＮＬＩエンジンは、その処理結果を知らせる内容、一例として、「セーブされました」というメッセージを表示する。これにより、ユーザは、自分の意図によって適切な処理が行われたことを確認できるようになる。

図１４ａ及び図１４ｂは、本発明の一実施形態により、ユーザ端末におけるメモ機能によりメモした内容を、ロック機能を用いて記憶するシナリオを示す。図１４ｃは、本発明の一実施形態により、ロック機能により記憶されたメモ内容を読み取るシナリオを示している。

図１４ａ及び図１４ｂを参照すると、ユーザは、メモ機能によりユーザ端末の画面の上に、大阪旅行中の経験を写真とメモなどを用いて手書きする（Ｗｒｉｔｉｎｇ ｍｅｍｏ）。その後、ユーザは、前記手書きした内容のうち、一部又は全部を、線、シンボル、閉曲線などを用いて選択する（Ｔｒｉｇｇｅｒｉｎｇ）。例えば、閉曲線を用いて、メモが行われた全体領域を選択することができる。

ユーザは、約束された又は直観的に認知可能なテキスト、例えば、「ロック」というテキストを手書きすることにより、前記選択した内容を、ロック機能により登録することを要請する（Ｗｒｉｔｉｎｇ ｃｏｍｍａｎｄ）。

ユーザが入力した情報に基づいて、ユーザインターフェースを構成するＮＬＩエンジンは、メモされた内容を、ロック機能を活用して記憶することが、ユーザの意図であることを認知する。その後、前記ＮＬＩエンジンは、ロック機能を設定するための追加情報が必要であると判断して、ユーザとの問答手続きを介して、必要な情報をさらに獲得する。例えば、前記ＮＬＩエンジンは、ロック機能を設定するために、暗証番号を問合せる質問、一例として、「暗証番号を入力してください」というメッセージを画面に表示する。

これに対する応答として、ユーザが、メモ機能を用いてロック機能を設定するための暗証番号として「３２９５」を入力する。これにより、前記ＮＬＩエンジンは、前記選択した内容を、暗証番号「３２９５」を使って記憶する。

当該メモ内容を、ロック機能を用いて記憶した後、前記ＮＬＩエンジンは、その処理結果を知らせる内容、一例として、「セーブされました」というメッセージを表示する。これにより、ユーザは、自分の意図に応じて適切な処理が行われたことを確認できるようになる。

図１４ｃを参照すると、ユーザは、ロック機能により記憶されたメモのうち、所望のメモを選択する（Ｓｅｌｅｃｔｉｎｇ ｍｅｍｏ）。前記ユーザにより特定のメモが選択される時、ＮＬＩエンジンは、前記選択されたメモを提供するためには、暗証番号が必要であることを認知した後、問答手続きを進行して、ユーザによる当該暗証番号の入力を誘導する（Ｗｒｉｔｉｎｇ Ｐａｓｓｗｏｒｄ）。例えば、前記ＮＬＩエンジンは、ユーザが暗証番号を入力できるメモウィンドウを表示する。

前記ＮＬＩエンジンは、ユーザが正確な暗証番号が入力するとき、前記選択されたメモを画面の上に表示する。

図１５は、本発明の一実施形態により、ユーザ端末におけるメモ機能を用いてメモした一部の内容により特定の機能を実行するシナリオを示している。

図１５を参照すると、ユーザは、メモ機能によりユーザ端末の画面にメモ内容を手書きする（Ｗｒｉｔｉｎｇ ｍｅｍｏ）。その後、ユーザは、前記手書きした内容のうち一部を、線、シンボル、閉曲線などを用いて選択する（Ｔｒｉｇｇｅｒｉｎｇ）。一例として、閉曲線を用いて、メモが行われた全体領域のうち、電話番号、即ち、「０１０−９５３０−０１６３」がメモされた一部領域を選択する。

ユーザは、約束された又は直観的に認知可能なテキスト、一例として、「通話」と手書きすることにより、前記電話番号で電話通話を要請する（Ｗｒｉｔｉｎｇ ｃｏｍｍａｎｄ）。

ユーザにより入力された情報に基づいて、ユーザインターフェースを構成するＮＬＩエンジンは、前記選択された電話番号を自然語に翻訳して認知し、前記電話番号「０１０−９５３０−０１６３」への電話通話をトライする。

図１６ａ及び図１６ｂは、本発明の一実施形態により、ユーザ端末におけるメモ機能を用いてメモした一部の内容を隠すシナリオを示している。

図１６ａ及び図１６ｂを参照すると、ユーザは、メモ機能を活用して、自分が利用するウェブページ別のＩＤと暗証番号とを、ユーザ端末の画面に手書きする（Ｗｒｉｔｉｎｇ ｍｅｍｏ）。その後、ユーザは、前記内容のうち一部又は全部を、線、シンボル、閉曲線などを用いて選択する（Ｔｒｉｇｇｅｒｉｎｇ）。一例として、ユーザは、閉曲線を用いて、メモが行われた全体領域において、一部のメモ、即ち、暗証番号に相応するメモ「ｗｎｓｅ３２８１」を選択する。

ユーザは、約束された又は直観的に認知可能なテキスト、例えば、「ｈｉｄｅ」というテキストを手書きすることにより、前記選択した内容の隠しを要請する（Ｗｒｉｔｉｎｇ ｃｏｍｍａｎｄ）。

ユーザが入力した情報に基づいて、ユーザインターフェースを構成するＮＬＩエンジンは、選択したメモ内容を隠すのが、ユーザの意図であることを認知する。前記ＮＬＩエンジンは、隠し機能を利用するために、追加情報が必要であると判断して、ユーザとの問答手続きを介して必要な情報をさらに獲得する。前記ＮＬＩエンジンは、隠し機能を設定するために、暗証番号を問合せる質問、一例として、「Ｅｎｔｅｒ ｔｈｅ ｐａｓｓｗｏｒｄ」というメッセージを画面に出力する。

これに対する応答として、ユーザがメモ機能を用いて、隠し機能を設定するための暗証番号として「３２９５」を手書きする時、前記ＮＬＩエンジンは、「３２９５」を自然語に翻訳して認知した後、「３２９５」を記憶する。その後、前記ＮＬＩエンジンは、前記選択されたメモ内容を隠すことにより、前記暗証番号が画面上に表示されないようにする。

図１７は、本発明の一実施形態により、ユーザ端末におけるメモ機能を用いてメモした一部の内容を翻訳するシナリオを示している。

図１７を参照すると、ユーザは、メモ機能を活用してユーザ端末の画面に、メモを手書きする（Ｗｒｉｔｉｎｇ ｍｅｍｏ）。その後、ユーザは、前記メモ内容のうち一部を、線、シンボル、閉曲線などを用いて選択する（Ｔｒｉｇｇｅｒｉｎｇ）。一例として、ユーザは、アンダーラインを用いて、メモが行われた全体領域のうち、「明日午前１１時まで要請文書受け」という文章を選択する。

ユーザは、約束された又は直観的に認知可能なテキスト、一例として、「翻訳」と手書きすることにより、前記選択した文章の翻訳を要請する（Ｗｒｉｔｉｎｇ ｃｏｍｍａｎｄ）。

ユーザにより入力された情報に基づいて、ユーザインターフェースを構成するＮＬＩエンジンは、前記選択された文章の翻訳を要請する。その後、前記ＮＬＩエンジンは、ユーザとの問答手続きを用いて、翻訳する言語を指定することを要請する質問を画面に表示する。例えば、前記ＮＬＩエンジンは、画面の上にメッセージ「Ｗｈｉｃｈ Ｌａｎｇｕａｇｅ？」を表示して、ユーザが翻訳する言語を入力できるように誘導する。

これに対する応答として、ユーザがメモ機能を用いて「イタリア語」とメモする際、前記ＮＬＩエンジンは、前記ユーザの意図した言語が「イタリア語」であることを認知する。その後、前記ＮＬＩエンジンは、前記認知されたメモ内容、即ち、「明日午前１１時まで要請文書受け」という文章をイタリア語に翻訳して出力する。これにより、ユーザは、自分が要請した文章のイタリア語翻訳文を、画面を介して読み取れる。

図１８は、本発明の一実施形態によるユーザ端末におけるメモ機能を用いて、駆動アプリケーションを制御する構成を示している。図１８に示している構成は、ユーザ端末において実行中の特定のアプリケーションの画面の上に、メモ階層をオーバーラップして表示し、前記表示されたメモ階層に手書きされる内容からユーザの意図を把握して、ユーザ端末でユーザの意図に応じて、前記実行されたアプリケーションの動作を制御する。前記実行された特定のアプリケーションは、「下位階層アプリケーション」と称する。また、前記下位階層アプリケーションの実行による画面の上に、メモ階層をオーバーラップして表示するためには、メモ機能をサポートするアプリケーションが追加に実行されることを暗示する。

図１８を参照すると、下位階層アプリケーション駆動エンジン１８１０は、ユーザにより要請された特定のアプリケーション、即ち、下位階層アプリケーションを実行させ、前記ユーザの意図を認知して、前記実行された下位階層アプリケーションを制御する全般的な動作を行う。

特に、ユーザがメモ階層を呼び出した後、前記メモ階層にメモ内容を手書きして、動作コマンドを発する時、下位階層アプリケーション駆動エンジン１８１０は、前記動作コマンドに応じて前記実行された下位階層アプリケーションの動作を制御する。

このために、下位階層アプリケーション駆動エンジン１８１０は、前記下位階層アプリケーションの機能メニューを考慮して、現時点で前記実行された下位階層アプリケーションの動作を制御するために要求される情報を指示するために、特定の情報をメモ階層アプリケーション駆動エンジン１８２０に提供することができる。前記特定の情報は、前記下位階層アプリケーションの種類、前記下位階層アプリケーションに基づいて、現在実行中の機能メニューのうちの少なくとも一つを含む。

この場合、下位階層アプリケーション駆動エンジン１８１０は、現在実行中の下位階層アプリケーションの動作を制御するために、より正確な情報を受信することができる。

メモ階層アプリケーション駆動エンジン１８２０は、メモ機能をサポートするアプリケーションの実行を要請するために、事前に約束された形式による入力が、ユーザにより行われるかを持続的に監視する。例えば、前記事前に約束された形式は、前記下位階層アプリケーションの実行画面の上で、タッチドラッグされてもよい。前記タッチドラッグは、画面の左側から右側方向又はその反対方向に行われるか、画面の下側から上側方向又はその反対方向に行われてもよい。前記タッチドラッグのためには、認識が可能なツールのいずれも用いてもよい。前記ツールは、指又は電子ペンなどであってもよい。

メモ階層アプリケーション駆動エンジン１８２０は、ユーザからメモ機能をサポートするアプリケーションの実行が要請される時、ユーザによるメモが可能なメモ階層を呼び出す。前記呼び出されたメモ階層は、前記下位階層アプリケーションの実行画面とオーバーラップする。

前記メモ階層は、前記下位階層アプリケーションの実行画面が映りかねないように、前記下位階層アプリケーションの実行画面の上にオーバーラップするのが好ましい。画面の上で、前記メモ階層がオーバーラップされる領域は、ユーザの要求に応じて設定される。例えば、メモ階層は、設定により画面の全体にオーバーラップされても、画面の一部にのみオーバーラップされてもよい。また、画面の一部にオーバーラップされるようにメモ階層が表示された後、ユーザがメモ階層の外郭線又は頂点を選択してドラッグすることにより、前記メモ階層のサイズを変更してもよい。

前述のように、メモ階層アプリケーション駆動エンジン１８２０は、下位階層アプリケーションが実行されているうちに、ユーザの要請により、メモが可能なメモ階層を、画面に表示するための全般的な動作を制御する。

下位階層アプリケーション駆動エンジン１８１０が、前記下位階層アプリケーションの制御のために必要な情報を示す時、メモ階層アプリケーション駆動エンジン１８２０は、「ユーザによる入力が要求される情報をガイドするメッセージ」をさらに表示する。一例として、現在音楽再生アプリケーションが、下位階層アプリケーションとして実行されているとき、メモ階層に「歌のタイトルを書いてください」又は「アーティストを書いてください」というメッセージが表示される。

メモ階層アプリケーション駆動エンジン１８２０は、メモ階層を画面の上に表示した後、ユーザにより手書きされた内容に基づいて、前記ユーザの意図を認知する。その後、メモ階層アプリケーション駆動エンジン１８２０は、前記ユーザの意図により、下位階層アプリケーションが駆動できるように、関連の制御情報を下位階層アプリケーション駆動エンジン１８１０に提供する。

メモ階層アプリケーション駆動エンジン１８２０は、手書きメモ内容の入力が完了されたことを認知するために、前記表示されたメニュー階層に、入力メニューボタンを追加に表示してもよい。この場合、メモ階層アプリケーション駆動エンジン１８２０は、ユーザが前記入力メニューボタンを押し付ける際、前記メモ階層に手書きされた内容に基づいて、前記ユーザの意図を認知するための動作を開始する。

前記手書きした内容に基づいたユーザの意図を確認し、この認知されたユーザの意図に応じて、当該アプリケーションの動作を制御することは、前述した。したがって、この具体的な説明は、前記ユーザの意図認識及び動作制御と同様に適用できる。そして、ユーザの意図認識及び動作制御の繰返し説明は省略する。

図１９は、本発明の一実施形態によるユーザ端末におけるメモ階層を呼び出して、下位階層アプリケーションを制御するための制御動作を示している。

図１９を参照すると、ユーザ端末は、ユーザの要請により、特定のアプリケーション、即ち、下位階層アプリケーションを駆動する（ステップ１９１０）。前記ユーザ端末は、前記下位階層アプリケーションが駆動された後、前記駆動された下位階層アプリケーションについての全般的な動作を制御する。前記ユーザ端末は、前記下位階層アプリケーションの動作状況を画面に表示して、前記下位階層アプリケーションの動作状態を確認できるようにする。

前記ユーザ端末は、下位階層アプリケーションが実行されている状況において、ユーザがメモ階層を呼び出したかを持続的に監視する（ステップ１９１２）。例えば、前記ユーザ端末は、ユーザが下位階層アプリケーションの実行画面をタッチドラッグするとき、メモ階層を呼び出す。前記タッチドラッグは、画面の左側から右側方向又はその反対方向に行われてもよく、画面の下側から上側方向又はその反対方向に行われてもよい。前記タッチドラッグのためには、認識が可能なツールのいずれも用いてもよい。前記ツールは、主にユーザの指又は電子ペンであってもよい。

図２０ａ〜図２０ｃは、本発明の一実施形態によるユーザ端末におけるメモ階層を呼び出すための動作を示している。

図２０ａを参照すると、例えば、ユーザが、音楽再生アプリケーションにおいて、再生目録をサポートする機能メニューが活性化された画面をタッチし、ユーザが画面の左側から右側にタッチドラッグするとき（図２０ａを参照）、メニュー階層は呼び出される。

その他に、ユーザが、電子ペンに備えられた機能ボタンを押したままに（図２０ｃを参照）、音楽再生アプリケーションにおいて、再生目録をサポートする機能メニューが活性化された画面の設定された範囲内にアクセスするとき（ホバリング機能）、メニュー階層が呼び出されてもよい。

図１９を参照すると、前記ユーザ端末は、ユーザの要請により呼び出されたメモ階層を、前記下位階層アプリケーションの実行画面の上に表示する（ステップ１９１４）。前記ユーザ端末は、画面に表示されるメモ階層に「ユーザによる入力が要求される情報をガイドするメッセージ」をさらに表示し得る。

例えば、図２０ｂを参照すると、例えば、呼び出されたメニュー階層は、音楽再生アプリケーションにおいて再生目録をサポートする機能メニューが活性化された画面が映りかねないように、画面にオーバーラップされる。図２０ｂでは、前記メモ階層に「歌のタイトルを書いてください！」というメッセージが表示される。

図面には示していないが、前記ユーザ端末は、メモ階層がオーバーラップされる領域を、ユーザの要求に応じて設定してもよい。例えば、前記メモ階層は、画面の全体にオーバーラップされても、画面の一部にのみオーバーラップされてもよい。前記メモ階層のサイズは、前記画面の一部に表示されたメモ階層の外郭線又は頂点を選択してドラッグすることにより、変更されてもよい。

前記ユーザ端末は、前記表示されたメモ階層に、ユーザが手書きによるメモを完了したかを監視する（ステップ１９１６）。一例として、メモ階層に「入力メニューボタン」がさらに表示されて、前記ボタンが押されるかによって、ユーザがメモ完了の可否を判断してもよい。

図２０ｂを参照すると、検索機能を示すアイコンは、入力メニューボタンとして、メモ階層を表示した画面の右側の下段に表示される。

しかし、前記入力メニューボタンは、検索機能を示すアイコンのみに限定されず、メモ階層に入力される情報によって、変わることは自明である。

図２１ａ〜図２１ｄは、本発明の一実施形態によるユーザ端末における画面の上に表示されたメモ階層上のユーザ手書きメモを示している。

図２１ａを参照すると、「アプリケーション名を書いてください」というタイトルと、前記アプリケーション名に関連した実行を示すメニュー実行ボタンとを含むメモ階層が表示される。ユーザが前記表示されたメモ階層に「日程」と手書きする。ユーザが、メモ階層に表示されたアプリケーションの実行要請に該当するメニュー実行ボタンを押すとき、ユーザ端末は、日程を処理するスケジューリングサービスを提供するアプリケーションを実行する。

図２１ｂを参照すると、「歌を書いてください！」というタイトルと、前記タイトルに関連した実行を示すメニュー実行ボタンとを含むメモ階層が表示される。ユーザが、前記表示されたメモ階層に「一人で」と手書きする。ユーザが、メモ階層に表示された音楽再生要請に該当するメニュー実行ボタンを押す際に、ユーザ端末は、「一人で」という音楽を検索して再生する。

図２１ｃを参照すると、「アーティストを書いてください！」というタイトルと、前記タイトルに関連した実行を示すメニュー実行ボタンとを含むメモ階層が表示される。ユーザが、前記表示されたメモ階層に「キムボムス」と手書きする。ユーザがメモ階層に表示された検索要請に該当するメニュー実行ボタンを押す際に、ユーザ端末は、「キムボムス」が歌った音楽又はアルバムを検索し、その検索結果を表示する。

図２１ｄを参照すると、「電話の相手を書いてください」というタイトルと、前記タイトルに関連した実行を示すメニュー実行ボタンとを含むメモ階層が表示される。ユーザが前記表示されたメモ階層に「キムハヨン」と手書きする。ユーザがメモ階層に表示された電話かけの要請に該当するメニュー実行ボタンを押す際に、ユーザ端末は、下位階層アプリケーションとして実行中のコンタクトリストに、「キムハヨン」に対応して記録された電話番号への電話連結をトライする。

前記ユーザ端末は、メモの完了を感知すると、前記ユーザが画面に表示されたメモ階層に手書きした内容に基づいて、ユーザの意図を把握する（ステップ１９１８）。その後、前記ユーザ端末は、現在実行中の下位階層アプリケーションの動作を、前記把握したユーザの意図に応じて制御する（ステップ１９２０）。

前述の説明では、下位階層アプリケーションの駆動による画面が表示された状況を前提にした。しかし、ユーザ端末が、どのようなアプリケーションも実行されていない初期画面でも、ユーザの要求に応じてメニュー階層を表示し、前記表示されたメニュー階層を介してユーザの手書きにより入力される情報に基づいて、ユーザの意図による動作を行うことも可能である。

図２２は、本発明の一実施形態によるユーザ端末におけるメモ階層を用いて、現在実行中の特定のアプリケーションを制御する例を示している。

図２２を参照すると、ユーザ端末は、下位階層アプリケーションとして音楽再生アプリケーションが実行されている状況で、メモ階層の呼び出しが、ユーザにより行われるかを監視する（図２２ａを参照）。前記ユーザ端末は、ユーザによりメモ階層が呼び出される時、タイトルと入力メニューボタンとがセットされたメニュー階層を画面に活性化する。例えば、タイトルと入力メニューボタンとがセットされたメニュー階層は、音楽再生アプリケーションの実行画面の上に表示される（図２２の（ｂ）を参照）。図２２の（ｂ）では、メモ階層のタイトルが、「歌を書いてください！」と表示される。

前記ユーザ端末は、ユーザが所望の内容（例えば、「一人で」）を手書きし、表示された入力メニューボタンを押しているかを監視する。前記ユーザ端末は、ユーザにより入力表示ボタンが押されることを感知する際、ユーザが手書きした内容が「一人で」ということを認知した後、前記認知した「一人で」というテキストを、現在実行中の音楽再生アプリケーションに提供する（図２２の（ｄ）を参照）。

前記音楽再生アプリケーションは、提供された「一人で」というタイトルを有する歌を検索し、前記検索により確認された歌を再生する。検索範囲は、ユーザの設定により指定されてもよい。例えば、ユーザ端末に格納された歌を検索対象と設定しても、音楽サービスを提供するウェブサイトを検索対象と設定してもよい。前記ウェブサイトを検索対象と設定するためには、当該ウェブサイトにアクセスするための認証に必要な情報などが、ユーザ端末により管理されるか、ユーザにより入力される必要がある。

複数の検索結果が「一人で」とマッチする場合、前記検索結果に該当する複数の歌を順次的に再生するか、ユーザが再生する歌を選択できるようにする。例えば、検索結果がリストの形式で画面に表示されるようにして、ユーザが前記リストから再生する歌を選択するようにするのが好ましい。図２３〜図２８は、特定のアプリケーションが駆動された後に、メモ機能をサポートする他のアプリケーションが起動され、この起動されたアプリケーションにより、前記駆動されたアプリケーションが実行されるシナリオを示している。

図２３は、本発明の一実施形態により、ユーザ端末の初期画面の上で、メモ階層を実行し、特定のアプリケーションをメモ階層で実行するシナリオを示している。
図２３を参照すると、ユーザ端末は、初期画面においてメモアプリケーションを実行させて、初期画面の上にメモ階層を起動し、アプリケーションの識別情報（例えば、アプリケーション名称）「チャットオン」を受信すると、当該アプリケーションが実行される。

図２４は、本発明の一実施形態により、ユーザ端末におけるメモ機能を用いて、特定のアプリケーションにおける特定の動作を制御するシナリオを示している。
図２４を参照すると、メモ階層は、音楽再生アプリケーションが実行された画面の上で、メモアプリケーションを実行することにより起動される。その後、ユーザが、聴取を望む音楽のタイトル「ヨスの夜海」を記載する際、ユーザ端末は、駆動中のアプリケーションで「ヨスの夜海」に該当する音源を再生する。

図２５は、本発明の一実施形態により、ユーザ端末におけるメモ機能を用いて駆動中の特定のアプリケーションを制御するシナリオを示している。
図２５を参照すると、ユーザが動画を視聴する中に、メモ階層を起動して移動する時間、即ち「４０：２２」と記載すると、ユーザ端末は、駆動中の動画を再生時点４０分２２秒の時点に移動する。このような機能は、動画の再生時の他にも、音楽を聴取する中にも、同様に適用してもよい。

ユーザが、ｅブックリーダーアプリケーションの実行中に、メモ階層を起動し、移動するページを、例えば、「１０５」とメモする際、ユーザ端末は、当該読んでいた本の１０５ページへ移動する。

図２６は、本発明の一実施形態により、ユーザ端末においてウェブブラウザーが実行されている中に、メモ機能を用いた検索を試みるシナリオを示している。
図２６を参照すると、ウェブブラウザーを用いて特定のウェブページを読んでいる中に、ユーザが、画面に表示された内容のうち、一部を選択し、メモ階層を起動して「検索」という単語をメモすることで、前記選択した内容についての検索をコマンドする。前記ＮＬＩエンジンは、ユーザの意図を認知し、選択した内容を自然語処理を介して理解する。その後、前記ＮＬＩエンジンは、前記選択した内容を、設定された検索エンジンにより検索し、検索された結果を画面に表示する。

前述のように、ユーザ端末では、特定のアプリケーションを提供する画面の上で、選択とメモ機能による情報の入力を共に考慮して処理するシナリオの実現も可能である。

図２７は、本発明の一実施形態により、地図アプリケーションにおいて、メモ機能を用いて意図した情報を獲得するシナリオを示している。
図２７を参照すると、ユーザは、地図アプリケーションの画面で、メモ機能を用いて閉曲線により特定の領域を選択し、検索する情報、一例として、「名所？」とメモすることにより、前記選択した領域内での名所を検索するコマンドする。

このようなユーザの意図を認知した、ユーザ端末のＮＬＩエンジンは、自分が保有したデータベース又はサーバのデータベースに基づいて、有用な情報を探し、このように探した情報を、現在の画面に表示された地図の上に追加に表示する。

図２８は、本発明の一実施形態により、スケジュール管理アプリケーションが駆動された状態で、メモ機能を用いて意図の情報を入力するシナリオを示している。

図２８を参照すると、スケジュール管理アプリケーションが駆動される間、ユーザは、メモ機能を実行し、画面の上でオフラインで直観的に行われる形態で手書きを行う。例えば、ユーザが、スケジュール管理のための画面で、閉曲線などを用いて特定の日付を選択し、前記選択した日付のスケジュールを入力する。例えば、前記ユーザが、２０１２年８月１４日を選択し、選択した日付にＴＦワークショップがあることをメモする。その後、ユーザ端末のＮＬＩエンジンは、追加情報として時間を入力することを要請する。例えば、前記ＮＬＩエンジンは、画面に「Ｔｉｍｅ？」という質問を表示することにより、ユーザがメモ機能を活用して正確な時間、一例として、「３：００ＰＭ」をメモするように誘導する。

図２９と図３０は、本発明の実施形態により記号学と関連付いたシナリオの例を示している。
図２９を参照すると、図２９は、メモ機能により進行される問答手続きの流れに基づいて、手書きシンボルの意味を解釈する例を示している。例えば、「イタリア出張」というメモと、「インチョン→ロマ」というメモの両方が手書きされている場合を仮定し得る。この場合、前記シンボル→は、地域間の移動を意味すると解釈してもよいので、ユーザ端末のＮＬＩエンジンは、ユーザに日程を問合せる質問、一例として、「Ｗｈｅｎ？」という質問を出力する。

さらには、前記ＮＬＩエンジンは、ユーザによりメモされた日付、即ち、４月５日にインチョンからロマへ移動するために利用できる飛行機偏に関する情報を検索し、その結果をユーザに提供することができる。

図３０を参照すると、図３０は、メモ機能により入力されるシンボルの意味を、駆動中のアプリケーションと連動して解釈する例を示している。
例えば、地下鉄アプリケーションが駆動されている画面において、シンボル、即ち、矢印を用いて、ユーザが出発地と目的地とを直観的に選択する際、ユーザ端末は、現在駆動中のアプリケーションが、二つの起点間を移動するための列車の到着時間及び所要時間に関する情報を提供することができる。

図３１は、本発明の他の実施形態によるユーザ端末におけるメモ階層を呼び出して、下位階層アプリケーションを制御するための制御動作を示している。

図３１を参照すると、ユーザが下位階層アプリケーションを始めると（ステップ３１１０）、制御部は、前記下位階層アプリケーションが、メモ階層に表示される情報を、前記メモ階層へ送ったかをチェックする。前記メモ階層は、別途のアプリケーションとなってもよい。前記メモ階層は、ウィンドウの形態でタッチパネルの上に表示されてもよい。以下の詳細な説明において、メモウィンドウとは、メモ階層と同様に使われる。

制御部は、下位階層アプリケーションが実行されている間に、予め定められたジェスチャーが、タッチパネルの上に生成されるかをチェックする。制御部は、電子装置の全般的な動作を制御することができる。図１において、アプリケーション実行部１１０と、コマンド処理部１２０とが制御部に該当することができる。予め定められたジェスチャーは、ユーザの指又は電子ペンを用いてタッチパネルの上で、タッチドラッグされてもよい。また、予め定められたジェスチャーは、ユーザがタッチパネルの上に、指又は電子ペンを用いて特定の模様やパターンを表示する動作であってもよい。制御部は、下位階層アプリケーションが実行されているうちに、予め定められたジェスチャーが感知されると、メモ階層を呼び出すことができる。

制御部は、下位階層アプリケーションが実行されているうちに、タッチパネル上の特定の領域にタッチが発生すると、メモ階層を呼び出すことができる。メモ階層は、別途のアプリケーションにより駆動されてもよい。また、メモ階層は、下位階層アプリケーションに含まれるソフトウェアモジュールとなってもよい。

メモ階層には、ユーザ入力を要請する情報が表示されてもよい。メモ階層に表示される情報は、下位階層アプリケーションからメモ階層に伝達されることができる（ステップ３１２０）。

メモ階層が呼び出されると、下位階層アプリケーションから伝達された情報が、メモ階層に表示されてもよい（ステップ３１４０）。メモ階層は、メモ階層の名称を表示するタイトル領域を含んでもよい。メモ階層は、ユーザが手書きを入力できる領域を含んでもよい。メモ階層は、ユーザが操作できるボタンを含んでもよい。ユーザがメモ階層に手書きメモを入力すると（ステップ３１５０）、制御部は、前記メモの手書きイメージを認識し（ステップ３１６０）、認識された手書きイメージに相応するテキストを、下位階層アプリケーションへ伝達することができる（ステップ３１７０）。下位階層アプリケーションは、伝達されたテキストを、下位階層アプリケーションで管理しているコマンドと比較する。下位階層アプリケーションは、メモウィンドウから伝達されたテキストが、下位階層アプリケーションで管理するコマンドと同一であるか、又は一部が一致すると、当該コマンドと関連付いた動作を行うことができる（ステップ３１８０）。

図３２ａ〜図３２ｃは、本発明の一実施形態により、下位階層アプリケーションが実行されている状態で、メモ階層を実行する動作を示している。前記メモ階層は、前記アプリケーションが表示される階層の上に表示される別途の階層となってもよい。メモ階層は、メモウィンドウとなってもよく、以下の詳細な説明では、「メモウィンドウ」と称する。

以下の詳細な説明から、タッチ入力とは、タッチパネルの上に表示されたグラフィックオブジェクトをタッチすることをいい、手書き入力とは、ユーザが電子ペン又は指で文字を書くことを意味する。

図３２ａを参照すると、電子装置において、実行中のアプリケーションがタッチパネルの上に表示される。制御部は、アプリケーションが実行されると、実行されたアプリケーションに関する情報を示すグラフィックオブジェクト及びアプリケーションの機能を制御するためのメニューアイテムを、タッチパネルの上に表示することができる。前記メニューアイテムは、ボタン状で表示されてもよい。ユーザは、前記メニューアイテムをタッチして、アプリケーションの機能を行ってもよい。制御部は、メニューアイテムの上にタッチが感知されると、前記メニューアイテムに対応するアプリケーションの機能を制御することができる。

例えば、住所録アプリケーションが実行されると、住所録アプリケーションと関連付いたグラフィックオブジェクトと、住所録アプリケーションの機能を制御するためのメニューアイテム３２１６、３２１８、３２２０、３２２２、３２２４、３２２６が、タッチパネルの上に表示される。住所録アプリケーションは、第１メニュー領域、検索ウィンドウ３２０８、住所録アイテム３２１０、３２１２、３２１４、及び第２メニュー領域から構成されている。第１メニュー領域は、４個のメニューアイテム３２０２、３２０３、３２０４、３２０６を含んでもよい。メニューアイテム３２０２、３２０３、３２０４、３２０６は、それぞれ前記メニューアイテムを示すアイコンと、メニュー名を含む。例えば、メニューアイテム３２０２は、受話器のアイコンと、Ｃａｌｌ ｌｏｇテキストとを含む。メニューアイテム３２０３は、人のアイコンと、Ｃｏｎｔａｃｔテキストとを含む。ユーザが、メニューアイテム３２０２、３２０３、３２０４、３２０６のうちの一つをタッチすると、タッチされたメニューアイテムの色相が変更されてもよい。メニューアイテムが選択されるによって、住所録アイテムを構成するコンテンツが変更されてもよい。例えば、住所録アイテム３２１０、３２１２、３２１４が変更されてもよい。第２メニュー領域には、メニューアイテム３２１６、３２１８、３２２０、３２２２、３２２４、３２２６が表示されてもよい。制御部は、メニューアイテム３２１６、３２１８、３２２０、３２２２、３２２４、３２２６のうちの一つの上にタッチが感知されると、タッチされたメニューアイテムに対応するアプリケーションの機能を制御することができる。

例えば、メニューアイテム３２１６には、ゴミ箱アイコンとコマンド「Ｄｅｌｅｔｅ」とが表示されてもよい。メニューアイテム３２１６、３２１８、３２２０、３２２２、３２２４、３２２６のうちの一つを選択すると、選択されたメニューアイテムに対応するコマンドが、住所録アイテム３２１０、３２１２、３２１４に対して実行されてもよい。メニューアイテム３２１６が選択されると、住所録アイテム３２１０、３２１２、３２１４は、他の住所録と同期化されてもよい。メニューアイテム３２２４が選択されると、住所録アイテム３２１０、３２１２、３２１４から選択された住所録アイテムが、他の住所録に含まれている同一人物に関する情報と併合されてもよい。

第２メニュー領域は、住所録アイテム３２１０、３２１２、３２１４の上に表示されてもよい。６個の住所録アイテムが、最初にタッチパネルの上に表示される。第２メニュー領域がタッチパネルの上に表示されるによって、６個のメニューアイテムのうちの３個の住所録アイテム３２１０、３２１２、３２１４が、タッチパネルの上に表示されるが、残りの住所録アイテム（図示せず）は、第２メニュー領域により隠されるようになる。

図３２ｂを参照すると、タッチパネルの上に第１メニューアイテム３２５２、３２５４、３２５６、３２５８が表示される。タッチパネルの上に、住所録領域３２３０がさらに表示されてもよい。住所録領域３２３０は、複数の住所録アイテムを含んでもよい。前記住所録アイテムは、コマンドの対象となり得る。例えば、住所録アイテムは、コマンドが実行されるとき、データとして用いられてもよい。ユーザが住所録アイテム３２３８、３２４０、３２４２、３２４４、３２４６、３２４８のうちの一つをタッチすると、タッチされた住所録アイテムが選択され、他の住所録アイテムと視覚的に区別される。例えば、ユーザが、住所録アイテム３２３８をタッチすると、住所録アイテム３２３８は、他の住所録アイテム３２４０、３２４２、３２４４、３２４６、３２４８と視覚的に区別できるように異なる色相で表示されてもよい。メモウィンドウ３２３１は、半透明に表示されてもよい。メモウィンドウ３２３１が、下位階層アプリケーションの住所録アプリケーションの上にオーバーラップされてもよく、住所録アイテム３２４０、３２４２、３２４４、３２４６、３２４８が、メモウィンドウ３２３１の下に見られることができる。住所録アプリケーションの実行中に、ユーザがタッチパネルで予め定められたジェスチャーを入力すると、制御部は、前記タッチパネルで予め定められたジェスチャーを検出し、検出されたジェスチャーに応答して、前記住所録アプリケーションとオーバーラップしてメモウィンドウ３２３１を表示する。メモウィンドウ３２３１は、手書き入力領域と、手書き入力が不可能な領域とに分けられる。前記住所録アプリケーションは、タッチパネルの上に表示され、メモウィンドウは、前記住所録アプリケーションの上に表示されるので、前記住所録アプリケーションは、下位階層アプリケーションと称される。

前記予め定められたジェスチャーは、タッチパネルの特定の領域をタッチする動作となり得る。さらに、前記予め定められたジェスチャーは、タッチパネルの上をドラッグする動作となってもよい。また、前記予め定められたジェスチャーは、タッチパネルの上に、電子ペンを用いて予め定められた模様を描く動作となってもよい。電子ペンは、スタイラスペンであってもよい。さらに、前記予め定められたジェスチャーは、スタイラスペンを用いてタッチパネルをスイープ（ｓｗｉｐｅ）する動作となってもよい。

前述のように、メモウィンドウ３２３１は、手書き入力が不可能な領域を含んでもよい。前記手書き入力が不可能な領域には、下位階層アプリケーションから提供されたテキスト及びイメージが表示されてもよい。前記手書き入力が不可能な領域は、タイトル領域３２３２となってもよい。また、前記手書き入力が不可能な領域は、ユーザが操作できるボタン３２３６を含んでもよい。ボタン３２３６は、下位階層アプリケーションから提供されたイメージとなってもよい。

メモウィンドウ３２３１は、ユーザにより手書きの入力を受ける手書き入力領域３２３３を含んでもよい。

タイトル領域３２３２には、メモウィンドウ３２３１の名称が表示されてもよい。メモウィンドウ３２３１の名称は、下位階層アプリケーションから受信されてもよい。例えば、制御部は、下位階層アプリケーションからタイトル領域３２３２に表示される名称の伝達を受けて、メモウィンドウ３２３１のタイトル領域３２３２にその名称を表示することができる。タイトル領域３２３２では、タッチ入力が無視されてもよい。制御部は、住所録アイテム３２３８、３２４０、３２４２、３２４４、３２４６、３２４８が表示された状態では、タッチを感知することができる。制御部は、メモウィンドウ３２３１が表示されると、タイトル領域３２３１から検出されるタッチ入力を無視してもよい。制御部は、メモウィンドウ３２３１が活性化されると、メモウィンドウ３２３１の手書き入力領域３２３３を通じてのみ、下位階層アプリケーションを制御するコマンドを実行することができる。また、制御部は、メモウィンドウ３２３１が活性化されると、下位階層アプリケーションを制御するための第１メニューアイテム３２５２、３２５４、３２５６、３２５８から生成されるタッチ入力を無視してもよい。

例えば、メモウィンドウ３２３１のタイトル領域３２３２に、「Ｍｅｍｏ Ｌａｙｅｒ」が表示されてもよい。
「Ｍｅｍｏ Ｌａｙｅｒ」テキストは、下位階層アプリケーションに該当する住所録アプリケーションから受信されてもよい。

手書き入力領域３２３３は、ユーザから手書き入力を受けることができる。手書き入力は、タッチパネルの上で発生される連続的なタッチの動きとなってもよい。手書き入力は、ユーザがスタイラスペン又は指を用いて、タッチパネルの上に文字を入力する動作により生成されてもよい。

ユーザが手書き入力領域３２３３にメモを手書きをすると、制御部は、ユーザが入力した手書きイメージを手書き入力領域３２３３に表示することができる。例えば、制御部は、ユーザがスタイラスペンや指を用いて、手書き入力領域に手書きをすると、この入力を受けることができる。

制御部は、メモウィンドウ３２３１が表示される前には、手書き入力領域３２３３に該当するタッチパネル上の領域でタッチを検出し、これに対応する機能を行ってもよい。例えば、メモウィンドウ３２３１が表示される前には、タッチパネル上の領域には、住所録アイテム３２３８、３２４０、３２４２、３２４４、３２４６が表示されてもよい。ユーザが住所録アイテム３２３８をタッチすると、制御部は、このタッチに対応して住所録アイテム３２３８の色相を変更してもよい。制御部は、前記タッチパネル領域にメモウィンドウ３２３１が表示されると、前記タッチパネル領域のタッチ入力を無視してもよい。メモウィンドウ３２３１が表示されると、ユーザは、住所録アイテム３２３８、３２４０、３２４２、３２４４、３２４６をタッチすることができない。例えば、ボタン（メニューアイテム）の上に、メモウィンドウが表示されると、前記ボタン（メニューアイテム）は、非活性化される。

メモウィンドウ３２３１が表示されると、ユーザは、手書き入力を介して実行中のアプリケーションに、コマンド及びコマンド実行に必要なデータを入力することができる。例えば、ユーザは、メモウィンドウ３２３１が表示される前には、タッチ入力により実行中のアプリケーションに、コマンド及びコマンド実行に必要なデータを入力することができる。メモウィンドウ３２３１が表示されると、ユーザは、手書き入力を介して実行中のアプリケーションに、コマンド及びコマンド実行に必要なデータを入力することができる。

手書き入力は、スタイラスペンの動きにより生成されてもよい。ユーザがスタイラスペンを用いてタッチパネルをタッチし、タッチを保持しながら、スタイラスペンを動かせると、制御部は、タッチパネルの上で移動するスタイラスペンの動きを感知することができ、これに対応してスタイラスペンの動く軌跡をタッチパネルに表示することができる。前記スタイラスペンの動く軌跡は、手書きイメージである。手書き入力は、またユーザの指の動きによって生成されてもよい。

メモウィンドウ３２３１には、ユーザが操作できるボタン３２３６が表示されてもよい。ボタン３２３６は、下位階層アプリケーションにより提供されてもよい。下位階層アプリケーションは、メモウィンドウ３３２３１に表示されるボタン３２３６のイメージを有している。前記イメージは、テキスト、イメージ又はアイコンなどとなってもよい。

制御部は、メモウィンドウに表示された前記テキスト又はイメージの上に、タッチが感知されると、前記手書き入力領域に入力された手書きイメージを認識して、前記手書きイメージを、これとマッチするテキストに変換し、前記テキストを前記アプリケーションに提供することができる。

例えば、制御部は、ユーザがボタン３２３６をタッチすると、入力された手書きイメージを認識し、前記認識の結果に従い、前記アプリケーションの機能を行うことができる。

また、制御部は、手書き入力領域３２３３に表示された手書きイメージを認識することができる。制御部は、ユーザがボタン３２３６をタッチすると、手書き入力領域３２３３に表示された手書きイメージを、認知エンジン２１０に伝達する。認知エンジン２１０は、手書きイメージを認識し、この手書きイメージをテキストに変換することができる。例えば、ユーザが手書き入力領域３２３３に手書きメモを入力すると、制御部は、手書きイメー３２３４を表示する。手書き入力領域３２３３に手書きが表示された状態で、ユーザがボタン３２３６をタッチすると、制御部は、手書きイメージ３２３４を認知エンジン２１０に伝達し、認知エンジン２１０は、手書きイメージ３２３４を認識して、「Ｍｅｒｇｅ」というテキストを制御部に提供する。認知エンジン２１０は、ソフトウェアモジュールとなってもよい。制御部は、認識された結果を下位階層アプリケーションに伝達することができる。制御部は、下位階層アプリケーションの住所録アプリケーションに、「Ｍｅｒｇｅ」機能を実行するように制御することができる。

認識された手書きイメージは、下位階層アプリケーションに特定の機能の実行を要請するコマンドとなってもよい。下位階層アプリケーションは、特定の機能を行うためのコマンドを定義し、管理することができる。認識された手書きイメージがコマンドと識別されると、制御部は、下位階層アプリケーションにおいてコマンドに対応する動作を行うように制御することができる。例えば、住所録アプリケーションは、機能を行うためのコマンドとして、「Ｄｅｌｅｔｅ」、「Ｐｒｏｆｉｌｅ」、「Ｓｙｎｃ」、「Ｍｅｒｇｅ」を定義し、管理することができる。前記コマンドは、図３２ａの第２メニュー領域に含まれているメニューアイテム３２１６、３２１８、３２２０、３２２２、３２２４、３２２６のテキストと完全にマッチしても良く、一部がマッチしてもよい。

制御部は、ユーザがボタン３２３６をタッチすると、メモウィンドウ３２３１を除去し、下位階層アプリケーションにおいて、認識の結果に対応する動作を行うように制御することができる。

図３２ｃは、本発明の一実施形態により、メモウィンドウにユーザの手書きイメージ入力を示す。
図３２ｃを参照すると、住所録領域３２７０は、タッチパネルの上に表示されてもよい。ユーザが手書き入力領域３２７２に手書きメモをすると、手書きイメージ３２７４が表示される。制御部は、手書きイメージ３２７４を認識し、下位階層アプリケーションにおいて、認識の結果に対応する動作を行うように制御することができる。

制御部は、タッチパネルの上に表示された下位階層アプリケーションが、二つのモードで動作されるように制御することができる。下位階層アプリケーションが実行されると、制御部は、下位階層アプリケーションの情報を示すグラフィックオブジェクトと、下位階層アプリケーションの機能を制御するためのボタン（メニューアイテム）とを、タッチパネルの上に表示することができる。制御部は、第１及び第２モードをサポートすることができる。制御部は、第１モードで、タッチ入力により実行されたアプリケーションの機能を制御し、一方で、制御部は、第２モードで、前記アプリケーションの実行中に、前記タッチパネルの上で発生される予め定められたジェスチャーを識別し、識別の結果に対応して手書き入力が可能なメモウィンドウを、前記アプリケーションの上に表示し、前記メモウィンドウに入力された手書きイメージを認識して、前記アプリケーションの機能を制御する。また、制御部は、前記第２モードが実行される状態では、前記第１モードが行わないように制御することができる。

図３３ａ及び図３３ｂは、本発明の一実施形態により、メモウィンドウにユーザが入力した手書きイメージを処理する動作を示す。

図３３ａを参照すると、ユーザがメモウィンドウ３３１０に手書きメモをすると、制御部は、手書きイメージ３３１１、３３１２、３３１４を表示する。ユーザがボタン３３１６をタッチすると、手書きイメージ３３１１、３３１２、３３１４が認識されてもよい。その結果、制御部は、テキスト「０１０−１２３４−１２３４」、「Ｊｏｈｎ Ｔ． Ｗ．」、「Ｃｒｅａｔｅ」を得ることができ、前記テキストを下位階層アプリケーションに提供する。前記下位階層アプリケーションは、メモウィンドウ３３１０から提供されたテキストを、下位階層アプリケーションの機能を制御するコマンド及び前記コマンドの実行のためのデータに区分けることができる。例えば、テキスト「Ｃｒｅａｔｅ」は、下位階層アプリケーションの住所録アプリケーションでコマンドとして管理される。制御部は、「Ｃｒｅａｔｅ」コマンドを実行するために、住所録アプリケーションで新たな連絡先が生成されるように制御することができる。新たな連絡先の生成のためには、電話番号と連絡先名とが必要であるので、制御部は、「０１０−１２３４−１２３４」が住所録アプリケーションに電話番号として記憶されるように制御することができる。制御部は、「Ｊｏｈｎ Ｔ． Ｗ．」が住所録アプリケーションに連絡先名として記憶されるように制御することができる。このような方式で、認識された手書きイメージは、下位階層アプリケーションにおいて、コマンド及びコマンドを実行するためのデータに分類されてもよい。

図３３ｂを参照すると、住所録領域３３２０は、タッチパネルの上に表示されてもよい。ユーザがメモウィンドウ３３２１に手書きメモをすると、制御部は、手書きイメージ３３２２、３３２４を表示する。制御部は、手書きイメージ３３２２、３３２４を、これらの入力順序によって、データ及びコマンドとして識別することができる。例えば、ユーザが手書きイメージ３３２２を先に入力し、次に手書きイメージ３３２４を入力した後、ボタン３３２６をタッチすると、制御部は、手書きイメージ３３２２をデータとして処理し、手書きイメージ３３２４をコマンドとして処理する。制御部は、手書きイメージ３３２４をコマンドとして処理するために、住所録アプリケーションに管理されているコマンドと、手書きイメージ３３２２の認識結果とを比較して、これに対応する機能が行われるように制御することができる。制御部は、タッチパネルに表示された手書きイメージ３３２２、３３２４を手書き認識して、「Ｈａｎｎａ」を「Ｆａｖｏｕｒｉｔｉｅｓ」に加えることができる。例えば、制御部は、住所録アプリケーションの「Ｆａｖｏｕｒｉｔｉｅｓ」コマンドを実行し、「Ｈａｎｎａ」をコマンド処理対象として用いる。

図３４は、本発明の一実施形態により、アラムアプリケーションが実行中の状態で、メモウィンドウを表示し、手書きイメージの入力を受ける動作を示す。

図３４を参照すると、タッチパネル３４００の上に、アルムアプリケーションが実行される画面３４０２が表示される。ユーザが、アラムアプリケーションの実行中に、予め定められたジェスチャーを入力すると、メモウィンドウ３４１０がタッチパネル３４００の上に表示される。ユーザがメモウィンドウ３４１０に、スタイラスペンを用いて、手書きイメージ３４１２、３４１４を入力すると、制御部は、入力された手書きイメージ３４１２、３４１４を表示することができる。例えば、ユーザがメモウィンドウ３４１０に、「ＡＭ７：００」、「Ａｄｄ ａｌａｒｍ」を手書きで入力すると、制御部は、手書きイメージ３４１２、３４１４をメモウィンドウ３４１０に表示する。ユーザがボタン３４１６をタッチすると、制御部は、手書きイメージ３４１２、３４１４が認識されるように制御することができる。制御部は、認識された結果をアラムアプリケーションに伝達し、アラムアプリケーションがＡＭ７：００時にアラムを発生するように制御することができる。また、制御部は、手書きイメージ３４１２をデータとして、手書きイメージ３４１４をコマンドとして、別途に処理することができる。コマンドは、アラムアプリケーションで予め決められて管理されてもよい。

図３５は、本発明の一実施形態により、ギャラリーアプリケーションが実行中の状態で、メモウィンドウが表示され、手書きイメージの入力によるコマンドを実行する動作を示す。

図３５を参照すると、ギャラリーアプリケーションが、タッチパネルの上に表示される。前記ギャラリーアプリケーションは、イメージファイルを画面に表示するアプリケーションである。ギャラリーアプリケーションが実行中の状態で、ユーザが予め定められたジェスチャーを入力すると、制御部は、メモウィンドウ３５１０をギャラリーアプリケーションが表示された画面の上に表示する。ユーザが、メモウィンドウ３５１０に手書きメモを入力し、ボタン３５１６をタッチすると、制御部は、入力された手書きイメージ３５１２、３５１４を認識し、手書きイメージ３５１２、３５１４をテキストに変換する。制御部は、入力された手書きイメージ３５１２は、データとして処理し、手書きイメージ３５１４は、コマンドとして処理することができる。

例えば、ユーザがギャラリーアプリケーションを実行して、イメージ３５０７をタッチパネルの上に表示する。この状態で、メモウィンドウ３５１０が起動される。ユーザがメモウィンドウ３５１０に手書きをして、「Ｇａｌｌｅｒｙ ２」、「Ｍｏｖｅ ｔｏ Ｆｏｌｄｅｒ」を入力すると、制御部は、ギャラリーアプリケーションで表示中のイメージ３５０７を、「Ｇａｌｌｅｒｙ ２」フォルダへ動かす。制御部は、ユーザが手書きした順序に応じて、手書きイメージをデータとコマンドと分けて処理してもよい。また、制御部は、ユーザが入力した手書きイメージの認識から得られたテキストが、アプリケーションで管理中のコマンドと完全にマッチするか、一部がマッチする場合、前記テキストをコマンドとして処理してもよい。

図３６ａ及び図３６ｂは、本発明の一実施形態により、手書き入力によりコマンドを実行するアプリケーションを示す。
図３６ａを参照すると、タッチパネル３６００の上に連絡先（連絡をもらう人）についての情報を入力及び編集するための領域３６１０及び前記連絡先の呼び出しに用いられるシンボルを手書き入力するための領域３６２０が表示される。

連絡先についての情報は、連絡先名３６０２、連絡先の写真３６０４、携帯電話番号３６０６及びワークフォン番号３６０８から構成されてもよい。ユーザが連絡先についての情報を予め入力した場合には、連絡先についての情報が、タッチパネル３６００に表示されてもよい。ユーザが連絡先についての情報を予め入力しなかった場合には、連絡先についての情報が空欄となってもよい。

ユーザは、連絡先についての情報を領域３６１０に入力又は編集し、連絡先を呼び出すためのシンボルを領域３６２０に手書きイメージとして入力することができる。例えば、ユーザが、連絡先を呼び出すために、手書きイメージとして、「ハート」シンボル３６２２を入力することができる。

図３６ｂを参照すると、タッチパネル３６５０の上にキーパッド３６５６が表示される。キーパッドは、住所録アプリケーションの一部であってもよい。ユーザが住所録アプリケーションの実行中に、「Ｓａｍｕｅｌ」に電話をかけるために、キーパッドメニュー３６６０を選択すると、制御部は、タッチパネル３６５０にキーパッド３６５６が表示されるように制御する。ユーザは、予め定められたジェスチャーを介してメモウィンドウ３６５２を呼び出すことができる。その後、ユーザが、メモウィンドウ３６５２に、スタイラスペンを用いて特定の模様を手書きで入力すると、制御部は、特定の模様を認識する。制御部は、特定の模様を認識した結果を、住所録アプリケーションに伝達する。住所録アプリケーションは、住所録データベースにおいて特定の模様に関するデータを含む連絡先を検索することができる。制御部は、特定の模様についてのデータを含む連絡先へ電話をかけることができる。

例えば、ユーザがメモウィンドウ３６５２に「ハート」３６５４を描くと、制御部は、「ハート」３６５４を認識し、「ハート」３６５４を含む連絡先「Ｓａｍｕｅｌ」の電話番号を検索することができる。また、制御部は、検索結果によって、「ハート」３６５４を含む連絡先「Ｓａｍｕｅｌ」に電話をかけることができる。

図３７ａ及び図３７ｂは、本発明の一実施形態により、下位階層アプリケーションと、メモ階層（メモウィンドウ）アプリケーションとに含まれるソフトウェアモジュールを示す。

タッチを感知するタッチパネルを含む電子装置において、アプリケーションを実行すると、実行中のアプリケーションに関する情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンが、前記タッチパネルの上に表示される。

前記ボタンの上にタッチが感知されると、制御部は、前記ボタンに対応する前記アプリケーションの機能を制御することができる。前記タッチパネルの上に、予め定められたジェスチャーが感知されると、前記タッチパネルに表示されたグラフィックオブジェクト及び前記ボタンの上にメモウィンドウを表示することができる。前記メモウィンドウは、手書き入力領域及び手書き入力が不可能な領域に分けられる。前記アプリケーションは、ソフトウェアモジュールを含んでいるが、ソフトウェアモジュールには、前記メモ階層（メモウィンドウ）を表示するのに必要なパラメータが定義されている。

前記パラメータは、前記アプリケーション実行の際、メモリ（図示せず）の特定の領域に格納され、メモウィンドウの名称を示すテキスト及び前記メモウィンドウに表示されたボタンイメージとして用いられる。

図３７ａを参照すると、下位階層アプリケーションに含まれているソフトウェアモジュール３７１０が示されている。ソフトウェアモジュール３７１０は、モジュール名３７１２、ソフトウェアモジュール３７１０に用いられる各種パラメータ３７１４、３７１６、３７１８を定義する。下位階層アプリケーションが実行されると、メモリ（図示せず）の一部が、下位階層アプリケーションのために割り当てられてもよい。前記メモリの一部領域には、パラメータ３７１４、３７１６、３７１８として用いられるデータが格納されてもよい。

図３７ｂを参照すると、メモウィンドウを表示するためのソフトウェアモジュール３７２０が示されている。ソフトウェアモジュール３７２０は、メモウィンドウを表示するのに用いられるパラメータ３７２２、３７２４、３７２６を定義する。パラメータ３７２２、３７２４、３７２６は、下位階層アプリケーションのソフトウェアモジュール３７１０に含まれているパラメータ３７１４、３７１６、３７１８と同様である。例えば、メモウィンドウの表示に、下位階層アプリケーションのソフトウェアモジュール３７０に定義されているパラメータ３７２２、３７２４、３７２６を用いてもよい。

例えば、ソフトウェアモジュール３７１０に、パラメータとして、ＳＴＲＩＮＧ ＴＩＴＬＥ３７１４、ＢＩＴＭＡＰ＿ＢＴＮ＿ＰＲＥＳＳＥＤ３７１８、ＢＩＴＭＡＰ＿ＢＴＮ＿ＮＯＮ３７１６が定義されている。

ＳＴＲＩＮＧ＿ＴＩＴＬＥ３７１４には、メモウィンドウのタイトルを表示するのに用いられるテキストデータが格納されている。
ＢＩＴＭＡＰ＿ＢＴＮ＿ＰＲＥＳＳＥＤ３７１８、ＢＩＴＭＡＰ＿ＢＴＮ＿ＮＯＮ３７１６には、メモウィンドウにおけるボタンを表示するのに用いられるイメージデータが格納されている。

制御部は、タッチパネルの上に、メモウィンドウを表示するために、メモ階層のための別途のメモリ領域に格納されているデータを用いることができる。制御部は、下位階層アプリケーションのために割り当てられたメモリ領域でパラメータ３７１４、３７１６、３７１８を読取り、前記パラメータをメモウィンドウの表示に用いることができる。

前述の説明から明らかなように、本発明の実施形態では、多様なアプリケーションの上でメモ機能をサポートして、当該アプリケーションを直観的に制御できるようにすることで、ユーザの便宜性を向上することができる。

前述のようなシナリオは、画面の上にメモ階層を起動して、前記メモ階層の上に情報を手書き入力すると、ユーザ端末は、前記情報を認識し、この情報に対応する動作を行うことが特徴である。このために、画面の上にメモ階層を起動するための技術を付加的に明記するのが好ましい。

例えば、メモ階層を起動する方案としては、メニューボタン、特定のジェスチャー入力、ペンにあるボタンを押した状態、又は指などで画面を上下の方向にスクロールする動作により、現在の画面の上にメモが可能な階層を起動してもよい。本発明の実施形態では、メモ階層を起動する例示のうちの一つとして、画面を上方にスクロールする方案を提案しているが、多様な他の方案も利用できることは、自明である。

前述した本発明の実施形態は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせの形態で実現可能であることが分かる。このようなソフトウェアは、例えば、削除可能又は再記録可能の可否と関係なく、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納装置のような揮発性又は非揮発性格納装置、又は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、メモリチップ、装置又は集積回路のようなメモリ、又は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、磁気ディスク又は磁気テープなどのような光学又は磁気的に記録可能であると同時に、機械（例えば、コンピュータ）で読み取れる格納媒体に格納することができる。

また、本発明の実施形態により、手書きイメージ認識によるアプリケーションの制御は、制御部及びメモリを含むコンピュータ又は携帯端末により実現することができ、前記メモリは、本発明の実施形態を実現する指示を含むプログラム又はプログラムを格納するのに適切な機械で読み取れる格納媒体の一例であることが分かる。したがって、本発明の実施形態は、本明細書の任意の請求項に記載の装置又は方法を実現するためのコードを含むプログラム及びこのようなプログラムを格納する機械（コンピュータなど）で読み取れる格納媒体を含む。また、このようなプログラムは、有線又は無線の連結を介して伝達される通信信号のような任意の媒体を介して電子的に移送されることができ、本発明の実施形態は、これと均等なものを適切に含む。

前記手書きイメージ認識を用いたアプリケーションの制御方法及び装置は、例えば、有線又は無線で連結されるプログラム提供装置から前記プログラムを受信及び格納することができる。本発明の実施形態によると、前記プログラム提供装置は、前記グラフィック処理装置が、既に設定されたコンテンツ保護方法を行うようにする指示を含むプログラム、コンテンツ保護方法に必要な情報などを格納するためのメモリと、前記グラフィック処理装置との有線又は無線通信を行うための通信部と、前記グラフィック処理装置の要請又は自動で当該プログラムを前記送受信装置へ伝送する制御部とを含んでもよい。

例えば、前述の本発明の実施形態では、ユーザインターフェースを構成する認知エンジンにより認識された結果に基づいて、ユーザの意図を分析して、これに異なる処理結果をユーザに提供する全ての機能が、ユーザ端末内で処理されることを仮定している。

しかし、本発明の実施形態のために必要な機能は、ユーザ端末がネットワークを介してアクセス可能なサーバとの連動により行われることができる。一例として、ユーザ端末に備えられた認知エンジンでの認識結果を、ネットワークを介して特定のサーバに提供し、前記特定のサーバにおいて、ユーザ端末から提供された認識結果に基づいて、ユーザの意図を把握して、その結果をユーザ端末に提供することができる。提供された認識結果のみでユーザの意図を把握するか、把握したユーザの意図を処理するために、追加情報が必要な場合、ユーザ端末との問答手続きを行って、必要な追加情報を提供されることも可能である。

その上、ユーザは、ユーザ端末の設定を調整して、本発明の実施形態による動作をユーザ端末内に限定するか、ネットワークを通じたサーバとの連動で拡張することを選択的に利用することもできる。

本発明は、特定の実施形態を参照して説明したが、これは、添付の特許請求の範囲及びそれに均等したものにより定められた本発明の思想及び範囲を逸脱することなく、形態及び細部に多様な変更が可能であることは、当業者により理解されるはずである。

１１０ アプリケーション実行部
１２０ コマンド処理部
１３０ タッチパネル部
２１０ 認知エンジン
２１２ 認知管理モジュール
２１４ 遠隔認知クライアントモジュール
２１６ 地域認知モジュール
２１５−１ 手書き認知ブロック
２１５−２ 光文字認識ブロック
２１５−３ オブジェクト認知ブロック
２２０ ＮＬＩエンジン
１８１０ 下位階層アプリケーション駆動エンジン
１８２０ メモ階層アプリケーション駆動エンジン

Claims (15)

1. タッチパネルを含む電子装置におけるアプリケーションの制御方法であって、
   実行されたアプリケーションを前記タッチパネルの上に表示するステップと、
   予め定められたユーザ入力を感知するステップと、
   前記感知されたユーザ入力に応答して、前記アプリケーションの上にメモウィンドウを表示するステップと、前記メモウィンドウは、手書き入力領域と、手書き入力が不可能な領域とを含み、
   前記メモウィンドウの手書き入力領域に手書きイメージを受信するステップと、
   前記受信された手書きイメージを認識するステップと、
   を含む、方法。
2. 前記ユーザ入力は、前記タッチパネル上のジェスチャー、前記タッチパネル内の仮想ボタン上のタッチ及び物理的ボタンのユーザ選択のうちの一つである、請求項１に記載の方法。
3. 前記アプリケーションから受信された少なくとも一つのテキスト及びイメージは、前記メモウィンドウの前記手書き入力が不可能な領域に表示される、請求項１に記載の方法。
4. 前記手書き入力が不可能な領域の上にタッチが感知されると、前記メモウィンドウは、手書き入力領域に入力される前記手書きイメージを認識し、前記認識された手書きイメージとマッチするテキストに変換し、前記テキストを前記アプリケーションに提供する、請求項３に記載の方法。
5. 前記メモウィンドウから受信されたテキストを、前記アプリケーションの機能を制御するためのコマンド及び前記コマンドと関連付いたデータに分けるステップをさらに含む、請求項４に記載の方法。
6. タッチパネルを含む電子装置におけるアプリケーションの制御方法であって、
   実行されたアプリケーションと関連付いた情報を示すグラフィックオブジェクト及びアプリケーションの機能を制御するためのボタンを、前記タッチパネルの上に表示するステップと、
   前記ボタンの上にタッチが感知されると、前記ボタンに対応する前記アプリケーションの機能を制御するステップと、
   前記タッチパネルの上に予め定められた入力が感知されると、少なくとも一つの前記グラフィックオブジェクト及び前記ボタン上のメモウィンドウを、前記タッチパネルの上に表示するステップと、前記メモウィンドウは、手書き入力領域と、手書き入力が不可能な領域とを含み、
   前記メモウィンドウの手書き入力領域に手書きイメージを受信するステップと、
   前記受信された手書きイメージを認識するステップと、
   認識の結果に従い、前記アプリケーションの機能を制御するステップと、
   を含む、方法。
7. 前記ボタンの上に前記メモウィンドウが表示されると、前記ボタンは非活性化される、請求項６に記載の方法。
8. タッチパネルを含む電子装置におけるアプリケーションの制御方法であって、
   第１モードで、タッチ入力が感知されると、実行されたアプリケーションの機能を制御するステップと、
   第２モードで、前記アプリケーションの実行中に前記タッチパネル上の予め定められた入力を識別し、識別された入力に従い、手書き入力が可能なメモウィンドウを、前記アプリケーションに表示し、前記メモウィンドウに入力された手書きイメージを認識し、前記認識された手書きイメージに従い、前記実行されたアプリケーションの機能を制御するステップと、
   を含む、方法。
9. 前記第２モードの状態では、前記第１モードが行われないようにする、請求項８に記載の方法。
10. タッチを感知するタッチパネルと、
    実行されたアプリケーションを前記タッチパネルに表示し、前記タッチパネルから感知された予め定められた入力に応答して、前記アプリケーションにメモウィンドウを表示し、前記メモウィンドウは、手書き入力領域と、手書き入力が不可能な領域とを含み、前記メモウィンドウの手書き入力領域に手書きイメージを認識し、認識の結果に従い、前記アプリケーションの機能を制御する制御部と、
    を含む、電子装置。
11. 前記制御部は、前記メモウィンドウの前記手書き入力が不可能な領域に、前記アプリケーションから提供されたテキスト及びイメージのうちの少なくとも一つが表示されるように制御し、前記手書き入力が不可能な領域の上にタッチが感知されると、前記制御部は、手書き入力領域に入力された手書きイメージを認識し、前記手書きイメージとマッチするテキストに変換し、前記テキストに対応する前記アプリケーションの機能を制御する、請求項１０に記載の電子装置。
12. 前記制御部は、前記テキストを、前記アプリケーションの機能を制御するコマンド及び前記コマンドと関連付いたデータとに分ける、請求項１１に記載の電子装置。
13. タッチを感知するタッチパネルと、
    実行されたアプリケーションと関連付いた情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンを、前記タッチパネルの上に表示し、前記ボタンの上にタッチが感知されると、前記ボタンに対応する前記アプリケーションの機能を制御し、前記タッチパネルに予め定められた入力が感知されると、少なくとも一つのグラフィックオブジェクト及びボタン上のメモウィンドウを、前記タッチパネルに表示し、前記メモウィンドウは、手書き入力領域と、手書き入力が不可能な領域とを含み、前記メモウィンドウの手書き入力領域に入力された手書きイメージを認識し、認識の結果に従い、前記アプリケーションの機能が行われるように制御する制御部と、
    を含む電子装置。
14. タッチを感知するタッチパネルと、
    タッチ入力が感知されると、実行されたアプリケーションの機能を制御する第１モードで動作され、前記アプリケーションの実行中に、前記タッチパネル上の予め定められた入力を識別し、識別された入力に従い、手書き入力が可能なメモウィンドウを、前記アプリケーションに表示し、前記メモウィンドウに入力された手書きイメージを認識し、前記認識された手書きイメージに応じて、前記実行されたアプリケーションの機能を制御する第２モードで動作される制御部と、
    を含む電子装置。
15. タッチを感知するタッチパネルと、
    実行されたアプリケーションと関連付いた情報を示すグラフィックオブジェクト及び前記アプリケーションの機能を制御するためのボタンを、前記タッチパネルの上に表示し、前記ボタン上にタッチが感知されると、前記ボタンに対応するアプリケーションの機能が行われるように制御し、前記タッチパネルの上に、予め定められた入力が感知されると、前記グラフィックオブジェクト及び前記ボタンが表示される画面に、手書き入力が可能なメモウィンドウを表示し、前記メモウィンドウに入力された手書きイメージを認識し、認識の結果に従い、前記アプリケーションの機能が行われるように制御する制御部と、
    を含む、電子装置。

Images