以下、実施の形態について図面を参照して説明する。
図1は、実施形態に係る電子機器の外観を示す斜視図である。電子機器は、例えば、ペンまたは指によって手書き文字を入力可能な携帯型電子機器である。電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、電子機器がタブレットコンピュータ10として実現されている場合を想定する。タブレットコンピュータ10は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図1に示すように、本体11とタッチスクリーンディスプレイ17とを備える。タッチスクリーンディスプレイ17は、本体11の上面に重ね合わせるように取り付けられている。
本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上に対するペンまたは指による指定位置を検出するように構成されたセンサ(位置検出デバイス)とが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置(LCD)であってもよい。センサ(位置検出デバイス)としては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができ、ペンまたは指が接触あるいは近接した位置を検出する。以下では、デジタイザとタッチパネルの2種類のセンサの双方がタッチスクリーンディスプレイ17に組み込まれている場合を想定する。
デジタイザ及びタッチパネルの各々は、フラットパネルディスプレイの画面を覆うように設けられる。タッチスクリーンディスプレイ17は、指を使用した画面に対するタッチ操作のみならず、ペン100を使用した画面に対するタッチ操作も検出することができる。ペン100は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト(ペン100又は指)を使用してタッチスクリーンディスプレイ17上で手書き入力操作が可能である。タッチスクリーンディスプレイ17上で手書き入力操作がされると、画面上の外部オブジェクト(ペン100又は指)の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡(軌跡)がリアルタイムで表示される。1ストロークの軌跡は、外部オブジェクトが画面に接触している間の、外部オブジェクトが接触している位置(座標)の変化に相当する。手書き文書は、通常、手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡(筆跡軌跡)の集合により構成される。
本実施形態のタブレットコンピュータ10(電子機器)は、手書き入力されたストロークのデータを、イメージデータではなく、各ストロークの軌跡を示す座標データ系列とストローク間の順序関係を示す時系列情報(ストローク情報)として記録する。時系列情報は、複数のストロークのそれぞれ対応する時系列の座標データ(座標データ系列)の集合(ストロークデータ系列)を意味する。ストローク間の順序関係は、ストロークが手書きされた順序、つまり筆順を示す。
タブレットコンピュータ10は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまり時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。
本実施形態では、例えば時系列情報(ストロークデータ系列)をページ単位で管理する。タブレットコンピュータ10は、少なくとも1ページ分のページデータを含むノートファイルによりデータ管理する。なお、ページデータには、時系列情報(ストロークデータ系列)だけでなく、画像データやテキストデータを含めることができる。また、タブレットコンピュータ10は、時系列情報(ストロークデータ系列)を他のデータと関連づけて管理することができる。他のデータには、例えば日時を示す日時データ、画像やテキストデータ、タグデータなどがある。
図2は、実施形態におけるタブレットコンピュータ10のシステム構成を示す図である。
タブレットコンピュータ10は、図2に示されるように、CPU101、システムコントローラ102、メインメモリ103、グラフィクスコントローラ105、BIOS−ROM105、記録デバイス106、無線通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
CPU101は、タブレットコンピュータ10内の各種モジュールの動作を制御するプロセッサである。CPU101は、記録デバイス106からメインメモリ103にロードされる各種プログラムを実行する。CPU101により実行されるプログラムには、オペレーティングシステム(OS)201、手書き入力プログラム202などの各種アプリケーションプログラムが含まれている。アプリケーションプログラム203には、例えば手書き文字認識プログラム、ブラウザプログラム、画像編集プログラム、文書作成プログラムなどが含まれる。
CPU101は、手書き入力プログラム202を実行することにより、ペン100を用いた手書き入力操作に応じてノートデータ(ページデータ(時系列情報))を生成する機能、ノートファイルに含まれるページを編集するページ編集機能の他、ノートファイル(あるいはページ)の作成と編集に関係する各種機能を実現する。
また、CPU101は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、メインメモリ103をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ102は、シリアルバスなどを介してグラフィクスコントローラ104との通信を実行する機能も有している。
グラフィクスコントローラ104は、タブレットコンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。グラフィクスコントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。LCD17A上には、位置検出デバイスとして、タッチパネル17B及びデジタイザ17Cが配置されている。タッチパネル17Bは、LCD17Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び接触位置の動き等はタッチパネル17Bによって検出される。デジタイザ17CはLCD17Aの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン100が接触される画面上の接触位置及び接触位置の動き等はデジタイザ17Cによって検出される。
無線通信デバイス107は、無線LANまたは3G移動通信などの無線通信を実行するように構成されたデバイスである。
EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ10を電源オンまたは電源オフする機能を有している。
次に、本実施形態における手書き入力プログラム202により実現される機能構成について、図3を参照しながら説明する。CPU101は、手書き入力プログラム202を実行することにより、入力判別部30、データ生成部40、表示処理部50等の機能を実現する。
入力判別部30は、ペン100や指などを用いた入力操作に応じて、タッチスクリーンディスプレイ17により検出される画面上の接触位置及び接触位置の動きを示すデータを入力する。入力判別部30は、表示処理部50がLCD17Aに表示するユーザインタフェース画面に基づいて、データ生成部40によるノートデータ(ページデータ)などを生成するためのデータが入力されたか、あるいは表示処理部50により表示されるユーザインタフェース画面に対する操作(ジェスチャ操作等)を示すデータが入力されたかを判別する。
データ生成部40は、表示処理部50がLCD17Aに表示する各種機能用のユーザインタフェース画面を通じて入力されるストロークデータをもとに、各種データを生成する。データ生成部40は、ノートデータ生成部40A、タイムラインデータ生成部40B、スクラップノートデータ生成部40C、タグデータ生成部40Dを含む。
ノートデータ生成部40Aは、ノートビュー表示部50D(後述する)により表示される画面(ノートビュー画面)を通じて入力されるストロークデータをもとに、ノートファイルに含まれるページ単位でページデータを作成する。ノートデータ生成部40Aは、複数のノートファイルをノートデータ60Aとして記録デバイス106に記録する。また、ノートデータ生成部40Aは、ページに関する各種情報、例えば作成日時、更新日時、アクセス日時、タグの有無(種類)、ファイルロック、テンプレート種類、用紙設定などの情報を、それぞれのページと対応づけてノートデータ60Aとして記録する。
タイムラインデータ生成部40Bは、タイムラインノート表示部50F(後述する)により表示される画面(タイムラインノート画面)を通じて入力されるストロークデータをもとに、ページデータと日時データとを対応づけたタイムラインデータ60Bを生成して、記録デバイス106に記録する。
スクラップノートデータ生成部40Cは、手書き入力プログラム202とは別のアプリケーションプログラム203(例えばブラウザプログラム、画像編集プログラム、文書作成プログラムなど)と連携し、スクラップノート表示部50G(後述する)により表示される画面を通じて、アプリケーションプログラム203により表示される画面からユーザが指定する画面全体あるいは画面一部の画像を記録するスクラップノートデータ60Cを生成して、記録デバイス106に記録する。アプリケーションプログラム203により表示される画面は、そのアプリケーションプログラム203の種別に応じたコンテンツである。コンテンツは、タブレットコンピュータ10のタッチスクリーンディスプレイ17に表示可能なものであれば良く、例えば、Webページ、画像、動画、文書、プレゼンテーション資料、新聞、雑誌等である。スクラップノートデータ60cは、スクラップノート表示部50Gによるスクラップノート画面の表示に用いられ、スクラップノート画面を通じてページデータにインポートすることができる。
タグデータ生成部40Dは、タグ処理画面表示部50N(後述する)を通じて入力されるストロークデータをもとに、タグデータ60Dを生成して、記録デバイス106に記録する。
表示処理部50は、各種機能に応じたユーザインタフェース画面をLCD17Aに表示する。表示処理部50は、ユーザインタフェース画面に対する操作、例えばオブジェクト(ノートアイコン、ページ、ボタンアイコン、ガジェットアイコン等)の選択操作やページの編集操作などに応じた表示処理をする。表示処理部50は、デスクトップ/ドロア表示部50A、デスクトップノート表示部50B、簡易ページ一覧表示部50C、ノートビュー表示部50D、ノートプロパティ表示部50E、タイムラインノート表示部50F、スクラップノート表示部50G、検索画面表示部50H、参照画面表示部50M、タグ処理画面表示部50Nを含む。
デスクトップ/ドロア表示部50Aは、手書き入力プログラム202による基本画面であるデスクトップ/ドロア画面を表示する。デスクトップ/ドロア表示部50Aは、デスクトップ/ドロア画面において、ページを含むノートファイルに対応するノートアイコンを表示する。デスクトップ/ドロア表示部50Aは、デスクトップ/ドロア画面に、作成済みのノートファイルを表すノートアイコンを表示するためのストレージ領域と、ストレージ領域から移動された作業中のノートファイルを表すノートアイコンを表示するためのテンポラリ領域とを設け、それぞれにノートアイコンを表示する(詳細については後述する)。ストレージ領域とテンポラリ領域には、それぞれ複数のノートアイコンを表示することができる。デスクトップ/ドロア表示部50Aは、テンポラリ領域あるいはストレージ領域に表示されたノートアイコンを指定する入力操作があった場合に、この入力操作に応じてノートアイコンを選択し、このノートアイコンをノートファイルのページを操作可能な形態(デスクトップノート画面)へ移行させる遷移画像を表示する。また、デスクトップ/ドロア表示部50Aは、ストレージ領域の表示範囲を拡大して、ノートアイコンをグリッド状に配置したグリッド表示に切り替えることができる。
デスクトップノート表示部50Bは、デスクトップ/ドロア画面において選択したノートアイコンに対応するノートファイルについて、ページ編集をするためのデスクトップノート画面を表示する。ページ編集には、例えば閲覧対象とするページへの表示切り替え(ページ送り、ページ戻し)、ページ挿入(追加)、ページコピー/ペーストなどがある。また、デスクトップノート表示部50Bは、デスクトップノート画面に、他の機能に移行するための複数の機能アイコンや複数のボタンアイコンを表示する。機能アイコンには、例えばノートデータ生成機能に移行するためのペンアイコン、タイムラインノート機能に移行するためのカレンダーアイコン、スクラップノート機能に移行するためのスクラップノートアイコン、タグ機能に移行するためのタグアイコンなどを含む。
簡易ページ一覧表示部50Cは、デスクトップ/ドロア画面のストレージ領域(グリッド表示)に表示するノートアイコンが入力操作によって指定された場合に、この指定されたノートアイコンに対応するノートファイルに含まれるページを一覧表示する簡易ページ一覧画面を表示する。
ノートビュー表示部50Dは、ノートデータ生成機能の実行時に、ノートファイルに含まれるページのデータを編集するためのノートビュー画面を表示する。ノートビュー表示部50Dは、例えば簡易ページ一覧画面中からのページ選択、デスクトップノート画面におけるページ選択や機能アイコン(ペンアイコン)やボタンアイコンの選択に応じて、ノートビュー画面を表示する。ノートビュー画面では、ページ単位に、ペン100を用いた手書き入力操作に応じたストロークデータの他、他のアプリケーションプログラムにより作成された画像データやテキストデータ、スクラップノート機能により作成されたスクラップノートから選択したデータ等を入力する。ノートビュー表示部50Dは、ノートビュー画面において、ストロークデータを入力するための各種ツールを提供する。例えば、ペン100を用いた入力操作に応じて表示するストローク(軌跡)の太さや色、表示されたストローク(軌跡)を消去する消しゴムの太さなどを設定する設定ツールを提供する。
ノートプロパティ表示部50Eは、デスクトップノート画面において、例えばボタンアイコンの選択によりノートファイルのプロパティ表示が指示された場合に、ページ編集の対象としているノートファイルについてのプロパティを表示するノートプロパティ画面を表示する。
タイムラインノート表示部50Fは、デスクトップノート画面において、機能アイコン(カレンダーアイコン)が選択された場合に、タイムラインデータ機能により日時データとページデータとを対応づけたタイムラインデータを生成するためのタイムラインデータ画面を表示する。
スクラップノート表示部50Gは、連携するアプリケーションプログラム203が起動された場合に、アプリケーションプログラム203が表示す画像をキャプチャした画面を表示し(キャプチャモード)、スクラップノートデータ60Cに追加する画面全体あるいは画面一部の画像をユーザ操作に応じて選択(クリップ)する画面を表示する。スクラップノートデータ60Cに追加する画像には、ペン100を用いた手書き入力操作によって、手書き文字等(ストロークデータ系列)を追加することができる。また、スクラップノート表示部50G、デスクトップノート画面において、機能アイコン(スクラップノートアイコン)が選択された場合に、スクラップノートデータ60Cをもとにスクラップノート画面を表示する。スクラップノート表示部50Gは、スクラップノートデータ60Cに含まれる画像を一覧表示し、この一覧中から選択された画像をページに貼り付けることができる。
検索画面表示部50Hは、デスクトップ/ドロア画面、デスクトップノート画面、ノートビュー画面等において表示される検索アイコンが選択された場合に、検索機能によりノートファイルあるいはページを検索するための検索画面を表示する。検索画面では、例えば、ペン100を用いた手書きによって、検索キーとするストローク系列を入力することができる。
参照画面表示部50Mは、検索機能によって検索キー(ストローク系列)をもとに検索されたページを表示する。参照画面表示部50Mは、例えば検索キーに該当するストローク系列を含むページをサムネイル一覧により表示し、またサムネイル一覧から指定されたページを拡大表示することができる。また、参照画面表示部50Mは、サムネイルあるいはページの表示画面において、検索キーに該当するストローク系列部分を、ハイライト表示するなどの他の部分とは異なる形態により表示する。また、参照画面表示部50Mは、ノートアイコンあるいはページの一覧表示において、ユーザに指定された属性データ(例えば、作成日、更新日、検索キーとの類似度、最終閲覧日、表示回数など)に応じて、ノートアイコンあるいはページをソートして一覧表示することができる(ソート機能)。また、参照画面表示部50Mは、ノートアイコンあるいはページの一覧表示において、ユーザが指定する条件に該当するノートアイコンあるいはページのみを特定して表示することができる(フィルタ機能)。フィルタ機能では、例えばユーザが属性データ(例えば、ページに付加されたタグの種類など)を指定すると、属性データに該当するノートアイコンあるいはページのみをノートデータ60Aから抽出して表示する。
タグ処理画面表示部50Nは、デスクトップノート画面において、機能アイコン(タグアイコン)が選択された場合に、ページ編集の対象としているページにタグを付加する画面表示をする。例えば、タグ処理画面表示部50Nは、デスクトップノート画面に表示されたページの予め決められた位置にタグを表す画像(例えば長方形のページ表示とは異なる色の画像)を付加する。また、タグ処理画面表示部50Nは、メニュー中のタグアイコンボタンが選択された場合に、複数の種類の異なるタグを一覧表示するタグメニューを表示する。タグメニューには、例えば表示色の異なる複数のタグを表示する。タグ処理画面表示部50Nは、タグメニュー中から選択されたタグをページに付加し、ページに付加されたタグを剥がす操作に応じて、タグをメニューに戻す画面を表示する。また、タグ処理画面表示部50Nは、メニュー中のタグに対して手書き入力された文字等を表すストローク系列に応じて、タグにストローク(筆跡)を表示する。
次に、本実施形態におけるタブレットコンピュータ10の動作について説明する。まず、デスクトップ/ドロア表示部50Aによるデスクトップ/ドロア画面の表示処理について説明する。
表示処理部50は、手書き入力プログラム202が起動されると、デスクトップ/ドロア表示部50Aによりデスクトップ/ドロア画面をLCD17Aに表示する。
図4は、実施形態のデスクトップ/ドロア画面のノートファイルが作成されていない初期状態の表示例を示す図である。
デスクトップ/ドロア画面には、作成済みのノートファイルを表すノートアイコンを表示するためのストレージ領域71と、作業中のノートファイルを表すノートアイコンを表示するためのテンポラリ領域70が設けられている。また、デスクトップ/ドロア表示部50Aは、デスクトップ/ドロア画面に応じた複数のボタンアイコン72A,72B,72C,72D,72E(コンテキストボタン)をデスクトップ/ドロア画面の下部のシステムバー72内に表示する。なお、各ボタンアイコン72A〜72Dに対応する機能については後述する。
テンポラリ領域70には、ノートデータ生成機能によって生成されたページを含むノートファイルのノートアイコンが表示される。図4に示す例では、4つのノートアイコンを表示するノートアイコン領域781,782,783,784が設けられている。テンポラリ領域70は、所定の操作により表示範囲を拡張して、4つ以上のノートアイコンを表示することができる。
ストレージ領域71には、5つのノートアイコンを表示する第1領域751、第2領域752、第3領域753、第4領域754、及び第5領域755が設けられている。中央に配置された第1領域751は、予めノートファイルの編集場所として決められた位置を表している。第1領域751は、ストレージ領域71あるいはテンポラリ領域70から選択された編集対象とするノートアイコンの移動先となる。第1領域751に移動されたノートアイコンは、ノートファイルのページを操作可能な形態へ移行される。
他の4つの第2領域752〜第5領域755には、ストレージ領域71から指定されたノートアイコンを移動させることができる。ストレージ領域71では、表示画面の正方向に合わせて、ノートアイコンをグリッド状に整列して表示するのに対し、テンポラリ領域70では、4つの第2領域752〜第5領域755を表示画面の正方向に対して傾いた状態でノートアイコンを表示する。すなわち、テンポラリ領域70では、ノートアイコンは、作業中であることをユーザが直感的に認識できるように、乱雑な印象を与える配置にしている。
また、テンポラリ領域70の第1領域751の周辺には、複数の機能アイコン、例えばペンアイコン771、カレンダーアイコン772、スクラップノートアイコン773、タグアイコン774が表示されている。
ペンアイコン771は、ノートデータ生成機能への移行を指示するためのもので、ノートデータ生成機能を利用して手書き入力することを直感的に認識できるようにペン形状により表示される。
カレンダーアイコン772は、タイムラインノート機能への移行を指示するためのもので、アイコン中に年月日曜日を表す文字が表示される。
スクラップノートアイコン773は、スクラップノート機能への移行を指示するためのもので、スクラップノート機能によりスクラップノートデータ60Cに追加された画像等がサムネイルにより表示される。
タグアイコン774は、タグ機能の実行を指示するためのもので、タグを表すように長方形により表示される。図4に示す例では、タグアイコン774は、2枚のそれぞれ異なる色のタグが含まれる。
なお、デスクトップ/ドロア画面では、第1領域751の周囲に配置された機能アイコンを利用できないものとする。デスクトップ/ドロア画面からデスクトップノート画面に移行する場合、デスクトップ/ドロア画面中の第1領域751と第1領域751の周囲に配置された機能アイコンを含む範囲が拡大されてデスクトップノート画面として表示される。機能アイコンは、デスクトップノート画面において、拡大表示された状態において利用できる。
図5及び図6は、デスクトップ/ドロア画面において表示されるノートアイコンの表示形態を説明するための図である。
実施形態では、実物のノート(クリアファイル)に書類(ページ)を綴じた状態を図形化したノートアイコンを用いる。図5は、ノート80を開いて、バインドするページ90を露出させた状態を示している。図6は、ノート80の表シート82を閉じた状態を示している。図6は、ノート80の表シート82が透明であるため、バインドした先頭ページの記載内容(手書き入力された筆跡など)が透けて見えていることを表している。表シート82の表面上端部81には、ノート80にバインドした書類(ページ)を識別するための識別情報(書類名など)が記載されている。
図6に示すノートを図形化したノートアイコンには、バインドしたページの内容が表示されるため、ユーザは、容易にノートアイコンに対応するノートファイルの内容を容易に識別することができる。また、ノートアイコンに対して、ユーザが手書き入力によって識別情報を入力できるようにすることで、図6に示す表シート82の表面上端部81に記載した識別情報と同様にして、ノートアイコンに識別情報を表示することができる。これにより、ページの内容だけでなく、識別情報によってノートアイコンに対応するノートファイルの内容を識別することができる。なお、以下に示す図面には、ノートアイコンにおける識別情報を省略して示す。
次に、実施形態のデスクトップ/ドロア画面におけるノートアイコンの配置操作の一例について説明する。
図7は、複数のノートアイコンがテンポラリ領域70とストレージ領域71に配置されたデスクトップ/ドロア画面の一例を示している。デスクトップ/ドロア表示部50Aは、ノートデータ生成機能によりノートデータ60Aが記録された場合、ノートデータ60Aをもとにノートアイコンをストレージ領域71に表示する。
図7では、デスクトップ/ドロア表示部50Aは、ストレージ領域71に4つのノートアイコン80A〜80Dを表示している。また、デスクトップ/ドロア表示部50Aは、テンポラリ領域70の第1領域751ノートアイコン801、第2領域752にノートアイコン802、第5領域755にノートアイコン805を表示している。
デスクトップ/ドロア画面では、ペン100あるいは指によるタッチ操作によりノートアイコンの表示位置を移動させることができる。例えば、ノートアイコンが長押し(タッチした状態のまま所定の時間以上が経過)されると、デスクトップ/ドロア表示部50Aは、ノートアイコンをドラッグ操作が可能な状態にする。例えば、図7に示すストレージ領域71に表示されたノートアイコン80Aが長押しされ、テンポラリ領域70の第4領域754までドラッグされた後、ドロップされると(タッチ終了)、デスクトップ/ドロア表示部50Aは、テンポラリ領域70の第4領域754にノートアイコン80Aを表示する。
また、テンポラリ領域70の第2領域752に配置されているノートアイコン802が同様に第3領域753にドラッグされると、デスクトップ/ドロア表示部50Aは、ノートアイコン802を第3領域753の位置に移動させる。また、既にノートアイコン80Dが表示されている第5領域755にノートアイコン80Dがドラッグされると、デスクトップ/ドロア表示部50Aは、図8に示すように、ノートアイコン80Dを第5領域755に表示すると共に、第5領域755に表示していたノートアイコン805をノートアイコン領域784に表示する。すなわち、デスクトップ/ドロア表示部50Aは、ノートアイコン805とノートアイコン80Dの表示位置を入れ替える。
このようにして、テンポラリ領域70には、ストレージ領域71から任意のノートアイコンをドラッグ操作により配置することができ、またテンポラリ領域70内においても任意の位置にノートアイコンを配置することができる。これにより、例えば頻繁に使用するノートアイコン(ノートファイル)を操作が容易な位置に配置するなど、ノートアイコンをユーザの好みに合わせて配置できる。
図9は、テンポラリ領域70の5つの領域751,752M753M754,755に、ノートアイコン801,802,803,804,805をそれぞれ配置した例を示している。
なお、デスクトップ/ドロア表示部50Aは、例えばテンポラリ領域70に表示した日時が新しい順番に4つのノートアイコン80A,80B,80C,80Dをストレージ領域71に表示する。なお、ページ編集の対象とした日時が新しい順番としても良い。また、ページ編集の対象とした回数が多い順に配置するようにしても良い。
次に、図10に示すフローチャートを参照して、デスクトップ/ドロア画面に対する入力操作に応じた表示処理について説明する。
デスクトップ/ドロア画面に対して、ユーザは、ペン100あるいは指等を用いたジェスチャ操作をすることで、他の機能への移行や画面切り替え等を指示することができる。ジェスチャ操作には、例えばタップ操作、ピンチアウト/ピンチイン操作、スワイプ操作、フリック操作、ドラッグ操作などがある。
入力判別部30は、デスクトップ/ドロア画面が表示されたタッチスクリーンディスプレイ17に対して入力操作があると(ステップA1、Yes)、この入力操作に応じた表示処理を表示処理部50に実行させる。
例えば、ストレージ領域71とテンポラリ領域70との境界線近傍において、例えば縦方向のピンチアウト操作あるいは境界線を上方向に移動させるドラッグ操作により、ストレージ領域71の拡張を指示する入力操作があると(ステップA6、Yes)、デスクトップ/ドロア表示部50Aは、ストレージ領域71の表示範囲を拡張してノートアイコンを一覧表示するノートアイコン一覧画面(ドロア画面)を表示する(ステップA7)。
図11は、ノートアイコン一覧画面(ドロア画面)の表示例を示している。図11に示すように、ノートアイコン一覧画面では、テンポラリ領域70Aを縮小し、ストレージ領域71Aを拡張している。ストレージ領域71Aでは、グリッド状にノートアイコンを整列させて表示する。なお、デスクトップ/ドロア表示部50Aは、ノートアイコン一覧画面(ドロア画面)に応じた複数のボタンアイコン72D、72F,72G,72H(コンテキストボタン)を表示する。
ドロア画面においてテンポラリ領域70Aがスワイプされた場合、あるいはストレージ領域71Aにおいてピンチイン操作がされた場合には、デスクトップ/ドロア表示部50Aは、ストレージ領域71Aを縮小し、テンポラリ領域70Aを拡張することで、図9に示す元のデスクトップ/ドロア画面に表示を戻す。
デスクトップ/ドロア表示部50Aは、ストレージ領域71Aにおいて、例えば縦方向のスワイプ操作がされると、上下方向にドロア画面をスクロールさせて、1画面中に表示できない他のノートアイコンを表示させる。なお、デスクトップ/ドロア表示部50Aは、図9に示すストレージ領域71において、例えば左右方向にスワイプ操作あるいはフリック操作がされると、ストレージ領域71内の画面をスクロールさせて、他のノートアイコンの表示に変更する。
図13に示すノートアイコン一覧画面(ドロア画面)において、ノートアイコンがタップ操作などにより指定されると(ステップA8、Yes)、デスクトップ/ドロア表示部50Aは、簡易ページ一覧表示部50Cにより簡易ページ一覧表示処理を実行させる。簡易ページ一覧表示部50Cは、ノートアイコン一覧画面から指定されたノートアイコンに対応するノートファイルに含まれるページを展開した画面(簡易ページ一覧表示画面)を表示する(ステップA9)。
図12は、簡易ページ一覧表示画面の一例を示す図である。図12に示すように、簡易ページ一覧表示画面では、例えばノートファイルの先頭ページ(ページの外形を矩形とする)を中央に表示する。さらにノートファイルに複数のページが含まれている場合には、それぞれのページを一部が重複しないように配置をずらして表示する。複数のページを展開して表示することにより、ノートファイルのページ構成の概略を容易に把握することができる。なお、全てのページを展開するのではなく、予め決めた上限のページ数(例えば5ページ)を越えたページについては展開しないものとする。
簡易ページ一覧表示画面では、簡易なページ編集機能を実行可能とする。例えば、簡易ページ一覧表示部50Cは、簡易ページ一覧表示画面にページ編集に関係する複数のボタンアイコンを表示する。簡易なページ編集機能では、例えば表示されたページに対する操作(図22参照)に応じたページの表示切り替え(ページ送り、ページ戻し)の他、ボタンアイコンの操作に応じたページ削除、ページ情報の表示、ノートビュー画面(ノートデータ生成機能)への移行、ページ挿入(追加)、ページコピー/ペーストなどを実行することができる。
また、表示切り替えにより表示されたページがタップされると(ステップA10、Yes)、簡易ページ一覧表示部50Cは、ノートに対して手書き入力が可能なノートビュー画面(ノートデータ生成機能)へ移行させる。ノートビュー画面(ノートデータ生成機能)の詳細については後述する(ステップA11)。
また、簡易ページ一覧表示画面のページ以外の範囲でタップされると(ステップA12、Yes)、簡易ページ一覧表示部50Cは、デスクトップ/ドロア表示部50Aによるノートアイコン一覧画面(ドロア画面)に移行させる(ステップA7)。
また、ノートアイコン一覧画面(ドロア画面)では、ノートアイコンをドラッグして、テンポラリ領域70に移動させることができる。ストレージ領域71Aに表示されたノートアイコンが長押しされると、デスクトップ/ドロア表示部50Aは、ノートアイコンをドラッグ操作が可能な状態にし、ドラッグ操作に応じてノートアイコンの表示位置を変更する(ステップA13,A14)。
図13は、ストレージ領域71Aに表示されたノートアイコン80Jがドラッグされている画面の一例を示す。
ノートアイコン80Jがテンポラリ領域70Aまでドラッグされると(ステップA15、Yes)、デスクトップ/ドロア表示部50Aは、ノートアイコン80Jの表示位置をそのままにして、デスクトップ/ドロア画面に表示を切り替え(ステップA16)る。
図14は、ノートアイコン80Jのドラッグに応じて表示されたデスクトップ/ドロア画面の一例を示す図である。
ノートアイコン80Jがテンポラリ領域70の何れかの領域751〜755までドラッグされた後、ドロップされると(ステップA17、Yes)、デスクトップ/ドロア表示部50Aは、ドラッグ先の領域にノートアイコン80Jを表示する(ステップA18)。なお、ストレージ領域71のノートアイコン領域781〜784の何れかにドラッグされた場合、デスクトップ/ドロア表示部50Aは、ドラッグ先の何れかのノートアイコン領域にノートアイコン80Jを表示する。
なお、デスクトップ/ドロア表示部50Aは、図4及び図9に示すように、デスクトップ/ドロア画面にボタンアイコン72A,72B,72C,72D,72Eを表示し、図11に示すように、ノートアイコン一覧画面(ドロア画面)にボタンアイコン72D、72F,72G,72Hを表示する。デスクトップ/ドロア表示部50Aは、ボタンアイコン72A,72B,72C,72D,72E,72F,72G,72Hを選択する操作、例えばボタンアイコンをタップする操作があった場合(ステップA19、Yes)、選択されたボタンアイコンに応じて処理を実行する(ステップA20)。
例えば、ボタンアイコン72Aは、デスクトップノート画面への移行、ボタンアイコン72Bは、ノートアイコン一覧画面(ドロア画面)への移行、ボタンアイコン72Cは、ストレージ領域71への新規のノートアイコンの追加、ボタンアイコン72Dは、ノートファイル(ページ)の検索機能の実行、ボタンアイコン72Eは、手書き入力プログラム202の各種機能について設定をするための設定画面への移行を、それぞれ指示するために用いられるボタンアイコンである。また、ボタンアイコン72Fは、デスクトップ/ドロア画面への移行、ボタンアイコン72Gは、ストレージ領域71A,71に表示されるノートアイコンをソートするソート機能の実行、ボタンアイコン72Hは、ストレージ領域71A,71に表示されるノートアイコンを、条件に該当するノートアイコンのみに特定するフィルタ機能の実行を、それぞれ指示するために用いられる。
なお、デスクトップ/ドロア表示部50Aは、前述した機能以外に対応するボタンアイコンを表示するようにしても良い。また、1画面中に全てのボタンアイコンを表示できない場合には、ボタンアイコンの表示をスクロールして、ボタンアイコンの種類を変更するようにしても良い。
次に、デスクトップ/ドロア画面からデスクトップノート画面への移行について説明する。
図9に示すデスクトップ/ドロア画面において、ノートアイコンがタップ操作により選択された場合(ステップA2、Yes)、デスクトップ/ドロア表示部50Aは、選択されたノートアイコンに対応するノートファイルについて、ページ編集をするためのデスクトップノート画面へ移行させる。
デスクトップ/ドロア表示部50Aは、テンポラリ領域70の中央に配置された第1領域751のノートアイコン801以外のノートアイコンがタップにより選択されると(ステップA3、No)、この選択されたノートアイコンをノートファイルのページを操作可能な形態(デスクトップノート画面)へ移行させる遷移画像(アニメーションを含む)を表示する(ステップA4)。
図15は、実施形態のデスクトップ/ドロア画面からデスクトップノート画面への移行表示を示すフローチャートである。図16(A)(B)(C)及び図17(A)(B)(C)は、デスクトップ/ドロア画面からデスクトップノート画面へ移行する際の遷移画像の一例を示している。遷移画像とは、デスクトップ/ドロア画面からデスクトップノート画面へ遷移する間、またはデスクトップノートが面からデスクトップ/ドロア画面へ遷移する間に表示される画像であればどのようなものであっても良い。デスクトップ/ドロア画面では、ノートアイコンの表示形態は少なくとも一つ以上のノートアイコンを選択可能な形態である。デスクトップノート画面では、ノートアイコンの表示形態は対応するノーTOPファイルのページを操作可能な形態である。
まず、デスクトップ/ドロア表示部50Aは、タップ操作により選択されたノートアイコンの表示形態を変更する(ステップB1)。例えば、図16(A)のアイコン80Aが選択されると、デスクトップ/ドロア表示部50Aは、ノートアイコン80Aを同じ位置で僅かに拡大する。その後、デスクトップ/ドロア表示部50Aは、図17(B)、図17(C)に示すように、ノートアイコン80Aを第1領域751の方向に移動させる。また、デスクトップ/ドロア表示部50Aは、ノートアイコン80Aの移動に伴って、ノートアイコン80Aを含む、ノートアイコン80Aの周辺のデスクトップ/ドロア画面を拡大表示する(ステップB2)。すなわち、デスクトップ/ドロア表示部50Aは、ノートアイコン80Aを第1領域751(センター方向)に移動させながら、第1領域751の周辺を拡大表示する遷移画像(アニメーション)を表示する。
図17(A)に示すように、ノートアイコン80Aが第1領域751(センター位置)まで移動されると(ステップB3、Yes)、デスクトップ/ドロア表示部50Aは、図6に示すノート80の表シート82を開く様子を表すように、図17(B)に示すように、ノートアイコンの表示形態を変化させる遷移画像を表示する(ステップB4)。すなわち、ノートファイルを編集可能な状態にするために、ノートファイル(クリアフォルダ)を開いていることをユーザが認識できる遷移画像を表示する。
デスクトップ/ドロア表示部50Aは、ノートファイルをオープンする表示が完了すると、デスクトップノート表示部50Bによりノートファイルに含まれるページを展開する遷移画面を表示させる(ステップB5)。例えば、デスクトップノート表示部50Bは、ノートファイルの先頭ページ(ページの外形を矩形とする)を中央に表示する。さらに、ノートファイルに複数のページが含まれている場合には、それぞれのページを一部が重複しないように配置をずらして表示する。複数のページを展開して表示することにより、ノートファイルのページ構成の概略を容易に把握することができる。なお、全てのページを展開するのではなく、予め決めた上限のページ数(例えば5ページ)を越えたページについては展開しないものとする。図17(C)は、ノートファイルに含まれる複数のページが展開された状態を示している。こうして、デスクトップ/ドロア画面からデスクトップノート画面への移行が完了する。
このようして、デスクトップ/ドロア画面においてノートアイコンがタッチ操作(タップ)により選択されると、ノートアイコンをノートファイルに含まれるページを展開した画面に遷移させる遷移画像(アニメーション)を表示する。従って、ユーザは、直感的に、ノートファイル内のページを操作可能な状態に移行したことを認識することができる。
なお、図9に示す第1領域751に配置されたノートアイコン801が選択(タップ)された場合(ステップA3、Yes)、デスクトップ/ドロア表示部50Aは、ノートアイコンを第1領域751の方向に移動させる必要が無いため、センター(第1領域751)に配置されたノートアイコン用の遷移画像を表示する(ステップA5)。すなわち、デスクトップ/ドロア表示部50Aは、デスクトップ/ドロア画面中の第1領域751に配置されたノートアイコン801と、ノートアイコン801の周囲を拡大表示する遷移画像を表示し、図17(A)に示す表示画面に遷移させた後、図17(B)、図17(C)のように画像を遷移させて、デスクトップノート画面に移行させる。
次に、図18に示すフローチャートを参照しながら、デスクトップノート画面に対する入力操作に応じた表示処理について説明する。図19は、デスクトップノート画面の表示例を示している。
デスクトップノート画面に対して、ユーザは、ペン100あるいは指等を用いたジェスチャ操作をすることで、他の機能への移行や画面切り替え等を指示することができる。ジェスチャ操作には、例えばタップ操作、ピンチアウト/ピンチイン操作、スワイプ操作、フリック操作、ドラッグ操作などがある。
デスクトップノート表示部50Bは、デスクトップノート画面の移行時に、常に先頭ページを表示するだけでなく、前回のデスクトップノート画面において最後に表示したページを表示するようにしても良い。図19に示すデスクトップノート画面では、デスクトップノート表示部50Bは、例えばページファイルに含まれるページ901を表示すると共に、ページ901から配置をずらして複数のページ902,903,904,905を表示する。また、ページ901の右側には、ページ送りしたページ90Bを表示する。また、デスクトップノート表示部50Bは、ノートファイル(第1領域751)の周辺には、例えばペンアイコン771、カレンダーアイコン772、スクラップノートアイコン773、タグアイコン774を表示する。
デスクトップノート画面中の何も表示されているい領域(デスクトップ)がタップされた場合(ステップC3、Yes)、デスクトップノート表示部50Bは、図19に示すような、複数のボタンアイコン74A,74B,74C,74D,74E,74F,74Gを表示する(ステップC4)。
デスクトップノート表示部50Bは、ボタンアイコン74A,74B,74C,74D,74E,74F,74Gを選択する操作、例えばボタンアイコンをタップする操作があった場合(ステップC13、Yes)、選択されたボタンアイコンに応じて処理を実行する(ステップC14)。
例えば、ボタンアイコン74Aは、デスクトップ/ドロア画面への移行、ボタンアイコン74Bは、ページ一覧画面(グリッド表示画面)への移行、ボタンアイコン74Cは、デスクトップノート画面に表示されているページの削除、ボタンアイコン74Dは、ページ情報の表示、ページアイコン74Eは、ノートビュー画面(ノートデータ生成機能)への移行、ボタンアイコン74Fは、ページの追加、ボタンアイコン74Gは、ページコピーの実行を、それぞれ指示するために用いられる。
また、1画面中に全てのボタンアイコンを表示できない場合には、ボタンアイコンの表示をスクロールして、ボタンアイコンの種類を変更するようにしても良い。例えば、図19に示すボタンアイコンの他には、タグ機能に移行するためのボタンアイコンがある。
図20は、ボタンアイコン74Bのタップに応じて表示するページ一覧画面(グリッド表示画面)の一例を示す図である。デスクトップノート表示部50Bは、ノートファイルに含まれる全てのページをグリッド状に整列して表示する。デスクトップノート表示部50Bは、1画面中に全てのページを表示できない場合、ページ一覧画面において、例えば縦方向のスワイプ操作がされると、上下方向にページ一覧画面をスクロールさせて、1画面中に表示できない他のページを表示させる。
なお、デスクトップノート表示部50Bは、ページ一覧画面に応じた複数のボタンアイコン74H,74K,74M,74N(コンテキストボタン)を表示する。
また、ボタンアイコン74Hは、デスクトップノート画面への移行(グリッド表示解除)、ボタンアイコン74Kは、ページ一覧画面に表示されるページをソートするソート機能の実行、ボタンアイコン74Mは、ページ一覧画面に表示されるページを、条件に該当するノートアイコンのみに特定するフィルタ機能の実行、ボタンアイコン74Nは、ページに対する検索機能の実行を、それぞれ指示するために用いられる。なお、ページ一覧画面においてピンチイン操作がされた場合には、デスクトップノート表示部50Bは、ボタンアイコン74Hがタップされた場合と同様にして、グリッド表示を解除して、デスクトップノート画面へ戻る。
図21は、ボタンアイコン74Dのタップに応じて表示するページ情報の表示画面(プロパティ画面)の一例を示す図である。ノートプロパティ表示部50Eは、デスクトップノート画面のトップに表示しているページのページ情報をノートデータ60Aから検索して、ページサムネイルと共に表示する。ページ情報には、図21に示すように、例えば作成日時、更新日時、アクセス日時、タグの有無(種類)、ファイルロック、テンプレート種類、用紙設定などがある。
また、デスクトップノート表示部50Bは、デスクトップノート画面において、ページに対する入力操作(ページ操作)があった場合(ステップC1、Yes)、ページ操作に応じてページ表示を変更する(ステップC2)。デスクトップノート表示部50Bは、ページ表示を変更する場合、ページの動きを遷移画像(アニメーション)によって表示するものとする。
図22は、ページ操作の一例を示す図である。
例えば、中央に表示されるページ901に対して左から右方向へのスワイプ操作(あるいはフリック操作)92Aがあった場合、あるいはページ901からページ90Bへのスワイプ操作(あるいはフリック操作)92Bがあった場合、デスクトップノート表示部50Bは、ページ901をページ送りして、ページ90Bの位置に移動させると共に、ページ902を新たに中央に表示し、その他のページ903〜905をそれぞれ中央方向に移動させた位置に変更する。このページ操作により、1ページ毎にページを先に送る(ページをめくる)ことができる。
中央に表示されるページ901に対して右から左方向へのスワイプ操作(あるいはフリック操作)93Aがあった場合、あるいはページ90Bからページ901へのスワイプ操作(あるいはフリック操作)93Bがあった場合、デスクトップノート表示部50Bは、ページ90Bに先送りしたページを中央位置に移動させると共に、その他のページを後方に移動させた位置に変更する。このページ操作により、1ページ毎にページを戻すことができる。
中央のページ901より左側の領域において、上から下方向へのスワイプ操作(あるいはフリック操作)94があった場合、デスクトップノート表示部50Bは、ノートファイルに含まれる最後のページが中央に表示されるまで、その他の全てのページを1ページ毎に先に送る。これにより、ノートファイルに多数のページが含まれていても、簡単に最後のページを表示させることができる。
中央のページ901より左側の領域において、下から上方向へのスワイプ操作(あるいはフリック操作)95があった場合、デスクトップノート表示部50Bは、ノートファイルに含まれる先頭のページが中央に表示されるまで、先に送った全てのページを1ページ毎に戻す。これにより、多数のページを先に送っていても、簡単に最初のページを表示させることができる。
なお、図22では、スワイプ操作94,95の方向を縦方向としているが、斜め方向であっても良い。また、スワイプ操作94,95によって最後のページあるいは先頭のページまでページ送り/戻しをしているが、スワイプ操作がされた画面上の距離に応じて、ページ送り/戻しするページの枚数を変化させても良い。また、フリック操作がされた場合には、操作の強さに応じてページ送り/戻しするページの枚数を変化させても良い。
中央のページ901の左側の上部領域81Aにおいて、タップ操作96があった場合、デスクトップノート表示部50Bは、デスクトップノート画面からデスクトップ/ドロア画面に移行させる。すなわち、デスクトップノート表示部50Bは、図16(A)(B)(C)、図17(A)(B)(C)を用いて説明した遷移画像を、逆の方向で遷移させる。これにより、ユーザは、直感的に、ノートファイルに対するページの操作が終了されたことを認識できる。
中央のページ901に対してピンチアウト操作98がされた場合、デスクトップノート表示部50Bは、図20に示すページ一覧画面(グリッド表示画面)に移行し、ノートファイルに含まれる全てのページをグリッド状に整列して表示する。従って、ピンチイン操作とピンチアウト操作により、図19に示すデスクトップノート画面とページ一覧画面(グリッド表示画面)とを簡単に切り替えることができる。
中央のページ901に対してタップ操作97がされた場合(ステップC5、Yes)、デスクトップノート表示部50Bは、デスクトップノート表示部50Bによりノートビュー画面(ノートデータ生成機能)を表示させる(ステップC6)。なお、ページアイコン74Eへのタップ操作がされた場合も、デスクトップノート表示部50Bは、ノートビュー画面への移行させる(ステップC6)。
図23は、ノートビュー画面の一例を示す図である。ノートビュー画面は、ペン100を用いた手書き入力操作によって、手書き文書(ページ)を作成あるいは編集するための画面である。
デスクトップノート画面の中央に表示されたページ901に、既に手書きによって入力されたストロークデータが含まれている場合、ノートビュー表示部50Dは、初期のノートビュー画面において、入力済みのストロークデータをもとにページを表示する。なお、図23は、新規のページを作成するノートビュー画面の一例を示している。
ノートビュー表示部50Dは、ノートビュー画面(ペン入力モード)において、ストロークデータを入力するための各種ツールを提供する。例えば、図23に示すノートビュー画面では、画面上部に黒ペンボタン501、赤ペンボタン502、マーカーボタン503、選択ボタン504、消しゴムボタン505が表示されている。
例えば、黒ペンボタン501が選択(タップ)され、ペン100を用いて手書き入力されると、ノートビュー表示部50Dは、ペン100の動きに合わせて黒色のストローク(軌跡)をノーB画面に表示する。また、ノートデータ生成部40Aは、ノートビュー画面を通じて入力されるストロークデータをもとに、ページデータを生成する。
また、選択ボタン504が選択された場合、ノートビュー表示部50Dは、ペン100または指を用いたドラッグ操作に応じてノートビュー画面中で範囲選択する。例えば、矩形枠を示す左上頂点から右下頂点の位置までドラッグされると、ドラッグ操作により指定されたサイズの矩形枠により範囲選択する。範囲選択した領域に含まれるストロークは、ピンチ操作による拡大縮小、ドラッグ操作による移動、削除ボタンへのドラッグによる削除などが可能である。
図23に示すノートビュー画面において、ボタン以外で指を用いてタップ操作がされると、ノートビュー表示部50Dは、メニュー表示モードのノートビュー画面を表示する。
図24は、メニュー表示モードのノートビュー画面の一例を示している。ノートビュー表示部50Dは、ノートビュー画面の上部に表示する複数ボタンを、図23に示すような、ペン型の複数のアイコンから構成されるペンメニューに遷移させると共に、ノートビュー画面の下部にページ状態に関連した複数のボタンアイコンを表示する。ボタンアイコンは、横方向のフリック操作に応じて、他のボタンアイコンに切り替えることができる。
なお、メニュー表示モードのノートビュー画面においてボタン以外で指を用いてタップ操作がされると、ノートビュー表示部50Dは、ペン入力モードのノートビュー画面に戻す。
ノートデータ生成部40Aは、各種のツールを用いてノートビュー画面を通じて入力されるストロークデータをもとに、ページ単位でページデータを作成する。
なお、ノートビュー画面において、例えば左右方向のフリック操作がされた場合、ノートビュー表示部50Dは、ノートファイルに含まれる前後のページに編集対象を切り替える。また、ノートビュー画面表示の終了(戻る)を指示する操作があった場合、表示処理部50は、デスクトップノート表示部50Bによるデスクトップノート画面へ移行させる。
次に、デスクトップノート画面のカレンダーアイコン772がタップされた場合(ステップC7、Yes)、デスクトップノート表示部50Bは、タイムラインノート表示部50Fによりタイムラインノート画面に移行させる(ステップC7)。
図25は、タイムラインノート画面の一例を示す図である。
タイムラインノート画面は、ページデータと日時データとを対応づけたタイムラインデータ60Bを生成するための画面である。図25に示すタイムラインノート画面では、カレンダーアイコン772と同じ年月日を示すアイコン520を表示する。タイムラインノート画面では、ノートファイルに含まれる通常のページと同様にして、ペン100を用いた手書き入力操作によって、ストロークデータ521を入力することができる。タイムラインデータ生成部40Bは、タイムラインノート画面を通じて入力されるストロークデータをもとに、ページデータと日時データとを対応づけたタイムラインデータ60Bを生成して、記録デバイス106に記録する。
次に、デスクトップノート画面のスクラップノートアイコン773がタップされた場合(ステップC9、Yes)、デスクトップノート表示部50Bは、スクラップノート表示部50Gによりスクラップノート画面に移行させる(ステップC10)。
図26(A)(B)は、スクラップノート画面の一例を示す図である。スクラップノート表示部50Gは、記録デバイス106に記録されたスクラップノートデータ60Cをもとに、スクラップノート画面を表示する。
スクラップノートデータ生成部40Cは、手書き入力プログラム202とは別のアプリケーションプログラム203(例えばブラウザプログラム、画像編集プログラム、文書作成プログラムなど)と連携し、アプリケーションプログラム203により表示される画面全体あるいは画面一部をクリップして、スクラップノートデータ60Cを生成する。
スクラップノート画面では、アプリケーションプログラム203により表示される画面からクリップした画像をサムネイル化し、ページの形状に合わせて配置して表示する。
スクラップノート表示部50G(後述する)により表示される画面を通じて、アプリケーションプログラム203により表示される画面からユーザが指定する画面全体あるいは画面一部を記録するスクラップノートデータ60Cを生成して、記録デバイス106に記録する。スクラップノートデータ60Cは、スクラップノート表示部50Gによるスクラップノート画面の表示に用いられ、スクラップノート画面を通じてページデータにインポートすることができる。
また、スクラップノートデータ生成部40cは、クリップした画像に対する手書き入力を受け付け、ペン100を用いて手書き入力されたストロークデータを画像に付加することができる。
スクラップノート表示部50Gは、スクラップノート画面中の何れかのサムネイルがタップされた場合、サムネイルを拡大表示(原寸表示)する。例えば、図26(A)に示すサムネイル530がタップ操作531されると、スクラップノート表示部50gは、図26(B)に示すように、サムネイル530に対応する元の画像532を原寸表示する。ユーザは、原寸表示された画像532において、クリップした画像の内容と、画像に対して手書き入力されたストローク(筆跡)を確認することができる。図26(B)では、例えば画像に対して注目すべき部分に矩形枠が手書き入力されると共に、注意を促す文字「POINT2」が手書き入力されていることを表している。
図26(B)に示す画面内で画像532以外の領域、あるいはボタンアイコン(戻るボタン)のタップ操作があると、スクラップノート表示部50gは、図26(A)に示すスクラップノート画面の表示に戻す。
なお、ノートビュー画面において、ユーザ操作(ボタンアイコンの選択など)に応じて、図26(A)と同様のスクラップノート画面を表示することができる。ノートデータ生成部40Aは、スクラップノート画面から何れかのサムネイルが選択された場合、選択されたサムネイルに対応する画像を、編集中のページにインポートする。これにより、スクラップノートに蓄積した複数の画像を、ノートデータの作成のために簡単に利用することができる。
次に、デスクトップノート画面のタグアイコン774がタップされた場合(ステップC11、Yes)、タグ処理画面表示部50Nは、中央に表示するページ901にタグを貼り付ける画像を表示する(ステップC12)。例えば、タグアイコン774は、2枚の異なる色のタグから構成されている。タグアイコン774は、選択されたタグを、ページ901の予め決められた位置、例えば上端部の左側に貼り付けたように表示する。ノートデータ生成部40aは、ページにタグが貼り付けられた場合、該当ページの属性データとして記録する。なお、ノートに貼り付けられたタグは、例えばタグが表示された位置から上方向にスワイプ(あるいはフリック)された場合、ページから剥がされる(タグの画像が消去)されるものとする。
また、ノートビュー画面に表示されたボタンアイコンの選択によりタグ機能に移行することができる。図27は、タグ機能の移行を指示するためのボタンアイコン540がタップされた場合のサブメニュー表示画面の一例を示している。
ボタンアイコン540がタップされた場合、タグ処理画面表示部50Nは、図27(A)に示すサブメニュー542を表示する。サブメニュー542には、複数種類の色の異なるタグが一覧表示されている。サブメニュー542からタグがタップされると、タグ処理画面表示部50Nは、図27(A)に示すように、タップされたタグ541をページに貼り付ける。この際、タグ処理画面表示部50Nは、サブメニュー542中のタグがページの貼り付け位置に移動する様子を遷移画像(アニメーション)により表示することもできる。
また、タグ処理画面表示部50Nは、ページに貼り付けられたタグ541を剥がす操作(スワイプまたはフリック)がされた場合、タグ541がサブメニュー542に戻る様子を遷移画像(アニメーション)により表示することもできる。
サブメニュー542が横方向にスワイプ(またはフリック)されると、タグ処理画面表示部50Nは、サブメニュー542に表示するタグをスクロールして、1画面中に表示されない他のタグの表示に変更する。図27(B)は、図27(A)に示すサブメニュー542においても左方向にスワイプされた場合に表示するサブメニュー542の例を示している。
また、サブメニュー542には、図27(B)に示すように、複数のタグの他に、タグに文字等を入力するための入力画面の移行を指示するためのタグ入力ボタン544が含まれている。
タグ入力ボタン544がタップされると、タグ処理画面表示部50Nは、図27(C)に示すように、タグの一覧表示と共に、入力エリア545を表示する。タグ処理画面表示部50Nは、タグ一覧表示から何れかのタグ546がタップにより選択されると、入力エリア545の表示色を選択されたタグ546の色に変更する。
入力エリア545には、ペン100を用いた手書き入力、あるいはテキストモードによる文字入力(例えばソフトウェアキーボードを用いた入力)が可能である。タグデータ生成部40dは、タグ処理画面(入力エリア545)を通じて入力されるストロークデータをもとにタグデータ60dを生成して記録する。
図27(C)は、入力エリア545に対して、ペン100を用いて「done」の文字列(ストロークデータ)が入力された例を示している。タグ処理画面表示部50Nは、入力エリア545に入力された文字列をタグ546に表示する。タグ処理画面表示部50Nは、タグ546がページに貼り付けられた後も、タグ546に対して入力された文字列等をそのまま表示する。従って、ユーザは、ページに貼り付けられたタグの色だけでなく、タグに表示される文字列等によってタグを識別することができる。
なお、前述した説明では、タグをページの予め決められた位置に貼り付けるとしているが、ユーザが指定した位置に貼り付けるようにしても良い。例えば、タグ処理画面表示部50Nは、サブメニュー542からタグをページ901上の任意の位置にドラッグできるようにし、ドロップ先の位置にタグを表示する。これにより、ページ中の注目する位置にタグを表示することができる。
タグ処理画面表示部50Nは、例えばサブメニュー542以外の領域がタップされた場合、サブメニュー542の表示を終了する。これにより、デスクトップノート画面に戻る。
次に、アプリケーションプログラム203により表示される画面全体あるいは画面一部をクリップする処理について説明する。図28は、クリップ処理の手順を説明するための概念図である。
図28(A)は、アプリケーションプログラム203により表示されるアプリケーション画面を有する画面を示す図である。図28(A)のアプリケーション画面601は、Webブラウザによって表示される。
アプリケーション画面601の下にシステムバー602が表示される。システムバー602内には、アプリ連携アイコン602Aが表示されている。アプリ連携アイコン602Aに対してタップ操作603された場合、スクラップノートデータ生成部40Cは、アプリケーション画面601をキャプチャする。図28(B)に示すように、スクラップノート表示部50Gは、キャプチャ画面611を表示する。キャプチャ画面611の上部に黒ペンボタン501、赤ペンボタン502、マーカーボタン503、および選択ボタン504が表示されている。
アプリ連携アイコン602Aに対してタップ操作603された時点で、黒ペンによる手書き入力モードとなる。なお、キャプチャ画面の表示中に、黒ペンボタン501、赤ペンボタン502、およびマーカーボタン503の何れかが指またはペンによってタップされた場合に、手書き入力モードになっても良い。
図29は、クリップ処理の手順を説明するための概念図である。
例えば、図29(A)に示すように、赤ペンボタン502に対してタッチ操作621された場合、ペンにより赤色の軌跡を描画することが可能になる。図29(B)に示すように、キャプチャ画面611Aは、階調を低くしている。キャプチャ画面611Aの階調を低くすることによって、キャプチャ画面611Aが薄く表示され、軌跡が見やすくなる。スクラップノート表示部50Gは、キャプチャ画面611Aを表示しているときに、手書き入力による軌跡の描画が開始される場合、キャプチャ画面611Aからキャプチャ画面611A階調を低くした画像へ切り替える。階調とは、色や明るさの濃淡の変化を表す段階の数のことである。表示する画面またはコンテンツの階調を低くするとは、画面またはコンテンツに含まれる色や明るさの値(階調値)の範囲を狭めるものであればどのようなものであっても良く、画面またはコンテンツの主要部のみについて色や明るさの値(階調値)の範囲を狭めても良い。
図29(B)に示すように、スクラップノート表示部50Gは、キャプチャ画面611A上にタップされたボタンに応じた色の線またはマーカーを描画する。手書き入力により、キャプチャされた画像に対してコメント622やマーカーを付加することが可能になる。
キャプチャ画面611Aに対して指によってタップ操作623された場合、スクラップノートデータ生成部40Cは、スクラップデータを生成する。スクラップノートデータ生成部40Cは、生成されたスクラップデータを記録デバイス106に格納する。
スクラップデータの生成後、図29(C)に示すように、スクラップノート表示部50Gは、システムバー602の上にスクラップノート選択ボタン631、632、633を表示する。スクラップノート選択ボタン631、632、633は、スクラップデータの対応先のスクラップノートを選択するために設けられている。スクラップノート選択ボタン631、632、633の内の一つに対してタップ操作624されると、スクラップノートデータ生成部40Cは、対応するスクラップノートデータにスクラップデータによって表示される画像のサムネイルを表示するためのサムネイルデータを作成する。スクラップノートデータ生成部40Cは、生成されたサムネイルデータを表示できるように、タップされたボタンに対応するスクラップノートデータを変更する。スクラップノートデータ生成部40Cは、スクラップデータの格納位置を示す情報をタップされたボタンに対応するスクラップノートデータに含ませる。なお、スクラップノートデータ生成部40Cは、サムネイルがスクラップデータの生成順に上から左詰めで表示されるように、スクラップノートデータにスクラップノートデータを変更する。スクラップノートには、ページの概念が無く、スクラップデータよって表示される画像のサムネイル画像が無限に貼り込まれる。なお、スクラップノートでは、例えばhtml形式のデータである。
スクラップノートデータの変更後、図29(D)に示すように、デスクトップが表示される。デスクトップのスクラップノートアイコン773は、直近の5件のスクラップのサムネイルが時系列順に重ねられて表示される。最上部のサムネイル画像773Aは、最後にスクラップされたスクラップノートに対応する。
図30(A)に示すように、キャプチャ画面611の表示中、選択ボタン504に対してタップ操作641された場合、スクラップノートデータ生成部40Cおよびスクラップノート表示部50Gは、範囲選択モードになる。範囲選択モードでは、ユーザがキャプチャ範囲を指定することが可能である。例えば、範囲は、ペンの画面上に触れた接触開始位置と、ペンが画面上から離れた接触終了位置とによって定義される矩形によって指定される。
図30(B)に示すように、スクラップノートデータ生成部40Cは、スクラップノート表示部50Gは、キャプチャ画面の階調を低くした画面611Aを表示する。画面上にペンが接触すると、スクラップノートデータ生成部40Cは、接触開始位置と現在のペンの接触位置とによって定義される矩形642の内側の階調を元に戻す。
キャプチャ画面611Aに対して指によってタップ操作643された場合、スクラップノートデータ生成部40Cは、指定範囲の画像を含むスクラップデータを生成する。スクラップノートデータ生成部40Cは、生成されたスクラップデータを記録デバイス106に格納する。
スクラップデータの生成後、図30(C)に示すように、スクラップノート表示部50Gは、システムバー602の上にスクラップノート選択ボタン631、632、633を表示する。例えば、スクラップノート選択ボタン631に対してタップ操作645された場合、対応するスクラップノートデータを変更する。
スクラップノートデータの変更後、図30(D)に示すように、デスクトップが表示される。デスクトップのスクラップノートアイコン773は、直近の5件のスクラップのサムネイルが時系列順に重ねられて表示される。最上部のサムネイル画像773Bは、最後にスクラップされたスクラップノートに対応する。
範囲指定後、図30(B)に示すように、手書き入力モードになる。赤ペンボタン502、およびマーカーボタン503の何れかの描画ボタンに対してタップ操作644されると、赤色で描画される。
手書き入力モードでは、図30(E)に示すように、画面上にペンが接触すると、指定された範囲の画像646のみが表示され、指定範囲外は例えば白色になり、描画ボタンがタップされる前に表示されていた内容は表示されなくなる。手書き入力モードにおいて手書き入力された場合、スクラップノートデータ生成部40Cは、手書き入力の軌跡に応じてキャプチャ画面にタップされたボタンに応じた色の軌跡647を描画する。手書き入力により、キャプチャされた画像に対してコメントやマーカーを付加することが可能になる。図では、キャプチャ画面上にコメントが描画されているが、キャプチャ画面の外側にコメントやマーカーを描画することが可能である。
画面に対して指によってタップ操作648された場合、スクラップノートデータ生成部40Cは、指定範囲の画像を含むスクラップデータを生成する。スクラップノートデータ生成部40Cは、生成されたスクラップデータを記録デバイス106に格納する。
スクラップデータの生成後、図30(F)に示すように、スクラップノート表示部50Gは、システムバー602の上にスクラップノート選択ボタン631、632、633を表示する。例えば、スクラップノート選択ボタン631に対してタップ操作649された場合、対応するスクラップノートデータを変更する。
スクラップノートデータの変更後、図30(G)に示すように、デスクトップが表示される。デスクトップのスクラップノートアイコン773は、直近の5件のスクラップのサムネイルが時系列順に重ねられて表示される。最上部のサムネイル画像773Cは、最後にスクラップされたスクラップノートに対応する。
なお、スクラップノート表示部50Gは、画面上に階調を低くした画像を表示しているときに、手書き入力による軌跡の描画が終了した場合に、階調を低くした画像から階調を戻した画像へ切り替えても良い。
次に、クリップデータを使用し、手書きによるメモの編集が行える一連の流れを説明する。
図31は、電子機器の使用例を示す概念図である。
図31に示すように、先にユーザの操作によりWebブラウザによる画面701が表示されている状態から開始する。次に、アプリ連携アイコン602Aに対してタップ操作を行うことによって、手書きの出来る編集画面702を呼び出す。この際に、直前に表示されていた画面701を背景として、背景画面の階調を低くする。この状態で各種手書きによるメモ等の編集を行う(画面703)。その結果を別の手書きノート型アプリに取り込む。取り込む形式は、画像でも、手書きのストロークを保持する形式であっても良い。取り込んだ後、さらに画面703の編集を行う(画面704)。編集が完了した時点で編集結果の保存を行う。保存形式は、手書きの時系列情報を保持する形式となる。また、画面705のように他のアプリケーション(図中ではメールクライアント)で再利用を行うのであれば、メールクライアントで利用可能なデータ形式例えば画像データとして出力し、メールクライアント側に渡す。
図32に透過背景の例を示す。地図や文書、メール、閲覧中のWeb、装置に付属するカメラで撮影した画像といった、画面を持つ端末が表示することのできる画面が対象となる。
図33に透過背景手書き編集画面の例を示す。図31に示した画面を背景として、透過して表示され、上から手書きメモを加えることができる。背景の画像は、元の画面より階調を低くされている。
図34は透過背景手書きメモを取り込み時の例を示す。図33に示した手書き編集画面での編集結果を取り込むことのできるアプリケーションの編集画面に取り込んだところを示す。
図35は追加手書き書き込み画面ができる編集画面である。図34あるいは、図31の画面703の図32に示す画面の取り込みを行った後に、さらに、手書き編集ができる例である。ここでの手書き編集をユーザが終了させる場合は、その内容を保存する。また、メーラー等、他のアプリケーション等で利用可能な状態で保存する。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。