JP2016085512A - 電子機器、方法及びプログラム - Google Patents

Abstract

【課題】ユーザの利便性を向上させることが可能な電子機器、方法及びプログラムを提供することである。【解決手段】実施形態によれば、方法は、手書きで記載された第１ストローク群及び第２ストローク群に対応するデータを入力することと、第１ストローク群の情報を用いて特定される第１コンテンツを当該第１ストローク群に関連付けることと、第２ストローク群の情報を用いて特定される第２コンテンツを当該第２ストローク群に関連付けることとを具備し、第１コンテンツは、少なくとも第１ストローク群のユーザによる指定によって表示または再生可能であり、第２コンテンツは、少なくとも第２ストローク群のユーザによる指定によって表示または再生可能である。【選択図】図１１

Description

本発明の実施形態は、手書き文書を処理する技術に関する。

近年では、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡといった電子機器の画面上で、文書を手書きで記載（入力）可能な技術が知られている。

このように手書きで記載された文書（以下、手書き文書と表記）は、例えば記憶媒体等に保存される。これによれば、例えばユーザの指示に応じて過去の手書き文書を電子機器の画面上に表示すること等が可能となる。

特開２００５−０８５２８５号公報

しかしながら、上記した記憶媒体に保存された手書き文書を単に表示するのみでは、紙媒体に手書きされた文書と比較してメリットが少なく、ユーザの利便性が低い。

本発明の一形態の目的は、ユーザの利便性を向上させることが可能な電子機器、方法及びプログラムを提供することである。

実施形態によれば、方法は、手書きで記載された第１ストローク群及び第２ストローク群に対応するデータを入力することと、前記第１ストローク群の情報を用いて特定される第１コンテンツを当該第１ストローク群に関連付けることと、前記第２ストローク群の情報を用いて特定される第２コンテンツを当該第２ストローク群に関連付けることとを具備し、前記第１コンテンツは、少なくとも前記第１ストローク群のユーザによる指定によって表示または再生可能であり、前記第２コンテンツは、少なくとも前記第２ストローク群のユーザによる指定によって表示または再生可能である。

実施形態に係る電子機器の外観の一例を示す斜視図。 電子機器と他の装置との連係動作の一例を示すブロック図。 タッチスクリーンディスプレイに手書きされる手書き文書の一例を示す図。 手書き文書に含まれる時系列情報の一例を示す図。 電子機器のシステム構成の一例を示すブロック図。 電子機器によって表示されるホーム画面の一例を示す図。 電子機器によって表示される設定画面の一例を示す図。 電子機器によって表示されるノートプレビュー画面の一例を示す図。 電子機器によって表示されるページ編集画面の一例を示す図。 電子機器によって表示される検索ダイアログの一例を示す図。 電子機器によって実行される手書きノートアプリケーションプログラムの機能構成の一例を示す図。 コンテンツ関連付け部について詳細に説明するための図。 記憶媒体に保存される関連コンテンツ情報のデータ構造の一例を示す図。 コンテンツ関連付け処理の処理手順の一例を示すフローチャート。 関連コンテンツ提示処理の処理手順の一例を示すフローチャート。 関連コンテンツを提示する際の電子機器の表示画面について説明するための図。 関連コンテンツを提示する際の電子機器の表示画面について説明するための図。 関連コンテンツの履歴を提示する際の電子機器の表示画面の一例を示す図。

以下、実施形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観の一例を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン及びＰＤＡ等として実現され得る。図１においては、この電子機器がタブレットコンピュータとして実現されている例が示されている。以下の説明では、本実施形態に係る電子機器がタブレットコンピュータとして実現されているものとして説明する。タブレットコンピュータは、タブレットまたはスレートコンピュータとも称される携帯型電子機器である。

図１に示すタブレットコンピュータ１０は、本体１１とタッチスクリーンディスプレイ１２とを備える。本体１１は薄い箱型の筐体を有しており、タッチスクリーンディスプレイ１２は当該本体１１の上面に重ね合わせるように取り付けられている。

タッチスクリーンディスプレイ１２には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル及び電磁誘導方式のデジタイザ等を使用することができる。以下ではタッチパネル及びデジタイザの２種類のセンサの双方がタッチスクリーンディスプレイ１２に組み込まれている場合を説明する。このため、タッチスクリーンディスプレイ１２は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。

ペン１００は、例えばデジタイザペン（電磁誘導ペン）であってもよい。ユーザは、ペン１００を使用してタッチスクリーンディスプレイ１２上で手書き入力操作を行うことができる（ペン入力モード）。ペン入力モードにおいては、画面上のペン１００の動きの軌跡、つまり、手書き入力操作によって手書きされるストロークが求められ、これによって手書きにより入力された複数のストロークが画面上に表示される。ペン１００が画面に接触されている間のペン１００の動きの軌跡が１つのストロークに相当する。複数のストロークが文字、記号等を構成する。手書きされた文字、手書きされた図形、手書きされた表等に対応する多数のストロークの集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係とを示すデータ（手書き文書データ）として記憶媒体に保存される。なお、この手書き文書は、イメージデータに基づいて生成されてもよい。手書き文書の詳細については後述するが、当該手書き文書は、複数のストロークが手書きされた順を示し、かつ、複数のストロークにそれぞれ対応する複数のストロークデータ（以下、時系列情報と表記）を含む。換言すれば、手書き文書に含まれる時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合である。各ストロークデータは、ある１つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の手書き文書（時系列情報）を読み出し、当該手書き文書、つまり、この手書き文書を構成する複数のストロークを画面上に表示することができる。

更に、本実施形態に係るタブレットコンピュータ１０は、ペン１００を使用せずに、指で手書き入力操作を行うためのタッチ入力モードで動作することもできる。タッチ入力モードが有効な場合、ユーザは、指を使用してタッチスクリーンディスプレイ１２上で手書き入力操作を行うことができる。タッチ入力モードにおいては、画面上の指の動きの軌跡、つまり、手書き入力操作によって手書きされるストロークが求められ、これによって手書きにより入力された複数のストロークが画面上に表示される。

タブレットコンピュータ１０は、編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、及び他の各種ツール等を用いたユーザによる編集操作に応じて、範囲選択ツールによって選択される表示中の手書き文書内の任意の手書き部分（手書き文字、手書きマーク、手書き図形及び手書き表等）を削除または移動することができる。また、範囲選択ツールによって選択される手書き文書内の任意の手書き部分を、手書き文書を検索するための検索キーとして指定することもできる。また、範囲選択ツールによって選択される手書き文書内の任意の手書き部分に対して、手書き文字認識／手書き図形認識／手書き表認識のような認識処理を実行することもできる。

本実施形態では、手書き文書は、１つまたは複数のページとして管理され得る。この場合、手書き文書（時系列情報）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。また、ページのサイズを変更できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を１つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小して表示するようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図２は、タブレットコンピュータ１０と外部装置との連係動作の一例を示している。タブレットコンピュータ１０は、無線ＬＡＮ等の無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。更に、タブレットコンピュータ１０は、無線通信デバイスを使用してインターネット上のサーバ２との通信を実行することもできる。サーバ２は、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、手書き文書をパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤ等を自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数あるいは大容量の手書き文書を扱うことが可能となる。

更に、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の手書き文書を読み出し（ダウンロード）、その読み出した手書き文書（を構成する複数のストローク）をタブレットコンピュータ１０のタッチスクリーンディスプレイ１２の画面に表示することができる。この場合、複数の手書き文書の各々を縮小することによって得られるサムネイルの一覧をタッチスクリーンディスプレイ１２の画面上に表示してもよいし、これらサムネイルから選ばれた１つをタッチスクリーンディスプレイ１２の画面上に通常サイズで表示してもよい。

更に、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービス等を提供するクラウド上のサーバ２であってもよい。タブレットコンピュータ１０は、手書き文書をインターネットを介してサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。更に、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の手書き文書を読み出して（ダウンロード）、その手書き文書を構成するストロークそれぞれの軌跡をタブレットコンピュータ１０のタッチスクリーンディスプレイ１２の画面に表示することができる。

このように、本実施形態では、手書き文書が保存される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

次に、図３及び図４を参照して、ユーザによって手書きされたストローク（文字、図形及び表等）と手書き文書との関係について説明する。図３は、ペン１００等を使用してタッチスクリーンディスプレイ１２上に手書きで記載される手書き文書（手書き文字列）の一例を示している。

手書き文書では、一旦手書きによって入力される文字や図形等の上に、更に別の文字や図形等が手書きによって入力されるというケースが多い。図３においては、「Ａ」、「Ｂ」及び「Ｃ」の手書き文字が、この順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」の近傍に手書きによって入力されている。

手書き文字「Ａ」は、ペン１００を使用して手書きされた２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり、２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…、ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…、ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００等を使用して手書きされた２つのストローク、つまり、２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００等を使用して手書きされた１つのストローク、つまり、１つの軌跡によって表現される。手書きの「矢印」は、ペン１００等を使用して手書きされた２つのストローク、つまり、２つの軌跡によって表現される。

図４は、図３に示す手書き文書に含まれる時系列情報２００（つまり、ストロークデータの集合）を示している。図４に示す時系列情報２００は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、これらのストロークが手書きされた順に時系列に並べられている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１及びＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目及び４番目のストロークデータＳＤ３及びＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目及び７番目のストロークデータＳＤ６及びＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、１つのストロークに対応する座標データ系列（時系列座標）、つまり、１つのストローク軌跡上の複数のサンプリング点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数のサンプリング点の座標はストロークが書かれた順（サンプリングされた順）に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまり、ｎ個の座標データＳＤ１１、ＳＤ１２、…、ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまり、ｎ個の座標データＳＤ２１、ＳＤ２２、…、ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。ストロークを等時間間隔でサンプリングすると、ストロークの長さが異なっているので、サンプリング点の数も異なる。

各座標データは、対応する軌跡内のある１点のＸ座標及びＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）及びＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）及びＹ座標（Ｙ１ｎ）を示す。

また、各座標データは、その座標に対応する点が手書きされた時点（サンプリングタイミング）に対応するタイムスタンプ情報Ｔを含んでいる。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間をタイムスタンプ情報として付加し、更に、ストロークデータ内の各座標データに、当該絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報２００を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。更に、このような時系列情報２００によれば、例えば手書き文書を構成する特定のストローク群が手書き（入力）された時間帯（つまり、当該ストローク群に対応するストロークデータ群が入力された時間帯）を特定することができる。

なお、図４には示されていないが、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、当該手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

更に、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合である時系列情報２００を含むので、手書き文字の言語に依存せずに手書き文字を扱うことができる。したがって、本実施形態における時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す図である。図５に示すように、タブレットコンピュータ１０は、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３、ＢＩＯＳ−ＲＯＭ１０４、システムコントローラ１０５、グラフィクスコントローラ１０６、無線通信デバイス１０７及びＥＣ１０８等を備える。また、タブレットコンピュータ１０において、図１に示すタッチスクリーンディスプレイ１２は、ＬＣＤ１２Ａ、タッチパネル１２Ｂ及びデジタイザ１２Ｃを備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０２から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）１０３ａ及び各種アプリケーションプログラムが含まれている。各種アプリケーションプログラムには、手書きノートアプリケーションプログラム１０３ｂが含まれている。

この手書きノートアプリケーションプログラム１０３ｂは、上述の手書き文書を作成及び表示する機能、手書き文書を編集する機能、所望の手書き部分を含む手書き文書や、ある手書き文書内の所望の手書き部分を検索するための手書き文書検索機能等を有している。

更に、手書きノートアプリケーションプログラム１０３ｂは、上記したようにペン１００等を使用してユーザによって手書きで記載される手書き文書を構成する各ストローク群に対して当該ストローク群に基づいて特定されるコンテンツを関連付ける機能を有する。

ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０４に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０５は、ＣＰＵ１０１のローカルバスと各種コンポーネント・モジュールとの間を接続するデバイスである。システムコントローラ１０５には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ１０５は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバス等を介してグラフィクスコントローラ１０６との通信を実行する機能を有している。

グラフィクスコントローラ１０６は、タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１２Ａを制御する表示コントローラである。グラフィクスコントローラ１０６によって生成される表示信号はＬＣＤ１２Ａに送られる。ＬＣＤ１２Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１２Ａ、タッチパネル１２Ｂ及びデジタイザ１２Ｃは互いに重ね合わされている。タッチパネル１２Ｂは、ＬＣＤ１２Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び当該接触位置の動き等は、タッチパネル１２Ｂによって検出される。デジタイザ１２Ｃは、ＬＣＤ１２Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン（デジタイザペン）１００が接触される画面上の接触位置及び当該接触位置の動き等は、デジタイザ１２Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信等の無線通信を実行するように構成されたデバイスである。

ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、上述した手書きノートアプリケーションプログラム１０３ｂによってユーザに提示されるいくつかの代表的な画面の例を説明する。

図６は、手書きノートアプリケーションプログラム１０３ｂのホーム画面の一例を示す。ホーム画面は複数の手書き文書を扱うための基本画面であり、手書き文書（手書きノート）の管理や、アプリケーション全体の設定を行うことができる。

ホーム画面は、デスクトップ画面領域７０と引き出し画面領域７１とを含む。デスクトップ画面領域７０は、作業中の複数の手書き文書に対応する複数のノートアイコン８０１〜８０５を表示するテンポラリ領域である。ノートアイコン８０１〜８０５の各々は、対応する手書き文書内のあるページのサムネイルを表示する。デスクトップ画面領域７０は、更に、ペンアイコン７７１、カレンダーアイコン７７２、スクラップノート（ギャラリー）アイコン７７３及びタグ（ラベル）アイコン７７４を表示する。

ペンアイコン７７１は、表示画面をホーム画面からページ編集画面に切り替えるためのグラフィカルユーザインタフェース（ＧＵＩ）である。カレンダーアイコン７７２は、現在の日付を示すアイコンである。スクラップノートアイコン７７３は、他のアプリケーションプログラムからまたは外部ファイルから取り込んだデータ（スクラップデータまたはギャラリーデータ）を閲覧するためのＧＵＩである。タグアイコン７７４は、任意の手書き文書内の任意のページにラベル（タグ）を貼り付けるためのＧＵＩである。

引き出し画面領域７１は、作成済みの全ての手書き文書を格納するためのストレージ領域を閲覧するための表示領域である。引き出し画面領域７１は、全ての手書き文書のうちのいくつかの手書き文書に対応するノートアイコン８０Ａ、８０Ｂ及び８０Ｃを表示する。ノートアイコン８０Ａ、８０Ｂ及び８０Ｃの各々は、対応する手書き文書内のあるページのサムネイルを表示する。手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われる引き出し画面領域７１上のあるジェスチャ（例えば、スワイプジェスチャ等）を検出することができる。このジェスチャ（例えば、スワイプジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、引き出し画面領域７１上の画面イメージを左方向または右方向にスクロールする。これにより、引き出し画面領域７１に任意の手書き文書それぞれに対応するノートアイコンを表示することができる。

手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われる引き出し画面領域７１のノートアイコン上の他のジェスチャ（例えば、タップジェスチャ等）を検出することができる。引き出し画面領域７１上のあるノートアイコン上のジェスチャ（例えば、タップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、このノートアイコンをデスクトップ画面領域７０の中央部に移動する。そして、手書きノートアプリケーションプログラム１０３ｂは、このノートアイコンに対応する手書き文書を選択し、デスクトップ画面の代わりに後述するノートプレビュー画面を表示する。このノートプレビュー画面は、選択された手書き文書内の任意のページを閲覧可能な画面である。

更に、手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われるデスクトップ画面領域７０上のジェスチャ（例えば、タップジェスチャ等）も検出することができる。デスクトップ画面領域７０の中央部に位置するノートアイコン上のジェスチャ（例えば、タップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、中央部に位置するノートアイコンに対応する手書き文書を選択し、そして、デスクトップ画面の代わりに上記したノートプレビュー画面を表示する。

更に、ホーム画面は、メニューを表示することができる。このメニューは、画面の下部、例えば引き出し画面領域７１に表示されるノート一覧ボタン８１Ａ、ノート作成ボタン８１Ｂ、ノート削除ボタン８１Ｃ、検索ボタン８１Ｄ及び設定ボタン８１Ｅを備える。ノート一覧ボタン８１Ａは、手書き文書の一覧を表示するためのボタンである。ノート作成ボタン８１Ｂは、新しい手書き文書を作成（追加）するためのボタンである。ノート削除ボタン８１Ｃは、手書き文書を削除するためのボタンである。検索ボタン８１Ｄは、検索画面（検索ダイアログ）を開くためのボタンである。設定ボタン８１Ｅは、アプリケーションの設定画面を開くためのボタンである。

なお、ホーム画面においてノート作成ボタン８１Ｂがペン１００または指でタップされると手書き文書（ノート）作成画面が表示される。この作成画面にはタイトル欄が設けられており、当該タイトル欄に手書き文書の名前を手書き入力することができる。また、手書き文書の表紙と用紙とを選択することができる。その後、作成画面上に設けられている作成ボタンを押すと、新規な手書き文書が作成され、当該作成された手書き文書は引き出し画面領域７１に置かれる。

また、図７は、設定ボタン８１Ｅがペン１００または指でタップされた際に開かれる設定画面の一例を示す。この設定画面には、様々な設定項目が表示される。これら設定項目には、「バックアップと復元」、「入力モード（ペン入力モードまたはタッチ入力モード）」、「ライセンス情報」及び「ヘルプ」等が含まれる。

なお、図示しないが、図６に示すホーム画面に含まれる引き出し画面領域７１の下には、戻るボタン、ホームボタン、リーセントアプリケーションボタン等が表示される。

ここで、図８は、上述したノートプレビュー画面の一例を示す。ノートプレビュー画面は、選択された手書き文書内の任意のページを閲覧可能な画面である。ここでは、ホーム画面のデスクトップ画面領域７０のノートアイコン８０１に対応する手書き文書が選択された場合を説明する。この場合、手書きノートアプリケーションプログラム１０３ｂは、この手書き文書内の複数のページ９０１〜９０５を、これらページ９０１〜９０５それぞれの少なくとも一部分が視認可能で、かつ、これらページ９０１〜９０５が重なった形態で表示する。

ノートプレビュー画面は、更に、上述したペンアイコン７７１、カレンダーアイコン７７２及びスクラップノートアイコン７７３を表示する。

ノートプレビュー画面は、更に、メニューを画面下部に表示することができる。このメニューは、ホームボタン８２Ａ、ページ一覧ボタン８２Ｂ、ページ追加ボタン８２Ｃ、ページ編集ボタン８２Ｄ、ページ削除ボタン８２Ｅ、ラベルボタン８２Ｆ、検索ボタン８２Ｇ及びプロパティ表示ボタン８２Ｈを備える。ホームボタン８２Ａは、ノートプレビュー画面を閉じてホーム画面を表示するためのボタンである。ページ一覧ボタン８２Ｂは、現在選択されている手書き文書内のページの一覧を表示するためのボタンである。ページ追加ボタン８２Ｃは、手書き文書内において新しいページを作成（追加）するためのボタンである。ページ編集ボタン８２Ｄは、ページ編集画面を表示するためのボタンである。ページ削除ボタン８２Ｅは、手書き文書内のページを削除するためのボタンである。ラベルボタン８２Ｆは、使用可能なラベルの種類の一覧を表示するためのボタンである。検索ボタン８２Ｇは、検索画面を表示するためのボタンである。プロパティ表示ボタン８２Ｈは、手書き文書のプロパティを表示するためのボタンである。

手書きノートアプリケーションプログラム１０３ｂは、ユーザによって行われるノートプレビュー画面上の様々なジェスチャを検出することができる。例えば、あるジェスチャの検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、一番上に表示されるべきページを任意のページに変更する（ページ送り、ページ戻し）。また、一番上のページ上で行われるあるジェスチャ（例えば、タップジェスチャ）の検出に応答して、またはペンアイコン７７１上で行われるジェスチャ（例えば、タップジェスチャ）の検出に応答して、あるいはページ編集ボタン８２Ｄ上で行われるあるジェスチャ（例えば、タップジェスチャ）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、一番上のページを選択し、そしてノートプレビュー画面の代わりに、ページ編集画面を表示する。

ここで、図９は、ページ編集画面の一例を示す。ページ編集画面は、手書き文書内のページの新規作成、既存のページの閲覧及び編集が可能な画面である。図８に示すノートプレビュー画面上のページ９０１が選択された場合には、ページ編集画面には、図９に示すように当該ページ９０１の内容が表示される。

このページ編集画面において、破線で囲まれた矩形の領域５００は、ユーザがストローク等を手書き可能な手書き入力領域である。手書き入力領域５００においては、デジタイザ１２Ｃからの入力イベントはストロークの表示（描画）のために使用され、タップ等のジェスチャを示すイベントとしては使用されない。一方、ページ編集画面における手書き入力領域５００以外の領域においては、デジタイザ１２Ｃからの入力イベントはタップ等のジェスチャを示すイベントとしても使用され得る。

タッチパネル１２Ｂからの入力イベントは、ストロークの表示（描画）には使用されず、タップ及びスワイプ等のジェスチャを示すイベントとして使用される。

ページ編集画面は、更に、ユーザによって予め登録された３種類のペン５０１〜５０３、範囲選択ペン５０４及び消しゴムペン５０５を含むクイックセレクトメニューを手書き入力領域５００外の画面上部に表示する。ここでは、黒ペン５０１、赤ペン５０２及びマーカー５０３がユーザによって予め登録されている場合が説明されている。ユーザは、ペン１００または指でクイックセレクトメニュー内のあるペン（ボタン）をタップすることにより、使用するペンの種類を切り替えることができる。例えば、黒ペン５０１がユーザによるペン１００または指を使用したタップジェスチャによって選択された状態で、ペン１００を用いた手書き入力操作がページ編集画面上で行われると、手書きノートアプリケーションプログラム１０３ｂは、ペン１００の動きに合わせて黒色のストローク（軌跡）をページ編集画面上に表示する。

クイックセレクトメニュー内の上述の３種類のペンは、ペン１００のサイドボタン（図示せず）に対する操作によっても切り替えることができる。クイックセレクトメニュー内の上述の３種類のペンの各々には、よく使うペンの色やペンの太さの組み合わせを設定することができる。

ページ編集画面は、更に、メニューボタン５１１、ページ戻し（ノートプレビュー画面に戻る）ボタン５１２及び新規ページ追加ボタン５１３を、手書き入力領域５００外の画面下部に表示する。メニューボタン５１１は、メニューを表示するためのボタンである。

このメニューは、例えば、このページをゴミ箱に入れる、コピーやカットしたページの一部を貼り付ける、検索画面を開く、エクスポートサブメニューを表示する、インポートサブメニューを表示する、ページをテキストに変換してメールを送る、ペンケースを表示する等のボタンを表示してもよい。エクスポートサブメニューは、例えば、ページ編集画面上に表示されているページを認識して電子文書ファイル、プレゼンテーションファイル、画像ファイル等に変換する機能、あるいはページを画像ファイルに変換して他のアプリケーションと共有する機能をユーザに選択させる。インポートサブメニューは、例えば、メモギャラリーからメモをインポートする機能、あるいはギャラリーから画像をインポートする機能をユーザに選択させる。ペンケースは、クイックセレクトメニュー内の３種類のペンの各々の色（描画される線の色）及び太さ（描画される線の太さ）を変更可能なペン設定画面を呼び出すためのボタンである。

図１０は、上述した検索画面（検索ダイアログ）の例を示す。図１０では、図８に示すノートプレビュー画面上で検索ボタン８２Ｇが選択され、当該ノートプレビュー画面上に検索画面が開かれた場合が説明されている。

検索画面は、検索キー入力領域５３０、筆跡検索ボタン５３１、テキスト検索ボタン５３２、デリートボタン５３３及び検索実行ボタン５３４を表示する。筆跡検索ボタン５３１は、筆跡検索を選択するためのボタンである。テキスト検索ボタン５３２は、テキスト検索を選択するためのボタンである。検索実行ボタン５３４は、検索処理の実行を要求するためのボタンである。

筆跡検索においては、検索キー入力領域５３０は、検索キーとすべき文字列、図形及び表等を手書きするための入力領域として使用される。図１０においては、検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力されている。ユーザは、手書き文字列に限らず、手書き図形及び手書き表等を検索キー入力領域５３０にペン１００で手書きすることができる。検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力された状態で検索実行ボタン５３４がユーザによって選択されると、手書き文字列「Ｄｅｔｅｒｍｉｎｅ」を構成するストローク集合（クエリーストローク集合）を用いて、このクエリーストローク集合に対応するストローク集合を含む手書き文書を検索するための筆跡検索が実行される。筆跡検索では、ストローク間のマッチングによって、クエリーストローク集合に類似するストローク集合が検索される。クエリーストローク集合とある別のストローク集合との間の類似度の算出においては、ＤＰ（Dynamic Programming）マッチングを使用してもよい。

テキスト検索においては、例えばソフトウェアキーボードが画面上に表示される。ユーザは、ソフトウェアキーボードを操作することによって任意のテキスト（文字列）を検索キーとして検索キー入力領域５３０に入力することができる。検索キー入力領域５３０にテキストが検索キーとして入力された状態で検索実行ボタン５３４がユーザによって選択されると、このテキスト（クエリーテキスト）を表すストローク集合を含む手書き文書を検索するためのテキスト検索が実行される。

筆跡検索／テキスト検索は、全ての手書き文書を対象に実行することもできるし、選択された手書き文書のみを対象に実行することもできる。筆跡検索／テキスト検索が実行されると、検索結果画面が表示される。検索結果画面においては、クエリーストローク集合（またはクエリーテキスト）に対応するストローク集合を含む手書き文書（ページ）の一覧が表示される。なお、ヒットワード（クエリーストローク集合またはクエリーテキストに対応するストローク集合）は、強調表示される。

次に、図１１を参照して、タブレットコンピュータ１０によって実行される手書きノートアプリケーションプログラム１０３ｂの機能構成について説明する。

手書きノートアプリケーションプログラム１０３ｂは、手書き文書を扱うことが可能なＷＹＳＩＷＹＧアプリケーションである。この手書きノートアプリケーションプログラム１０３ｂは、例えば、表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、コンテンツ関連付け部３０６及び作業メモリ４０１等を含む。

上述したタッチパネル１２Ｂは、「タッチ（接触）」、「移動（スライド）」及び「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上のオブジェクト（指）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（指）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（指）が離されたことを示すイベントである。

上述したデジタイザ１２Ｃは、タッチパネル１２Ｂと同様に、「タッチ（接触）」、「移動（スライド）」及び「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上にオブジェクト（ペン１００）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（ペン１００）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（ペン１００）が離されたことを示すイベントである。

手書きノートアプリケーションプログラム１０３ｂは、手書き文書内のページの作成、閲覧及び編集を行うためのページ編集画面をタッチスクリーンディスプレイ１２上に表示する。

表示処理部３０１及び時系列情報生成部３０２は、デジタイザ１２Ｃによって発生される「タッチ（接触）」、「移動（スライド）」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ（接触）」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、表示処理部３０１及び時系列情報生成部３０２は、デジタイザ１２Ｃから接触位置の動きの軌跡に対応する座標列を含むストロークデータ（つまり、手書きで記載される手書き文書を構成するストロークに対応するストロークデータ）を入力（受信）することができる。

表示処理部３０１は、デジタイザ１２Ｃを用いて検出される画面上のオブジェクト（ペン１００）の動き（つまり、入力されたストロークデータ）に応じてユーザによって手書きされたストロークを画面上に表示する。この表示処理部３０１により画面にペン１００が接触している間のペン１００の軌跡、つまり、各ストロークの軌跡がページ編集画面上に表示される。

時系列情報生成部３０２は、上述したように入力されたストロークデータに含まれる座標列に基づいて、図４において詳述したような構造を有する時系列情報（座標データ系列）を含む手書き文書を生成する。時系列情報生成部３０２は、生成された手書き文書（時系列情報）を作業メモリ４０１に一時保存する。

編集処理部３０３は、現在表示中の手書き文書（内のページ）を編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１２上でユーザによって行われる編集操作及び手書き入力操作に応じて、現在表示中の手書き文書に新たなストローク（新たな手書き文字及び新たな手書きマーク等）を追加する処理、表示されている複数のストロークのうちの１以上のストロークを削除または移動する処理等を含む編集処理を実行する。更に、編集処理部３０３は、編集処理の結果を表示中の手書き文書（時系列情報）に反映するために作業メモリ４０１内の手書き文書を更新する。

ページ保存処理部３０４は、ペン１００を使用してユーザによって手書きされた複数のストロークに対応する複数のストロークデータ（つまり、時系列情報）を含む手書き文書を記憶媒体４０２に保存する。このとき、ページ保存処理部３０４は、手書き文書を、当該手書き文書を識別するための識別子（以下、手書き文書ＩＤと表記）に対応づけて保存する。手書き文書が保存される記憶媒体４０２は、例えばタブレットコンピュータ１０内のストレージデバイスであってもよいし、例えばサーバ（コンピュータ）２のストレージデバイスであってもよい。

ページ取得処理部３０５は、記憶媒体４０２から任意の手書き文書を取得する。この取得された手書き文書は、表示処理部３０１に送られる。表示処理部３０１は、手書き文書に含まれる複数のストロークデータに対応する複数のストロークを画面上に表示する。

コンテンツ関連付け部３０６は、手書きで記載された複数のストロークのうちの特定のストローク群の情報を用いて特定されるコンテンツ（つまり、当該ストローク群に関連のあるコンテンツ）を、当該ストローク群に関連付ける処理を実行する。なお、コンテンツ関連付け部３０６によってストローク群に関連付けられるコンテンツは、例えばテキストデータ、音声データ、画像データ及びＷｅｂページデータ等を含むが、これら以外のデータであってもよい。このように手書き文書を構成するストローク群に関連付けられたコンテンツを示す情報（以下、関連コンテンツ情報と表記）は、記憶媒体４０２に保存される。なお、コンテンツ関連付け部３０６の詳細については後述する。

次に、図１１に示す表示処理部３０１について説明する。図１１に示すように、表示処理部３０１は、手書きデータ入力部３０１Ａ、筆跡描画部３０１Ｂ及び関連コンテンツ提示処理部３０１Ｃを含む。

前述したように、タッチスクリーンディスプレイ１２は、画面に対するタッチ操作をタッチパネル１２Ｂまたはデジタイザ１２Ｃで検出する。手書きデータ入力部３０１Ａは、タッチパネル１２Ｂまたはデジタイザ１２Ｃから出力される検出信号を入力するモジュールである。検出信号には、タッチ位置の座標情報（Ｘ，Ｙ）が含まれている。このような検出信号を時系列順に入力することによって、手書きデータ入力部３０１Ａは、手書き入力操作に応じた（つまり、手書きで記載される）ストロークに対応するストロークデータを入力する。手書きデータ入力部３０１Ａによって入力されたストロークデータ（検出信号）は、筆跡描画部３０１Ｂに供給される。

筆跡描画部３０１Ｂは、手書き入力の軌跡（筆跡）を描画してタッチスクリーンディスプレイ１２のＬＣＤ１２Ａに表示するモジュールである。筆跡描画部３０１Ｂは、手書きデータ入力部３０１Ａからのストロークデータ（検出信号）に基づき、手書き入力の軌跡（筆跡）に対応する線分を描画する。

関連コンテンツ提示処理部３０１Ｃは、例えばページ取得処理部３０５によって取得された手書き文書を画面上に表示する場合、記憶媒体４０２に保存された関連コンテンツ情報を参照して、当該手書き文書を構成する各ストローク群に関連付けられたコンテンツを提示する。

次に、図１２を参照して、図１１に示すコンテンツ関連付け部３０６について詳細に説明する。図１２に示すように、コンテンツ関連付け部３０６は、手書き文書取得部３０６Ａ、構造化処理部３０６Ｂ、コンテキスト情報取得部３０６Ｃ、文字認識処理部３０６Ｄ及び関連付け処理部３０６Ｅを含む。

手書き文書取得部３０６Ａは、例えばページ保存処理部３０４によって記憶媒体４０２に保存される手書き文書を取得する。この手書き文書は、手書き文書を構成する複数のストロークに対応する複数のストロークデータを含む。

構造化処理部３０６Ｂは、手書き文書取得部３０６Ａによって取得された手書き文書に対して構造化処理を実行する。この構造化処理によれば、手書き文書を構成する複数のストロークが予め定められているブロック単位で構造化される。

コンテキスト情報取得部３０６Ｃは、構造化処理部３０６Ｂによって構造化されたブロックに属するストローク群（手書き文書を構成するストローク群）に対応するストロークデータ群に基づいて、当該ストロークデータ群の入力が開始された時刻（以下、入力開始時刻と表記）及び当該ストロークデータ群の入力が終了された時刻（以下、入力終了時刻と表記）を取得する。

文字認識処理部３０６Ｄは、構造化処理部３０６Ｂによって構造化されたブロックに属するストローク群（例えば、手書き文字列等）に対して文字認識処理を実行する。この場合、文字認識処理部３０６Ｄは、文字認識処理結果として文字列（テキスト）等を取得する。

関連付け処理部３０６Ｅは、コンテキスト情報取得部３０６Ｃによって取得された入力開始時刻及び入力終了時刻の間の時間帯にタブレットコンピュータ１０において利用されていたコンテンツを、構造化処理部３０６Ｂによって構造化されたブロックに属するストローク群に関連するコンテンツとして特定する。

また、関連付け処理部３０６Ｅは、文字認識処理部３０６Ｄによって取得された文字認識結果を用いて特定されるコンテンツを、構造化処理部３０６Ｂによって構造化されたブロックに属するストローク群に関連するコンテンツとして特定する。

このように関連付け処理部３０６Ｅによって特定されたコンテンツは、構造化処理部３０６Ｂによって構造化されたブロックに属するストローク群に関連付けられる。この場合、関連付け処理部３０６Ｅは、ストローク群に関連付けられたコンテンツを示す関連コンテンツ情報を記憶媒体４０２に保存する。このようにストローク群に関連付けられたコンテンツは、後述するように少なくとも当該ストローク群のユーザによる指定によって表示または再生が可能となる。

ここで、図１３は、記憶媒体４０２に保存される関連コンテンツ情報のデータ構造の一例を示す。図１３に示すように、関連コンテンツ情報は、手書き文書ＩＤ、ブロックデータ及びコンテンツＩＤ等を対応づけて含む。

手書き文書ＩＤは、手書き文書取得部３０６Ａによって取得された手書き文書を識別するための識別子である。ブロックデータは、対応づけられている手書き文書ＩＤによって識別される手書き文書に対して構造化処理が実行されることによって構造化されたブロック（以下、単に手書き文書のブロックと表記）を表すデータである。このブロックデータには、例えばブロックの外接矩形を表す座標データ及び当該ブロックに属するストローク群に対応するストロークデータ群等が含まれる。コンテンツＩＤは、対応するブロックデータによって表されるブロック（に属するストローク群）に関連付けられたコンテンツを識別するための識別子（例えば、コンテンツ名等）である。

図１３に示す例では、関連コンテンツ情報には、手書き文書ＩＤ「手書き文書１」、ブロックデータ「ブロック１」及びコンテンツＩＤ「コンテンツ１」が対応づけて含まれる。この関連コンテンツ情報によれば、手書き文書１のブロック１（に属するストローク群）に関連付けられたコンテンツがコンテンツ１であることが示されている。

また、関連コンテンツ情報には、手書き文書ＩＤ「手書き文書１」、ブロックデータ「ブロック１」及びコンテンツＩＤ「コンテンツ２」が対応づけて含まれる。この関連コンテンツ情報によれば、手書き文書１のブロック１（に属するストローク群に）関連付けられたコンテンツがコンテンツ２であることが示されている。

このように、本実施形態においては、１つのブロック（ここでは、手書き文書１のブロック１）に対して複数のコンテンツ（ここでは、コンテンツ１及び２）が関連付けられても構わない。

なお、ここでは手書き文書１のブロック１について説明したが、当該手書き文書１の他のブロック（例えば、ブロック２）及び他の手書き文書のブロックについても同様であるため、その詳しい説明を省略する。

以下、本実施形態に係るタブレットコンピュータ１０の動作について説明する。ここでは、本実施形態に係るタブレットコンピュータ１０によって実行される処理のうち、コンテンツ関連付け処理及び関連コンテンツ提示処理について説明する。

まず、図１４のフローチャートを参照して、コンテンツ関連付け処理の処理手順について説明する。このコンテンツ関連付け処理は、例えばユーザによって手書きで記載される手書き文書が記憶媒体４０２に保存される際にコンテンツ関連付け部３０６によって実行される。以下の図１４の説明においては、記憶媒体４０２に保存される手書き文書を、対象手書き文書と称する。

コンテンツ関連付け処理において、コンテンツ関連付け部３０６に含まれる手書き文書取得部３０６Ａは、対象手書き文書を取得する（ブロックＢ１）。なお、手書き文書取得部３０６Ａによって取得される対象手書き文書には、対象手書き文書を構成する複数のストロークに対応する複数のストロークデータが含まれる。

構造化処理部３０６Ｂは、手書き文書取得部３０６Ａによって取得された対象手書き文書に対して構造化処理を実行する（ブロックＢ２）。この構造化処理によれば、対象手書き文書に含まれる複数のストロークデータに基づいて、予め定められているブロック単位での筆跡の構造化が行われる。

ここで、ブロックＢ２における構造化処理について詳細に説明する。この構造化処理において、構造化処理部３０６Ｂは、対象手書き文書を構成する複数のストロークを例えば行ブロック単位で構造化する。具体的には、手書き文書に含まれる各ストロークデータ（に対応する各ストローク）は手書きされた順に並べられているため、当該ストローク列に関して、例えば連続するストロークの外接矩形間の距離が閾値未満であれば同一の行ブロックに属すると判定し、当該閾値以上であれば異なる行ブロックに属すると判定する。このような処理がストローク毎に繰り返し実行されることによって、対象手書き文書における１つの行を構成するストローク群を１つのブロック（つまり、行ブロック）として構造化することができる。

なお、ここでは対象手書き文書を構成する複数のストロークを行ブロック単位で構造化するものとして説明したが、例えば段落ブロック単位、文字ブロック単位または単語ブロック単位等で構造化するような構成であってもよい。

段落ブロック単位で構造化する場合には、例えば対象手書き文書平面上において、行ブロックの領域の短辺の方向に関して全てのストロークを射影し、一定区間中のストローク頻度を算出したヒストグラムを求める。このように求めたヒストグラムは多峰性を有するため、当該各峰（に対応するストローク群）を１つのブロック（つまり、段落ブロック）として構造化することができる。

また、文字ブロック単位で構造化する場合には、上記した行ブロックの外接矩形における短辺の中央値を１文字のサイズとする。また、手書きされた順にストロークの外接矩形のＡＮＤ処理を行い、これらのストロークの外接矩形が結合された矩形を求める。このとき、あるストロークの外接矩形の結合後の矩形が行ブロックの長辺方向に上記した文字サイズより大きくなる場合、当該ストロークは直前の文字ブロック（つまり、当該ストロークの外接矩形が結合される前のブロック）とは異なる文字ブロックに属すると判定される。一方、あるストロークの外接矩形の結合後の矩形が文字サイズより大きくない場合には当該ストロークは直前の文字ブロックに属すると判定される。このような処理がストローク毎に繰り返し実行されることによって、対象手書き文書における１つの文字を構成するストローク群を１つのブロック（つまり、文字ブロック）として構造化することができる。

更に、単語ブロック単位で構造化する場合には、例えば手書き文書（を構成する複数のストローク）に対して文字認識処理を実行することにより、当該手書き文書を構成する複数のストロークが文字列に変換される。このように変換された文字列に対して例えば形態素解析処理を実行することにより、当該文字列は単語単位に分割される。この場合、分割された各単語として文字認識されたストローク群を１つのブロック（つまり、単語ブロック）として構造化することができる。なお、単語ブロックは、例えば上記した文字ブロックに基づいて算出されるようにしても構わない。

すなわち、上記したブロックＢ２における構造化処理は、対象手書き文書（を構成する複数のストローク）を予め定められたブロック単位で構造化する処理であればよい。具体的には、対象手書き文書は、例えば行ブロック単位、段落ブロック単位、文字ブロック単位及び単語ブロック単位の少なくとも１つ以上の単位で構造化されればよい。

次に、ブロックＢ２において構造化された各ブロックの各々について以下のブロックＢ３〜Ｂ７の処理が実行される。以下、ブロックＢ３〜Ｂ７の処理が実行されるブロックを対象ブロックと称する。

コンテキスト情報取得部３０６Ｃは、対象ブロックに属するストローク群が手書きされた時間帯（つまり、当該ストローク群に対応するストロークデータ群が入力された時間帯）を特定する（ブロックＢ３）。

この場合、コンテキスト情報取得部３０６Ｃは、対象ブロックに属するストローク群に対応するストロークデータ群（時系列情報）に基づいて、当該ストローク群のうち最初に手書きされたストローク及び最後に手書きされたストロークを特定する。次に、コンテキスト情報取得部３０６Ｃは、特定された最初に手書きされたストロークに対応するストロークデータに付加されているタイムスタンプ情報Ｔに対応する時刻（つまり、入力開始時刻）を取得する。更に、コンテキスト情報取得部３０６Ｃは、最後に手書きされたストロークに対応するストロークデータに付加されているタイムスタンプ情報Ｔに対応する時刻（つまり、入力終了時刻）を取得する。コンテキスト情報取得部３０６Ｃは、このように取得された入力開始時刻及び入力終了時刻（つまり、コンテキスト情報）に基づいて、当該入力開始時刻から当該入力終了時刻までの時間帯を、対象ブロックに属するストローク群が手書きされた時間帯（以下、対象ブロックの入力時間帯と表記）として特定する。

また、文字認識処理部３０６Ｄは、対象ブロックに属するストローク群に対して文字認識処理を実行する（ブロックＢ４）。これによれば、対象ブロックに属するストローク群が文字列またはシンボルマーク等に変換され、文字認識処理部３０６Ｄは、文字認識結果として当該文字列またはシンボルマーク等を取得する。

次に、関連付け処理部３０６Ｅは、対象ブロック（に属するストローク群）に関連するコンテンツ（以下、関連コンテンツと表記）を特定する（ブロックＢ５）。

この場合、関連付け処理部３０６Ｅは、例えばタブレットコンピュータ１０内に保存されている複数のコンテンツ（つまり、ユーザが所有しているコンテンツ）のうち、対象ブロックの入力時間帯にタブレットコンピュータ１０において利用されていた１以上のコンテンツ（つまり、対象ブロックに属するストローク群が手書きされた際に利用されていたコンテンツ）を、関連コンテンツとして特定する。

この関連コンテンツには、当該タブレットコンピュータ１０において例えば当該対象ブロックの入力時間帯に開かれていたファイル及び当該対象ブロックの入力時間帯に生成されたファイル（例えば、文書ファイル、表計算ファイル、画像ファイル、音声ファイル、音楽ファイル及び動画ファイル等）が含まれる。これらの各種ファイルがタブレットコンピュータ１０において開かれていたまたは生成された時間帯等については、当該ファイル内で管理されているものとする。

なお、関連コンテンツは、対象ブロックの入力時間帯の全てで利用されている必要はなく、例えば当該入力時間帯のうち一定の時間帯において利用されていたコンテンツであってもよいし、入力開始時刻または入力終了時刻の時点で利用されていたコンテンツであってもよい。更に、上記した入力開始時刻から入力終了時刻までの時間帯に対して、当該入力開始時刻より前の予め定められた時間帯及び当該入力終了時刻より後の予め定められた時間帯を加算することによって、対象ブロックの入力時間帯に一定の幅を持たせるようにしてもよい。

また、関連付け処理部３０６Ｅは、文字認識処理部３０６Ｄによる文字認識結果（つまり、対象ブロックに属するストローク群が変換された文字列またはシンボルマーク）に基づいて関連コンテンツを特定する。

具体的には、関連付け処理部３０６Ｅは、文字認識結果として文字列が取得されている場合には、例えばタブレットコンピュータ１０内に保存されているコンテンツのうち、当該文字列がコンテンツ名に含まれるコンテンツ（例えば、当該文字列がファイル名に含まれるファイル）を関連コンテンツとして特定する。一方、文字認識結果としてシンボルマーク等が取得されている場合には、関連コンテンツは特定されないものとする。

なお、上述したブロックＢ２において対象手書き文書を構成する複数のストロークが例えば行ブロック単位または段落ブロック単位で構造化されている場合、上記した文字認識結果として取得される文字列が長い場合がある。このような場合には、文字認識結果として取得された文字列に対して形態素解析処理を実行することによって得られる単語等がファイル名に含まれるファイルが関連コンテンツとして特定されるようにしてもよい。更に、対象手書き文書を構成する複数のストロークが例えば段落ブロック単位で構造化されている場合には、文字認識結果として取得された文字列からキーワード（例えば、出現頻度の高い単語等）を抽出し、当該キーワードがファイル名に含まれるファイルが関連コンテンツとして特定されるようにしてもよい。

このようにブロックＢ５において関連コンテンツが特定されると、関連付け処理部３０６Ｅは、当該関連コンテンツを示す関連コンテンツ情報を生成する（ブロックＢ６）。具体的には、関連付け処理部３０６Ｅは、対象手書き文書を識別するための手書き文書ＩＤ、対象ブロックを表すブロックデータ（対象ブロックの外接矩形を表す座標データ及び対象ブロックに属するストローク群に対応するストロークデータ群）及びブロックＢ５において特定された関連コンテンツを識別するためのコンテンツＩＤを含む関連コンテンツ情報を生成する。

関連付け処理部３０６Ｅは、生成された関連コンテンツ情報を記憶媒体４０２に登録（保存）する（ブロックＢ７）。

次に、ブロックＢ２において構造化された全てのブロックについてブロックＢ３〜Ｂ７の処理が実行されたか否かが判定される（ブロックＢ８）。

全てのブロックについて処理が実行されていないと判定された場合（ブロックＢ８のＮＯ）、上述したブロックＢ３に戻って処理が繰り返される。この場合、ブロックＢ３〜Ｂ７の処理が実行されていないブロックを対象ブロックとして当該処理が実行される。

一方、全てのブロックについて処理が実行されたと判定された場合、コンテンツ関連付け処理は終了される。

このようにコンテンツ関連付け処理によれば、対象手書き文書に対して構造化処理が実行されることによって構造化された各ブロック（に属する各ストローク群）に対して関連コンテンツを関連付けることができる。

なお、図１４に示すコンテンツ関連付け処理においては対象ブロックの入力時間帯及び文字認識結果の双方に基づいて関連コンテンツを特定するものとして説明したが、例えば対象ブロックの入力時間帯及び文字認識結果の一方のみに基づいて関連コンテンツを特定する構成であってもよい。なお、対象ブロックの入力時間帯のみに基づいて関連コンテンツを特定する場合には、ブロックＢ４の処理は省略されても構わない。同様に、文字認識結果のみに基づいて関連コンテンツを特定する場合には、ブロックＢ３の処理は省略されても構わない。また、本実施形態においては、対象ブロックに属するストローク群に基づいて関連コンテンツが特定されるのであれば、他の処理が実行されても構わない。

また、図１４に示すブロックＢ５においては、コンテキスト情報として取得された入力開始時刻から入力終了時刻までの時間帯（入力時間帯）に利用されていたコンテンツを関連コンテンツとして特定するものとして説明したが、例えば対象ブロックに属するストローク群が手書きされた場所等の他の情報がコンテキスト情報として取得されても構わない。例えば、対象ブロックに属するストローク群が手書きされた場所（例えば、施設等）がコンテキスト情報として取得された場合には、当該場所に関連するコンテンツ（例えば、当該施設のＷｅｂページ等）が関連コンテンツとして特定されればよい。

次に、図１５のフローチャートを参照して、関連コンテンツ提示処理の処理手順について説明する。この関連コンテンツ提示処理は、記憶媒体４０２に保存された手書き文書がタブレットコンピュータ１０の画面上に表示される際に関連コンテンツ提示処理部３０１Ｃによって実行される。以下の図１５の説明においては、タブレットコンピュータ１０の画面上に表示された手書き文書を、対象手書き文書と称する。

なお、この対象手書き文書に対しては、上述した図１４に示すコンテンツ関連付け処理が実行されているものとする。換言すれば、対象手書き文書に対して構造化処理が実行されることによって構造化された各ブロック（以下、対象手書き文書の各ブロックと表記）に対して関連コンテンツが関連付けられているものとする。

ここで、対象手書き文書がタブレットコンピュータ１０の画面上に表示される場合、ユーザは、当該対象手書き文書の各ブロックのうちの少なくとも１つを選択する操作（例えば、タッチ操作等）を行うことができる。

この場合、関連コンテンツ提示処理部３０１Ｃは、デジタイザ１２Ｃによって発生される例えば「タッチ（接触）」イベントを受信し、当該イベントに含まれる接触位置の座標を外接矩形内の領域に含むブロックを選択する（ブロックＢ１１）。なお、対象手書き文書の各ブロックの外接矩形（内の領域）は、当該対象手書き文書を識別するための手書き文書ＩＤに対応づけて関連コンテンツ情報に含まれるブロックデータ（に含まれる座標データ）によって特定される。以下、関連コンテンツ提示処理部３０１Ｃによって選択されたブロックを選択ブロックと称する。

次に、関連コンテンツ提示処理部３０１Ｃは、記憶媒体４０２に保存されている関連コンテンツ情報を参照して、選択ブロックに関連付けられている関連コンテンツを特定する（ブロックＢ１２）。具体的には、関連コンテンツ提示処理部３０１Ｃは、対象手書き文書を識別するための手書き文書ＩＤ及び選択ブロックを表すブロックデータに対応づけて関連コンテンツ情報に含まれているコンテンツＩＤを取得する。関連コンテンツ提示処理部３０１Ｃは、取得されたコンテンツＩＤによって識別されるコンテンツを、選択ブロックに関連付けられている関連コンテンツとして特定する。

関連コンテンツ提示処理部３０１Ｃは、特定された関連コンテンツをタブレットコンピュータ１０の画面上に表示（提示）する（ブロックＢ１３）。

このような関連コンテンツ提示処理によれば、対象手書き文書が表示される際に、ユーザによって選択された対象手書き文書のブロックに関連付けられた関連コンテンツを併せて提示することが可能となる。

ここで、図１６及び図１７を参照して、関連コンテンツを提示する際のタブレットコンピュータ１０の表示画面（ページ編集画面）の一例について説明する。なお、図１６及び図１７においては、前述した図９と同一の部分には同一の参照符号が付されている。

まず、図１６に示すような対象手書き文書が表示された画面上において、例えば手書き文字列「ＨＤＤ」（を表すストローク群）が属するブロックを選択する操作（タッチ操作）がユーザによって行われた場合を想定する。

この場合には、図１７に示すように、手書き文字列「ＨＤＤ」が属するブロックの近傍に、関連コンテンツ提示領域１０００が表示される。この関連コンテンツ提示領域１０００内には、手書き文字列「ＨＤＤ」（が属するブロック）に関連付けられた関連コンテンツが提示される。

図１７に示す例では、関連コンテンツ提示領域１０００には、例えば手書き文字列「ＨＤＤ」が手書きされた時間帯（に一定の幅を持たせた時間帯等）に生成された画像ファイルに対応するアイコン１００１及び音声ファイルに対応するアイコン１００２等が提示されている。この画像ファイルには、例えばタブレットコンピュータ１０が企業内における会議等で使用されていた場合において、タブレットコンピュータ１０に備えられているカメラによって撮像された画像（例えば、当該会議等で用いられたホワイトボートの画像）等が含まれる。同様に、音声ファイルには、例えばタブレットコンピュータ１０が企業内における会議等で使用されていた場合において、タブレットコンピュータ１０に備えられているマイクによって録音された音声（例えば、当該会議中の音声）等が含まれる。

なお、関連コンテンツ提示領域１０００において提示される関連コンテンツは、手書き文字列「ＨＤＤ」が手書きされた時間帯に例えば外部機器等において生成されたコンテンツ（例えば、画像ファイル及び音声ファイル等）であっても構わない。

また、ここでは手書き文字列「ＨＤＤ」が手書きされた時間帯に生成された画像ファイルに対応するアイコン１００１及び音声ファイルに対応するアイコン１００２が提示されるものとして説明したが、当該時間帯に開かれていたファイルまたは上述した文字認識結果として取得された文字列がファイル名に含まれるファイル等に対応するアイコンが提示されてもよい。

ここで、ユーザは、図１７に示すような関連コンテンツ提示領域１０００において提示されているアイコン１００１または１００２等を選択する操作（タッチ操作）を行うことができる。このように関連コンテンツ提示領域１０００において提示されている例えばアイコン１００１がユーザによって選択された場合、タブレットコンピュータ１０上で当該アイコン１００１に対応する画像ファイルが開かれ、ユーザは、当該画像ファイルを閲覧することができる。 上記したように本実施形態においては、手書き文書を構成する複数のストローク群（第１ストローク群及び第２ストローク群）に対応するストロークデータ（群）を入力し、当該各ストローク群に基づいて特定される関連コンテンツ（第１コンテンツ及び第２コンテンツ）を当該各ストローク群（が属する各ブロック）に関連付ける。更に、本実施形態においては、手書き文書を表示する場合、各ブロック（に属する各ストローク群）に関連付けられた関連コンテンツのうちの少なくとも１つ（例えば、ユーザによって選択されたブロックに関連付けられた関連コンテンツ）を提示する。

本実施形態においては、このような構成により、手書き文書（を構成するストローク群）を起点として関連コンテンツにアクセスすることが可能となるため、例えば手書き文書毎に関連コンテンツをまとめて管理しておくことが不要となり、ユーザは効率的な作業を行うことが可能となる。したがって、本実施形態においては、ユーザの利便性を向上させることができる。

具体的には、本実施形態においては、手書き文書を構成する各ストローク群に対応するストロークデータが入力される時間帯（第１時間帯及び第２時間帯）において利用されたコンテンツが関連コンテンツとして提示される。本実施形態においては、このような構成により、ユーザは、手書き文書とともに当該手書き文書を構成するストローク群が手書きされた際に利用されていたコンテンツを閲覧することができるため、当該手書き文書が作成された経緯等を容易に把握することが可能となる。

また、本実施形態においては、手書き文書を構成する各ストローク群に対する文字認識結果（第１文字認識結果及び第２文字認識結果）に基づいて特定されるコンテンツが関連コンテンツとして提示される。本実施形態においては、このような構成により、手書き文書を閲覧する際に、当該手書き文書を構成するストローク群（によって表される手書き文字列）に関連する（と推測される）コンテンツを併せて閲覧することが可能となる。

また、本実施形態においては、手書き文書を構成する各ストローク群に対応するストロークデータが入力される時間帯（第１時間帯及び第２時間帯）において生成されたコンテンツが関連コンテンツとして提示される。本実施形態においては、このような構成により、例えば上述したようにタブレットコンピュータ１０が会議等で使用されていた場合には、当該会議で用いられたホワイトボードの画像（ファイル）または当該会議中に録音された音声（ファイル）等を、後に手書き文書を閲覧する際に併せて確認することが可能となる。

なお、本実施形態においては、手書き文書が作成されて記憶媒体４０２に保存される際に、当該手書き文書の各ブロック（に属するストローク群）に対して自動的に関連コンテンツが関連付けられるものとして説明したが、例えばユーザの操作に応じて選択された関連コンテンツが関連付けられる構成であってもよい。更に、ユーザの操作に応じて、手書き文書の各ブロックに対する関連コンテンツの関連付けが解除されるような構成とすることも可能である。なお、このようなユーザの手動による関連コンテンツの関連付け等は、例えば手書き文書のブロックが指定（選択）された際に表示されるメニュー等を介して行うことができる。

また、本実施形態においては、例えば既に作成されている手書き文書を再度表示する際に当該手書き文書を構成するストローク群（が属するブロック）に関連付けられた関連コンテンツを提示するものとして説明したが、新規な手書き文書を作成する際に関連コンテンツの履歴を提示するような構成としてもよい。

具体的には、図１８に示すように、新規な手書き文書（内のページ）を作成する際に、ユーザによって手書き文字列「ＨＤＤ」（のストローク群）が手書きされる場合を想定する。このように手書きされた手書き文字列「ＨＤＤ」（に対応するストロークデータ）がタブレットコンピュータ１０に入力される場合、例えば関連コンテンツ提示処理部３０１Ｃは、記憶媒体４０２に保存されている関連コンテンツ情報を参照して、当該手書き文字列「ＨＤＤ」と同一または類似するストローク群（第３ストローク群）に関連付けられているコンテンツ（第３コンテンツ）を特定する。なお、手書き文字列「ＨＤＤ」と別のストローク群との間の類似度の算出においては、例えばＤＰマッチング等を使用することができる。このように特定されたコンテンツは、手書き文字列「ＨＤＤ」に対して過去に関連付けられたコンテンツ（つまり、関連コンテンツの履歴）として、図１８に示すように関連コンテンツ提示領域１０００において提示される。このように関連コンテンツ提示領域１０００において提示されたコンテンツは、例えばユーザによる指定によって表示または再生可能である。図１８では省略されているが、この場合における関連コンテンツ提示領域１０００は、当該関連コンテンツ提示領域１０００において提示されているコンテンツが関連コンテンツの履歴であることをユーザが容易に把握することができる態様で表示されても構わない。

なお、ここでは手書き文字列「ＨＤＤ」が手書きされた場合についてのみ説明したが、他の手書き文字列（第２ストローク群）が手書きされた場合であっても、当該手書き文字列と同一または類似するストローク群（第４ストローク群）に関連付けられているコンテンツ（第４コンテンツ）が存在する場合には、関連コンテンツの履歴を提示することが可能である。

このような構成によれば、例えば目的とする関連コンテンツが関連付けられた手書き文字列（ストローク群）を覚えているが、手書き文書が大量に蓄積されていることにより、当該手書き文字列を手書きした手書き文書を探し出すことが煩雑であるような場合であっても、ユーザは当該手書き文字列を手書きすることによって当該手書き文字列に関連付けられた関連コンテンツを検索し、当該関連コンテンツ（の内容）を容易に確認することができる。

なお、関連コンテンツの履歴は、手書き文字列が手書きされた直後に提示されてもよいし、当該関連コンテンツの履歴を提示することがユーザによって指示された場合に提示されてもよい。更に、上記したように新規な手書き文書を作成する際に関連コンテンツの履歴が表示された場合に、例えばユーザの操作に応じて、当該履歴として提示された関連コンテンツを新規な手書き文書（において手書きされた手書き文字列）に関連付けるような構成とすることも可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…タブレットコンピュータ（電子機器）、１１…本体、１２…タッチスクリーンディスプレイ、１２Ａ…ＬＣＤ、１２Ｂ…タッチパネル、１２Ｃ…デジタイザ、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…主メモリ、１０３ａ…オペレーティングシステム、１０３ｂ…手書きノートアプリケーションプログラム、１０４…ＢＩＯＳ−ＲＯＭ、１０５…システムコントローラ、１０６…グラフィクスコントローラ、１０７…無線通信デバイス、１０８…ＥＣ、３０１…表示処理部、３０１Ａ…手書きデータ入力部、３０１Ｂ…筆跡描画部、３０１Ｃ…関連コンテンツ提示処理部、３０２…時系列情報生成部、３０３…編集処理部、３０４…ページ保存処理部、３０５…ページ取得処理部、３０６…コンテンツ関連付け部、３０６Ａ…手書き文書取得部、３０６Ｂ…構造化処理部、３０６Ｃ…コンテキスト情報取得部、３０６Ｄ…文字認識処理部、３０６Ｅ…関連付け処理部、４０１…作業メモリ、４０２…記憶媒体

Claims (15)

1. 手書きで記載された第１ストローク群及び第２ストローク群に対応するデータを入力することと、
   前記第１ストローク群の情報を用いて特定される第１コンテンツを当該第１ストローク群に関連付けることと、
   前記第２ストローク群の情報を用いて特定される第２コンテンツを当該第２ストローク群に関連付けることと
   を具備し、
   前記第１コンテンツは、少なくとも前記第１ストローク群のユーザによる指定によって表示または再生可能であり、
   前記第２コンテンツは、少なくとも前記第２ストローク群のユーザによる指定によって表示または再生可能である、方法。
2. 前記第１コンテンツは、前記第１ストローク群に対応する第１ストロークデータが入力される第１時間帯に利用された１以上のコンテンツを含み、
   前記第２コンテンツは、前記第２ストローク群に対応する第２ストロークデータが入力される第２時間帯に利用された１以上のコンテンツを含む
   請求項１記載の方法。
3. 前記第１コンテンツは、前記第１ストローク群に対する第１文字認識結果を用いて特定されるコンテンツを含み、
   前記第２コンテンツは、前記第２ストローク群に対する第２文字認識結果を用いて特定されるコンテンツを含む
   請求項１記載の方法。
4. 前記第１コンテンツは、前記第１ストローク群に対応する第１ストロークデータが入力される第１時間帯に生成された１以上のコンテンツを含み、
   前記第２コンテンツは、前記第２ストローク群に対応する第２ストロークデータが入力される第２時間帯に生成された１以上のコンテンツを含む
   請求項１記載の方法。
5. 前記第１ストローク群に対応する第１ストロークデータを入力する場合、当該第１ストローク群と同一または類似する第３ストローク群に関連付けられている第３コンテンツを表示または再生可能であり、
   前記第２ストローク群に対応する第２ストロークデータを入力する場合、当該第２ストローク群と同一または類似する第４ストローク群に関連付けられている第４コンテンツを表示または再生可能である
   請求項１記載の方法。
6. 手書きで記載された第１ストローク群及び第２ストローク群に対応するデータを入力する入力手段と、
   前記第１ストローク群の情報を用いて特定される第１コンテンツを当該第１ストローク群に関連付け、前記第２ストローク群の情報を用いて特定される第２コンテンツを当該第２ストローク群に関連付ける処理手段と
   を具備し、
   前記第１コンテンツは、少なくとも前記第１ストローク群のユーザによる指定によって表示または再生可能であり、
   前記第２コンテンツは、少なくとも前記第２ストローク群のユーザによる指定によって表示または再生可能である、電子機器。
7. 前記第１コンテンツは、前記第１ストローク群に対応する第１ストロークデータが入力される第１時間帯に利用された１以上のコンテンツを含み、
   前記第２コンテンツは、前記第２ストローク群に対応する第２ストロークデータが入力される第２時間帯に利用された１以上のコンテンツを含む
   請求項６記載の電子機器。
8. 前記第１コンテンツは、前記第１ストローク群に対する第１文字認識結果を用いて特定されるコンテンツを含み、
   前記第２コンテンツは、前記第２ストローク群に対する第２文字認識結果を用いて特定されるコンテンツを含む
   請求項６記載の電子機器。
9. 前記第１コンテンツは、前記第１ストローク群に対応する第１ストロークデータが入力される第１時間帯に生成された１以上のコンテンツを含み、
   前記第２コンテンツは、前記第２ストローク群に対応する第２ストロークデータが入力される第２時間帯に生成された１以上のコンテンツを含む
   請求項６記載の電子機器。
10. 前記第１ストローク群に対応する第１ストロークデータを入力する場合、当該第１ストローク群と同一または類似する第３ストローク群に関連付けられている第３コンテンツを表示または再生可能であり、
    前記第２ストローク群に対応する第２ストロークデータを入力する場合、当該第２ストローク群と同一または類似する第４ストローク群に関連付けられている第４コンテンツを表示または再生可能である
    請求項６記載の電子機器。
11. コンピュータに、
    手書きで記載された第１ストローク群及び第２ストローク群に対応するデータを入力することと、
    前記第１ストローク群の情報を用いて特定される第１コンテンツを当該第１ストローク群に関連付けることと、
    前記第２ストローク群の情報を用いて特定される第２コンテンツを当該第２ストローク群に関連付けることと
    を実行させ、
    前記第１コンテンツは、少なくとも前記第１ストローク群のユーザによる指定によって表示または再生可能であり、
    前記第２コンテンツは、少なくとも前記第２ストローク群のユーザによる指定によって表示または再生可能である、プログラム。
12. 前記第１コンテンツは、前記第１ストローク群に対応する第１ストロークデータが入力される第１時間帯に利用された１以上のコンテンツを含み、
    前記第２コンテンツは、前記第２ストローク群に対応する第２ストロークデータが入力される第２時間帯に利用された１以上のコンテンツを含む
    請求項１１記載のプログラム。
13. 前記第１コンテンツは、前記第１ストローク群に対する第１文字認識結果を用いて特定されるコンテンツを含み、
    前記第２コンテンツは、前記第２ストローク群に対する第２文字認識結果を用いて特定されるコンテンツを含む
    請求項１１記載のプログラム。
14. 前記第１コンテンツは、前記第１ストローク群に対応する第１ストロークデータが入力される第１時間帯に生成された１以上のコンテンツを含み、
    前記第１コンテンツは、前記第２ストローク群に対応する第２ストロークデータが入力される第２時間帯に生成された１以上のコンテンツを含む
    請求項１１記載のプログラム。
15. 前記第１ストローク群に対応する第１ストロークデータを入力する場合、当該第１ストローク群と同一または類似する第３ストローク群に関連付けられている第３コンテンツを表示または再生可能であり、
    前記第２ストローク群に対応する第２ストロークデータを入力する場合、当該第２ストローク群と同一または類似する第４ストローク群に関連付けられている第４コンテンツを表示または再生可能である
    請求項１１記載のプログラム。

Images