JP2014203249A - 電子機器およびデータ処理方法 - Google Patents

Abstract

【課題】手書き文書を容易に扱うことができる電子機器を実現する。
【解決手段】実施形態によれば、電子機器は、複数種のデータに対応する複数のレイヤ情報を含むファイルを取得し、前記複数のレイヤ情報に基づいて、ページを画面上に表示する。前記ファイルは、少なくとも、第１のレイヤ情報と第２のレイヤ情報とを含む。前記第１のレイヤ情報は、複数のストロークデータを含む手書きデータと、前記複数のストロークデータに対応する第１の文字列と、前記第１のレイヤ情報に対応する前記ページ上の第１の表示領域を指定する第１の情報とを含む。前記第２のレイヤ情報は、前記手書きデータとはコンテンツの種類が異なるコンテンツデータを表示するための情報と、前記コンテンツデータに対応する第２の文字列と、前記第２のレイヤ情報に対応する前記ページ上の第２の表示領域を指定する第２の情報とを含む。
【選択図】図８

Description

本発明の実施形態は、手書きデータを処理する技術に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

最近では、複数の文書を一つのコレクションとして扱うための技術も開発されている。

特開２００５−１２２７３１号公報

しかし、手書きデータを扱うための従来の文書データ形式は互換性の点で十分では無い場合がある。

本発明の一形態の目的は、手書きデータを容易に扱うことができる電子機器およびデータ処理方法を提供することである。

実施形態によれば、電子機器は、取得手段と、表示処理手段とを具備する。前記取得手段は、複数種のデータに対応する複数のレイヤ情報を含むファイルを取得する。前記表示処理手段は、前記複数のレイヤ情報に基づいて、ページを画面上に表示する。前記ファイルは、少なくとも、第１のレイヤ情報と第２のレイヤ情報とを含む。前記第１のレイヤ情報は、複数のストロークデータを含む手書きデータと、前記複数のストロークデータに対応する第１の文字列と、前記第１のレイヤ情報に対応する前記ページ上の第１の表示領域を指定する第１の情報とを含む。前記第２のレイヤ情報は、前記手書きデータとはコンテンツの種類が異なるコンテンツデータを表示するための情報と、前記コンテンツデータに対応する第２の文字列と、前記第２のレイヤ情報に対応する前記ページ上の第２の表示領域を指定する第２の情報とを含む。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器と外部装置との連携動作を示す図。 同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 同実施形態の電子機器によって記憶媒体に保存される、図３の手書き文書に対応する時系列情報を説明するための図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって画面上に表示される手書きページの一例を示す図。 図７の手書きページのデータ構造を説明するための図。 図８のデータ構造に対応するクラス図の例を示す図。 図７の手書きページに対応するＸＭＬファイルの例を示す図。 同実施形態の電子機器によって実行される表示処理の手順を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数の手書きストローク（各手書きストロークの軌跡）が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１つの手書きストロークに相当する。手書きされた文字、マーク、図形、表などに対応する多数の手書きストロークの集合、つまり多数の軌跡（筆跡）の集合が手書きデータを構成する。以下では、手書きストロークは単にストロークとも称する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。

さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書きオブジェクト部分（手書き文字、手書きマーク、手書き図形、手書き表、等）を削除または移動することができる。

本実施形態では、時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

ページには、手書き文書（手書きデータ）のみならず、手書きデータ以外の他の各種コンテンツデータ、例えば、画像データ（静止画、動画）、テキストデータ、音声データ、ドロー系アプリケーションによって作成されたデータ、等を含むことができる。換言すれば、本実施形態で扱われる手書き文書（手書きページデータ）は、複数種のメディアデータ（手書きデータ、画像データ、テキストデータ、音声データ、ドロー系アプリケーションによって作成されたデータ、等）を含むことができる。この場合、手書きページデータに含まれるこれらメディアデータには互いに異なるレイヤがそれぞれ割り当てられる。ユーザは、あるメディアデータ（コンテンツデータとも云う）上にストローク（手書き文字、手書きマーク、手書き図形、手書き表、等）を手書きすることもできる。

図２は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、手書きページデータをネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の手書きページデータあるいは大容量の手書きページデータを扱うことが可能となる。

さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の手書きページデータを読み出し（ダウンロード）、その手書きページデータの内容（手書きデータ、他の各種コンテンツデータ）をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の手書きページデータそれぞれを縮小することによって得られるサムネイルの一覧をディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７の画面上に通常サイズで表示してもよい。

さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、手書きページデータをネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の手書きページデータを読み出して（ダウンロード）、その手書きページデータの内容（手書きデータ、他の各種コンテンツデータ）をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。

このように、本実施形態では、手書きページデータが格納される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きによって入力される文字や図形などの上に、さらに別の文字や図形などが手書きによって入力されるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きによって入力された場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図４は、図３の手書き文書に対応する時系列情報（手書きデータ）２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

さらに、本実施形態の時系列情報２００においては、上述したように、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７の並びは手書き文字の筆順を示す。例えば、ストロークデータＳＤ１およびＳＤ２の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ２つの手書き文字の筆跡同士が互いに類似していても、それら２つの手書き文字の筆順が互いに異なる場合には、それら２つの手書き文字を異なる文字として区別することができる。

さらに、本実施形態では、上述したように、手書きデータは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、手書きページデータ内の手書きオブジェクト（手書き文字、手書きマーク、手書き図形等）を認識する機能、所望の手書きページデータを検索するための検索機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、図６を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。

デジタルノートブックアプリケーションプログラム２０２は、手書きデータを扱うことが可能なＷＹＳＩＷＹＧアプリケーションである。このデジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いた手書き入力操作によって入力される座標データ系列（時系列座標）を使用することによって、手書き文書の作成、表示、編集等を行う。また、デジタルノートブックアプリケーション２０２は、検索キーとして手書きされたストローク（例えば、手書きの文字や図形）を用いて、手書き文書を検索することもできる。さらに、デジタルノートブックアプリケーションプログラム２０２は、手書き文書上に手書きされた文字を文字コードに変換する筆跡認識を行うこともできる。

デジタルノートブックアプリケーション２０２は、例えば、ペン設定部３００Ａ、背景設定部３００Ｂ、表示処理部３０１、時系列情報生成部３０２、検索／認識部３０３、ページ保存処理部３０６、ページ取得処理部３０７、およびインポート部３０８を備える。

上述したタッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

デジタルノートブックアプリケーションプログラム２０２は手書きページデータの作成、閲覧、編集を行うためのノートビュー画面をタッチスクリーンディスプレイ１７上に表示する。このノートビュー画面上には、例えば、複数のペンアイコン、「範囲選択」アイコン、「消しゴム」アイコンが表示され得る。複数のペンアイコンには、複数種のペンスタイル（描画形態）が割り当てられている。ペンスタイルは、例えば、線（描画される軌跡）の色、線の種類（実線、破線等）、線の太さ、ペン先の種類（ボールペン、マーカ、万年筆等）等の組み合わせによって定められる。

ペン設定部３００Ａは、タッチスクリーンディスプレイ１７によって発生される「タッチ（タップ）」のイベントを受信し、これによってペン変更操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。ペン設定部３００Ａは、いずれかのペンアイコン上での「タッチ」イベントが受信されたことに応じて、タッチされたペンアイコンに関連付けられた描画形態を、現在の描画形態として設定する。

背景設定部３００Ｂは、ユーザによって行われる背景色設定操作に応じて、手書きページの背景の形態（ページスタイル）を設定する。背景の形態としては、背景の色、背景に表示すべき罫線の有無、背景に表示すべき罫線の間隔、等がある。

表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」、「移動（スライド）」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

表示処理部３０１は、背景設定部３００Ｂによって設定された背景の形態（ページスタイル）でノートビュー画面を表示する。表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信する。そして、表示処理部３０１は、この座標列に基づいて、手書き入力操作によって手書きされる各ストロークの軌跡を、ペン設定部３００Ａによって設定された描画形態（ペンスタイル）でノートビュー画面上に表示する。この表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がノートビュー画面上に描かれる。

さらに、表示処理部３０１は、インポート部３０８によって外部アプリケーション／外部ファイルからインポートされる様々なコンテンツデータ（画像データ、音声データ、テキストデータ、ドロー系アプリケーションによって作成されたデータ）に対応するオブジェクトをノートビュー画面上に表示することができる。この場合、各コンテンツデータに対応するオブジェクトは、作成中のページ上の任意の位置に配置することができる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図４で詳述したような構造を有する時系列情報（座標データ系列）と、ペン設定部３００によって設定されているペンスタイルを示す情報と、背景設定部３００Ｂによって設定されているページスタイルを示す情報とを含む、手書きデータを生成する。時系列情報生成部３０２は、生成された手書きデータを作業メモリ４０１に一時保存する。

検索／認識処理部３０３は、手書きページデータ中の手書き文字列をテキスト（文字コード列）に変換する筆跡認識処理、手書きページデータ中の画像内に含まれる文字列をテキスト（文字コード列）に変換する文字認識処理（ＯＣＲ）、手書きページデータ中の音声データに含まれるスピーチをテキストに変換する音声認識処理を実行する。さらに、検索／認識処理部３０３は、テキスト検索方式を使用して、多数の手書きページデータの中から所望の手書きページデータを検索することができる。

ページ保存処理部３０６は、作成中のページ上に配置される複数種のコンテンツデータ（手書きデータ、他の各種コンテンツデータ等）を含む手書きページデータを生成し、この手書きページデータを記憶媒体４０２に保存する。手書きページデータはマークアップ言語で記述されたファイル、例えばＸＭＬファイルのようなファイルとして記憶媒体４０２に保存される。記憶媒体４０２は、例えば、タブレットコンピュータ１０内のストレージデバイスであってもよいし、サーバコンピュータ２のストレージデバイスであってもよい。手書きページデータのファイルは、この手書きページデータに含まれる複数種のコンテンツデータ（手書きデータ、画像データ、音声データ、テキストデータ、ドロー系アプリケーションによって作成されたデータ、等）それぞれに対応する複数のレイヤ情報を含む。各コンテンツデータに対応するレイヤ情報は、このコンテンツデータの実体のみならず、このコンテンツデータに対応する文字列（テキスト）も含む。これにより、たとえ旧バージョンのアプリケーションプログラムが扱うことができない新しいタイプのコンテンツデータの実体が手書きページデータに含まれている場合でも、その旧バージョンのアプリケーションプログラムは、新しいタイプのコンテンツデータの実体に対応するテキストを画面上に表示することができる。

ページ取得処理部３０７は、記憶媒体４０２から任意の手書きページデータ（ファイル）を取得する。この取得された手書きページデータは表示処理部３０１に送られる。表示処理部３０１は、手書きページデータに含まれる複数種のデータ（手書きデータ、他のコンテンツデータ）が配置されるページを画面上に表示する。

図７は、ノートビュー画面上に表示される手書きページ５００の例を示す。
この手書きページは、４つのレイヤ、つまり手書きレイヤ５０１、テキストレイヤ５０２、画像レイヤ５０３、および音声レイヤ５０４を含む。手書きレイヤ５０１は、手書きデータに対応するコンテンツ（手書きされたストローク群）を表示するためレイヤである。テキストレイヤ５０２は、手書きデータとはコンテンツの種類が異なるコンテンツデータであるテキストを表示するためのレイヤである。画像レイヤ５０３は、手書きデータやテキストとはコンテンツの種類が異なるコンテンツデータである画像コンテンツを表示するためのレイヤである。音声レイヤ５０４は、手書きデータ、テキスト、図形データとはコンテンツの種類が異なるコンテンツデータである音声データに対応するコンテンツを表示するためのレイヤである。これら各レイヤのサイズは可変であり、各レイヤは、手書きページ５００上の任意の位置に任意のサイズで表示され得る。あるレイヤの上に別のレイヤが重なってもよい。この手書きページ５００に対応する手書きデータのファイルは、４つのレイヤ（手書きレイヤ５０１、テキストレイヤ５０２、画像レイヤ５０３、および音声レイヤ５０４）に対応する４つのレイヤ情報を含む。表示処理部３０１は、これら４つのレイヤ情報に基づいて、複数種のデータ（手書きデータ、テキスト、画像、音声）が配置されるページを画面上に表示する。音声レイヤ５０４に対応するページ上の領域には、音声データに対応する画像（アイコン）が表示されてもよい。

図８は、図７の手書きページ５００に対応する手書きページデータのデータ構造の例を示す。
本実施形態の手書きページデータにおいては、この手書きページデータの前方互換性を確保するために、手書きページデータ内に含まれるコンテンツデータの種類毎に異なるレイヤ情報が定義されている。各レイヤ情報は、互いに分けられた複数のレイヤ情報格納部分を含む。すなわち、概していえば、各レイヤ情報は、抽象化レイヤ情報を格納するためのレイヤ情報格納部分と、具体的レイヤ情報を格納するためのレイヤ情報格納部分とを含む。抽象化レイヤ情報は、例えば、レイヤの表示領域を指定する情報を含む。例えば、手書きレイヤ５０１に対応するレイヤ情報においては、手書きレイヤ５０１に対応するページ５００上の表示領域（表示位置、サイズ）を指定する情報が抽象化レイヤ情報として含まれている。

具体的レイヤ情報は、例えば、コンテンツデータの実体（オブジェクト）を含む。例えば、手書きレイヤ５０１に対応するレイヤ情報おいては、手書きレイヤ５０１の表示領域に表示されるべき複数の手書きストロークに対応する複数のストロークデータを含む手書きデータが、具体的レイヤ情報（実体）５０１Ａとして含まれている。テキストレイヤ５０２に対応するレイヤ情報おいては、テキストレイヤ５０２の表示領域に表示されるべきテキストに対応する文字コード列が、具体的レイヤ情報（実体）５０２Ａとして含まれている。画像レイヤ５０３に対応するレイヤ情報おいては、画像レイヤ５０３の表示領域に表示されるべき画像を表示するための情報、例えば、画像データそのもの、あるいはこの画像データのパスを示す情報、が具体的レイヤ情報（実体）５０３Ａとして含まれている。音声レイヤ５０４に対応するレイヤ情報おいては、音声レイヤ５０４が選択された時に再生すべきオーディオデータそのもの、あるいはこのオーディオデータのパスを示す情報、が具体的レイヤ情報（実体）５０４Ａとして含まれている。さらに、音声レイヤ５０４に対応するレイヤ情報おいては、音声レイヤ５０４の表示領域に表示されるべき画像（アイコン）を表示するための情報、例えば、画像（アイコン）そのもの、あるいはこの画像（アイコン）のパスを示す情報、も具体的レイヤ情報（実体）５０４Ａとして含まれていてもよい。

例えば、デジタルノートブックアプリケーションプログラム２０２のバージョンアップに伴って画像レイヤ５０３が新たに追加された場合を想定する。旧バージョンのデジタルノートブックアプリケーションプログラムは、画像レイヤ５０３の具体的レイヤ情報（実体）５０３Ａのフォーマットを理解することができない場合がある。しかし、画像レイヤ５０３に対応するレイヤ情報においては、表示領域を指定する抽象化レイヤ情報と、具体的レイヤ情報（実体）５０３Ａとが分けて保存されているため、旧バージョンのデジタルノートブックアプリケーションプログラム（つまり、古いアプリケーションプログラム）は、少なくとも、画像レイヤ５０３に対応するレイヤが存在することを理解することができ、またこのレイヤの表示領域を理解することができる。よって、古いアプリケーションプログラムは、画像レイヤ５０３に対応する画像をページ上に表示できないかもしれないが、少なくとも、画像レイヤ５０３に対応する表示領域を囲む枠を表示したり、あるいは後述するサマリ認識情報に含まれる文字列を、画像レイヤ５０３に対応する表示領域に表示することができる。さらに、画像レイヤ５０３と手書きレイヤ５０１は異なるレイヤ情報として記述されているので、たとえ画像レイヤ５０３に対応するレイヤ情報が追加されても、これによって手書きレイヤ５０１に対応するレイヤ情報のフォーマットが変更されることはない。したがって、古いアプリケーションプログラムであっても、手書きレイヤ５０１に対応するレイヤ情報を正常に扱うことができる。

各レイヤ情報は、さらに、そのレイヤ情報内のコンテンツデータに対応する認識情報を格納するためのレイヤ情報格納部分（認識情報格納部分）を含む。前方互換性を確保するために、認識情報もサマリ認識情報と具体的認識情報とに分けて保存される。サマリ認識情報は、コンテンツデータに対応する文字列を含む。このサマリ認識情報は、コンテンツデータ間で共通のフォーマットを有する認識情報である。つまり、どのレイヤ情報においても、サマリ認識情報のフォーマットは同じである。ここで、フォーマット（またはデータフォーマットと云う）は、データ／情報の記述形式、データの配列、またはデータの構造等を意味する。

具体的認識情報は、より具体的な認識情報である。各レイヤ情報内の具体的認識情報は、コンテンツデータの種別に応じたデータフォーマットを有している。認識情報格納部分は、サマリ認識情報と具体的認識情報とを分けて保存するために、サマリ認識情報を格納するためのサマリ認識情報格納部分と、具体的認識情報を格納するための具体的認識情報格納部分とを含む。

手書きレイヤ５０１に対応するレイヤ情報おいては、手書きデータに対応する文字列（ここでは、ＡＢＣＤＥ）がサマリ認識情報５１１として含まれている。サマリ認識情報５１１は、上述の筆跡認識を実行することよって得ることができる。手書きレイヤ５０１に対応するレイヤ情報おいては、さらに、具体的認識情報５２１も含まれている。

具体的認識情報５２１は、デジタルノートブックアプリケーションプログラム２０２のバージョンアップに伴って必要に応じて追加し得る追加の情報である。具体的認識情報５２１は、手書きデータに対応する文字列に含まれる各文字と手書きデータ内のストロークデータとを関連づけるための情報である。より詳しくは、具体的認識情報５２１は、手書きデータを認識することによって得られる各文字が、手書きデータ内のどのストロークによって構成されているかを示す。ここでは、具体的認識情報５２１においては、５つの認識文字に対応する５つの項目が含まれている。具体的認識情報５２１は、項目毎に、認識文字の文字コード（テキスト）と、この認識文字に対応する１以上のストロークデータを識別するための情報（ストロークＩＤ）とを示す。例えば、項目１に対応する情報は、認識された文字“Ａ”の文字コード（テキスト）を示す情報と、この文字“Ａ”を構成する２つのストロークデータを識別するためのストロークＩＤ＝１，ＩＤ＝２を示す情報とを含む。

テキストレイヤ５０２に対応するレイヤ情報おいては、テキストレイヤ５０２のテキストデータに対応する文字列がサマリ認識情報５１２として含まれている。テキストレイヤ５０２に対応するレイヤ情報おいては、さらに、具体的認識情報５２２も含まれている。

具体的認識情報５２２は、デジタルノートブックアプリケーションプログラム２０２のバージョンアップに伴って必要に応じて追加し得る追加の情報である。具体的認識情報５２２は、テキストレイヤ５０２のテキストデータに含まれる文字列を単語毎に区別して示す情報である。この具体的認識情報５２２は、テキストレイヤ５０２のテキストデータを形態素解析することによって得ることができる。

画像レイヤ５０３に対応するレイヤ情報おいては、画像データに対応する文字列（ここでは、ａｂｃｄｅｆｇｈｉｊｋｌｍｎ）がサマリ認識情報５１３として含まれている。サマリ認識情報５１３は、例えば、画像データに含まれる文字画像を文字認識（ＯＣＲ認識）することによって得られる。画像レイヤ５０３に対応するレイヤ情報おいては、さらに、具体的認識情報５２３も含まれている。

具体的認識情報５２３は、デジタルノートブックアプリケーションプログラム２０２のバージョンアップに伴って必要に応じて追加し得る追加の情報である。具体的認識情報５２３は、画像データに対応する文字列に含まれる各文字と画像データ内のデータ部分とを関連づけるための情報である。より詳しくは、具体的認識情報５２３は、画像を認識することによって得られる各文字が、画像データ内のどのデータ部分に存在するかを示す。ここでは、具体的認識情報５２３においては、１４個の認識文字“ａｂｃｄｅｆｇｈｉｊｋｌｍｎ”に対応する１４個の項目が含まれている（図８では、ａｂｃｄｅの５つの文字に対応する５つの項目のみが例示されている）。具体的認識情報５２３は、項目毎に、認識文字の文字コード（テキスト）と、この認識文字を囲む外接矩形の左上頂点および右下頂点とを示す。例えば、項目１に対応する情報は、認識された文字“ａ”の文字コード（テキスト）を示す情報と、この文字“ａ”を囲む外接矩形の左上頂点（２，５）および右下頂点（７，１０）を示す情報とを含む。

音声レイヤ５０４に対応するレイヤ情報おいては、音声データに含まれるスピーチをテキストに変換する音声認識処理を実行する事によって得られる文字列（ここでは、１２３４５６７８）がサマリ認識情報５１４として含まれている。音声レイヤ５０４に対応するレイヤ情報おいては、さらに、具体的認識情報５２４も含まれている。

具体的認識情報５２４は、デジタルノートブックアプリケーションプログラム２０２のバージョンアップに伴って必要に応じて追加し得る追加の情報である。具体的認識情報５２４は、音声データに対応する文字列に含まれる各文字と音声データ内の時間位置とを関連づけるための情報である。より詳しくは、具体的認識情報５２４は、各文字に対応するスピーチ部分が、音声データの再生開始時点から何秒後に再生されるかを示す。

サマリ認識情報５１１〜５１４それぞれに対応する文字列は、この手書きページデータをテキスト検索方式で検索するために使用可能である。また、手書きレイヤ５０１に対応する具体的認識情報５２１は、検索キーである第１の文字に対応する、手書きデータ内の１以上の第１のストロークデータを特定するために使用可能である。また、画像レイヤ５０３に対応する具体的認識情報５２３は、検索キーである第１の文字に対応する、画像データ内の第１のデータ部分を特定するために使用可能である。

上述したように、本実施形態の手書きページデータでは、どのコンテンツデータにおいても、サマリ認識情報と具体的認識情報とが分けて保存される。したがって、各アプリケーションプログラムは、抽象化認識情報であるサマリ認識情報のフォーマットさえ知っていれば、たとえ具体的認識情報のフォーマットを知らずとも、各コンテンツデータに対応する文字列を取り扱うことができる。

図９は、図８のデータ構造に対応するクラス図（ＵＭＬクラス図）の例を示す。
このＵＭＬクラス図においては、ページクラス６０１、レイヤークラス６０２、筆跡レイヤークラス６０３、テキストレイヤークラス６０４、画像レイヤークラス６０５、音声レイヤークラス６０６、サマリ認識結果クラス６０７、ＯＣＲ認識結果クラス６０８、筆跡認識結果クラス６０９、形態素解析クラス６１０、音声認識クラス６１１、および構造分析クラス６１２等が定義されている。

ページクラス６０１は１つの手書きページに対応する。このページクラス６０１とレイヤークラス６０２との間の関連は、一つのページが０以上のページを含むことを表している。また、レイヤークラス６０２は、筆跡レイヤークラス６０３、テキストレイヤークラス６０４、画像レイヤークラス６０５、音声レイヤークラス６０６をグループ化するための抽象化クラス（スーパークラス）でもある。

筆跡レイヤークラス６０３は、手書きレイヤ５０１の具体的レイヤ情報（実体）５０１Ａを格納するためのレイヤ情報格納部分である。テキストレイヤークラス６０４は、テキストレイヤ５０２の具体的レイヤ情報（実体）５０２Ａを格納するためのレイヤ情報格納部分である。画像レイヤークラス６０５は、画像レイヤ５０３の具体的レイヤ情報（実体）５０３Ａを格納するためのレイヤ情報格納部分である。音声レイヤークラス６０６は、音声レイヤ５０４の具体的レイヤ情報（実体）５０４Ａを格納するためのレイヤ情報格納部分である。

また一つのレイヤークラス６０２は、０以上のサマリ認識結果クラス６０７を含む。サマリ認識結果クラス６０７は上述の認識情報格納部分である。またサマリ認識結果クラス６０７は、ＯＣＲ認識結果クラス６０８、筆跡認識結果クラス６０９、形態素解析クラス６１０、音声認識クラス６１１、および構造分析クラス６１２をグループ化するための抽象化クラス（スーパークラス）でもある。

ＯＣＲ認識結果クラス６０８は、上述の具体的認識情報５２３を格納するための具体的認識情報格納部分である。筆跡認識結果クラス６０９は、上述の具体的認識情報５２１を格納するための具体的認識情報格納部分である。形態素解析クラス６１０は、上述の具体的認識情報５２２を格納するための具体的認識情報格納部分である。音声認識クラス６１１は、上述の具体的認識情報５２４を格納するための具体的認識情報格納部分である。構造分析クラス６１２は、他の具体的認識情報の格納に使用される。

図１０は、図７の手書きページに対応するＸＭＬファイル７００の例を示す。
ＸＭＬファイル７００は、上述の複数のレイヤ情報に対応する複数の「レイヤ」要素を含む。これら「レイヤ」要素は、互いに兄弟関係を有する要素である。

「レイヤ」要素７０１は、手書きレイヤ５０１に対応する「レイヤ」要素である。「レイヤ」要素７０１に含まれる属性値（ｔｙｐｅ＝“ｓｔｒｏｋｅ”）は、このレイヤ要素７０１が手書きレイヤ（ストロークレイヤ）に対応することを示す。「レイヤ」要素７０１に含まれる属性値（ｚｏｒｄｅｒ＝“１”）は、このレイヤ要素７０１が最前面に配置されるべきレイヤであることを示す。

「レイヤ」要素７０１は、「ｒｅｃｔ」要素と、「ｓｔｒｏｋｅ＿ｌａｙｅｒ」要素と、「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素とを含む。

「ｒｅｃｔ」要素は、「レイヤ」要素７０１に対応するレイヤ（手書きレイヤ５０１）の表示領域を指定するための情報を格納するための情報格納部分である。「ｒｅｃｔ」要素内の属性値（ｔｏｐ＝“１００” ｌｅｆｔ＝“２００” ｂｏｔｔｏｍ＝“３００” ｒｉｇｈｔ＝“４００”）は、手書きレイヤ５０１の左上頂点（ｔｏｐ＝“１００” ｌｅｆｔ＝“２００”）および右下頂点（ｂｏｔｔｏｍ＝“３００” ｒｉｇｈｔ＝“４００”）を規定する。

「ｒｅｃｔ」要素は、抽象化されたレイヤ情報であり、全てのレイヤ間でつまり全ての種類のコンテンツデータ間で共通のデータフォーマットを有するデータフィールドである。

「ｓｔｒｏｋｅ＿ｌａｙｅｒ」要素は、手書きデータを格納するための情報格納部分である。この「ｓｔｒｏｋｅ＿ｌａｙｅｒ」要素には、手書きデータが記述される。この「ｓｔｒｏｋｅ＿ｌａｙｅｒ」要素は、上述の筆跡レイヤークラス６０３に対応している。この「ｓｔｒｏｋｅ＿ｌａｙｅｒ」要素は、「ｓｔｒｏｋｅｓ」要素と、この「ｓｔｒｏｋｅｓ」要素の子要素である複数の「ｓｔｒｏｋｅ」要素とを含む。

属性値（ｉｄ＝“１”）の「ｓｔｒｏｋｅ」要素には、ストロークｉｄ＝１のストロークデータが記述される。属性値（ｉｄ＝“１”）の「ｓｔｒｏｋｅ」要素は、ストロークｉｄ＝１のストロークデータに含まれる複数の点に対応する複数の「ｐｏｉｎｔ」要素を含む。各「ｐｏｉｎｔ」要素は、対応する点の座標を示す。

「レイヤ」要素７０１内の「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素は、サマリ認識情報５１１（文字列）と具体的認識情報５２１とを集約（グループ化）するためのノードである。この「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素は、図９のサマリ認識結果クラス６０７に対応している。

「レイヤ」要素７０１内の「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素は、２つの子要素、つまり「ｔｅｘｔｓ」要素と、「ｒｅｃｏｇｎｉｚｅ＿ｓｔｒｏｋｅ」要素とを含む。

「ｔｅｘｔｓ」要素には、サマリ認識情報５１１の文字列が記述される。この「ｔｅｘｔｓ」要素は、抽象化されたレイヤ情報であり、全てのレイヤ間でつまり全ての種類のコンテンツデータ間で共通のデータフォーマットを有するデータフィールドである。

「ｒｅｃｏｇｎｉｚｅ＿ｓｔｒｏｋｅ」要素には、具体的認識情報５２１が記述される。

「レイヤ」要素７０２は、画像レイヤ５０３に対応する「レイヤ」要素である。「レイヤ」要素７０２に含まれる属性値（ｔｙｐｅ＝“ｐｉｃｔｕｒｅ”）は、このレイヤ要素７０２が画像レイヤ（ピクチャレイヤ）に対応することを示す。「レイヤ」要素７０２に含まれる属性値（ｚｏｒｄｅｒ＝“２”）は、このレイヤ要素７０２が表示されるべき順序が上から２番目の順序であることを示す。

「レイヤ」要素７０２は、「ｒｅｃｔ」要素と、「ｐｉｃｔｕｒｅ＿ｌａｙｅｒ」要素と、「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素とを含む。

「ｒｅｃｔ」要素は、「レイヤ」要素７０２に対応するレイヤ（画像レイヤ５０３）の表示領域を指定するための情報を格納するための情報格納部分である。「ｒｅｃｔ」要素内の属性値（ｔｏｐ＝“３００” ｌｅｆｔ＝“２００” ｂｏｔｔｏｍ＝“５００” ｒｉｇｈｔ＝“４００”）は、画像レイヤ５０３の左上頂点（ｔｏｐ＝“３００” ｌｅｆｔ＝“２００”）および右下頂点（ｂｏｔｔｏｍ＝“５００” ｒｉｇｈｔ＝“４００”）を規定する。「レイヤ」要素７０２の「ｒｅｃｔ」要素と「レイヤ」要素７０１の「ｒｅｃｔ」要素は互いに共通のフォーマットで記述される。

「ｐｉｃｔｕｒｅ＿ｌａｙｅｒ」要素は、画像データを表示するための情報が記述される要素であり、上述の画像レイヤークラス６０５に対応している。この「ｐｉｃｔｕｒｅ＿ｌａｙｅｒ」要素は、例えば、画像データのパスを示す「ｐｉｃｔｕｒｅ」要素を含む。

「レイヤ」要素７０２内の「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素は、サマリ認識情報５１３（文字列）と具体的認識情報５２３とを集約（グループ化）するためのノードである。この「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素は、図９のサマリ認識結果クラス６０７に対応している。

「レイヤ」要素７０２内の「ｒｅｃｏｇｎｉｚｅ＿ｄａｔａ」要素は、２つの子要素、つまり「ｔｅｘｔｓ」要素と、「ｒｅｃｏｇｎｉｚｅ＿ｐｉｃｔｕｒｅ」要素とを含む。「ｔｅｘｔｓ」要素には、サマリ認識情報５１３の文字列が記述される。「ｒｅｃｏｇｎｉｚｅ＿ｐｉｃｔｕｒｅ」要素には、具体的認識情報５２３が記述される。「レイヤ」要素７０２内の「ｔｅｘｔｓ」要素の内容と「レイヤ」要素７０１内の「ｔｅｘｔｓ」要素の内容も互いに共通のフォーマットで記述されている。

このように、本実施形態の手書きページデータにおいては、互換性を確保するために、メディア種別（コンテンツデータの種類）毎にレイヤが定義されている。そして、各レイヤに対応するレイヤ情報については、メディア種別間で共通のデータフォーマットを有する抽象的なデータフィールドと、メディア種別に応じたデータフォーマットを有する具体的データフィールドとが用意される。したがって、たとえ手書きページデータに未知のメディアデータが追加されても、各アプリケーションプログラムは、少なくとも、その未知のメディアデータがレイヤの一つであることを認識することができ、また手書きページデータ内の他のメディアデータそれぞれについては正常に処理することができる。さらに、各レイヤ情報にはメディア種別間で共通のデータフォーマットを有するサマリ認識情報が格納されているので、たとえ未知の具体的認識情報のデータフォーマットが追加され、その具体的認識情報を扱うことができない場合でも、各アプリケーションプログラムは、サマリ認識情報を用いて手書きページデータの解析（メタ情報解析）等を行うことができる。

図１１のフローチャートは、デジタルノートブックアプリケーションプログラム２０２によって実行される表示処理の手順を示す。

デジタルノートブックアプリケーションプログラム２０２は、電子機器１０の記憶媒体、パーソナルコンピュータ１、またはサーバ２から、ファイル（手書きページデータ）を取得する。そして、デジタルノートブックアプリケーションプログラム２０２は、このファイルの先頭のレイヤ情報から、レイヤの表示領域を指定する情報（表示領域情報）、レイヤの実体（コンテンツデータ）、サマリ認識情報、および具体的認識情報を取得する（ステップＳ１１〜Ｓ１４）。

デジタルノートブックアプリケーションプログラム２０２がこの実体（コンテンツデータ）を扱うことが可能であれば（ステップＳ１５のＹＥＳ）、デジタルノートブックアプリケーションプログラム２０２は、コンテンツデータを、表示領域情報によって指定されるページ上の領域に表示する（ステップＳ１６）。

一方、デジタルノートブックアプリケーションプログラム２０２がこの実体（コンテンツデータ）を扱う能力を有していないならば（ステップＳ１５のＮＯ）、デジタルノートブックアプリケーションプログラム２０２は、サマリ認識情報内のテキストを、表示領域情報によって指定されるページ上の領域に表示する（ステップＳ１７）。あるいは、デジタルノートブックアプリケーションプログラム２０２は、この実体（コンテンツデータ）を表示する処理の実行をスキップしてもよい。

デジタルノートブックアプリケーションプログラム２０２が詳細認識情報を扱うことが可能であれば（ステップＳ１８のＹＥＳ）、デジタルノートブックアプリケーションプログラム２０２は、この詳細認識情報を、使用可能な認識情報として選択する（ステップＳ１９）。一方、デジタルノートブックアプリケーションプログラム２０２が詳細認識情報を扱う能力を有していないならば（ステップＳ１８のＮＯ）、デジタルノートブックアプリケーションプログラム２０２は、サマリ認識情報を、使用可能な認識情報として選択する（ステップＳ２０）。

次いで、デジタルノートブックアプリケーションプログラム２０２は、未処理のレイヤ情報が存在しているか否かを判定する（ステップＳ２１）、未処理のレイヤ情報がなくなるまで、デジタルノートブックアプリケーションプログラム２０２は、上述のステップＳ１１〜Ｓ２０の処理を繰り返し実行する。

以上説明したように、本実施形態においては、複数種のデータに対応する複数のレイヤ情報を含むファイルが取得され、このファイルに含まれる複数のレイヤ情報に基づいて、複数種のデータが配置されるページが画面上に表示される。このファイルは、少なくとも、第１のレイヤ情報と第２のレイヤ情報とを含む。第１のレイヤ情報は、複数のストロークデータを含む手書きデータと、複数のストロークデータに対応する第１の文字列と、第１のレイヤ情報に対応する、ページ上の第１の表示領域を指定する第１の情報とを含み、第２のレイヤ情報は、手書きデータとはコンテンツの種類が異なるコンテンツデータを表示するための情報と、コンテンツデータに対応する第２の文字列と、第２のレイヤ情報に対応する、ページ上の第２の表示領域を指定する第２の情報とを含む。このように、各レイヤ情報に、データの実体（手書きデータと、コンテンツデータを表示するための情報）と、表示領域を指定する情報と、文字列とを保存することにより、未知のフーマットの新たなタイプのコンテンツデータがファィルに追加された場合でも、各アプリケーションプログラムは、少なくとも、その未知のコンテンツデータがレイヤの一つであることを認識することができ、また必要に応じてその未知のコンテンツデータに対応する文字列を表示領域上に表示することもできる。

よって、前方互換性を確保することが可能となり、手書きデータを容易に扱うことが可能となる。

なお、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また、本実施形態では、マークアップ言語としてＸＭＬを例示したが、ＸＭＬと異なる他のマークアップ言語を使用して手書きページデータを記述しても良い。また、ＪＳＯＮを使用して手書きページデータを記述しても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…タブレットコンピュータ、２００…時系列情報、３０１…表示処理部、３０２…時系列情報生成部、３０６…ページ保存処理部、３０７…ページ取得処理部、５０１…手書きレイヤ、５０２…テキストレイヤ、５０３…画像レイヤ、５０４…音声レイヤ。

Claims (10)

1. 複数種のデータに対応する複数のレイヤ情報を含むファイルを取得する取得手段と、
   前記複数のレイヤ情報に基づいてページを画面上に表示する表示処理手段とを具備し、
   前記ファイルは、少なくとも、第１のレイヤ情報と第２のレイヤ情報とを含み、
   前記第１のレイヤ情報は、複数のストロークデータを含む手書きデータと、前記複数のストロークデータに対応する第１の文字列と、前記第１のレイヤ情報に対応する前記ページ上の第１の表示領域を指定する第１の情報とを含み、
   前記第２のレイヤ情報は、前記手書きデータとはコンテンツの種類が異なるコンテンツデータを表示するための情報と、前記コンテンツデータに対応する第２の文字列と、前記第２のレイヤ情報に対応する前記ページ上の第２の表示領域を指定する第２の情報とを含む、電子機器。
2. 前記表示処理手段は、前記複数のストロークデータに対応する複数のストロークまたは前記第１の文字列を、前記ページ上の前記第１の表示領域に表示し、前記コンテンツデータまたは前記第２の文字列を、前記ページ上の前記第２の表示領域に表示する請求項１記載の電子機器。
3. 前記第１の情報および前記第２の情報は互いに共通のフォーマットで記述されており、且つ前記第１の文字列および前記第２の文字列は互いに共通のフォーマットで記述されている請求項１記載の電子機器。
4. 前記第１のレイヤ情報は、前記第１の文字列に含まれる各文字と前記複数のストロークデータ内のストロークデータとを関連づけるための第１の追加の情報をさらに含み、
   前記第２のレイヤ情報は、前記第２の文字列に含まれる各文字と前記コンテンツデータ内のデータ部分とを関連づけるための第２の追加の情報をさらに含む、請求項１記載の電子機器。
5. 前記第１の追加の情報は、検索キーである第１の文字に対応する、手書きデータ内の１以上の第１のストロークデータを特定するために使用可能であり、前記第２の追加の情報は、前記第１の文字に対応する、前記コンテンツデータ内の第１のデータ部分を特定するために使用可能である請求項４記載の電子機器。
6. 前記第１のレイヤ情報は、互いに分けられた第１、第２および第３の情報格納部分を含み、前記第１の情報格納部分は前記第１の情報を含み、前記第２の情報格納部分は前記手書きデータを含み、前記第３の情報格納部分は前記第１の文字列を含み、
   前記第２のレイヤ情報は、互いに分けられた第４、第５および第６の情報格納部分を含み、前記第４の情報格納部分は前記第１の情報格納部分と同じフォーマットを有するデータフィールドであり、前記第６の情報格納部分は前記第３の情報格納部分と同じフォーマットを有するデータフィールドであり、前記第４の情報格納部分は前記第２の情報を含み、前記第５の情報格納部分は前記コンテンツデータを表示するための前記情報を含み、前記第６の情報格納部分は前記第２の文字列を含む請求項１記載の電子機器。
7. 前記第１のレイヤ情報は、前記第１の文字列に含まれる各文字と前記複数のストロークデータ内のストロークデータとを関連づけるための第１の追加の情報をさらに含み、
   前記第２のレイヤ情報は、前記第２の文字列に含まれる各文字と前記コンテンツデータ内のデータ部分とを関連づけるための第２の追加の情報をさらに含む、
   前記第３の情報格納部分は、互いに分けられた２つの情報格納部分を含み、前記第３の情報格納部分内の一方の情報格納部分は前記第１の文字列を含み、前記第３の情報格納部分内の他方の情報格納部分は前記第１の追加の情報を含み、
   前記第６の情報格納部分は、互いに分けられた２つの情報格納部分を含み、前記第６の情報格納部分内の一方の情報格納部分は前記第２の文字列を含み、前記第６の情報格納部分内の他方の情報格納部分は前記第２の追加の情報を含み、
   前記第６の情報格納部分内の前記一方の情報格納部分は、前記第３の情報格納部分内の前記一方の情報格納部分と同じフォーマットを有するデータフィールドである請求項６記載の電子機器。
8. 前記ファイルはマークアップ言語によって記述され、
   前記第１のレイヤ情報および前記第２のレイヤ情報は、兄弟関係を有する第１要素および第２要素内にそれぞれ記述され、
   前記第１要素は、前記第１の情報が記述される第３の要素と、前記手書きデータが記述される第４要素と、前記第１の文字列が記述される第５の要素とを含み、
   前記第２要素は、前記第３の要素と同じデータフォーマットを有し、前記第２の情報が記述される第６の要素と、前記コンテンツデータを表示するための前記情報が記述される第７の要素と、前記第５の要素と同じデータフォーマットを有し、前記第２の文字列が記述される第６の要素とを含む請求項１記載の電子機器。
9. 複数種のデータに対応する複数のレイヤ情報を含むファイルを取得することと、
   前記複数のレイヤ情報に基づいて、ページを画面上に表示することとを具備し、
   前記ファイルは、少なくとも、第１のレイヤ情報と第２のレイヤ情報とを含み、
   前記第１のレイヤ情報は、複数のストロークデータを含む手書きデータと、前記複数のストロークデータに対応する第１の文字列と、前記第１のレイヤ情報に対応する前記ページ上の第１の表示領域を指定する第１の情報とを含み、
   前記第２のレイヤ情報は、前記手書きデータとはコンテンツの種類が異なるコンテンツデータを表示するための情報と、前記コンテンツデータに対応する第２の文字列と、前記第２のレイヤ情報に対応する前記ページ上の第２の表示領域を指定する第２の情報とを含む、データ処理方法。
10. コンピュータによって実行されるプログラムであって、前記プログラムは、
    複数種のデータに対応する複数のレイヤ情報を含むファイルを取得する手順と、
    前記ファイルに含まれる前記複数のレイヤ情報に基づいて、前記複数種のデータに対応するページを画面上に表示する手順とを前記コンピュータに実行させ、
    前記ファイルは、少なくとも、第１のレイヤ情報と第２のレイヤ情報とを含み、
    前記第１のレイヤ情報は、複数のストロークデータを含む手書きデータと、前記複数のストロークデータに対応する第１の文字列と、前記第１のレイヤ情報に対応する前記ページ上の第１の表示領域を指定する第１の情報とを含み、
    前記第２のレイヤ情報は、前記手書きデータとはコンテンツの種類が異なるコンテンツデータを表示するための情報と、前記コンテンツデータに対応する第２の文字列と、前記第２のレイヤ情報に対応する前記ページ上の第２の表示領域を指定する第２の情報とを含む、プログラム。

Images