JP2014052746A - 表示装置、および表示プログラム - Google Patents

Abstract

【課題】電子文書中の空白領域から手書き文字がはみ出すことのないきれいな手書き入力を容易にする表示装置、および表示プログラムを提供する。
【解決手段】表示装置は、レイアウトの編集が制限された原稿画像を、表示領域に表示する表示部と、当該表示領域において手書き入力を受け付ける入力受付部と、手書き入力されて得られた手書き画像が占める描画領域と、手書き入力時の表示領域内の空白領域とのサイズを比較する比較部と、比較部による比較結果に基づいて、手書き画像を、そのまま空白領域に表示させる第１態様と、第１態様と異なる態様で空白領域に表示させる第２態様とを切り換える表示切換部と、を有する。
【選択図】図３

Description

本発明は、表示装置、および表示プログラムに関する。

従来から、電子書籍に代表される電子文書を表示する装置がある。電子文書には、ページの概念を持ち、本文を構成する文字及び画像等のレイアウトが固定されている静的レイアウト型のものと、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のようにレイアウトが固定されていない動的レイアウト型のものが存在する。

近年、これらの電子文書を表示する装置の中には、文書内に電子的な書き込みができるものもある。たとえば、特許文献１には、手書き入力が可能なタブレット型の携帯端末において、表示されている動的レイアウト型の電子文書に、手書きメモを追加入力する技術が開示されている。

特開２００６−２８５８９６号公報

しかし、手書き入力が可能なタブレット型の携帯端末とはいえ、ユーザーにとって携帯可能な大きさに限定され、当然ながら、手書き入力が行われる表示パネルの大きさも限定される。そのため、表示されている電子文書の余白や行間等の特定の空白領域に手書き入力しようとしても、その小さい空白領域には手書き文字を収められない、という問題がある。

本発明は、上記事情に鑑みてなされたものであり、手書き文字が空白領域からはみ出すことのないきれいな手書き入力を容易にする表示装置、および表示プログラムを提供することを目的とする。

（１）レイアウトの編集が制限された原稿画像を、表示領域に表示する表示部と、前記表示領域において手書き入力を受け付ける入力受付部と、手書き入力されて得られた手書き画像が占める描画領域と、手書き入力時の前記表示領域内の空白領域とのサイズを比較する比較部と、前記比較部による比較結果に基づいて、前記手書き画像を、そのまま前記空白領域に表示させる第１態様と、前記第１態様と異なる態様で前記空白領域に表示させる第２態様とを切り換える表示切換部と、を有する表示装置。

（２）前記表示切換部は、前記第２態様として、前記手書き画像を示すアイコンを表示させる上記（１）に記載の表示装置。

（３）前記表示切換部は、前記第２態様として、前記手書き画像の縮尺を変更して表示させる上記（１）に記載の表示装置。

（４）前記表示切換部は、前記第２態様として前記手書き画像の縮尺を変更する場合において、当該手書き画像に含まれる文字が所定の条件を満たさなくなるときは、当該手書き画像を示すアイコンを表示させる上記（３）に記載の表示装置。

（５）前記表示切換部は、前記第２態様として前記手書き画像の縮尺を変更する場合において、当該手書き画像に含まれる文字が、可読の限界サイズより小さくなるとき、当該手書き画像を示すアイコンを表示させる上記（３）又は（４）に記載の表示装置。

（６）前記表示切換部は、前記第２態様として前記手書き画像を示すアイコンを表示させる場合において、当該アイコンをタッチする操作がなされたときに、対応する手書き画像の全体を表示させる上記（２）、（４）、（５）のいずれかに記載の表示装置。
（７）前記原稿画像内における空白領域の指定を受け付ける指定受付部をさらに有し、前記表示部は、指定された前記空白領域に前記手書き画像を前記第１態様または前記第２態様により表示する上記（１）〜（６）のいずれかに記載の表示装置。
（８）前記原稿画像の縮尺を変更する指示を受け付ける縮尺変更部をさらに有し、前記表示切換部は、前記原稿画像の縮尺が変更された場合には、前記原稿画像に応じて前記手書き画像の縮尺を変更する上記（１）〜（７）のいずれかに記載の表示装置。

（９）前記入力受付部で受け付けた手書き入力にかかる情報を、手書き情報として保存しておく保存部をさらに有し、前記表示切換部は、前記原稿画像に応じて前記手書き画像の縮尺を変更する場合において、前記手書き情報を参照する上記（８）に記載の表示装置。

（１０）前記表示切換部は、前記原稿画像が拡大された場合には、手書き入力されて得られた手書き画像の元サイズを上限として、前記手書き画像を拡大させる上記（８）又は（９）に記載の表示装置。

（１１）レイアウトの編集が制限された原稿画像を、表示領域に表示する表示ステップと、前記表示領域において手書き入力を受け付ける入力受付ステップと、手書き入力されて得られた手書き画像が占める描画領域と、手書き入力時の前記表示領域内の空白領域とのサイズを比較する比較ステップと、前記比較ステップによる比較結果に基づいて、前記手書き画像を、そのまま前記空白領域に表示させる第１態様と、前記第１態様と異なる態様で前記空白領域に表示させる第２態様とを切り換える表示切換ステップと、をコンピューターに実行させる表示プログラム。

（１２）前記表示切換ステップは、前記第２態様として、前記手書き画像を示すアイコンを表示させる上記（１１）に記載の表示プログラム。

（１３）前記表示切換ステップは、前記第２態様として、前記手書き画像の縮尺を変更して表示させる上記（１１）に記載の表示プログラム。

本発明によれば、手書き画像の表示位置となる空白領域のサイズに応じて、当該手書き画像の表示サイズを変更する。これにより、手書き画像が空白領域からはみ出すことはなくなり、きれいな表示が可能になる。また、ユーザーは、手書き入力する文字のサイズについて注意を払う必要がなくなり、手書き入力にかかる操作が容易になる。

上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかにされる。

表示装置のハードウェア構成を示すブロック図である。 表示装置の機能構成を示すブロック図である。 手書き入力処理の手順を示すフローチャートである。 手書き入力処理に従って遷移するディスプレイの画面例１を示す図である。 手書き入力処理に従って遷移するディスプレイの画面例２を示す図である。 手書き入力処理に従って遷移するディスプレイの画面例３を示す図である。 サイズ調整処理の手順を示すフローチャートである。 サイズ調整処理に従って遷移するディスプレイの画面例１を示す図である。 サイズ調整処理に従って遷移するディスプレイの画面例２を示す図である。 サイズ調整処理に従って遷移するディスプレイの画面例３を示す図である。 サイズ調整処理に従って遷移するディスプレイの画面例４を示す図である。 手書き情報リストの概略データ構造を示す図である。 縮尺変更処理の手順を示すフローチャートである。 電子文書（原稿画像）が拡大されたときの画面例を示す図である。 既に手書き入力がされている状態の電子文書の表示例を示す図である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

＜表示装置１０の概略構成＞
図１は、本実施形態にかかる表示装置１０のハードウェア構成の一例を示すブロック図である。また、図２は、表示装置１０の機能構成の一例を示すブロック図である。

以下、図１、図２を参照して、表示装置１０の概略構成について説明する。

表示装置１０は、電子書籍に代表される電子文書を表示する携帯端末であり、たとえば、電子ペーパーである。もちろん、これに限らず、表示装置１０は、タブレット端末、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の他の携帯端末であってもよい。

図１に示されるとおり、表示装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、メモリー１２、ストレージ１３、ディスプレイ１４、タッチパネル１５、外部インターフェース（Ｉ／Ｆ）１６、を有し、これらは信号をやり取りするためのバス１７を介して相互に接続されている。

ＣＰＵ１１は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するマルチコアのプロセッサ等から構成される制御回路であり、表示装置１０の各機能は、それに対応するプログラムをＣＰＵ１１が実行することにより発揮される。

メモリー１２は、作業領域として一時的にプログラムおよびデータを記憶する高速アクセス可能な主記憶装置である。メモリー１２には、たとえば、ＤＲＡＭ（Ｄｙｍａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｍａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が採用される。

ストレージ１３は、オペレーティングシステムを含む各種プログラムや各種データを格納する大容量の補助記憶装置である。ストレージ１３には、たとえば、フラッシュメモリー、ソリッドステートドライブ、ハードディスク等が採用される。

ディスプレイ１４は、電子書籍に代表される電子文書など、各種データを表示する。ディスプレイ１４には、たとえば、電子ペーパーディスプレイ、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等が採用される。

なお、本実施形態の電子文書は、ページの概念を持ち、本文を構成する文字及び画像等のレイアウトの編集が制限されている静的レイアウト型の電子データとし、以下では「原稿画像」ともよぶ。たとえば、静的レイアウト型の電子データには、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）データ等がある。

タッチパネル１５は、ディスプレイ１４の表示面側に貼られた透過性のある操作パネルである。タッチパネル１５は、ディスプレイ１４に表示された画像のＸＹ座標と対応したタッチ位置を特定し、タッチ位置を座標に変換して出力する。なお、タッチパネル１５は、感圧式または静電式の入力検出素子などにより構成される。

また、タッチパネル１５への入力は、直観的なタッチ操作により行える。たとえば、タッチキー入力モードでは、ディスプレイ１４に表示されたキー（または、ボタン、アイコン、ツールバー、所定領域）の部分を指やスタイラス（ペン）でタッチして入力を行うモードである。タッチキー入力モードには、クリック、ドラッグ、スクロール、ピンチアウト、ピンチインといった操作による入力も含まれる。また、手書き入力モードでは、紙などに文字を書くのと同じように、タッチパネル１５上を指やスタイラスでなぞって入力を行うモードである。たとえば、手書き入力可能な文字には、ひらがな、カタカナ、漢字、日本語以外の言語で使用される文字（アルファベット、ギリシャ文字等）、数字、記号、図形、などが含まれる。

外部Ｉ／Ｆ１６は、外部機器（たとえば、一般的なコンピューター）とネットワークを介して通信するためのインターフェースであり、イーサネット（登録商標）、トークンリング、ＦＤＤＩ等の規格が用いられる。また、ＵＳＢ通信のためのインターフェースが設けられてもよい。

以上のようなハードウェア構成からなる表示装置１０は、図２に示されるとおり、ＯＳ（オペレーティングシステム）部２０と、原稿取得部３０と、原稿保持部３５と、入力受付部４０と、手書き情報リスト保持部４５と、表示制御部５０と、可読限界値保持部５５と、を有する。

ＯＳ部２０は、表示装置１０のシステム管理と、基本的なユーザー操作環境を提供する、いわゆるコンピューターの基本ソフトウェアである。

原稿取得部３０は、電子書籍に代表される電子文書（「原稿画像」ともいう）を取得する。たとえば、原稿取得部３０は、多数の電子文書を格納（保有）している外部機器（サーバー）から、電子文書をダウンロードすることによって取得できる。

原稿保持部３５は、原稿取得部３０で取得された電子文書を保持しておく。

入力受付部４０は、ユーザーからのタッチパネル１５への入力を受け付ける。具体的には、入力受付部４０は、タッチパネル１５へのタッチ位置を特定し、ユーザーからの指示を判定する。たとえば、入力受付部４０は、電子文書がディスプレイ１４に表示されているときに、タッチパネル１５に対してピンチアウトの操作がされれば、表示中の電子文書を拡大表示させる指示と判定する。同様に、タッチパネル１５に対してピンチインの操作がされれば、表示中の電子文書を縮小表示させる指示と判定する。また、手書き入力モードにおいては、入力受付部４０は、タッチパネル１５上でなぞられた位置（連続的にタッチされた位置）を特定し、表示制御部５０に通知する。

手書き情報リスト保持部４５は、手書き入力された文字（以下「手書き文字」とよぶ）にかかる情報を、リスト（以下では「手書き情報リスト４５０」とよぶ）として保持しておく。手書き情報リスト４５０は、手書き文字の表示位置や表示サイズなどを変更する際に利用される情報であり、詳細については後述する。

表示制御部５０は、ディスプレイ１４の表示を制御する。たとえば、表示制御部５０は、原稿保持部３５に保持されている電子文書をディスプレイ１４に表示させる。また、表示制御部５０は、手書き入力モードにおいて、手書き文字をディスプレイ１４に表示させる。もちろん、表示制御部５０は、表示中の電子文書上に、手書き文字を重ねて表示することもできる。

ただし、表示制御部４０は、電子文書と手書き文字を重ねて表示する場合には、電子文書内に存在する空白領域を特定し、その空白領域に手書き文字が収まるように当該手書き文字の表示位置および表示サイズを変更する。

可読限界値保持部５５は、ディスプレイ１４に表示される文字のサイズについて、ユーザーが読むことが可能な限界値（以下では「可読限界値」とよぶ）を保持しておく。たとえば、文字サイズの可読限界値は、「２ｐｔ（ポイント）」として保持される。

なお、上記のＯＳ部２０、原稿取得部３０、入力受付部４０、表示制御部５０は、ＣＰＵ１１が、ストレージ１３にインストールされているＯＳやプログラムをメモリー１２に読み出して実行することにより実現される。

また、原稿保持部３５、手書き情報リスト保持部４５、可読限界値保持部５５は、ストレージ１３によって実現される。

次に、表示装置１０の動作について説明する。

＜手書き入力処理＞
図３は、手書き入力時に表示装置１０で実行される処理（以下では「手書き入力処理」とよぶ）の手順を示すフローチャートである。また、図４〜６は、それぞれ、手書き入力処理に従って遷移するディスプレイ１４の画面例を示す図である。

たとえば、表示装置１０は、電子書籍に代表される電子文書（原稿画像）を表示させる指示をユーザーから受け付けると、図３に示す手書き入力処理を開始する。

本フローチャートが開始されると、表示装置１０は、表示制御部５０として機能し、原稿保存部３５に保存されている原稿画像を読み出して、ディスプレイ１４に表示させる（Ｓ１０１）。このとき、ディスプレイ１４の表示領域には、たとえば、図４に示されるように、レイアウトの編集が制限されている静的レイアウト型の原稿画像が表示される。

次に、表示装置１０は、入力受付部４０として機能し、手書き入力を開始させる指示がなされたか否か判断する（Ｓ１０２）。たとえば、ディスプレイ１４の表示面側に貼られたタッチパネル１５の上部には、隠れているツールバーを表示させるための領域（点線枠）６０が設けられている（図４）。ユーザーによってその領域６０上がタッチされると、表示装置１０は、表示制御部５０として機能して、ディスプレイ１４の上部にツールバー７０を表示させる（図５）。ツールバー７０には、手書き入力を開始させるためのラジオボタン７１、７２が設けられる。どちらかのラジオボタン７１、７２がタッチされると、手書き入力モードに移行して手書き入力が可能になる。なお、上側のラジオボタン７１がタッチされれば、手書き文字の表示位置および表示サイズを自動的に変更する。下側のラジオボタン７２がタッチされれば、手書き文字の表示位置や表示サイズは変更しない。

どちらのラジオボタン７１、７２もタッチされず、手書き入力を開始させる指示がなされない場合には（Ｓ１０２：Ｎｏ）、表示装置１０は、手書き入力を開始させる指示を受け付けるまで待機する。

そして、表示装置１０は、どちらかのラジオボタン７１、７２がタッチされて、手書き入力を開始させる指示を受け付けると（Ｓ１０２：Ｙｅｓ）、手書き入力モードに移行して、手書き入力の受付を開始する（Ｓ１０３）。このとき、表示装置１０は、入力受付部４０として機能し、タッチパネル１５上において指などでなぞられた位置を特定する。これとともに、表示装置１０は、表示制御部５０として機能し、指などでなぞられた位置に対応させて、ディスプレイ１４にドットを表示させる。これにより、ディスプレイ１４には、ユーザーによって手書き入力されたひとまとまりの文字群８０が表示される（図６）。なお、表示装置１０は、手書き入力されたひとまとまりの文字群８０を、１枚の手書き画像として切り出し、ストレージ１３などに記憶しておく。

続いて、表示装置１０は、表示制御部５０として機能し、手書き入力された文字をそのまま表示させておく第１態様と、手書き文字の表示位置および表示サイズを変更する第２の態様と、のいずれかの表示態様に切り替える。

そのために、表示装置１０は、上側のラジオボタン７１および下側のラジオボタン７２のどちらがＳ１０２で選択されたのか判断する（Ｓ１０４）。このとき、下側のラジオボタン７２が選択されている場合には（Ｓ１０４：Ｎｏ）、手書き入力された文字を第１態様で表示すべく、ディスプレイ１４にそのまま表示させておく。具体的には、表示装置１０は、Ｓ１０５〜Ｓ１０７の処理を省略し、Ｓ１０２へ戻す。一方、上側のラジオボタン７１が選択されている場合には（Ｓ１０４：Ｙｅｓ）、表示装置１０は、手書き入力された文字を第２態様で表示すべく、Ｓ１０５の処理に進む。

そして、表示装置１０は、表示制御部５０として機能し、電子文書（原稿画像）中に存在する空白領域の中から、手書き文字の表示位置となる空白領域を決定する（Ｓ１０５）。図６に示す例では、電子文書中には、第１空白領域９０ａ、第２空白領域９０ｂ、第３空白領域９０ｃという３つの空白領域が存在する。この中から、表示装置１０は、手書き文字の表示位置となる空白領域を選択すればよい。

空白領域の選択方法としては、様々な方法が考えられるが、たとえば、Ｓ１０３で最初に手書き入力された位置に最近傍の空白領域を選択してもよい。この場合、図６に示す例では、手書き入力されたひとまとまりの文字群８０に最近傍の第１空白領域９０ａが選択されることになる。

これとは別に、ユーザーによって指定された空白領域を、手書き文字の表示位置となる空白領域に決定してもよい。たとえば、ユーザーによってタッチされた第２空白領域９０ｂや第３空白領域９０ｃを、手書き文字の表示位置となる空白領域として選択してもよい。

手書き文字の表示位置となる空白領域を決定後、表示装置１０は、表示制御部５０として機能し、Ｓ１０５で決定された空白領域のサイズを算出する（Ｓ１０６）。たとえば、表示装置１０は、Ｓ１０５で決定された空白領域をディスプレイ１４に表示するのに必要な画素数をカウントして、空白領域のサイズを算出する。

その後、表示装置１０は、表示制御部５０として機能し、サイズ調整処理を実行する（Ｓ２００）。サイズ調整処理の具体的な処理内容については後述するが、表示装置１０は、サイズ調整処理によって、Ｓ１０５で決定された空白領域に、手書き文字が収まるように当該手書き文字の表示サイズを変更できる。

続いて、表示装置１０は、表示制御部５０として機能し、サイズ調整処理Ｓ２００で変更された表示サイズで、手書き文字をディスプレイ１４に表示させる（Ｓ１０７）。

その後、表示装置１０は、処理をＳ１０２に戻す。

なお、上記のＳ１０２〜Ｓ１０７の途中に、ユーザーから電子文書（原稿画像）の表示を終了させる指示を受け付けた場合には、表示装置１０は、その指示を最優先して電子文書の表示を終了させるとともに、手書き入力処理も強制的に終了させる。

＜サイズ調整処理（Ｓ２００）＞
次に、手書き入力処理において行われるサイズ調整処理（Ｓ２００）について説明する。

図７は、サイズ調整処理の手順を示すフローチャートである。また、図８〜１１は、それぞれ、サイズ調整処理に従って遷移するディスプレイ１４の画面例を示す図である。また、図１２は、サイズ調整処理において生成、または更新される手書き情報リスト４５０の概略データ構造の一例を示す図である。

上述したように、表示装置１０は、手書き入力処理においてＳ１０６の処理が終了後、サイズ調整処理を開始する。

サイズ調整処理を開始すると、表示装置１０は、表示制御部５０として機能し、Ｓ１０３で手書き入力されたひとまとまりの文字群８０が占める描画領域のサイズを算出する（Ｓ２０１）。具体的には、表示装置１０は、Ｓ１０３で手書き入力されたひとまとまりの文字群８０から得られる手書き画像をストレージ１３から読み出し、当該手書き画像をディスプレイ１４に表示する際に必要となる画素数をカウントして、手書き画像の描画領域サイズを算出する。

続いて、表示装置１０は、表示制御部５０として機能し、手書き画像が占める描画領域のサイズ（Ｓ２０１で算出されたサイズ）と、当該手書き画像の表示位置となる空白領域のサイズ（Ｓ１０６で算出されたサイズ）と、を比較する（Ｓ２０２）。

そして、表示装置１０は、手書き画像が占める描画領域のサイズが、空白領域のサイズ以下である場合には（Ｓ２０２：Ｎｏ）、手書き画像についてサイズ変更せずに処理をＳ２０７へ進める。これは、そのままのサイズでも手書き画像は空白領域に収まるためである。

一方、手書き画像が占める描画領域のサイズが、空白領域のサイズより大きい場合には（Ｓ２０２：Ｙｅｓ）、そのままのサイズで手書き画像を表示すると、空白領域からはみ出してしまう。これを防ぐため、表示装置１０は、手書き画像のサイズを、空白領域に合わせて縮小させる（Ｓ２０３）。具体的には、表示装置１０は、表示制御部５０として機能し、手描き画像のサイズを、空白領域よりも小さいサイズまで縮小させる。

続いて、表示装置１０は、表示制御部５０として機能し、縮小後の手書き画像に含まれる手書き文字のサイズを特定する（Ｓ２０４）。たとえば、表示装置１０は、エッジ検出等の周知技術を用いて、縮小後の手書き画像に含まれる文字を認識し、認識した文字ごとにサイズを特定する。

そして、表示装置１０は、表示制御部５０として機能し、Ｓ２０４で特定された文字サイズの中で最小となる文字サイズが、可読限界値よりも小さいか否か判別する（Ｓ２０５）。たとえば、表示装置１０は、可読限界値保持部５５から可読限界値を読み出し、Ｓ２０４で特定された文字サイズの中で最小となる文字サイズと比較すればよい。

表示装置１０は、Ｓ２０４で特定された文字サイズの中で最小となる文字サイズが、可読限界値以上である場合には（Ｓ２０５：Ｎｏ）、手書き画像についてサイズ変更せずに処理をＳ２０７へ進める。これは、縮小後の手書き画像に含まれる全ての手書き文字を、ユーザーが読むことができるためである。

一方、Ｓ２０４で特定された文字サイズの中で最小となる文字サイズが、可読限界値より小さい場合には（Ｓ２０５：Ｙｅｓ）、縮小された手書き画像をそのままのサイズで表示すると、文字が小さすぎてユーザーは読めなくなる。これを防ぐため、表示装置１０は、手書き画像を表示させる代わりに、当該手書き画像を示すアイコンを表示させるための用意を行う（Ｓ２０６）。具体的には、表示装置１０は、矢印が描かれている領域と手書き画像の一部が描かれている領域から構成されるアイコンを作成する。これとともに、表示装置１０は、手書き画像の全体が可読限界値の文字サイズで描かれている画像（「リンクデータ」ともいう）を作成しておく。

次に、表示装置１０は、表示制御部５０として機能し、上記ステップでサイズ変更された手書き画像や（サイズ変更されない場合もある）、手書き画像に代わるアイコンを、Ｓ１０５で決定された空白領域に表示するようディスプレイ１４に指示する（Ｓ２０７）。

これにより、上述のＳ１０７において、表示サイズが変更された手書き文字がディスプレイ１４に表示されるようになる。

たとえば、図８は、Ｓ２０３で縮小された手書き画像８１が、第１空白領域９０ａの位置に表示される場合の例である。図示するように、第１空白領域９０ａには、縮小された手書き画像８１がきれいに収められる。

また、図９は、Ｓ２０３で縮小された手書き画像８１が、第１空白領域９０ａよりもサイズの小さい第２空白領域９０ｂの位置に表示される場合の例である。このような場合であっても、第２空白領域９０ｂには、縮小された手書き画像８１がきれいに収められる。

また、図１０は、Ｓ２０３で縮小された手書き画像８１が、第３空白領域９０ｃに表示される場合の例である。この場合には、第３空白領域９０ｃの位置にＳ２０３で縮小された手書き画像８１を表示させると文字サイズが小さくなりすぎるため、手書き画像８１を表示させる代わりに、アイコン表示させる。たとえば、図１０に示されるように、Ｓ２０６で用意されたアイコン、すなわち、矢印が描かれている非リンク領域８２と手書き画像の一部が描かれているリンク領域８３ａから構成されるアイコンを、第３空白領域９０ｃに表示させる。ただし、手書き画像の一部しか読めないと不便な場合もあるので、リンク領域８３ａがタッチされた場合には、リンク領域８３ａの部分を、Ｓ２０６で用意された画像、すなわち、手書き画像の全体が可読限界値の文字サイズで描かれている画像（リンクデータ）８３ｂで置き換える（図１１）。このとき、非リンク領域８２に描かれているアイコンを変更してもよく、たとえば矢印の向きを反対向きにしてもよい。

以上のように、本実施形態の表示装置１０は、手書き画像の表示位置となる空白領域のサイズに応じて、手書き画像の表示態様を切り替えている。すなわち、手書き画像の表示位置となる空白領域のサイズに応じて、手書き画像のサイズを変更せずに表示する場合と、手書き画像のサイズを縮小して表示する場合と、手書き画像に変えてアイコン表示する場合、に切り替える。こうすることにより、電子文書（原稿画像）の本文と、手書き文字は重ならなくなり、電子文書と手書き文字のいずれもが読みやすくなる。また、手書き画像を縮小することによって、文字が小さくなりすぎる場合には、アイコン表示に切り替えているため、文字が読めなくなることもない。

Ｓ２０７の後、表示装置１０は、表示制御部５０として機能し、後で手書き画像の表示位置や表示サイズを変更するときに必要となるデータを保存しておく（Ｓ２０８）。具体的には、表示装置１０は、手書き入力が行われる毎に、当該手書き入力にかかる情報として、手書き情報リスト４５０を手書き情報リスト保持部４５に保存しておく。

たとえば、図１２は、手書き情報リスト保持部４５に保持される手書き情報リスト４５０の概略データ構造の一例を示す図である。

図１２に示されるとおり、手書き情報リスト４５０は、手書き入力されて得られた手書き画像（文字群８０）ごとのレコード４６０からなる。各レコード４６０には、ＩＤ４５１と、アイコン表示情報４５２と、位置４５３と、元サイズ４５４と、現サイズ４５５と、最小文字サイズ４５６と、空白領域サイズ４５７と、可読限界時サイズ４５８と、リンクデータ４５９と、が対応付けて格納されている。

ＩＤ４５１は、手書き画像の識別情報である。アイコン表示情報４５２は、手書き画像を表示する代わりにアイコン表示しているか否かを示す情報である。位置４５３は、手書き画像の表示位置（たとえば、電子文書中における位置）を示す情報である。元サイズ４５４は、最初に手書き入力されたときに得られる手書き画像のサイズを示す情報である。現サイズ４５５は、ディスプレイ１４に表示されている現時点の手書き画像のサイズを示す情報である。最小文字サイズ４５６は、手書き画像に含まれている文字のうち最小の文字サイズを示す情報である。空白領域サイズ４５７は、手書き画像の表示位置にある空白領域のサイズを示す情報である。可読限界時サイズ４５８は、手書き画像に含まれている文字が可読限界値の文字サイズとなるときの手書き画像のサイズを示す情報である。リンク情報４５９は、リンクデータ８３ｂのファイル名および記憶場所を示す情報である。

表示装置１０は、以上のような手書き情報リスト４５０を手書き情報リスト保持部４５に保存した後、処理をＳ１０７へ進め、サイズ調整処理を終了する。

以上の手書き入力処理およびサイズ調整処理が表示装置１０で実行されることにより、電子文書（原稿画像）の本文と、手書き入力された文字が重ならなくなり、電子文書と手書き文字のいずれもが読みやすくなる。また、手書き文字の表示位置および表示サイズが自動的に変更されるので、ユーザーは、手書き入力時点において、手書き文字の入力位置および入力サイズを決めておく必要はない。そのため、ユーザーは、手書き入力しやすい位置に、かつ、手書き入力しやすいサイズで、手書き文字を入力するだけでよく、手書き入力にかかる操作は格段に容易になる。

＜縮尺変更処理＞
次に、ディスプレイ１４に表示中の電子文書（原稿画像）の縮尺が変更されるときの処理（以下では「縮尺変更処理」）について説明する。

図１３は、縮尺変更処理の手順を示すフローチャートである。また、図１４は、ディスプレイ１４に表示中の電子文書（原稿画像）が拡大されたときの画面例を示す図である。

たとえば、表示装置１０は、電子文書がディスプレイ１４に表示されているときに、ユーザーから縮尺変更の指示を受け付けると、縮尺変更処理を開始する。なお、縮尺変更の指示は、タッチパネル１５に対するピンチアウト、ピンチイン等の操作によって行われる。

縮尺変更処理を開始すると、表示装置１０は、入力受付部４０として機能し、ユーザーによって指示された電子文書の縮尺率、すなわち、拡大率または縮小率を特定する（Ｓ３０１）。たとえば、拡大率、縮小率は、ピンチアウト、ピンチイン時の二本指の移動量に応じて決定される。

次に、表示装置１０は、表示制御部５０として機能し、ディスプレイ１４に表示中の手書き画像が存在するか否か判別する（Ｓ３０２）。たとえば、表示装置１０は、手書き情報リスト保持部４５から手書き情報リスト４５０を読み出し、手書き情報リスト４５０内にデータがあれば表示中の手書き画像が存在すると判定し、データがなければ表示中の手書き画像は存在しないと判定する。

表示装置１０は、表示中の手書き画像が存在しない場合には（Ｓ３０２：Ｎｏ）、電子文書のみ縮尺を変更すればよいので、Ｓ３０３〜Ｓ３１０の処理を省略して、Ｓ３１１への処理へと進む。そして、表示装置１０は、表示制御部５０として機能し、縮尺変更した電子文書をディスプレイ１４に表示させる（Ｓ３１１）。

また、表示装置１０は、表示中の手書き画像が存在する場合には（Ｓ３０２：Ｙｅｓ）、ユーザーから受け付けた縮尺変更の指示が、拡大の指示であるか、縮小の指示であるか判別する（Ｓ３０３）。

そして、表示装置１０は、縮小の指示である場合には（Ｓ３０３：縮小）、Ｓ３０４〜Ｓ３０６の処理を省略して、Ｓ３０７の処理へと進む。一方、表示装置１０は、拡大の指示である場合には（Ｓ３０３：拡大）、ディスプレイ１４に表示中の手書き画像が、既にサイズ変更されたものか否か判別する（Ｓ３０４）。たとえば、表示装置１０は、手書き情報リスト保持部４５から手書き情報リスト４５０を読み出し、元サイズ４５４と現サイズ４５５を比較する。このとき、両者が異なる手書き画像については、サイズ変更されたと判定し、両者が一致する手書き画像については、サイズ変更されていないと判定する。

そして、表示装置１０は、ディスプレイ１４に表示中の手書き画像がサイズ変更されていない場合には（Ｓ３０４：Ｎｏ）、電子文書が拡大表示されても手書き画像は拡大されないよう、そのままのサイズで空白領域内に表示させる（Ｓ３１０、Ｓ３１１）。

これにより、手書き画像は、Ｓ１０３で最初に手書き入力されたときのサイズを超えて拡大されることはなく、手書き画像に含まれる文字の滑らかさを維持できる。

また、表示装置１０は、ディスプレイ１４に表示中の手書き画像が既にサイズ変更されている場合には（Ｓ３０４：Ｙｅｓ）、電子文書と同じ拡大率で拡大させたときの手書き画像のサイズを予測する（Ｓ３０５）。たとえば、表示装置１０は、手書き情報リスト保持部４５から手書き情報リスト４５０を読み出し、現サイズ４５５に電子文書の拡大率を乗じることにより、拡大後の手書き画像のサイズを求める。

そして、表示装置１０は、Ｓ３０５で予測された拡大後の手書き画像のサイズが、手書き入力時（Ｓ１０３で最初に手書き入力されたとき）のサイズ以下であるか否か判別する（Ｓ３０６）。このとき、拡大後の手書き画像のサイズが、手書き入力時のサイズを超えている場合には（Ｓ３０６：Ｎｏ）、手書き入力時のサイズを超えて手書き画像が拡大されないよう、手書き入力時のサイズで空白領域内に表示させる（Ｓ３１０、Ｓ３１１）。

これにより、手書き画像は、手書き入力時のサイズまでは拡大されるが、手書き入力時のサイズを超えて拡大されることはなく、手書き画像に含まれる文字の滑らかさも維持できる。

たとえば、図１４には、図９に示される電子文書（原稿画像）が拡大表示されたときの表示例が示されている。図１４に示されるように、表示中の電子文書が拡大されても、第２空白領域９０ｂ内の手書き画像８１は、手書き入力時のサイズ（文字群８０）までしか拡大されない。

また、表示装置１０は、拡大後の手書き画像のサイズが、手書き入力時のサイズ以下である場合には（Ｓ３０６：Ｙｅｓ）、Ｓ３０７の処理へと進む。

次に、表示装置１０は、表示制御部５０として機能し、縮尺変更（拡大、縮小）後の文字サイズの中で最小となる文字サイズが、可読限界値よりも大きいか否か判別する（Ｓ３０７）。たとえば、表示装置１０は、可読限界値保持部５５から可読限界値を読み出し、縮尺変更後の文字サイズの中で最小となる文字サイズと比較すればよい。

表示装置１０は、縮尺変更後の文字サイズの中で最小となる文字サイズが、可読限界値以上である場合には（Ｓ３０７：Ｙｅｓ）、Ｓ３０１で特定された縮尺率（拡大率、縮尺率）で手書き画像の縮尺変更を行い（Ｓ３０８）、空白領域内に表示させる（Ｓ３１１）。これにより、手書き画像は、表示中の電子文書と同じ縮尺率（拡大率、縮小率）で、サイズ調整（拡大、縮小）される。

一方、縮尺変更後の文字サイズの中で最小となる文字サイズが、可読限界値より小さい場合には（Ｓ３０７：Ｎｏ）、縮尺変更後の手書き画像をそのままのサイズで表示すると、文字が小さすぎてユーザーは読めなくなる。これを防ぐため、表示装置１０は、手書き画像を表示させずに、当該手書き画像を示すアイコンを、空白領域内に表示させる（Ｓ３０９、Ｓ３１１）。

以上の縮尺変更処理が表示装置１０で実行されることにより、電子文書（原稿画像）の縮尺が変更されたとしても、その縮尺率に応じて、手書き画像のサイズを変更できる。そのため、電子文書の縮尺が変更される場合でも、電子文書の本文と、手書き入力された文字は重なることはなく、ユーザーにとって読みやすい。また、手書き画像のサイズには、上限値（手書き入力時のサイズ）と下限値（可読限界値）を設けているため、電子文書の縮尺が変更されても、手書き文字が読みにくくなることはない。

なお、上記した各フローチャートの各処理単位は、表示装置１０の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。表示装置１０で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。

＜変形例＞
また、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。

たとえば、手書き入力された文字（手書き画像）について編集できるようにしてもよい。この場合、編集前後において、手書き画像に含まれる文字数や文字サイズが変わるときがある。このとき、手書き画像のサイズが縮小される場合には問題ないが、拡大される場合には手書き画像が電子文書の本文と重なってしまう場合がある。これを防ぐために、表示装置１０は、手書き文字が編集されて手書き画像が拡大する場合には、当該手書き画像が空白領域内に収まるように縮小して表示させる。これにより、手書き文字が編集されたときでも、電子文書の本文と手書き文字が重なることはなく、ユーザーにとって読みやすい。

また、既に手書き入力がされている状態の電子文書に、新たに手書き入力（追記）される場合もある。図１５は、既に手書き入力がされている状態の電子文書の表示例を示す図である。図１５に示されるとおり、既に手書き入力がされている状態の電子文書に、新たな手書き文字を追記する場合には、追記する手書き文字が、電子文書の本文に重ならないようにするだけでなく、既に入力されている手書き文字（手書き画像８１）にも重ならないようにする。そのために、表示装置１０は、手書き画像８１が占める描画領域については、電子文書の本文とみなし、電子文書の本文および手書き画像８１の描画領域を除いた領域を新たな空白領域９０ｄとする。これにより、電子文書の複数箇所に手書き入力を行う場合でも、手書き文字同士が重なることはなく、ユーザーにとって読みやすい。

また、上記実施形態では、原稿取得部３０は、外部機器からのダウンロードにより電子文書を取得している。しかし、本発明は、これに限定されず、たとえば、外部Ｉ／Ｆ１６にＵＳＢ接続された外部ストレージから読み出すことによって、電子文書を取得してもよい。また、予め原稿保持部３５に保存されている電子文書を読み出すことによって取得してもよいし、表示装置１０で電子文書を作成してもよい。

また、上記実施形態では、電子文書に含まれる文章と文章の間の隙間を空白領域としているが、これに限られない。たとえば、電子文書の余白部分等を空白領域としてもよい。

また、上記実施形態では、手書き画像に含まれる文字のうち、最小サイズの文字が可読限界値よりも大きくなるように、手書き画像についてサイズ調整を行っている。しかし、これに限定されず、手書き画像に含まれる文字のうち、平均サイズの文字が可読限界値よりも大きくなるように、手書き画像についてサイズ調整を行ってもよい。

また、上記実施形態の手書き文字には、絵などを含めてもよい。

また、上記実施形態では、手書き入力の開始を指示する方法として、ツールバー７０を用いているがこれに限られない。たとえば、手書き入力の開始を指示するためのアイコン等を用いてもよい。

以上の表示装置１０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。また、一般的な表示装置１０が備える構成を排除するものではない。

また、上記した表示装置１０の各機能構成は、各機能構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。各機能構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、表示装置１０を動作させるプログラムは、ＵＳＢメモリー、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリー１２やストレージ１３等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、表示装置１０の一機能としてその装置のソフトウェアに組み込んでもよい。

また、上記の各構成要素の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

１０ 表示装置、
１１ ＣＰＵ、
１２ メモリー、
１３ ストレージ、
１４ ディスプレイ、
１５ タッチパネル、
１６ 外部インターフェース、
２０ ＯＳ部、
３０ 原稿取得部、
３５ 原稿保存部、
４０ 入力受付部、
４５ 手書き情報リスト保持部、
５０ 表示制御部、
５５ 可読限界値保持部。

Claims (13)

1. レイアウトの編集が制限された原稿画像を、表示領域に表示する表示部と、
   前記表示領域において手書き入力を受け付ける入力受付部と、
   手書き入力されて得られた手書き画像が占める描画領域と、手書き入力時の前記表示領域内の空白領域とのサイズを比較する比較部と、
   前記比較部による比較結果に基づいて、前記手書き画像を、そのまま前記空白領域に表示させる第１態様と、前記第１態様と異なる態様で前記空白領域に表示させる第２態様とを切り換える表示切換部と、
   を有する表示装置。
2. 前記表示切換部は、前記第２態様として、前記手書き画像を示すアイコンを表示させる請求項１に記載の表示装置。
3. 前記表示切換部は、前記第２態様として、前記手書き画像の縮尺を変更して表示させる請求項１に記載の表示装置。
4. 前記表示切換部は、前記第２態様として前記手書き画像の縮尺を変更する場合において、当該手書き画像に含まれる文字が所定の条件を満たさなくなるときは、当該手書き画像を示すアイコンを表示させる請求項３に記載の表示装置。
5. 前記表示切換部は、前記第２態様として前記手書き画像の縮尺を変更する場合において、当該手書き画像に含まれる文字が、可読の限界サイズより小さくなるとき、当該手書き画像を示すアイコンを表示させる請求項３又は４に記載の表示装置。
6. 前記表示切換部は、前記第２態様として前記手書き画像を示すアイコンを表示させる場合において、当該アイコンをタッチする操作がなされたときに、対応する手書き画像の全体を表示させる請求項２、４、５のいずれか１項に記載の表示装置。
7. 前記原稿画像内における空白領域の指定を受け付ける指定受付部をさらに有し、
   前記表示部は、指定された前記空白領域に前記手書き画像を前記第１態様または前記第２態様により表示する請求項１〜６のいずれか１項に記載の表示装置。
8. 前記原稿画像の縮尺を変更する指示を受け付ける縮尺変更部をさらに有し、
   前記表示切換部は、前記原稿画像の縮尺が変更された場合には、前記原稿画像に応じて前記手書き画像の縮尺を変更する請求項１〜７のいずれか１項に記載の表示装置。
9. 前記入力受付部で受け付けた手書き入力にかかる情報を、手書き情報として保存しておく保存部をさらに有し、
   前記表示切換部は、前記原稿画像に応じて前記手書き画像の縮尺を変更する場合において、前記手書き情報を参照する請求項８に記載の表示装置。
10. 前記表示切換部は、前記原稿画像が拡大された場合には、手書き入力されて得られた手書き画像の元サイズを上限として、前記手書き画像を拡大させる請求項８又は９に記載の表示装置。
11. レイアウトの編集が制限された原稿画像を、表示領域に表示する表示ステップと、
    前記表示領域において手書き入力を受け付ける入力受付ステップと、
    手書き入力されて得られた手書き画像が占める描画領域と、手書き入力時の前記表示領域内の空白領域とのサイズを比較する比較ステップと、
    前記比較ステップによる比較結果に基づいて、前記手書き画像を、そのまま前記空白領域に表示させる第１態様と、前記第１態様と異なる態様で前記空白領域に表示させる第２態様とを切り換える表示切換ステップと、
    をコンピューターに実行させる表示プログラム。
12. 前記表示切換ステップは、前記第２態様として、前記手書き画像を示すアイコンを表示させる請求項１１に記載の表示プログラム。
13. 前記表示切換ステップは、前記第２態様として、前記手書き画像の縮尺を変更して表示させる請求項１１に記載の表示プログラム。

Images