JP2008191481A - 表示装置、入力表示装置、表示プログラム、および入力表示プログラム - Google Patents

Abstract

【課題】各ページの判読性を維持したまま十分にページを縮小することができる表示装置、入力表示装置、表示プログラム、および入力表示プログラムを提供することを目的とする。
【解決手段】文字が書かれたページの画像を取得する画像取得部と、ページの画像を縮小する画像縮小部と、画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、縮小前の複雑度が縮小後も所定程度維持されるように画像縮小部による画像縮小の縮小率を抑える縮小制御部とを備えた。
【選択図】 図７

Description

本発明は、文字が書かれた画像を表示する表示装置、入力表示装置、表示プログラム、および入力表示プログラムに関する。

従来は紙に手書きで記されていた情報が、キーボードなどを使ってパーソナルコンピュータ等に入力され、デジタルの電子データとして扱われてきている。例えば、病院では、患者の病状が記されたカルテがデジタルの電子カルテに替わってきており、商品を発注するときの発注書や、商品を受注するときの受注書などもデジタル化されてきている。情報をデジタルの電子データとして扱うことによって、保存やコピーが容易となるうえ、相互に離れた場所にいても、ネットワークを介して情報を共有することができるという利点がある。

しかし、紙に手書きで情報を記すことに慣れている人の中には、パーソナルコンピュータのキーボードを使って情報を入力することを困難と感じる人も多い。この点に関し、パーソナルコンピュータの表示画面上や専用のタブレット上にペンや指先などで描画すると、その描画位置を検出して描画内容を取得する入力装置が知られている。このような入力装置によると、キーボードに慣れていない人でも簡単に情報を入力することができ、さらに、画像上に文字を書き込んだり、所望の位置に文字を書き込むなどといった追記処理も容易に行うことができる。近年では、ペン入力タイプの入力装置が、電子カルテを入力して患者の医用画像とともに管理する電子カルテシステムや、客先で商品と引き換えにサインを入力してもらうことにより、納品状況を一括管理する納品管理システムや、来訪者の情報や電話応答時の用件などを入力しておき、スケジュール等を管理する受付システムなどに広く適用されてきている。

ところで、複数の情報をまとめて確認するときには、それらの情報を画面上に一覧表示させることが行われている。上述した入力装置では、画面上に書き込まれた文字や画像がひとまとめに画像化され、画面全体を１ページとしてページを表わすページデータが生成されることが多く、一覧表示を実行するにあたっては、複数のページデータそれぞれが表す複数のページが縮小された後で並べて表示されることとなる。しかし、各ページは様々な大きさや太さで文字が書き込まれているため、それらのページを画一的な縮小率で縮小してしまうと、小さい文字や太い文字が潰れてしまって、記述内容を判読できなくなってしまうという不具合がある。

この点に関し、特許文献１には、各ページ上の、文字や画像が描かれていない余白部分を省いて表示する技術について記載されており、特許文献２には、各ページの画素の密度などを検出して、縮小時に文字が潰れるか否かを判定する技術について記載されている。これら特許文献１および特許文献２に記載された技術を適用して各ページを縮小することによって、文字の潰れを軽減することができる。
特開平１１−２１９２６０号公報 特開平０６−１２１１５１号公報

しかし、特許文献１に記載された技術では、大きい文字で記述されたページと小さい文字で記述されたページとが同じ縮小率で縮小されてしまうため、結局は小さい文字が潰れてしまう。小さい文字で大量に記述された文章は重要であることも多く、特許文献１の技術では、重要な情報を判読できなくなってしまう恐れがある。

また、特許文献２に記載された技術では、太い文字などが固まり状に潰れる状態が許容されてしまい、描画内容を判読することができなくなってしまうという問題がある。

本発明は、上記事情に鑑み、各ページの判読性を維持したまま十分にページを縮小することができる表示装置、入力表示装置、表示プログラム、および入力表示プログラムを提供することを目的とする。

上記目的を達成する本発明の表示装置は、文字が書かれたページの画像を取得する画像取得部と、
ページの画像を縮小する画像縮小部と、
画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
縮小前の複雑度が縮小後も所定程度維持されるように画像縮小部による画像縮小の縮小率を抑える縮小制御部とを備えたことを特徴とする。

小さい文字や太い文字を縮小する場合、各文字を構成している線同士がくっついてしまい、像構造の単純化が生じることによって、文字が潰れてしまうということが分かった。

本発明の表示装置によると、ページの画像を縮小するにあたり、画像中の文字の像について像構造が解析されて複雑度が算出され、その複雑度が所定程度維持されるように縮小率が抑えられる。このため、小さい文字や太い文字が含まれるページも、判読性を維持したままで十分に縮小することができる。

また、本発明の表示装置において、上記複雑度算出部が、ページに書かれた文字の像を所定方向に横切る線上での描像非描像の変化数を複雑度として算出するものであることが好ましい。

文字の像構造の複雑度を算出する方法としては、文字を縮小すると線の屈折部分が単純化されることを利用して、文字の屈折回数を算出することが考えられる。しかし、文字の屈折回数を算出するためには、表示装置に、文字の軌跡を検出する機能が搭載されている必要がある。

それに対し、文字を縮小すると平行な線同士がくっついてしまって文字が単純化されることを利用し、文字の像を横切る線上で描像非描像の変化数を算出することによって、文字の軌跡を検出する機能を必要とせずに、容易に複雑度を算出することができる。

また、本発明の表示装置において、画像取得部で取得された画像中の文字をサイズで複数グループに分類する文字分類部を備え、
複雑度算出部が、複数グループのうち相対的に多くの文字が分類されたグループに属する文字の像について複雑度を算出するものであることが好ましい。

小さい「っ」などは、使用回数が相対的に少なく、文字が潰れてしまっていても、その他の文字を確認することによって文章の内容を推測することが容易である。相対的に多くの文字が分類されたグループに属する文字の像について複雑度を算出することによって、全体的な判読性が高い状態を維持しつつ、ページを十分に縮小することができる。

また、本発明の表示装置において、
「上記画像取得部が、複数のページそれぞれの画像を取得するものであり、
画像縮小部が、複数のページそれぞれについて画像を縮小するものであり、
画像表示部が、画像縮小部で縮小された複数の画像を並べて表示するものであり、
ページ中に書かれた文字の総筆記量を複数のページそれぞれについて算出する筆記量算出部を備え、
縮小制御部が、複数のページそれぞれについて複雑度に基づいて縮小率を抑えるとともに、さらに、複数のページのうち総筆記量が相対的に多いページについては他のページよりも縮小率を抑えるものである」
という形態は好適である。

総筆記量が多いページは、そのページに記されている情報量が多いと考えられ、ページの重要度も高いと考えられる。

この好適な表示装置によると、複数のページを、各ページに含まれる文字の潰れを抑えて縮小して表示することができるとともに、総筆記量が相対的に高いページは大きめに表示することによって、重要なページの判読性を高めることができる。

また、本発明の表示装置において、上記筆記量算出部が、ページの面積に占める文字の像の描画面積を総筆記量として算出するものであることが好ましい。

ページの面積に占める文字の描画面積を算出することによって、そのページに記述された文字の総筆記量を容易に求めることができる。

また、本発明の表示装置において、上記筆記量算出部が、ページ中の文字を構成する線の総延長を総筆記量として算出するものであることも好ましい。

ページ中の文字を構成する線の総延長を算出することによって、文字を構成する線の太さなどが無視されるため、総筆記量の算出精度を向上させることができる。

また、本発明の表示装置において、上記画像表示部が、表示画面上の所定の表示領域に画像を表示するものであり、
画像表示部による複数画像の表示について表示領域に余裕があるか否かを判定する余裕判定部を備え、
縮小制御部が、総筆記量に基づいた縮小率抑制については、余裕判定部によって余裕があると判定された場合に実行するものであることが好ましい。

表示領域に余裕がある場合にのみ、総筆記量に基づいた縮小率抑制が実行されることによって、文字の判別度を向上させることができる。

また、本発明の表示装置において、
「画像取得部で取得された画像中の文字のサイズを分析するサイズ分析部を備え、
縮小制御部が、複数のページそれぞれについて複雑度に基づいて縮小率を抑えるとともに、縮小後の文字のサイズが所定の最低サイズを下回らないように縮小率を抑えるものである」
という形態は好ましい。

画像が表示される表示画面の解像度や、画像中の文字の色などによっては、ユーザが目視して判別できる文字の最低サイズが異なる。文字のサイズがその最低サイズを下回らないように縮小されることによって、ユーザは、画像中の文字を確実に判別することができる。

また、上記目的を達成する本発明の入力表示装置は、文字の入力を受け付ける文字入力部と、
文字入力部で受け付けられた文字が書かれたページの画像を取得する画像取得部と、
ページの画像を縮小する画像縮小部と、
画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
縮小前の複雑度が縮小後も所定程度維持されるように画像縮小部による画像縮小の縮小率を抑える縮小制御部とを備えたことを特徴とする。

尚、入力表示装置については、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう入力表示装置には、上記の基本形態のみではなく、前述した表示装置の各形態に対応する各種の形態が含まれる。

本発明の入力表示装置によると、文字を手書きで入力することができるとともに、その文字を含むページを、文字の潰れを抑えて縮小して表示することができる。

また、上記目的を達成する本発明の表示プログラムは、コンピュータ内で実行され、コンピュータ上に、文字が書かれたページの画像を取得する画像取得部と、
ページの画像を縮小する画像縮小部と、
画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
縮小前の複雑度が縮小後も所定程度維持されるように画像縮小部による画像縮小の縮小率を抑える縮小制御部とを構築することを特徴とする。

さらに、上記目的を達成する本発明の入力表示プログラムは、コンピュータ内で実行され、コンピュータ上に、文字の入力を受け付ける文字入力部と、
文字入力部で受け付けられた文字が書かれたページの画像を取得する画像取得部と、
ページの画像を縮小する画像縮小部と、
画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
縮小前の複雑度が縮小後も所定程度維持されるように画像縮小部による画像縮小の縮小率を抑える縮小制御部とを構築することを特徴とする。

尚、表示プログラムおよび入力表示プログラムについても、ここではそれらの基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう表示プログラム、および本発明にいう入力表示プログラムには、上記の基本形態のみではなく、前述した表示装置の各形態に対応する各種の形態が含まれる。

さらに、本発明の表示プログラム、および本発明の入力表示プログラムがコンピュータシステム上に構築する画像縮小部などといった要素は、１つの要素が１つのプログラム部品によって構築されるものであってもよく、複数の要素が１つのプログラム部品によって構築されるものであってもよい。また、これらの要素は、そのような作用を自分自身で実行するものとして構築されてもよく、あるいはコンピュータシステムに組み込まれている他のプログラムやプログラム部品に指示を与えて実行するものとして構築されてもよい。

本発明によれば、各ページの判読性を維持したまま十分にページを縮小することができる。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施形態が適用されたパーソナルコンピュータの外観斜視図である。

図１に示すパーソナルコンピュータ１０は、表示画面３１上にペンや指先で文字や画像を描画することにより、その描画内容を入力することができるタブレットＰＣである。

パーソナルコンピュータ１０は、第１ユニット２０と第２ユニット３０を備えており、これら第１ユニット２０と第２ユニット３０は、第２ユニット３０が第１ユニット２０に対し矢印Ａ−Ａ方向に開閉自在および矢印Ｂ−Ｂ方向（垂直な回動軸のまわり）に回動自在となるように、二軸の連結部４０で連結されている。この図１には、第２ユニット３０が第１ユニット２０に対し開いた状態（開状態）にある電子装置が示されている。

第１ユニット２０には、キーボード２１、トラックパッド２２、左クリックボタン２３、右クリックボタン２４、および、第２ユニット３０を閉じたときにその第２ユニット３０を係止する係止ユニット２５が備えられている。この係止ユニット２５には、第２ユニット３０側の留め具が入り込む係止穴２５ａと、その係止穴２５ａに入り込んだ留め具の係止を解除する係止解除ボタン２５ｂが設けられている。また、その第１ユニット２０の側面には、ＣＤやＤＶＤ等の光ディスクを搭載して駆動しアクセスする光ディスクドライブ２６の開閉蓋２６ａが外面にあらわれており、その開閉蓋２６ａには、それを押すことによってその開閉蓋２６ａが開くイジェクトボタン２６ｂが備えられている。

パーソナルコンピュータ１０の第２ユニット３０は、その前面に表示画面３１が広がっている。また、この第２ユニット３０には、その表示画面３１よりも下にいくつかの押ボタン３２が設けられ、表示画面３１よりも上には、この第２ユニット３０を閉じたときに第１ユニット２０の係止ユニット２５に係止する留め具を備えた留め具ユニット３３が備えられている。留め具ユニット３３には２つの留め具があり、図１では、表示画面側の開口３３ａから、２つの留め具のうちの１つの留め具３３ｂが突出している。

図２は、第２ユニット３０を第１ユニット２０上に閉じた状態の電子装置を示す外観斜視図である。

図２では、第２ユニット３０は、表示画面３１（図１参照）を第１ユニット２０に向けて重ねられた状態にある。以下では、これを第１の閉状態と称する。

図１に示す通常状態において、第２ユニット３０が矢印Ａ方向に閉じられると、図２に示すように、表示画面３１が内側に隠蔽されて、表示画面３１に対する裏面が外側に剥き出しになった第１の閉状態となる。この第１の閉状態では、表示画面３１の汚れや破損を回避して、パーソナルコンピュータ１０を持ち運ぶことができる。

図３は、第２ユニットを第１ユニットに対しほぼ９０°回動させた状態を示す外観斜視図である。

第２ユニット３０を、この状態を経由し、さらに表示画面３１がキーボード２１とは反対側を向くように回すことができる。

図４は、第２ユニットが表示画面を上に向けて第１ユニット重ねられた状態を示す外観斜視図である。

第２ユニット３０を、図３に示す姿勢を経由してさらに表示画面３１がキーボード２１とは反対側を向くように回し、その状態で、その第２ユニット３０の、表示画面３１に対する裏面を第１ユニット２０に向けて第２ユニット３０を第１ユニット２０に重ねると、図４に示す状態となる。以下では、この状態を第２の閉状態と称する。この第２の閉状態は、このパーソナルコンピュータ１０をタブレットＰＣとして使用する形態であり、ここではこれをタブレットモードと称する。

上述したように、この表示画面３１は、ペンの接触あるいは近接位置を検出するペン入力機能付きの表示画面であり、通常は、このタブレットモードにあるパーソナルコンピュータ１０を一方の腕にかかえ、他方の手にペン（図示せず）を持って表示画面を操作するという使用態様が採用される。このタブレットモードにあるパーソナルコンピュータ１０を腕にかかえたときの視線との関係から、図１に示す通常状態と比べ、表示画面３１上の表示画像は９０°その向きが回転している。

ここで、図４に示すタブレットモードのパーソナルコンピュータ１０には、その第２ユニット３０に留め具ユニット３３の開口３３ａが示されている。この開口３３ａは表示画面３１と同じ側にある開口であり、図１にもその開口３３ａが示されている。ただし図１ではその開口３３ａから留め具３３ｂが突出しているが、図４に示すタブレットモードではその開口３３ａからの留め具の突出はない。この図４に示す状態では、第２ユニット３０の背面側の開口（図示しない）から別の留め具が突出し、その留め具が図１に示す係止穴２５ａに入り込んで係止された状態にあり、係止解除ボタン２５ｂが操作されない限り、第２ユニット３０は第１ユニット２０に、図４に示す姿勢で係止されたままとなり、全体として１つの板状の筐体を持つタブレットＰＣとして使用することができる。

続いて、パーソナルコンピュータ１０の内部構成について説明する。

図５は、パーソナルコンピュータ１０の内部構成図である。

パーソナルコンピュータ１０には、図５に示すように、各種プログラムを実行するＣＰＵ１０１、ハードディスク装置１０３に格納されたプログラムが読み出されＣＰＵ１０１での実行のために展開される主メモリ１０２、各種プログラムやデータ等が保存されたハードディスク装置１０３、図１に示す表示画面３１上に画像を表示する画像表示装置１０４、キーボード２１やトラックパッド２２などを含む操作子１０６、表示画面３１上の、指先やペンの接触位置を検出するタブレット１０７、小型記録媒体２００が装填され、装填された小型記録媒体２００をアクセスする小型記録媒体ドライブ１０８、ＣＤ−ＲＯＭ２１０やＤＶＤが装填され、その装填されたＣＤ−ＲＯＭ２１０やＤＶＤをアクセスするＣＤ／ＤＶＤドライブ１０９、外部装置からデータを入力する入力インタフェース１０５、および外部装置へデータを出力する出力インタフェース１１０が内蔵されており、これらの各種要素は、バス１１１を介して相互に接続されている。本実施形態におけるタブレット１０７は、抵抗膜方式が採用されたものであり、表示画面３１にペンや指などが触れると、その接触位置を表わす位置情報が生成される。

ここで、ＣＤ−ＲＯＭ２１０には、本発明の表示プログラム、および本発明の入力表示プログラムそれぞれの一実施形態が適用された入力・表示プログラム３００が記憶されている。そのＣＤ−ＲＯＭ２１０はＣＤ／ＤＶＤドライブ１０９に装填され、そのＣＤ−ＲＯＭ２１０に記憶された入力・表示プログラム３００がこのパーソナルコンピュータ１０にアップロードされてハードディスク装置１０３に記憶される。そして、この表示プログラムが起動されて実行されることにより、パーソナルコンピュータ１０内に、本発明の表示装置、および本発明の入力表示装置それぞれの一実施形態が適用された入力・表示装置４００（図７参照）が構築される。

次に、このパーソナルコンピュータ１０内で実行される入力・表示プログラム３００について説明する。

図６は、入力・表示プログラム３００が記憶されたＣＤ−ＲＯＭ２１０を示す概念図である。

入力・表示プログラム３００は、入力受付部３０１、画像取得部３０２、サイズ分析部３０３、文字分類部３０４、複雑度算出部３０５、余裕判定部３０６、筆記量算出部３０７、画像縮小部３０８、画像表示部３０９、指示部３１０、および縮小制御部３１１で構成されている。入力・表示プログラム３００の各部の詳細については、入力・表示装置４００の各部の作用と一緒に説明する。

尚、図６では、入力・表示プログラム３００を記憶する記憶媒体としてＣＤ−ＲＯＭ２１０が例示されているが、本発明の表示プログラムや入力表示プログラムを記憶する記憶媒体はＣＤ−ＲＯＭに限られるものではなく、それ以外の光ディスク、ＭＯ、ＦＤ、磁気テープなどの記憶媒体であってもよい。また、本発明の表示プログラムおよび入力表示プログラムは、記憶媒体を介さずに、通信網を介して直接にコンピュータに供給されるものであってもよい。

図７は、入力・表示プログラム３００を図１に示すパーソナルコンピュータ１０にインストールしたときの、パーソナルコンピュータ１０内に構築される入力・表示装置４００の機能ブロック図である。

図７に示す入力・表示装置４００は、入力受付部４０１と、画像取得部４０２と、サイズ分析部４０３と、文字分類部４０４と、複雑度算出部４０５と、余裕判定部４０６と、筆記量算出部４０７と、画像縮小部４０８と、画像表示部４０９と、指示部４１０と、縮小制御部４１１と、保存部４１２とを備えている。図６に示す入力・表示プログラム３００を図１に示すパーソナルコンピュータ１０にインストールすると、入力・表示プログラム３００の入力受付部３０１は図７の入力受付部４０１を構築し、以下同様に、画像取得部３０２は画像取得部４０２を構築し、サイズ分析部３０３はサイズ分析部４０３を構築し、文字分類部３０４は文字分類部４０４を構築し、複雑度算出部３０５は複雑度算出部４０５を構築し、余裕判定部３０６は余裕判定部４０６を構築し、筆記量算出部３０７は筆記量算出部４０７を構築し、画像縮小部３０８は画像縮小部４０８を構築し、画像表示部３０９は画像表示部４０９を構築し、指示部３１０は指示部４１０を構築し、縮小制御部３１１は縮小制御部４１１を構築する。

図７の各要素は、コンピュータのハードウェアとそのコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図６に示す入力・表示プログラム３００の各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。

以下、図７に示す入力・表示装置４００の各要素を説明することによって、図６に示す入力・表示プログラム３００の各要素も併せて説明する。

入力受付部４０１は、図５に示すタブレット１０７がその役割を担うものであり、ユーザがペンや指先で表示画面３１上をなぞると、その描画位置を検出して文字や画像の入力を受け付ける。本実施形態においては、表示画面３１全体を１ページとしたときに、ユーザが表示画面３１上に描画した文字や画像がひとまとめに画像化されて、そのページ画像が生成される。入力受付部４０１は、本発明にいう文字入力部の一例にあたる。

画像取得部４０２は、入力受付部４０１で生成されたページ画像を取得する。画像取得部４０２は、本発明にいう画像取得部の一例に相当する。

サイズ分析部４０３は、ページ画像中に含まれる文字のサイズを分析する。サイズ分析部４０３は、本発明にいうサイズ分析部の一例に相当する。

文字分類部４０４は、サイズ分析部４０３で分析された文字のサイズを取得し、ページ画像中に含まれる文字をサイズで複数グループに分類する。文字分類部４０４は、本発明にいう文字分類部の一例に相当する。

画像縮小部４０８は、ページ画像を予め決められた縮小率で縮小するとともに、縮小制御部４１１から縮小率を抑える指示が伝えられると、その指示に従って抑えた縮小率でページ画像を縮小する。画像縮小部４０８は、本発明にいう画像縮小部の一例に相当する。

余裕判定部４０６は、画像縮小部４０８で縮小された縮小ページ画像を表示画面３１上に配置したときの余裕スペースの有無を判定する。余裕判定部４０６は、本発明にいう余裕判定部の一例にあたる、
筆記量算出部４０７は、余裕判定部４０６において余裕があると判定された場合に、ページ画像中に含まれる文字の総筆記量を算出する。筆記量算出部４０７は、本発明にいう筆記量算出部の一例に相当する。

複雑度算出部４０５は、縮小前の元のページ画像や、縮小後の縮小ページ画像に基づいて、それらの画像中の文字の像の複雑さを示す複雑度を算出する。複雑度算出部４０５は、本発明にいう複雑度算出部の一例に相当する。

縮小制御部４１１は、複雑度算出部４０５、余裕判定部４０６、および筆記量算出部４０７で算出された複雑度、余裕の有無、および文字の総筆記量などに基づいて、画像縮小部４０８においてページ画像が縮小される縮小率を調整する。縮小制御部４１１は、本発明にいう縮小制御部の一例にあたる。

保存部４１２は、図５に示すハードディスク装置１０３がその役割を担うものであり、入力受付部４０１で生成されたページ画像を保存する。

指示部４１０は、図１に示すキーボード２１、トラックパッド２２、左クリックボタン２３、および右クリックボタン２４などがその役割を担うものであり、ユーザの操作に応じて指示を入力する。本実施形態の入力・表示装置４００には、保存部４１２に保存されている複数のページ画像を一覧表示する一覧表示機能が搭載されており、ユーザが予め用意されているアイコンを指先やペンなどで指定すると、一覧表示の実行指示が入力される。

画像表示部４０９は、縮小前の元のページ画像や、画像縮小部４０８で縮小された縮小ページ画像を表示画面３１上に表示する。画像表示部４０９は、本発明にいう画像表示部の一例に相当する。

入力・表示装置４００は、基本的には以上のように構成されている。

図８は、入力・表示装置４００においてページ画像の一覧を表示する一連の処理を示すフローチャートである。

以下では、図８に従って、入力・表示装置４００においてページ画像の一覧を表示する一連の処理の流れについて説明する。

ユーザが図１に示すトラックパッド２２などを使って、予め用意されている「タブレットＰＣ」用のアイコンを選択すると、図５に示すタブレット１０７が起動して、パーソナルコンピュータ１０がペン入力を受け付けるタブレットモードに切り替わる。タブレットモードにおいて、ユーザがペンや指先などで表示画面３１上に文字や画像を描くと、図７に示す入力受付部４０１では、表示画面３１に描かれた文字や画像がひとまとめに画像化されて、ページ全体のイメージを表すページ画像が生成される。生成されたページ画像は、画像取得部４０２に伝えられ、保存部４１２に保存される（図８のステップＳ１）。

また、ユーザが予め用意されている「一覧表示」用のアイコンを指先やペンなどで指定すると、図７に示す指示部４１０から画像取得部４０２に一覧表示の実行が指示される。

画像取得部４０２では、保存部４１２に保存されている全てのページ画像が取得され、それらのページ画像がサイズ分析部４０３、余裕判定部４０６、複雑度算出部４０５、および画像縮小部４０８に伝えられる。

画像縮小部４０８では、画像取得部４０２から伝えられたページ画像が予め決められた縮小率で仮縮小される（図８のステップＳ２）。本実施形態では、画像縮小部４０８において、全てのページ画像が一律に１／３の縮小率で仮縮小される。仮縮小後のページ画像（以下では、仮縮小ページ画像と称する）は、複雑度算出部４０５、および余裕判定部４０６に伝えられる。

ページ画像が仮縮小されると、元のページ画像と仮縮小ページ画像とに基づいて仮縮小ページ画像中の文字の潰れが検出されて、その検出結果に応じて縮小率が調整される（図８のステップＳ３）。

図９は、図８のステップＳ３に示す縮小率調整処理において、図７のサイズ分析部４０３、文字分類部４０４、および縮小制御部４１１で行われる一連の処理を示すフローチャート図である。

縮小率調整処理が実行されると、図７に示すサイズ分析部４０３では、画像取得部４０２から伝えられた元のページ画像中の文字が検出され、検出した文字のサイズが分析される（図９のステップＳ１１）。画像中から手書きの文字を検出する文字検出処理は、従来から知られている技術であるため、本明細書では詳細な説明を省略する。サイズ分析部４０３で検出された文字と、それらの文字のサイズは、文字分類部４０４と縮小制御部４１１に伝えられる。

文字分類部４０４では、サイズ分析部４０３で検出された文字がサイズで複数のグループに分類される（図９のステップＳ１２）。

図１０は、ページ画像中の文字のサイズと個数の分布の一例を示すグラフである。

図１０では、横軸に文字のサイズが対応付けられており、縦軸に文字の個数が対応付けられている。文字分類部４０４では、ページ画像中の全ての文字が、相対的に出現頻度が高いサイズの文字と、相対的に出現頻度が低いサイズの文字との複数のグループに分類される。この例では、最も出現頻度が高いサイズの文字の総数Ｎに対して、出現頻度が１／２Ｎ以上であるサイズの文字を含む多頻出グループＡと、出現頻度が１／２Ｎよりも少ないサイズの文字を含む少頻出グループＢとの２つのグループに分類される。分類結果は、縮小制御部４１１に伝えられる。

縮小制御部４１１では、文字分類部４０４から分類結果を取得すると、出現頻度が相対的に高いサイズの文字を含む多頻出グループＡに分類された文字に対しては（図９のステップＳ１３：Ｙｅｓ）、後述する複雑度の算出対象に設定し（図９のステップＳ１４）、出現頻度が相対的に低いサイズの文字を含む低頻出グループＢに分類された文字に対しては（図９のステップＳ１３：Ｎｏ）、複雑度の算出対象外に設定する（図９のステップＳ１６）。例えば、小さい「っ」などといった文字は、縮小すると他の文字と比べてつぶれてしまいやすいが、出現回数が少ないために、その文字を認識することができなくても、文章全体は判読可能であることが多い。このような出現回数が少ない文字については、複雑度の算出対象外に設定しておくことによって、重要であると考えられる出現回数が多い文字を認識可能なサイズで縮小表示することができ、文章全体の判読率を維持することができる。設定内容は、複雑度算出部４０５に伝えられる。

また、縮小制御部４１１では、サイズ分析部４０３から伝えられた文字のサイズと、予め決められている最低文字サイズとに基づいて、複雑度の算出対象である文字が最低文字サイズを下回らないようなページ画像の限界縮小率が決定される（図９のステップＳ１５）。表示画面３１の解像度や、ページ画像中の文字の色などによっては、同じ大きさの文字であっても、人が目視で認識することができない場合がある。予め認識可能な最低文字サイズを取得しておき、縮小後のページ画像中の文字が最低文字サイズを下回らないように縮小率が調整されることによって、縮小後のページ画像中の文字を確実に識別することができる。

サイズ分析部４０３、文字分類部４０４、および縮小制御部４１１では、以上のような処理が実行される。

続いて、複雑度算出部４０５、画像縮小部４０８、および縮小制御部４１１で実行される処理について説明する。

図１１は、図８のステップＳ３に示す縮小率調整処理において、図７の複雑度算出部４０５、画像縮小部４０８、および縮小制御部４１１で行われる一連の処理を示すフローチャート図である。

複雑度算出部４０５では、まず、画像取得部４０２から伝えられた元のページ画像に基づいて、そのページ画像中の、図９のステップＳ１４において複雑度の算出対象に設定された文字の像構造の複雑さを表す複雑度が算出される（図１１のステップＳ２１）。

図１２は、複雑度の算出方法を説明するための図である。

本実施形態においては、ページ画像を複数の画素領域に分割するとともに、ページ画像中の各文字ごとに各画素領域の描画の有無を横方向に走査していき、描画状態の変化回数が複雑度として算出される。図１２のパート（Ａ）に示す例では、一番上の列の画素領域の描画状態が、左端から右端に向かって、「なし、なし、なし、有り、なし、有り、なし、有り、なし、なし」と６回変化しており、この文字における一番上の列の複雑度が「６」と算出される。この複雑度がページ画像中の各文字ごとに、かつ複数の画素領域の各列ごとに算出され、算出された複雑度が図７に示す縮小制御部４１１に伝えられる。

また、複雑度算出部４０５では、画像縮小部４０８から伝えられた仮縮小ページ画像に基づいて、その仮縮小ページ画像中の、複雑度の算出対象に設定されている各文字における複雑度も算出される（図１１のステップＳ２２）。

本実施形態においては、ページ画像が横方向に仮の縮小率で縮小された仮縮小ページ画像が利用され、ステップＳ２１と同様に複雑度が算出される。図１２のパート（Ｂ）では、図１２のパート（Ａ）に示す元の文字が横方向に仮の縮小率（１／３）に縮小されており、文字の一番上の列の画素領域の描画状態が、左端から右端に向かって、「なし、なし、なし、なし、有り、有り、有り、なし、なし、なし」と２回変化している。この縮小後の文字における一番上の列の複雑度は「２」と算出され、算出された複雑度が図７に示す縮小制御部４１１に伝えられる。

縮小制御部４１１では、元のページ画像中の各文字の複雑度と、仮縮小ページ画像中の各文字の複雑度とが比較される。複雑度の変化が所定程度（本実施形態では、元のページ画像における複雑度の５０％）以上である場合（図１１のステップＳ２３：Ｙｅｓ）、画像縮小部４０８に拡大指示が伝えられる。図１２の例では、複雑度が「６」から「２」へと「４」減少しており、元の複雑度「６」の５０％である「３」以上変化しているため、画像縮小部４０８に拡大指示が伝えられる。

画像縮小部４０８では、縮小制御部４１１から拡大指示が伝えられると、仮縮小ページ画像を拡大する（図１１のステップＳ２４）。本実施形態においては、最初はページ画像が仮の縮小率（この例では、１／３）で縮小されており、その仮縮小ページ画像が拡大されて、元のページ画像が２番目の仮の縮小率（この例では、２／５）で縮小された仮縮小ページ画像が生成される。生成された仮縮小ページ画像は、複雑度算出部４０５と縮小制御部４１１に伝えられる。

複雑度算出部４０５では、新たな仮縮小ページ画像中の文字に対して複雑度が算出され（図１１のステップＳ２２）、縮小制御部４１１では、新たな仮縮小ページ画像中の文字における複雑度と、元のページ画像中の文字における複雑度とが比較される（図１１のステップＳ２３）。

画像縮小部４０８において、仮の縮小率が所定割合（この例では、１／１５）ずつ抑えられて新たな仮縮小ページ画像が生成され、複雑度算出部４０５において、新たな仮縮小ページ画像中の文字における複雑度が算出され、縮小制御部４１１において、新たな仮縮小ページ画像中の文字における複雑度と、元のページ画像中の文字における複雑度とが比較される一連の処理が、それらの複雑度の差が所定程度（本実施形態では、元のページ画像における複雑度の５０％）よりも小さくなるまで続けられる。

仮縮小ページ画像と元のページ画像それぞれの文字の複雑度の差が所定程度よりも小さくなると（図１１のステップＳ２３：Ｎｏ）、縮小制御部４１１では、その仮縮小ページ画像における仮の縮小率と、図９のステップＳ１５において決定された限界縮小率とが比較される。仮の縮小率が限界縮小率に達している場合には、限界縮小率が実際の縮小率に決定され、仮の縮小率が限界縮小率に達していない場合には、その仮の縮小率が実際の縮小率に決定される（図１１のステップＳ２５）。決定された縮小率は、画像縮小部４０８に伝えられる。

以上のような処理が、保存部４１２に保存されている全てのページ画像それぞれに対して実行されることにより、各ページ画像それぞれの縮小率が決定される。このようにして決定された縮小率が適用されることにより、各ページ画像を、そのページ画像中の文字を認識可能なサイズで縮小して表示することができる。本実施形態では、各ページ画像に含まれる文字をなるべく大きく表示するために、縮小率がさらに調整される。

尚、本実施形態では、ページ画像を横方向に走査して複雑度を計算しているが、ページ画像を縦方向にも走査して複雑度を計算し、縦横両方の複雑度の変化を調べて文字の潰れ具合を判定することによって、潰れの判定精度を向上させることができる。この場合、例えば、ページ画像を横方向に縮小した縮小画像を横方向に走査し、複雑度の変化が所定程度（例えば、元のページ画像の複雑度の５０％）以下となるライン数が全ラインのうち所定割合（例えば、８０％）以上ならば潰れは生じないと判定し、続いて、縦方向についても同様に、ページ画像を縦方向に縮小した縮小画像を縦方向に走査し、複雑度の変化が所定程度（例えば、元のページ画像の複雑度の５０％）以下となるライン数が全ラインのうち所定割合（例えば、８０％）以上ならば潰れは生じないと判定してもよい。

図１３は、図８のステップＳ３に示す縮小率調整処理において、図７の余裕判定部４０６、筆記量算出部４０７、画像縮小部４０８、および縮小制御部４１１で行われる一連の処理を示すフローチャート図である。

余裕判定部４０６では、図１に示す表示画面３１における表示領域のサイズが取得される（図１３のステップＳ３１）。

また、画像縮小部４０８では、画像取得部４０２から伝えられた全てのページ画像が、縮小制御部４１１において各ページ画像ごとに決定された縮小率で縮小され（図１３のステップＳ３２）、さらに、各縮小ページ画像から、文字や画像が描かれていない余白領域が省かれる。余白領域が省かれた全ての縮小ページ画像は、余裕判定部４０６に伝えられる。

余裕判定部４０６では、画像縮小部４０８から伝えられた全ての縮小ページ画像が、ステップＳ３１において取得されたサイズの領域上に並べて配置され（図１３のステップＳ３３）、その領域上に余裕スペースが有るか否かが判定される。余裕スペースがないと判定された場合は（図１３のステップＳ３４：Ｎｏ）、その判定結果が縮小制御部４１１に伝えられ、縮小制御部４１１から画像縮小部４０８に、縮小率決定が伝えられる。画像縮小部４０８では、余白領域が省かれた全ての縮小ページ画像が画像表示部４０９に伝えられる。

余裕スペースがあると判定された場合は（図１３のステップＳ３４：Ｙｅｓ）、余裕判定部４０６から筆記量算出部４０７に判定結果が伝えられる。

筆記量算出部４０７では、画像取得部４０２から全ての元のページ画像が取得され、それら全てのページ画像それぞれに対して、各ページ画像中の文字の筆記量が算出される（図１３のステップＳ３５）。

図１４は、筆記量の算出方法を示す図である。

本実施形態においては、各ページ画像全体の面積に対する、文字や画像が描画された描画面積が筆記量として算出される。図１４のパート（Ａ）では、ページ画像全体の面積が「１８×３６」目盛りで、描画面積は「３５＋２８＋１５」目盛りであり、筆記量は「７８／６４８」と算出される。また、図１４のパート（Ｂ）では、筆記量は「３５／６４８」と算出される。

筆記量算出部４０７で算出された筆記量は、縮小制御部４１１に伝えられる。

縮小制御部４１１では、一覧表示を行う全てのページ画像それぞれについて、筆記量算出部４０７で算出された筆記量が所定の筆記量を超えているか否かが判定される。所定の筆記量を超えているページ画像が存在する場合には（図１３のステップＳ３６：Ｙｅｓ）、縮小制御部４１１から画像縮小部４０８に、そのページ画像の縮小率を抑える指示が伝えられ、縮小制御部４１１では、そのページ画像の縮小率が所定割合だけ抑えられた新たな縮小ページ画像が生成される（図１３のステップＳ３７）。このように、縮小ページ画像を並べて配置したときに余裕スペースがある場合、筆記量が多いページ画像の縮小率を抑えることによって、多くの文字が込み合って記述された読みにくい文章などを大きめに表示することができる。

また、所定の筆記量を超えているページ画像が存在しない場合には（図１３のステップＳ３６：Ｎｏ）、縮小制御部４１１から画像縮小部４０８に、全てのページ画像の縮小率を抑える指示が伝えられ、縮小制御部４１１では、全てのページ画像の縮小率が所定割合だけ抑えられて新たな縮小ページ画像が生成される（図１３のステップＳ３８）。

画像縮小部４０８では、全てのページ画像それぞれに対して、新たな縮小ページ画像が生成された場合はその新たな縮小ページ画像が画像表示部４０９に伝えられ、新たな縮小ページ画像が生成されていないページ画像については、ステップＳ３２で生成された縮小ページ画像が画像表示部４０９に伝えられる。

図８に戻って説明する。

以上のようにして生成された縮小ページ画像は、画像表示部４０９によって、図１に示す表示画面３１上に並べて表示される（図８のステップＳ４）。

図１５は、表示画面３１上に表示されたページ画像の一覧の一例を示す図である。

例えば、同じサイズの複数のページ画像が一覧表示される場合、従来は、図１５のパート（Ａ）に示すように、全てのページ画像が同じ縮小率で縮小されて表示されていたため、小さい文字で記述された文章などは読み取ることができなくなってしまうという問題がある。

本実施形態では、図１５のパート（Ｂ）に示すように、小さい文字で記述された文章を含むページ画像や、筆記量が多いページ画像などは縮小率が抑えられており、さらに、文字や画像が描かれていない部分が省かれているため、複数のページ画像を一覧表示した場合であっても、各ページ画像の内容を目視で認識することができる。

以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。本発明の第２実施形態は、図７に示す第１実施形態と同じ構成を有しているが、筆記量算出部４０７における筆記量の算出方法のみが第１実施形態とは異なるため、図７を第２実施形態の説明でも流用して、第１実施形態との相違点についてのみ説明する。

図１６は、本実施形態のパーソナルコンピュータにおける筆記量の算出方法を示す図である。

本実施形態のパーソナルコンピュータでは、ユーザによって筆記された線がサンプリングされ、表示画面３１上の座標値として検出される。本実施形態の筆記量算出部では、図１６のパート（Ａ）に示すような「あ」という文字に対し、表示画面３１上にペン先をつける／離すという動作によって、図１６のパート（Ｂ）、パート（Ｃ）、パート（Ｄ）に示す３つの線が検出される。さらに、各線の通過点の座標に基づいて、各線の長さが取得され、取得された３つの線の長さの総和がその文字の筆記量と決定される。

決定された筆記量は、図７に示す縮小制御部４１１に伝えられて、縮小率の調整に利用される。

このように、ユーザによって筆記された線の長さに基づいて筆記量を算出することによって、文字の太さに関わらず、実際に記述された文字数や文字構造の複雑さに基づいた筆記量を算出することができる。

ここで、上記では、抵抗膜方式が適用されたタブレットＰＣについて説明したが、本発明にいう文字入力部は、例えば、電磁誘導方式や赤外線方式や静電容量方式などを採用したものであってもよい。

また、上記では、描画の有無の変化回数に基づいて複雑度を算出する例について説明したが、本発明にいう複雑度算出部は、文字を縮小すると線の屈折部分が省略されることを利用して、線の屈折回数に基づいて複雑度を算出するものであってもよい。

また、上記では、本発明の入力表示装置をタブレットＰＣに適用する例について説明したが、本発明の入力表示装置は、電子手帳などに適用してもよい。

本発明の一実施形態が適用されたパーソナルコンピュータの外観斜視図である。 第２ユニットを第１ユニット上に閉じた状態の電子装置を示す外観斜視図である。 第２ユニットを第１ユニットに対しほぼ９０°回動させた状態を示す外観斜視図である。 第２ユニットが表示画面を上に向けて第１ユニット重ねられた状態を示す外観斜視図である。 パーソナルコンピュータの内部構成図である。 入力・表示プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。 入力・表示プログラムを図１に示すパーソナルコンピュータにインストールしたときの、パーソナルコンピュータ内に構築される入力・表示装置の機能ブロック図である。 入力・表示装置においてページ画像の一覧を表示する一連の処理を示すフローチャートである。 図８のステップＳ３に示す縮小率調整処理において、図７のサイズ分析部、文字分類部、および縮小制御部で行われる一連の処理を示すフローチャート図である。 ページ画像中の文字のサイズと個数の分布の一例を示すグラフである。 図８のステップＳ３に示す縮小率調整処理において、図７の複雑度算出部、画像縮小部、および縮小制御部で行われる一連の処理を示すフローチャート図である。 複雑度の算出方法を説明するための図である。 図８のステップＳ３に示す縮小率調整処理において、図７の余裕判定部、筆記量算出部、画像縮小部、および縮小制御部で行われる一連の処理を示すフローチャート図である。 筆記量の算出方法を示す図である。 表示画面３１上に表示されたページ画像の一覧の一例を示す図である。 本実施形態のパーソナルコンピュータにおける筆記量の算出方法を示す図である。

符号の説明

１０ パーソナルコンピュータ
２０ 第１ユニット
３０ 第２ユニット
２１ キーボード
２２ トラックパッド
２３ 左クリックボタン
２４ 右クリックボタン
２５ 係止ユニット
３１ 表示画面
３２ 押ボタン
３３ 留め具ユニット
１０１ ＣＰＵ
１０２ 主メモリ
１０３ ハードディスク装置
１０４ 画像表示装置
１０５ 入力インタフェース
１０６ 操作子
１０７ タブレット
１０８ 小型記録媒体
１０９ ＣＤ／ＤＶＤドライブ
１１０ 出力インタフェース
１１１ バス
２００ 小型記録媒体
２１０ ＣＤ−ＲＯＭ
３００ 入力・表示プログラム
３０１ 入力受付部
３０２ 画像取得部
３０３ サイズ分析部
３０４ 文字分類部
３０５ 複雑度算出部
３０６ 余裕判定部
３０７ 筆記量算出部
３０８ 画像縮小部
３０９ 画像表示部
３１０ 指示部
３１１ 縮小制御部
４００ 入力・表示装置
４０１ 入力受付部
４０２ 画像取得部
４０３ サイズ分析部
４０４ 文字分類部
４０５ 複雑度算出部
４０６ 余裕判定部
４０７ 筆記量算出部
４０８ 画像縮小部
４０９ 画像表示部
４１０ 指示部
４１１ 縮小制御部
４１２ 保存部

Claims (11)

1. 文字が書かれたページの画像を取得する画像取得部と、
   前記ページの画像を縮小する画像縮小部と、
   前記画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
   画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
   縮小前の複雑度が縮小後も所定程度維持されるように前記画像縮小部による画像縮小の縮小率を抑える縮小制御部とを備えたことを特徴とする表示装置。
2. 前記複雑度算出部が、前記ページに書かれた文字の像を所定方向に横切る線上での描像非描像の変化数を前記複雑度として算出するものであることを特徴とする請求項１記載の表示装置。
3. 前記画像取得部で取得された画像中の文字をサイズで複数グループに分類する文字分類部を備え、
   前記複雑度算出部が、前記複数グループのうち相対的に多くの文字が分類されたグループに属する文字の像について前記複雑度を算出するものであることを特徴とする請求項１記載の表示装置。
4. 前記画像取得部が、複数のページそれぞれの画像を取得するものであり、
   前記画像縮小部が、前記複数のページそれぞれについて画像を縮小するものであり、
   前記画像表示部が、前記画像縮小部で縮小された複数の画像を並べて表示するものであり、
   ページ中に書かれた文字の総筆記量を前記複数のページそれぞれについて算出する筆記量算出部を備え、
   前記縮小制御部が、前記複数のページそれぞれについて前記複雑度に基づいて縮小率を抑えるとともに、さらに、前記複数のページのうち前記総筆記量が相対的に多いページについては他のページよりも縮小率を抑えるものであることを特徴とする請求項１記載の表示装置。
5. 前記筆記量算出部が、前記ページの面積に占める文字の像の描画面積を前記総筆記量として算出するものであることを特徴とする請求項４記載の表示装置。
6. 前記筆記量算出部が、前記ページ中の文字を構成する線の総延長を前記総筆記量として算出するものであることを特徴とする請求項４記載の表示装置。
7. 前記画像表示部が、前記表示画面上の所定の表示領域に画像を表示するものであり、
   前記画像表示部による複数画像の表示について表示領域に余裕があるか否かを判定する余裕判定部を備え、
   前記縮小制御部が、前記総筆記量に基づいた縮小率抑制については、前記余裕判定部によって余裕があると判定された場合に実行するものであることを特徴とする請求項４記載の表示装置。
8. 前記画像取得部で取得された画像中の文字のサイズを分析するサイズ分析部を備え、
   前記縮小制御部が、前記複数のページそれぞれについて前記複雑度に基づいて縮小率を抑えるとともに、縮小後の文字のサイズが所定の最低サイズを下回らないように縮小率を抑えるものであることを特徴とする請求項１記載の表示装置。
9. 文字の入力を受け付ける文字入力部と、
   前記文字入力部で受け付けられた文字が書かれたページの画像を取得する画像取得部と、
   前記ページの画像を縮小する画像縮小部と、
   前記画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
   画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
   縮小前の複雑度が縮小後も所定程度維持されるように前記画像縮小部による画像縮小の縮小率を抑える縮小制御部とを備えたことを特徴とする入力表示装置。
10. コンピュータ内で実行され、該コンピュータ上に、文字が書かれたページの画像を取得する画像取得部と、
    前記ページの画像を縮小する画像縮小部と、
    前記画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
    画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
    縮小前の複雑度が縮小後も所定程度維持されるように前記画像縮小部による画像縮小の縮小率を抑える縮小制御部とを構築することを特徴とする表示プログラム。
11. コンピュータ内で実行され、該コンピュータ上に、文字の入力を受け付ける文字入力部と、
    前記文字入力部で受け付けられた文字が書かれたページの画像を取得する画像取得部と、
    前記ページの画像を縮小する画像縮小部と、
    前記画像縮小部で縮小された画像を表示画面上に表示する画像表示部と、
    画像中の文字の像について像構造を解析することで、その像構造の複雑さを反映した複雑度を算出する複雑度算出部と、
    縮小前の複雑度が縮小後も所定程度維持されるように前記画像縮小部による画像縮小の縮小率を抑える縮小制御部とを構築することを特徴とする入力表示プログラム。

Images