JP2013114412A

JP2013114412A - 情報閲覧装置及び表示制御プログラム

Info

Publication number: JP2013114412A
Application number: JP2011259438A
Authority: JP
Inventors: Masayuki Inoue; 雅之井上; Tetsuhiro Shibata; 哲宏柴田; Keiichiro Hyodo; 啓一郎兵頭
Original assignee: Konica Minolta Business Technologies Inc
Current assignee: Konica Minolta Business Technologies Inc
Priority date: 2011-11-28
Filing date: 2011-11-28
Publication date: 2013-06-10
Anticipated expiration: 2031-11-28
Also published as: JP5418576B2; US9639514B2; US20130139045A1; CN103135923A

Abstract

【課題】複数の領域を跨いで手書きされた情報を、表示形態を変えても意味が判別できるように適切に表示する。
【解決手段】物体の接触を検出するタッチパネルが表示面に配置された表示部を備え、前記表示部に前記物体の接触位置の軌跡を示す手書き情報が表示される情報閲覧装置において、前記情報閲覧装置は、前記表示部全体を１つの領域としてドキュメントを表示する第１の表示形態と、前記表示部を複数の領域に分割してドキュメントを表示する第２の表示形態と、で表示可能であり、前記第２の表示形態で２以上の領域に跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、その後、前記第１の表示形態で表示する際に、前記手書き情報が属すると判断した領域内に前記手書き情報の全てを表示させるデータ処理部を備える。
【選択図】図８

Description

本発明は、情報閲覧装置及び表示制御プログラムに関し、特に、表示画面に手書きが可能なタッチパネルを備える情報閲覧装置及び当該情報閲覧装置で動作する表示制御プログラムに関する。

近年、タブレット端末や電子ペーパー、電子ブック等の表示部を備えた装置を用いて資料や書籍などのドキュメントを閲覧するユーザが増えている。このような装置（以下、情報閲覧装置と呼ぶ。）には、表示部にタッチパネルが設けられており、タッチパネルを用いて文字などの手書き入力操作などを行うことができる。

上記タッチパネルを用いた入力操作に関して、例えば、下記特許文献１には、表示部と、該表示部上の指示位置を所定の検出時間間隔で検出する１点検出型の手段とを有する表示装置を備えた電子機器であって、前記検出時間間隔より長い所定の単位時間毎に、当該単位時間内に検出された複数の指示位置を代表する代表位置を決定する代表位置決定手段と、前記決定された代表位置の変動が同一の指示位置とみなせる所定範囲内か否かによって、同一の指示位置が継続して検出されているか否かを判定する同一位置判定手段と、前記同一位置判定手段により同一の指示位置が継続して検出されていると判定された際に、範囲内を指示されたとみなす入力範囲の大きさを変化させるとともに、前記表示部中のその入力範囲部分を識別表示する制御を行う入力範囲可変制御手段と、を備えた構成が開示されている。

また、下記特許文献２には、情報を表示する表示画面上に一体形成され、手書きデータの入力を受け付ける入力手段と、前記入力手段により入力された手書きデータの所定のひとかたまりを、１つのイメージデータに変換するデータ変換手段と、前記イメージデータの行ピッチに対応する幅が前記表示画面上の所定の表示領域の行ピッチ以下となるように、前記イメージデータを、アスペクト比固定で縮小して縮小イメージデータを作成するイメージ縮小手段と、前記縮小イメージデータを、前記所定の表示領域にて順次配列して表示する表示手段と、前記縮小イメージデータを順次配列して表示する際に、順次配列した前記縮小イメージデータの一行全体の長さを選択的に補正する表示補正手段と、前記表示補正手段の動作を制御する制御手段とを有し、前記制御手段は、前記表示手段にて表示可能な行の最大表示長を超える第１閾値を有しており、順次配列する前記縮小イメージデータの一行全体の長さが前記最大表示長を超え、かつ前記第１閾値以下の場合には、当該一行全体の長さが前記最大表示長内に収まるように、前記表示補正手段により縮小補正する携帯電子機器が開示されている。

特開２００９−１９９６２１号公報特開２００８−０８４１３７号公報

情報閲覧装置にドキュメントを表示する形態として、例えば、１ページ毎に表示する形態と複数ページ（例えば、見開きの２ページ）を配列して表示する形態など、複数の形態があり、ユーザは利用状況に応じて表示形態を変えて表示することができる。その際、第１の表示形態でドキュメントを表示している状態で手書きを行い、その後、第２の表示形態に切り替えてドキュメントを表示すると、手書きした文字や図形の形が崩れたり、分断されたりして、手書き情報の意味が判別できなくなる場合がある。

例えば、表示画面が複数の領域で構成され、各々の領域にドキュメントの画像（例えば、各ページの画像）が表示されている状態で、複数の領域を跨いで手書きを行い、その後、表示形態を変えると（例えば、各ページの画像を個別に表示すると）、書き込んだ手書き情報の内、表示対象の領域に書き込まれた部分のみが表示され、他の領域に書き込まれた部分は表示されないため、手書き情報の意味を判別することができなくなるという問題がある。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、複数の領域を跨いで手書きされた情報を、表示形態を変えても意味が判別できるように適切に表示することができる情報閲覧装置及び表示制御プログラムを提供することにある。

上記目的を達成するため、本発明は、物体の接触を検出するタッチパネルが表示面に配置された表示部を備え、前記表示部に前記物体の接触位置の軌跡を示す手書き情報が表示される情報閲覧装置において、前記情報閲覧装置は、前記表示部全体を１つの領域としてドキュメントを表示する第１の表示形態と、前記表示部を複数の領域に分割してドキュメントを表示する第２の表示形態と、で表示可能であり、前記第２の表示形態で２以上の領域に跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、その後、前記第１の表示形態で表示する際に、前記手書き情報が属すると判断した領域内に前記手書き情報の全てを表示させるデータ処理部を備えるものである。

また、本発明は、物体の接触を検出するタッチパネルが表示面に配置された表示部を備え、前記表示部に前記物体の接触位置の軌跡を示す手書き情報が表示される情報閲覧装置で動作する表示制御プログラムであって、前記情報閲覧装置は、前記表示部全体を１つの領域としてドキュメントを表示する第１の表示形態と、前記表示部を複数の領域に分割してドキュメントを表示する第２の表示形態と、で表示可能であり、前記情報閲覧装置を、前記第２の表示形態で２以上の領域に跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、その後、前記第１の表示形態で表示する際に、前記手書き情報が属すると判断した領域内に前記手書き情報の全てを表示させるデータ処理部として機能させるものである。

本発明の情報閲覧装置及び表示制御プログラムによれば、複数の領域を跨いで手書きされた情報を、表示形態を変えても意味が判別できるように適切に表示することができる。

その理由は、情報閲覧装置（表示制御プログラム）は、表示画面が複数の領域で構成されており、複数の領域を跨ぐように手書き情報が入力された場合に、手書き情報の書き出し位置がどの領域に属するかを判断し、その手書き情報の属性を書き出し位置の領域に設定し、表示形態を変えて表示する際に、表示対象の領域に属する手書き情報を当該領域に基づいて移動及び／又は縮小して表示する制御を行うからである。

また、複数の要素からなる手書き情報を入力した場合に、ある要素を手書き入力してから、所定の時間以内に次の要素を手書き入力したかを判断し、所定の時間以内に手書き入力された場合は、これらを一群の手書き情報として取り扱う制御を行うからである。

これにより、ユーザは領域にとらわれることなく、表示画面上の任意の場所に手書きした情報が、表示形態を変えても適切に表示されるため、手書き情報の意味を正確に判別することができる。

本発明の第１の実施例に係る情報閲覧装置の外観を模式的に示す斜視図である。本発明の第１の実施例に係る情報閲覧装置の構成を示すブロック図である。本発明の第１の実施例に係る情報閲覧装置の制御（２ページが表示されている状態で手書きした場合の制御）を示すフローチャート図である。本発明の第１の実施例に係る情報閲覧装置の制御（続けて手書きした場合の制御）を示すフローチャート図である。本発明の第１の実施例に係る情報閲覧装置の表示例（２ページを跨いで一続きの図形を手書きした例）を模式的に示す図である。本発明の第１の実施例に係る情報閲覧装置の表示例（２ページを跨いで一文字を手書きした例）を模式的に示す図である。本発明の第１の実施例に係る情報閲覧装置の表示例（２ページを跨いで複数の文字を手書きした例）を模式的に示す図である。本発明の第１の実施例に係る情報閲覧装置の表示例（２ページを跨いで複数の文字及び図形からなる情報を手書きした例）を模式的に示す図である。本発明の第２の実施例に係る情報閲覧装置の制御（部分的に拡大された状態で手書きした場合の制御）を示すフローチャート図である。本発明の第２の実施例に係る情報閲覧装置の制御（続けて手書きした場合の制御）を示すフローチャート図である。本発明の第２の実施例に係る情報閲覧装置の表示例（拡大領域と通常領域を跨いで一続きの図形を手書きした例）を模式的に示す図である。本発明の第２の実施例に係る情報閲覧装置の表示例（拡大領域と通常領域を跨いで一文字を手書きした例）を模式的に示す図である。本発明の第２の実施例に係る情報閲覧装置の表示例（拡大領域と通常領域を跨いで複数の文字を手書きした例）を模式的に示す図である。本発明の第２の実施例に係る情報閲覧装置の表示例（拡大領域と通常領域を跨いで複数の文字及び図形からなる情報を手書きした例）を模式的に示す図である。本発明の第２の実施例に係る情報閲覧装置の他の表示例を模式的に示す図である。本発明の第２の実施例に係る情報閲覧装置の他の表示例を模式的に示す図である。

背景技術で示したように、表示部にタッチパネルを備えたタブレット端末や電子ペーパー、電子ブック等の情報閲覧装置が普及しており、資料や書籍などのドキュメントを閲覧する用途などで使用されている。この情報閲覧装置では、ドキュメントを様々な表示形態で表示する（例えば、画面を一つの領域として１ページ単位で表示したり、画面を複数の領域に分割して複数ページを表示したりする）ことができ、画面上の複数の領域を跨ぐように手書きを行い、その後、表示形態を変更した場合に、手書き情報の形が崩れたり、分断されたりしてしまい、手書き情報の意味を判別することができなくなってしまう。

そこで、本発明の一実施の形態では、情報閲覧端末において、画面上の複数の領域を跨ぐように手書きを行った場合において、手書き情報の書き出し位置がどの領域であるかを判断し、手書き情報の属性を書き出し位置の領域に設定し、表示形態を変えて表示する際に、表示対象の領域に属する手書き情報を当該領域に基づいて移動及び／又は縮小して表示するように制御する。例えば、各々の領域にドキュメントのページ画像が表示されている状態で複数の領域（複数のページ）を跨ぐように手書きされた後、各々の領域（ページ）を表示する際に、表示対象となる領域に属する手書き情報を当該領域内に移動したり、縮小して移動したりして、手書き情報の全てが表示されるようにする。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る情報閲覧装置及び表示制御プログラムについて、図１乃至図８を参照して説明する。図１は、本実施例の情報閲覧装置の外観を模式的に示す斜視図であり、図２は、情報閲覧装置の構成を示すブロック図である。また、図３及び図４は、本実施例の情報閲覧装置の制御を示すフローチャート図であり、図５乃至図８は、その表示例を模式的に示す図である。

図１に示すように、本実施例の情報閲覧装置１００は、ノート型のコンピュータ装置やタブレット端末、電子ペーパー、電子ブック、スマートフォン等の表示機能を備えた装置である。この情報閲覧装置１００は、図２に示すように、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、表示部１０３、表示コントローラ１０４、操作部１０５、通信部１０６、電池１０７、データ処理部１０８などで構成される。

ＣＰＵ１０１は、メモリ１０２から読み出した制御プログラムを実行し、各部の動作を制御する制御部として機能する。

メモリ１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などで構成され、ＣＰＵ１０１で動作する各種プログラム、情報閲覧装置１００の動作を制御するための設定情報、各種データ（例えば、ドキュメントのデータ）などを記憶する。

表示部１０３は、電子ペーパー（ＥＰＤ：Electrophoretic Display）や液晶表示装置（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（electroluminescence）表示装置等からなり、ドキュメントを表示したり、タッチパネル上に手書きされた文字などを表示したりする。なお、電子ペーパーは、一対の透明なフィルム基板の内表面に透明導電性の電極が形成され、電極間に導電性を有する黒色トナーと電気絶縁性を有する白色トナーが封入され、電極間に電圧を印加すると黒色トナーが移動して白色トナーと入れ替わって色が変化する構造を利用した表示デバイスである。

表示コントローラ１０４は、表示部１０３を駆動し、ＣＰＵ１０１やデータ処理部１０８の指示に従って、表示部１０３の表示を制御する。

操作部１０５は、電源ボタンなどのハードウェアキーと、表示部１０３上に、透明電極が格子状に配置されたタッチパネルなどであり、タッチパネルは、物体が接触した部分に配置された透明電極から出力される信号をＣＰＵ１０１やデータ処理部１０８に送る。

通信部１０６は、ＮＩＣ（Network Interface Card）やモデムなどであり、有線通信や無線通信によりネットワークに接続されたコンピュータ装置やサーバと交信し、ドキュメントのデータなどを受信する。

電池１０７は、情報閲覧装置１００の各部を駆動するための電源を供給する二次電池などである。

データ処理部１０８は、表示部１０３に表示している画像の領域（例えば、複数ページの表示している場合は各々のページの領域）を認識し、タッチパネルによる手書き入力を検出したら、手書きされた文字や図形（以下、手書き情報と呼ぶ。）が複数の領域に跨っているかを判断する。手書き情報が複数の領域に跨っている場合は、最初の手書き入力が行われた領域を特定し、一群の手書き情報（予め定めた所定時間内に手書き入力された文字や図形など）の属性を特定した領域に設定する。そして、特定した領域の表示形態が変更された場合（例えば、複数ページの表示から特定した領域のページのみの表示に変更された場合）に、特定した領域に属する手書き情報を当該領域内に移動させたり、縮小して移動させたりして、当該領域に属する手書き情報の全てが表示されるようにする。

その際、データ処理部１０８は、特定した領域のページ画像に手書き情報を合成した合成画像を生成し、その合成画像を表示部１０３に表示させる（すなわち、データ処理部１０８が手書き入力を制御する手書き制御機能と表示を制御する表示制御機能の双方として機能する）ようにしてもよいし、特定した領域のページ画像と手書き情報と手書き情報のレイアウト情報とを表示制御機能（表示コントローラ１０４）に送り、表示制御機能がレイアウト情報に基づいてページ画像に手書き情報を重ね合わせて表示部１０３に表示させる（すなわち、データ処理部１０８が手書き制御機能のみを有し、既存の表示制御機能を利用する）ようにしてもよい。また、上記データ処理部１０８はハードウェアとして構成してもよいし、ＣＰＵ１０１で動作する制御プログラム（手書き制御機能及び表示制御機能、若しくは、手書き制御機能のみとして動作するプログラム）として構成してもよい。

なお、図２は、本実施例の情報閲覧装置１００の一例であり、その構成は適宜変更することができる。

上記構成の情報閲覧装置１００にドキュメントを表示する場合、通常１ページずつ表示するが、並べて閲覧したいユースシーンも存在し、その場合には２ページや４ページなど、複数ページを配列して表示することになる。そして、複数ページを表示している状態で手書きを行った場合、１ページごとに手書き領域が定められると、手書き情報が他のページの領域に跨ってしまう場合があり、その後、表示するページ数を減らした場合（例えば、４ページから２ページや１ページ、２ページから１ページなど）、手書き情報は分断されて表示対象ページの部分のみが表示されるため、手書き情報の意味を判別することができなくなる。

そこで、本実施例では、表示するページ数を減らした（例えば、１ページにした）ときに、複数の領域に跨っている手書き情報を表示対象ページの領域に移動させたり、縮小して移動させたりして、表示対象ページ内に表示されるようにする。

この場合の情報閲覧装置１００の動作について、図３のフローチャート図を参照して説明する。なお、ここでは２ページが表示されている状態で手書きが行われるものとして説明するが、３以上のページが表示される場合も同様に適用することができる。

まず、ユーザは情報閲覧装置１００の操作部１０５を操作してドキュメントを選択し、表示部１０３に表示させる。そして、所定の操作を行って表示形態を２ページ表示に変更する指示を行うと、データ処理部１０８は、指示に従って表示部１０３に見開き２ページのページ画像を表示させる（Ｓ１０１）。

次に、データ処理部１０８は、１ページ毎に領域（ここでは領域Ａと領域Ｂ）を設定し（Ｓ１０２）、タッチパネルを用いた手書き入力が行われたことを検出すると（Ｓ１０３）、手書きが２つの領域に跨って行われたかを判断する（Ｓ１０４）。手書きが２つの領域に跨っていない場合（Ｓ１０４のＮｏ）は、表示形態を１ページ毎に変えても、ページ画像と手書き情報との位置関係が崩れることがないため、処理を終了する。

一方、手書きが２つの領域に跨って行われた場合（Ｓ１０４のＹｅｓ）は、データ処理部１０８は、最初の手書き入力が行われた領域（手書き入力の書き出し位置）が領域Ａであるかを判断する（Ｓ１０５）。最初の手書き入力が行われた領域が領域Ａの場合（Ｓ１０５のＹｅｓ）は、データ処理部１０８は、その手書き情報の属性を領域Ａに設定して登録し（Ｓ１０６）、表示形態を１ページ表示に戻した際に（Ｓ１０７）、手書き情報を領域Ａのページ内に移動、若しくは、縮小して移動させて表示する（Ｓ１０８）。また、最初の手書き入力が行われた領域が領域Ｂの場合（Ｓ１０５のＮｏ）は、データ処理部１０８は、その手書き情報の属性を領域Ｂに設定して登録し（Ｓ１０９）、表示形態を１ページ表示に戻した際に（Ｓ１１０）、手書き情報を領域Ｂのページ内に移動、若しくは、縮小して移動させて表示する（Ｓ１１１）。

なお、手書き情報を縮小／移動させて表示させる際に、データ処理部１０８がページ画像と縮小／移動させた手書き情報とを合成した合成画像を生成し、その合成画像を表示部１０３に送ってもよいし、データ処理部１０８がページ画像と縮小／移動させた手書き情報と手書き情報のページ上のレイアウト情報を表示制御機能に送り、表示制御機能がレイアウト情報に基づいてページ画像と手書き情報とを重ね合わせて表示部１０３に表示させてもよい。

図５は、２ページ表示の表示形態において２ページに跨るように一続きの図形を手書きし、１ページ表示に戻したときにどのように表示されるかを模式的に示している。

図５（ａ）に示すように、２ページ表示の状態で２ページを跨ぐように手書き情報（ここでは、左端部を始点とする一筆書きの星形の図形）を入力した後、１ページ表示に戻して左ページのみを表示させると、従来は、図５（ｂ）に示すように、左ページに手書きされた部分のみが表示され、右ページに手書きされた部分は表示されなかった。一方、本実施例の場合は、データ処理部１０８は、この手書き情報の属性を左ページに設定し、手書き情報を表示対象となる左ページに移動させたり、縮小して移動させたりするため、図５（ｃ）に示すように、手書き情報の全てが表示される。

なお、手書き情報の縮小率や移動量、配置は特に限定されず、例えば、そのままの倍率で移動させても表示対象となるページ内に収まる場合は縮小する必要はない。

手書き情報の属性を設定する際、複数の領域を跨ぐように複数の線からなる図形や文字を手書き入力した場合、各々の線について上述した処理を行うと、図形や文字を構成する複数の線が別々の領域に属すると判断されてしまう場合がある。同様に、複数の領域を跨ぐように複数の文字からなる単語や文章を入力した場合も、各々の文字について上述した処理を行うと、１つの単語や文章を構成する複数の文字が別々の領域に属すると判断されてしまう場合がある。そこで、本実施例では、直前の手書き情報が属する領域が決定してから、予め定めた時間内に入力された手書き情報は、同じ領域に属すると判断することにより、一群の図形や文字、単語、文章がユーザの意図に反して分断されてしまう不具合を未然に防止する。

この場合の情報閲覧装置１００の動作について、図４のフローチャート図を参照して説明する。なお、ここでは２ページが表示されている状態で手書きが行われるものとして説明するが、３以上のページが表示される場合も同様に適用することができる。

図３のフローにおいて、直前の手書き情報の属性が領域Ａの場合、データ処理部１０８は、続いて手書きによる入力が行われたら（Ｓ２０１）、手書き入力の書き出し位置が領域Ｂのページであるかを判断する（Ｓ２０２）。手書き入力の書き出し位置が領域Ａのページの場合（Ｓ２０２のＮｏ）は、その手書き情報を領域Ａの属性とする（Ｓ２０５）。

一方、手書き入力の書き出し位置が領域Ｂのページの場合（Ｓ２０２のＹｅｓ）は、データ処理部１０８は、直前の手書き入力から予め定めた時間（例えば、Ｔ秒）経過しているかを判断する（Ｓ２０３）。直前の手書き入力からＴ秒以上経過している場合（Ｓ２０３のＹｅｓ）は、直前の手書き入力との関連性がないと考えられることから、データ処理部１０８は、手書き情報を領域Ｂの属性として登録する（Ｓ２０４）。一方、直前の手書き入力からＴ秒経過していない場合（Ｓ２０３のＮｏ）は、直前の手書き入力との関連性があると考えられることから、データ処理部１０８は、手書き情報を領域Ａの属性として登録する（Ｓ２０５）。

なお、上記Ｔ秒は任意に設定することができ、例えば、手書き入力が早いユーザの場合は短く設定し、手書き入力が遅いユーザの場合は長く設定することにより、複数の手書き情報をユーザが意図したように関連づけることができる。

図６及び図７は、２ページ表示の表示形態において２ページに跨るように一群の図形や文字を手書きし、１ページ表示に戻したときにどのように表示されるかを模式的に示している。

図６（ａ）に示すように、２ページ表示の状態で２ページを跨ぐように手書き情報（ここでは、右側のページから左側のページに向かって延ばした１本の線と矢印の先端のマーク）を入力した後、１ページ表示に戻して左ページのみを表示させると、従来は、図６（ｂ）に示すように、左ページに属する図形（矢印の先端のマーク）のみが表示され、右ページに属する図形（１本の線）は表示されなかった。一方、本実施例の場合は、データ処理部１０８は、一群の手書き情報の属性を左ページに設定し、手書き情報を表示対象となるページに移動させたり、縮小して移動させたりするため、図６（ｃ）に示すように、手書き情報の全てが表示される。なお、縮小／移動する際に、一群の手書き情報を一体的に縮小／移動してもよいし、書き出し位置が表示対象ページに属する情報（ここでは矢印の先端のマーク）は縮小／移動せず、書き出し位置が表示対象ページに属さない情報（ここでは１本の線）のみを縮小／移動してもよい。

また、図７（ａ）に示すように、２ページ表示の状態で２ページを跨ぐように手書き情報（ここでは、「重要」をいう単語）を入力した後、１ページ表示に戻して左ページのみを表示させると、従来は、図７（ｂ）に示すように、左ページに属する文字（「重」の文字）のみが表示され、右ページに属する文字（「要」の文字）は表示されなかった。一方、本実施例の場合は、データ処理部１０８は、一群の手書き情報の属性を左ページに設定し、手書き情報を表示対象となるページに移動させたり、縮小して移動させたりするため、図７（ｃ）に示すように、手書き情報の全てが表示される。

図８は、２ページ表示の表示形態において図形と文字からなる手書き情報を入力し、１ページ表示に戻したときにどのように表示されるかを模式的に示している。

まず、１ページ表示のドキュメント（図８（ａ）参照）を２ページ表示に変更する（図８（ｂ）参照）。この状態で２ページを跨ぐように手書き（ここでは、左ページに手書きした丸及び矢印の図形と、右ページに手書きした「重要です」の文字を手書き）し（図８（ｃ）参照）、１ページ表示に戻して左ページのみを表示させると、従来は、図８（ｄ）に示すように、左ページに手書きされた丸及び矢印の図形のみが表示され、右ページに手書きされた文字は表示されず、手書き情報の意味を判別することができなかった。一方、本実施例の場合は、データ処理部１０８は、表示対象とならないページ（右ページ）に手書きされた文字も一群の手書き情報として認識し、表示対象となるページに移動、若しくは縮小して移動させる処理を行うため、図８（ｅ）に示すように、手書き情報の全てが表示され、手書き情報の意味を判別することができる。

次に、本発明の第２の実施例に係る情報閲覧装置及び表示制御プログラムについて、図９乃至図１６を参照して説明する。図９乃至図１０は、本実施例の情報閲覧装置の制御を示すフローチャート図であり、図１１及び図１６は、その表示例を示す図である。

前記した第１の実施例では、複数ページを表示した状態で手書き入力する場合について説明したが、ドキュメントを閲覧しているときに、文字や図形などが小さいために画面を拡大することがある。そのとき、全体のレイアウトを俯瞰できるように、拡大したい領域のみを拡大する場合があり、部分拡大を行っている状態で手書き入力を行いたい場合がある。このような部分拡大状態で手書き入力が可能な装置はないが、手書き入力が可能であるとした場合、部分拡大した領域（以下、拡大領域と呼ぶ。）とそれ以外の領域（以下、通常領域と呼ぶ。）とで表示倍率が異なるため、手書き入力後に拡大領域の倍率を元に戻すと、手書き情報の形が崩れたり、分断されたりして手書き情報の内容を判別することができなくなる。

そこで、本実施例では、ドキュメントの一部を拡大表示している状態で、拡大領域と通常領域とを跨ぐように手書きし、その後、拡大領域を元の倍率に戻した場合に、拡大領域の倍率変化に合わせて、拡大領域に属する手書き情報を移動、若しくは縮小して移動させるようにする。

この場合、情報閲覧装置１００の基本構成は前記した第１の実施例と同様であるが、データ処理部１０８は、表示部１０３に表示している画像の領域（例えば、一部を拡大している場合は拡大領域と通常領域）を認識し、タッチパネルによる手書き入力を検出したら、手書き情報が複数の領域に跨っているかを判断する。手書き情報が複数の領域に跨っている場合は、最初の手書き入力が行われた領域を特定し、一群の手書き情報（予め定めた所定時間内に手書き入力された文字や図形など）の属性を特定領域に設定する。そして、特定した領域の表示形態が変更された場合（例えば、拡大領域の倍率を元に戻した場合）に、変更された表示形態に基づいて、拡大領域に属する手書き情報を当該領域内に移動させたり、縮小して移動させたりして、当該領域に属する手書き情報が判別可能に表示されるようにする。

なお、第１の実施例と同様に、データ処理部１０８は、特定した領域を含むページ画像に手書き情報を合成した合成画像を生成し、その合成画像を表示部１０３に表示させる（すなわち、データ処理部１０８が手書き入力を制御する手書き制御機能と表示を制御する表示制御機能の双方として機能する）ようにしてもよいし、特定した領域を含むページ画像と手書き情報と手書き情報のレイアウト情報とを表示部１０３の表示を制御する表示制御機能（表示コントローラ１０４）に送り、表示制御機能がレイアウト情報に基づいて特定した領域を含むページ画像に手書き情報を重ね合わせて表示部１０３に表示させる（すなわち、データ処理部１０８が手書き制御機能のみを持ち、既存の表示制御機能を利用する）ようにしてもよい。また、上記データ処理部１０８はハードウェアとして構成してもよいし、ＣＰＵ１０１で動作する制御プログラム（手書き制御機能及び表示制御機能、若しくは、手書き制御機能のみとして動作するプログラム）として構成してもよい。

以下、上記構成の情報閲覧装置１００の動作について、図９のフローチャート図を参照して説明する。

まず、ユーザは情報閲覧装置１００の操作部１０５を操作してドキュメントを選択し、表示部１０３に表示させる。そして、所定の操作を行ってドキュメントの一部を拡大する指示を行うと、データ処理部１０８は、指示に従ってドキュメントの一部を拡大して表示部１０３に表示させる（Ｓ３０１）。なお、ドキュメントの一部を拡大して表示させる際、元のドキュメントの画像上に一部を拡大した画像を配置（レイヤーを分けて表示）してもよいし、元のドキュメントの画像に一部を拡大した画像を合成した合成画像を表示してもよい。

次に、データ処理部１０８は、拡大領域を領域Ａに設定し、それ以外の通常領域（非拡大領域）を領域Ｂに設定し（Ｓ３０２）、タッチパネルを用いた手書き入力が行われたことを検出すると（Ｓ３０３）、手書きが２つの領域に跨って行われたかを判断する（Ｓ３０４）。

手書きが２つの領域に跨って行われた場合（Ｓ３０４のＹｅｓ）は、データ処理部１０８は、最初の手書き入力が行われた領域（手書き入力の書き出し位置）が領域Ａであるかを判断する（Ｓ３０５）。最初の手書き入力が行われた領域が領域Ａの場合（Ｓ３０５のＹｅｓ）は、データ処理部１０８は、その手書き情報の属性を領域Ａに設定して登録し（Ｓ３０６）、拡大領域を元の倍率に戻した際に（Ｓ３０７）、手書き情報を倍率変化に合わせて縮小して、所定の位置に移動させて表示する（Ｓ３０８）。また、最初の手書き入力が行われた領域が領域Ｂの場合（Ｓ３０５のＮｏ）は、データ処理部１０８は、その手書き情報の属性を領域Ｂに設定して登録し（Ｓ３０９）、拡大領域を元の倍率に戻した際に（Ｓ３１０）、手書き情報をそのままの大きさ、位置で保持する（Ｓ３１１）。

一方、手書きが２つの領域に跨っていない場合（Ｓ３０４のＮｏ）は、データ処理部１０８は、手書き入力が行われた領域が領域Ａであるかを判断する（Ｓ３１２）。手書き入力が行われた領域が領域Ａの場合（Ｓ３１２のＹｅｓ）は、データ処理部１０８は、手書き情報の属性を領域Ａに設定して登録し（Ｓ３１３）、拡大領域を元の倍率に戻した際に（Ｓ３１４）、手書き情報を倍率変化に合わせて縮小して、所定の位置に移動させて表示する（Ｓ３１５）。また、手書き入力が行われた領域が領域Ｂの場合（Ｓ３１２のＮｏ）は、データ処理部１０８は、手書き情報を領域Ｂの属性として登録し（Ｓ３１６）、拡大領域を元の倍率に戻した際に（Ｓ３１７）、手書き情報をそのままの大きさ、位置で保持する（Ｓ３１８）。

図１１は、一部を拡大表示した表示形態において拡大領域と通常領域に跨るように一続きの図形を手書きし、拡大領域を元の表示倍率に戻したときにどのように表示されるかを模式的に示している。

図１１（ａ）に示すように、ドキュメントの一部を拡大表示し、この状態で拡大領域と通常領域を跨ぐように手書き情報（ここでは、左端部を始点とする一筆書きの丸の図形）を入力し、拡大領域を元の倍率に戻すと、従来は、図１１（ｂ）に示すように、拡大領域に手書きされた部分（丸の一部）のみが縮小され、通常領域に手書きされた部分はそのまま表示され、手書き情報が分断される。一方、本実施例の場合は、データ処理部１０８は、丸の図形全体が拡大領域に属すると判断し、丸の図形全体を拡大領域に移動、若しくは縮小して移動させる処理を行うため、図１１（ｃ）に示すように、手書き情報が分断されることはない。

なお、第１の実施例と同様に、手書き情報の縮小率や移動量、配置は特に限定されず、例えば、手書き情報をそのまま拡大領域に配置しても問題ない場合は、手書き情報を縮小する必要はない。

手書きの属性を設定する際、第１の実施例と同様に、複数の領域を跨ぐように複数の線からなる図形や文字を手書き入力した場合、各々の線について上述した処理を行うと、図形や文字を構成する複数の線が別々の領域に属すると判断されてしまう場合がある。同様に、複数のページを跨ぐように複数の文字からなる単語や文章を入力した場合も、各々の文字について上述した処理を行うと、１つの単語や文章を構成する複数の文字が別々の領域に属すると判断されてしまう場合がある。そこで、本実施例では、直前の手書き情報が属する領域が決定してから、予め定めた時間内に入力された手書き情報は、同じ領域に属すると判断することにより、一群の図形や文字、単語、文章がユーザの意図に反して分断されてしまう不具合を未然に防止する。

この場合の情報閲覧装置１００の動作について、図１０のフローチャート図を参照して説明する。

図９のフローにおいて、直前の手書き情報の属性が領域Ａの場合、データ処理部１０８は、続いて手書きによる入力が行われたら（Ｓ４０１）、手書き入力の書き出し位置が領域Ｂであるかを判断する（Ｓ４０２）。手書き入力の書き出し位置が領域Ａの場合（Ｓ４０２のＮｏ）は、その手書き情報を領域Ａの属性とする（Ｓ４０５）。

一方、手書き入力の書き出し位置が領域Ｂの場合（Ｓ４０２のＹｅｓ）は、データ処理部１０８は、直前の手書き入力から予め定めた時間（例えば、Ｔ秒）経過しているかを判断する（Ｓ４０３）。直前の手書き入力からＴ秒以上経過している場合（Ｓ４０３のＹｅｓ）は、直前の手書き入力との関連性がないと考えられることから、データ処理部１０８は、その手書き情報の属性を領域Ｂに設定して登録する（Ｓ４０４）。一方、直前の手書き入力からＴ秒経過していない場合（Ｓ４０３のＮｏ）は、直前の手書き入力との関連性があると考えられることから、データ処理部１０８は、その手書き情報の属性を領域Ａに設定して登録する（Ｓ４０５）。

図１２及び図１３は、部分拡大表示の状態で拡大領域と通常領域に跨るように一群の図形や文字を手書きし、拡大領域の表示倍率を元に戻したときにどのように表示されるかを模式的に示している。なお、以下の図における従来の制御は、部分拡大表示状態で手書き入力が可能な装置があると仮定した場合の通常の制御であり、このような制御が行われていたことを示すものではない。

図１２（ａ）に示すように、部分拡大表示の状態で拡大領域と通常領域を跨ぐように手書き情報（ここでは、通常領域から拡大領域に向かって延ばした１本の線と矢印の先端のマーク）を入力した後、拡大領域の表示倍率を元に戻すと、従来は、図１２（ｂ）に示すように、拡大領域に属する図形（矢印の先端のマーク）のみが縮小され、通常領域に属する図形（１本の線）はそのまま表示される。一方、本実施例の場合は、データ処理部１０８は、一群の手書き情報の属性を拡大領域に設定し、拡大領域に移動させたり、拡大領域に倍率変化に合わせて縮小して移動させたりするため、図１２（ｃ）に示すように、手書き情報の全てが表示される。なお、縮小／移動する際に、一群の手書き情報を一体的に縮小／移動してもよいし、書き出し位置が拡大領域に属する情報（ここでは矢印の先端のマーク）は縮小のみ行い、書き出し位置が通常領域に属する情報（ここでは１本の線）は縮小／移動してもよい。

また、図１３（ａ）に示すように、部分拡大表示の状態で拡大領域と通常領域を跨ぐように手書き情報（ここでは、「重要」をいう単語）を入力した後、拡大領域の表示倍率を元に戻すと、従来は、図１３（ｂ）に示すように、拡大領域に属する文字（「重」の文字）のみが縮小して表示され、通常領域に属する文字（「要」の文字）はそのまま表示される。一方、本実施例の場合は、データ処理部１０８は、一群の手書き情報の属性を拡大領域に設定し、拡大領域に移動させたり、拡大領域に倍率変化に合わせて縮小して移動させたりするため、図１３（ｃ）に示すように、手書き情報の全てが表示される。

図１４は、部分拡大表示の表示形態において図形と文字からなる手書き情報を入力し、拡大領域の表示倍率を元に戻したときにどのように表示されるかを模式的に示している。

まず、通常表示のドキュメント（図１４（ａ）参照）の一部を拡大表示する（図１４（ｂ）参照）。この状態で拡大領域と通常領域とを跨ぐように手書き（ここでは、拡大領域に手書きした丸及び２つの矢印の図形と「重要です」の文字の一部、通常領域に手書きした「重要です」の文字の一部及び「修正」の文字を手書き）し（図１４（ｃ）参照）、拡大領域の表示倍率を元に戻すと、従来は、図１４（ｄ）に示すように、拡大領域に手書きされた丸及び２つの矢印の図形、「重要です」の文字の一部のみが縮小され、通常領域に手書きされた文字はそのまま表示されるため、手書き情報の意味を判別することができなかった。一方、本実施例の場合は、データ処理部１０８は、通常領域に手書きされた部分も一群の手書き情報として認識し、拡大領域の手書き情報と同様に縮小し、移動させる処理を行うため、図１４（ｅ）に示すように、手書き情報が分断されることなく、手書き情報の意味を判別することができる。

なお、手書き情報の縮小率や移動量、配置は特に限定されず、例えば、手書き情報により、通常領域の表示内容が隠れてしまうことを防止したい場合は、図１５（ａ）に示すように、全ての手書き情報を元の表示倍率に戻した領域内に配置してもよい。また、縮小した手書き情報を元の表示倍率に戻した領域内に配置すると、その領域の表示内容が判別しにくくなる場合は、図１５（ｂ）に示すように、一部又は全ての手書き情報を通常領域に表示してもよい。

また、上記では、所定時間内に手書きされた情報を一群の手書き情報として認識する場合について説明したが、複数の領域を跨ぐように手書き入力した後、別の領域に別の手書き入力を行った場合（図１６（ａ）参照）、所定時間の設定によっては、後で手書きした情報も同じ領域に属すると判断されてしまう。そのような場合は、手書き情報を縮小／移動させて表示するモードとそのまま表示する通常モード等の複数のモードを設け、図１６（ｂ）に示すように、通常モードでの入力された手書き情報（ここでは、「注意」の文字、丸及び矢印の図形）は、表示形態を変えてもそのまま表示されるようにすることで、手書き情報がユーザの意図に反して縮小／移動されないようにすることもできる。

なお、本発明は上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成及び制御は適宜変更可能である。

例えば、上記各実施例では、２つの領域に跨って手書き情報が入力される場合を説明したが、３以上の領域に跨って手書き情報が入力される場合も、本発明の制御を同様に適用することができる。また、第１の実施例では複数のページが表示される表示形態で手書き情報が入力される場合を説明し、第２の実施例では一部が拡大された表示形態で手書き情報が入力される場合を説明したが、複数のページが表示され、かつ、その一部が拡大された表示形態で手書き情報が入力される場合においても、本発明の制御を同様に適用することができる。

本発明は、タッチパネルを設けた表示部を備える装置、及び当該装置で動作するプログラムに利用可能である。

１００情報閲覧装置
１０１ＣＰＵ
１０２メモリ
１０３表示部
１０４表示コントローラ
１０５操作部
１０６通信部
１０７電池
１０８データ処理部

Claims

物体の接触を検出するタッチパネルが表示面に配置された表示部を備え、前記表示部に前記物体の接触位置の軌跡を示す手書き情報が表示される情報閲覧装置において、
前記情報閲覧装置は、前記表示部全体を１つの領域としてドキュメントを表示する第１の表示形態と、前記表示部を複数の領域に分割してドキュメントを表示する第２の表示形態と、で表示可能であり、
前記第２の表示形態で２以上の領域に跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、その後、前記第１の表示形態で表示する際に、前記手書き情報が属すると判断した領域内に前記手書き情報の全てを表示させるデータ処理部を備える、ことを特徴とする情報閲覧装置。
前記第１の表示形態は、前記表示部全体にドキュメントの１ページを表示する表示形態であり、前記第２の表示形態は、前記表示部を複数の領域に分割し、当該複数の領域にドキュメントの複数ページを表示する表示形態であり、
前記データ処理部は、前記第２の表示形態で２以上の領域に跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、前記第１の表示形態で前記手書き情報が属すると判断した領域のページを表示する際に、当該ページ内に前記手書き情報の全てを表示させる、ことを特徴とする請求項１に記載の情報閲覧装置。
前記第１の表示形態は、前記表示部にドキュメントを第１の倍率で表示する表示形態であり、前記第２の表示形態は、前記表示部を複数の領域に分割し、所定の領域を前記第１の倍率よりも大きい第２の倍率で表示する表示形態であり、
前記データ処理部は、前記第２の表示形態で前記所定の領域と当該所定の領域以外の他の領域とに跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、前記第１の表示形態で前記ドキュメントを表示する際に、前記手書き情報が属すると判断した領域内に前記手書き情報の全てを表示させる、ことを特徴とする請求項１に記載の情報閲覧装置。
前記データ処理部は、複数の領域に跨って手書き情報が入力された場合、前記手書き情報を、当該手書き情報の書き出し位置が属する領域に属すると判断する、ことを特徴とする請求項１乃至３のいずれか一に記載の情報閲覧装置。
複数の領域に跨って手書き情報が入力された場合に、前記手書き情報がどの領域に属するかを設定するモードを有し、
前記データ処理部は、前記モードでの設定に従って、前記手書き情報が属する領域を判断する、ことを特徴とする請求項１乃至３のいずれか一に記載の情報閲覧装置。
前記データ処理部は、前記手書き情報を、当該手書き情報が属すると判断した領域に移動、若しくは、縮小して移動させる、ことを特徴とする請求項１乃至５のいずれか一に記載の情報閲覧装置。
前記データ処理部は、手書き情報が第１の領域に属すると判断してから、予め定めた時間内に、次の手書き情報が前記第１の領域とは異なる第２の領域に入力された場合、前記次の手書き情報は、前記第１の領域に属すると判断する、ことを特徴とする請求項１乃至６のいずれか一に記載の情報閲覧装置。
物体の接触を検出するタッチパネルが表示面に配置された表示部を備え、前記表示部に前記物体の接触位置の軌跡を示す手書き情報が表示される情報閲覧装置において、
前記情報閲覧装置は、前記表示部にドキュメントを第１の倍率で表示する第１の表示形態と、前記表示部を複数の領域に分割し、所定の領域を前記第１の倍率よりも大きい第２の倍率で表示する第２の表示形態と、で表示可能であり、
前記第２の表示形態で前記所定の領域と当該所定の領域以外の他の領域とに跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、前記手書き情報が前記所定の領域に属すると判断した場合は、前記第１の表示形態で前記ドキュメントを表示する際に、前記手書き情報の全てを前記所定の領域の倍率変化に応じて縮小して表示させるデータ処理部を備える、ことを特徴とする情報閲覧装置。
物体の接触を検出するタッチパネルが表示面に配置された表示部を備え、前記表示部に前記物体の接触位置の軌跡を示す手書き情報が表示される情報閲覧装置で動作する表示制御プログラムであって、
前記情報閲覧装置は、前記表示部全体を１つの領域としてドキュメントを表示する第１の表示形態と、前記表示部を複数の領域に分割してドキュメントを表示する第２の表示形態と、で表示可能であり、
前記情報閲覧装置を、
前記第２の表示形態で２以上の領域に跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、その後、前記第１の表示形態で表示する際に、前記手書き情報が属すると判断した領域内に前記手書き情報の全てを表示させるデータ処理部として機能させる、ことを特徴とする表示制御プログラム。
前記第１の表示形態は、前記表示部全体にドキュメントの１ページを表示する表示形態であり、前記第２の表示形態は、前記表示部を複数の領域に分割し、当該複数の領域にドキュメントの複数ページを表示する表示形態であり、
前記データ処理部は、前記第２の表示形態で２以上の領域に跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、前記第１の表示形態で前記手書き情報が属すると判断した領域のページを表示する際に、当該ページ内に前記手書き情報の全てを表示させる、ことを特徴とする請求項９に記載の表示制御プログラム。
前記第１の表示形態は、前記表示部にドキュメントを第１の倍率で表示する表示形態であり、前記第２の表示形態は、前記表示部を複数の領域に分割し、所定の領域を前記第１の倍率よりも大きい第２の倍率で表示する表示形態であり、
前記データ処理部は、前記第２の表示形態で前記所定の領域と当該所定の領域以外の他の領域とに跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、前記第１の表示形態で前記ドキュメントを表示する際に、前記手書き情報が属すると判断した領域内に前記手書き情報の全てを表示させる、ことを特徴とする請求項９に記載の表示制御プログラム。
前記データ処理部は、複数の領域に跨って手書き情報が入力された場合、前記手書き情報を、当該手書き情報の書き出し位置が属する領域に属すると判断する、ことを特徴とする請求項９乃至１１のいずれか一に記載の表示制御プログラム。
前記情報閲覧装置は、複数の領域に跨って手書き情報が入力された場合に、前記手書き情報がどの領域に属するかを設定するモードを有し、
前記データ処理部は、前記モードでの設定に従って、前記手書き情報が属する領域を判断する、ことを特徴とする請求項９乃至１１のいずれか一に記載の表示制御プログラム。
前記データ処理部は、前記手書き情報を、当該手書き情報が属すると判断した領域に移動、若しくは、縮小して移動させる、ことを特徴とする請求項９乃至１３のいずれか一に記載の表示制御プログラム。
前記データ処理部は、手書き情報が第１の領域に属すると判断してから、予め定めた時間内に、次の手書き情報が前記第１の領域とは異なる第２の領域に入力された場合、前記次の手書き情報は、前記第１の領域に属すると判断する、ことを特徴とする請求項９乃至１４のいずれか一に記載の表示制御プログラム。
物体の接触を検出するタッチパネルが表示面に配置された表示部を備え、前記表示部に前記物体の接触位置の軌跡を示す手書き情報が表示される情報閲覧装置で動作する表示制御プログラムであって、
前記情報閲覧装置は、前記表示部にドキュメントを第１の倍率で表示する第１の表示形態と、前記表示部を複数の領域に分割し、所定の領域を前記第１の倍率よりも大きい第２の倍率で表示する第２の表示形態と、で表示可能であり、
前記情報閲覧装置を、
前記第２の表示形態で前記所定の領域と当該所定の領域以外の他の領域とに跨って手書き情報が入力された場合、当該手書き情報がいずれの領域に属するかを判断し、前記手書き情報が前記所定の領域に属すると判断した場合は、前記第１の表示形態で前記ドキュメントを表示する際に、前記手書き情報の全てを前記所定の領域の倍率変化に応じて縮小して表示させるデータ処理部として機能させる、ことを特徴とする表示制御プログラム。