JP2022143517A - 表示装置、表示方法、プログラム - Google Patents

Abstract

【課題】ユーザーがオブジェクトとオブジェクトの関連を設定できる表示装置を提供すること。【解決手段】手書き入力されたオブジェクトを表示する表示装置であって、前記表示装置が表示している第一のオブジェクトと、該第一のオブジェクトと関連づけられる第二のオブジェクトを受け付ける受付手段と、前記第一のオブジェクトと前記第二のオブジェクトとを関連づけする設定手段と、を備える。【選択図】図２０

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。

このような表示装置ではページサイズが大きくなりすぎ、手書きしている領域から離れた領域に関連する記載（オブジェクトともいう）が存在する場合がある。また、手書きしている内容と関連する記載が既に保存されたどのページに存在するか分からなくなる場合もある。

このような不都合に対し、自動的に関連ある記載を抽出して表示する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、ファイルや手書き情報などの中から所定のオブジェクトが選択された場合に、ファイルや手書き情報の中の、自動的に選択されたオブジェクトに関連する部分を特定し、選択されたオブジェクトを表示する際に、特定したオブジェクト群を参照可能に表示する表示装置が開示されている。

しかしながら、従来の技術は、ユーザーがオブジェクトとオブジェクトの関連を設定することはされていない。

本発明は、上記課題に鑑み、ユーザーがオブジェクトとオブジェクトの関連を設定できる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、手書き入力されたオブジェクトを表示する表示装置であって、前記表示装置が表示している第一のオブジェクトと、該第一のオブジェクトと関連づけられる第二のオブジェクトを受け付ける受付手段と、前記第一のオブジェクトと前記第二のオブジェクトとを関連づけする設定手段と、を備える。

ユーザーがオブジェクトとオブジェクトの関連を設定できる表示装置を提供することができる。

１ページが無限に大きい表示装置が表示する一例の表示範囲を示す図である。 １ページの全体の一例を示す図である。 オブジェクト同士が関連付けられた１ページの表示例を示す図である。 関連付けられているオブジェクトの表示例を示す図である。 ページが関連付けられているオブジェクトの一例を示す図である。 ページが関連付けられているオブジェクトの選択例を示す図である。 関連付けられているページの表示例を示す図である。 表示装置の全体構成例を示す図である。 表示装置の一例のハードウェア構成図である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 １ページ全体が有するオブジェクトの一例を示す図である。 表示装置が表示する画面例（その１）を示す図である。 表示装置が表示する画面例（その２）を示す図である。 表示装置が表示する画面例（その３）を示す図である。 表示装置が表示する画面例（その４）を示す図である。 表示装置が表示する画面例（その５）を示す図である。 リンク元オブジェクトの特定を説明する図である。 リンク先オブジェクトの特定を説明する図である。 リンク記憶部へのレコードの追加を説明する図である。 表示装置が２つのオブジェクトの関連付けを設定する手順を説明するシーケンス図の一例である。 リンク元オブジェクトの選択例を説明する図である。 リンク先オブジェクトを含む表示範囲の一例を示す図である。 オブジェクト記憶部におけるリンク元オブジェクトの検索を説明する図である。 リンク記憶部におけるリンク元オブジェクトの検索を説明する図である。 オブジェクト記憶部におけるリンク先オブジェクトの検索を説明する図である。 ユーザーがリンク元オブジェクトを押下した場合に、表示装置がリンク情報に基づいて、リンク先オブジェクトを表示する手順を説明するシーケンス図の一例である。 ユーザーが領域を選択するために手書きしたストロークデータの一例を示す図である。 リンク記憶部にリンク先として設定される領域を説明する図である。 表示装置がオブジェクトと領域の関連付けを設定する手順を説明するシーケンス図の一例である。 表示制御部が表示倍率を決定する手順を示すフローチャート図の一例である。 表示範囲が拡大された状態におけるリンク元オブジェクトの選択を説明する図である。 現在の表示倍率で表示された一例のリンク先オブジェクトを示す図である。 表示倍率の変更を説明する図である。 ディスプレーの中央又は左上に表示された一例のリンク先オブジェクトを示す図である。 リンク特定部が、リンク先オブジェクト又はリンク先領域の表示位置を制御するフローチャート図の一例である。 表示制御部が表示するオブジェクト一覧の一例を示す図である。 表示装置が２つのオブジェクトの関連付けを設定する手順を説明するシーケンス図の一例である。 リンク元オブジェクトの選択例を示す図である。 図３８で選択されたリンク元オブジェクトに関連付けられているリンク先オブジェクトを含むサブビューの一例を示す図である。 ユーザーが押下する一例のリンク元オブジェクトを示す図である。 リンク元オブジェクトに関連付けられているリンク先オブジェクトを表示するサブビューの一例を示す図である。 サブビューの表示手順を示すシーケンス図の一例である。 リンク先のオブジェクトの予約を説明する図である。 リンク先のオブジェクトの予約による２つのオブジェクトの関連付けを説明する図である。 予約済みを利用した２つのオブジェクトの関連付けを説明するシーケンス図の一例である。 複数のリンク先オブジェクトが設定されているリンク元オブジェクトの押下を説明する図である。 ユーザーに提示されたリンク先オブジェクトの一例のサムネイルを示す図である。 図４７のリンク先オブジェクトが選択された場合に表示装置が表示する一例の表示範囲を示す図である。 サムネイル表示された任意のリンク先オブジェクトをユーザーが選択した場合、表示装置がリンク先オブジェクトを表示する手順を説明するシーケンス図の一例である。 表示制御部が保持する時系列オブジェクトリストの一例を示す図である。 プレビュー機能を説明する図である。 表示された表示装置が表示したリンク先オブジェクトの一例を示す図である。 プレビューボタンの押下で表示された一例の表示範囲を示す図である。 表示装置がプレビュー機能又はネクスト機能に応じてリンク先オブジェクトを表示する手順を示すフローチャート図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。

＜比較例＞
まず、図１、図２を参照して、本実施形態の表示装置を説明するに当たって好適な比較例を説明する。図１は、無限に大きい１ページのち一部の表示範囲を表示した画面例を示す。図２は１ページの全体を示す。図２の点線３０２は図１の表示範囲である。

図１、図２では左上の「課題Ａ」「課題Ｂ」「課題Ｃ」の３つのオブジェクト３０１のそれぞれと関連ある他のオブジェクトが線で示されている。ユーザーが色の異なる線で関連付けたとしても、複数の線が交差し、オブジェクト間の関連がわかりにくくなる。

＜本実施形態の表示装置の概略＞
図３、図４を参照して、本実施形態の表示装置の概略を説明する。図３は、オブジェクト同士が関連付けられた１ページの表示例を示す。図３は図２の１ページ内の点線３０２で示す範囲である。図３では、後述するように左上の「課題Ｃ」というオブジェクト３１１と右下（図３には入りきらない）の「課題Ｃの説明」というオブジェクト３１２が関連付けられている。

ユーザーが図３に示すように、「課題Ｃ」というオブジェクト３１１を押下すると、表示装置は「課題Ｃ」のオブジェクト３１１と関連付けられている「課題Ｃの説明」というオブジェクト３１２を特定する。そして、図４に示すように、表示装置は「課題Ｃの説明」というオブジェクト３１２をディスプレーの例えば中央に表示する。

本実施形態では、ページもオブジェクトして扱われる。図５～図７は、関連付けられるオブジェクトがページの場合に、関連付けられているページの表示例を説明する図である。図５では、後述するように左上の「課題Ｃ」というオブジェクト３２１と下部のページ３２２が関連付けられている。

ユーザーが図６に示すように、「課題Ｃ」というオブジェクト３２１を押下すると、表示装置は「課題Ｃ」のオブジェクト３２１と関連付けられているページのオブジェクト３２２を特定する。そして、図７に示すように、表示装置は該当するページをディスプレーに表示する。

このように、本実施形態の表示装置は、ユーザー自身がオブジェクト間の関連を覚えておいたり、あるオブジェクトに関連するオブジェクトを探して表示させたりする手間をなくすことができる。更に、あるオブジェクトに関連するオブジェクトの周辺情報もユーザーが閲覧できる状態にできる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。

確定データは手書きデータの文字認識により文字コード（フォント）に変換されユーザーにより選択されたデータ、又は、文字コード（フォント）に変換しないことが確定している手書きデータである。

操作コマンドとは手書き入力装置を操作するために用意されている、特定の処理の実行を指示する命令をいう。例えば、文字列の編集系、修飾系、又は、入出力などが操作コマンドで実行可能である。

文字列とは、コンピュータで扱われる1つ以上の文字である。文字列の実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。

関連とは、２つ以上のものが関わり合うことをいう。関連付けるとは、２つ以上のものを関わり合うように、データベース等で紐付けることをいう。

＜装置の構成例＞
図８を用いて、本実施形態に係る表示装置２の全体構成を説明する。図８は、表示装置２の全体構成図を示した図である。図８（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図８（ａ）に示されているように、表示装置２の上部には表示装置の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図８（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図８（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーが表示装置２を容易に移動できる。

なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置のハードウェア構成＞
続いて、図９を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図９は、表示装置２のハードウェア構成図の一例である。図９に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、ＯＳや表示装置用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図８（ａ）、図８（ｂ）、又は、図８（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図９に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図１０を用いて表示装置２の機能について説明する。図１０は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、接触位置検出部２１、描画データ生成部２２、文字認識部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、リンク生成部２８、リンク特定部２９、領域管理部３０、サブビュー作成部３１、及び、オブジェクト管理部３２を有している。表示装置２が有する各機能は、図９に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。描画データ生成部２２はペン２５００のペン先が接触した座標を接触位置検出部２１から取得する。描画データ生成部２２はこの座標点列を補間することで接続してストロークデータを生成する。

文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

表示制御部２４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。

データ記録部２５は、表示装置２に手書きされた手書きデータ、変換された文字列、及び、ＰＣの画面、ファイル等を記憶部４０のオブジェクト記憶部４１に記憶する。手書きデータ、文字列（図形も含む）、及び、ＰＣの画面などの画像、ファイル等はオブジェクトして扱われる。手書きデータについては手書きの中断による時間的な区切り、手書き場所の違いによる距離的な区切りに応じて一まとまりのストロークデータが１つのオブジェクトとなる。

ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

オブジェクト管理部３２は主に接触位置検出部２１が検出した座標を基にユーザーがどのオブジェクトを選択したのかを判断する。オブジェクト管理部３２は選択されたオブジェクトを選択状態で保持する。

リンク生成部２８はユーザーが指定した２つのオブジェクト間にリンクを設定する（リンク情報を生成する）。リンクとは、２つ以上のオブジェクトを関連付けることをいう。

リンク特定部２９はユーザーが指定したオブジェクトに設定されているリンク情報を特定する。領域管理部３０は、リンク先としてオブジェクトではなくストロークデータによる領域選択がユーザーにより行われた場合、リンク先として設定される領域の座標を管理する。

サブビュー作成部３１はリンク先の表示の際に、完全に表示を切り替えてしまうのではなくリンク先周辺情報を含めたサムネイルをサブビューとして作成する。サムネイルとは画像の全体が表示されるように縮小した画像をいう。

また、表示装置２は、図９に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０にはオブジェクト記憶部４１及びリンク記憶部４２が構築されている。

表１はオブジェクト記憶部４１が保持するオブジェクト情報を模式的に示す。オブジェクト情報は、表示装置２が表示するオブジェクトを管理する情報である。

・オブジェクトＩＤはオブジェクトを識別する識別情報である。

・種別はオブジェクトの種類であり、手書き、文字、図形、画像、等がある。手書きはストロークデータ（座標点列）である。文字は手書きデータから変換された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。

・表示装置２の１画面をページと称する。ページの項目はそのページ番号である。

・座標は、表示装置２の所定の原点を基準とするオブジェクトの位置を示す。オブジェクトの位置は例えばオブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレーの画素単位で表される。

・サイズはオブジェクトの外接矩形の幅と高さである。

表２は、リンク記憶部４２が保持するリンク情報を模式的に示す。リンク情報は、２つのオブジェクト間を関連付ける情報である。

・リンクＩＤはリンクを識別する識別情報である。

・リンク元オブジェクトＩＤは、リンク元オブジェクトを特定するオブジェクトＩＤである。リンク元オブジェクトは関連付けられる２つのオブジェクトのうち最初にユーザーに選択されるオブジェクトである（第一のオブジェクトの一例）。

・リンク先オブジェクトＩＤは、リンク先オブジェクトを特定するオブジェクトＩＤである。リンク先オブジェクトは関連付けられる２つのオブジェクトのうち２番目にユーザーが選択するオブジェクトである（第二のオブジェクトの一例）。

・リンク先領域座標は、リンク先がオブジェクトでなく領域の場合、リンク先の領域を指定する領域の座標である。

・リンク先領域サイズは、リンク先がオブジェクトでなく領域の場合、リンク先の領域のサイズである。

・リンク先ページは、リンク先がページの場合、リンク先のページ番号である。ただし、ページもオブジェクトとして扱われる。

＜関連付けの詳細例＞
図１１～図２０を参照して、画面上のオブジェクトの関連付けについて説明する。まず、図１１は、以降の説明のために１ページ全体のオブジェクトを示す。表示範囲３３１、３３２、３３３は、それぞれ表示装置２が表示する表示範囲である。つまり、表示装置２は表示範囲よりも広いページを管理できる。１ページの広さには制限がないか、通常の使用では制限があっても支障がない程度に十分広いものとする。なお、表示範囲３３１、３３２、３３３の大きさはユーザーの拡大操作や縮小操作に応じて変化する。

図１２は、表示装置２が表示する画面例（その１）を示す。表示装置２は表示範囲に関係なくツールトレイ３３４を常に表示できる。ユーザーはツールトレイ３３４の表示と非表示を切り替えることができる。また、図１２ではディスプレーの下部にツールトレイ３３４が表示されているが、表示位置をユーザーが変更できる。

図１３は、表示装置２が表示する画面例（その２）を示す。２つのオブジェクト同士を関連付けたい場合、ユーザーはツールトレイ３３４から「リンク先設定ツール」３３５を選択する。操作受付部２７が操作を受け付けると、「リンク先設定ツール」３３５は選択状態になる。選択状態では、例えば、「リンク先設定ツール」３３５が反転表示されたり、輝度が向上したりする。

図１４は、表示装置２が表示する画面例（その３）を示す。「リンク先設定ツール」３３５を選択状態にした後、ユーザーはリンク元オブジェクト３３６を押下するか、又は、ストロークデータで囲む。この時点ではリンク元オブジェクト３３６は他のオブジェクトと関連付けていないので正確にはリンク元オブジェクトでないが、他のオブジェクトと関連付けられるとリンク元オブジェクトとなる。また、押下するとは、ユーザーがペン２５００又は指先でタッチすること、又は、マウスなどのポインティングデバイスでクリックすることをいう。図１４ではペン２５００でユーザーがリンク元オブジェクト３３６を囲んでいる。

接触位置検出部２１はユーザーが押下した座標を検出する。オブジェクト管理部３２はこの座標に基づいてオブジェクト記憶部４１からオブジェクトを特定する。オブジェクト管理部３２は、例えば、押下した座標から一定距離内で重心が最も近いオブジェクトを特定する。押下した座標が図１４のように広がりを有する場合、オブジェクト管理部３２は広がりの重心を特定すればよい。

図１５は、表示装置２が表示する画面例（その４）を示す。表示制御部２４は、オブジェクト管理部３２が選択したリンク元オブジェクト３３６に対しユーザーが操作可能なメニュー３３７を表示する。図１５では、メニュー３３７が色変更３３８とリンク設定３３９を有している。オブジェクト間のリンクを設定したいユーザーはリンク設定３３９を押下する。

操作受付部２７は、リンク設定３３９が押下された旨を受け付けるので、オブジェクト管理部３２は、選択されたリンク元オブジェクト３３６のオブジェクト情報をリンク生成部２８に送信する。リンク生成部２８はリンク先選択待ち状態に移行し、リンク先オブジェクトの情報が送られてくるのを待つ。

図１６は、表示装置２が表示する画面例（その５）を示す。ユーザーがリンク先オブジェクトを選択するため、表示範囲を変更した。ユーザーは他のリンク先オブジェクト３４０を押下する。任意のオブジェクトがリンク元オブジェクトと関連付けられることでリンク先オブジェクトとなる。

接触位置検出部２１はユーザーが押下した座標を検出する。オブジェクト管理部３２はこの座標に基づいてオブジェクト記憶部４１からリンク先オブジェクト３４０を特定する。オブジェクト管理部３２は、例えば、ユーザーが押下した座標から一定距離内で重心が最も近いリンク先オブジェクト３４０を特定する。オブジェクト管理部３２は特定したリンク先オブジェクトのオブジェクト情報をリンク生成部２８に送信する。

リンク元オブジェクトとリンク先オブジェクトのオブジェクト情報を得たリンク生成部２８は、これら２つのオブジェクトＩＤを対応付けて表２のリンク記憶部４２に追加する。なお、ユーザーがオブジェクトのない領域を選択した場合、リンク生成部２８はこの領域の座標とサイズをリンク記憶部４２に追加する。また、ユーザーがページ（保存済みのページはサムネイル表示される）を選択した場合、リンク生成部２８はリンク元オブジェクトとリンク先のページをリンク記憶部４２に追加する。

＜オブジェクト記憶部の検索、リンク記憶部への追加＞
図１７～図１９を参照して、オブジェクト記憶部４１とリンク記憶部４２に着目して２つのオブジェクトの関連付けについて説明する。図１７はオブジェクト記憶部４１におけるリンク元オブジェクトの特定を説明する図である。図１４に示したように、ユーザーがリンク元オブジェクトを選択すると、オブジェクト管理部３２がオブジェクト記憶部４１を検索する。この検索とは、ユーザーが押下した座標と一定距離内で最も近い重心を持つオブジェクトを特定することをいう。リンク元オブジェクトは、ユーザーが押下した座標に対し一定距離内のオブジェクトに制限されてもよいし、このような制限がなくてもよい。オブジェクト管理部３２はオブジェクトＩＤ＝１のオブジェクトを特定する。

図１８はリンク先オブジェクトの特定を説明する図である。図１６に示したように、ユーザーがリンク先オブジェクトを選択する、オブジェクト管理部３２はユーザーが押下した座標と一定距離内で最も近い重心を持つオブジェクトをオブジェクト記憶部４１から検索する。オブジェクト管理部３２はオブジェクトＩＤ＝２のオブジェクトを特定する。

図１９は、リンク記憶部４２へのレコードの追加を説明する図である。レコードとはデータベースにおけるデータの１件分をいう。本実施形態では、レコードをリンク情報と称している。リンク生成部２８は、リンク元オブジェクトＩＤとしてオブジェクトＩＤ＝１を、リンク先オブジェクトＩＤとしてオブジェクトＩＤ＝２を受け取っている。リンク生成部２８は、リンク記憶部４２の、リンク元オブジェクトＩＤに１を、リンク先オブジェクトＩＤに２を設定する。

リンク記憶部４２にリンク情報が設定されることで、ユーザーがリンク元オブジェクトを選択すると、表示装置２がリンク先オブジェクトを表示できる。

＜オブジェクト同士の関連付けの動作手順＞
図２０は、表示装置２が２つのオブジェクトの関連付けを設定する手順を説明するシーケンス図の一例である。

S1：ユーザーは図１３の「リンク先設定ツール」３３５、図１５のリンク設定３３９を押下した後、ユーザーがリンク元オブジェクトを押下する。

S2：接触位置検出部２１はユーザーが押下した座標を検出する。

S3：接触位置検出部２１はユーザーが押下した座標を指定してオブジェクトの選択をオブジェクト管理部３２に要求する。

S4：オブジェクト管理部３２はユーザーが押下した座標でオブジェクト記憶部４１を検索し、リンク元オブジェクトを特定する。オブジェクト管理部３２はこのオブジェクトのオブジェクトＩＤをリンク元オブジェクトとしてリンク生成部２８に通知する。

S5：次に、ユーザーがリンク先オブジェクトを押下する。

S6：接触位置検出部２１はユーザーが押下した座標を検出する。

S7：接触位置検出部２１はユーザーが押下した座標を指定してオブジェクトの選択をオブジェクト管理部３２に要求する。

S8：オブジェクト管理部３２はユーザーが押下した座標でオブジェクト記憶部４１を検索し、リンク先オブジェクトを特定する。オブジェクト管理部３２はこのオブジェクトのオブジェクトＩＤをリンク先オブジェクトとしてリンク生成部２８に通知する。

S9：リンク生成部２８はリンク元オブジェクトＩＤとリンク先オブジェクトＩＤをリンク記憶部４２に設定する。

このように、本実施形態の表示装置２は、２つのオブジェクトをユーザーが関連付けて設定できる。

＜リンク情報を利用したオブジェクトの表示＞
続いて、図２１、図２２を参照して、リンク情報を利用したオブジェクトの表示について説明する。

図２１は、リンク元オブジェクトの選択を説明する図である。生成済みのリンクが設定されているリンク元オブジェクト３４１をユーザーが押下する。オブジェクト管理部３２はユーザーが押下した座標に基づいてリンク元オブジェクト３４１を特定する。オブジェクト管理部３２は特定したオブジェクトＩＤをリンク特定部２９に送信する。リンク特定部２９はリンク記憶部４２のリンク元オブジェクトＩＤからオブジェクトＩＤを検索する。リンク元オブジェクトＩＤに同じオブジェクトＩＤが見つかれば、リンク特定部２９はリンク先オブジェクトＩＤをオブジェクト管理部３２に送信し、リンク先オブジェクトＩＤで特定されるオブジェクトのオブジェクト情報を取得する。

リンク特定部２９はオブジェクト管理部３２からリンク先オブジェクトのオブジェクト情報を取得し、このオブジェクトと周囲の表示を表示制御部２４に要求する。表示制御部２４は指定されたリンク先オブジェクトとその周囲の表示範囲に切り替えてリンク先オブジェクトを表示する。

図２２は、リンク先オブジェクトを含む表示範囲の一例を示す。図２２では、ユーザーが押下したリンク元オブジェクト３４１と関連付けられている、リンク先オブジェクト３４２とその周囲が表示されている。

このように、ユーザーはリンク元オブジェクトを押下することで、リンク先オブジェクトを表示できる。

＜オブジェクト記憶部の検索、リンク記憶部の検索＞
図２３～図２５を参照して、オブジェクト記憶部４１とリンク記憶部４２に着目してリンク先オブジェクトの表示について説明する。図２３はオブジェクト記憶部４１におけるリンク元オブジェクトの検索を説明する図である。図２１に示したように、ユーザーがリンク元オブジェクト３４１を押下すると、ユーザーが押下した座標でオブジェクト管理部３２がオブジェクト記憶部４１を検索する。検索方法は、２つのリンクの関連付けと同様でよい。オブジェクト管理部３２はオブジェクトＩＤ＝１のオブジェクトを特定する。

図２４は、リンク記憶部４２におけるリンク元オブジェクトの検索を説明する図である。リンク特定部２９はリンク元オブジェクトＩＤにオブジェクトＩＤ＝１が設定されたリンク情報を検索する。リンク特定部２９は、リンクＩＤ＝５のリンク情報を発見し、リンク先オブジェクトＩＤ＝２のリンク先オブジェクトを特定する。

図２５は、オブジェクト記憶部４１におけるリンク先オブジェクトの検索を説明する図である。オブジェクト管理部３２はオブジェクト記憶部４１から、オブジェクトＩＤ＝２（リンク先オブジェクトＩＤ＝２）のオブジェクトを検索する。これにより、リンク先オブジェクトのページ、座標、及び、サイズをオブジェクト管理部３２が特定できる。したがって、表示制御部２４はリンク先オブジェクトと周囲を含む表示範囲にリンク先オブジェクトを表示できる。表示範囲は例えばリンク先オブジェクトの重心を中心とする範囲である。なお、表示範囲の広さはユーザーが設定した現在の表示倍率に応じて決まる。表示倍率の変更については後述する。

＜リンク情報を利用したオブジェクトの表示の動作手順＞
図２６は、ユーザーがリンク元オブジェクトを押下した場合に、表示装置２がリンク情報に基づいて、リンク先オブジェクトを表示する手順を説明するシーケンス図の一例である。

S11：ユーザーがリンク元オブジェクトを押下する。なお、リンク元オブジェクトを選択する前に何らかのメニューが選択されてもよい。

S12：接触位置検出部２１はユーザーが押下した座標を検出し、ユーザーが押下した座標を指定してオブジェクトの選択をオブジェクト管理部３２に要求する。オブジェクト管理部３２はユーザーが押下した座標に基づいて、オブジェクト記憶部４１からリンク元オブジェクトＩＤを特定する。

S13：オブジェクト管理部３２はリンク元オブジェクトＩＤを指定してリンク先オブジェクトの検索をリンク特定部２９に要求する。リンク特定部２９は要求に応じて、リンク記憶部４２でリンク元オブジェクトＩＤの項目をオブジェクト管理部３２から送信されたリンク元オブジェクトＩＤで検索し、リンク先オブジェクトＩＤを特定する。

S14：リンク特定部２９はリンク先オブジェクトＩＤを指定して、リンク先オブジェクトのオブジェクト情報をオブジェクト管理部３２から取得する。

S15：リンク特定部２９は、リンク先オブジェクトのオブジェクト情報に基づいて表示範囲（ビュー）を生成する。表示範囲は、例えば、リンク先オブジェクトの重心を中心として、上下左右に所定の画素数を有する表示範囲である。

S16：リンク特定部２９はこの表示範囲を指定することで、リンク先オブジェクトを表示する表示範囲に切り替えることを表示制御部２４に要求する。

このように、本実施形態の表示装置２は、ユーザーがオブジェクトとオブジェクトの関連を設定できる。２つのオブジェクトが関連付けられている場合、ユーザーがリンク元オブジェクトを押下することで、リンク先オブジェクトを表示できる。

なお、本実施形態では、リンク元オブジェクトの選択でリンク先オブジェクトが表示されているが、リンク先オブジェクトの選択でリンク元オブジェクトが表示されてもよい。

＜リンク先としてオブジェクトでなく領域が選択される場合＞
本実施例ではリンク先オブジェクトとして領域が選択される場合を説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０に示した機能ブロック図を援用できるものとして説明する。

図２７，図２８を参照して、リンク先の設定にユーザーがストロークデータで領域を囲むように選択する場合について記載する。この場合、リンク生成部２８はテキストボックス等でなく領域をリンク先に設定する。

図２７は、ユーザーが領域を選択するために手書きしたストロークデータの一例を示す。ユーザーが領域選択を実施する場合、接触位置検出部２１が検出したストロークデータ３５１に基づいて、領域管理部３０が囲まれた外接矩形又は内接矩形の左上頂点の座標をリンク先の座標として検出する。領域管理部３０は、左上頂点の座標及び外接矩形又は内接矩形の高さと幅のサイズをリンク生成部２８に送信する。

図２８は、リンク記憶部４２にリンク先として設定される領域を説明する図である。リンク生成部２８は、リンク元オブジェクトＩＤ、リンク先領域座標及びリンク先領域サイズをリンク記憶部４２に設定する。リンク先オブジェクトは存在しないため、リンク先オブジェクトＩＤの項目は空白である。

このように、ユーザーは任意の領域をリンク先オブジェクトに設定できる。なお、図２７ではストロークデータ３５１でテキストボックスが囲まれているが、ストロークデータ３５１で指定される領域にはテキストボックスやストロークデータなどは何もなくてもよい。

また、本実施例ではリンク先オブジェクトが領域で指定されているが、リンク元オブジェクトも領域により指定可能であってもよい。

＜オブジェクト同士の関連付けの動作手順＞
図２９は、表示装置２がオブジェクトと領域の関連付けを設定する手順を説明するシーケンス図の一例である。なお、図２９の説明では主に図２０との相違を説明する。

S21～24：図２０のステップS1～S4と同様でよい。

S25：ユーザーがリンク先の領域をストロークデータで囲む。

S26：接触位置検出部２１はユーザーが手書きしたストロークデータの座標を検出する。

S27：接触位置検出部２１は、ストロークデータが１点でなく、広がりがあるため、ストロークデータの座標を指定して領域の決定を領域管理部３０に要求する。

S28：領域管理部３０は、書き始めから書き終わりまでのストロークデータの座標の外接矩形が閾値以上かどうかを判断する。閾値以上の場合、領域管理部３０はストロークデータの外接矩形又は内接矩形の左上頂点の座標、及び、高さと幅のサイズを決定する。

S29：領域管理部３０は外接矩形又は内接矩形の左上頂点の座標、及び、高さと幅のサイズを領域情報としてリンク生成部２８に送信する。

S30：リンク生成部２８はリンク元オブジェクトＩＤ、領域の座標、及び、高さと幅のサイズを対応付けてリンク記憶部４２に設定する。

このように、本実施形態の表示装置２は、オブジェクトと任意の領域をユーザーが関連付けて設定できる。

＜リンク先オブジェクト又はリンク先領域の変倍表示＞
本実施例ではリンク先オブジェクト又はリンク先領域の変倍表示について説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０に示した機能ブロック図を援用できるものとして説明する。

リンク特定部２９は、リンク元オブジェクトがユーザーにより選択された時と同じ表示範囲をリンク元オブジェクト又はリンク先領域の表示範囲として決定する。しかし、リンク元オブジェクト又はリンク先領域の表示範囲が大きい場合、表示装置２がリンク先オブジェクト又はリンク先領域をディスプレーに表示しきれない場合がある。

そこで、リンク特定部２９は、適切な表示倍率を算出して表示倍率を切り替え、リンク先オブジェクト又はリンク先領域を表示する。

図３０は、表示制御部２４が表示倍率を決定する手順を示すフローチャート図の一例である。リンク特定部２９は現在の表示倍率でリンク先オブジェクト全体が表示できるか否かを判断する（Ｓ１０１）。判断の詳細は後述する。

ステップＳ１０１の判断がＮｏの場合、リンク特定部２９はリンク先オブジェクトの全体を表示できる適切な表示倍率を算出する（Ｓ１０２）。

図３１は、表示範囲が拡大された状態におけるリンク元オブジェクトの選択を説明する図である。リンク先オブジェクトの表示の際、リンク特定部２９はオブジェクト管理部３２からリンク先オブジェクトのサイズを取得する。そして、現在の表示倍率のまま表示範囲を切り替えた場合に、リンク先オブジェクト全体がディスプレーに表示可能かどうかを判断する。

図３２は、現在の表示倍率で表示されたリンク先オブジェクトを示す。リンク先オブジェクトがディスプレーに入りきらないので、図３２は実際には表示されない。この判断方法を説明する。リンク特定部２９は、標準倍率の場合にディスプレー内に表示可能な、標準幅と標準高さを保持している。また、表示倍率がｎ倍の場合、オブジェクト又は領域の幅と高さはそれぞれｎ倍される。したがって、現在の表示倍率をｎ倍とすると、リンク特定部２９は、標準幅と標準高さと、リンク先オブジェクト又はリンク先領域の幅と高さをそれぞれｎ倍した値とを比較する。

図３２の場合、リンク特定部２９は、幅方向でリンク先オブジェクトがディスプレーに入りきらないと判断できる。

図３３は、表示倍率の変更を説明する図である。オブジェクト管理部３２は、ｎ倍されたリンク先オブジェクトの幅に対する標準幅の比を算出する（幅÷標準幅）。そして、オブジェクト管理部３２は、この比の逆数を現在の表示倍率のｎにかける。

こうすることで、リンク特定部２９は、表示範囲にリンク先オブジェクトの全体を表示できる表示倍率を決定できる。図３１～図３３ではテキストボックス等のリンク先オブジェクトを例としたが、リンク先オブジェクトが領域の場合も同様である。

また、現在の表示倍率における表示範囲に対し、リンク先オブジェクトが小さすぎる場合、リンク特定部２９は、表示倍率を小さくする（小さくするとは、例えば１０倍であるのを２倍程度にする）。リンク特定部２９は、現在の表示倍率のまま表示範囲を切り替えた場合に、リンク先オブジェクトのサイズ（幅又は高さの小さい方）が閾値以下かどうかを判断する。この場合、リンク特定部２９は、リンク先オブジェクトのサイズが閾値程度の大きさになるように、表示倍率を決定する。リンク特定部２９は、例えば、「リンク先オブジェクトのサイズ÷閾値」の逆数を現在の表示倍率にかける。こうすることで、リンク特定部２９は、リンク先オブジェクトが小さすぎない大きさで表示範囲に表示される表示倍率を決定できる。

＜リンク先オブジェクト又はリンク先領域の表示位置＞
本実施例ではリンク先オブジェクト又はリンク先領域の表示位置を説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０に示した機能ブロック図を援用できるものとして説明する。

図２２では、リンク特定部２９がリンク先オブジェクトをディスプレーの中央に表示した。しかし、リンク特定部２９はディスプレー内のどの位置にリンク先オブジェクト又はリンク先領域を表示するかを制御してよい。

図３４（ａ）は、ディスプレーの中央に表示されたリンク先オブジェクト３６１の一例を示す。ディスプレーの中央にリンク先オブジェクト３６１が表示されると、ユーザーはリンク先オブジェクト３６１の周囲のオブジェクトも把握できる。

図３４（ｂ）は、ディスプレーの左上に表示されたリンク先オブジェクト３６１の一例を示す。ディスプレーの左上にリンク先オブジェクト３６１が表示されると、ユーザーはリンク先オブジェクト３６１に続けて手書きしやすい。

そこで、リンク特定部２９が、リンク先オブジェクト３が文字列であった場合、文字列の言語の書き出し方向に応じてディスプレー内のどの位置にリンク先オブジェクト又はリンク先領域を表示するかを制御する。

図３５は、リンク特定部２９が、リンク先オブジェクト又はリンク先領域の表示位置を制御するフローチャート図の一例である。

リンク特定部２９はリンク先オブジェクト３が文字列か否かをオブジェクト情報の種別の項目で判断する（Ｓ１１１）。

文字列であった場合、リンク特定部２９は文字列の言語が右書き出しか左書き出しかを判断する（Ｓ１１２）。文字列の文字コードにより言語が分かるので、リンク特定部２９は、まず言語を判断する。リンク特定部２９は、その上で、予め用意されている、種類が少ない右書き出しの言語のリストを参照し、右書き出しか左書き出しかを判断する。

リンク特定部２９は、右書き出しの場合は右上を表示位置に決定し（Ｓ１１３）、左書き出しの場合は左上を表示位置に決定する（Ｓ１１４）。リンク特定部２９は表示範囲を表示制御部２４に命令し、表示を切り替える。

こうすることで、ユーザーはリンク先オブジェクトを起点にして、別のオブジェクトを手書きしやすくなる。

＜オブジェクト一覧によるリンク先の設定＞
本実施例ではオブジェクト一覧によるリンク先の設定について説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０に示した機能ブロック図を援用できるものとして説明する。

ユーザーがペン２５００でリンク先オブジェクトを選択する他に、オブジェクト一覧からリンク先を選択することができる。

図３６は、表示制御部２４が表示するオブジェクト一覧の一例を示す。例えば、ユーザーがリンク元オブジェクトを押下すると、リンク生成部２８がオブジェクト一覧を表示制御部２４に表示させる。

オブジェクト一覧は表１のオブジェクト記憶部４１の各レコードを一覧にしたものである。オブジェクト一覧は、オブジェクトのサムネイルを有するとよい。ユーザーはオブジェクト一覧から任意のオブジェクトをリンク先として選択する。選択されたリンク先オブジェクトをリンク生成部２８が受け取り、リンク生成部２８が表２のリンク記憶部４２にリンク元オブジェクトと対応付けて設定する。

図３７は、表示装置２が２つのオブジェクトの関連付けを設定する手順を説明するシーケンス図の一例である。

S31～S34：図２０のステップS1～S4と同様でよい。

S35：リンク生成部２８はオブジェクト一覧の表示を表示制御部２４に要求する。

S36：ユーザーがオブジェクト一覧からオブジェクトを選択する。接触位置検出部２１が座標を受け付ける。

S37：接触位置検出部２１はユーザーが押下した座標を指定してオブジェクトの選択をオブジェクト管理部３２に要求する。

S38：オブジェクト管理部３２はユーザーが押下した座標がオブジェクト一覧のどのオブジェクトに最も近いかを判断し、リンク先オブジェクトを特定する。オブジェクト管理部３２はこのオブジェクトのオブジェクトＩＤをリンク先オブジェクトとしてリンク生成部２８に通知する。

S39：リンク生成部２８はリンク元オブジェクトＩＤとリンク先オブジェクトＩＤをリンク記憶部４２に設定する。

このように、本実施形態の表示装置２は、オブジェクト一覧からユーザーがリンク先オブジェクトを選択できるので、ユーザーが表示範囲を切り変えてリンク先オブジェクトを探す手間を低減できる。

＜サブビューの表示＞
本実施例ではサブビューの表示によるリンク先の表示について説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０に示した機能ブロック図を援用できるものとして説明する。

表示装置２がリンク先オブジェクト等に表示範囲を切り替えるのでなく、サブビュー内にリンク先オブジェクト等を表示することで、表示範囲が切り替わる前にユーザーがリンク先を確認できる。なお、サブビューとは、現在の表示範囲とは別の表示範囲を表示することをいう。例えば、サムネイル表示又はポップアップ表示等と称してもよい。

図３８は、リンク元オブジェクト３７１の選択例を示す図である。図３９は、図３８で選択されたリンク元オブジェクト３７１に関連付けられているリンク先オブジェクト３７２を含むサブビュー３７０の一例である。リンク元オブジェクト３７１の付近にサブビュー３７０が表示されている。したがって、ユーザーは表示範囲を切り替えなくてもリンク先オブジェクト３７２等を確認できる。

図４０、図４１は、リンク先オブジェクトがページである場合のサブビューを説明する図である。図４０は、ユーザーがリンク元オブジェクト３７３を押下している。リンク元オブジェクト３７３にはサムネイル表示されているページ３７４と３７５が関連付けられている。

図４１では、リンク元オブジェクト３７３に関連付けられているリンク先オブジェクトである２ページ３７４、３７５がサブビュー３７６、３７７で表示されている。このように、表示装置２は１つのリンク元オブジェクト３７３に関連付けている全てのリンク先オブジェクトをサブビュー３７６，３７７で表示できる。

図４２はサブビューの表示手順を示すシーケンス図の一例である。図４２の説明では図２６との相違を主に説明する。

S61～S64：図２６のステップS21～S24と同様でよい。

S65：リンク特定部２９は、各リンク先オブジェクトのオブジェクト情報をサブビュー作成部３１に送信する。

S66：サブビュー作成部３１は受け取った各オブジェクト情報に基づいて、リンク先オブジェクトとその周囲を含むサムネイルを作成する。

S67：サブビュー作成部３１はサブビューを表示制御部２４に送信する。表示制御部２４はリンク先オブジェクトと周囲を含むサブビューをリンク元オブジェクトの近くに表示する。

このように本実施形態では、表示装置２がサブビュー内にリンク先オブジェクトを表示することで、表示範囲が切り替わる前にユーザーがリンク先を確認できる。

＜リンク先の予約によるリンク先の設定＞
本実施例ではリンク先の予約によるリンク先の設定について説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０に示した機能ブロック図を援用できるものとして説明する。

表示装置２を使用するユーザーは手書きしている最中に、このオブジェクトは後でリンク先として利用したい、という場合がある。そこで、ユーザーがリンク先になり得るオブジェクトをオブジェクト情報に設定しておき、ユーザーが２つのオブジェクトを関連付ける際、リンク生成部２８がオブジェクト情報からこのリンク先を受け付ける。

図４３は、リンク先のオブジェクトの予約を説明する図である。まず、ユーザーはツールトレイからアイコンを選択して、表示装置２の動作モードをリンク先リスト設定モードに切り替える。リンク先リスト設定モードで、ユーザーは任意のオブジェクト３８１を押下する。

オブジェクト管理部３２はオブジェクト情報に該オブジェクト３８１が予約済みである旨を登録する。このため、オブジェクト記憶部４１は表１とは異なる項目を有する。

表３は、オブジェクト記憶部４１が記憶するオブジェクト情報の別の一例を示す。表３のオブジェクト記憶部４１は、「予約済み」の項目を有する。「予約済み」はこのオブジェクトがリンク先として予約済みであることを意味する。「予約済み」の項目により、各オブジェクトがリンク先として設定済みかどうかを保持することができる。

図４４は、リンク先のオブジェクトの予約による２つのオブジェクトの関連付けを説明する図である。ユーザーがリンク元オブジェクト３８２を押下すると、表示制御部２４が予約済みオブジェクト一覧３８３を画面上に表示する。予約済みオブジェクト一覧３８３はオブジェクト一覧と同様であるが、「予約済み」の項目がTrueのオブジェクトしか表示されないのでユーザーが予約先オブジェクトを選択しやすくなる。

ユーザーがいずれかのオブジェクトを選択すると、リンク生成部２８はリンク元オブジェクト３８２と、ユーザーが選択したリンク先オブジェクトを対応付けて、リンク記憶部４２に設定する。

図４５は、予約済みを利用した２つのオブジェクトの関連付けを説明するシーケンス図の一例である。

まず、オブジェクトの予約の流れについて説明する。

S41：リンク先リスト設定モードにおいて、ユーザーが予約済みに設定したいオブジェクトを押下する。

S42：接触位置検出部２１はユーザーが押下した座標を検出する。

S43：接触位置検出部２１はユーザーが押下した座標を指定してオブジェクトの選択をオブジェクト管理部３２に要求する。

S44：オブジェクト管理部３２はユーザーが押下した座標でオブジェクト記憶部４１を検索し、オブジェクトを特定する。

S45：オブジェクト管理部３２はこのオブジェクトの予約済みの項目をTrueに設定する。

次に、関連付けの流れについて説明する。

S46～S49：図２０のステップS1～S4と同様でよい。

S50：リンク生成部２８は予約済みオブジェクト一覧の表示を表示制御部２４に要求する。表示制御部２４はオブジェクト情報から予約済みの項目がTrueのオブジェクトを取得し、予約済みオブジェクト一覧として表示する。

S51：ユーザーが予約済みオブジェクト一覧からオブジェクトを選択する。接触位置検出部２１が座標を受け付ける。

S52：接触位置検出部２１はユーザーが押下した座標を指定してオブジェクトの選択をオブジェクト管理部３２に要求する。

S53：オブジェクト管理部３２はユーザーが押下した座標が予約済みオブジェクト一覧のどのオブジェクトに最も近いかを判断し、リンク先オブジェクトを特定する。オブジェクト管理部３２はこのオブジェクトのオブジェクトＩＤをリンク先オブジェクトとしてリンク生成部２８に通知する。

S54：リンク生成部２８はリンク元オブジェクトＩＤとリンク先オブジェクトＩＤをリンク記憶部４２に設定する。

このように、表示装置２は予約済みのオブジェクトのみ表示するので、ページ内のオブジェクトの数が多い場合などに、ユーザーがリンク先オブジェクトを選択しやすくなる。

＜リンク先の選択表示＞
本実施例ではリンク先の選択表示によるリンク先への移動について説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０７に示した機能ブロック図を援用できるものとして説明する。

１つのリンク元オブジェクトに、複数のリンク先オブジェクトが関連付けられる場合がある。この場合に、任意のリンク先オブジェクトをユーザーが選択する方法を説明する。

図４６は、複数のリンク先オブジェクトが設定されているリンク元オブジェクト３９１の押下を説明する図である。ユーザーが押下するリンク元オブジェクト３９１にはリンク記憶部４２に複数のリンク先オブジェクトが設定されている。複数のリンク先オブジェクトが設定されているリンク元オブジェクト３９１が押下された場合、リンク特定部２９は複数の検索結果を返す。表示制御部２４は、検索結果のリンク先オブジェクトを一覧としてユーザーに提示する。

図４７はユーザーに提示されたリンク先オブジェクト３９２、３９３のサムネイルを示す図である。図４７では、２つのリンク先オブジェクト３９２、３９３のサムネイルがリンク元オブジェクトの付近に表示されている。ユーザーがリンク先オブジェクト３９２又は３９３を押下すると、リンク先オブジェクトが含まれるようにリンク特定部２９が表示範囲を決定する。

図４８は、図４７のリンク先オブジェクトが選択された場合に表示装置２が表示する表示範囲を示す。図４８では図４７で選択されたリンク先オブジェクト３９２のサムネイルが表示範囲となっている。

図４９は、サムネイル表示された任意のリンク先オブジェクトをユーザーが選択した場合、表示装置２がリンク先オブジェクトを表示する手順を説明するシーケンス図の一例である。

S71～S75：図２６のステップS11～S15と同様でよい。

S76：リンク特定部２９は作成した表示範囲のサムネイルの表示を表示制御部２４に要求する。

S77：ユーザーが表示範囲に指定するサムネイルを押下する。

S78：接触位置検出部２１はユーザーが押下した座標を表示制御部２４に通知する。

S79：表示制御部２４は、ユーザーが押下した座標で特定されるサムネイルに表示範囲を切り替える。

このように、１つのリンク元オブジェクトに複数のリンク先オブジェクトが関連付けられている場合、ユーザーはリンク先オブジェクトを選択してから表示範囲を切り替えることができる。

＜プレビュー機能、ネクスト機能＞
本実施例ではプレビュー機能又はネクスト機能による表示範囲の移動について説明する。本実施例においては、上記の実施例にて説明した図９のハードウェア構成図、及び、図１０に示した機能ブロック図を援用できるものとして説明する。

ユーザーとしてはリンク先オブジェクトを一時的に表示させ、すぐに元の表示範囲に戻りたい場合がある。このようなニーズに対してはプレビュー機能が知られている。また、ユーザーが再度、リンク先オブジェクトを表示させたい場合はネクストビュー機能が知られている。

図５０は、表示制御部２４が保持する時系列オブジェクトリストの一例である。時系列オブジェクトリストは、起点表示範囲と１つ以上のリンク先オブジェクトが表示順に対応付けられたリストである。起点表示範囲はユーザーがリンク先オブジェクトを表示させる直前に表示させていた表示範囲である。起点表示範囲に続くリンク先オブジェクトＩＤは、ユーザーが選択して表示装置２が表示したリンク先オブジェクトを時系列に示す。

図５１は、プレビュー機能を説明する図である。ユーザーがリンク元オブジェクト４０１を押下する。表示制御部２４は起点表示範囲とリンク先オブジェクトＩＤを保存していく。

図５２はリンク元オブジェクト４０１の押下により表示装置２が表示したリンク先オブジェクト４０２の一例である。ツールトレイにはプレビューボタン４０３とネクストボタン４０４が表示される。ユーザーがプレビューボタン４０３を押下する。表示制御部２４は、現在の表示中のリンク先オブジェクトＩＤに基づいて、１つ前のリンク先オブジェクトＩＤ又は起点表示範囲を特定し、表示範囲に決定する。

図５３は、プレビューボタン４０３の押下で表示された表示範囲を示す。したがって、ユーザーはリンク先オブジェクトを切り替えて表示できる。

図５４は、表示装置２がプレビュー機能又はネクスト機能に応じてリンク先オブジェクトを表示する手順を示すフローチャート図の一例である。図５０の処理は、表示装置２がリンク先オブジェクトを表示した状態でスタートするものとする。

表示制御部２４は、ユーザーが選択したリンク先オブジェクトを表示する（Ｓ２０１）。また、表示制御部２４はリンク先オブジェクトを表示すると時系列オブジェクトリストを作成する（Ｓ２０２）。

表示制御部２４はプレビューボタン又はネクストボタンが押下されたか否かを判断する（Ｓ２０３）。

プレビューボタン又はネクストボタンが押下された場合、表示制御部２４は時系列オブジェクトリストを参照してリンク先オブジェクトを表示する（Ｓ２０４）。

このようにユーザーはリンク先オブジェクトを一時的に表示させ、すぐに元の表示範囲に戻ることができる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図５５は、表示装置２の他の構成例を示す図である。図５５では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００－１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の別の構成例２＞＞
図５６は、表示装置２の他の構成例を示す図である。図５６の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図５５と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図５７は、表示装置２の構成例を示す図である。図５７の例では、表示装置２として、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図５５と同様でよい）、端末装置６００へ送信する。なお、図５７の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレー８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図５８は、表示装置２の構成例を示す図である。図５８の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

文字列は文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、表示装置２は、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図１０などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を１１とした場合の閾値未満という記載は閾値が１０である場合の閾値以下と同等の意味を持つ。また、閾値を１０とした場合の閾値超過という記載は閾値が１１である場合の閾値以上と同等の意味を持つ。

オブジェクト管理部３２は受付手段の一例である。リンク生成部２８は設定手段の一例である。表示制御部２４は表示制御手段の一例である。操作受付部２７は操作受付手段の一例である。領域管理部３０は領域受付手段の一例である。

２ 表示装置

特開２０１６－０５１４１９号公報

Claims (13)

1. 手書き入力されたオブジェクトを表示する表示装置であって、
   前記表示装置が表示している第一のオブジェクトと、
   該第一のオブジェクトと関連づけられる第二のオブジェクトを受け付ける受付手段と、
   前記第一のオブジェクトと前記第二のオブジェクトとを関連づけする設定手段と、
   を備える表示装置。
2. 前記表示装置の機能を呼び出すアイコンを表示する表示制御手段と、
   前記アイコンの選択を受け付ける操作受付手段と、を有し、
   所定の前記アイコンが押下された後、前記受付手段は入力手段で入力された座標に基づいて前記第一のオブジェクトを受け付け、前記受付手段は入力手段で入力された座標に基づいて前記第二のオブジェクトを受け付ける請求項１に記載の表示装置。
3. 前記入力手段で入力された座標が閾値以上又は閾値超過のサイズを有する場合、前記座標を含む領域を前記第二のオブジェクトとして受け付ける領域受付手段を有する請求項２に記載の表示装置。
4. 前記受付手段が入力手段で入力された座標に基づいて前記第一のオブジェクトを受け付けた場合、前記表示制御手段はオブジェクト記憶部に記憶されているオブジェクトの一覧を表示し、
   前記オブジェクトの一覧から選択された前記第二のオブジェクトを受け付ける請求項２又は３に記載の表示装置。
5. 前記オブジェクト記憶部には、前記第二のオブジェクトとして予約されたオブジェクトが設定されており、
   前記受付手段が入力手段で入力された座標に基づいて前記第一のオブジェクトを受け付けた場合、前記表示制御手段はオブジェクト記憶部に前記第二のオブジェクトとして予約されているオブジェクトのみの一覧を表示し、
   前記オブジェクトの一覧から選択された前記第二のオブジェクトを受け付ける領域受付手段を有する請求項４に記載の表示装置。
6. 前記設定手段が前記第一のオブジェクトと前記第二のオブジェクトとを関連づけした後、入力手段により座標が入力された場合、
   前記受付手段は前記座標に基づいて前記第一のオブジェクトを特定し、
   前記設定手段により前記第一のオブジェクトと関連付けされた前記第二のオブジェクトを含む表示範囲を表示する表示制御手段を有する、
   ことを特徴とする請求項１～５のいずれか１項に記載の表示装置。
7. 前記表示範囲に前記第二のオブジェクトの全体が入らない場合、前記表示制御手段は前記第二のオブジェクトの幅又は高さのうち大きい方が前記表示範囲に入るように表示倍率を変更することを特徴とする請求項６に記載の表示装置。
8. 前記表示制御手段は、前記第一のオブジェクトと関連付けられている前記第二のオブジェクトが文字列である場合、前記文字列の言語が右書き出しか、左書き出しかを判断し、
   右書き出しの場合は前記表示範囲の右上に前記第二のオブジェクトを配置し、
   左書き出しの場合は前記表示範囲の左上に前記第二のオブジェクトを配置することを特徴とする請求項６に記載の表示装置。
9. 前記表示制御手段は、前記座標に基づいて特定された前記第一のオブジェクトと関連付けられている前記第二のオブジェクトを含む表示範囲を縮小して、前記第一のオブジェクトの付近に表示することを特徴とする請求項６～８のいずれか１項に記載の表示装置。
10. 前記表示制御手段は、前記第一のオブジェクトと関連付けられている前記第二のオブジェクトが複数ある場合、前記第二のオブジェクトを含む表示範囲を縮小して、前記第一のオブジェクトの付近にそれぞれ表示し、
    ユーザーの選択に応じて、前記第二のオブジェクトを含む表示範囲を表示することを特徴とする請求項９に記載の表示装置。
11. 前記第二のオブジェクトを前記表示制御手段が表示した場合、表示した前記第二のオブジェクトの識別情報を時系列に記録しておき、
    前記表示制御手段は、プレビューボタン又はネクストボタンの押下に応じて表示範囲を変更することを特徴とする請求項６～１０のいずれか１項に記載の表示装置。
12. 手書き入力されたオブジェクトを表示する表示装置が行う表示方法であって、
    受付手段が、前記表示装置が表示している第一のオブジェクトと、該第一のオブジェクトと関連づけられる第二のオブジェクトを受け付けるステップと、
    設定手段が、前記第一のオブジェクトと前記第二のオブジェクトとを関連づけするステップと、
    を有する表示方法。
13. 手書き入力されたオブジェクトを表示する表示装置を、
    前記表示装置が表示している第一のオブジェクトと、該第一のオブジェクトと関連づけられる第二のオブジェクトを受け付ける受付手段と、
    前記第一のオブジェクトと前記第二のオブジェクトとを関連づけする設定手段、
    として機能させるためのプログラム。

Images