JP2014067208A - 画像表示システム及びその制御方法 - Google Patents

Abstract

【課題】画像表示装置に表示されたポインタを端末装置から操作できるシステムにおいて、画像表示装置の画像の表示形態が変更されても、表示画像に対するポインタの相対位置が変更されない画像表示システム及びその制御方法を提供する。
【解決手段】画像表示システム１００は主装置２００及び副装置３００を備え、主装置及び副装置の表示画像を同期するモードにおいて、主装置は、副装置から受信したユーザのタッチ位置に対応する位置にポインタを表示し、表示されている画像の表示形態を変更する指示を受けたことに応じて、変更後の画像を生成して表示すると共に、変更後の画像を副装置に送信し、副装置は、受信した変更後の画像を表示する処理、又は、ユーザのタッチ位置の情報を主装置に送信する処理を選択的に実行する。これにより、ユーザの意図しない位置にポインタが表示されることを防止することができる。
【選択図】図３

Description

本発明は、会議及びプレゼンテーション等において使用される画像表示装置及び端末装置を備えた画像表示システムに関し、特に、画像表示装置の画面に表示されたポインタを端末装置により操作しているときに、画像表示装置において表示画像のサイズを変更する操作が実行された場合にも、端末装置の操作者が意図した位置にポインタを表示することができる画像表示システム及びその制御方法に関する。

近年、タッチ描画画像表示装置の１つである、会議等で用いられる電子黒板として、様々な構成のものが実用化されている。特に、大型の表示画面を有する画像表示装置と、タッチパネル等の２次元における位置座標を検知する入力装置とを組合せ、コンピュータシステムとして構成された電子黒板装置が利用されている。大型の電子黒板装置は、プレゼンテーション等にも使用されている。

一般的に、電子黒板装置は、ペン等によって指定される位置座標及び移動量の情報を逐次読取り、読取った情報を元に入力の軌跡を画像表示装置に表示する。これによって、電子黒板装置は手書き入力等の、電子黒板としての動作を実現している。

また、通信ネットワークに接続され、受信したファイルを表示できる電子黒板装置も知られている。そのような電子黒板装置を会議に使用する場合、共通の資料等を電子黒板装置に表示し、参加者が端末装置を操作することによって、電子黒板装置に表示された画像（資料等）を操作しながら（例えば、表示画像の特定の場所を、画面に表示された矢印等のポインタで指し示しながら）、会議を行なうことが考えられる。

例えば、下記特許文献１には、ネットワークに接続された複数の端末装置を備えたでデスクトップ会議システムが開示されている。このデスクトップ会議システムでは、送信側装置から会議資料を受信側装置に送信し、同期モードにおいて、送信側装置及び受信側装置で常に同じ会議資料を表示して共有することができる。また、同期モードにおいて、送信側装置に表示されている画像（共通の会議資料）上に表示されるポインタに対応するテレポインタを、受信側装置に表示されている画像（共通の会議資料）上の同じ位置に表示するので、資料の配布者は、送信側装置のポインタを操作して、特定の位置を指し示しながら会議資料の説明を行なうことができる。

この技術を用いて、例えば図１に示すような画像表示システムが考えられる。図１を参照して、電子黒板装置９００及び端末装置９２０は、通信ネットワーク９４０に接続されている。端末装置９２０は、タッチパネルを備えている。端末装置９２０の表示画面は、電子黒板装置９００の表示画面に同期される（以下「表示同期モード」という）。即ち、電子黒板装置９００の表示部９０２に画像が表示される場合、その画面データ（指定された画像データを含む画面全体のデータ）は端末装置９２０に送信され、端末装置９２０の表示部９２２には、電子黒板装置９００と同じ画面（画像）が表示される。この状態で、ユーザが指（破線９２４で示す）で端末装置９２０のタッチパネル上の点９２６にタッチすると、タッチした点９２６の位置情報（位置座標）がネットワーク９４０を介して、電子黒板装置９００に送信され、電子黒板装置９００は、タッチされた点９２６に対応する位置に先端部９０６が位置するようにポインタ９０４を表示する。この機能を「ポインタリンク機能」という。したがって、端末装置９２０のユーザは、タッチパネルへのタッチ操作によって、電子黒板装置９００に表示された画像上の任意の位置をポインタ９０４で示しながら、電子黒板装置９００の画面を見ている参加者に、効率的な説明を行なうことができる。

特開平９−１０１７６７号公報

図１に示したシステムにおいて表示同期モードが実行されている場合、電子黒板装置９００の表示部９０２に表示されたアイコンのうち、表示画像のサイズを変更するためのアイコン９０８がタッチされると、表示部９０２にはサイズが変更された画像が表示され、同時に端末装置９３０に表示されていた画像もサイズが変更されて表示される。したがって、ユーザが端末装置９２０を操作し、ポインタ９０４によって特定の対象物又は位置を示しながら説明を行なっている途中に、電子黒板装置９００においてアイコン９０８（画像の拡大を指示するためのアイコン）がタッチされると、図２に示すように、端末装置９２０のタッチパネル上のタッチされた位置が変わらないので、電子黒板装置９００に表示されたポインタ９０４の位置が変更されないまま、画像が拡大されるので、ユーザが意図した位置（破線で示すポインタ９１０）と異なる位置にポインタ９０４が表示されてしまう問題がある。したがって、ユーザはあわてて、ポインタ９１０に対応する、タッチパネル上の位置にタッチしなければならない。

このような問題は、画像サイズが変更される場合に限らない。電子黒板装置９００が、画像のスクロール表示機能を有する場合、電子黒板装置９００において表示画像のスクロール操作が実行されると、同様に、端末装置９２０のユーザが意図した位置にポインタが表示されない問題が生じる。

したがって、本発明は、共有の画像表示装置に表示された画像上に重畳して表示されるポインタの位置を、端末装置から操作することができる画像表示システムにおいて、画像表示装置に表示された画像の位置及びサイズが変更されても、表示画像に対するポインタの位置が変更されない画像表示システム及びその制御方法を提供することを目的とする。

本発明の第１の局面に係る画像表示システムは、相互に通信可能な主装置及び副装置を備える画像表示システムである。主装置は、画像を表示する第１表示部と、第１表示部に表示されている画像の表示形態を変更する指示を検出する第１検出部と、第１検出部が指示を検出したことに応じて、変更後の表示形態に対応する画像を副装置に送信する第１通信部とを備え、第１表示部は、第１検出部が指示を検出したことに応じて、変更後の表示形態に対応する画像を表示し、副装置は、第１通信部から送信される画像を受信する第２通信部と、第２通信部により受信された画像を表示する第２表示部と、第２表示部により表示されている画像上の位置を指定する操作を検出し、位置を特定する第２検出部とを備え、第２通信部は、第２検出部によって特定された位置に対応する所定の座標を第１通信部に送信し、第１表示部は、第１通信部が座標を受信したことを受けて、受信された座標に応じて、第１表示部に表示されている画像の上に所定の図形を表示し、第２通信部が、第２表示部によって表示されている画像と異なる表示形態の画像を受信したときに、第２表示部による、受信した画像の表示処理と、第２通信部による、第２検出部により特定された位置に対応する座標を第１通信部に送信する送信処理とが選択的に実行される。

好ましくは、副装置は、タッチパネルを備え、第２検出部による、第２表示部により表示されている画像上の位置を指定する操作を検出する処理は、タッチパネルに対するユーザのタッチ操作を検出する処理であり、特定された位置は、タッチされた点の位置である。

より好ましくは、受信された座標に応じて、第１表示部に表示されている画像の上に表示される所定の図形は、ポインタである。

さらに好ましくは、第１表示部に表示されている画像の表示形態を変更する指示は、表示されている当該画像の大きさを変更して表示する指示、又は、表示されている当該画像を含む元画像上において、第１表示部により表示される画像領域を変更する指示である。

好ましくは、第２通信部が、第２表示部によって表示されている画像と異なる表示形態の画像を受信したときに、第２検出部が画像上の位置を指定する操作を検出したことを受けて、第２表示部による、受信した画像の表示処理よりも、第２通信部による、第２検出部により特定された位置に対応する座標を第１通信部に送信する送信処理が優先して実行される。

より好ましくは、第２通信部が、第２表示部によって表示されている画像と異なる表示形態の画像を受信したときに、第２検出部が画像上の位置を指定する操作を検出したことを受けて、第２通信部による、第２検出部により特定された位置に対応する座標を第１通信部に送信する送信処理よりも、第２表示部による、受信した画像の表示処理が優先して実行される。

本発明の第２の局面に係る画像表示システムの制御方法は、相互に通信可能な主装置及び副装置を備える画像表示システムの制御方法である。この制御方法は、主装置において、画像を表示する第１の表示ステップと、主装置において、表示されている画像の表示形態を変更する指示を検出する第１の検出ステップと、指示が検出されたことに応じて、変更後の表示形態に対応する画像を、主装置から副装置に送信する第１の通信ステップと、第１の検出ステップにより、指示が検出されたことに応じて、変更後の表示形態に対応する画像を、主装置に表示するステップと、副装置において、第１の通信ステップにより送信された画像を受信する第２の通信ステップと、副装置において、第２の通信ステップにより受信された画像を表示する第２の表示ステップと、副装置において、第２の表示ステップにより表示された画像上の位置を指定する操作を検出し、位置を特定する第２の検出ステップと、副装置において、第２の検出ステップにより特定された位置に対応する所定の座標を、主装置に送信するステップと、主装置において、第１の通信ステップにより座標が受信されたことを受けて、受信された座標に応じて、主装置に表示されている画像の上に所定の図形を表示するステップとを含み、副装置において、第２の通信ステップにより、副装置に表示されている画像と異なる表示形態の画像が受信されたときに、第２の検出ステップにより画像上の位置を指定する操作が検出されたか否かに応じて、第２の表示ステップによる、受信された画像の表示処理と、第２の通信ステップによる、第２の検出ステップにより特定された位置に対応する座標を、主装置に送信する送信処理とが選択的に実行される。

本発明によれば、会議又はプレゼンテーション等において、ユーザが端末装置を使用して、画像表示装置に表示された画像上の特定の位置又は対象物をポインタによって指し示しているときに、画像表示装置において表示画像のサイズ又は位置が変更される操作がなされた場合に、表示画像に対するポインタの位置が変更されることを防止することができる。したがって、ユーザは安心して、画像表示装置に表示されるポインタを用いて、説明等を行なうことができる。

従来の画像表示システムにおける表示画面例を示す図である。 従来の画像表示システムにおける問題を示す図である。 本発明の実施の形態に係る画像表示システムの構成を示すブロック図である。 図３に示した主装置の概略構成を示すブロック図である。 図３に示した主装置の表示画面例を示す図である。 図３に示した副装置の概略構成を示すブロック図である。 図３に示した主装置において実行される、ポインタ及び画像の表示に関するプログラムの制御構造を示すフローチャートである。 図３に示した副装置において実行される、表示同期よりも座標入力（ポインタリンク機能）を優先するプログラムの制御構造を示すフローチャートである。 図３に示した副装置の表示画面例を示す図である。 表示対象の画像上、主装置に表示された画像上、及び副装置に表示された画像上の対応する点の位置座標の関係を示す図である。 図３に示した副装置において実行される、座標入力（ポインタリンク機能）よりも表示同期を優先するプログラムの制御構造を示すフローチャートである。 機能ボタン領域を考慮して、主装置の表示画面と副装置の表示画面との関係を示す図である。

以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。

図３を参照して、本発明の実施の形態に係る画像表示システム１００は、主装置２００、副装置３００、及び無線ルータ４００を備えて構成される。主装置２００及び無線ルータ４００は、有線で通信ネットワーク（以下、単にネットワークという）４１０（ＬＡＮ及びインターネットを含む）に接続されている。主装置２００は、画像表示装置、例えば、タッチ操作によって描画可能な大画面の電子黒板装置である。副装置３００は、例えば携帯端末装置である。副装置３００は、例えば１０インチ程度の表示画面を有するタブレット装置、又は、タブレット装置よりもサイズの小さい（数インチ程度）表示画面を有するスマートフォン等である。

無線ルータ４００は、ＴＣＰ／ＩＰ等の所定の通信プロトコルにしたがって、無線通信可能な機器をネットワーク４１０に接続するための装置である。副装置３００は、無線ルータ４００を介してネットワーク４１０に接続可能である。

図４を参照して、主装置２００は、主装置２００全体を制御する制御部（以下、ＣＰＵという）２０２と、プログラム等を記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０４と、揮発性の記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０６と、記憶部２０８と、バス２２０とを備えている。ＲＯＭ２０４には、主装置２００の動作を制御するのに必要なプログラム及びデータが記憶されている。記憶部２０８は、通電が遮断された場合にもデータを保持する不揮発性の記憶装置であり、例えば、ハードディスクドライブ、又はフラッシュメモリ等である。記憶部２０８は、所定のインターフェイス（ＵＳＢ等）を備えて着脱可能に構成されていてもよい。

ＣＰＵ２０２、ＲＯＭ２０４、ＲＡＭ２０６、記憶部２０８はバス２２０に接続されている。各部間のデータ（制御情報を含む）交換は、バス２２０を介して行なわれる。ＣＰＵ２０２は、バス２２０を介してＲＯＭ２０４からプログラムをＲＡＭ２０６上に読出して、ＲＡＭ２０６の一部を作業領域としてプログラムを実行する。即ち、ＣＰＵ２０２は、ＲＯＭ２０４に格納されているプログラムにしたがって主装置２００を構成する各部の制御を行ない、主装置２００の各機能を実現する。

ＲＡＭ２０６は、画像を表示するためのビデオメモリとしての機能を備えている。即ち、ＲＡＭ２０６の一部はＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）として使用される。以下、ＶＲＡＭとして使用されるＲＡＭ２０６の領域を、ＶＲＡＭ領域という。ＶＲＡＭ領域へのデータの記憶（書込み）は、表示部２１０への画像表示のブランキング期間に実行される。ＲＡＭ２０６上に、複数枚の画面に対応するＶＲＡＭ領域を確保し、これらを切換えて表示部２１０に表示する場合には、現在表示されていない画面に対応するＶＲＡＭ領域に対して画像データの記憶（書込み）が実行される。なお、ＲＡＭ２０６とは別にＶＲＡＭを備える構成であってもよい。

主装置２００はさらに、表示部２１０、表示制御部２１２、操作部２１４、表示座標変換部２１６、及び通信ＩＦ部２１８を備えている。ここでは、主装置２００は電子黒板装置であるとして説明する。

表示部２１０は、画像を表示するための表示パネル（液晶パネル等）である。表示制御部２１２は、表示部２１０を駆動するための駆動部を備え、ＲＡＭ２０６のＶＲＡＭ領域に記憶された画像データを所定のタイミングで読出し、表示部２１０に画像として表示するための信号を生成して、表示部２１０に出力する。表示される画像データは、ＣＰＵ２０２が記憶部２０８から読出して、ＲＡＭ２０６に伝送する。このようにして、ＶＲＡＭ領域に記憶されたデータは、画像として表示部２１０に表示される。

通信ＩＦ部２１８は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）であり、通信ケーブルでハブ（図示せず）等に接続され、これを介してネットワーク４１０に接続される。これによって、ネットワーク４１０に接続されたコンピュータ等との間でデータ（画像データを含む）を送受信する。通信ＩＦ部２１８を介して外部から受信したデータは、ＲＡＭ２０６に記憶され、必要に応じて記憶部２０８に記録される。

操作部２１４は、ユーザによる主装置２００に対する指示等の入力を受付ける。電子黒板装置では、操作部２１４は、液晶パネル等で構成された表示部２１０の上に配置され、タッチされた位置を検出するためのＬＥＤ等を有するタッチ検出装置、及び操作キー部（何れも図示せず）を備えている。主装置２００を操作するために、表示部２１０にはソフトウェアキー（以下、ソフトキーともいう）が表示され、操作キー部にはハードウェアキー（以下、ハードキーともいう）が配置される。ＣＰＵ２０２は、これらのキーに対するユーザの操作を監視する。ユーザはこれらのキーにタッチして、主装置２００に対して、表示内容に対する処理の指示を入力することができる。表示部２１０に表示されたソフトキーの選択は、タッチ検出装置によってタッチされた位置を検出することによって行なわれる。

タッチ検出装置は、例えば公知の赤外線遮断検出方式のタッチパネルである。このタッチパネルは、長方形の書込面の隣接する２辺にそれぞれ一列に配置された発光ダイオード列（以下、ＬＥＤ列と記す）と、それぞれのＬＥＤ列に対向させて一列に配置された２つのフォトダイオード列（以下、ＰＤ列と記す）とを備えている。ＬＥＤ列の各ＬＥＤから赤外線を発光し、この赤外線を対向するＰＤ列の各ＰＤが検出する。

ユーザがタッチペンでタッチパネル上の１点にタッチすると、タッチペンのペン先によって赤外線が遮断される。したがって、タッチされた位置座標を求めることができる。タッチペンを使用せずに、指でタッチ検出装置にタッチしても、同様にタッチされた位置を検出することができる。

タッチされた位置の検出技術は公知であるので、これ以上の説明は繰返さない。また、タッチ検出装置には、赤外線遮断方式以外のタッチパネル（静電容量方式、表面弾性波方式、抵抗膜方式等）を用いてもよい。

記憶部２０８に記憶されている画像ファイルは、ユーザによる操作部２１４の操作によって読出されてＲＡＭ２０６に書込まれ、表示部２１０に表示される。表示座標変換部２１６は、画像ファイルから表示部２１０に表示される画像を生成する。読出される画像の大きさは任意であり、描画領域２５０よりも大きければ、適宜縮小されて表示されるか、又は、表示可能な一部分のみが表示される。一部分のみが表示される場合には、スクロールバーが表示されてもよい。ユーザは、スクロールバーをタッチ操作して、表示されていない画像部分を、主装置２００に表示させることができる。表示座標変換部２１６は、ユーザが操作部２１４を操作し、表示画像の表示形態を変更する指示（例えば、拡大、縮小、又はスクロール等）をした場合には、指示に応じて表示画像の座標変換等を実行して、新たに表示されるべき画像を生成し、ＲＡＭ２０６のＶＲＡＭ領域に記憶する。生成後の画像は、表示制御部２１２により表示部２１０に表示される。

主装置２００には、図５に示すような画面が表示される。表示部２１０の表示画面は、描画領域２５０と機能ボタン領域２４０とに区分されている。描画領域２５０は、ユーザがタッチ操作によって描画できる領域である。即ち、タッチされた点及びその移動軌跡のＸＹ座標が、上記したようにタッチ検出装置によって検出され、ＣＰＵ２０２に伝送される。ＣＰＵ２０２は、受信した座標データに応じて、ＲＡＭ２０６の対応するメモリアドレスに所定値を書込む。ＲＡＭ２０６のＶＲＡＭ領域上の画像データの画素値を変更してもよいが、ここでは、ＲＡＭ２０６は、表示される画像データを記憶するＶＲＡＭ領域とは別に、描画データを記憶する領域（以下、オーバレイ領域ともいう）を備えているとする。この場合、例えば、オーバレイ領域において描画されていないメモリアドレスのデータを“０”とすると、ＣＰＵ２０２は、描画位置に対応するメモリアドレスに“１”を書込む。表示制御部２１２は、画像データ（ＶＲＡＭ領域上のデータ）と描画データ（オーバレイ領域のデータ）とをスーパーインポーズして表示部１１２に表示する。即ち、描画データがある点（例えばオーバレイ領域に“１”が記録されている画素）では描画データを表示（予め設定された色を表示）し、描画データがない点（例えばオーバレイ領域に“０”が記録されている画素）では画像データを表示する。

同時に複数色の描画図形を表示するには、オーバレイ領域の各画素値を２ビット以上にし、オーバレイ領域の画素値に対応する色を特定するためのルックアップテーブルを用意すればよい。

機能ボタン領域２４０には、各々特定の機能が割当てられた複数の機能ボタン（１点鎖線領域２４２参照）が表示される。各機能ボタンに割当てられる機能は、例えば、タッチ操作による描画機能、所定領域の描画を削除する消しゴム機能、記憶部２０８に保存されているファイル（画像データ）を開く機能、表示されている画像データを記憶部２０８に保存する機能、表示されている画像データを印刷する機能等である。各機能ボタンは、アイコンとして表示される。このように、各機能ボタンは、表示されている画像に対する画像処理の実行を指示するアイコンを含む。複数の機能ボタンのうちの１つであるサイズ変更ボタン２４４は、表示されている画像のサイズを変更（拡大又は縮小）するためのボタンである。

描画領域２５０の下部には、ページ操作領域２６０が表示される。この領域には、ページ送りボタン２６２、ページ戻しボタン２６４、及びページ番号表示欄２６６が表示される。ページ送りボタン２６２は、タッチされると、表示されているページ（描画領域２５０に表示された画像）を右側に送り、次のページを表示するためのボタンである。ページ戻しボタン２６４は、タッチされると、表示されているページを左側に送り、前のページを表示するためのボタンである。ページ番号表示欄２６６には、表示対象の複数のページのうち、現在表示されているページの番号が表示される。ページ操作領域２６０は、位置が固定されており、スクロール中にも移動しない。例えば、ページ操作領域２６０を表示部１１２に表示するためのデータは、描画用のオーバレイ領域とは別のオーバレイ領域に記憶しておけばよい。

ユーザが、ページ送りボタン２６２をタッチすると、タッチされた位置の座標データがタッチ検出装置からＣＰＵ２０２に伝送され、ＣＰＵ２０２は、受信した座標データが、ページ送りボタン２６２が表示された領域内の位置であると判定する。表示対象の一連の画像データは、予め全て記憶部２０８から読出されてＲＡＭ２０６に記憶されているとすると、表示制御部２１２は、ＲＡＭ２０６上の現在表示されているページに対応する画像データと、次ページに対応する画像データとから、ページ送りの途中の画像データ（１ページ分の画像データ）を生成し、ＶＲＡＭ領域に上書きする。これによって、表示部１１２に、ページ送りされている途中の画像が表示される。

図６を参照して、副装置３００は、副装置３００全体を制御するＣＰＵ３０２と、メモリ３０４と、ＲＡＭ３０６と、バス３２０とを備えている。メモリ３０４は、電気的に書換え可能な不揮発性の記憶装置であり、例えばフラッシュメモリ等である。メモリ３０４には、副装置３００の動作を制御するのに必要なプログラム及びデータが記憶されている。

ＣＰＵ３０２、メモリ３０４、ＲＡＭ３０６はバス３２０に接続されている。各部間のデータ（制御情報を含む）交換は、バス３２０を介して行なわれる。ＣＰＵ３０２は、バス３２０を介してメモリ３０４からプログラムをＲＡＭ３０６上に読出して、ＲＡＭ３０６の一部を作業領域としてプログラムを実行する。即ち、ＣＰＵ３０２は、メモリ３０４に格納されているプログラムにしたがって副装置３００を構成する各部の制御を行ない、副装置３００の各機能を実現する。

副装置３００はさらに、表示部３１０、表示制御部３１２、操作部３１４、入力座標変換部３１６、及び無線ＩＦ部３１８を備えている。ここでは、副装置３００はタブレット装置であるとして説明する。

表示部３１０は、画像を表示するための表示パネル（液晶パネル等）である。表示制御部３１２は、表示部３１０を駆動するための駆動部を備え、ＲＡＭ３０６に記憶された画像データを所定のタイミングで読出し、表示部３１０に画像として表示するための信号を生成して、表示部３１０に出力する。表示される画像データは、ＣＰＵ３０２がメモリ３０４から読出して、ＲＡＭ３０６に伝送する。無線ＩＦ部３１８は、無線ルータ４００との無線通信を行ない、副装置３００をネットワーク４１０に接続可能にする。

操作部３１４は、ユーザによる副装置３００に対する指示等の入力を受付ける。タブレット装置では、操作部３１４は、液晶パネル等で構成された表示部３１０の上に配置され、タッチされた位置を検出するためのタッチパネルと、操作キー部（何れも図示せず）とを備えている。副装置３００を操作するために、表示部３１０にはソフトキーが表示され、操作キー部にはハードキーが配置される。ＣＰＵ３０２は、これらのキーに対するユーザの操作を監視する。ユーザはこれらのキーにタッチして、副装置３００に対して指示を入力することができる。表示パネルに表示されたソフトキーの選択は、タッチパネルによってタッチされた位置を検出することによって行なわれる。

入力座標変換部３１６は、操作部３１４から入力されるデータ、即ちユーザによりタッチされたタッチパネル上の点の位置座標から、主装置２００の表示部２１０に表示するポインタ２３０（図５参照）の位置座標（例えば、先端２３２の位置座標）を算出する。詳細については後述する。

以下に、主装置２００及び副装置３００が表示同期モードで画像を表示し、ポインタリンク機能を実行している場合に、表示画像の同期を一時的に制限（表示同期よりもポインタリンク機能を優先）する処理、又は、ポインタリンク機能を一時的に制限（ポインタリンク機能よりも表示同期を優先）する処理に関して説明する。表示同期モード及びポインタリンク機能は、主装置２００及び副装置３００において、それぞれ所定のプログラムが実行されることによって実現される。

ここでは、主装置２００の表示部２１０及び副装置３００の表示部３１０の表示解像度は同じ（例えば、横１０２４画素、縦７６８画素）であるとする。また、主装置２００及び副装置３００は、相互にＩＰアドレス情報を取得済みであり、ネットワーク４１０を介して相互に通信可能な状態になっているとする。副装置３００のＩＰアドレスは、主装置２００の記憶部２０８に記憶されており、主装置２００のＩＰアドレスは、副装置３００のメモリ３０４に記憶されているとする。また、以下では、主装置２００の表示部２１０に表示されるポインタ２３０は、表示されている画像データが記憶されたＶＲＡＭ領域とは別の、ポインタ専用のオーバレイ領域に書込まれ、最前面に表示されるとする。

図７を参照して、表示画像の同期及びポインタリンク機能を実現するために、図４の主装置２００において実行されるプログラムの制御構造に関して説明する。ステップ６００において、ＣＰＵ２０２は、操作部２１４が操作されたか否かを判定する。具体的には、ＣＰＵ２０２は、タッチ検出装置により、表示部２１０に表示されたソフトキー（例えば、機能ボタン領域２４０又はページ操作領域２６０に表示されたボタン）がタッチされたか否かを判定する。操作されたと判定された場合制御はステップ６０２に移行する。そうでなければ、制御はステップ６１０に移行する。

ステップ６０２において、ＣＰＵ２０２は、表示部２１０に表示する画像ファイルを指定する操作であるか否かを判定する。画像ファイルの指定であると判定された場合、制御はステップ６０４に移行する。そうでなければ、制御はステップ６０６に移行する。

ステップ６０４において、ＣＰＵ２０２は、指定されたファイルを記憶部２０８から読出して、ＲＡＭ２０６のＶＲＡＭ領域に記憶する。これによって、読出されたデータは、表示部２１０に画像として表示される。

ステップ６０６において、ＣＰＵ２０２は、ステップ６００で検出された操作が、表示画像の表示形態を変更する操作であるか否かを判定する。表示画像の表示形態を変更する操作とは、表示部２１０に現在表示されている画像を拡大、縮小、又はスクロールする等して、表示状態を変更する操作を意味する。拡大又は縮小の機能が、機能ボタン領域２４０に表示されたボタン（例えば、図５のサイズ変更ボタン２４４）に割当てられている場合には、ＣＰＵ２０２は、タッチ検出装置がタッチされた位置が、該当するボタンの領域内にあるか否かを判定する。また、ＣＰＵ２０２は、タッチ検出装置がタッチされた位置、及びタッチされた位置の変化を検出することによって、表示されているスクロールバーの操作（スライド操作）であるか否かを判定する。

ステップ６０８において、ＣＰＵ２０２は、表示座標変換部２１６に、ステップ６０６での判定結果に応じて新たに表示すべき画像データを生成させ、生成された画像データを含むデータを、副装置３００に送信する。送信されるデータには、生成された画像データ（表示部２１０に表示される画像）に加えて、生成された画像データの位置を特定する情報が含まれる。その後、制御はステップ６００に戻る。

図１０を参照して、斜線領域８０２は、ステップ６０６で拡大が指示されたと判定された場合に、読出されたファイルの画像（横ａ０画素、縦ｂ０画素）８００のうち、拡大処理後に表示部２１０に表示される画像領域（以下、部分画像領域ともいう）を表す。図１０では、便宜上、座標の原点が右上に設定されている。これは、表示部２１０の画面には、左端に機能ボタン領域２４０が表示されているからである。図１０の画像８２０は、部分画像領域８０２（横（ｘ１−ｘ０）画素、及び縦（ｙ１−ｙ０）画素）が、横ａ１画素、縦ｂ１画素まで拡大されて生成された画像を表す。この拡大された画像が、表示部２１０の描画領域２５０の全面に表示される。即ち、画像８２０は、描画領域２５０に対応している。

ステップ６０８において副装置３００に送信されるデータには、図１０の画像８２０の画像データ（横ａ１画素、縦ｂ１画素）と、部分画像領域８０２を特定する情報（例えば、部分画像領域８０２の右上の頂点の座標及び左下の頂点の座標、図１０であれば（ｘ０，ｙ０）及び（ｘ１，ｙ１））とが含まれる。部分画像領域８０２を特定する情報は、後述する、副装置３００におけるポインタの位置座標の算出に使用される。

ステップ６０６において、表示画像の表示形態を変更する操作ではないと判定された場合、ステップ６１６において、ＣＰＵ２０２は、ステップ６００で検出された操作が、終了の指示であるか否かを判定する。終了の指示は、例えば、主装置２００の電源がＯＦＦされることである。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ６１８に移行する。

ステップ６１８において、ＣＰＵ２０２は、ステップ６００で検出された操作に該当する処理を実行する。その後、制御はステップ６００に戻る。機能ボタン領域２４０に表示された機能ボタン（サイズ変更ボタン２４４以外のボタン）、又は、ページ操作領域２６０のボタンがタッチされた場合、上記したように該当する処理が実行される。

ステップ６００において、操作部２１４が操作されていないと判定された場合、ステップ６１０において、ＣＰＵ２０２は、副装置３００から座標を含むデータを受信したか否かを判定する。受信したと判定された場合、制御はステップ６１２に移行する。そうでなければ、制御はステップ６００に戻る。このとき、ＣＰＵ２０２は、受信したデータに含まれる送信元を表すＩＰアドレスが、記憶部２０８に記憶されている副装置３００のＩＰアドレスと一致した場合に、受信データが副装置３００から送信されたと判定する。受信するデータは、副装置３００においてタッチされた点に対応する、表示中の画像上の点の座標（ｘ２，ｙ２）、及び、副装置３００が主装置２００から受信した部分画像領域を特定する情報（例えば（ｘ０，ｙ０）及び（ｘ１，ｙ１））である。

ステップ６１２において、ＣＰＵ２０２は、ステップ６１０で受信した座標データ（副装置３００においてタッチされた点に対応する、表示中の画像上の点）に対応する、表示部２１０の表示画面上の点（ポインタ用のオーバレイ領域のアドレス）を特定し、特定された点をポインタ２３０の位置座標（例えば、矢印の先端２３２の位置座標）として決定する。ＣＰＵ２０２は、この処理を、表示座標変換部２１６に実行させてもよい。

この処理が必要な理由は、後述するように、ユーザがタッチ操作している副装置３００に表示されている画像と、主装置２００に表示されている画像とが異なる場合があるからである。図１０を参照して、画像８３０は、副装置３００の表示部３１０に表示されている画像（画像表示領域）を表す。図１０が同時刻の状態を示しているとすると、主装置２００には、部分画像領域８０２に対応する画像８２０が表示され、副装置３００には、部分画像領域８０４に対応する画像８３０が表示されている。部分画像領域８０４は、表示画像の表示形態の変更の指示によって表示されるようになった部分画像領域８０２の前に表示されていた領域である。

ステップ６１０で受信した座標データが、表示部２１０に現在表示されている画像に対応するデータであれば、即ち、副装置３００に表示されている画像８００の部分画像領域と、主装置２００に表示されている画像８００の部分画像領域とが同じである状態で、副装置３００において計算されたデータであれば、受信した座標データをポインタの位置座標として決定する。但し、主装置２００に表示される画像８２０と、副装置３００に表示される画像８３０の解像度とが異なる場合には、解像度の比率を考慮して、比例により新たな座標を計算する必要がある。

一方、ステップ６１０で受信した座標データが、表示部２１０に現在表示されている画像に対応していない、即ち、表示部２１０に現在表示されている画像の前に表示されていた画像に対応するデータであれば、受信した座標データから、現在表示している画像（部分画像領域）に関して、ポインタの位置座標（ポインタ用のオーバレイ領域のアドレス）を計算する。例えば、後述するように、副装置３００は、タッチされた点の座標（ｘ３，ｙ３）から、画像８００上の対応する点の座標（ｘ２，ｙ２）を計算して主装置２００に送信するので、主装置２００は、座標（ｘ２，ｙ２）から、現在表示している部分画像領域８０２に対応する画像８２０上の座標（ｘ，ｙ）を計算する。

ステップ６１０で受信した座標データが、表示部２１０に現在表示されている画像に対応するデータであるか否かは、ステップ６１０で受信した部分画像領域を特定する情報が、現在表示している部分画像領域を特定する情報と一致するか否かによって判定することができる。

ステップ６１４において、ＣＰＵ２０２は、ポインタ用のオーバレイ領域の、ステップ６１２で決定された位置座標により代表される領域にポインタの画像データを書込む。これによって、表示部３１０に表示されている画像上において、ステップ６１０で受信した座標データに対応する位置にポインタが表示される。ポインタの画像は、例えば、予め記憶部２０８に記憶されている。

図８を参照して、表示画像の同期を一時的に制限（表示同期よりもポインタリンク機能を優先）するために、図６の副装置３００において実行されるプログラムの制御構造に関して説明する。なお、副装置３００では、ポインタリンク機能が実行されているので、画像が表示されている領域へのタッチ操作は、主装置２００の表示部３１０に表示されたポインタの操作（以下、単にポインタ操作ともいう）となる。

ステップ７００において、ＣＰＵ３０２は、操作部３１４が操作されたか否かを判定する。具体的には、ＣＰＵ３０２は、表示部３１０に表示されたソフトキーに対応するタッチパネル上の位置がタッチされたか否かを判定する。操作されたと判定された場合制御はステップ７０２に移行する。そうでなければ、制御はステップ７１０に移行する。

副装置３００には、図９に示すような画面が表示される。表示部３１０の表示画面は、タイトル領域３３０と、操作領域３３２と、画像表示領域３３４とに区分されている。タイトル領域３３０には、実行中のアプリケーションプログラム名（ポインタリンク機能を実行するためのアプリケーションの名前）３３６が表示されている。タイトル領域３３０の右端の「×」はアプリケーションを終了するためのボタンである。操作領域３３２には、実行中のアプリケーションが提供する機能に対応するボタンが表示されている。現在、ボタン３３６が選択されており（反転表示状態）、ポインタリンク機能が実行されており、画像表示領域３３４への、ユーザの指（破線４３０で示す）によるタッチ操作は、主装置２００の表示部３１０に表示されたポインタの操作となる。同期モードであるので、画像表示領域３３４には、主装置２００の表示部２１０の表示画面（機能ボタン領域２４０及び描画領域２５０）と同じ画像が表示されている。

なお、表示部２１０及び表示部３１０の解像度が同じ（横１０２４画素、縦７６８画素）であるとしたので、機能ボタン領域２４０及び描画領域２５０の解像度（横１０２４画素、縦７６８画素）と、画像表示領域３３４の解像度とは、タイトル領域３３０及び操作領域３３２のために、若干異なる。ここでは、表示領域のアスペクトは同じであるとする。即ち、画像表示領域３３４の解像度に対する、機能ボタン領域２４０及び描画領域２５０の解像度の比率は一定値α（α＞１）であるとする。そのように、タイトル領域３３０及び操作領域３３２の大きさが決定されている。

ステップ７０２において、ＣＰＵ３０２は、ステップ７００で検出された操作が、ポインタ操作であるか否かを判定する。即ち、画像表示領域３３４へのタッチ操作であるか否かを判定する。画像表示領域３３４へのタッチ操作であっても、主装置２００から表示する画像データを受信していない状態では、ポインタ操作とは判定されない。即ち、後述するステップ７１８により、表示部３１０に画像が表示されている場合に、画像表示領域３３４へのタッチ操作が、ポインタ操作であると判定される。ポインタ操作であると判定された場合、制御はステップ７０４に移行する。そうでなければ、制御はステップ７０８に移行する。

ステップ７０４において、ＣＰＵ３０２は、タッチされた点３４２（図９参照）の座標から、主装置２００に表示するポインタの位置座標を計算する。具体的には、ＣＰＵ３０２は、主装置２００から送信されたデータ（ステップ６０８参照）に含まれる、部分画像領域８０２を特定する情報を用いて、ポインタの位置座標を計算する。ここでは、画像表示領域３３４に画像が表示されているので、副装置３００は、主装置２００から送信されたデータを受信済である。

図１０を参照して、ステップ７００で検出した、タッチ点の座標を（ｘ３，ｙ３）とする。ここでは、図１０の部分画像領域８０２が、副装置３００の表示部３１０に画像８３０として表示されているとする。したがって、点（ｘ３，ｙ３）に対応する元画像８００における点（ｘ２，ｙ２）は、（ｘ３，ｙ３）から所定の関数を用いて表される。例えば、
ｘ２＝ｆ１（ｘ）＝ｘ３＊（ｘ１−ｘ０）／ａ３＋ｘ０
ｙ２＝ｆ２（ｘ）＝ｙ３＊（ｙ１−ｙ０）／ｂ３＋ｙ０
によって、主装置２００に表示するポインタの、画像８００上の位置座標（ｘ２，ｙ２）が計算される。ここで、「＊」は乗算、「／」は除算を表す。

ステップ７０６において、ＣＰＵ３０２は、ステップ７０４で求められた位置座標（ｘ２，ｙ２）と、その計算に用いた部分画像領域８０２を特定する情報（例えば（ｘ０，ｙ０）及び（ｘ１，ｙ１））とを、主装置２００に送信する。その後、制御はステップ７００に戻る。

ステップ７０２において、表示画像の表示形態を変更する操作ではないと判定された場合、ステップ７０８において、ＣＰＵ３０２は、ステップ７００で検出された操作が、終了の指示であるか否かを判定する。終了の指示は、例えば、タイトル領域３３０の右端の「×」がタッチされることである。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ７１０に移行する。

ステップ７１０において、ＣＰＵ３０２は、ステップ７００で検出された操作に該当する処理を実行する。その後、制御はステップ７００に戻る。例えば、操作領域３３２に表示されたボタンがタッチされた場合、該当する処理が実行される。

ステップ７００において、操作部３１４が操作されていないと判定された場合、ステップ７１２において、ＣＰＵ３０２は、主装置２００から画像データを受信したか否かを判定する。ここで、「受信した」とは、１枚の画像データが完全に受信され、ＲＡＭ３０６に記憶された状態を意味する。ここで受信されるデータは、ステップ６０８において主装置２００から送信されたデータであり、部分画像領域８０２を特定する情報（図１０であれば（ｘ０，ｙ０）及び（ｘ１，ｙ１））を含む。ＣＰＵ３０２は、無線ルータ４００とのデータ通信を、本プログラムと並行して、別の通信プログラムを実行することで実現する。例えば、ＣＰＵ３０２は、本プログラム及び通信プログラムを、公知のマルチタスクにより実行する。画像データを受信したと判定された場合、制御はステップ７１４に移行する。そうでなければ、制御はステップ７００に戻る。

ステップ７１４において、ＣＰＵ３０２は、上記したように、ポインタ操作を受けたか否かを判定する。ポインタ操作を受けたと判定された場合、制御はステップ７０４に移行する。そうでなければ、制御はステップ７１６に移行する。

ステップ７１６において、ＣＰＵ３０２は、ステップ７１２で受信された画像データから、画像表示領域３３４に表示する画像データを生成する処理を実行する。例えば、受信データが圧縮されていた場合には、復号して画像のビットマップデータを生成する。

ステップ７１８において、ＣＰＵ３０２は、上記したように、ポインタ操作を受けたか否かを判定する。ポインタ操作を受けたと判定された場合、制御はステップ７０４に移行する。そうでなければ、制御はステップ７２０に移行する。

ステップ７２０において、ＣＰＵ３０２は、画像表示領域３３４に表示する画像データを生成する処理が完了したか否かを判定する。完了したと判定された場合、制御はステップ７２２に移行する。そうでなければ、制御はステップ７１６に戻る。

ステップ７２２において、ＣＰＵ３０２は、上記したように、ポインタ操作を受けたか否かを判定する。ポインタ操作を受けたと判定された場合、制御はステップ７０４に移行する。そうでなければ、制御はステップ７２４に移行する。

ステップ７２４において、ＣＰＵ３０２は、画像表示領域３３４に画像（ステップ７１６で生成された画像データ）を表示する。その後、制御はステップ７００に戻る。

以上のように、副装置３００は、表示同期モードにおいてポインタリンク機能が実行されていれば、主装置２００から画像データを受信した場合に、実際に表示部３１０に表示可能な状態になる直前まで複数回、ポインタ操作（画像表示領域３３４へのタッチ操作）の有無を確認することができる。したがって、副装置３００が、表示部３１０に現在表示されている画像と異なる表示形態の画像データを主装置２００から受信した場合に、ユーザがポインタ操作中であれば、受信した画像を表示するよりも、タッチ操作が優先される、即ち、表示同期機能よりもポインタリンク機能が優先される。よって、ユーザがタッチ操作により、主装置２００に表示されたポインタを操作中に、主装置２００において表示画像の表示形態が変更されても、副装置３００において表示形態が変更されないので、ユーザは支障なくタッチ操作を行なうことができる。

また、副装置３００は、ステップ７０４において、タッチされた点に対応するポインタの位置座標に加えて、その位置座標の計算に用いた部分画像領域を特定する情報（主装置２００から受信したデータ）を主装置２００に送信するので、主装置２００は、送信した表示形態の変更後の画像を、副装置３００が表示しているか否かを判定することができる。したがって、主装置２００は、ステップ６１２において、表示部２１０に表示されていた画像の表示形態が既に変更されていたとしても、副装置３００から受信したポインタの位置座標と、その位置座標の計算に用いた部分画像領域を特定する情報とから、現在表示されている画像上にポインタを表示すべき点を求めることができる。よって、主装置２００において、表示形態が変更されていても、副装置３００を操作するユーザが意図する位置に、ポインタを表示することができる。

なお、ポインタ操作中であり、表示形態が変更された画像データが表示部３１０に表示されなくても、その後、ユーザがポインタ操作をしなくなれば、ステップ７１２〜ステップ７２４が実行されて（ステップ７１４、ステップ７１８及びステップ７２２のポインタ操作の判定結果はＮＯ）、表示形態が変更された画像が表示部３１０に表示される。即ち、主装置２００及び副装置３００の表示同期が実行される。その後、副装置３００において、表示形態が変更された画像上でポインタ操作がなされると、ステップ７０４及びステップ７０６、即ちポインタリンク機能が実行される。

また、画像の表示形態の変化が大きい場合（例えば、スクロール量が大きい場合等）、には、主装置２００に表示されている画像が、副装置３００に表示されている画像と全く異なる画像になってしまう場合がある。その場合には、ポインタリンク機能を優先したとしても、主装置２００においては、副装置３００においてユーザがタッチした位置に対応する位置にポインタを表示することができない。その場合には、ポインタを消去する、又は、画面の隅に表示すればよい。

上記では、表示同期モードにおいてポインタリンク機能が実行されていれば、表示同期よりもポインタリンク機能を優先する場合を説明したが、これに限定されない。例えば、図１１に示すように、ポインタリンク機能よりも表示同期を優先してもよい。図１１における各ステップの処理は、図８に示した各ステップの処理と同じである。但し、図１１及び図８では、全体構成が異なるので、同じ処理内容のステップであっても、異なるステップ番号を付している。以下においては、図８のステップ番号を参照することで、重複説明を繰返さない。

図１１のステップ７４０において、図８のステップ７１２と同様に、ＣＰＵ３０２は、主装置２００から画像データを受信したか否かを判定する。画像データを受信したと判定された場合、制御はステップ７４２に移行する。そうでなければ、制御はステップ７４６に移行する。

ステップ７４２において、図８のステップ７１６と同様に、ＣＰＵ３０２は、ステップ７４０で受信された画像データから、画像表示領域３３４に表示する画像データを生成する処理を実行する。

ステップ７４４において、図８のステップ７２４と同様に、ＣＰＵ３０２は、画像表示領域３３４に画像（ステップ７４２で生成された画像データ）を表示する。その後、制御はステップ７４０に戻る。

ステップ７４０において主装置２００から画像データを受信していないと判定された場合、ステップ７４６において、図８のステップ７００と同様に、ＣＰＵ３０２は、操作部３１４が操作されたか否かを判定する。操作されたと判定された場合制御はステップ７４８に移行する。そうでなければ、制御はステップ７４０に戻る。

ステップ７４８において、図８のステップ７０２と同様に、ＣＰＵ３０２は、ポインタ操作を受けたか否かを判定する。ポインタ操作を受けたと判定された場合、制御はステップ７５０に移行する。そうでなければ、制御はステップ７６０に移行する。

ステップ７５０において、図８のステップ７１２と同様に、ＣＰＵ３０２は、主装置２００から画像データを受信したか否かを判定する。受信したと判定された場合、制御はステップ７４２に移行する。そうでなければ、制御はステップ７５２に移行する。

ステップ７５２において、図８のステップ７０４と同様に、ＣＰＵ３０２は、タッチされた点の座標から、主装置２００に表示するポインタの位置座標を計算する処理を実行する。

ステップ７５４において、図８のステップ７１２と同様に、ＣＰＵ３０２は、主装置２００から画像データを受信したか否かを判定する。受信したと判定された場合、制御はステップ７４２に移行する。そうでなければ、制御はステップ７５６に移行する。

ステップ７５６において、ＣＰＵ３０２は、主装置２００に表示するポインタの位置座標を計算する処理が完了したか否かを判定する。完了したと判定された場合、制御はステップ７５８に移行する。そうでなければ、制御はステップ７５２に戻る。

ステップ７５８において、図８のステップ７０６と同様に、ＣＰＵ３０２は、ステップ７５２で求められた位置座標（ｘ２，ｙ２）と、その計算に用いた部分画像領域８０２を特定する情報とを、主装置２００に送信する。その後、制御はステップ７４０に戻る。

ステップ７４８において、ポインタ操作ではないと判定された場合、ステップ７６０において、ＣＰＵ３０２は、ステップ７４６で検出された操作が、終了の指示であるか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ７６２に移行する。

ステップ７６２において、図８のステップ７１０と同様に、ＣＰＵ３０２は、ステップ７４６で検出された操作に該当する処理を実行する。その後、制御はステップ７４０に戻る。

以上のように、副装置３００は、表示同期モードにおいてポインタリンク機能が実行されていれば、ポインタ操作がなされた場合に、実際に主装置２００に表示するポインタの位置座標を計算して、主装置２００に送信するまで複数回、画像データを受信したか否かを確認することができる。したがって、ユーザがポインタ操作中であっても、副装置３００が、表示部３１０に現在表示されている画像と異なる表示形態の画像データを主装置２００から受信した場合には、ユーザのタッチ操作を受付けずに（一時的に無効にし）、受信した画像を速やかに表示する。即ち、ポインタリンク機能よりも表示同期機能が優先される。副装置３００において、表示画像の表示形態が変更された後、ユーザは、変更後の表示画像に対してポインタ操作を行なうことができる（ポインタリンク機能が有効になる）。

なお、表示同期機能を優先する場合には、常に主装置２００と副装置３００とに同じ画像が、同じ表示形態で表示されるので、図１１のステップ７５８において、ポインタの座標の計算に使用した部分画像領域を特定する情報を、主装置２００に送信しなくてもよい。主装置２００に表示される画像と、副装置３００に表示される画像の解像度とが異なる場合には、上記した解像度の比率αを考慮して、比例により新たな座標を計算する必要がある。

上記では、副装置３００において表示画像の表示形態が変更されても、既に主装置２００に送信されているポインタの位置座標は有効であり、ポインタが表示されたままになるが、副装置３００において表示画像の表示形態が変更されるときに、一旦主装置２００にポインタを表示しないようにしてもよい。例えば、図１１において、ステップ７４２を実行する直前に、副装置３００から主装置２００に、ポインタの消去コマンドを送信する。主装置２００は、消去コマンドを受信すれば、表示部２１０に表示されているポインタを消去する。その後、副装置３００において、ステップ７４８においてポインタ操作と判定されると、ステップ７５２及びステップ７５８が実行され、主装置２００にポインタが表示される。これによって、表示形態が変更された直後に、ユーザが意図しない位置にポインタが表示されることを防止することができる。

なお、表示同期機能よりもポインタリンク機能を優先する場合（図８）には、表示形態が変更された直後に、ユーザが意図しない位置にポインタが表示されることはない。主装置２００で表示形態が変更されても、ポインタ操作中であれば副装置３００では表示形態が変更されず、且つ、主装置２００は、副装置３００から受信したデータ（部分画像領域を特定する情報）から、受信したポインタ位置座標が、表示形態が変更される前の情報であることが分かるので適切な位置にポインタを表示することができる。

上記では、主装置２００がポインタを表示する場合を説明したが、これに限定されない。例えば、主装置２００が、副装置３００からユーザが連続してタッチした点に対応する図形（手書き文字含む）を描画する場合にも本発明は適用可能である。その場合にも、表示部２１０に表示されている画像の表示形態が変更されると、表示されている画像の内容に応じた位置にユーザが描画した図形が、ユーザが意図しない位置に表示されてしまう問題がある。したがって、上記と同様に、表示同期機能とユーザによる副装置３００の操作（タッチ操作）との優先度を、ユーザが副装置３００を操作中（タッチ操作中）であるか否かに応じて、適宜変更することが有効である。

上記では、主装置２００に表示するポインタの位置座標の計算において、機能ボタン領域２４０を除外して説明したが、図９に示したように、画像表示領域３３４に、主装置２００の機能ボタン領域２４０の画像も表示される。したがって、表示部３１０の画面上で、機能ボタン領域２４０が表示されている領域がタッチされた場合に、主装置２００の画面の対応する位置（機能ボタン領域２４０内の位置）にポインタを表示するのであれば、機能ボタン領域２４０を考慮して、タッチされた点の座標からポインタの位置座標が算出すればよい。即ち、画像表示領域３３４において、機能ボタン領域２４０が表示された部分以外の部分がタッチされた場合には、図１０に示したように、タッチ位置（ｘ，ｙ）からポインタの位置座標（ｘ２，ｙ２）を計算する。これは、表示画像の表示形態が任意に変更されるからである。一方、主装置２００の機能ボタン領域２４０と、副装置３００に表示される機能ボタン領域２４０に対応する領域３６０（図１２参照）の比率は一定（α）である。即ち、画像表示領域３３４において、機能ボタン領域２４０が表示された部分がタッチされた場合には、図１２に示すような関係になる。したがって、ポインタの位置座標（ｘ，ｙ）は、タッチ位置（ｘ３，ｙ３）から、
ｘ＝ｇ１（ｘ）＝ａ１＋（ｘ３−ａ３）＊ａ２／ａ４
ｙ＝ｇ２（ｙ）＝ｙ３＊ｂ２／ｂ４
によって計算される。

図１２では、表示部２１０の描画領域２５０の解像度が横ａ１画素、縦ｂ１画素（図１０参照）であり、機能ボタン領域２４０の解像度が、横ａ２画素、縦ｂ１画素である（ａ１＝１０２４、ｂ１＝７６８）。表示部３１０の画像表示領域３３４の解像度が横（ａ３＋ａ４）画素、縦ｂ３画素である。

上記では、副装置３００におけるタッチ位置から、主装置２００に表示されるポインタの位置座標を、副装置３００が計算する場合を説明したが、これに限定されない。主装置２００が、表示するポインタの位置座標を計算してもよい。その場合には、副装置３００は、タッチされた点の座標（例えば、図１０の（ｘ３，ｙ３））と、副装置３００に現在表示されている画像に対応する部分画像領域を特定する情報（主装置２００から受信した情報）とを、主装置２００に送信すればよい。

上記では、副装置３００においてポインタリンク機能を制限する場合を説明したが、これに限定されない。副装置３００からは、ポインタ操作があれば常にポインタの位置座標を送信し、主装置２００において表示画像の表示形態が指示され、変更後の画像データを副装置３００に送信した場合には、主装置２００は、副装置３００からポインタの位置座標データを受信しない、又は、受信しても表示部２１０にポインタを表示しないようにしてもよい。

上記では、矢印のポインタが表示される場合を説明したが、これに限定されない。ポインタは、副装置３００を操作するユーザが意図する位置を示すことができる画像であればよく、任意の形状であってよい。ポインタは、例えば、人の手、鉛筆、又はペン等を模した図形であってもよい。

上記では、ポインタがオーバレイ領域に書込まれる場合を説明したが、表示部２１０に表示されている画像データが記憶されているＶＲＡＭ領域に、ポインタの画像データを上書きする方式でポインタを表示してもよい。その場合には、ポインタが移動された場合に、ポインタがあった画像データを復元することが必要である。そのために、例えば、ポインタの位置が変更される度に、ポインタが上書きされる領域の画像データを、ＲＡＭ２０６の所定領域に退避させる。ポインタが別の場所に移動された場合には、退避させたデータを、元の位置に書込む処理を実行する。

上記では、主装置２００が電子黒板装置である場合を説明したが、主装置２００は一般的な画像表示装置又はコンピュータであってもよい。また、副装置３００が携帯端末装置である場合を説明したが、副装置３００は、一般的なコンピュータであってもよい。さらに、主装置２００及び副装置３００が、同じ構成の装置であってもよい。例えば、主装置２００及び副装置３００が共に携帯端末装置であってもよい。主装置２００及び副装置３００がネットワークに接続される形態は、有線であっても無線であってもよい。

また、上記では副装置が１台である場合を説明したが、副装置は複数であってもよい。その場合には、主装置２００には、各副装置を識別する情報が必要となる。例えば、主装置が各素副装置から受信するデータに含まれる送信元のＩＰアドレスを、各副装置の識別情報として使用することができる。これにより、主装置は、複数の副装置との表示同期モードにおいて、複数の副装置によるポインタリンク機能によって、各副装置に対応する複数のポインタを表示することができる。

以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。

１００ 画像表示システム
２００ 主装置
２０２ ＣＰＵ
２０４ ＲＯＭ
２０６ ＲＡＭ
２０８ 記憶部
２１０ 表示部
２１２ 表示制御部
２１４ 操作部
２１６ 表示座標変換部
２１８ 通信ＩＦ部
２２０ バス
３００ 副装置
３０２ ＣＰＵ
３０４ メモリ
３０６ ＲＡＭ
３１０ 表示部
３１２ 表示制御部
３１４ 操作部
３１６ 入力座標変換部
３１８ 無線ＩＦ部
３２０ バス
４００ 無線ルータ
４１０ 通信ネットワーク

Claims (7)

1. 相互に通信可能な主装置及び副装置を備える画像表示システムであって、
   前記主装置は、
   画像を表示する第１表示手段と、
   前記第１表示手段に表示されている画像の表示形態を変更する指示を検出する第１検出手段と、
   前記第１検出手段が前記指示を検出したことに応じて、変更後の表示形態に対応する画像を前記副装置に送信する第１通信手段とを備え、
   前記第１表示手段は、前記第１検出手段が前記指示を検出したことに応じて、変更後の表示形態に対応する画像を表示し、
   前記副装置は、
   前記第１通信手段から送信される前記画像を受信する第２通信手段と、
   前記第２通信手段により受信された前記画像を表示する第２表示手段と、
   前記第２表示手段により表示されている画像上の位置を指定する操作を検出し、前記位置を特定する第２検出手段とを備え、
   前記第２通信手段は、前記第２検出手段によって特定された前記位置に対応する所定の座標を前記第１通信手段に送信し、
   前記第１表示手段は、前記第１通信手段が前記座標を受信したことを受けて、受信された前記座標に応じて、前記第１表示手段に表示されている画像の上に所定の図形を表示し、
   前記第２通信手段が、前記第２表示手段によって表示されている画像と異なる表示形態の画像を受信したときに、前記第２表示手段による、受信した画像の表示処理と、前記第２通信手段による、前記第２検出手段により特定された位置に対応する座標を前記第１通信手段に送信する送信処理とが選択的に実行されることを特徴とする画像表示システム。
2. 前記副装置は、タッチパネルを備え、
   前記第２検出手段による、前記第２表示手段により表示されている画像上の位置を指定する操作を検出する処理は、前記タッチパネルに対するユーザのタッチ操作を検出する処理であり、
   特定された前記位置は、タッチされた点の位置であることを特徴とする請求項１に記載の画像表示システム。
3. 受信された前記座標に応じて、前記第１表示手段に表示されている画像の上に表示される所定の図形は、ポインタであることを特徴とする請求項１又は２に記載の画像表示システム。
4. 前記第１表示手段に表示されている画像の表示形態を変更する指示は、表示されている当該画像の大きさを変更して表示する指示、又は、表示されている当該画像を含む元画像上において、前記第１表示手段により表示される画像領域を変更する指示であることを特徴とする請求項１から３の何れか１項に記載の画像表示システム。
5. 前記第２通信手段が、前記第２表示手段によって表示されている画像と異なる表示形態の画像を受信したときに、前記第２検出手段が画像上の位置を指定する操作を検出したことを受けて、前記第２表示手段による、受信した画像の表示処理よりも、前記第２通信手段による、前記第２検出手段により特定された位置に対応する座標を前記第１通信手段に送信する送信処理が優先して実行されることを特徴とする請求項１から４の何れか１項に記載の画像表示システム。
6. 前記第２通信手段が、前記第２表示手段によって表示されている画像と異なる表示形態の画像を受信したときに、前記第２検出手段が画像上の位置を指定する操作を検出したことを受けて、前記第２通信手段による、前記第２検出手段により特定された位置に対応する座標を前記第１通信手段に送信する送信処理よりも、前記第２表示手段による、受信した画像の表示処理が優先して実行されることを特徴とする請求項１から４の何れか１項に記載の画像表示システム。
7. 相互に通信可能な主装置及び副装置を備える画像表示システムの制御方法であって、
   前記主装置において、画像を表示する第１の表示ステップと、
   前記主装置において、表示されている画像の表示形態を変更する指示を検出する第１の検出ステップと、
   前記指示が検出されたことに応じて、変更後の表示形態に対応する画像を、前記主装置から前記副装置に送信する第１の通信ステップと、
   前記第１の検出ステップにより、前記指示が検出されたことに応じて、変更後の表示形態に対応する画像を、前記主装置に表示するステップと、
   前記副装置において、前記第１の通信ステップにより送信された前記画像を受信する第２の通信ステップと、
   前記副装置において、前記第２の通信ステップにより受信された前記画像を表示する第２の表示ステップと、
   前記副装置において、前記第２の表示ステップにより表示された画像上の位置を指定する操作を検出し、前記位置を特定する第２の検出ステップと、
   前記副装置において、前記第２の検出ステップにより特定された前記位置に対応する所定の座標を、前記主装置に送信するステップと、
   前記主装置において、前記第１の通信ステップにより前記座標が受信されたことを受けて、受信された前記座標に応じて、前記主装置に表示されている画像の上に所定の図形を表示するステップとを含み、
   前記副装置において、前記第２の通信ステップにより、前記副装置に表示されている画像と異なる表示形態の画像が受信されたときに、前記第２の検出ステップにより画像上の位置を指定する操作が検出されたか否かに応じて、前記第２の表示ステップによる、受信された画像の表示処理と、前記第２の通信ステップによる、前記第２の検出ステップにより特定された位置に対応する座標を、前記主装置に送信する送信処理とが選択的に実行されることを特徴とする制御方法。
   

Images