JP2014115825A - 情報処理装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】マルチタッチ入力等が困難または不可能である外部装置からの操作受け付けを容易にすることができる情報処理装置を提供する。
【解決手段】サーバは、アドレス帳の一覧画面を表示する際に、ＶＮＣクライアントによる接続を受けているか否かに応じて、表示画面の構成を切り替える。すなわち、ＶＮＣクライアントによる接続を受けていなければ、一覧をスクロールするためのボタンを表示しない。一方、ＶＮＣクライアントによる接続を受けている場合は、クライアントのマウス・キーボードに適応した操作画面として、一覧をスクロールするためのボタンを表示する。
【選択図】図５

Description

本発明は、情報処理装置及びその表示方法、並びにプログラムに関し、特に、情報処理装置の表示技術である。

近年、ＰＤＡ（Personal Digital Assistant）やタブレット端末のように、多点検出が可能なタッチパネルを備えた情報処理装置が一般的に利用されている。このような情報処理装置では、いわゆるマルチタッチ入力やジェスチャ入力と呼ばれる操作を受け付けるように構成されていることが多い。

マルチタッチ入力、ジェスチャ入力による操作の一例として、フリック操作、ピンチ操作などがある。フリック操作とは、画面を指先ではじくようにする操作である。例えば、任意のコンテンツが一覧表示された画面上でフリック操作を行うことによってスクロール表示が行われる。ピンチ操作とは、２本の指で画面を広げるようにする操作や反対につまむようにする操作である。例えば、２本の指で触れた箇所に表示された対象物（画像や文字）を、指を広げた量に応じて拡大表示または縮小表示させる。これらの操作は、ユーザにとって直観的で判りやすい操作であるため、広く用いられるようになってきている。

一方、別な技術として、情報処理装置のディスプレイに表示する画像情報（操作画面）を、ＶＮＣ（注１）などの技術を利用し、ネットワークを介して接続している別の情報処理装置（外部装置）に表示させることが可能となっている。こうした情報処理装置では、別の情報処理装置（外部装置）に表示された操作画面上で行われた操作の情報をネットワークを介して受信することによって、外部装置からの操作を可能としている。

注１：Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ：ＡＴ＆Ｔケンブリッジ研究所。ＶＮＣプロトコルに対応したクライアント（ＶＮＣクライアント）は、一般のＰＣや携帯機器など様々な情報機器で動作するものが存在する。この技術によって、例えばＭＦＰなどの画像処理装置の操作や設定を、ネットワーク上のＰＣや携帯端末など様々な装置から行えるようにして、管理者やサービスマンの負荷を軽減させている。

ところでＭＦＰなどの情報処理装置では、上述したタッチパネルを備えたものが多いが、一般のＰＣでは、タッチパネルを備えていないものが多く、入力操作はマウスやキーボードによって行われることが多い。そのため、例えば、タッチパネルを備えていないＰＣ上で動作するＶＮＣクライアントによりＭＦＰに接続して操作しようとする場合、次のような問題が発生する。フリック操作によってコンテンツをスクロール表示する操作画面をＭＦＰが提供している場合、ＶＮＣクライアントを使って操作するユーザは、マウスを使ってフリック操作を行うことになる。マウスを使ってフリック操作を行う場合、画面上でマウスのボタンを押下し、ボタン押下したまま移動（ドラッグ）し、適切な位置でボタンを離す操作を行う必要がある。このような操作は非常にやりづらい。

また、一般にマウスによる操作ではマルチタッチ操作を行うことができない。そのため、ピンチ操作によって画像の拡大表示や縮小表示を行う操作画面をＭＦＰが提供している場合、ＶＮＣクライアントを使って操作するユーザは拡大や縮小操作ができない。

上記問題の解決方法として、携帯機器と、その操作画面を表示する車載機器で識別可能な入力操作を比較し、外部装置では識別できない入力操作に対して代替となる操作を外部装置が提供する車載装置が提案されている（例えば、特許文献１参照）。

特開２０１２−００８９６８号公報

上記従来技術によれば、フリック操作やピンチ操作に対応していない外部装置からでも情報処理装置の操作を行うことができる。

しかしながら、上記従来技術では、情報処理装置と、その操作画面を表示する外部装置で識別可能な入力操作を比較する処理が必要である。さらに、比較の結果に応じて外部装置側に代替となる操作画面を表示する手段が必要である。このため、情報処理装置と外部装置との間で識別可能な入力操作を比較する手順を予め定めておき、その手順に従った特別な外部装置を用いることが必要となる。このように、従来の技術では、専用の外部装置でしか操作ができず、一般のＶＮＣクライアントを用いることができないという問題がある。

本発明は、上記問題を鑑みてなされたものであり、マルチタッチ入力等が困難または不可能である外部装置からの操作受け付けを容易にすることができる情報処理装置及びその制御方法、並びにプログラムを提供することを目的とする。

上記目的を達成するために、本発明の情報処理装置は、ネットワークを介して外部装置に接続する機能と、接続された前記外部装置による操作を受け付ける機能とを有する情報処理装置において、前記外部装置が接続されているかどうかを判定する判定手段と、前記判定手段により前記外部装置と接続中であると判定された場合、前記外部装置による操作を受け付けることが可能な画面情報を生成する生成手段と、前記生成手段によって生成された画面情報を前記外部装置に送信して前記外部装置に表示させる表示制御手段とを備えることを特徴とする。

本発明によれば、マルチタッチ入力が可能な情報処理装置が、マルチタッチ入力等が困難または不可能である外部装置に合わせた操作画面情報を生成して当該外部装置に送信する。これにより、マルチタッチ入力等が困難または不可能である外部装置からの操作受け付けを容易することが可能となる。

本発明の第１の実施形態に係る情報処理装置のハードウェア構成の概略を示すブロック図である。 サーバ、クライアントのソフトウェア構成の概略を示すブロック図である。 ＶＮＣサーバがＶＮＣクライアントからの接続を受けていない状態のときにディスプレイに表示されるアドレス帳一覧画面の一例を示す図である。 ＶＮＣサーバがＶＮＣクライアントからの接続を受けている状態のときにディスプレイに表示されるアドレス帳一覧画面の一例を示す図である。 第１の実施形態におけるサーバの表示制御処理の流れを示すフローチャートである。 ＶＮＣサーバがＶＮＣクライアントからの接続を受けていない状態のときにディスプレイに表示される画像プレビュー画面の一例を示す図である。 ＶＮＣサーバがＶＮＣクライアントからの接続を受けている状態のときにディスプレイに表示される画像プレビュー画面の一例を示す図である。 第２の実施形態におけるサーバの表示制御処理の流れを示すフローチャートである。 サーバに表示される、ＶＮＣクライアントによる接続時に表示切り替えを行うか否かを設定する画面の一例を示す図である。 第３の実施形態におけるサーバの表示制御処理の流れを示すフローチャートである。 ＶＮＣクライアントが保持するクライアントの操作能力情報を模式的に表した図である。 第４の実施形態におけるサーバの表示制御処理の流れを示すフローチャートである。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る情報処理装置のハードウェア構成の概略を示すブロック図である。

サーバ（表示画像を送信する側）となる情報処理装置１０１（以下、「サーバ１０１」とする）は、ネットワーク１０２を介してクライアント（表示画像を受信する側）となる情報処理装置１０３（以下、「クライアント１０３」とする）に接続されている。ネットワーク１０２はインターネットやＬＡＮ等から成るが、有線であるか、無線であるかは問わない。

まず、サーバ１０１側のハードウェア構成を説明する。

図１において、システムバス１１０に対して、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、入力部１１４、表示制御部１１５、外部メモリＩ／Ｆ１１６、及び通信Ｉ／Ｆコントローラ１１７が接続される。システムバス１１０に接続される各部は、システムバス１１０を介して互いにデータのやりとりを行うことができるように構成されている。入力部１１４にはタッチパネル１１８が接続される。表示制御部１１５にはディスプレイ１１９が接続される。外部メモリＩ／Ｆ１１６には外部メモリ１２０が接続される。

ＲＯＭ１１３は不揮発性のメモリである。ＲＯＭ１１３には、画像データやその他のデータ、ＣＰＵ１１１が実行する各種制御プログラムなどが、それぞれ所定の領域に格納される。ＲＡＭ１１２は、揮発性のメモリであり、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。

ＣＰＵ１１１は、例えばＲＯＭ１１３に格納されたプログラムを読み出して実行し、ＲＡＭ１１２をワークメモリとして用いて、システムバス１１０に接続された各部を制御する。なお、ＣＰＵ１１１が実行する制御プログラムは、ＲＯＭ１１３に限らず、外部メモリ１２０に予め格納されていてもよい。

タッチパネル１１８は、ユーザの手指が接触した位置に応じて座標情報を出力するように構成され、マルチタッチ検出が可能なタッチパネルである。タッチパネル１１８は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。

入力部１１４は、タッチパネル１１８にてユーザから操作を受け付け、当該操作に応じた制御信号を生成し、ＣＰＵ１１１に送信する。ＣＰＵ１１１は、入力部１１４から受信した制御信号に基づいてプログラムを実行し、サーバ１０１内の各部を制御する。これにより、サーバ１０１に対して、ユーザ操作に応じた動作を行わせることができる。

ＣＰＵ１１１は、制御プログラムを実行して表示制御信号を生成し、表示制御部１１５に対して送信する。表示制御部１１５は、入力された表示制御信号に基づき表示信号を生成してディスプレイ１１９に対して出力する。これにより、ディスプレイ１１９では、ＣＰＵ１１１が生成する表示制御信号に基づき、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）による画面表示がなされる。

タッチパネル１１８は、ディスプレイ１１９と一体的に構成される。例えば、タッチパネル１１８を光の透過率がディスプレイ１１９の表示を妨げないように構成し、ディスプレイ１１９の表示面の上層に取り付ける。そして、タッチパネル１１８における入力座標と、ディスプレイ１１９上の表示座標とを対応付ける。これにより、あたかもユーザがディスプレイ１１９上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

外部メモリＩ／Ｆ１１６には、例えばハードディスクや記録メディア等の磁気記録媒体、メモリーカード等の外部メモリ１２０が装着可能になっている。ＣＰＵ１１１は、外部メモリ１２０からのデータの読み出しや、当該外部メモリ１２０に対するデータの書き込みを行う。

通信Ｉ／Ｆコントローラ１１７は、ネットワーク１０２に接続するための通信インターフェースである。

ＣＰＵ１１１は、タッチパネル１１８から入力部１１４を介して入力される制御信号により、タッチパネル１１８への操作や状態を判定することができる。例えば、タッチパネル１１８を指やペンで触れる操作（以下、「タッチダウン」と称する）を判定する。また、タッチパネル１１８を指やペンで触れている状態（以下、「タッチオン」と称する）を判定する。また、タッチパネル１１８を指やペンで触れたまま移動する操作（以下、「ムーブ」と称する）を判定する。また、タッチパネル１１８へ触れていた指やペンを離す操作（以下、「タッチアップ」と称する）を判定する。さらに、タッチパネル１１８に何も触れていない状態（以下、「タッチオフ」と称する）を判定する。なお、判定可能な操作や状態は、これらに限定されるものではない。

タッチパネル１１８は、上述したタッチダウン、タッチオン、ムーブ、タッチアップが、それぞれ複数の指やペンで同時行われた場合、その操作や状態を検出する。それらの検出結果は、座標情報として入力部１１４とシステムバス１１０を介してＣＰＵ１１１に入力される。ＣＰＵ１１１は、入力された座標情報に基づいてタッチパネル１１８にどのような操作が行なわれたか、タッチパネル１１８がどのような状態かを判定する。

例えば、ムーブについては、ＣＰＵ１１１が、タッチパネル１１８上で移動する指やペンの移動方向や位置座標の変化に基づいて、タッチパネル１１８上の垂直成分・水平成分毎に判定する。また、タッチダウンから一定のムーブを経てタッチアップの判定がなされたときは、これら一連の操作をストロークを描いたと判定する。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル１１８上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル１１８上を指ではじくように素早くなぞる操作である。

ＣＰＵ１１１は、タッチパネル１１８上の所定距離以上を、所定速度以上でムーブされた後に、タッチアップがなされた場合には、フリックが行なわれたと判定する。また、タッチパネル１１８上の所定距離以上をムーブされ、そのままタッチオンがされた場合には、ドラッグが行なわれたと判定する。

また、タッチパネル上を２本の指やペンで同時にタッチダウンされ、２点の位置座標が近づく方向にムーブにされた場合、ＣＰＵ１１１は、ピンチイン操作が行われたと判定する。一方、２点の位置座標が遠ざかる方向にムーブされた場合、ピンチアウト操作が行われたと判定する。なお、ピンチイン操作とピンチアウト操作をまとめてピンチ操作と言うことがある。

次に、クライアント１０３側のハードウェア構成を説明する。

図１において、システムバス１５０に対して、ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、入力部１５４、表示制御部１５５、外部メモリＩ／Ｆ１５６、及び通信Ｉ／Ｆコントローラ１５７が接続される。システムバス１５０に接続される各部は、システムバス１５０を介して互いにデータのやりとりを行うことができるように構成されている。入力部１５４にはマウス・キーボード１５８が接続される。表示制御部１５５にはディスプレイ１５９が接続される。外部メモリＩ／Ｆ１５６には外部メモリ１６０が接続される。

ＲＯＭ１５３は不揮発性のメモリである。ＲＯＭ１５３には、画像データやその他のデータ、ＣＰＵ１５１が実行する各種制御プログラムなどが、それぞれ所定の領域に格納される。ＲＡＭ１５２は、揮発性のメモリであり、ＣＰＵ１５１の主メモリ、ワークエリア等の一時記憶領域として用いられる。

ＣＰＵ１５１は、例えばＲＯＭ１５３に格納されたプログラムを読み出して実行し、ＲＡＭ１５２をワークメモリとして用いて、システムバス１５０に接続された各部を制御する。なお、ＣＰＵ１５１が実行する制御プログラムは、ＲＯＭ１５３に限らず、外部メモリ１６０に予め格納されていてもよい。

入力部１５４は、マウス・キーボード１５８にてユーザから操作を受け付け、当該操作に応じた制御信号を生成し、ＣＰＵ１５１に送信する。ＣＰＵ１５１は、入力部１５４から受信した制御信号に基づいてプログラムを実行し、クライアント１０３内の各部を制御する。これにより、クライアント１０３に対して、ユーザ操作に応じた動作を行わせることができる。なお、マウス・キーボード１５８は、一般的なマウスやキーボードを含む入力デバイスであり、タッチパネル１１８のようにマルチタッチを検出することはできない。

ＣＰＵ１５１は、制御プログラムを実行して表示制御信号を生成し、表示制御部１５５に対して送信する。表示制御部１５５は、入力された表示制御信号に基づき表示信号を生成してディスプレイ１５９に対して出力する。これにより、ディスプレイ１５９では、ＣＰＵ１５１が生成する表示制御信号に基づき、ＧＵＩによる画面表示がなされる。

外部メモリＩ／Ｆ１５６には、例えばハードディスクや記録メディア等の磁気記録媒体、メモリーカード等の外部メモリ１６０が装着可能になっている。ＣＰＵ１５１は、外部メモリ１６０からのデータの読み出しや、当該外部メモリ１６０に対するデータの書き込みを行う。

通信Ｉ／Ｆコントローラ１５７は、ネットワーク１０２に接続するための通信インターフェースである。

図２は、サーバ１０１、クライアント１０３のソフトウェア構成の概略を示すブロック図である。なお、以下に説明するサーバ１０１内の各ソフトウェアモジュールは、ＣＰＵ１１１がＲＯＭ１１３または外部メモリ１２０に格納された制御プログラムを読み出して実行することで実現される。また、クライアント１０３内の各ソフトウェアモジュールは、ＣＰＵ１５１がＲＯＭ１５３または外部メモリ１６０に格納された制御プログラムを読み出して実行することで実現される。

サーバ１０１は、操作入力解析部２０１、その他イベント解析部２０２、イベント処理部２０３、画面生成部２０４、画面表示部２０５、ＶＮＣサーバ２０６の各ソフトウェアモジュールを持つ。さらに、ＶＮＣサーバ２０６は、接続処理部２０７、操作情報受信部２０８、画面送信部２０９の各モジュールを含む。

操作入力解析部２０１は、入力部１１４から供給される制御信号を解析し、ユーザ操作に応じたイベントをイベント処理部２０３に通知する。その他イベント解析部２０２は、操作入力以外にサーバ１０１で発生する各種事象を受け取って解析し、その事象に応じたイベントをイベント処理部２０３に通知する。

イベント処理部２０３は、操作入力解析部２０１、その他イベント解析部２０２、及び操作情報受信部２０８からイベントを受け取り、該イベントに応じてサーバ１０１内の各部を制御する。また、イベント処理部２０３は、ディスプレイ１１９に表示する画面を変更する必要がある場合、画面生成部２０４を呼び出す。

画面生成部２０４は、ディスプレイ１１９に表示する画面のデータをＲＡＭ１１２上に生成する処理を行う。画面表示部２０５は、表示制御部１１５を制御して、画面生成部２０４が生成したデータをディスプレイ１１９に表示する。

ＶＮＣサーバ２０６は、クライアント１０３上で動作するＶＮＣクライアント２１０とネットワーク１０２を介して通信するソフトウェアモジュールである。

接続処理部２０７は、ＶＮＣクライアント２１０からの接続要求を受け付け、接続処理を行う。操作情報受信部２０８は、ＶＮＣクライアント２１０から操作情報を受信し、ユーザ操作に応じたイベントをイベント処理部２０３に通知する。なお、操作情報受信部２０８が通知するイベントは、操作入力解析部２０１が通知するイベントと同等のものである。画面送信部２０９は、画面生成部２０４が生成した画面データをＲＡＭ１１２から読み取って、ＶＮＣクライアント２１０に送信する処理を行う。

クライアント１０３では、ＶＮＣクライアント２１０が動作している。ＶＮＣクライアント２１０は、接続処理部２１１、操作入力解析部２１２、操作情報送信部２１３、画面受信部２１４、及び画面表示部２１５の各モジュールを含む。

接続処理部２１１は、ユーザからの要求を受け付けて、ＶＮＣサーバ２０６に対して接続要求を送信し、接続処理を行う。操作入力解析部２１２は、ユーザがマウス・キーボード１５８を用いて行った操作入力を入力部１５４を介して受け取り、解析する。解析した操作情報は操作情報送信部２１３に送られる。操作情報送信部２１３は、受け取った操作情報をＶＮＣサーバ２０６の操作情報受信部２０８に送信する。画面受信部２１４は、ＶＮＣサーバ２０６の画面送信部２０９から画面データを受信し、ＲＡＭ１５２に記録する。画面表示部２１５は、画面受信部２１４が受信し、ＲＡＭ１５２に記録したデータを読み出し、表示制御部１５５を制御して、ディスプレイ１５９に表示する。

なお、ＶＮＣサーバ２０６とＶＮＣクライアント２１０との間の通信は、ＣＰＵ１１１及びＣＰＵ１５１が、それぞれ通信Ｉ／Ｆコントローラ１１７及び通信Ｉ／Ｆコントローラ１５７を制御して行う。その通信は、ＶＮＣプロトコルに従って行われる。

上記のようなソフトウェアの処理によって、サーバ１０１のディスプレイ１１９に表示された画面と同じ画面が、クライアント１０３のディスプレイ１５９にも表示される。また、クライアント１０３のマウス・キーボード１５８を介して行われた操作によって、サーバ１０１に各種処理を実行させることができる。

次に、ＶＮＣクライアントによる接続時と非接続時におけるサーバ１０１とクライアント１０３の表示画面について図３、図４を参照して説明する。なお、本実施形態では、サーバ１０１が備えるデータ送信の機能の１つであるＥメール送信機能を用いて、アドレス帳の一覧画面を表示する場合について説明する。

図３は、ＶＮＣサーバ２０６がＶＮＣクライアント２１０からの接続を受けていない状態のときにディスプレイ１１９に表示されるアドレス帳一覧画面の一例を示す図である。

アドレス帳一覧表示領域３０１には、サーバ１０１の外部メモリ１２０に格納されているアドレス帳データが表示されている。図３に示すように、アドレス帳に含まれる宛先データの数が多い場合、アドレス帳一覧表示領域３０１に収まらない。そのため、ユーザは所望の宛先を表示させるために、アドレス帳一覧表示領域３０１に表示された宛先の一覧をスクロールさせる必要がある。

アドレス帳一覧表示領域３０１に表示された宛先の一覧をスクロールする場合、図３に示すように、アドレス帳一覧表示領域３０１の任意の位置でユーザがフリック操作３１１を行う。例えば、ユーザが上方向にフリック操作を行うと、表示されている宛先の一覧は上方向にスクロールする。

図４は、ＶＮＣサーバ２０６がＶＮＣクライアント２１０からの接続を受けている状態のときにディスプレイ１１９及びディスプレイ１５９に表示されるアドレス帳一覧画面の一例を示す図である。

図４に示す画面では、図３に示す画面に対して、アドレス帳一覧表示領域３０１の上下にボタン４０１、ボタン４０２が追加表示されている。このボタン４０１またはボタン４０２をユーザが押下すると、アドレス帳一覧表示領域３０１に表示された宛先の一覧がスクロール表示される。ボタン４０１が押下されると、宛先の一覧は上方向にスクロールし、ボタン４０２が押下されると、宛先の一覧は下方向にスクロールする。

そして、ＶＮＣサーバ２０６がＶＮＣクライアント２１０からの接続を受けている場合、図４に示す画面はサーバ１０１のディスプレイ１１９だけでなく、クライアント１０３のディスプレイ１５９にも表示される。

次に、サーバ１０１において、ＶＮＣクライアントによる接続有無に応じて表示画面の構成を切り替える表示制御処理について図５を用いて説明する。

図５は、第１の実施形態におけるサーバ１０１の表示制御処理の流れを示すフローチャートである。なお、図５の各ステップは、ＲＯＭ１１３や外部メモリ１２０に格納されたプログラムをＣＰＵ１１１が実行することによって処理される。

まずステップＳ５０１では、ＣＰＵ１１１がイベントを受け取る。具体的には、イベント処理部２０３が、操作入力解析部２０１、その他イベント解析部２０２、及び操作情報受信部２０８からイベントを受け取る。

次に、ステップＳ５０２において、ＣＰＵ１１１はアドレス帳一覧を画面表示するか否かを判断する。具体的には、イベント処理部２０３が、ステップＳ５０１で受け取ったイベントがアドレス帳一覧画面を表示するためのボタン押下イベントであるか否かを判断することによって行う。ボタン押下イベントによる表示の他に、サーバ１０１で発生したその他のイベントに応じて、アドレス帳一覧を表示するように判断してもよい。イベントには、例えば、サーバ１０１に対するログイン処理が行われたことを表すイベントや、入力部１１４から一定時間操作入力がなされなかったことを表すタイマーによるイベントが含まれるが、これらに限定されるものではない。

ステップＳ５０２の判断によって、アドレス帳一覧画面を表示すべきイベントでは無いと判断すると、ＣＰＵ１１１はステップＳ５０１に戻って次のイベントの受信を行う。ステップＳ５０２の判断によって、アドレス帳一覧画面を表示すると判断すると、ステップＳ５０３に進む。

ステップＳ５０３において、ＣＰＵ１１１はＶＮＣクライアント接続中であるか否かを判断する。この判断方法は複数あるが、本実施形態では、画面生成部２０４がＲＡＭ１１２に記憶されたＶＮＣ接続情報を参照することでクライアント１０３からの接続がなされているかどうかを判断する。このＶＮＣ接続情報は、ＶＮＣサーバ２０６の接続処理部２０７が、クライアント１０３からの接続要求を受けて接続されたことを検出したときに、ＲＡＭ１１２に記憶しておくこととする。なお、ステップＳ５０３の判断は、画面生成部２０４が、ＶＮＣクライアント接続中であるかどうかを接続処理部２０７に問い合わせることによって判断してもよい。

ステップＳ５０３の判断によって、ＶＮＣクライアント接続中ではないと判断すると、ステップＳ５０４に進む。一方、ステップＳ５０３の判断によって、ＶＮＣクライアント接続中であると判断した場合、ステップＳ５０５に進む。

ステップＳ５０４では、ＣＰＵ１１１は、ボタン４０１，４０２を含まないアドレス帳一覧画面を生成する。すなわち、画面生成部２０４が図３に示す画面のデータ（画面情報）をＲＡＭ１１２上に生成してステップＳ５０７に進む。

ステップＳ５０５では、ＣＰＵ１１１は、ボタン４０１，４０２を含むアドレス帳一覧画面を生成する。すなわち、画面生成部２０４が図４に示す画面のデータ（画面情報）をＲＡＭ１１２上に生成してステップＳ５０６に進む。

ステップ５０６では、ＣＰＵ１１１は、ステップＳ５０５で生成された画面情報をクライアント１０３に送信する。具体的には、ＶＮＣサーバ２０６の画面送信部２０９が、画面生成部２０４によりＲＡＭ１１２上に生成された画面情報を読み出して、ネットワーク１０２を介してクライアント１０３に送信する処理を行う。

ステップＳ５０７では、ＣＰＵ１１１は画面表示処理を行う。具体的には、画面表示部２０５が、ＲＡＭ１１２上に生成された画面情報を読み出して、表示制御部１１５を介してディスプレイ１１９に図３または図４に示す画面を表示する処理を行う。図４に示す画面がディスプレイ１１９に表示された場合は、ディスプレイ１５９にも図４に示す画面が表示される。この結果、フリック操作が行えないクライアント１０３において、ユーザは、ディスプレイ１５９のアドレス帳一覧画面を見ながら、ボタン４０１，４０２によるスクロール操作が可能となる。

このように、サーバ１０１は、アドレス帳の一覧画面を表示する際に、ＶＮＣクライアントによる接続を受けているか否かに応じて、表示画面の構成を切り替える。すなわち、ＶＮＣクライアントによる接続を受けていなければ、一覧をスクロールするためのボタンを表示しない。一方、ＶＮＣクライアントによる接続を受けている場合は、クライアント１０３のマウス・キーボード１５８に適応した操作画面として、一覧をスクロールするためのボタンを表示する。この結果、これらのボタンをマウスでクリックする操作によっても一覧をスクロール表示させることができ、クライアント１０３のように入力部１５４にタッチパネルが搭載されておらず、フリック操作ができない外部装置からの操作も容易となる。

上記実施形態では、図４に示すように、アドレス帳一覧表示領域３０１の上下にスクロールボタンを配置した画面を例示したが、ボタンを配置する位置は図示例に限らず、画面内のどの位置に配置しても構わない。また、ボタンを配置するのではなく、チェックボックスやラジオボタン、プルダウンメニューなどを表示して、それらに対する操作指示に応じて一覧をスクロール表示するようにしてもよい。

また、上記実施形態では、アドレス帳に含まれる宛先データの一覧画面表示時のスクロール表示を例に説明したが、これに限定されるものではなく、ディスプレイに表示可能な様々なコンテンツのスクロール表示に適用できることは言うまでもない。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態では、フリック操作によってスクロールするリストを含む画面に適用した場合について説明した。これに対して第２の実施形態では、ピンチ操作によって拡大／縮小表示する要素を含む画面に適用した場合について説明する。なお、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。

まず、ＶＮＣクライアントによる接続時と非接続時におけるサーバ１０１とクライアント１０３の表示画面について図６、図７を参照して説明する。なお、本実施形態では、サーバ１０１が備える画像データ保存機能を用いて、サーバ１０１に保存された画像データをディスプレイ１１９に表示する場合について説明する。

図６は、ＶＮＣサーバ２０６がＶＮＣクライアント２１０からの接続を受けていない状態のときにディスプレイ１１９に表示される画像プレビュー画面の一例を示す図である。

画像データ表示領域６０１には、サーバ１０１の外部メモリ１２０に格納されている画像データが表示されている。例えば、図６に示すように、画像データが表示された画像データ表示領域６０１の任意の位置でユーザがピンチ操作６０２を行うと、表示されている画像が拡大または縮小して表示される。

このように、ＶＮＣクライアントによる接続時では、ピンチアウト操作が行われると、操作された画像が拡大表示され、ピンチイン操作が行われると、操作された画像が縮小表示される。

図７は、ＶＮＣサーバ２０６がＶＮＣクライアント２１０からの接続を受けている状態のときにディスプレイ１１９及びディスプレイ１５９に表示される画像プレビュー画面の一例を示す図である。

図７に示す画面では、図６に示す画面に対して、拡大ボタン７０１、縮小ボタン７０２が追加表示されている。拡大ボタン７０１が押下されると、画像データ表示領域６０１に表示されている画像が拡大表示され、縮小ボタン７０２が押下されると、画像データ表示領域６０１に表示されている画像が縮小表示される。

そして、ＶＮＣサーバ２０６がＶＮＣクライアント２１０からの接続を受けている場合、図７に示す画面はサーバ１０１のディスプレイ１１９だけでなく、クライアント１０３のディスプレイ１５９にも表示される。

次に、サーバ１０１において、ＶＮＣクライアントによる接続有無に応じて表示画面の構成を切り替える表示制御処理について図８を用いて説明する。

図８は、第２の実施形態におけるサーバ１０１の表示制御処理の流れを示すフローチャートである。なお、図８の各ステップは、ＲＯＭ１１３や外部メモリ１２０に格納されたプログラムをＣＰＵ１１１が実行することによって処理される。

まず、ステップＳ８０１では、ＣＰＵ１１１がイベントを受け取る。このステップは、図５のステップＳ５０１と同じである。

次に、ステップＳ８０２において、ＣＰＵ１１１は画像プレビュー画面を表示するか否かを判断する。具体的には、イベント処理部２０３が、ステップＳ５０１で受け取ったイベントが画像プレビュー画面を表示するためのボタン押下イベントか否かを判断することによって行う。ボタン押下イベントによる表示の他に、サーバ１０１で発生したその他のイベントに応じて、画像閲覧画面を表示するように判断してもよい。イベントには、例えば、サーバ１０１に対するログイン処理が行われたことを表すイベントや、入力部１１４から一定時間操作入力がなされなかったことを表すタイマーによるイベントが含まれるが、これらに限定されるものではない。

ステップＳ８０２の判断によって、画像プレビュー画面を表示すべきイベントでは無いと判断すると、ＣＰＵ１１１はステップＳ８０１に戻って次のイベントの受信を行う。ステップＳ８０２の判断によって、画像プレビュー画面を表示すると判断すると、ステップＳ８０３に進む。

ステップＳ８０３において、ＣＰＵ１１１はＶＮＣクライアント接続中であるか否かを判断する。このステップは図５のステップＳ５０３と同じである。

ステップＳ８０３の判断によって、ＶＮＣクライアント接続中ではないと判断すると、ステップＳ８０４に進む。一方、ステップＳ８０３の判断によってＶＮＣクライアント接続中であると判断した場合、ステップＳ８０５に進む。

ステップＳ８０４では、ＣＰＵ１１１は、拡大ボタン７０１、縮小ボタン７０２を含まない画像プレビュー画面を生成する。具体的には、画面生成部２０４が図６に示す画面のデータ（画面情報）をＲＡＭ１１２上に生成してステップＳ８０７に進む。

ステップＳ８０５では、ＣＰＵ１１１は、拡大ボタン７０１、縮小ボタン７０２を含む画像プレビュー画面を生成する。具体的には、画面生成部２０４が図８に示す画面のデータ（画面情報）をＲＡＭ１１２上に生成してステップＳ８０６に進む。

ステップ８０６では、ＣＰＵ１１１は、ステップＳ８０５で生成された画面情報をクライアント１０３に送信する。このステップは、図５のステップＳ５０３と同じである。

ステップＳ８０７では、ＣＰＵ１１１は画面表示処理を行う。このステップは、図５のステップＳ５０６と同じである。図７に示す画面がディスプレイ１１９に表示された場合は、ディスプレイ１５９にも図７に示す画面が表示される。この結果、ピンチ操作が行えないクライアント１０３において、ユーザは、ディスプレイ１５９の画像プレビュー画面を見ながら、拡大ボタン７０１と縮小ボタン７０２による画像の拡大／縮小表示が可能となる。

このように、サーバ１０１は、画像プレビュー画面を表示する際に、ＶＮＣクライアントによる接続を受けているか否かに応じて、画像を拡大表示または縮小表示するためのボタンを表示するか否かを切り替える。すなわち、ＶＮＣクライアントによる接続を受けていなければ、拡大表示または縮小表示するためのボタンを表示しない。一方、ＶＮＣクライアントによる接続を受けている場合は、クライアント１０３のマウス・キーボード１５８に適応した操作画面として、拡大表示または縮小表示するためのボタンを表示する。この結果、これらのボタンをマウスでクリックする操作によっても画像を拡大・縮小表示させることができ、クライアント１０３のように入力部１５４にタッチパネルが搭載されておらず、ピンチ操作ができない外部装置からの操作も容易となる。

上記実施形態では、図７に示すように、画像データ表示領域６０１の下に拡大／縮小表示させるボタンを配置した画面を例示したが、ボタンを配置する位置は図示例に限らず、画面内のどの位置に配置しても構わない。また、ボタンを配置するのではなく、チェックボックスやラジオボタン、プルダウンメニューなどを表示して、それらに対する操作指示に応じて画像を拡大／縮小表示するようにしてもよい。

また、上記実施形態では、サーバ１０１が記憶している画像データの表示画面における拡大／縮小表示を行う操作を例示したが、これに限定されるものではなく、ディスプレイに表示可能な様々なコンテンツの拡大／縮小表示に適用できることは言うまでもない。

さらに、ピンチ操作によって拡大／縮小表示を行うのではなく、その他の処理を行うようにしてもよい。例えば。ピンチ操作によって操作画面の階層を移動するような処理を行う場合に適用してもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。

上述した第１及び第２の実施形態では、ＶＮＣクライアントによる接続がされているか否かによって表示画面の構成を切り替えて、クライアント側の入力部に対応した操作を行えるように構成した。これに対して第３の実施形態では、ＶＮＣクライアントによる接続時に表示画面の構成を切り替えるか否かを設定するためのスイッチを設け、当該スイッチによりサーバ１０１のユーザが予め設定できるように構成する。なお、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。

図９は、サーバ１０１のディスプレイ１１９に表示される、ＶＮＣクライアントによる接続時に表示切り替えを行うか否かを設定する画面の一例を示す図である。

図９において、ボタン９０１は、ＶＮＣクライアントによる接続時に表示を切り替える場合に選択するボタンである。ボタン９０２は、ＶＮＣクライアントによる接続時に表示を切り替えない場合に選択するボタンである。ボタン９０１とボタン９０２は、互いに排他に選択状態が切り替わるように制御される。

サーバ１０１のユーザは、必要に応じて図９に示す画面を呼び出して設定を行う。ユーザによる設定がなされると、設定された情報が表示切り替えスイッチ設定情報として外部メモリ１２０に保存される。

次に、サーバ１０１において、ＶＮＣクライアントによる接続有無及び表示切り替えスイッチの設定に応じて表示画面の構成を切り替える表示制御処理について図１０を用いて説明する。なお、本実施形態では、第１の実施形態と同様に、サーバ１０１が備えるデータ送信の機能の１つであるＥメール送信機能を用いて、アドレス帳の一覧画面を表示する場合について説明する。

図１０は、第３の実施形態におけるサーバ１０１の表示制御処理の流れを示すフローチャートである。なお、図１０の各ステップは、ＲＯＭ１１３や外部メモリ１２０に格納されたプログラムをＣＰＵ１１１が実行することによって処理される。また、図５と同じ処理については同じ符号を付与して、その説明を省略する。

ステップＳ１００１では、ＣＰＵ１１１は、表示切り替えスイッチがＯＮであるか否かを判断する。具体的には、画面生成部２０４が外部メモリ１２０に保持されている表示切り替えスイッチ設定情報を読み出して判断する。この判断の結果、表示切り替えスイッチがＯＮであると判断するとステップＳ５０５に進む。一方、表示切り替えスイッチがＯＦＦであると判断するとステップＳ１００２に進む。

ステップＳ５０５では、上述したように、ＣＰＵ１１１がボタン４０１，４０２を含むアドレス帳一覧画面を生成して、ステップＳ５０６へ進む。

ステップＳ１００２では、ステップＳ５０４と同様に、ＣＰＵ１１１はスクロールボタンなしの画面を生成して、ステップＳ５０６へ進む。

ステップＳ５０５またはステップＳ１００２にて生成された画面は、ステップＳ５０６及びステップＳ５０７の処理によって、クライアント１０３に送信されると共に、ディスプレイ１１９に表示される。

このように、サーバ１０１は、アドレス帳の一覧画面を表示する際に、ＶＮＣクライアントによる接続を受けているか否かの情報、及び、ＶＮＣクライアント接続時に表示を切り替えるか否かを設定するスイッチの設定情報に応じて、表示画面の構成を切り替える。すなわち、ＶＮＣクライアントによる接続を受け、かつ、ＶＮＣクライアント接続時に表示を切り替える設定になっていれば、クライアント１０３のマウス・キーボード１５８に適応した操作画面として、一覧をスクロールするためのボタンを表示する。一方、前述の条件に当てはまらない場合は一覧をスクロールするためのボタンを表示しない。そのため、表示切り替えスイッチをＯＮにしておけば、クライアント１０３のように入力部１５４にタッチパネルが搭載されておらず、フリック操作ができない外部装置からの操作も容易となる。一方、表示切り替えスイッチをＯＦＦにしておけば、例えばクライアント１０３のＶＮＣクライアントを使ってサーバ１０１の表示画面のキャプチャを取りたい場合に、ボタン４０１，４０２等の余分なボタンが表示されていない画面を取得することができる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。

上述した第１及び第２の実施形態では、ＶＮＣクライアントによる接続がされているか否かによって表示画面の構成を切り替えて、クライアント側の入力部に対応した操作を行えるように構成した。また、上記第３の実施形態では、ＶＮＣクライアント接続時に表示画面の構成を切り替えるか否かを設定するためのスイッチにより、サーバ１０１のユーザが予め設定できるように構成した。これに対して第４の実施形態では、接続されたＶＮＣクライアントから、フリック操作やピンチ操作が可能か否かの情報を受け取り、フリック操作やピンチ操作ができないＶＮＣクライアントからの接続を受けた場合に表示を切り替えるように構成する。なお、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。

図１１は、ＶＮＣクライアント２１０が保持するクライアントの操作能力情報を模式的に表した図である。

クライアントの操作能力情報は、例えば、２種類の識別情報で構成される。１１０１はフリック操作可能であるか否かを示す識別情報である。１はフリック操作可能であり、０はフリック操作不可能であることを示す。１１０２はピンチ操作可能であるか否かを示す識別情報である。１はピンチ操作可能であり、０はピンチ操作不可能であることを示す。

ＶＮＣクライアント２１０は、クライアント１０３に接続された入力装置からフリック操作とピンチ操作が可能か否かを判断し、図示のような操作能力情報を得る。こうして取得した操作能力情報は、ＶＮＣサーバ２０６への接続要求時にＶＮＣサーバ２０６に送信される。ＶＮＣサーバ２０６は、受け取った操作能力情報をＲＡＭ１１２に保持する。

次に、サーバ１０１において、ＶＮＣクライアントによる接続有無及びクライアントの操作能力情報に応じて表示画面の構成を切り替える表示制御処理について図１２を用いて説明する。なお、本実施形態では、第１の実施形態と同様に、サーバ１０１が備えるデータ送信の機能の１つであるＥメール送信機能を用いて、アドレス帳の一覧画面を表示する場合について説明する。

図１２は、第４の実施形態におけるサーバ１０１の表示制御処理の流れを示すフローチャートである。なお、図１２の各ステップは、ＲＯＭ１１３や外部メモリ１２０に格納されたプログラムをＣＰＵ１１１が実行することによって処理される。また、図５と同じ処理については同じ符号を付与して、その説明を省略する。

ステップＳ１２０１では、ＣＰＵ１１１は、接続中のクライアント１０３がフリック操作可能であるか否かを判断する。この判断方法は複数あるが、本実施形態では、画面生成部２０４がＲＡＭ１１２に記憶されたＶＮＣクライアントの操作能力情報を参照することで接続中のクライアントがフリック操作可能かどうかを判断する。この判断の結果、クライアント１０３がフリック操作可能ではないと判断するとステップＳ５０５に進む。一方、クライアント１０３がフリック操作可能であると判断するとステップＳ１２０２に進む。

ステップＳ５０５では、上述したように、ＣＰＵ１１１がボタン４０１，４０２を含むアドレス帳一覧画面を生成して、ステップＳ５０６へ進む。

ステップＳ１２０２では、ステップＳ５０４と同様に、ＣＰＵ１１１はスクロールボタンなしの画面を生成して、ステップＳ５０６へ進む。

ステップＳ５０５またはステップＳ１２０２にて生成された画面は、ステップＳ５０６及びステップＳ５０７の処理によって、クライアント１０３に送信されると共に、ディスプレイ１１９に表示される。

このように、サーバ１０１は、アドレス帳の一覧画面を表示する際に、ＶＮＣクライアントによる接続を受けているか否かの情報、及び、ＶＮＣクライアントがフリック操作可能であるか否かの情報に応じて、表示画面の構成を切り替える。すなわち、ＶＮＣクライアントによる接続を受け、かつ、接続しているＶＮＣクライアント側の入力装置がフリック操作不可能である場合、当該入力装置に適応した操作画面として、一覧をスクロールするためのボタンを表示する。一方、前述の条件に当てはまらない場合は一覧をスクロールするためのボタンを表示しない。つまり、入力部にタッチパネルが搭載されておらず、フリック操作ができない情報処理装置に接続された場合、サーバはフリック操作の代替となるボタンを表示する。一方、入力部にタッチパネルが搭載され、フリック操作が可能な外部装置に接続された場合、サーバはフリック操作の代替となるボタンを表示しないので、余分なボタンを表示することなく、快適な操作を行うことができる。

なお、本実施形態では、接続中のＶＮＣクライアントがフリック操作可能か否かによって表示を切り替える例を示したが、ピンチ操作が可能か否かの情報によって表示を切り替える場合にも同様に適用できる。

上記第１から第４の実施形態では、サーバ１０１を情報処理装置として説明したが、画像形成装置や画像処理装置としてもよい。また、ＶＮＣクライアント接続中と判定された場合、外部装置の入力装置に適応する操作画面を生成して外部装置に送信する形態について説明した。このとき、サーバ側のディスプレイには、外部装置に送信して画面情報を表示するように構成してもよい。これにより、ユーザがＶＮＣクライアントと接続中であることを認識することができる。また、サーバの入力装置に適応する画面情報を表示するように構成してもよい。これにより、サーバ側のユーザに適切な操作性を提供することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１，１０２ 情報処理装置
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１８ タッチパネル
１１９ ディスプレイ

Claims (6)

1. ネットワークを介して外部装置に接続する機能と、接続された前記外部装置による操作を受け付ける機能とを有する情報処理装置において、
   前記外部装置が接続されているかどうかを判定する判定手段と、
   前記判定手段により前記外部装置と接続中であると判定された場合、前記外部装置による操作を受け付けることが可能な画面情報を生成する生成手段と、
   前記生成手段によって生成された画面情報を前記外部装置に送信して前記外部装置に表示させる表示制御手段とを備えることを特徴とする情報処理装置。
2. 前記外部装置は前記情報処理装置とは異なる操作入力手段を有し、
   前記外部装置による操作を受け付けることが可能な画面情報には、前記外部装置と接続中でないときに前記情報処理装置に表示する画面とは異なる画面を表示するための画面であって、前記外部装置の操作入力手段に適応した操作画面が含まれることを特徴とする請求項１に記載の情報処理装置。
3. 前記外部装置との接続時に表示切り替えを行うか否かを設定するための設定手段をさらに備え、
   前記生成手段は、前記判定手段により前記外部装置と接続中であると判定された場合、前記設定手段による表示切り替え設定に応じて画面情報を生成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記外部装置との接続時に当該外部装置の操作能力情報を取得する取得手段をさらに備え、
   前記生成手段は、前記判定手段により前記外部装置と接続中であると判定された場合、前記取得手段によって取得した前記外部装置の操作能力情報に応じて画面情報を生成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. ネットワークを介して外部装置に接続する機能と、接続された前記外部装置による操作を受け付ける機能とを有する情報処理装置の制御方法において、
   前記外部装置が接続されているかどうかを判定する判定工程と、
   前記判定工程にて前記外部装置と接続中であると判定された場合、前記外部装置による操作を受け付けることが可能な画面情報を生成する生成工程と、
   前記生成工程にて生成された画面情報を前記外部装置に送信して前記外部装置に表示させる表示制御工程とを備えることを特徴とする制御方法。
6. 請求項５に記載の制御方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。

Images