JP2004005582A - 通信制御システムと画像転送プログラムを格納した記憶媒体 - Google Patents

通信制御システムと画像転送プログラムを格納した記憶媒体 Download PDF

Info

Publication number
JP2004005582A
JP2004005582A JP2003110111A JP2003110111A JP2004005582A JP 2004005582 A JP2004005582 A JP 2004005582A JP 2003110111 A JP2003110111 A JP 2003110111A JP 2003110111 A JP2003110111 A JP 2003110111A JP 2004005582 A JP2004005582 A JP 2004005582A
Authority
JP
Japan
Prior art keywords
image
unit
information
terminal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003110111A
Other languages
English (en)
Inventor
Keizo Sato
佐藤 圭三
Tomofumi Nakayama
中山 智文
Masako Yoshimura
吉村 雅子
Yasuyuki Numata
沼田 泰之
Junzo Ikuta
生田 淳三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003110111A priority Critical patent/JP2004005582A/ja
Publication of JP2004005582A publication Critical patent/JP2004005582A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】本発明は、制御コンピュータ、および被制御コンピュータの間で、表示画像、入力操作の転送を行うことにより、コンピュータの遠隔操作を実現する通信制御システムにおいて、制御コンピュータ、被制御コンピュータのディスプレイサイズが異なる場合、制御コンピュータに表示されない領域の画像情報を転送しないようにすることにより遠隔制御時のユーザレスポンス向上を目的とする。
【解決手段】本発明は、コンピュータの有する画像情報を、端末の画像表示能力情報に合わせて加工し、端末へ送信し、端末は変更された画像の情報を受信して表示部に表示する。これにより効率的な通信が行われる。また、このような制御をプログラムとして記憶媒体に記憶すれば、一般的なコンピュータを制御して用いることができる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワーク等から入力した画像を他の装置の表示画面上に的確に表示する通信制御システムとそのような画像転送を制御するプログラムを格納した記憶媒体に関する。
【0002】
【従来の技術】
コンピュータの遠隔操作方法には、被制御コンピュータの表示画面を制御コンピュータへ、また、制御コンピュータから被制御コンピュータへ入力情報を送信するステップを含むものがある。このような手法では、制御側と被制御側の、両コンピュータの各ディスプレイの表示能力(解像度等)が等価であることが前提となっている。
【0003】
【特許文献1】
特開平05−098373号公報
【0004】
【発明が解決しようとする課題】
昨今のコンピュータの普及は著しく、その種類も、デスクトップPC(パーソナルコンピュータ)や、ノートPC・PDA(Personal Digital Assistance)・携帯電話などのいわゆるモバイル端末等のように多種多様である。一般的に、モバイル端末は携帯性を重視するため小型化され、表示能力や、CPU性能、メモリ容量などのハードウェア性能がデスクトップPCに比べ劣る。したがって、モバイル端末からデスクトップPCを遠隔制御するためにデスクトップPCの画面情報全部を送信しても、モバイル端末は、送信された画像の一部しか表示できない。一般に、画像はデータ量が多く、その転送に時間を要する。このため、モバイル端末に表示されない領域のデータを送信することは、通信トラフィックの増大を招く。しかも、画像の受信が完了するまで、表示待ち状態が発生し、モバイル端末を利用しているユーザへ表示遅延という不快感を与える。モバイル端末で、受信した画像データを順次表示しながらユーザの操作指示を受け付けることによりこの不快感を解消することができる。しかしこの場合、表示処理とユーザの操作指示処理を同時並行で進める必要がある。このため、ハードウェア性能の低い端末では、操作レスポンスが低下する。
【0005】
通信トラフィックを削減するために、モバイル端末において、一旦デスクトップPCの表示画面情報が表示された以降は、画面の更新部分のみをモバイル端末に送信する方法が実施されている。しかしこの方式では、例えば、Windows(登録商標)が動作しているPCにおいて、画面のサイズに近いウィンドウを移動した場合、デスクトップPCの画面と同サイズの画像情報を転送することになる。また、端末に表示されていない領域に、周期的に表示が切り替わるオブジェクトが存在する場合、モバイル端末の表示画面の状態は一切変わらないにも関わらず、表示画像情報の送受信が行われる。このようなオブジェクトとしては例えば、ブラウザ上に表示されたアニメーションGif等がある。このような場合、通信トラフィックは増大する。
【0006】
また、表示画像情報を圧縮送信することにより、通信トラフィックの削減を行う方法も実施されている。このような方法では、モバイル端末において圧縮画像を展開するために、特殊なハードウェア、またはソフトウェアが必要である。すなわち、圧縮画像を展開するための高性能CPU、大容量メモリ等のハードウェア性能の向上が必要となり、結果として端末のコスト増大を招く。
【0007】
本発明は、上記に示す課題解決のため、すなわち、モバイル端末のような画面サイズが小さく、なおかつハードウェア性能が低い端末から、より画面サイズが大きいデスクトップPCを遠隔制御する際に、スムーズなレスポンスが行える通信制御システムの実現を目的としたものである。
【0008】
【課題を解決するための手段】
この課題を解決するために本発明は、画像を表示する表示部を有する端末と、コンピュータとを備え、前記コンピュータに格納された第1画像情報を前記端末に送信する通信制御システムであって、前記端末が、前記端末の画像表示能力情報を前記コンピュータに送信した際に、前記コンピュータは、前記画像表示能力情報に基づいて前記第1画像情報を第2画像情報に変更して前記端末に送信し、前記端末は前記第2画像情報を受信して前記表示部に表示するようにしたものである。
【0009】
【発明の実施の形態】
本発明の請求項1に記載の発明は、画像を表示する表示部を有する端末と、コンピュータとを備え、上記コンピュータに格納された第1画像情報を上記端末に送信する通信制御システムであって、上記端末が、上記端末の画像表示能力情報を上記コンピュータに送信した際に、上記コンピュータは、上記画像表示能力情報に基づいて上記第1画像情報を第2画像情報に変更して上記端末に送信し、上記端末は上記第2画像情報を受信して上記表示部に表示するように構成したものである。
【0010】
よって、上記コンピュータから上記端末には、上記端末へ表示可能なサイズの表示画像情報だけを転送可能となるため、コンピュータの表示画像を全転送する場合に比べ、効率的な画像の転送が行えるという作用を有する。
【0011】
本発明の請求項2に記載の発明は、上記コンピュータは、上記第1画像情報を格納する第1の記憶部と、上記第1画像情報を変更する変更部と、各種の情報を送受信する第1の通信部と、を有し、上記端末は、上記表示部に表示する上記第2画像情報を格納する第2の記憶部と、上記表示部の画像表示能力情報を格納する第3の記憶部と、各種情報を上記コンピュータへ送受信する第2の通信部と、をさらに有し、上記第2の通信部が、上記第3の記憶部に格納された画像表示能力情報を上記第1の通信部に送信した際に、上記変更部は、上記画像表示能力情報に基づいて上記第1の記憶部の上記第1画像情報を変更し、当該変更された画像情報を上記第1の通信部から上記第2の通信部に送信し、上記第2画像情報が上記第2の記憶部に格納されるとともに、上記表示部に表示されるように構成したものである。
【0012】
よって、上記コンピュータが表示画像情報を上記端末の画面のサイズに加工するための表示能力情報を上記端末でのみ管理すればよく、上記端末の画面のサイズが変更された場合でも、上記コンピュータの情報の変更が不要となるため、上記コンピュータ側で各端末の表示画像情報を管理する場合に比べ、より柔軟なシステムの構築が可能となるという作用を有する。
【0013】
本発明の請求項3に記載の発明は、上記画像表示能力情報が、上記表示部の画面サイズと、上記表示部の画面の解像度情報とのうち少なくとも1を含むように構成したものである。
【0014】
よって、上記コンピュータは、上記端末へ送信する表示画像情報の変更を、画面のサイズ、解像度情報に従って行えるという作用を有する。
【0015】
本発明の請求項4に記載の発明は、上記コンピュータは、上記第1画像情報を、上記表示部の画面サイズと上記表示部の画面の解像度サイズとのいずれかに切り出すように構成したものである。
【0016】
よって、上記コンピュータは、上記表示部の解像度サイズの画像情報だけを転送可能となるため、上記コンピュータの表示画像を全転送する場合に比べ、効率的な画像の転送が行えるという作用を有する。
【0017】
本発明の請求項5に記載の発明は、上記画像表示能力情報が、さらに上記表示部の画面の画素情報を含むように構成したものである。
【0018】
よって、上記コンピュータが画像を加工する際に、上記端末の上記表示部のサイズに変更することに加え、上記制御端末に表示可能なデータ形式へと変更可能となるため、上記端末においてデータ形式の変換が不要となり、上記端末での処理負荷軽減が行えるという作用を有する。
【0019】
本発明の請求項6に記載の発明は、上記コンピュータは、上記変更部により変更された画像が更新されたときに、更新後の画像情報を上記端末に送信するように構成したものである。
【0020】
よって、上記端末の更新すべき領域の表示画像情報だけを転送可能ため、上記コンピュータの画面更新領域を単に送信する場合と比較し、効率的な画像の転送が可能となるという作用を有する。
【0021】
本発明の請求項7に記載の発明は、上記コンピュータは、上記変更部により変更された画像が更新されたときに、更新された部分の画像情報を上記端末に送信するように構成したものである。
【0022】
よって、上記コンピュータ上であり、かつ、上記端末の上記表示部に表示された領域の画面が更新された場合のみ、表示画像情報の部分領域を転送可能となるため、上記コンピュータの画面更新領域を単に送信する場合と比較し、より効率的な画像の転送が可能となるという作用を有する。
【0023】
本発明の請求項8に記載の発明は、上記コンピュータは、上記第2画像情報に含まれ、上記表示部に表示されるフレーム画像の領域を検出する領域算出部をさらに有し、上記領域算出部が上記第2画像情報に当該フレーム画像の一部が含まれることを検出した際に、上記端末の表示部に当該フレーム画像のみを表示するように構成したものである。
【0024】
よって、近い将来、特にユーザが注視する可能性の高いフレームが表示された、上記コンピュータの表示画像情報を、上記端末に送信しておくことが可能となるため、上記コンピュータ、上記端末間の表示画像情報転送に要するトランザクション処理が軽減され、効率的な画像転送が可能となるという作用を有する。
【0025】
本発明の請求項9に記載の発明は、上記コンピュータは、上記第2画像情報に含まれ、上記表示部に表示されるフレーム画像の領域を検出する領域算出部をさらに有し、上記端末はユーザが各種コマンドを入力する入力部をさらに有し、上記領域算出部が、上記表示部に表示される上記第2画像情報にA)当該フレーム画像以外のみが含まれることを検出した際、B)所定の面積割合未満の当該フレーム画像が含まれることを検出した際、のいずれか一方である場合に、上記入力部により入力された当該フレーム画像に関するコマンドがスキップされるように構成したものである。
【0026】
よって、上記端末に表示されていない領域への操作要求を抑制できるため、表示領域外の誤操作を抑制できるという作用を有する。
【0027】
本発明の請求項10に記載の発明は、上記端末が、当該コマンドがスキップされる場合に作動する報知部をさらに有するように構成したものである。
【0028】
よって、上記端末においてユーザが操作指示を行い、その操作指示が無効であった場合に、上記端末の状態が何も変わらないことによる、ユーザの不安感を抑制できるという作用を有する。
【0029】
本発明の請求項11に記載の発明は、上記領域算出部が検出する当該フレーム画像の所定の面積割合をユーザが設定するように構成したものである。
【0030】
よって、上記端末に表示されていない領域への操作要求の抑制をユーザが設定可能となり、より柔軟なシステムが構築できるという作用を有する。
【0031】
本発明の請求項12に記載の発明は、上記第2画像情報がフレーム画像を含む場合、上記第2通信部は上記第1の通信部に、上記第2画像情報がフレーム画像を含むことを示す情報をさらに送信するように構成したものである。
【0032】
よって、上記端末に操作指示無効の判断を上記端末で行えるため、操作指示要求に対するトランザクション処理の抑制ができるという作用を有する。
【0033】
本発明の請求項13に記載の発明は、上記変更部により変更された画像が所定時間経過前後で同じである場合に、少なくとも当該切り出した画像以外の第3画像情報を上記第1の通信部から上記第2の通信部へ送信するように構成したものである。
【0034】
よって、上記端末に表示されていない上記コンピュータの表示画像情報を、データ転送が発生しない時間に行っておくことで、上記端末に表示されていない領域に対する操作を行う際に表示画像情報の転送が不要となり、上記端末操作時の処理効率向上が可能となるという作用を有する。
【0035】
本発明の請求項14に記載の発明は、上記端末はユーザが上記表示部の表示位置変更要求を入力する入力部をさらに有し、切り出した画像以外の上記第3画像情報は、当該表示位置変更要求に応じる領域の画像の情報として構成したものである。
【0036】
よって、上記端末に表示されていない前期コンピュータの表示画像情報の表示が行えるという作用を有する。
【0037】
本発明の請求項15に記載の発明は、画像を表示する表示部を有する端末と第1画像情報を格納するコンピュータとを備えた通信制御システムの画像転送プログラムを格納する記憶媒体であって、A)上記端末の画像表示能力情報を上記端末から上記コンピュータに送信するステップと、B)上記画像表示能力情報に基づいて上記第1画像情報を第2画像情報に変更するステップと、C)上記第2画像情報を上記コンピュータから上記端末に送信するステップと、D)上記第2画像情報を上記表示部に表示するステップと、を含む、ように構成したものである。
【0038】
よって、上記コンピュータから上記端末には、上記端末へ表示可能なサイズの表示画像情報だけを転送可能となるため、コンピュータの表示画像を全転送する場合に比べ、効率的な画像の転送が行えるという作用を有する。
【0039】
本発明の請求項16に記載の発明は、上記コンピュータは、上記第1画像情報を格納する第1の記憶部と、上記第1画像情報を変更する変更部と、各種の情報を送受信する第1の通信部と、を有し、上記端末は、上記表示部に表示する上記第2画像情報を格納する第2の記憶部と、上記表示部の画像表示能力情報を格納する第3の記憶部と、各種情報を上記コンピュータへ送受信する第2の通信部と、をさらに有し、上記Aステップが、E)上記第2の通信部が、上記第3の記憶部に格納された画像表示能力情報を上記第1の通信部に送信するステップを含み、上記Bステップが、F)上記変更部が、上記能力情報に基づいて上記第1の記憶部の上記第1画像情報を変更するステップを含み、上記Cステップが、G)上記第2画像情報を上記第1の通信部から上記第2の通信部に送信するステップを含み、上記Dステップが、H)上記第2画像情報を上記第2の記憶部に格納するステップと、J)上記第2画像情報を上記表示部に表示するステップと、を含むように構成したものである。
【0040】
よって、上記コンピュータが表示画像情報を上記端末の画面のサイズに加工するための表示能力情報を上記端末でのみ管理すればよく、上記端末の画面のサイズが変更された場合でも、上記コンピュータの情報の変更が不要となるため、上記コンピュータ側で各端末の表示画像情報を管理する場合に比べてより柔軟なシステムの構築が可能となるという作用を有する。
【0041】
本発明の請求項17に記載の発明は、上記画像表示能力情報が、上記表示部の画面サイズと、上記表示部の画面の解像度情報とのうち少なくとも1を含むように構成したものである。
【0042】
よって、上記コンピュータは、上記端末へ送信する表示画像情報の変更を、画面のサイズ、解像度情報に従って行えるという作用を有する。
【0043】
以下、本発明の実施例について、図に沿って説明する。
【0044】
【実施例】
図1は、本発明の実施の形態における通信制御システムの機能ブロック図である。本実施の形態において、遠隔通信制御システムは、通信制御端末(以下、端末と称す)1と被制御コンピュータ(以下PCと称す)2を有する。端末1は通信回線を介してPC2と接続されている。
【0045】
端末1は、ユーザが入力を行う入力部1A、端末制御部1F、通信部1Bを有する。通信部1Bは、端末1の画像表示能力情報や入力部1Aから入力された入力情報を、端末制御部(以下、制御部)1Fを介してPC2へ送信し、PC2から表示画像情報を受信する。さらに、端末情報記憶部1Cと表示情報解析部1Dと表示部1Eとを有する。端末情報記憶部(以下、記憶部と称す)1Cは通信部1Bから受信したPC2の表示画像情報と端末1の表示能力情報とを記憶する。情報解析部(以下、解析部)1Dは、記憶部1Cに記憶された表示画像情報を解析する。表示部1Eは解析部1Dが解析した表示画像情報を表示する。制御部1Fは端末1の動作を制御する。
【0046】
一方、PC2は、画像転送サーバ2Aと、表示部2Bと、表示画像記憶部2Jと、コンピュータ制御部(以下、制御部)2Cと、プログラム格納部2Dとを有している。表示画像記憶部(以下、記憶部)2Jは表示部2Bにて表示する画像情報を一時格納する。プログラム格納部(以下、格納部)2Dは、制御部2CとPC2にて動作するOS(オペレーティングシステム)プログラムと、PC2のOSプログラム上で動作するアプリケーションプログラムとを格納する。
【0047】
さらに、画像転送サーバ(以下、サーバ)2Aは、表示データ取得部2Eと、サーバ情報記憶部2Fと、通信部2Gと、入力情報解析部2Hと、サーバ制御部2Lと、報知部2Nと、差分検出部2Kと、領域算出部2Mとを有する。表示データ取得部(以下、取得部)2Eは、PC2に表示された表示画像情報をPC2の表示部2Bまたは記憶部2Jから取得する。また取得部2Eは、端末1の表示能力情報に従ってその画像情報を加工(変更)する。したがって取得部2Eは変更部を兼ねる。サーバ情報記憶部(以下、記憶部)2Fは、取得部2Eが取得し、加工した表示画像情報を記憶する。通信部2Gは、端末1の表示能力情報と入力情報を受信し、記憶部2Fに記憶した表示画像情報を端末1へ送信する。入力情報解析部(以下、解析部)2Hは、通信部2Gから受信したコマンド等の入力情報を解析し、制御部2Cへ指示要求として送信する。サーバ制御部(以下、制御部)2Lは、サーバ2Aの動作制御を行う。報知部2Nは、ユーザに対して表示や音声にて警告を発する。差分検出部(以下、検出部)2Kは、端末1に送信した画像情報と端末1からの指示により表示する画像との差分を検出する。領域算出部2Mは、端末1の表示部1Eの画面上に表示される所定のフレーム形状の領域面積を算出する。なお、上記所定のフレームとは、例えば、ウインドウ(マイクロソフト社の登録商標)が該当し、ユーザは、端末1から当該ウインドウに対して操作指示ができるようになっている。
【0048】
図2は、本発明の実施の形態における通信制御システムの回路ブロック図である。
【0049】
図2において、端末1は、キーボード3A、液晶ディスプレイ(以下、LCD)3B、中央処理装置(以下、CPU)3C、ランダムアクセスメモリ(以下、RAM)3D、リードオンリーメモリ(以下、ROM)3E、読取装置3F、2次記憶装置3H、通信制御装置3J、スピーカ3Kを有する。読取装置3Fは、CD(コンパクト・ディスク)−ROM、DVD(Digital Versatile Disc)−ROMなどの記憶媒体3Gを読み取る。通信制御装置(以下、制御装置)3Jは、電話回線やネットワークケーブルなどを通して外部の回線との接続を行う。
【0050】
画像転送サーバ2Aは、CPU4A、RAM4B、ROM4C、読取装置4D、2次記憶装置4F、通信制御装置4G、スピーカ4Hを有する。読取装置4Dは、CD−ROMなどの記憶媒体4Eを読み取る。通信制御装置(以下、制御装置)4Gは、電話回線やネットワークケーブルなどを通して外部の回線との接続を行う。
【0051】
ここで、図1の機能ブロック図と図2の回路ブロック図との対応関係を説明する。図1と図2に示すように、端末1において、記憶部1Cは、RAM3Dにより実現されている。入力部1Aは、キーボード3Aにより構成されているが、マウスや、タッチパネルなどを含んでもよい。表示部1EはLCD3Bにより、通信部1Bは通信制御装置3Jにより、報知部1Gはスピーカ3Kにより、実現されている。なお、報知部1Gは、LCD3Bの画面上にも警告を表示するようになっている。また、この構成にて、制御部1Fと解析部1Dは、CPU3CがRAM3DやROM3E、2次記憶装置3Hとデータのやりとりしながら、ROM3Eに記憶されたプログラムを実行することにより実現されている。
【0052】
またサーバ2Aにおいて、記憶部2Fは、RAM4Bにより実現されている。OSプログラムとアプリケーションプログラムは、RAM4B、ROM4C、2次記憶装置4Fのいずれかに記憶されている。さらに、通信部2Fは、制御装置4Gにより実現されている。また、この構成において、制御部2L、取得部2E、解析部2Hは、CPU4AがRAM4BやROM4C、2次記憶装置4Fとデータのやりとりしながら、ROM4Cに記憶されたプログラムを実行することにより実現されている。さらに、差分検出部2Kと領域算出部2Mも同様に、CPU4Aが上記プログラムを実行することにより実現されている。なお、PC2における表示画像記憶部2JはRAM3Dにより実現されている。
【0053】
なお、本実施の形態では、端末1は、CPU3CがROM3Eに記憶されたプログラムを実行するとしている。しかしCPU3Cが実行するプログラムは、読取装置3Fを用い、記憶媒体3Gに記録されたプログラムを実行してもよい。また、サーバ2Aにおいては、CPU4AがROM4Cに記憶されたプログラムを実行するとしている。しかしCPU4Aが実行するプログラムは、読取装置4Dを用い、記憶媒体4Eに記録されたプログラムを実行してもよい。またPC2の制御部2Cは、CPU4Aが兼ねてもよい。さらに記憶部2F、2J、格納部2Dの2以上を同一のデバイスで構成してもよい。
【0054】
以上のように構成された端末1における情報表示方法について、図3、図4のフローチャートに基づいて説明する。なお、図3のフローチャートは、CPU3CがROM3Eに記憶されたプログラムを実行する様子を示す。図4のフローチャートは、CPU4AがROM4Cに記憶されたプログラムを実行する様子を示す。図3のフローチャートでは、端末1を起動して、サーバ2AがPC2の表示画面の画像情報を受信してLCD3Bへ表示するまでを示している。また、図4のフローチャートでは、サーバ2Aが、端末1から接続要求を受け、PC2の表示画像情報を取得、加工し、端末1へ送信するまでを示している。
【0055】
まず、ユーザが端末1を起動することにより処理が開始される。この起動が行われると、ユーザが入力部1Aにより、接続先のサーバを指定する。例えば、通信プロトコルにTCP/IP(Transmission Control Protocol/Internet Protocol)を使用している場合はIPアドレスを指定する。そして端末1は画像転送サーバ2Aへ接続要求を発行する(S1−1)。
【0056】
本実施の形態では、ユーザが端末1を起動後、ユーザの指示要求によって、サーバ2Aの接続を行う構成としている。しかし、この接続方法に限定されるものではなく、起動と同時に所定のサーバ2Aへの接続を行う接続形態としてもよい。
【0057】
そして、サーバ2Aでは、サーバ制御部2Lが通信部2Gを介して、端末1からの接続要求を受け、接続を確立する(S2−1)。
【0058】
次に端末1では、端末制御部1Fが、端末情報記憶部1Cに記憶された画像表示能力情報を取得し、通信部1Bを介してコンピュータ2側の通信部2Gへ送信する(S1−2)。
【0059】
本実施の形態では、PCの表示部2Bの表示能力を、画面サイズ、解像度SVGA(1280×1024)、「フルカラー表示」とする。また端末1の表示能力を、画面サイズ、解像度情報QVGA(320×240)および画素情報を8bit/pixcelとする。しかし本発明では、端末1の表示能力情報として、上記全てを送信する必要はない。また表示能力情報は、画面サイズ、解像度、画素情報等に限定するものではなく、例えば、カラーパレット情報や階調情報などを含んでもよい。
【0060】
本実施の形態においては、端末1から表示能力情報を送信する際に、解像度情報に加えて、表示部1Eの画素情報であるbit/pixcelを送信する。サーバ2Aでは、この表示能力情報を受け、画像の各画素情報を、端末の画素情報へ変換処理した表示画像情報を送信する。これにより、端末1とPC2との間で、画素情報が異なる場合、端末1において、画像変換を行う必要がなくなる。このため端末1において、この画像変換に要するリソースが不要となり、結果として端末が低価格化される。
【0061】
次に、サーバ2Aでは、制御部2Lが通信部2Gを介して、端末1が送信した表示能力情報を受信し、記憶部2Fへ記憶させる(S2−2)。
【0062】
続いて、制御部2Lが、取得部2Eを起動し、OSプログラムを作動させ、そのOSプログラムにより制御部2Cが第一の表示画像情報を記憶部2F(RAM4B)から取得し、当該画像情報を取得部2Eへ送る。そして、取得部2Eが第一の表示画像情報を、記憶部2Fへ記憶させる(S2−3)。
【0063】
本実施の形態では取得部2Eが制御部2Cに要求を出した後、制御部2Cが第一の表示画像情報をRAM4Bから取得する。しかし、本発明は、この実施の形態に限定されるものではなく、例えば、取得部2Eが、第一の表示画像情報をRAM4Bから直接取り出しても構わない。
【0064】
続いて取得部2Eが、記憶部2Fへ記憶した第一の表示画像情報から、S2−2において記憶部2Fへ記憶した端末1の表示能力情報を取得し、取得した解像度へ表示画像情報を切り出し、第二の表示画面情報を作成する。
【0065】
なお、端末1の画像表示能力として解像度情報を含めたが、代わりに画面サイズ情報を含め、それに応じて画像を切り出すことも可能である。
【0066】
なお、端末1から送信する表示能力情報を予め記憶部2Fに記憶しておき、この表示能力情報に従い、取得部2Eが表示画像情報から端末1のLCD3Bのサイズに画像の切り出し、画素の変換を行うことも可能である。これにより、端末1からサーバ2Aへ表示能力情報を送信する必要がなくなり、表示能力情報の送受信に要していたトランザクションが軽減される。
【0067】
また、本実施の形態では、起動直後には、端末1の表示部1EはPC2の表示部2Bの最左下を表示する。そして取得部2Eは最左下を原点座標(0,0)としてQVGAサイズである(320,240)までの矩形領域を切り出す。そして、切り出し後の第二の表示画像情報を、記憶部2Fが記憶する(S2−4)。図5に被制御コンピュータの表示イメージ10と切り出し後の画像イメージ20を示す。
【0068】
なお、本実施の形態においては、端末1の起動直後の切り出し画像20は、最左下を原点座標としているが、この原点座標の位置に限定されるものではない。例えば、ユーザから原点座標を指定してもよい。端末1を使用した際の座標位置を記憶しておいて、その位置を原点座標としても構わない。
【0069】
また、切り出し後の第二の表示画像情報として、画面のイメージと切り出し後の座標情報{(0,0),(320,240)}を記憶部2Fが記憶する。しかし本発明は、この表示画像情報の記憶方法に限定されるものではなく、第一の表示画像情報に対して端末1に送信する画像の座標情報としても構わない。また、画像の座標情報は、サーバ情報記憶部2Fに格納される。
【0070】
次に差分検出部2Kは、記憶部2Fに記憶している端末1へ前回送信した第二の表示画像情報のイメージと、今回新たに記憶する第二の表示画像情報のイメージとを比較する。そして、両画像に差分があるか否かを検査する(S2−5)。このとき、画像の全ての画素に対して、各画素の差異を比較することにより差分を抽出する。そして、差分があれば、処理はS2−6へ進み、差分がない場合は、S2−7へ進む。差分ありと判断した場合は、制御部2Lが通信部2Gを通じて端末1へ第二の表示画像情報を送信する(S2−6)。なお、起動直後には、前回の第二の表示画像情報は、記憶されていないため、S2−6のステップが実行される。
【0071】
一方、端末1では、制御部1Fが通信部1Bを介して、サーバ2Aから送信された第二の表示画像情報を受信する(S1−3)。そして、受信した第二の表示画像情報を記憶部1Cへ保存する(S1−4)。
【0072】
続いて、制御部1Fは、解析部1Dを起動し、記憶部1Cに記憶された第二の表示画像情報を解析する(S1−5)。なお、本実施の形態の表示画像情報は、ビットマップデータである。そのため、解析部1Dは、ビットマップデータの構造にしたがって、ビットマップデータのヘッダからサイズ情報や、ピクセルあたりのドット数等の情報を取得する。
【0073】
そして、解析部1Dが、解析した情報に従い、表示部1Eへ第二の表示画像情報を表示し(S1−6)、ユーザからの操作待ち、もしくは、サーバ2Aからの画像送信待ちの状態となる。このときの端末1の状態を図6に示す。
【0074】
ユーザから操作指示が行われる場合について、以下に説明を続ける。図3にて、ユーザから行われた操作指示を制御部1Fが検知し(S1−7)、通信部1Bを介して入力情報をサーバ2Aへ送信する(S1−8)。
【0075】
本実施の形態における入力情報は、(入力イベント、座標情報)の形式のデータ構造となっている。以下、ユーザがタッチパネル上のアイコンを2度タップした場合について説明する。このときの入力情報は例えば、(「LCDを2度タップ」,タップした座標)として送信される。
【0076】
サーバ2Aでは、制御部2Lが通信部2Gを介して、送信されたコマンド等の入力情報を受信する(S2−7)。そして、制御部2Lが受信した入力情報を解析部2Hへ渡し、解析部2Hが入力情報を解析する(S2−8)。
【0077】
入力情報の解析処理では、端末1のボタンや、LCD上のタッチパネルを操作することによって発生したイベントを、OSを操作するためのマウス、キーボードのイベント情報とをイベント対応情報にしたがって対応付けたイベント形式へ変換する。例えば下記のように、制御端末のイベントはOS操作イベントへ変換される。
【0078】
制御端末のイベント       OS操作イベント
LCDを1度タップ       マウスのシングルクリック
LCDを2度タップ       マウスのダブルクリック
LCDをドラッグ        マウスのドラッグイベント
そして、解析部2Hが変換したイベントをOSプログラムに対するイベントとして制御部2Cへ発行する(S2−10)。
【0079】
本実施の形態では、上記のように「LCDを2度タップ」する。すると、解析部2Hはそれをマウスのダブルクリックイベントに変換し、制御部2Cに対して座標情報と共に発行する。なお、受信した入力情報が終了要求であれば、サーバ2Aは現在の通信セッションを終了し、接続待ち状態となる(S2−9)。サーバ2Aが、制御部2Cに対して、イベントを発行すると、PC2は、イベントに対する処理を実行する。
【0080】
本実施の形態においては、端末1により指定された座標(アイコンが存在する座標)に対してマウスのダブルクリックイベントを発行する。このため、OSにより制御部2Cは、アイコンに対するプログラムを実行する。結果は図7のウィンドウ30に示すように、フォルダが開かれた状態となる。
【0081】
解析部2Hにおいて、端末1から送信された入力情報の解析と制御部2Cへのイベント発行とが完了すると、S2−2からS2−5の各ステップに示したように、表示画像情報の取得処理、加工処理が実施され、画像の差分の検出が行われる。ここで、前回送信した、第二の表示画像情報と、今回新たに加工処理が実施された表示画像情報との間に差分は存在しない場合、表示画像の送信処理(S2−6)はスキップされる。
【0082】
続いて、端末1からの操作指示が、表示位置変更要求であった場合を説明する。
【0083】
ユーザからの表示位置変更要求に対する入力情報は、S1−7からS1−8を介して、サーバ2Aへ送信される。ここでは、上方への表示位置変更要求であるとする。その場合、入力情報として(「上方への表示位置変更」,座標情報なし)がサーバ2Aへ送信される。
【0084】
サーバ2Aでは、前述したようにS2−7からS2−8を介して、端末1からの入力情報を受信し、解析処理を行う。この場合、前述した入力情報の解析処理とは異なり、端末独自の処理イベントに対して行われる。ここでは、「上方への表示位置変更」というイベントに対して、端末1に表示すべき画像情報をサーバ2Aが記憶部2Jから取得し、端末1へ送信するため、次に示す動作を行う。
【0085】
サーバ2Aでは、取得部2Eが表示画像情報を切り出す際に、ユーザからの入力情報が、「上方への表示位置変更」の指示情報であると判断する。そして現在端末1のLCD3Bに表示されている位置情報(前回記憶部2Fに保存された第二の表示画像情報の座標情報)を基準として、(0,0+n)から(320,240+n)までの矩形領域の画像情報を切り出す。ここで、nはシステム規定の値であり、本実施の形態では特定しない。
【0086】
図8にこの時のPC2の表示イメージにおける、切り出し画像のイメージを示す。同図には、表示位置変更要求前に制御端末へ表示している領域40と、上方への表示位置変更要求後の切り出し領域50が表示されている。
【0087】
そして検出部2Kは、切り出し画像と、前回端末1に送信した画像の差分を検出する。表示位置変更のため差分があるので、サーバ2Aは切り出し後の画像を送信する。端末1では、サーバ2Aから送信された第二の表示画像情報を受信し、表示部1Eへ表示することで表示位置を変更する。この結果の端末1の様子を図9に示す。
【0088】
以上説明したように、本実施の形態では、端末1からPC2を遠隔制御する際に、PC2の表示画像情報を、端末1のLCD3Bサイズに応じて変更、送信する。このことにより、当面表示されない領域の画像を端末1で受信する必要がなくなる。よって1度に転送するデータ量が削減され、データ転送時に発生する、表示の遅延、操作レスポンスの低下が抑えられる。従って、PC2から、PC2の全画面のイメージ情報を端末1へ送信する場合に比べ、効率的に通信が行われる。
【0089】
なお、サーバ2Aが端末1へ送信する表示画像情報を切り出す際に、切り出し後にフォアグランドウィンドウの一部の画像が切れてしまうことがある。よってこのような場合には端末1のLCD3Bのサイズに切り出すのではなく、フォアグランドのウィンドウ・フレームを含む矩形の領域の画像を切り出すようにすることが好ましい。そして切り出した画像を端末1に表示する。
【0090】
図10はその状態を示すものであり、領域60は端末1のLCD3Bのサイズとして切り出す画像領域、領域70は端末1へ送信するために新たに切り出した領域を示している。
【0091】
これにより、ユーザが操作する可能性が高いフォアグランドウィンドウの画像を予め送信しておくことが可能となり、サーバ2A、端末1の間での画像転送に要するトランザクション処理が軽減される。
【0092】
また、図11のフローチャートに示すように、サーバ2Aにおいて、端末1の入力部1Aからの入力情報を解析する際に、入力情報が端末1に非表示領域のフォアグランドのウィンドウに対するイベント情報であると判断した場合、入力情報を無効としてイベント発行をスキップしてもよい。すなわちイベントは無効と判断され、フォアグランドのウィンドウに対するコマンドはスキップされる。例えば、図12に示すように、端末1へ表示領域80が表示され、端末1のLCD3Bにフォアグランドウィンドウ90が非表示である場合を想定する。この場合、LCD3Bにおいて、「ウィンドウを閉じる」という入力情報を端末1から送信したとしても、制御部2Lは、そのイベントは無効であると判断し、何等処理されない(S3−11)。これにより、非表示のフォアグランドウィンドウ90に対して、ウィンドウイベントの発行が抑制される。すなわち、ユーザからは見えない領域にあるウィンドウが閉じられてしまうことによって引き起こされるユーザの混乱が抑制される。
【0093】
さらに、サーバ2Aで入力情報を解析する際に、入力情報が端末1に表示されたフォアグランドウィンドウに対するイベント情報である場合に、フォアグランドウィンドウの面積情報によって、イベントを発行するか否かを判断するようにしてもよい。例えば、図13に示すように、端末1のLCD3Bの表示領域100にウィンドウ110が50%以上表示されている場合、制御部2Lは、イベントを有効とする。図14に示すように表示領域120にウィンドウ110が表示されている領域が50%未満の場合、制御部2Lは、イベントは無効であると判断する。なお、本実施の形態では、表示領域を50%を閾値として判定することとしている。しかし本発明は、この閾値に限定されるものではない。例えば、ユーザが任意の値を設定し、その設定情報は、記憶部2Fまたは記憶部1Cに格納されるようにしてもよい。このような構成により、単にウィンドウが表示されていないことによってユーザからの操作指示を無効とすることに比べ、ウィンドウイベントを無効にすることの正確性が高まる。
【0094】
以上の画面表示について、以下、図15のフローチャートに沿って詳細に説明する。図13に示すように、端末1の画面に、PC2の画面上に領域100が表示された際に、領域算出部2Mは、ウィンドウ表示であるウィンドウ・フレームの領域を算出する。当該算出には、まず領域100と、領域100に占めるウィンドウ領域との各々の位置座標から、表示されるフレーム画像面積を割り出す。そして、端末1の表示画面に占めるウィンドウ表示面積の割合を算出する(S4−1)。そしてS4−2にて、当該領域がゼロか否かが検出される。
【0095】
S4−3では、算出された領域の割合が所定の割合より大きいか否かが判断される。算出部2Mが当該領域の割合が所定の割合以上と算出した場合、S4−4に移行する。すなわち、取得部2Eは、端末1の表示画面の中心座標位置と上記フレーム画像全体の中心とを合わせるようにする。そして端末1の画面内に、現在選択している領域100のものではなく、フレーム画像を表示させる。
【0096】
また上記のように、算出部2Mの結果を基に両中心を合わるように制御する際に、取得部2Eは、表示割合が100%となるようにウィンドウ・フレームを選択し、端末1の画面に表示させてもよい。この場合、結果として両中心は合っていないこともあり得る。
【0097】
さらに、S4−5で、制御部2Lは、制御部2Cを当該フレーム画像に関わる端末1の入力部1Aからのコマンドを受けつけるモードに設定する。
【0098】
S4−2にて、算出部2Mがフレーム領域を全く検出しない場合やS4−3にて、算出部2Mが所定の割合以上のフレーム画面を算出しない場合(図14参照)には、当該フレーム画像に関わる端末1の入力部1Aからのコマンドを受け付けず、スキップするモードに設定する(ステップ4−6)。なお、端末1の表示画面を占める割合は、ユーザが任意に変更することが出来る。そして、その割合情報は、端末情報記憶部1Cに格納される。
【0099】
さらに、サーバ2Aまたは端末1が操作指示無効と判断した際に、その旨を示す警告を端末1の表示部1Eへ表示したり、報知部1Gによりアナウンスをする(ビープ音を鳴らす)ようにしてもよい。表示は例えば、「指示は無効です。」とする。この時の端末1の様子を図15に示す。これにより、ユーザが端末1において行った操作に対して、PC2へその結果は反映されないことによるユーザの精神的不安を抑制できる。
【0100】
また、本実施の形態において、サーバ2Aから端末1へ送信する表示画像情報に、フォアグランドウィンドウが存在するか否かを付加して送信するようにしてもよい。そして、存在する場合、LCD3Bを占める面積情報を付加して送信するようにしてもよい。これにより、端末1でユーザ操作指示の有効、無効を判断し、操作指示に対する通信の抑制が可能となる。このため、操作指示無効時に発生する操作要求に対するトランザクションが軽減される。
【0101】
なお本実施の形態では、サーバ2Aで表示部2Bからの表示画像情報の取得、差分の検出を行い、差分が検出された場合、差分の表示画像情報のみを送信するようにしてもよい。例えば、端末1においてタッチパネル上のアイコンをタップし、PC2の表示部2B上のアイコンが反転表示されると、差分検出処理において差分と判断された領域を囲む矩形の表示画像情報とその領域情報が端末1に送信される。
【0102】
図17はその状態を示すもので、領域130は更新領域、領域140は制御端末のLCDに表示している領域を表している。そして、端末1では、この表示画像情報と領域情報を受信し、受信した領域に交信された画像を表示する。
【0103】
これにより、サーバ2Aは、画面の更新部分の画像のみを端末1へ送信する。よって、表示画像情報送信に要する通信トラフィックが削減される。さらに、サーバ2Aにおける差分検出処理において行われる画像比較処理は、端末1に表示された領域に制限される。このため、端末1へ被制御コンピュータ上の全表示画像情報を送信する場合と比較して、差分検出処理の処理負荷は軽減される。
【0104】
また、本実施の形態において、サーバ2Aでは入力情報の受信が行われないと、表示部2Bからの表示画像情報の取得、画像の差分検出を繰り返す。この際に、ある一定時間、入力情報の受信が行われなければ、端末1のLCD3Bへ表示していない領域のデータを送信するようにしてもよい。
【0105】
例えば、図18において、端末1に表示する領域150に対して、非表示領域160を予め送信する。すなわち、端末1において表示領域位置変更動作を行う際の表示画像情報の送受信に伴う通信を予め行っておける。このため、表示領域位置変更動作時の処理効率が向上する。
【0106】
また、上記のような状況の場合に、表示画像情報の切り出しを行わず、表示画像情報そのものを送信するようにしてもよい。これにより、一定時間入力情報が受信されない時間に、端末1へ表示画像情報全てが転送される。これにより表示領域位置変更動作において、表示画像情報に対する通信を行う必要がないため、表示領域位置変更動作のレスポンスが向上する。
【0107】
また、上記のような状況の場合に、取得した表示画像情報のうち、端末1のLCD3Bへ非表示な領域であり、なおかつ、表示位置変更要求に対応して送信する領域の表示画像情報のみを前もって送信してもよい。例えば、本実施の形態において、上下左右の表示位置変更を可能とした場合、図19に示すように端末1への表示領域が領域170である状態を想定する。この場合、端末1へは非表示領域180を送信する。これにより、端末1において表示領域位置変更動作を行う際の表示画像情報の差分画像のみの通信を予め行うため、表示領域位置変更動作時のレスポンスが向上する。
【0108】
【発明の効果】
以上のように、本発明によれば、被制御コンピュータの表示画面を制御端末に表示して、被制御コンピュータの遠隔制御を行う遠隔制御システムにおいて、制御端末の画面が被制御コンピュータより小さい場合、制御端末に非表示な領域の画像転送を行わないため、データ転送時に発生する、表示の遅延、操作レスポンスの低下を抑える効率的な遠隔制御を行えるという効果が得られる。
【0109】
また制御端末の表示能力に応じた画像の変換を被制御コンピュータにおいて行うことで制御端末のリソースの削減、しいては、制御端末の低価格化が可能となる。
【0110】
また制御端末への表示が予想される画像情報を、通信トランザクションが発生しない間に、制御端末に送信していない表示画像情報を事前に送信しておくことで、制御端末におけるレスポンス性の向上が可能となるという効果が得られる。
【0111】
また制御端末の操作において、制御端末に非表示な領域に対する操作指示の抑制が可能となるため、非表示な領域に対する操作の結果引き起こされる誤操作を抑制できるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態における通信制御システムの機能ブロック図
【図2】本発明の実施の形態における通信制御システムの回路ブロック図
【図3】本発明の実施の形態における制御端末の動作を示すフローチャート
【図4】本発明の実施の形態における画像転送サーバの動作を示すフローチャート
【図5】本発明の実施の形態における被制御コンピュータの画面イメージと制御端末へ表示される画面イメージを示す図
【図6】本発明の実施の形態における制御端末を示す図
【図7】本発明の実施の形態における被制御コンピュータの画面を示す図
【図8】本発明の実施の形態における被制御コンピュータの画面イメージと制御端末へ表示される画面イメージを示す図
【図9】本発明の実施の形態における制御端末を示す図
【図10】本発明の実施の形態における被制御コンピュータから制御端末へ送信するイメージの領域を示した図
【図11】本発明の実施の形態における画像転送サーバの動作を示すフローチャート
【図12】本発明の実施の形態における被制御コンピュータから制御端末へ送信するイメージの領域を示した図
【図13】本発明の実施の形態における被制御コンピュータと制御端末に表示された画面イメージを示した図
【図14】本発明の実施の形態における被制御コンピュータと制御端末に表示された画面イメージを示した図
【図15】本発明の実施の形態における画像転送サーバの動作のフローチャート
【図16】本発明の実施の形態における制御端末を示す図
【図17】本発明の実施の形態における被制御コンピュータから制御端末へ送信するイメージの領域を示した図
【図18】本発明の実施の形態における被制御コンピュータから制御端末へ送信するイメージの領域を示した図
【図19】本発明の実施の形態における被制御コンピュータから制御端末へ送信するイメージの領域を示した図
【符号の説明】
1 通信制御端末(端末)
1A 入力部
1B 通信部
1C 端末情報記憶部
1D 表示情報解析部
1E 表示部
2 被制御コンピュータ(PC)

Claims (17)

  1. 画像を表示する表示部を有する端末と、コンピュータとを備え、前記コンピュータに格納された第1画像情報を前記端末に送信する通信制御システムであって、前記端末が、前記端末の画像表示能力情報を前記コンピュータに送信した際に、前記コンピュータは、前記画像表示能力情報に基づいて前記第1画像情報を第2画像情報に変更して前記端末に送信し、前記端末は前記第2画像情報を受信して前記表示部に表示する、通信制御システム。
  2. 前記コンピュータは、前記第1画像情報を格納する第1の記憶部と、前記第1画像情報を変更する変更部と、各種の情報を送受信する第1の通信部と、を有し、前記端末は、前記表示部に表示する前記第2画像情報を格納する第2の記憶部と、前記表示部の画像表示能力情報を格納する第3の記憶部と、各種情報を前記コンピュータへ送受信する第2の通信部と、をさらに有し、前記第2の通信部が、前記第3の記憶部に格納された画像表示能力情報を前記第1の通信部に送信した際に、前記変更部は、前記画像表示能力情報に基づいて前記第1の記憶部の前記第1画像情報を変更し、当該変更された画像情報を前記第1の通信部から前記第2の通信部に送信し、前記第2画像情報が前記第2の記憶部に格納されるとともに、前記表示部に表示される、請求項1記載の通信制御システム。
  3. 前記画像表示能力情報が、前記表示部の画面サイズと、前記表示部の画面の解像度情報とのうち少なくとも1を含む請求項1記載の通信制御システム。
  4. 前記コンピュータは、前記第1画像情報を、前記表示部の画面サイズと前記表示部の画面の解像度サイズとのいずれかに切り出す、請求項3記載の通信制御システム。
  5. 前記画像表示能力情報が、さらに前記表示部の画面の画素情報を含む、請求項3記載の通信制御システム。
  6. 前記コンピュータは、前記変更部により変更された画像が更新されたときに、更新後の画像情報を前記端末に送信する請求項2記載の通信制御システム。
  7. 前記コンピュータは、前記変更部により変更された画像が更新されたときに、更新された部分の画像情報を前記端末に送信する、請求項2記載の通信制御システム。
  8. 前記コンピュータは、前記第2画像情報に含まれ、前記表示部に表示されるフレーム画像の領域を検出する領域算出部をさらに有し、前記領域算出部が前記第2画像情報に当該フレーム画像の一部が含まれることを検出した際に、前記端末の表示部に当該フレーム画像のみを表示する、請求項2記載の通信制御システム。
  9. 前記コンピュータは、前記第2画像情報に含まれ、前記表示部に表示されるフレーム画像の領域を検出する領域算出部をさらに有し、前記端末はユーザが各種コマンドを入力する入力部をさらに有し、前記領域算出部が、前記表示部に表示される前記第2画像情報にA)当該フレーム画像以外のみが含まれることを検出した際、B)所定の面積割合未満の当該フレーム画像が含まれることを検出した際、のいずれか一方である場合に、前記入力部により入力された当該フレーム画像に関するコマンドがスキップされる、請求項2記載の通信制御システム。
  10. 前記端末が、当該コマンドがスキップされる場合に作動する報知部をさらに有する、請求項9記載の通信制御システム。
  11. 前記領域算出部が検出する当該フレーム画像の所定の面積割合をユーザが設定する、請求項9記載の通信制御システム。
  12. 前記第2画像情報がフレーム画像を含む場合、前記第2通信部は前記第1の通信部に、前記第2画像情報がフレーム画像を含むことを示す情報をさらに送信する、請求項2に記載の通信制御システム。
  13. 前記変更部により変更された画像が所定時間経過前後で同じである場合に、少なくとも当該切り出した画像以外の第3画像情報を前記第1の通信部から前記第2の通信部へ送信する、請求項3記載の通信制御システム。
  14. 前記端末はユーザが前記表示部の表示位置変更要求を入力する入力部をさらに有し、切り出した画像以外の前記第3画像情報は、当該表示位置変更要求に応じる領域の画像の情報である、請求項13記載の通信制御システム。
  15. 画像を表示する表示部を有する端末と第1画像情報を格納するコンピュータとを備えた通信制御システムの画像転送プログラムを格納する記憶媒体であって、A)前記端末の画像表示能力情報を前記端末から前記コンピュータに送信するステップと、
    B)前記画像表示能力情報に基づいて前記第1画像情報を第2画像情報に変更するステップと、C)前記第2画像情報を前記コンピュータから前記端末に送信するステップと、D)前記第2画像情報を前記表示部に表示するステップと、を含む、通信制御システムの画像転送プログラムを格納した記憶媒体。
  16. 前記コンピュータは、前記第1画像情報を格納する第1の記憶部と、前記第1画像情報を変更する変更部と、各種の情報を送受信する第1の通信部と、を有し、前記端末は、前記表示部に表示する前記第2画像情報を格納する第2の記憶部と、前記表示部の画像表示能力情報を格納する第3の記憶部と、各種情報を前記コンピュータへ送受信する第2の通信部と、をさらに有し、前記Aステップが、E)前記第2の通信部が、前記第3の記憶部に格納された画像表示能力情報を前記第1の通信部に送信するステップを含み、前記Bステップが、F)前記変更部が、前記能力情報に基づいて前記第1の記憶部の前記第1画像情報を変更するステップを含み、前記Cステップが、G)前記第2画像情報を前記第1の通信部から前記第2の通信部に送信するステップを含み、前記Dステップが、H)前記第2画像情報を前記第2の記憶部に格納するステップと、J)前記第2画像情報を前記表示部に表示するステップと、を含む、請求項15記載の記憶媒体。
  17. 前記画像表示能力情報が、前記表示部の画面サイズと、前記表示部の画面の解像度情報とのうち少なくとも1を含む、請求項15記載の記憶媒体。
JP2003110111A 2002-04-17 2003-04-15 通信制御システムと画像転送プログラムを格納した記憶媒体 Pending JP2004005582A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003110111A JP2004005582A (ja) 2002-04-17 2003-04-15 通信制御システムと画像転送プログラムを格納した記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002114546 2002-04-17
JP2003110111A JP2004005582A (ja) 2002-04-17 2003-04-15 通信制御システムと画像転送プログラムを格納した記憶媒体

Publications (1)

Publication Number Publication Date
JP2004005582A true JP2004005582A (ja) 2004-01-08

Family

ID=30447100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003110111A Pending JP2004005582A (ja) 2002-04-17 2003-04-15 通信制御システムと画像転送プログラムを格納した記憶媒体

Country Status (1)

Country Link
JP (1) JP2004005582A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099660A (ja) * 2004-09-30 2006-04-13 Casio Comput Co Ltd 画像表示システム、画像表示装置及び画像表示プログラム
JP2008520131A (ja) * 2004-11-12 2008-06-12 アイエスイーイー メディア,インク. 文書、電子メール添付ファイル、および地図をワイヤレス装置へストリーミングする方法およびシステム
JP2009500763A (ja) * 2005-07-11 2009-01-08 ロジックプラント 低速通信網と低速仕様の個人用通信端末機に最適化されたコンピュータの遠隔制御方法及びそのシステム
JP2009506467A (ja) * 2004-02-18 2009-02-12 サン・マイクロシステムズ・インコーポレーテッド 仮想マシンにおける並行タスクのためのイベント処理
JP2009289182A (ja) * 2008-05-30 2009-12-10 Sony Corp 情報処理システム、情報処理装置及び情報処理方法、並びにプログラム
US8026928B2 (en) 2006-11-28 2011-09-27 International Business Machines Corporation Method, program and apparatus for generating image data
JP2014067077A (ja) * 2012-09-24 2014-04-17 Yahoo Japan Corp 地図情報提供装置
EP2750029A1 (en) 2012-12-25 2014-07-02 Konica Minolta, Inc. Display processing apparatus, image forming apparatus, display processing system of a remote screen, and display processing method
WO2015098841A1 (ja) * 2013-12-25 2015-07-02 株式会社リコー 情報処理装置、プログラム、及び伝送システム
JP2016071461A (ja) * 2014-09-26 2016-05-09 京セラドキュメントソリューションズ株式会社 電子機器
JP2018093546A (ja) * 2018-03-13 2018-06-14 株式会社三菱Ufj銀行 情報処理装置
JP2018173820A (ja) * 2017-03-31 2018-11-08 富士通株式会社 情報処理装置、情報処理システム、及び情報処理方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009506467A (ja) * 2004-02-18 2009-02-12 サン・マイクロシステムズ・インコーポレーテッド 仮想マシンにおける並行タスクのためのイベント処理
JP2006099660A (ja) * 2004-09-30 2006-04-13 Casio Comput Co Ltd 画像表示システム、画像表示装置及び画像表示プログラム
US8878851B2 (en) 2004-11-12 2014-11-04 Synchronica Plc Method and system for streaming documents, e-mail attachments and maps to wireless devices
JP2008520131A (ja) * 2004-11-12 2008-06-12 アイエスイーイー メディア,インク. 文書、電子メール添付ファイル、および地図をワイヤレス装置へストリーミングする方法およびシステム
US8405660B2 (en) 2004-11-12 2013-03-26 Synchronica Plc Method and system for streaming documents, E-mail attachments and maps to wireless devices
JP2009500763A (ja) * 2005-07-11 2009-01-08 ロジックプラント 低速通信網と低速仕様の個人用通信端末機に最適化されたコンピュータの遠隔制御方法及びそのシステム
US8026928B2 (en) 2006-11-28 2011-09-27 International Business Machines Corporation Method, program and apparatus for generating image data
JP2009289182A (ja) * 2008-05-30 2009-12-10 Sony Corp 情報処理システム、情報処理装置及び情報処理方法、並びにプログラム
JP4661907B2 (ja) * 2008-05-30 2011-03-30 ソニー株式会社 情報処理システム、情報処理装置及び情報処理方法、並びにプログラム
US9300754B2 (en) 2008-05-30 2016-03-29 Sony Corporation Information processing system, information processing apparatus, information processing method, and program
JP2014067077A (ja) * 2012-09-24 2014-04-17 Yahoo Japan Corp 地図情報提供装置
CN103905683A (zh) * 2012-12-25 2014-07-02 柯尼卡美能达株式会社 显示处理装置、图像形成装置、远程画面的显示处理系统
US9247082B2 (en) 2012-12-25 2016-01-26 Konica Minolta, Inc. Display processing apparatus, image forming apparatus, display processing system of a remote screen, and display processing method
EP2750029A1 (en) 2012-12-25 2014-07-02 Konica Minolta, Inc. Display processing apparatus, image forming apparatus, display processing system of a remote screen, and display processing method
WO2015098841A1 (ja) * 2013-12-25 2015-07-02 株式会社リコー 情報処理装置、プログラム、及び伝送システム
JPWO2015098841A1 (ja) * 2013-12-25 2017-03-23 株式会社リコー 情報処理装置、プログラム、及び伝送システム
US10073542B2 (en) 2013-12-25 2018-09-11 Ricoh Company, Ltd. Information processing apparatus and transmission system for reducing screen failure when display data is transmitted to a destination
JP2016071461A (ja) * 2014-09-26 2016-05-09 京セラドキュメントソリューションズ株式会社 電子機器
JP2018173820A (ja) * 2017-03-31 2018-11-08 富士通株式会社 情報処理装置、情報処理システム、及び情報処理方法
US10481853B2 (en) 2017-03-31 2019-11-19 Fujitsu Limited Information processing apparatus, information processing system, and information processing method
JP2018093546A (ja) * 2018-03-13 2018-06-14 株式会社三菱Ufj銀行 情報処理装置

Similar Documents

Publication Publication Date Title
WO2016165568A1 (zh) 视频图像缩放方法和移动终端
US9235262B2 (en) Remote control of host application using motion and voice commands
WO2019024898A1 (zh) 文件传输显示控制方法、装置及相应的终端
US9686504B2 (en) Remote resource access interface apparatus
EP2309366A2 (en) Method for inputting text and display apparatus using the same
US9703392B2 (en) Methods and apparatus for receiving, converting into text, and verifying user gesture input from an information input device
US20020002707A1 (en) System and method to display remote content
US20070050470A1 (en) Display method and system of computer information
EP1902378A1 (en) A method and system of computer remote control that optimized for low bandwidth network and low level personal communication terminal device
JP2004005582A (ja) 通信制御システムと画像転送プログラムを格納した記憶媒体
WO2013182063A1 (zh) 一种启动WebApp的方法及装置
JP2012133586A (ja) 表示装置、画面画像転送方法、及びプログラム
WO2021047230A1 (zh) 一种获取截图信息的方法及装置
US20240089551A1 (en) Interaction method and apparatus, and electronic device
JP2004348380A (ja) シンクライアントシステム、シンクライアント端末機、中継装置、サーバ装置及びシンクライアント端末画面表示方法
US9570045B2 (en) Terminal apparatus and display control method
JP2007265207A (ja) コンピュータシステムにおけるサーバ装置及びサーバ制御プログラム
CN112866784A (zh) 一种大屏局部回显控制方法、控制系统、设备及存储介质
US20030206193A1 (en) Communication control system and storage medium for storing image transfer program
KR100800458B1 (ko) 필기 메시지 전송을 위한 이동통신단말기 및 이를 이용한필기 메시지 전송 방법
US20080228856A1 (en) Information processing device detecting operation, electronic equipment and storage medium storing a program related thereto
JP2002202935A (ja) サーバ装置
JP2004086744A (ja) 情報処理装置及びプログラム
TWI524691B (zh) 遠端控制方法以及實現此方法之系統、接收裝置、行動上網裝置以及記錄媒體
JPH10171739A (ja) コンピュータシステム、並びに、同システムに好適なホストコンピュータ及び携帯型ターミナル

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060413

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090818