JP2005141360A - 遠隔制御システム及び遠隔制御方法 - Google Patents

Abstract

【課題】制御コンピュータのディスプレイサイズが、被制御コンピュータのディスプレイより小さい遠隔制御システムにおいて、ブラウジング操作時の横スクロールを抑制し、縦スクロールのみでブラウジング操作を可能とする遠隔制御システムを提供する。
【解決手段】ＨＴＭＬ変換フィルタ３により、被制御コンピュータ２上のブラウザに表示された表示要素が、制御端末１の画面幅に収まるように改変し、なおかつ、ブラウザに表示された表示要素を順次選択する制御手段を設けることにより、制御端末１から被制御コンピュータ２上に表示されたブラウザを閲覧する際に、横方向のスクロールを必要とせず、縦方向のスクロールのみで操作が可能となるため、ブラウザの操作性、及び、テキストの可読性が高まるという効果を有する。
【選択図】図１

Description

本発明は、小さい画面を有する制御端末からネットワークなどを介してコンピュータを制御する遠隔制御システムの制御プログラムを格納した記憶媒体に関するものである。

近年のコンピュータ、及びインターネットの普及は著しく、オフィスはもとより、家庭、学校などの公共施設、あるいは、旅館、ホテルといった各種施設にも、常時接続可能な環境が整いつつある。一方、コンピュータに関して言えば、小型化／軽量化が進められ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｃｅ）と呼ばれる携帯情報端末や、携帯電話までも、演算回路や記憶メモリを備え、なおかつ、インターネットへのアクセス手段を備えているようになっている。一般に、これらの小型情報端末は、小型化ゆえに、画面の解像度がＰＣに比べ劣る。このため、これらの小型情報端末を用いて、インターネット上のコンテンツ（ＨＴＭＬ）を閲覧する場合、画面の小ささによる次のような問題が発生する。

本来、インターネット上のコンテンツは、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やワークステーションによる閲覧を主目的として作成されているものが多く、前述の小型情報端末のために作られたものではない。一部、情報端末の種別ごとに異なったコンテンツを提供しているサイトも存在するが、結局は、コンテンツ作成者の作成／メンテナンス等の負荷の増大、また、あらゆる種別の小型情報端末ごとに異なったコンテンツの提供が困難なため、多くはＰＣ用のコンテンツの提供のみにとどまっている。よって、小型情報端末でインターネット上のコンテンツを閲覧するためには、ＰＣ用のコンテンツを閲覧するしかないのが現状である。しかし、ＰＣに比べ解像度の劣る小型情報端末では、インターネット上のコンテンツを表示しても、その全ての情報を一度に画面上に表示できない。

近年の技術革新により高精細なＬＣＤが開発されてはいるが、仮にこのような高精細なＬＣＤを利用したとしても、画面の物理的なサイズの小ささゆえに、逆に、人間の視覚能力では、表示された情報を認識することはできないという問題が発生してしまう。

結局、小型情報端末でインターネット上のコンテンツ、すなわちＰＣ用に作成されたコンテンツを閲覧するには、画面に表示できていない領域を、縦／横方向のスクロールを多用しながら、閲覧していくしかない。しかし、横方向へのスクロールを行いながら、文章を読み進めていく場合、文章の折り返しが発生した時点で、行頭まで戻ってから、続きの文章を読む必要がある。したがって、行頭まで戻る操作を行っている間、スクロール操作の煩わしさは当然のことながら、それまで読み進んだ文章内容を記憶しておかねばならず、文章内容の理解においても精神的な苦痛を伴ってしまう。

このような問題を解決するため、小型情報端末を用いてブラウジングを行う場合、文字列を画面の幅に収まるように、文字のフォントサイズを変更、すなわちフォントサイズを小さくして表示するということを行う発明がある（例えば、特許文献１参照）。

また、特許文献２では、ブラウザ内部モジュールに、ＨＴＭＬ内の表示要素（文字やイメージ）を、画面のサイズ内に収まるように、縮小することや、表示要素の表示位置、すなわちレイアウトを変更してしまうといったモジュールを追加することにより課題解決を図っている。

さらには、特許文献３では、小型情報端末とＷｅｂサーバ上にＨＴＭＬデータを改変するデータ改変サーバを設置し、予め、小型情報端末からデータ改変サーバに対して自身の表示能力や、画面に表示可能な表示文字数を送信しておき、その情報に基づき、テキスト内にスペースや改行を挿入、またテーブルを分解して各セルの要素を表示することを行い、文字列を小型情報端末の画面のサイズに納まる長さで強制的に折り返し、横スクロールの抑制を行うことにより課題解決を図っている。

ところで、被制御コンピュータの表示画面を制御コンピュータへ、また、制御コンピュータから被制御コンピュータへコンピュータの入力情報を送信し、制御コンピュータから被制御コンピュータをリモート制御する、いわゆる遠隔制御システムが存在する。この遠隔制御システムでは、被制御コンピュータは、一般的には、ＰＣなどの汎用コンピュータであり、制御コンピュータは、端末などのシステムリソース（低ＣＰＵ、小メモリ）が乏しいコンピュータである。言い換えると、遠隔制御システムは、低性能なコンピュータを、あたかも高性能のコンピュータを利用しているかのごとく振舞わせることを目的として開発されている。

ところが、遠隔制御システムにおいても、いつ、どこからでも利用したいというニーズから、小型の制御コンピュータを利用した遠隔制御システムの開発が進められている（例えば、Ｄｅｓｋｔｏｐ Ｏｎ−Ｃａｌｌ：インターナショナル・ビジネス・マシーンズ・コーポレーションの登録商標）。これにより、遠隔制御システムにおいても、制御側コンピュータと、被制御側コンピュータのディスプレイの解像度の異なりによる、上述した問題と同様の問題が発生してしまう。

すなわち、制御側コンピュータのディスプレイの解像度が、被制御側コンピュータのディスプレイの解像度より低いことにより、制御コンピュータのディスプレイへ被制御コンピュータの表示画面を全て表示できない。よって、制御コンピュータでの遠隔制御時に、被制御側コンピュータのディスプレイ上の非表示領域を表示させるための操作が必要となる。

特に、昨今のＰＣの利用形態は、インターネットコンテンツの閲覧操作である、ブラウジング操作がその利用の大半を占めている。しかしながら、遠隔制御システムにおいて、被制御コンピュータ上のブラウザを制御するための方法が存在しないため、遠隔制御システムにおいて制御コンピュータでブラウジングを行う際、被制御システムに表示されたブラウザをそのまま表示し、制御コンピュータのディスプレイに表示できていない領域を縦／横のスクロールを繰り返しながらブラウジングを行うしか方法が存在しない。
特開平９−５０２６７号公報 特開２００１−２４３１５１号公報 特開２００２−６３１０８号公報

以上示したように、遠隔制御システムにおいて、特に制御コンピュータのディスプレイが、被制御コンピュータのディスプレイより小さいことにより、制御コンピュータでのブラウジング操作時に縦／横スクロールを多用するという煩雑な操作が必要になる。

しかし、仮に、上述した、小型情報端末からブラウジングを行うための、特許文献１、２に記載された発明を利用し、遠隔制御時にブラウザへ表示するコンテンツのフォントサイズやイメージを縮小表示して表示したとしても、縮小可能なサイズには制限があり、小さくしすぎた場合、逆に人間の視覚能力で文字の認識が困難となるであろう。

事実、数年前までは、ディスプレイの解像度は、ＶＧＡ（横６４０×縦４８０ドット）をベースとしたものがほとんどであり、インターネットコンテンツも、ＶＧＡサイズを基本として作成されていた。しかし、現在では、ＰＣのディスプレイ解像度の向上に伴い、ＳＶＧＡ（横８００×縦６００ドット）を基本としたコンテンツが多く存在する状況となっている。今後も、ＰＣのディスプレイ解像度の向上に伴い、インターネットコンテンツのサイズも大きくなることが予想される。このような増大傾向にあるコンテンツサイズを小型情報端末の幅内に収まるように縮小を行っても、いずれ限界に到達するであろう。

また、特許文献１に示されたような、ブラウザ内部モジュールの変更による方法を利用した場合、新たにブラウザを開発する必要があり、その開発工数は多大となるばかりか、既に、ブラウザが搭載された被制御コンピュータに新たな専用のブラウザを搭載する必要があり、システムリソースを浪費してしまう。

さらに、特許文献３に示された方法を利用した場合には、遠隔制御システムを利用しない場合、すなわち、被制御コンピュータを直接利用する場合、制御コンピュータ用にコンテンツを改変してしまった結果がブラウザに表示されるため、レイアウトが壊れた状態となり、表示内容の理解に困惑する可能性がある。

本発明は、上記に示す課題を解決するため、制御コンピュータのディスプレイサイズが、被制御コンピュータのディスプレイより小さい遠隔制御システムにおいて、ブラウジング操作時の横スクロールを抑制し、縦スクロールのみでブラウジング操作を可能とする遠隔制御システムを実現することを目的とするものである。

この課題を解決するために、本発明は、ブラウザが内蔵されたコンピュータと、通信回線を介して前記コンピュータの表示画像を受信して表示する表示部を有する端末と、前記ブラウザがＷｅｂサーバに対して、アクセスしたコンテンツ内の表示要素を、前記端末のサイズに適合する形式に改変し、ブラウザへ送信するＨＴＭＬ変換フィルタとを備えた遠隔制御システムである。このため、前記端末から前記コンピュータ上のブラウザを閲覧する場合、縦方向のみのスクロールで閲覧可能とすることが可能となる。しかも、ＨＴＭＬの改変は、表示要素である、テキストやイメージに対して、領域設定を行うタグを付加することにより行うため、テーブル等のレイアウトが壊れたりすることはなく、オリジナルのレイアウトに近い状態でコンテンツをレイアウトすることが可能となる。さらに、表示領域はＨＴＭＬのタグ属性を使用して行う、すなわち、ＨＴＭＬ内のテキストが端末のサイズ内に収まるように折り返されるため、フォントサイズを縮小するような場合とは異なり、縮小率の制限も存在しない。

本発明の遠隔制御システムは、制御端末の画面が被制御コンピュータより小さい場合、被制御コンピュータ上のブラウザに表示された表示要素が、制御端末の画面幅に収まるように改変し、なおかつ、ブラウザに表示された表示要素を順次選択する制御手段を設けることにより、制御端末で被制御コンピュータ上に表示されたブラウザを遠隔地から閲覧する際に、横方向のスクロールを必要とせず、縦方向のスクロールのみで操作が可能となるため、ブラウザの操作性、及び、テキストの可読性が高まるという効果が得られる。

本発明は、ブラウザ操作時の操作性、コンテンツ内のテキストの可読性を向上させるという目的を、ブラウザに表示すべきＨＴＭＬを制御端末の画面幅に収まるように改変し、しかも、改変したＨＴＭＬ内の表示要素を順次選択するための、ブラウザ制御用の実行コードを用いて実現している。

上記課題を解決するためになされた第１の発明は、画像を表示する表示部を有する端末と、インターネットコンテンツを表示するブラウザ及び前記端末へ自身の表示イメージを送信するコンピュータと、Ｗｅｂサーバから送信されたコンテンツデータを受信し、ＨＴＭＬ内の表示要素に対して前記端末の画面サイズに合わせて表示可能となるようにＨＴＭＬデータの改変を行い、ブラウザへ送信するＨＴＭＬ変換フィルタからなる構成としたものであり、インターネットコンテンツ内の表示要素を端末の画面幅に応じて改変し、コンテンツ閲覧時のユーザ操作性の向上が行えるという作用を有するものである。

上記課題を解決するためになされた第２の発明は、前記端末は、前記コンピュータと通信する第１の通信部と、前記コンピュータへの操作指示を行う第１の入力部と、前記第１の通信部を通じて受信した画像情報を記憶する第１の記憶部と、前記第１の記憶部に記憶した画像情報を表示する第１の表示部と、本端末の動作制御を行う端末制御部を有し、前記コンピュータは、第２の表示部と前記第２の表示部に表示された画像情報を格納する第２の記憶部と、各種の情報を送受信する第２の通信部と、前記コンピュータの操作を行う第２の入力部と、前記コンピュータの制御を行うコンピュータ制御部を有し、ＨＴＭＬ変換フィルタは、ブラウザからの要求にしたがい、ＷｅｂサーバへＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）プロトコルを介して、ＨＴＴＰリクエストを発行し、リクエストに対するＨＴＴＰレスポンスを受信してＨＴＴＰレスポンスからＨＴＭＬデータを取り出すＨＴＴＰ解釈部と、ＨＴＴＰ解釈部が取り出したＨＴＭＬデータを解析するＨＴＭＬ解析部と、ＨＴＭＬデータ内の表示要素のサイズを端末の第２の表示部に表示可能なサイズに改変するＨＴＭＬ変換部と、ＨＴＭＬ変換部により変換されたＨＴＭＬデータからＨＴＴＰレスポンスを再生成するＨＴＴＰ生成部と、ＨＴＴＰリクエスト、ＨＴＭＬデータ、及びＨＴＴＰ生成部が再生成したＨＴＴＰレスポンスを記憶する第３の記憶部と、Ｗｅｂサーバ、及びブラウザと通信回線を通じて通信する第３の通信部と、ＨＴＭＬ変換フィルタの動作制御を行う変換フィルタ制御部とからなる構成としたものであり、これにより、インターネットコンテンツ内の表示要素を、端末の画面幅に応じた形式に改変し、コンテンツ閲覧時のユーザ操作性の向上が行えるという作用を有するものである。

上記課題を解決するためになされた第３の発明は、第３の通信部が、ブラウザと制御線を通じて通信し、Ｗｅｂサーバと通信回線を通じて通信することとしたものであり、これにより、変換フィルタを被制御コンピュータに内蔵することが可能となり、変換フィルタが物理的に離れた位置に存在する場合と比較してデータ通信に要する時間の削減が可能となる作用を有するものである。

上記課題を解決するためになされた第４の発明は、ブラウザ及びＷｅｂサーバと通信回線を通じて通信することとしたものであり、これにより、ＨＴＭＬ変換フィルタを複数のブラウザで共有化可能となるため、ＨＴＭＬ変換フィルタのメンテナンス、管理の一元化が可能となるという作用を有するものである。

上記課題を解決するためになされた第５の発明は、ＨＴＭＬ変換フィルタが行うＨＴＭＬの改変は、ＨＴＭＬ内の表示要素に対してＨＴＭＬの表示要素をグルーピングするタグを挿入し、タグの幅属性に対して、前記端末の表示幅と同一値を設定することとしたものであり、これにより、ＨＴＭＬの表示要素に対して端末幅に収まるように設定が可能となるため、ＨＴＭＬ内のレイアウト用のタグ（例えば、テーブル用のタグ）などに影響を与えないため、オリジナルのレイアウトを保ったままＨＴＭＬの表示要素に対して、幅の指定が行えるという作用を有するものである。

上記課題を解決するためになされた第６の発明は、ＨＴＭＬ変換フィルタが行うＨＴＭ
Ｌの改変は、ＨＴＭＬ内の表示要素に対してＨＴＭＬの表示すべき要素をグルーピングするタグを挿入し、タグの幅属性に対して、前記端末の幅の値を設定することに加え、グルーピングした要素に対して背景色と同系色の枠線を表示するタグ属性を設定することとしたものであり、これにより、ユーザが表示要素を閲覧する場合、表示要素の領域を判断しながら読むことが可能となるという作用を有するものである。

上記課題を解決するためになされた第７の発明は、第１の入力部が、ブラウザの起動、操作指示を行い、ＨＴＭＬ変換フィルタがＨＴＭＬの解析、改変を行う際に、ブラウザの操作指示用の実行コードをＨＴＭＬ内に埋め込むこととしたものであり、これにより、端末からブラウザの表示要素に対する変更操作やリンクへのフォーカスの移動操作といったブラウザの制御操作が可能となるという作用を有するものである。

上記課題を解決するためになされた第８の発明は、ブラウザが端末からの操作指示を解釈、実行するための操作指示解釈実行部を有することとしたものであり、これにより、端末からブラウザへの操作手段を提供し、リモートからブラウザを制御できるという作用を有するものである。

上記課題を解決するためになされた第９の発明は、操作指示解釈実行部をブラウザに内蔵されたスクリプト言語のインタプリタとし、操作指示用の実行コードは、インタプリタが解釈実行可能なスクリプトコードとし、端末からコンピュータを操作時に、端末からの操作指示に応じて、スクリプトが実行され、操作指示に対する動作を行うこととしたものであり、これにより、操作指示実行部を、ブラウザに内蔵されたインタプリタを使用することにより、操作指示実行部の開発工数の削減が可能となるという作用を有するものである。

上記課題を解決するためになされた第１０の発明は、操作指示解釈実行部はコンピュータの実行コードであり、端末からブラウザへの操作指示要求が発生すると、コンピュータ制御部が本実行コードを動作させ、ブラウザに対しての動作指示を行うこととしたものであり、これにより、ブラウザ内蔵のインタプリタを利用する場合に比べ、インタプリタの言語制約を受けない、すなわち、操作指示解釈実行部の開発の自由度が高まるという作用を有するものである。

上記課題を解決するためになされた第１１の発明は、ブラウザへの操作指示はＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬの表示要素を変更する操作であり、変更操作が行われると、操作指示解釈実行部が、ＨＴＭＬのマーキングされた表示要素の、第２の表示部上の表示位置をコンピュータ制御部に通知し、コンピュータ制御部が、第２の表示部上の表示画像情報を取得し、端末へ送信することとしたものであり、これにより、ＨＴＭＬ内の表示要素の変更操作を端末から行うことが可能となる作用を有するものである。

上記課題を解決するためになされた第１２の発明は、端末から行うブラウザへの操作指示はＨＴＭＬ表示要素の変更操作であり、変更操作が行われると、前記操作指示解釈実行部は、前記第２の表示部上に表示されたブラウザ上の枠線を画像認識することにより変更対象の表示要素を検索し、枠線内に存在する表示画像情報を取得、前記端末へ送信することとしたものであり、これにより、ＨＴＭＬ内の表示要素の変更操作を端末から行うことが可能となる作用を有するものである。

上記課題を解決するためになされた第１３の発明は、端末から行うブラウザへの操作指示である表示要素の変更操作は、端末の第１の表示部に現在表示しているＨＴＭＬ表示要素の次、もしくは前のＨＴＭＬ表示要素を表示する操作であり、ＨＴＭＬ表示要素の前後関係は、ＨＴＭＬ変換フィルタがＨＴＭＬ表示要素に対してマーキングした順序に従うこ
ととしたものであり、これにより、表示要素の変更操作を順送り、逆送りに行えるため、誤操作などにより、表示要素の変更操作を複数回行って目的の表示要素を表示し損ねた場合、表示し損ねた表示要素を表示可能となるという作用を有するものである。

上記課題を解決するためになされた第１４の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬの表示要素をグルーピングする際に、グルーピングした全ての表示要素集合を、コンピュータ制御部に通知し、端末からの表示要素の変更操作時に、コンピュータ制御部が表示要素の候補先リストを作成、端末へ通知することによりユーザが候補先リストから表示要素の変更先を選択可能とすることとしたものであり、これにより、ユーザは候補先リストの中から任意の候補を選択可能となるため、候補先を順送り、あるいは逆送りに順次表示していく場合に比べ不要な表示要素を選択する必要がなくなることにより、操作性の向上が行えるという作用を有するものである。

上記課題を解決するためになされた第１５の発明は、端末から行うブラウザへの操作指示である表示要素の変更操作を、端末の第１の表示部の任意の位置をポインティングデバイスにより指し示すことにより行い、端末制御部が、第１の通信部を通じてポインティングデバイスにより指し示された位置座標をコンピュータ制御部に通知し、コンピュータ制御部が、通知された位置の近傍に存在する枠線の領域を選択することとしたものであり、これにより、ユーザがダイレクトにブラウザ上の表示要素を選択可能となるため、候補先を順送り、あるいは逆送りに順次表示していく場合に比べ不要な表示要素を選択する必要がなくなることにより、操作性の向上が行えるという作用を有するものである。

上記課題を解決するためになされた第１６の発明は、端末から行うブラウザへの操作指示は、ＨＴＭＬ表示要素内のリンクへフォーカスを移動する操作であり、ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬの表示要素で、端末の第１の表示部に現在表示している表示要素に含まれるリンクのフォーカスを、順方向もしくは逆方向に移動することとしたものであり、これにより、ポインティングデバイスが存在しない端末において、リンク選択を行う手段を提供できる作用を有するものである。

上記課題を解決するためになされた第１７の発明は、実行コード埋め込み時に、リンクのタグ属性にフォーカスが設定された場合に特徴付ける表示を行う実行コードを埋め込み、端末から行うフォーカス移動指示がなされた場合、操作指示解釈実行部がフォーカス移動操作指示を解釈実行し、ＨＴＭＬ表示要素内のフォーカスを移動したリンクに対して特徴付ける表示を行うこととしたものであり、これにより、フォーカスが設定されているリンクに対してハイライト表示などの特徴づけ表示が可能となるため、ユーザが誤ってリンクを選択することを抑制できるという作用を有するものである。

上記課題を解決するためになされた第１８の発明は、実行コード埋め込み時に、フォーカス移動操作指示が行われた場合に、対象となるＨＴＭＬ表示要素内のリンクのリストを作成し、コンピュータ制御部へ通知する実行コードを埋め込み、端末からのフォーカス移動操作指示時に、操作指示解釈実行部がフォーカス移動操作指示を解釈実行し、リンクリストを作成してコンピュータ制御部へ通知し、コンピュータ制御部がさらに端末へリンクリストを通知、第１の表示部へ表示することとしたものであり、これにより、リンクリストからダイレクトにリンクを選択可能となるため、フォーカスを順次移動しながら、リンクを選択する操作に比べ、操作性向上が行えるという作用を有するものである。

上記課題を解決するためになされた第１９の発明は、端末からコンピュータを遠隔制御する場合は、変換フィルタへＨＴＴＰリクエストを発行するようにブラウザの設定情報を自動変更することとしたものであり、これにより、ユーザがブラウザの接続情報を変更しなくても、端末からコンピュータを利用した場合は、ブラウザ設定情報を自動変更可能な
遠隔制御システムが実現できるという作用を有するものである。

上記課題を解決するためになされた第２０の発明は、端末からコンピュータをリモートから利用し、利用が終了すると、コンピュータ制御部がブラウザへ再読み込み動作を行わせ、ブラウザのキャッシュを更新することとしたものであり、これにより、コンピュータを直接利用した場合に、ブラウザがキャッシュに保存した、端末用に改変されたコンテンツがブラウザに表示されることを抑制できるという作用を有するものである。

上記課題を解決するためになされた第２１の発明は、変換フィルタが、改変後のコンテンツを保存管理するコンテンツ記憶部を備え、ＨＴＴＰ解釈部がブラウザからのＨＴＴＰリクエストを解釈した際に、コンテンツ保存部に保存されたコンテンツに対するＨＴＴＰリクエストであれば、コンテンツ記憶部に記憶されたコンテンツに対するＨＴＴＰレスポンスを生成し、ブラウザへ通知することとしたものであり、これにより、同じコンテンツを何度も改変することを抑制し、改変作業の効率化が図れるという作用を有するものである。

上記課題を解決するためになされた第２２の発明は、Ｗｅｂブラウザと、ブラウザの動作制御指示を行うための入力部、画像を表示する表示部を有する端末と、ブラウザからの要求に対するＨＴＭＬデータを改変するＨＴＭＬ変換フィルタと、ブラウザ、及び表示画像情報を格納する記憶部を有するコンピュータを備えた遠隔制御システムを用いた遠隔制御方法であって、
端末が前記コンピュータに接続するステップと、端末の画像表示能力情報を端末からコンピュータに送信するステップと、端末がコンピュータのブラウザプログラムを起動するステップと、端末がコンピュータのブラウザにコンテンツ取得要求を発行するステップと、ブラウザがＨＴＭＬ変換フィルタにコンテンツ取得要求を発行するステップと、ＨＴＭＬ変換フィルタがＷｅｂサーバへコンテンツ取得要求を発行するステップと、ＨＴＭＬ変換フィルタがＷｅｂサーバへコンテンツ取得要求を発行するステップと、Ｗｅｂサーバがコンテンツ取得要求に対するコンテンツを送信するステップと、ＨＴＭＬ変換フィルタが、Ｗｅｂサーバが送信したコンテンツを受信するステップと、ＨＴＭＬ変換フィルタが受信したコンテンツからＨＴＴＰレスポンスを解析し、ＨＴＭＬを取得するステップと、前記ＨＴＭＬ変換フィルタがＨＴＭＬを解析するステップと、ＨＴＭＬ変換フィルタがＨＴＭＬの解析結果に基づいてＨＴＭＬを改変するステップと、ＨＴＭＬ変換フィルタが改変したＨＴＭＬからＨＴＴＰレスポンスを生成するステップと、ＨＴＭＬ変換フィルタが生成したＨＴＴＰレスポンスを前記ブラウザへ送信するステップと、ブラウザがＨＴＴＰレスポンスを受信するステップと、ブラウザがコンテンツを解釈し表示イメージを作成して画像情報を記憶部に格納するステップと、ブラウザが格納した画像情報を取得するステップと、ブラウザが格納した画像情報を前記端末に送信するステップと、端末が前記コンピュータから送信された画像情報を受信するステップと、端末がコンピュータから送信された画像情報を表示部に表示するステップと、ブラウザへの操作指示を行うステップを有することとしたものであり、これにより、インターネットコンテンツ内の表示要素を、端末の画面幅に応じた形式に改変できるという作用を有するものである。

上記課題を解決するためになされた第２３の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬを改変するステップにおいて、ＨＴＭＬの表示要素である文字とイメージの並びの前後に、ＨＴＭＬの表示要素をグルーピングするタグの開始／終了タグを挿入し、タグの幅属性に対して、前記端末の表示幅と同一値を設定するステップを有することとしたものであり、これにより、インターネットコンテンツ内の表示要素を、端末の画面幅に応じた形式に改変し、コンテンツ閲覧時のユーザ操作性の向上が行えるという作用を有するものである。

上記課題を解決するためになされた第２４の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬを改変するステップにおいて、ＨＴＭＬ内の表示要素に対してＨＴＭＬの表示すべき要素をグルーピングするタグを挿入し、タグの幅属性に対して、端末の幅の値を設定することに加え、グルーピングした要素に対して背景色と同系色の枠線を表示するタグ属性を設定するステップとを有することとしたものであり、これにより、ユーザが表示要素を閲覧する場合、表示要素の領域を判断しながら読むことが可能となるという作用を有するものである。

上記課題を解決するためになされた第２５の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬを改変するステップにおいて、ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素の次、もしくは前の表示位置をコンピュータに通知する、操作指示用のスクリプトをＨＴＭＬ内に埋め込むステップと、ブラウザへの操作指示を行うステップにおいて、端末からのフォーカス移動操作指示時に、端末が操作指示をコンピュータに送信するステップと、コンピュータがブラウザに対して操作指示コマンドを発行するステップと、埋め込んだスクリプトが実行され、移動先の位置座標を取得するステップと、コンピュータへ移動先の位置座標を送信するステップと、移動先領域の画像情報を取得するステップと、端末へ画像情報を送信するステップと、画像情報を端末の表示部へ表示するステップとを有することとしたものであり、これにより、端末からブラウザの表示要素に対する変更操作が可能となり、リモートに位置する端末からのブラウザ操作制御が可能となるという作用を有するものである。

上記課題を解決するためになされた第２６の発明は、ブラウザへの操作指示を行うステップの操作指示が、ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素の変更操作である場合、ブラウザ上の枠線を画像認識することにより変更対象の表示要素を検索し、枠線内に存在する表示画像情報を取得するステップと、取得した表示画像情報を送信するステップと、端末が表示画像情報を受信するステップと、端末が表示画像情報を表示するステップを有することとしたものであり、これにより、ＨＴＭＬ内の表示要素の変更操作を端末から行うことが可能となるという作用を有するものである。

上記課題を解決するためになされた第２７の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬを改変するステップにおいて、ＨＴＭＬ変換フィルタがＨＴＭＬの表示要素をグルーピングする際に、グルーピングした全ての表示要素集合を、コンピュータ制御部に通知するステップと、ブラウザへの操作指示を行うステップにて表示要素の変更操作時に、コンピュータが表示要素の候補先リストを作成するステップと、端末へリストを通知するステップと、端末が通知されたリストを表示するステップを有することとしたものであり、これにより、ＨＴＭＬに操作指示用のスクリプトを埋め込み、ブラウザのインタプリタを利用して操作指示コマンドを実行する場合に比べ、インタプリタの制約を受けない分、操作指示解釈実行部の開発の自由度が高まるという作用を有するものである。

上記課題を解決するためになされた第２８の発明は、端末は表示部の位置を指し示すポインティングデバイスを有し、ブラウザへの操作指示を行うステップにおいて表示部の任意の位置をポインティングするステップと、端末がポインティングされた位置を通知するステップと、コンピュータが、通知された位置の近傍に存在する枠線の領域を選択するステップと、選択した領域の画像情報を取得するステップと、取得した画像情報を前記端末へ送信するステップと、端末が表示画像情報を受信するステップと、端末が表示画像情報を表示するステップを有することとしたものであり、これにより、ユーザがダイレクトにブラウザ上の表示要素を選択可能となるため、候補先を順送り、あるいは逆送りに順次表示していく場合に比べ不要な表示要素を選択する必要がなくなることにより、操作性の向上が行える作用を有するものである。

上記課題を解決するためになされた第２９の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬを改変するステップにおいて、ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素に含まれるリンクのフォーカスを移動するためのスクリプトと、フォーカス移動要求が発生した場合、移動先のフォーカスのリンクに特徴付ける表示を行う属性を埋め込むステップを有することとしたものであり、これにより、ポインティングデバイスが存在しない端末において、リンク選択を行う手段を提供でき、さらに、ユーザが誤ってリンクを選択することを抑制できるという作用を有するものである。

上記課題を解決するためになされた第３０の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬを改変するステップにおいて、ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素に含まれるリンクのフォーカスを移動するためのスクリプトと、フォーカス移動操作指示に対する表示要素内のリンクの候補リストを作成し、コンピュータ制御部へ通知するスクリプトを埋め込むステップと、ブラウザへの操作指示を行うステップにおいて、端末からのフォーカス移動操作指示時に、端末が操作指示をコンピュータに送信するステップと、コンピュータがブラウザに対して操作指示コマンドを発行するステップと、埋め込んだスクリプトが実行され、候補リストを作成するステップと、コンピュータ候補リストを端末へ送信するステップと、端末が候補リストを受信するステップと、端末が候補先リストを前記表示部へ表示するステップからなる構成としたものであり、これにより、リンクリストからダイレクトにリンクを選択可能となるため、フォーカスを順次移動しながら、リンクを選択する操作に比べ、操作性向上が行える作用を有するものである。

上記課題を解決するためになされた第３１の発明は、端末がコンピュータに接続するステップにおいて、ブラウザの接続先設定情報を変換フィルタへ変更するステップと、端末がコンピュータとの接続を切断すると、接続先設定情報を変更前の状態へ戻すステップとを有することとしたものであり、これにより、ユーザがブラウザの接続情報を変更しなくても、端末からコンピュータを利用した場合は、ブラウザ設定情報を自動変更可能な遠隔制御システムが実現できるという作用を有するものである。

上記課題を解決するためになされた第３２の発明は、端末とコンピュータの接続を切断するステップと、切断が完了すると、ブラウザへ再読み込み動作を行わせ、ブラウザのキャッシュを更新するステップとを有することとしたものであり、これにより、コンピュータを直接利用した場合に、ブラウザがキャッシュに保存した、端末用に改善されたコンテンツがブラウザに表示されることを抑制できるという作用を有するものである。

上記課題を解決するためになされた第３３の発明は、端末とコンピュータの接続を切断するステップと、切断が完了すると、ブラウザへ再読み込み動作を行わせ、ブラウザのキャッシュを更新するステップとを有することとしたものであり、これにより、コンピュータを直接利用した場合に、ブラウザがキャッシュに保存した、端末用に改変されたコンテンツがブラウザに表示されることを抑制できるという作用を有するものである。

上記課題を解決するためになされた第３４の発明は、ＨＴＭＬ変換フィルタがＨＴＭＬを改変するステップにおいて、改変後のコンテンツ情報を保存するステップと、ブラウザからのリクエストに対して保存したコンテンツとの照合を行うステップと、照合の結果、保存されたコンテンツに対するＨＴＴＰリクエストであれば、保存したコンテンツに対するＨＴＴＰレスポンスを生成するステップと、照合の結果、保存されたコンテンツに対するＨＴＴＰリクエストではない場合、Ｗｅｂサーバへリクエストを発行するステップとを有することとしたものであり、これにより、同じコンテンツを何度も改変することを抑制し、改変作業の効率化が図れる作用を有するものである。

上記課題を解決するためになされた第３５の発明は、第２２乃至第３４のいずれかの発
明の遠隔制御システムにおける遠隔制御方法を実行するためのプログラムを記憶した記憶媒体としたものであり、任意の時間に、任意の場所で実行が可能になるという作用を有する。

（実施の形態１）
以下、本発明の実施の形態について、各図に基づいて説明する。図１は、本発明の実施の形態における遠隔制御システムの機能ブロック図である。本実施の形態における遠隔制御システムは、制御端末（以下、端末と略す）１と、被制御コンピュータ（以下ＰＣと称す）２と、インターネットのコンテンツを変換するＨＴＭＬ変換フィルタ（以下フィルタと略す）３と、インターネットのコンテンツを格納するコンピュータ（以下、Ｗｅｂサーバと称す）４とを備えている。

この構成において、それぞれ、端末１はＰＣ２と、またＨＴＭＬ変換フィルタ３はＷｅｂサーバ４、及びＰＣ２と通信回線を介して接続されている。なお、本実施の形態において、フィルタ３は、通信回線を介して、ＰＣ２及びＷｅｂサーバ４に接続される構成としているが、フィルタ３は、ＰＣ２もしくはＷｅｂサーバ４のプログラム格納領域に格納され、内部の制御線を通じて接続される構成としても構わない。

この構成において、端末１は、ユーザが入力を行う入力部１Ａ、表示部１Ｂ、通信部１Ｃ、端末情報記憶部（以下、記憶部と略す）１Ｄ、端末制御部（以下、制御部と略す）１Ｅを有する。通信部１Ｃは、端末１の画像表示能力情報や入力部１Ａから入力された入力情報を、制御部１Ｅを介してＰＣ２へ送信し、ＰＣ２から表示画像情報を受信する。また、ＰＣ２は、遠隔制御サーバ（以下、サーバと略す）２Ａと、入力部２Ｂ、表示部２Ｃ、表示画像記憶部（以下、記憶部と略す）２Ｊと、コンピュータ制御部（以下、制御部と略す）２Ｌと、プログラム格納部（以下、格納部と略す）２Ｋとを有している。記憶部２Ｊは表示部２Ｃにて表示する画像情報を一時格納する。格納部２Ｋは、制御部２ＬとＰＣ２にて動作するＯＳ（オペレーティングシステム）プログラムと、ＰＣ２のＯＳプログラム上で動作するアプリケーションプログラムであるブラウザアプリケーション（以下、ブラウザ）を格納する。

さらに、サーバ２Ａは、表示データ取得部（以下、取得部と略す）２Ｈと、サーバ情報記憶部（以下、記憶部）２Ｅと、通信部２Ｄと、ブラウザ指示実行部（以下、実行部と略す）２Ｆと、操作指示解釈部（以下、解釈部と略す）２Ｇと、サーバ制御部（以下、制御部と略す）２Ｉとを有する。取得部２Ｈは、ＰＣ２に表示された表示画像情報をＰＣ２の表示部２Ｃまたは記憶部２Ｊから取得する。また取得部２Ｈは、端末１の表示能力情報に従ってその画像情報を加工（変更）する。したがって取得部２Ｈは変更部を兼ねる。記憶部２Ｅは、取得部２Ｈが取得し、加工した表示画像情報を記憶する。通信部２Ｄは、端末１の表示能力情報と入力情報を受信し、記憶部２Ｅに記憶した表示画像情報を端末１へ送信する。解釈部２Ｇ、実行部２Ｆは、通信部２Ｄから受信したコマンド等の入力情報を解析し、制御部２Ｌへ指示要求として送信する。制御部２Ｉは、サーバ２Ａの動作制御を行う。

さらに、フィルタ３は、通信部３Ａ、フィルタ情報記憶部（以下、記憶部と略す）３Ｂ、コンテンツ情報記憶部（以下、記憶部と略す）３Ｃ、ＨＴＴＰ解析部３Ｄ、ＨＴＴＰ生成部３Ｅ、ＨＴＭＬ解析部３Ｆ、ＨＴＭＬ変換部３Ｇ、フィルタ制御部（以下、制御部と略す）３Ｈを有している。通信部３Ａは、ＰＣ２のブラウザからコンテンツ取得要求、Ｗｅｂサーバ４からコンテンツデータを受信し、ＰＣ２へコンテンツデータを、また、Ｗｅｂサーバ４へコンテンツ取得要求を送信することに加え、端末１からの操作情報を受信し、解釈部２Ｇへ渡す。ＨＴＴＰ解析部３Ｄは、ブラウザからのコンテンツ取得要求である、ＨＴＴＰリクエストを受信し、Ｗｅｂサーバ４に送信、さらに、Ｗｅｂサーバ４からＨ
ＴＴＰリクエストに対するＨＴＴＰレスポンスを受けて解析する。ＨＴＭＬ解析部３Ｆは、解析されたＨＴＴＰレスポンス内のＨＴＭＬを解析し、ＨＴＭＬ内の表示要素を取り出す。そして、ＨＴＭＬ変換部３Ｇは、ＨＴＭＬの表示要素に対して表示要素をマーキングするためのタグを記述することにより、ＨＴＭＬを改変する。ＨＴＴＰ生成部３Ｅが改変されたＨＴＭＬファイルからＨＴＴＰレスポンスを再生成する。

図２は、本発明の実施の形態における遠隔制御システムの回路ブロック図である。

図２において、端末１は、キーボード５Ａ、液晶ディスプレイ（以下、ＬＣＤという）５Ｂ、中央処理装置（以下、ＣＰＵという）５Ｃ、ランダムアクセスメモリ（以下、ＲＡＭ）５Ｄ、リードオンリーメモリ（以下、ＲＯＭという）５Ｅ、読取装置５Ｆ、２次記憶装置５Ｈ、通信制御装置５Ｉを有する。読取装置５Ｆは、ＣＤ（コンパクト・ディスク）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭなどの記憶媒体５Ｇを読み取る。通信制御装置（以下、制御装置と略す）５Ｉは、電話回線やネットワークケーブルなどを通して外部の回線との接続を行う。

ＰＣ２は、キーボード６Ａ、ＬＣＤ６Ｂ、ＣＰＵ６Ｃ、ＲＡＭ６Ｄ、ＲＯＭ６Ｅ、読取装置６Ｆ、２次記憶装置６Ｈ、通信制御装置６Ｉを有する。読取装置６Ｆは、ＣＤ−ＲＯＭなどの記憶媒体６Ｇを読み取る。通信制御装置（以下、制御装置）６Ｉは、電話回線やネットワークケーブルなどを通して外部の回線との接続を行う。

フィルタ３は、ＣＰＵ７Ａ、ＲＡＭ７Ｂ、ＲＯＭ７Ｃ、読取装置７Ｄ、２次記憶装置７Ｆ、通信制御装置７Ｇを有する。読取装置７Ｄは、ＣＤ−ＲＯＭなどの記憶媒体７Ｅを読み取る。通信制御装置（以下、制御装置と略す）７Ｇは、電話回線やネットワークケーブルなどを通して外部の回線との接続を行う。

ここで、図１の機能ブロック図と図２の回路ブロック図との対応関係を説明する。図１と図２に示すように、端末１において、記憶部１Ｄは、ＲＡＭ５Ｄにより実現されている。入力部１Ａは、キーボード５Ａにより実現されているが、マウスや、タッチパネルなどを含んでもよい。表示部１ＢはＬＣＤ５Ｂにより、通信部１Ｃは制御装置５Ｉにより実現されている。また、この構成にて、制御部１Ｅは、ＣＰＵ５ＣがＲＡＭ５ＤやＲＯＭ５Ｅ、２次記憶装置５Ｈとデータのやりとりをしながら、ＲＯＭ５Ｅに記憶されたプログラムを実行することにより実現されている。

また、サーバ２Ａにおいて、記憶部２Ｅは、ＲＡＭ６Ｄにより実現されている。ＯＳプログラムとアプリケーションプログラムは、ＲＡＭ６Ｄ、ＲＯＭ６Ｅ、２次記憶装置６Ｈのいずれかに記憶されている。さらに、通信部２Ｄは、制御装置６Ｉにより実現されている。また、この構成において、制御部２Ｉ、取得部２Ｈ、解釈部２Ｇ、実行部２Ｆは、ＣＰＵ６ＣがＲＡＭ６ＤやＲＯＭ６Ｅ、２次記憶装置６Ｈとデータのやりとりをしながら、ＲＯＭ６Ｅに記憶されたプログラムを実行することにより実現されている。なお、ＰＣ２における記憶部２ＪはＲＡＭ６Ｄにより実現されており、入力部２Ｂは、キーボード６Ａにより実現されているが、マウスや、タッチパネルなどを含んでもよい。

さらに、フィルタ３において、記憶部３Ｃは、ＲＡＭ７Ｂにより、通信部３Ａは制御装置７Ｇにより実現されている。ＨＴＴＰ解析部３Ｄ、ＨＴＴＰ生成部３Ｅ、ＨＴＭＬ解析部３Ｆ、ＨＴＭＬ変換部３Ｇは、ＲＡＭ７Ｂ、ＲＯＭ７Ｃ、２次記憶装置７Ｆのいずれかに記憶されている。また、この構成において、制御部３Ｈ、ＨＴＴＰ解析部３Ｄ、ＨＴＴＰ生成部３Ｅ、ＨＴＭＬ解析部３Ｆ、ＨＴＭＬ変換部３Ｇは、ＣＰＵ７ＡがＲＡＭ７ＢやＲＯＭ７Ｃ、２次記憶装置７Ｆとデータのやりとりをしながら、ＲＯＭ７Ｃに記憶されたプログラムを実行することにより実現されている。

なお、本実施の形態では、端末１は、ＣＰＵ５ＣがＲＯＭ５Ｅに記憶されたプログラムを実行するとしている。しかし、ＣＰＵ５Ｃが実行するプログラムは、読取装置５Ｆを用い、記憶媒体５Ｇに記録されたプログラムであってもよい。また、サーバ２Ａにおいては、ＣＰＵ６ＣがＲＯＭ６Ｅに記憶されたプログラムを実行するとしているが、ＣＰＵ６Ｃが実行するプログラムは、読取装置６Ｆを用い、記憶媒体６Ｇに記録されたプログラムであってもよい。また、ＰＣ２の制御部２Ｉは、ＣＰＵ６Ｃが兼ねてもよい。さらに、記憶部２Ｅ、２Ｉ、格納部２Ｊの２以上を同一のデバイスで構成してもよい。さらに、フィルタ３は、ＣＰＵ７ＡがＲＯＭ７Ｃに記憶されたプログラムを実行するとしているが、ＣＰＵ７Ａが実行するプログラムは、読取装置７Ｄを用い、記憶媒体７Ｅに記録されたプログラムであってもよい。

以上のように構成された遠隔制御の方法について、図３〜図９のフローチャートに基づいてその動作を説明する。なお、図３のフローチャートは端末１の動作を示すフローチャートであり、ＣＰＵ５ＣがＲＯＭ５Ｅに記憶されたプログラムを実行する様子を示す。図４〜８のフローチャートはそれぞれ遠隔制御サーバ２Ａの動作を示すフローチャートであり、ＣＰＵ６ＣがＲＯＭ６Ｅに記憶されたプログラムを実行する様子を示す。図９のフローチャートはＨＴＭＬ変換フィルタ３の動作を示すフローチャートであり、ＣＰＵ７ＡがＲＯＭ７Ｃに記憶されたプログラムを実行する様子を示す。ここで、図３のフローチャートでは、端末１を起動して、サーバ２ＡがＰＣ２の表示画面の画像情報を受信して表示部１Ｂへ表示するまでを示している。また、図４〜８のフローチャートでは、サーバ２Ａが、端末１から接続要求を受け、ＰＣ２の表示画像情報を取得し、端末１へ送信し、端末１から操作要求を受け、ＰＣ２を操作するまでを示している。さらに、図９のフローチャートでは、フィルタ３が、ブラウザからのＨＴＴＰリクエストを受信して、ＨＴＴＰレスポンスに含まれるＨＴＭＬを取り出し、ＨＴＭＬを改変、ブラウザへ操作するまでを示している。

まず、ユーザが端末１を起動することにより処理が開始される。この起動が行われると、ユーザが入力部１Ａにより、接続先のサーバを指定する。例えば、通信プロトコルにＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用している場合はＩＰアドレスを指定する。そして端末１はサーバ２Ａへ接続要求を発行する（Ｓ１−１）。

本実施の形態では、ユーザが端末１を起動後、ユーザの指示要求によって、サーバ２Ａの接続を行う構成としている。しかし、本発明は、この接続方法に限定されるものではなく、起動と同時に所定のサーバ２Ａへの接続を行う接続形態としてもよい。

そして、サーバ２Ａでは、制御部２Ｉが通信部２Ｄを介して、端末１からの接続要求を受け、接続を確立する（Ｓ２−１）。

次に端末１では、制御部１Ｅが、記憶部１Ｄに記憶された画像表示能力情報を取得し、通信部１Ｃを介してＰＣ２側の通信部２Ｄへ送信する（Ｓ１−２）。

本実施の形態では、ＰＣの表示部２Ｃの表示能力すなわちディスプレイの解像度をＳＶＧＡ（１２８０×１０２４）、また、端末１の表示能力であるディスプレイ解像度をＱＶＧＡ（３２０×２４０）とする。なお、各ディスプレイの表示画素情報は共に、８Ｂｉｔ／Ｐｉｘｅｌとする。しかし、本発明で言及する表示能力情報は、ディスプレイの解像度情報に限定するものではなく、例えば、カラーパレット情報や階調情報などを含んでもよい。

次に、サーバ２Ａでは、制御部２Ｉが通信部２Ｄを介して、端末１が送信した表示能力情報を受信し、記憶部２Ｅへ記憶させる（Ｓ２−２）。

続いて、制御部２Ｉが、取得部２Ｈを起動し、ＯＳプログラムより第一の表示画像情報を記憶部２Ｊから取得する。そして、取得部２Ｈが第一の表示画像情報を、記憶部２Ｅへ記憶させる（Ｓ２−３）。

続いて取得部２Ｈが、記憶部２Ｅへ記憶した第一の表示画像情報から、Ｓ２−２において記憶部２Ｅへ記憶した端末１の表示能力情報を取得し、取得した解像度へ表示画像情報を切り出し、第二の表示画面情報を作成する。

なお、端末１から送信する表示能力情報を予め記憶部２Ｅに記憶しておき、この表示能力情報に従い、取得部２Ｈが表示画像情報から端末１のＬＣＤ５Ｂのサイズに画像の切り出しを行うことも可能である。これにより、端末１からサーバ２Ａへ表示能力情報を送信する必要がなくなり、表示能力情報の送受信に要していたトランザクションが軽減される。

また、本実施の形態では、起動直後には、端末１の表示部１ＢはＰＣ２の表示部２Ｃの最左下を表示する。そして取得部２Ｈは最左下を原点座標（０，０）としてＱＶＧＡサイズである（３２０，２４０）までの矩形領域を切り出す。そして、切り出し後の第二の表示画像情報を、記憶部２Ｅへ記憶する。続いて、切り出し後の第二の表示画像情報として、画面のイメージと切り出し後の座標情報｛（０，０），（３２０，２４０）｝を記憶部２Ｅへ記憶する（Ｓ２−４）。しかし、本発明は、この表示画像情報の記憶方法に限定されるものではなく、第一の表示画像情報に対して端末１に送信する画像の座標情報としても構わない。この際、画像の座標情報は、記憶部２Ｅに格納される。

次に制御部２Ｉは、記憶部２Ｅに記憶している端末１へ前回送信した第二の表示画像情報のイメージと、今回新たに記憶する第二の表示画像情報のイメージとを比較する。そして、両画像に差分があるか否かを検査する（Ｓ２−５）。このとき、画像の全ての画素に対して、各画素の差異を比較することにより差分を抽出する。そして、差分があれば、処理はＳ２−６へ進み、差分がない場合は、Ｓ２−７へ進む。差分ありと判断した場合は、制御部２Ｉが通信部２Ｄを通じて端末１へ第二の表示画像情報を送信する（Ｓ２−６）。なお、起動直後には、前回の第二の表示画像情報は、記憶されていないため、Ｓ２−６のステップが実行される。

一方、端末１では、制御部１Ｅが通信部１Ｃを介して、サーバ２Ａから送信された第二の表示画像情報を受信する（Ｓ１−３）。そして、受信した第二の表示画像情報を記憶部１Ｃへ保存する（Ｓ１−４）。

続いて、制御部１Ｅは、記憶部１Ｄに記憶された第二の表示画像情報を表示部１Ｂへ表示する（Ｓ１−５）。なお、本実施の形態の表示画像情報は、ビットマップデータとするが、本発明はこの表示画像情報のデータフォーマットに限定されるものではない。

そして、ユーザからの操作待ち、もしくは、サーバ２Ａからの画像送信待ちの状態となるわけであるが、さらに、端末１からユーザ入力が発生した場合は、後述する入力情報解析処理を行い、ＰＣ２の操作制御を行い、ＰＣ２の表示部２Ｃが更新された場合は、端末１のＬＣＤ５Ｂを、上述した画像転送を行うことで更新するということを繰り返して、端末１からＰＣ２を制御可能となる。なお、図１０に被制御コンピュータと制御端末の表示イメージを示す。図１０において、１０はＰＣ２の表示部２Ｃであり、２０は端末１の表示部１Ｂに表示される表示イメージであり、３０は制御端末である。

ここで、端末１からユーザの操作指示が行われた場合のサーバ２Ａの動作である、入力情報解析処理に関して説明する。入力情報解析処理は、端末１において、ユーザから操作指示が行われた場合は、制御部１Ｅがユーザ入力を検知し（Ｓ１−６）、通信部１Ｃを介して入力情報をサーバ２Ａへ送信することにより（Ｓ１−７）、入力待ち状態が解除され、サーバ２Ａにおいて、入力情報解析処理が開始される。なお、本実施の形態における入力情報は、（入力イベント、座標情報）の形式のデータ構造となっているが、本発明はこの入力情報の形式に限定されるものではない。

以降、入力情報解析処理の詳細を、図５〜８のフローチャートを用いて説明する。

サーバ２Ａでは、制御部２Ｉが通信部２Ｄを介して、送信されたコマンド等の入力情報を受信し（Ｓ３−１）、そして、制御部２Ｉが受信した入力情報を解釈部２Ｇへ渡し、解釈部２Ｇが入力情報を解釈する。すなわち、送信された入力情報が、ブラウザへの操作要求、ＯＳ一般操作の要求、終了要求かを判断し、それぞれの処理を実行する。すなわち、入力情報が、ブラウザへの操作要求であれば（Ｓ３−２）、ブラウザ制御処理（Ｓ３−５）が、ＯＳ一般操作の要求であれば（Ｓ３−３）、ＯＳ制御処理（Ｓ３−６）が、終了要求であれば（Ｓ３−４）、切断処理（Ｓ３−７）が実行されることになる。

以降、ブラウザ制御処理、ＯＳ制御処理、切断処理に関して、図６、図７、図８のフローチャートに従いそれぞれ説明する。
＜ブラウザ制御処理＞
ブラウザ制御用の入力情報は、本発明にて言及する、ブラウザを起動するための要求（以降、起動要求と呼ぶ）、ブラウザの表示要素を変更する要求（以降、表示要素変更と呼ぶ）や、ブラウザに表示されたリンクのフォーカスを移動する要求（以降、リンク選択と呼ぶ）に対する操作情報である。

図６のフローチャートに示すように、ブラウザ制御処理では、解釈部２Ｇが、端末１から送信された入力情報が、起動要求かを判断し（Ｓ４−１）、起動要求であれば、制御部２Ｌに対して、格納部２Ｋに格納されたアプリケーションプログラムであるブラウザを起動するコマンドを発行する（Ｓ４−２）。そして、ブラウザの接続先情報を取り出し、記憶部２Ｅへ記憶する（Ｓ４−３）。さらに、接続先情報をフィルタのアドレスに変更する（Ｓ４−４）。

本実施の形態では、接続先情報の設定は、ブラウザに一般的に設けられている、ＨＴＴＰリクエスト、ＨＴＴＰレスポンスを中継するための機構である、プロキシの設定を利用する。すなわち、ブラウザの接続先をフィルタ３に、そしてフィルタ３が、Ｗｅｂサーバ４へ接続するようにするため、ブラウザのプロキシ設定を、フィルタに指定する。通常、ブラウザはコンテンツへのアクセス時間短縮のため、一端アクセスしたＨＴＭＬをキャッシュと呼ばれる保存領域に保存しておき、同じコンテンツのアクセス時に保存したコンテンツを表示することを行う。端末１からブラウザを利用した場合、フィルタ３によりＨＴＭＬが端末１のディスプレイサイズに適合するように改変されている（後述するフィルタ３によるＨＴＭＬの改変処理にて説明）ため、この後、端末１からではなく、ＰＣ２のブラウザを直接操作した場合、ブラウザのキャッシュに保存されている、つまり端末１用に改変されたＨＴＭＬが表示されてしまう。つまり、オリジナルのレイアウトとは異なる形式でコンテンツが表示されてしまう。キャッシュを更新しておくことで、ＰＣ２のブラウザを直接利用した場合に、端末１用に改変され、キャッシュに保存されたＨＴＭＬがブラウザ上に表示されるのを抑制できる。

また、Ｓ４−１において、解釈部２Ｇにより、入力情報が起動要求ではないと判断され
、Ｓ４−５において、表示要素選択要求、もしくはリンク選択要求であると判断された場合は、解釈部２Ｇは、実行部２Ｆを起動し、後述する操作指示を動作させ（Ｓ４−６）、入力情報が表示要素選択要求、もしくはリンク選択要求でない場合は、上述のＯＳ制御処理を行い、ＯＳの制御イベントを発行する（Ｓ４−７）。

引き続き、表示要素変更、及びリンク選択における操作指示の実行に関して説明する。Ｓ４−６において、端末１から送信された入力情報が、表示要素変更要求であると判断された場合、実行部２Ｆは、ＨＴＭＬの表示要素であり、かつ現在端末１の表示部１Ｂに表示された要素の次の表示要素を走査することを行う。ここで、次の表示要素は、後述する、フィルタ３がＨＴＭＬ改変時に抽出した座標情報により行う。すなわち、ＨＴＭＬの改変時に行うＨＴＭＬの解析処理において、ＨＴＭＬ内の表示要素のレイアウトを決定することとなるわけであるが、このレイアウト上の位置座標をサーバ２Ａへ通知しておき（Ｓ２−１０）、サーバ２Ａは、この位置情報を基に、ブラウザ上に表示されている次の表示要素上の画像情報を取得し、上述したように端末１へ送信する。また、この際、実行部２Ｆは、次の表示要素が表示部２Ｃに表示されていない場合、その表示要素を表示部２Ｃに表示される位置までスクロールさせる。すなわち、実行部２Ｆは、制御部２Ｌを通じてブラウザアプリケーションに対してスクロールイベント発行することを行う。このときの被制御コンピュータ、制御端末の表示イメージを図１１に示す。

図１１において、１０が、スクロール前のブラウザの様子であり、点線で囲まれた矩形２０が、その時点で選択されている表示要素であり、３０が端末１の表示の様子である。また、１１が、スクロール後のブラウザの様子であり、点線で囲まれた矩形２１が、表示要素の選択操作によって選択された表示要素であり、３１が端末１の表示の様子である。また、Ｓ４−６において、端末１から送信された入力情報が、リンク選択要求であると判断された場合、実行部２Ｆは、制御部２Ｌを通じてブラウザに対して、リンクフォーカス移動のイベント（通常ブラウザに内蔵）を発行する。この際、実行部２Ｆは、現在の表示要素内に含まれるリンクにだけフォーカス移動を行わせる制御も行う。すわなち、フィルタ３がＨＴＭＬ解析を行う際に、ブラウザの表示要素内に含まれるリンクの表示位置をサーバ２Ａに通知することにより行う。

なお、実行部２Ｆは、サーバ２Ａの内部モジュール、もしくは、実施の形態２に示す、ブラウザに内蔵されたスクリプト言語用のインタプリタでも構わない。また、本実施の形態では、取得部２Ｈが、変更操作が行われる都度、取得画像の座標位置の画像を取得するようにしたが、これに限らず、固定の座標領域の画像情報を取得することとし、表示領域変更操作が行われる都度、固定座標へ表示要素をスクロールさせておいてから画像情報を取得する、例えば、ブラウザの（０，０）座標まで表示要素を、ブラウザのスクロールバーを移動させることや、ブラウザに対してスクロール要求を発して、スクロールさせ、（０，０）座標から画像情報を常に取得することとしても構わない。この時の被制御コンピュータの表示イメージを図１２に示す。

図１２において、１０が、表示要素移動前のブラウザの様子であり、点線で囲まれた矩形（２０）が、その時点で選択されている表示要素である。また、１１が、表示要素移動後のブラウザの様子であり、点線で囲まれた矩形（２１）が、表示要素の選択操作によって選択された表示要素である。
＜ＯＳ制御処理＞
図７のフローチャートに示すように、ＯＳ制御処理では、端末１のボタンや、ＬＣＤ上のタッチパネルを操作することによって発生したイベントを、ＯＳを操作するためのマウス、キーボードのイベント情報とを対応付けたイベント形式変換テーブルにしたがって変換する（Ｓ５−１）。そして、変換後のイベントを制御部２ＩがＯＳプログラムに対するイベントとして制御部２Ｋへ発行する（Ｓ５−２）。例えば、ユーザがタッチパネル上の
アイコンを２度タップした場合について説明すると、このときの入力情報は例えば、（「ＬＣＤを２度タップ」，タップした座標）となる。そして、下記のようなイベント形式変換テーブルにしたがい変換する。つまり、「所定座標へのマウスのダブルクリックイベント」に変換が実施され、変換後のイベントがＯＳに対して発行される。その後、ＯＳが発行されたイベントに対する処理を行うこととなる。

制御端末のイベント ＯＳ操作イベント
ＬＣＤを１度タップ マウスのシングルクリック
ＬＣＤを２度タップ マウスのダブルクリック
ＬＣＤをドラッグ マウスのドラッグイベント
＜切断処理＞
終了用の入力情報は、現在行っている遠隔制御のセッションの終了要求に対する操作情報である。端末１から本要求がなされると、サーバ２Ａは、通信部２Ｄを通じて端末１との接続を切断し（Ｓ５−１）、それ以前にブラウザを使用した場合は（Ｓ５−２；Ｙ）、ブラウザの接続情報を記憶部２Ｅから読み出し、端末１使用前の状態に戻し（Ｓ５−３）、ブラウザに対して再読み込み動作を行わせる（Ｓ５−４）。なお、Ｓ５−３において、記憶部２Ｅから読み出す接続情報は、ブラウザ制御処理時に制御部２Ｉが記憶部２Ｅに保存したものである。

以上示した入力情報解析処理により、遠隔制御システムにおいて、端末１からＰＣ２の遠隔制御が可能となる。

次に、遠隔制御時に、ブラウザの動作制御を可能とするため、ブラウザに表示すべきコンテンツを改変するフィルタ３の動作を図９のフローチャートを用いて説明する。

端末１から入力情報解析処理を経て、ブラウザを起動し、コンテンツへのアクセスを開始するため、ＰＣ２のブラウザが、通信部２Ｄを通じて、フィルタ３へ接続を行い、コンテンツ取得要求であるＨＴＴＰリクエストを発行する。

フィルタ３は、通信部３Ａを通じて、この接続要求を受け（Ｓ６−１）、さらに、ＨＴＴＰリクエストを受信する（Ｓ６−２）。ＨＴＴＰリクエストは、リクエスト行と、ヘッダ行から構成され、リクエスト行には、要求メソッドと、アドレス情報（ＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓの略）、並びにＨＴＴＰプロトコルのバージョン情報が含まれる。ここでＵＲＬとは、要求するコンテンツのインターネット上のアドレス情報であり、使用プロトコル＋サーバアドレス＋サーバ上のコンテンツの位置情報という形式をとる。また、ヘッダ行は、ヘッダ名＋”：”＋ヘッダ値から構成される。ＨＴＴＰリクエストは、プロキシに要求する場合と、Ｗｅｂサーバへダイレクトに要求する場合では、その仕様（形式）が異なる。よって、フィルタ３は、ＨＴＴＰ解析部３Ｄを起動して、ＨＴＴＰリクエストを解析し、プロキシ用のリクエストをＷｅｂサーバ４へダイレクトに要求する形式に変換する（Ｓ６−３）。変換結果は、記憶部３Ｂへ保存される。なお、本実施の形態では、ブラウザの接続設定が、Ｗｅｂサーバ４へダイレクトに要求する設定となっている場合を説明しているが、そもそもブラウザがプロキシを経由して接続する設定となっている場合は、ＨＴＴＰリクエストの改変は行わず、ＨＴＴＰリクエストをプロキシサーバへ中継するだけとなる。

続いて、制御部３Ｈが、記憶部３Ｂに保存されたＨＴＴＰリクエストをＷｅｂサーバ４へ通信部３Ａを通じて、送信する（Ｓ６−５）。その結果、Ｗｅｂサーバ４は、ＨＴＴＰリクエストによって要求されたコンテンツデータであるＨＴＴＰレスポンスを送信するわけであるが、フィルタ３は、Ｗｅｂサーバ４が送信したＨＴＴＰレスポンスを、通信部３Ａを通じて受信する（Ｓ６−６）。

そして、制御部３Ｈが、ＨＴＴＰ解析部３Ｄを起動し、受信したＨＴＴＰレスポンスから実際のコンテンツデータであるＨＴＭＬデータを取り出すため、ＨＴＴＰレスポンスを解析する（Ｓ６−７）。解析結果のＨＴＭＬデータは、記憶部３Ｃへ保存する。

そして、制御部３Ｈが、ＨＴＭＬ解析部３Ｆを起動し、ＨＴＭＬの解析し、解析結果を記憶部３Ｃに保存する（Ｓ６−８）。

ＨＴＭＬは、以下に示すように、タグと呼ばれる記号により、文書の構造化を行う言語である。
○テーブルを表現するＨＴＭＬの例
＜ＨＴＭＬ＞・・・・・・ＨＴＭＬの開始タグ
＜ＢＯＤＹ＞・・・・・・ＨＴＭＬの本体部分を表すタグ
＜ＴＡＢＬＥ＞ ・・・・テーブルの開始を表すタグ
＜ＴＲ＞・・・・・テーブルの行を表すタグ
＜ＴＤ＞・・・・テーブルのセルを表すタグ
セル１・・テーブルのセルの文字列
＜／ＴＤ＞・・・テーブルのセルを表すタグ
＜ＴＤ＞
セル２
＜／ＴＤ＞
＜／ＴＲ＞・・・・ テーブルの行の終了を表すタグ
＜／ＴＡＢＬＥ＞ ・・・ テーブルの終了を表すタグ
＜／ＢＯＤＹ＞・・・・・ ＨＴＭＬの本体部分の終了を表すタグ
＜／ＨＴＭＬ＞・・・・・ ＨＴＭＬの終了を表すタグ
ＨＴＭＬ解析は、この言語構造を解析し、文書内の表示要素を検出することに加え、構造化された文書内の表示要素が、ブラウザの表示領域にどのように表示されるか、すなわち、表示要素が、どのようにレイアウトされるかを決定することにある。例えば、上記のようなテーブルを記述したＨＴＭＬでは、図１３に示す被制御コンピュータの表示イメージ（１０はブラウザ、２０はＨＴＭＬ内のテーブルを表示した様子）に示すようにブラウザに表示される。ここで、レイアウトの決定とは、表示要素である文字列「セル１」、「セル２」の、ブラウザの表示領域中の座標を検出することである。なお、図１４にＨＴＭＬ解析結果のデータ構造のイメージを示す。

続いて、制御部３ＨがＨＴＭＬ変換部３Ｇを起動し、記憶部３Ｂに保存された解析結果のデータ構造に対してＨＴＭＬの変換処理を行い（Ｓ６−９）、結果を記憶部３Ｂへ保存する。

ＨＴＭＬの変換処理は、端末１の表示部１Ｂの幅サイズに収まるように、表示要素をグルーピングし、収まらない場合は、表示要素のまとまりに対して、ＨＴＭＬのタグにより、サイズを幅内に収まるようタグ属性の幅を設定し、対応するＨＴＭＬの表示要素集合の前後にタグを挿入し、変更後のレイアウトの表示位置座標を変更する。本実施の形態では、表示要素のグルーピング用のタグにＤＩＶと呼ばれるＨＴＭＬタグを、その幅属性に端末１の表示部１Ｂの幅である３２０ピクセルを設定する。図１５にこの時のＤＩＶタグ設定前後のＨＴＭＬの改変結果を示し（１０：ＤＩＶタグ設定前、１１：ＤＩＶタグ設定後）、図１６にＨＴＭＬ改変前後のブラウザの表示イメージを示す（１０、１１：ブラウザ、２０：ＤＩＶタグ設定前の表示要素、２１：ＤＩＶタグ設定後の表示要素）。なお、本実施の形態では、表示要素をグルーピングするために、ＤＩＶタグを用いているが、本発明は、このＤＩＶタグを利用することに制限されるものではなく、その他のＨＴＭＬタグ、例えばＴＡＢＬＥタグやＳＰＡＮタグ等を用いてＨＴＭＬ内の表示要素をグルーピング
しても構わない。

続いて、ＨＴＭＬ変換部３Ｇは、ＨＴＭＬ変換後の表示要素の表示位置座標を、サーバ２Ａへ通知するため、サーバ２Ａへ通信部３Ａを通じて接続し、表示位置座標を通知する（Ｓ６−１０）。そして、サーバ２Ａが、この通知を受け、接続受理状態（Ｓ２−１）から、接続後に送信されたデータが、表示位置座標の情報であるかを判断し（Ｓ２−９）、制御部２Ｉが、通信部２Ｄを通じて受信した表示位置座標情報を、記憶部２Ｅへ保存する（Ｓ２−１０）。この時フィルタ３より通知される表示位置座標情報を図１７に示す。

最後に、制御部３Ｈが、ＨＴＴＰ生成部３Ｅを起動し、変換後のＨＴＭＬからＨＴＴＰレスポンスを生成し（Ｓ６−１１）、制御部３Ｈが、通信部３Ａを通じて、生成後のＨＴＴＰレスポンスをブラウザへ送信する（Ｓ６−１２）。そして、送信されたＨＴＴＰレスポンスは、ＰＣ２のブラウザが通信部２Ｄを介して受信し、ＰＣ２の表示部２Ｃに表示する。

以上示したように、端末１の幅に収まるように、ＨＴＭＬの表示要素にＨＴＭＬタグを挿入していくことで、ＰＣ２の表示部２Ｃに表示された表示画像情報を、端末１から通信回線を通じて見る場合、表示要素が端末の幅に合わせこまれて表示されるため、例えば、文章を読む場合、横方向へのスクロールを行う必要がなくなり、遠隔制御システムにおけるブラウザの操作が行い易くなる。さらに、ＰＣ２のブラウザに表示された、個々の表示要素への位置あわせを端末１からのブラウザ制御コマンドにより行えるので、ユーザが表示要素の領域へ微妙な位置あわせを行いながら、端末１を利用する場合と比較し、操作性の大幅な向上が期待できる。

（実施の形態２）
次に、本発明の他の実施の形態について説明する。

本実施の形態では、実施の形態１に示した、ブラウザの制御処理、並びに、フィルタのＨＴＭＬ改変動作において、ブラウザに内蔵されたスクリプト言語用のインタプリタを利用し、ブラウザの制御処理をスクリプトにより行うことで、遠隔制御においてブラウザを利用する場合の処理効率の改善が行えるものである。

通常、ブラウザには、内部データ（すなわち、内部データとはＨＴＭＬであり、その表示要素である）を制御する目的で、インタプリタが内蔵されている。このインタプリタを利用することで、表示要素である文字列や、イメージなどの表示位置座標などの情報を、スクリプトから参照可能である。実施の形態１では、表示位置座標を、フィルタ３がＨＴＭＬの解析時に決定し、その結果をサーバ２Ａへ通知しておき、ブラウザの制御時に、表示位置座標の表示要素を端末１に表示することにより行っていたが、ブラウザのスクリプトにより表示要素を取得し、その表示要素が表示されたブラウザ上の表示領域の表示画像情報を、端末１の表示部１Ｂに表示可能である。したがって、実施の形態１のような、表示位置の座標情報を求めることを行う必要はないし、なおかつ、その結果をサーバ２Ａへ通知する必要もないため、フィルタが行う解析処理、もしくは、ブラウザの制御処理の効率化が行える。

本実施の形態においては、図９のフローチャートに示すＳ６−９において、ＨＴＭＬ変換部３Ｇが、表示要素をグルーピングするのに使用したＤＩＶタグに、さらに識別子属性を設定し、なおかつ、図１８のフローチャートに示すようなスクリプトを挿入する。ブラウザはこのスクリプトが挿入されたＨＴＭＬを読み込むこととなるが、端末１からブラウザに対してブラウザ制御用のイベント、すなわち、表示要素／リンク選択操作要求を発行すると、本スクリプトが起動され、対応する表示要素やリンクに位置する領域の表示画像
情報をサーバ２Ａが取得し、端末１へ送信、表示部１Ｂへ表示できる。つまり、実施の形態１に示したように、端末１の入力部１Ａからユーザがブラウザの制御コマンドを発行すると、実行部２Ｆにより実行されていた、ブラウザの制御動作がスクリプトにより代用可能となる。

つまり、ブラウザの操作制御をブラウザに内蔵されたスクリプトを利用することで、ＨＴＭＬ内の表示要素の表示座標情報を決定する、もしくは、表示座標上をサーバ２Ａに通知する必要がなくなるため、遠隔制御システムにおいて、ブラウザの動作制御を行う際の処理効率が向上可能となる。

（実施の形態３）
実施の形態１、２において、ブラウザの表示要素の選択順序は、システム、すなわち、フィルタ３が、ＨＴＭＬを解析し、改変する場合に行うＤＩＶタグの埋め込み順序に依存する。例えば、ＨＴＭＬの解析は、ＨＴＭＬの先頭から行い、表示要素の現れる順にＤＩＶタグを設定した場合、表示要素の選択順序は、ＤＩＶタグによりマーキングされた順序となる。ユーザの欲する表示要素が、ＨＴＭＬの先頭に現れている場合、問題はないが、必ずしも、ユーザが見たい表示要素が、ＨＴＭＬの先頭に現れているとは限らない。よって、本実施の形態では、ユーザが欲する表示要素を、ダイレクトに選択可能とするための方法を説明する。

図９に示すフローチャートのＳ６−９において、フィルタ３が、ＨＴＭＬを改変する際に、実施の形態１に示した方法に加え、さらに、ＤＩＶタグに枠線を表示する属性を追加して表示要素の前後に挿入し、結果をＰＣ２のブラウザへ送信する。図１９にこの時の改変後のＨＴＭＬ（１０）、及び、改変後のＨＴＭＬを表示したブラウザの表示イメージ（１１）を示す。

次に、ユーザがブラウザを操作した場合、図６のフローチャートに示すブラウザ制御処理の動作を行うわけであるが、この際、表示要素の選択を行う、例えば、本実施の形態では、ユーザが、端末１のＬＣＤ５Ｂ上をタップする操作を行うことによって表示要素選択の操作が発生したとすると、制御部１Ｅが、この入力情報（ＬＣＤを１度タップ、座標）を、通信部１Ｃを通じてサーバ２Ａへ通知することとなる。

そして、サーバ２Ａは、この入力情報を受け、解釈部２Ｇにて表示要素選択操作と判断し、実行部２Ｆへ入力情報を渡すこととなる。実行部２Ｆは、この入力情報の座標情報の近傍に存在する、ブラウザの表示領域に表示された枠線を画像認識し、対応する領域を、例えば、原点座標（０，０）へ移動することを行う。なお、領域の移動は、実施の形態１、乃至２に示したいずれの方法を用いても構わない、また、画像認識のアルゴリズムは、本発明の言及するところではなく、どのようなアルゴリズムを用いても構わない。つまり、端末１からユーザが行ったＬＣＤのタップにより、タップした位置の近傍に存在する表示領域が端末に表示されることとなる。

以上、示したように、表示要素に枠線を表示し、その枠線を検索することで、表示要素を選択可能となるので、ユーザが欲する表示要素を、瞬時に選択可能となる。また、枠線を表示して、その枠線を認識することで画像認識処理の効率も向上し、高速に表示要素の領域を検索可能となる。さらに、副次的な効果として、枠線が表示されたことで、ユーザは、この枠線が、表示要素であることが視覚的に認識可能となるので、例えば、ユーザが、ある表示要素のテキストを読み進めている場合、誤って次の表示要素に進んでしまうという誤操作を避けることも可能となる。

本発明は、小さい画面においても、ブラウザの操作性、及び、テキストの可読性を高めた制御端末を有する遠隔制御システム、遠隔制御方法、及び、遠隔制御プログラムを格納した記憶媒体として有用に利用することができる。

本発明の実施の形態における遠隔制御システムの機能ブロック図 本発明の実施の形態における遠隔制御システムの回路ブロック図 本発明の実施の形態における制御端末の動作を示すフローチャート 本発明の実施の形態における遠隔制御サーバの動作を示すフローチャート 本発明の実施の形態における遠隔制御サーバの動作を示すフローチャート 本発明の実施の形態における遠隔制御サーバの動作を示すフローチャート 本発明の実施の形態における遠隔制御サーバの動作を示すフローチャート 本発明の実施の形態における遠隔制御サーバの動作を示すフローチャート 本発明の実施の形態におけるＨＴＭＬ変換フィルタの動作を示すフローチャート 本発明の実施の形態における被制御コンピュータと制御端末の表示イメージを示す図 本発明の実施の形態における被制御コンピュータと制御端末の表示イメージを示す図 本発明の実施の形態における被制御コンピュータの表示イメージを示す図 本発明の実施の形態における被制御コンピュータの表示イメージを示す図 本発明の実施の形態におけるＨＴＭＬ解析結果のデータ構造のイメージを示す図 本発明の実施の形態における改変前後のＨＴＭＬの改変結果を示す図 本発明の実施の形態におけるＨＴＭＬ改変前後のブラウザの表示イメージを示す図 本発明の実施の形態におけるフィルタより通知される表示位置座標情報 本発明の実施の形態におけるスクリプトのフローチャート 本発明の実施の形態における改変後のＨＴＭＬ、及び改変後のＨＴＭＬを表示したブラウザの表示イメージを示す図

符号の説明

１ 制御端末
１Ａ 入力部
１Ｂ 表示部
１Ｃ 通信部
１Ｄ 端末情報記憶部
１Ｅ 端末制御部
２ 被制御コンピュータ
２Ａ 遠隔制御サーバ
２Ｂ 入力部
２Ｃ 表示部
２Ｄ 通信部
２Ｅ サーバ情報記憶部
２Ｆ ブラウザ指示実行部
２Ｇ 操作指示解釈部
２Ｈ 表示データ取得部
２Ｉ サーバ制御部
２Ｊ 表示画像記憶部
２Ｋ プログラム格納部
２Ｌ コンピュータ制御部
３ ＨＴＭＬ変換フィルタ
３Ａ 通信部
３Ｂ フィルタ情報記憶部
３Ｃ コンテンツ情報記憶部
３Ｄ ＨＴＴＰ解析部
３Ｅ ＨＴＴＰ生成部
３Ｆ ＨＴＭＬ解析部
３Ｇ ＨＴＭＬ変換部
３Ｈ フィルタ制御部
４ Ｗｅｂサーバ
５ 制御端末
５Ａ キーボード
５Ｂ ＬＣＤ
５Ｃ ＣＰＵ
５Ｄ ＲＡＭ
５Ｅ ＲＯＭ
５Ｆ 読取装置
５Ｇ 記憶媒体
５Ｈ ２次記憶装置
５Ｉ 通信制御装置
６ 制御端末
６Ａ キーボード
６Ｂ ＬＣＤ
６Ｃ ＣＰＵ
６Ｄ ＲＡＭ
６Ｅ ＲＯＭ
６Ｆ 読取装置
６Ｇ 記憶媒体
６Ｈ ２次記憶装置
６Ｉ 通信制御装置
７ 制御端末
７Ａ ＣＰＵ
７Ｂ ＲＡＭ
７Ｃ ＲＯＭ
７Ｄ 読取装置
７Ｅ 記憶媒体
７Ｆ ２次記憶装置
７Ｇ 通信制御装置

Claims (35)

1. 画像を表示する表示部を有する端末と、
   インターネットコンテンツを表示するブラウザ及び前記端末へ自身の表示イメージを送信するコンピュータと、
   Ｗｅｂサーバから送信されたコンテンツデータを受信し、ＨＴＭＬ内の文字やイメージ等の表示要素に対して前記端末の画面サイズに合わせて表示可能となるようにＨＴＭＬデータの改変を行い、前記ブラウザへ送信するＨＴＭＬ変換フィルタと
   を備えた遠隔制御システム。
2. 前記端末は、
   前記コンピュータと通信する第１の通信部と、
   前記コンピュータへの操作指示を行う第１の入力部と、
   前記第１の通信部を通じて受信した画像情報を記憶する第１の記憶部と、
   前記第１の記憶部に記憶した画像情報を表示する第１の表示部と、
   本端末の動作制御を行う端末制御部を有し、
   前記コンピュータは、
   第２の表示部と前記第２の表示部に表示された画像情報を格納する第２の記憶部と、
   各種の情報を送受信する第２の通信部と、
   前記コンピュータの操作を行う第２の入力部と、
   前記コンピュータの制御を行うコンピュータ制御部を有し、
   前記ＨＴＭＬ変換フィルタは、
   前記ブラウザからの要求にしたがいＷｅｂサーバへＨＴＴＰプロトコルを介して、コンテンツ取得要求（以降、ＨＴＴＰリクエストと呼ぶ）を発行し、リクエストに対するコンテンツデータ（以降、ＨＴＴＰレスポンスと呼ぶ）を受信してＨＴＴＰレスポンスからＨＴＭＬデータを取り出すＨＴＴＰ解釈部と、
   前記ＨＴＴＰ解釈部が取り出したＨＴＭＬデータを解析するＨＴＭＬ解析部と、
   前記ＨＴＭＬデータ内の表示要素のサイズを前記端末の第２の表示部に表示可能なサイズに改変するＨＴＭＬ変換部と、
   前記ＨＴＭＬ変換部により変換されたＨＴＭＬデータからＨＴＴＰレスポンスを再生成するＨＴＴＰ生成部と、
   前記ＨＴＴＰリクエスト、前記ＨＴＭＬデータ、及び前記ＨＴＴＰ生成部が再生成したＨＴＴＰレスポンスを記憶する第３の記憶部と、
   前記Ｗｅｂサーバ、及び前記ブラウザと通信回線を通じて通信する第３の通信部と、
   前記ＨＴＭＬ変換フィルタの動作制御を行う変換フィルタ制御部と
   を有する請求項１記載の遠隔制御システム。
3. 前記第３の通信部は、前記ブラウザと制御線を通じて通信し、Ｗｅｂサーバと通信回線を通じて通信する請求項１または２記載の遠隔制御システム。
4. 前記第３の通信部は、前記ブラウザ及びＷｅｂサーバと通信回線を通じて通信する請求項１または２記載の遠隔制御システム。
5. 前記ＨＴＭＬ変換フィルタが行うＨＴＭＬの改変は、ＨＴＭＬ内の表示要素に対してＨＴＭＬの表示要素をグルーピングするタグを挿入し、当該タグの幅属性に対して、前記端末の表示幅と同一値を設定することを特徴とする請求項１または２記載の遠隔制御システム。
6. 前記ＨＴＭＬ変換フィルタが行うＨＴＭＬの改変は、ＨＴＭＬ内の表示要素に対してＨＴＭＬの表示すべき要素をグルーピングするタグを挿入し、当該タグの幅属性に対して、前
   記端末の幅の値を設定することに加え、グルーピングした要素に対して背景色と同系色の枠線を表示するタグ属性を設定することを特徴とする請求項１または２記載の遠隔制御システム。
7. 前記第１の入力部は、前記ブラウザの起動、操作指示を行うものであり、前記ＨＴＭＬ変換フィルタは、ＨＴＭＬの解析、改変を行う際に、前記ブラウザの操作指示用の実行コードをＨＴＭＬ内に埋め込むものであることを特徴とする請求項１または２記載の遠隔制御システム。
8. 前記ブラウザは前記端末からの操作指示を解釈、実行するための操作指示解釈実行部を有する請求項１または２記載の遠隔制御システム。
9. 前記操作指示解釈実行部は、ブラウザに内蔵されたスクリプト言語のインタプリタであり、前記操作指示用の実行コードは、インタプリタが解釈実行可能なスクリプトコードであり、前記端末から前記コンピュータを操作時に、前記端末からの操作指示に応じて、スクリプトが実行され、操作指示に対する動作を行うことを特徴とする請求項７または８記載の遠隔制御システム。
10. 前記操作指示解釈実行部は、前記コンピュータの実行コードであり、前記端末からブラウザへの操作指示要求が発生すると、前記コンピュータ制御部が本実行コードを動作させ、ブラウザに対しての動作指示を行うことを特徴とする請求項７記載の遠隔制御システム。
11. 前記ブラウザへの操作指示は、前記ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬの表示要素を変更する操作であり、変更操作が行われると、前記操作指示解釈実行部は、ＨＴＭＬのマーキングされた表示要素の、前記第２の表示部上の表示位置を前記コンピュータ制御部に通知し、前記コンピュータ制御部が、前記第２の表示部上の表示画像情報を取得し、前記端末へ送信することを特徴とする請求項９または１０記載の遠隔制御システム。
12. 前記端末から行う前記ブラウザへの操作指示は、ＨＴＭＬ表示要素の変更操作であり、変更操作が行われると、前記操作指示解釈実行部は、前記第２の表示部上に表示されたブラウザ上の枠線を画像認識することにより変更対象の表示要素を検索し、枠線内に存在する表示画像情報を取得、前記端末へ送信することを特徴とする請求項９または１０記載の遠隔制御システム。
13. 前記端末から行う前記ブラウザへの操作指示である表示要素の変更操作は、前記端末の前記第１の表示部に現在表示しているＨＴＭＬ表示要素の次、もしくは前のＨＴＭＬ表示要素を表示する操作であり、ＨＴＭＬ表示要素の前後関係は、前記ＨＴＭＬ変換フィルタがＨＴＭＬ表示要素に対してマーキングした順序に従うことを特徴とする請求項９または１０記載の遠隔制御システム。
14. 前記ＨＴＭＬ変換フィルタがＨＴＭＬの表示要素をグルーピングする際に、グルーピングした全ての表示要素集合を、前記コンピュータ制御部に通知し、前記端末からの表示要素の変更操作時に、前記コンピュータ制御部が表示要素の候補先リストを作成、前記端末へ通知することによりユーザが候補先リストから表示要素の変更先を選択可能とすることを特徴とする請求項９または１０記載の遠隔制御システム。
15. 前記端末から行う前記ブラウザへの操作指示である表示要素の変更操作は、前記端末の第１の表示部の任意の位置をポインティングデバイスにより指し示すことにより行い、前記端末制御部が、前記第１の通信部を通じてポインティングデバイスにより指し示された位
    置座標を前記コンピュータ制御部に通知し、前記コンピュータ制御部が、通知された位置の近傍に存在する枠線の領域を選択することを特徴とする請求項９または１０記載の遠隔制御システム。
16. 前記端末から行う前記ブラウザへの操作指示は、ＨＴＭＬ表示要素内のリンクへフォーカスを移動する操作であり、前記ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬの表示要素で、前記端末の第１の表示部に現在表示している表示要素に含まれるリンクのフォーカスを、前記ＨＴＭＬに表記された順序または、前記フォーカスの移動属性情報（以降、タブインデックスと呼ぶ）が存在する場合、その順序に従う方向に移動することを特徴とする請求項９または１０記載の遠隔制御システム。
17. 実行コード埋め込み時に、リンクのタグ属性にフォーカスが設定された場合、特徴付ける表示を行う実行コードを埋め込み、前記端末から行うフォーカス移動指示がなされた場合、前記操作指示解釈実行部がフォーカス移動操作指示を解釈実行し、ＨＴＭＬ表示要素内のフォーカスを移動したリンクに対して特徴付けた表示を行うことを特徴とする請求項９または１０記載の遠隔制御システム。
18. 実行コード埋め込み時に、フォーカス移動操作指示が行われた場合に、対象となるＨＴＭＬ表示要素内のリンクのリストを作成し、前記コンピュータ制御部へ通知する実行コードを埋め込み、前記端末からのフォーカス移動操作指示時に、前記操作指示解釈実行部がフォーカス移動操作指示を解釈実行し、リンクリストを作成して前記コンピュータ制御部へ通知し、前記コンピュータ制御部がさらに前記端末へリンクリストを通知、前記第１の表示部へ表示することを特徴とする請求項９または１０記載の遠隔制御システム。
19. 前記端末から前記コンピュータを遠隔制御する場合は、前記変換フィルタへＨＴＴＰリクエストを発行するようにブラウザの設定情報を自動変更することを特徴とする請求項１または２記載の遠隔制御システム。
20. 前記端末から前記コンピュータをリモートから利用し、利用が終了すると、前記コンピュータ制御部がブラウザへ再読み込み動作を行わせ、ブラウザのアクセス済みコンテンツの保存領域に存在するコンテンツ（以降、キャッシュと呼ぶ）を更新し、以降、前記端末からブラウザを利用する場合に、キャッシュの問い合わせのＨＴＴＰリクエストが発生した場合は、コンテンツ更新のレスポンスを返すことを特徴とする請求項１または２記載の遠隔制御システム。
21. 前記変換フィルタは、改変後のコンテンツを保存管理するコンテンツ記憶部を備え、前記ＨＴＴＰ解釈部がブラウザからのＨＴＴＰリクエストを解釈した際に、前記コンテンツ保存部に保存されたコンテンツに対するＨＴＴＰリクエストであれば、前記コンテンツ記憶部に記憶されたコンテンツに対するＨＴＴＰレスポンスを生成し、ブラウザへ通知することを特徴とする請求項１または２記載の遠隔制御システム。
22. Ｗｅｂブラウザと、ブラウザの動作制御指示を行うための入力部、画像を表示する表示部を有する端末と、ブラウザからの要求に対するＨＴＭＬデータを改変するＨＴＭＬ変換フィルタと、ブラウザ、及び表示画像情報を格納する記憶部を有するコンピュータとを備えた遠隔制御システムを用いた遠隔制御方法であって、
    Ａ１−１）前記端末が前記コンピュータに接続するステップと、
    Ａ１−２）前記端末の画像表示能力情報を前記端末から前記コンピュータに送信するステップと、
    Ａ１−３）前記端末が前記コンピュータのブラウザプログラムを起動するステップと、
    Ａ１−４）前記端末が前記コンピュータのブラウザにコンテンツ取得要求を発行するステ
    ップと、
    Ａ１−５）前記ブラウザが前記ＨＴＭＬ変換フィルタにコンテンツ取得要求を発行するステップと、
    Ａ１−６）前記ＨＴＭＬ変換フィルタがＷｅｂサーバへコンテンツ取得要求を発行するステップと、
    Ａ１−７）Ｗｅｂサーバがコンテンツ取得要求に対するコンテンツを送信するステップと、
    Ａ１−８）前記ＨＴＭＬ変換フィルタが、Ｗｅｂサーバが送信したコンテンツを受信するステップと、
    Ａ１−９）前記ＨＴＭＬ変換フィルタが受信したコンテンツからＨＴＴＰレスポンスを解析し、ＨＴＭＬを取得するステップと、
    Ａ１−１０）前記ＨＴＭＬ変換フィルタがＨＴＭＬを解析するステップと、
    Ａ１−１１）前記ＨＴＭＬ変換フィルタがＨＴＭＬの解析結果に基づいてＨＴＭＬを改変するステップと、
    Ａ１−１２）前記ＨＴＭＬ変換フィルタが改変したＨＴＭＬからＨＴＴＰレスポンスを生成するステップと、
    Ａ１−１３）前記ＨＴＭＬ変換フィルタが生成したＨＴＴＰレスポンスを前記ブラウザへ送信するステップと、
    Ａ１−１４）前記ブラウザがＨＴＴＰレスポンスを受信するステップと、
    Ａ１−１５）前記ブラウザがコンテンツを解釈し表示イメージを作成して画像情報を前記記憶部に格納するステップと、
    Ａ１−１６）前記ブラウザが格納した画像情報を取得するステップと、
    Ａ１−１７）前記ブラウザが格納した画像情報を前記端末に送信するステップと、
    Ａ１−１８）前記端末が前記コンピュータから送信された画像情報を受信するステップと、
    Ａ１−１９）前記端末が前記コンピュータから送信された画像情報を前記表示部に表示するステップと、
    Ａ１−２０）前記ブラウザへの操作指示を行うステップと
    を有する遠隔制御方法。
23. 前記Ａ１−１１）ステップにおいて、ＨＴＭＬの表示要素である文字とイメージの並びの前後に、ＨＴＭＬの表示要素をグルーピングするタグの開始／終了タグを挿入し、タグの幅属性に対して、前記端末の表示幅と同一値を設定するステップを有する請求項２２記載の遠隔制御方法。
24. 前記Ａ１−１１）ステップにおいて、ＨＴＭＬ内の表示要素に対してＨＴＭＬの表示すべき要素をグルーピングするタグを挿入し、タグの幅属性に対して、前記端末の幅の値を設定することに加え、グルーピングした要素に対して背景色と同系色の枠線を表示するタグ属性を設定するステップを有する請求項２３記載の遠隔制御方法。
25. 前記Ａ１−１１）ステップにおいて、
    Ａ２−１）前記ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素の次、もしくは前の表示位置を前記コンピュータに通知する操作指示用のスクリプトをＨＴＭＬ内に埋め込むステップと、
    前記Ａ１−１９）ステップにおいて、前記端末からのフォーカス移動操作指示時に、
    Ａ２−２）前記端末が操作指示を前記コンピュータに送信するステップと、
    Ａ２−３）前記コンピュータがブラウザに対して操作指示コマンドを発行するステップと、
    Ａ２−４）埋め込んだスクリプトが実行され、移動先の位置座標を取得するステップと、Ａ２−５）前記コンピュータへ移動先の位置座標を送信するステップと、
    Ａ２−６）移動先領域の画像情報を取得するステップと、
    Ａ２−７）前記端末へ画像情報を送信するステップと、
    Ａ２−８）画像情報を前記端末の前記表示部へ表示するステップと
    を有する請求項２３記載の遠隔制御方法。
26. 前記Ａ１−２０）ステップの操作指示が、前記ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素の変更操作である場合、
    Ａ３−１）ブラウザ上の枠線を画像認識することにより変更対象の表示要素を検索し、枠線内に存在する表示画像情報を取得するステップと、
    Ａ３−２）取得した表示画像情報を送信するステップと、
    Ａ３−３）前記端末が表示画像情報を受信するステップと、
    Ａ３−４）前記端末が表示画像情報を表示するステップと
    を有する請求項２２記載の遠隔制御方法。
27. 前記Ａ１−１１）ステップにおいて、
    Ａ４−１）前記ＨＴＭＬ変換フィルタがＨＴＭＬの表示要素をグルーピングする際に、グルーピングした全ての表示要素集合を、前記コンピュータ制御部に通知するステップと、Ａ４−２）前記Ａ１−２０）ステップにて前記端末からの表示要素の変更操作時に、前記コンピュータが表示要素の候補先リストを作成するステップと、
    Ａ４−３）前記端末へリストを通知するステップと、
    Ａ４−４）前記端末が通知されたリストを表示するステップと
    を有する請求項２２記載の遠隔制御方法。
28. 前記端末は前記表示部の位置を指し示すポインティングデバイスを有し、
    Ａ５−１）前記Ａ１−２０）ステップにおいて表示部の任意の位置をポインティングするステップと、
    Ａ５−２）前記端末がポインティングされた位置を通知するステップと、
    Ａ５−３）前記コンピュータが、通知された位置の近傍に存在する枠線の領域を選択するステップと、
    Ａ５−４）選択した領域の画像情報を取得するステップと、
    Ａ５−５）取得した画像情報を前記端末へ送信するステップと、
    Ａ５−６）前記端末が表示画像情報を受信するステップと、
    Ａ５−７）前記端末が表示画像情報を表示するステップと
    を有する請求項２２記載の遠隔制御方法。
29. 前記Ａ１−１１）ステップにおいて、前記ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素に含まれるリンクのフォーカスを移動するためのスクリプトと、フォーカス移動要求が発生した場合、移動先のフォーカスのリンクに特徴付ける表示を行う属性を埋め込むステップを有する請求項２２記載の遠隔制御方法。
30. 前記Ａ１−１１）ステップにおいて、
    Ａ６−１）前記ＨＴＭＬ変換フィルタがグルーピングしたＨＴＭＬ内の表示要素に含まれるリンクのフォーカスを移動するためのスクリプトと、フォーカス移動操作指示に対する表示要素内のリンクの候補リストを作成し、前記コンピュータ制御部へ通知するスクリプトを埋め込むステップと、
    前記Ａ１−２０）ステップにおいて、前記端末からのフォーカス移動操作指示時に、
    Ａ６−２）前記端末が操作指示を前記コンピュータに送信するステップと、
    Ａ６−３）前記コンピュータがブラウザに対して操作指示コマンドを発行するステップと、
    Ａ６−４）埋め込んだスクリプトが実行され、候補リストを作成するステップと、
    Ａ６−５）前記コンピュータ候補リストを前記端末へ送信するステップと、
    Ａ６−６）前記端末が候補リストを受信するステップと、
    Ａ６−７）前記端末が候補先リストを前記表示部へ表示するステップと
    を有する請求項２２記載の遠隔制御方法。
31. 前記Ａ１−１）ステップにおいて、前記ブラウザの接続先設定情報を前記変換フィルタへ変更するステップと、前記端末が前記コンピュータとの接続を切断すると、接続先設定情報を変更前の状態へ戻すステップとを有する請求項２２記載の遠隔制御方法。
32. Ａ７−１）前記端末と前記コンピュータの接続を切断するステップと、
    Ａ７−２）切断が完了すると、ブラウザへ再読み込み動作を行わせ、ブラウザのキャッシュを更新するステップと
    を有する請求項２２記載の遠隔制御方法。
33. 前記Ａ７−１）ステップにおいて、ブラウザへ再読み込み動作を行わせ、アクセスを行ったコンテンツの再読み込み動作を行わせ、ブラウザのキャッシュを更新するステップを有する請求項２２記載の遠隔制御方法。
34. Ａ８−１）前記Ａ１−１１）ステップにおいて、改変後のコンテンツ情報を保存するステップと、
    Ａ８−２）ブラウザからのリクエストに対して保存したコンテンツとの照合を行うステップと、
    Ａ８−３）照合の結果、保存されたコンテンツに対するＨＴＴＰリクエストであれば、保存したコンテンツに対するＨＴＴＰレスポンスを生成するステップと、
    Ａ８−４）照合の結果、保存されたコンテンツに対するＨＴＴＰリクエストではない場合、Ｗｅｂサーバへリクエストを発行するステップと
    を有する請求項２２記載の遠隔制御方法。
35. 請求項２２乃至３４のいずれか１項に記載の遠隔制御システムにおける遠隔制御方法を実行するためのプログラムを記憶した記憶媒体。

Images