JP2011123127A - 画像処理装置、画像表示装置及び画像伝送システム - Google Patents

Abstract

【課題】ユーザが見たい箇所の領域のフレームレートが低下してしまうのを防止できるようにする。
【解決手段】ネットワークを介して画像表示装置へ画像を伝送する画像伝送手段と、アプリケーションごとに生成される矩形領域を表示部に表示するポインタ入力手段と、前記表示部へ出力する出力画像を取得する画像取得手段と、前記表示部に出力される矩形領域を判別する矩形領域判別手段と、前記矩形領域判別手段により判別された矩形領域の中で、特定の矩形領域を判別する特定矩形領域判別手段と、前記特定矩形領域判別手段により判別された特定の矩形領域のフレームレートを変更して前記画像伝送手段により前記画像表示装置へ伝送するフレームレート制御手段とを設ける。
【選択図】図１

Description

本発明は、画像処理装置、画像表示装置及び画像伝送システムに関し、特に、パーソナルコンピュータ（以下、「ＰＣ」と表記する。）等の情報処理装置により生成した画像をプロジェクタなどの表示装置に送信するために用いて好適な技術に関する。

近年、会議や研修会等でプレゼンテーションを行う際は、ＰＣから受信した画像信号をスクリーンに投射させるプロジェクタを用いることが多い。通常、ＰＣとプロジェクタとはアナログＲＧＢケーブルを用いたアナログ接続によって画像信号の送受信を行っていた。

しかしながら、アナログ接続では、接続に手間がかかる、遠隔地からの接続が困難、複数台のＰＣと同時に接続したい、といった理由からネットワークを介してＰＣとプロジェクタとを接続する画像転送システムが注目されている。

この画像転送システムを実現するために、従来では、ＰＣなどの画像処理装置に表示された画面について定期的に画面キャプチャを行い、画面キャプチャによって取得された画像データをプロジェクタなどの画像表示装置に送信している。

前述のような画像転送システムにおいて、ＰＣなどの画像処理装置に表示された画面の全てを常にキャプチャして送る場合には処理時間が多くかかってしまう。このため、フレームレートが落ちてしまい、プロジェクタなどの表示装置で滑らかな表示を行うことができなかった。

このような不都合を解消するために、特許文献１では、入力画像を複数個のタイル画像に分割し、タイル画像ごとに、画像フレームを参照して、差分値を検出する。そして、この差分値が閾値以上の場合に、このタイル画像を更新する必要があると判断し、符号化圧縮部およびフレームメモリに送り、画像を更新する方法が開示されている。

特開２００１−０６１０６６号公報

しかしながら、タイル画像ごとに差分をチェックして送る場合、変化があった場所を常に送ることになり、ユーザが着目していない領域の画像情報も送られてしまう。そのため、結果的にユーザが見たい箇所の領域までフレームレートが落ちてしまい、ユーザにとって違和感のある画像表示になってしまうという問題があった。
本発明は前述の問題点に鑑み、ユーザが見たい箇所の領域のフレームレートが低下してしまうのを防止できるようにすることを目的とする。

本発明の画像処理装置は、ネットワークを介して画像表示装置へ画像を伝送する画像伝送手段と、アプリケーションごとに生成される矩形領域を表示部に表示するポインタ入力手段と、前記表示部へ出力する出力画像を取得する画像取得手段と、前記表示部に出力される矩形領域を判別する矩形領域判別手段と、前記矩形領域判別手段により判別された矩形領域の中で、特定の矩形領域を判別する特定矩形領域判別手段と、前記特定矩形領域判別手段により判別された特定の矩形領域のフレームレートを変更して前記画像伝送手段により前記画像表示装置へ伝送するフレームレート制御手段とを有することを特徴とする。

本発明によれば、ユーザが着目している領域のフレームレートを上げることで、ユーザにとって違和感の無い画像表示を実現することが可能となる。

ＰＣとプロジェクタとのシステム構成を説明するブロック図である。 表示システムの概略構成を説明するブロック図である。 優先ウィンドウを設定する際の処理を説明するフローチャートである。 画像をプロジェクタに転送する処理を説明するフローチャートである。 優先ウィンドウ送信プログラムの処理を説明するフローチャートである。 プロジェクタの処理を説明するフローチャートである。 ウィンドウ状態が変化した場合の処理を説明するフローチャートである。 マウス状態が変化した場合の処理を説明するフローチャートである。 ウィンドウ画面の一例を示す図である。 ウィンドウの属性情報を示す図である。 優先ウィンドウの情報を示す図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。
図１は、本実施形態の画像処理装置を用いた画像伝送システムの一実施形態を示す説明図である。本実施形態の画像伝送システム１０は、ＰＣ１００とプロジェクタ２００とを備えており、ＰＣ１００とプロジェクタ２００とはＬＡＮ（ネットワーク）３００のような回線を通して通信ネットワークを形成している。

各部の簡単な役割を説明すると、ＰＣ１００は、ディスプレイに表示されている画像信号を、通信ネットワークを介して画像表示装置に送信する。本実施形態においては、画像表示装置としてプロジェクタ２００を例示している。プロジェクタ２００は、ＰＣ１００から送られた画像信号を受信して、出力できる形への変換を行い表示する。このために、ネットワーク３００を介してＰＣ１００から送られる画像信号を受信する信号受信手段と、受信手段により受信した画像信号を、画像表示装置に表示可能な形式へ変換するデコーダ２０４（変換手段）とを有する。また、２０４により変換された画像信号を画像表示装置に表示する投射画像制御部２０７（画像表示制御手段）を有する。

またこのとき、マウス１００ａによってＰＣ１００におけるウィンドウシステム上のポインタが操作されるが、ポインタ表示位置は、画像データとは別にプロジェクタ２００に送信する。なお、ここでいうウィンドウシステムとは、例えばマイクロソフト社のオペレーティングシステム（以下ＯＳ）であるＷｉｎｄｏｗｓ（登録商標）によって実現される、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＧＵＩ）のことである。ＧＵＩにより、複数のタスクに固有の領域を割当てて画面出力を多重化することが可能になる。

(第１の実施形態)
本実施形態では、図１のＰＣ１００とプロジェクタ２００とによる表示システム４００の概略ブロック構成を図２に示す。
図２に示すように、ＰＣ１００は、ＣＰＵ１０１と、ＣＰＵ１０１の処理手順を記述した制御プログラムを記憶するためのＲＯＭ１０２と、ワークメモリとして一時的に制御プログラムやデータを格納するＲＡＭ１０３を持つ。

そして、アプリケーションやＯＳなどの各プログラムとデータを格納するためのハードディスクドライブ（ＨＤＤ）１０４と、ＰＣ１００の表示する画像データを圧縮するためのエンコーダ１０５を備える。更に、ＬＡＮ等を経由してプロジェクタ２００やサーバなどと通信するためのインタフェースであるネットワークＩＦ１０６と、キーボードやポインティングデバイス（マウス等のポインタ入力手段）からのユーザ入力を処理するユーザＩＦ１０７を備える。

そして、ＰＣ１００の表示する画像が記憶されているＶＲＡＭ１０８と、画像処理部１０９と、表示制御部１１０と、液晶ディスプレイなどの表示部１１１と、これら各要素を接続する内部バス１１２を備えている。

プロジェクタ２００は、ＣＰＵ２０１と、ＣＰＵ２０１の処理手順を記述した制御プログラムを記憶するためのＲＯＭ２０２と、ワークメモリとして一時的に制御プログラムやデータを格納するＲＡＭ２０３を備える。そして、所定の圧縮方式で圧縮されたデータをデコードするためのデコーダ２０４を持つ。更に、ＰＣ１００との接続用インタフェースであるネットワークＩＦ２０５と、各種の操作ボタンや操作リモコンなどからのユーザ入力を処理するユーザＩＦ２０６を備える。

そして、画像を出力するための投射画像制御部２０７と、入力画像を投射する液晶パネル及びその駆動ドライバ、レンズ及びその駆動系及び光源で構成される投影部２０８と、これら各要素を接続する内部バス２０９と、を備えている。

次に、本実施形態におけるＰＣ１００の処理の流れを、図３〜図５を用いて説明する。
図３に、複数のウィンドウから優先ウィンドウを設定する際の処理の例を示す。
ＰＣ１００はＣＰＵ１０１からの命令により優先ウィンドウ判定用のプログラムをＨＤＤ１０４から読み込み処理が開始される。

プログラムが開始されると、表示部１１１の最前面に表示されているアクティブなウィンドウをＷｉｎｄｏｗｓのＡｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ（以下、ＡＰＩ）である関数ＧｅｔＡｃｔｉｖｅＷｉｎｄｏｗで取得する。そして、ＲＡＭ１０３に保持する（ステップＳ００１）。次に、関数ＧｅｔＷｉｎｄｏｗＴｅｘｔにより、各ウィンドウのテキスト情報を読み取り、ＲＯＭ１０２に格納されているアプリケーション情報と比較し、各ウィンドウにおけるアプリケーションを判別する。そして、判別した各ウィンドウのアプリケーション情報はＲＡＭ１０３に格納する（ステップＳ００２）。

次に、ＡＰＩである関数ＧｅｔＷｉｎｄｏｗＲｅｃｔを用いて各ウィンドウにおける左上の原点座標（Ｘ１、Ｙ１）、Ｘ軸座標上のウィンドウサイズ、Ｙ軸座標上のウィンドウサイズ情報から、アプリケーションごとに生成される矩形領域を取得する。そして、ＲＡＭ１０３に保持する（ステップＳ００３）。各ウィンドウのハンドル情報とレイヤ情報はＧｅｔＮｅｘｔＷｉｎｄｏｗで取得し、取得した各ウィンドウのサイズ情報と、アクティブなウィンドウサイズ情報よりレイヤの順番を把握する。レイヤの順番と各ウィンドウの座標とサイズ情報により、表示部１１１に表示されている、各ウィンドウの表示されている面積を算出しＲＡＭ１０３に保持する（ステップＳ００４）。

ここで、図９にウィンドウによる画面構成の一例を示す。
表示部１１１に表示されている画像９００の中に、アクティブなＷｉｎｄｏｗ９０１、その下に配置されているＷｉｎｄｏｗ９０２、更にその下に配置されているＷｉｎｄｏｗ９０３、マウス９０４で構成されている。

例えば、図９に示されるようにアクティブなＷｉｎｄｏｗ９０１においては、Ｗｉｎｄｏｗ９０１のウィンドウサイズが面積となる。Ｗｉｎｄｏｗ９０２においては、Ｗｉｎｄｏｗ９０１によって隠れている領域を減算した領域である。また、Ｗｉｎｄｏｗ９０３の面積はＷｉｎｄｏｗ９０１とＷｉｎｄｏｗ９０２によって隠れている領域を減算した領域である。以上、ステップＳ００１〜ステップＳ００４によりウィンドウの構成を知ることができる。

ここで、以上のステップにより各ウィンドウの情報を格納した際にＲＡＭ１０３に格納されるテーブル情報の例を図１０に示す。
図１０に示すように、ウィンドウの属性情報１００１の項目には、各ウィンドウＩＤ１００２の各ウィンドウ００１〜００４に対応して、アプリケーション１００３、アクティブウィンドウ１００４、面積１００５のパラメータが存在する。ステップＳ００１によりアクティブウィンドウ１００４がウィンドウＩＤ００２のウィンドウであることが分かる。

また、ステップＳ００２により各ウィンドウのアプリケーション１００３が分かり、図１０に示すようにウィンドウ００１が表計算、ウィンドウ００２が動画プレイヤー、ウィンドウ００３がピクチャー、ウィンドウ００４がブラウザとして登録される。また、ステップＳ００３，ステップＳ００４により各ウィンドウの面積１００５が計算される。これにより、ウィンドウ００１は２４００ピクセル、ウィンドウ００２は１６００ピクセル、ウィンドウ００３は４８００ピクセル、ウィンドウ００４は６００ピクセルであることが分かる。

次に、ステップＳ００５〜ステップＳ０１１により各ウィンドウが優先ウィンドウに該当するかどうかを判別していく。
まず、動画ウィンドウが、矩形領域が動画を表示する矩形領域であるかを判別する動画領域判別を行う。ステップＳ００２により各ウィンドウのアプリケーションが判別可能であるので、あらかじめＲＯＭ１０２に登録されている動画アプリケーションであるかを判別する（ステップＳ００５）。この判別の結果、動画アプリケーションであれば（ＹＥＳ）、該当するウィンドウを優先ウィンドウ（動画）に設定してＲＡＭ１０３に優先ウィンドウ情報として保持し（ステップＳ００８）、ステップＳ００６の処理に進む。

一方、ステップＳ００５において、動画ウィンドウでなければ（ＮＯ）、ステップＳ００６の処理に進む。ステップＳ００６では、ステップＳ００１で取得したＲＡＭ１０３に保持されているアクティブウィンドウ情報から、該当するウィンドウがアクティブウィンドウであるかを判定する（ステップＳ００６）。

この判定の結果、アクティブウィンドウであれば（ＹＥＳ）、該当するウィンドウを優先ウィンドウ（アクティブ）に設定してＲＡＭ１０３に優先ウィンドウ情報として保持して（ステップＳ００９）、ステップＳ００７の処理に進む。
一方、ステップＳ００６において、アクティブウィンドウ情報でなければ（ＮＯ）、ステップＳ００７の処理に進む。

ステップＳ００７では、ステップＳ００３、ステップＳ００４で取得した各ウィンドウの表示面積情報より、該当するウィンドウが最大領域サイズのウィンドウであるかを判別（最大矩形領域判別）する（ステップＳ００７）。この判定の結果、最大サイズウィンドウであれば（ＹＥＳ）、該当するウィンドウを優先ウィンドウ（最大サイズ）に設定してＲＡＭ１０３に優先ウィンドウ情報として設定して（ステップＳ０１０）、ステップＳ０１１の処理に進む。すなわち、矩形領域サイズ変更を行う。

一方、ステップＳ００７において、最大サイズウィンドウ情報でなければ（ＮＯ）、ステップＳ０１１の処理に進む。ステップＳ０１１の処理では全ウィンドウについてステップＳ００５〜ステップＳ０１０の処理を実施したかどうかをチェックする（ステップＳ０１１）。全てのウィンドウに対して処理が終わっていなければ（ＮＯ）ステップＳ００５に戻り処理を継続し、全てのウィンドウに対して処理が終わっていれば（ＹＥＳ）処理を終える。

ここで、以上のステップにより優先ウィンドウの情報を格納した際にＲＡＭ１０３に格納されるテーブル情報の例を図１１に示す。
図１１に示すように、優先ウィンドウ１１０１の項目には各ウィンドウＩＤ１１０２のウィンドウ００１〜００４に対して、動画１１０３、アクティブ１１０４、最大サイズ１１０５が設定されている。ステップＳ００８により設定された動画の優先ウィンドウはウィンドウ００２に設定されている。また、ステップＳ００９により設定されたアクティブの優先ウィンドウはウィンドウ００２に設定されている。また、ステップＳ０１０により設定された最大サイズの優先ウィンドウはウィンドウ００３に設定されていることが分かる。

ここで、例えばウィンドウ００２のように、ウィンドウによっては複数の条件を満たし、ステップＳ００８、ステップＳ００９、ステップＳ０１０で優先ウィンドウに設定するウィンドウが存在する場合がある。この場合、各優先ウィンドウの情報を保持するものとする。
以上、説明した図３における優先ウィンドウの設定プログラムは、以降述べるプログラムよりも早い周期で独立して常時動作しているものとする。

次に、図４のフローチャートを参照しながら、ＰＣ１００が表示部１１１に表示している画像をプロジェクタ２００に転送する際の処理の流れを示す。
ＰＣ１００は、ＣＰＵ１０１からの命令により画像転送用のプログラムをＨＤＤ１０４から読み込み処理が開始される。このプログラムは、図３で説明した優先ウィンドウ判定用のプログラムと同時に開始される。本実施形態においては、ＰＣ１００は、画像取得手段、矩形領域判別手段、特定矩形領域判別手段、及びフレームレート制御手段を有する。

画像取得手段は、表示部１１１へ出力する出力画像を取得する。矩形領域判別手段は、表示部１１１に出力される矩形領域を判別する。特定矩形領域判別手段は、矩形領域判別手段により判別された矩形領域の中で、特定の矩形領域を判別する。フレームレート制御手段は、特定矩形領域判別手段により判別された特定の矩形領域のフレームレートを変更してプロジェクタ２００へ伝送する。本実施形態においては、動画再生が開始されたことが判別された場合に、動画を表示する矩形領域のフレームレートを上げるようにしている。

プログラムが開始されると、優先ウィンドウが設定されているかどうかをＲＡＭ１０３の格納データにより判別する（ステップＳ１０１）。この判別の結果、優先ウィンドウが設定されている場合（ＹＥＳ）、次のステップＳ１０２に進み、そうでなければ（ＮＯの場合）ステップＳ１０６に進む。なお、プログラム起動時には優先ウィドウは設定されていないので、自動的にステップＳ１０６の処理に進む。

優先ウィンドウが設定されている場合は、設定されている優先ウィンドウが所定の大きさ以上で無い場合には重要なウィドウではないため所定の大きさ以上であるか判定する（ステップＳ１０２）。ステップＳ１０２で判定する所定の大きさは、ＲＯＭ１０２に工場出荷時に格納されている情報であってもよいし、ユーザＩＦ１０７を介して設定された値であってもよい。この判定の結果、所定の大きさなければ（ＮＯの場合）、ステップＳ１０６に進み、所定の大きさ以上であれば（ＹＥＳ）次のステップＳ１０３に進む。

次に、ネットワークＩＦ１０６で使用できる帯域状態が所定の値以上であるか、帯域状態を検知する帯域状態検知を行う（ステップＳ１０３）。所定の帯域値はＲＯＭ１０２に工場出荷時に格納されている情報であってもよいし、ユーザＩＦ１０７を介して設定された値であってもよい。所定の帯域値以上であれば全画面を転送しても問題ないので、ステップＳ１０６に進む。

一方、帯域状態が所定以下である場合（ＹＥＳの場合）には、全画面を常に送る帯域が確保できていないため、設定されている優先のウィンドウを送信する優先ウィンドウ送信プログラムを起動する（ステップＳ１０４）。そして、前述した特定矩形領域判別手段により特定の矩形領域を設定する。また、設定された特定の矩形領域と同一の矩形領域が複数存在する場合においては、複数存在する特定の矩形領域の優先順位設定を行う。優先ウィンドウ送信プログラムの処理の流れについては後述する。

優先ウィンドウ送信プログラムを起動したあとは、優先ウィンドウプログラムによって優先ウィンドウの画像がプロジェクタ２００に転送されたかどうかを判別する（ステップＳ１０５）。この判別の結果、優先ウィンドウの画像送信が完了していなければ（ＮＯの場合）、画像送信が完了するまで待ち続け、完了したら次のステップＳ１０６に進む（ＹＥＳ）。

次に、全画面転送の処理をスキップするフラグ情報がＲＡＭ１０３に格納されているかどうかを判定する（ステップＳ１０６）。この判定の結果、スキップするフラグ情報がＲＡＭ１０３に格納されていれば全画面の転送は省略し（ＹＥＳ）、格納されていなければ次のステップＳ１０７に進む（ＮＯ）。

次に、ＰＣ１００の表示制御部１１０を介して表示部１１１に出力されている画面をキャプチャする。キャプチャは、ＷｉｎｄｏｗｓのＡＰＩである関数ＢｉｔＢｌｔ（bit block transfer）を用いてＶＲＡＭ１０８に保持する画面データを取得し、ＲＡＭ１０３に保持する（ステップＳ１０７）。キャプチャした後、エンコーダ１０５により、例えばＪＰＥＧなどの所定の圧縮方式によりステップＳ１０７で取得した画像データをエンコードする（ステップＳ１０８）。この際、圧縮方式はどのような圧縮方式であってもかまわない。圧縮した画像データはネットワークＩＦ１０６を介してプロジェクタ２００に転送される（ステップＳ１０９）。

図４におけるステップＳ１０４で起動した優先ウィンドウ送信プログラムの処理の流れに関して図５を用いて説明する。
ある１つの優先ウィンドウが動画であるかどうかをＲＡＭ１０３に格納されている優先ウィンドウ情報により判定する（ステップＳ２０１）。優先ウィンドウが動画であれば（ＹＥＳ）、その優先ウィンドウが更にアクティブであるかを判定する（ステップＳ２０２）。この判定の結果、優先ウィンドウが動画でなければ（ＮＯの場合）、その優先ウィンドウがアクティブであるかを判別する（ステップＳ２０４）。

一方、ステップＳ２０２において、優先ウィンドウが動画であり更にアクティブでもある場合（ＹＥＳ）、該当する優先ウィンドウが最も優先されるウィンドウであると判別される。この場合は、ステップＳ２１２に進んで処理を行う。ステップＳ２１２では、ＰＣ１００の表示制御部１１０を介して表示部１１１に出力されている画面をキャプチャする。キャプチャは関数ＢｉｔＢｌｔを用いてＶＲＡＭ１０８に保持する画面データを取得し、ＲＡＭ１０３に保持する（ステップＳ２１２）。

キャプチャした選択中の画面は、エンコーダ１０５により例えばＪＰＥＧなどの所定の圧縮方式によりステップＳ２１２で取得した画像データの中から優先ウィンドウの領域をエンコードする（ステップＳ２１３）。この際、圧縮方式はどのような圧縮方式であってもかまわない。圧縮した画像データはネットワークＩＦ１０６を介してプロジェクタ２００に転送される（ステップＳ２１４）。

次に、ＲＡＭ１０３に格納されている優先ウィンドウ情報に変化がないかどうかを判別し（ステップＳ２１５）、変化がなければ（ＮＯ）ステップＳ２１２〜Ｓ２１４の処理を継続する。また、優先ウィンドウ情報に変化がある場合には（ＹＥＳ）処理を終えて優先ウィンドウの処理が完了したことを図４で説明した画像転送用のプログラムに通知して処理を終える（ステップＳ２１６）。

ここで、ステップＳ２０２において、優先ウィンドウが動画であるがアクティブではない場合（ＮＯ）、ステップ２０３に進んで優先ウィンドウの動画が再生中であるかどうかを判別する（動画再生判別を行う）。再生しているかどうかは直接動画アプリケーションに問い合わせるか、もしくは数コマ画面をキャプチャして変化を検知することで実現することが可能である。動画が再生中でなければ（ＮＯ）ステップＳ２０７に進み、動画が再生中であれば（ＹＥＳ）該当する優先ウィンドウの送信回数を設定し、ＲＡＭ１０３に保持する（ステップＳ２０６）。

送信回数は、ウィンドウのサイズや、各優先ウィンドウの優先度から設定される。優先度は、例えば“動画＞アクティブ＞最大サイズ”といったように、ＲＯＭ１０２に格納されている優先度情報に従って順位付けを行う。優先ウィンドウの送信回数を設定した後はステップＳ２０７に進む。

ステップＳ２０４では、優先ウィンドウがアクティブであるかどうかを判別し、優先ウィンドウであれば（ＹＥＳ）ステップＳ２０６に進み、そうでなければ（ＮＯ）優先ウィンドウが最大サイズウィンドウであるかを判別する（ステップＳ２０５）。最大サイズウィンドウであれば（ＹＥＳ）ステップＳ２０６に進み、そうでなければ（ＮＯ）ステップＳ２０７に進む。

ステップＳ２０７では、全ての優先ウィンドウに対してチェックが終わったかを判定し、チェックが終わっていなければ（ＮＯ）ステップＳ２０１の処理に戻り、チェックが終わっていれば（ＹＥＳ）ステップＳ２０８に進む。

ステップＳ２０８では、ＰＣ１００の表示制御部１１０を介して表示部１１１に出力されている画面をキャプチャする。キャプチャは、関数ＢｉｔＢｌｔを用いてＶＲＡＭ１０８に保持する画面データを取得し、ＲＡＭ１０３に保持する。キャプチャした後、エンコーダ１０５により、例えばＪＰＥＧなどの所定の圧縮方式によりステップＳ２０８で取得した画像データの中でステップＳ２０６で設定された優先ウィンドウの領域をエンコードする（ステップＳ２０９）。

ステップＳ２０６で設定された回数は優先ウィンドウごとに異なるので、規定回数に達している優先ウィンドウは、ステップＳ２０９における圧縮領域から順次除外して設定を解除する。なお、圧縮方式はどのような圧縮方式であってもかまわないものとする。圧縮した優先ウィンドウの画像データは、ネットワークＩＦ１０６を介してプロジェクタ２００に転送される（ステップＳ２１０）。

次に、ステップＳ２０６で設定した送信回数分送信したかどうかを判定する（ステップＳ２１１）。設定した送信回数分、全ての優先ウィンドウを送信していれば（ＹＥＳ）ステップＳ２１６に進み、そうでなければ（ＮＯ）ステップＳ２０８〜Ｓ２１０の処理を継続する。前述したようにステップＳ２０６では優先ウィンドウの処理が完了したことを図４で説明した画像転送用のプログラムに通知して処理を終える。

次に、図６を用いて、プロジェクタ２００の処理の流れを説明する。
図６に示すようにＰＣ１００からネットワークＩＦ１０６を介して送信される画像データをネットワークＩＦ２０５で受信してＲＡＭ２０３に画像データを格納する（ステップＳ３０１）。次に、受信してＲＡＭ２０３に格納されている画像データをデコーダ２０４によりデコード処理を行い（ステップＳ３０２）、ＲＡＭ２０３にデコード後の画像データを保存する。次に全ての画像データについてデータ受信が完了したかどうかを判別し（ステップＳ３０３）、全ての画像データについてデータ受信が完了していない場合にはステップＳ３０１に戻る（ＮＯ）。全ての画像データについてデータ受信が完了している場合には、投射画像制御部２０７により投影部２０８に画像を表示する（ステップＳ３０４）。

以前述べてきた実施形態により、ＰＣ１００の特定のウィンドウを優先ウィンドウとして設定することで、ユーザにとって重要な画面情報を違和感なくプロジェクタ２００で再生することができる。

（第２の実施形態）
ウィンドウの状態によって優先ウィンドウを変更する
本実施形態では、ウィンドウの状態が変化した場合における実施形態について述べる。
本実施形態の表示システムの概略ブロック構成は、第１の実施形態と同様に図２に示した構成とする。また、ＰＣ１００の処理の流れは第１の実施形態で説明した処理と同様とし、プロジェクタについても同様である。

次に、図７を用いて本実施形態におけるＰＣ１００の処理の流れについて説明する。
図３のステップＳ００３〜Ｓ００４間で取得したウィンドウ情報が格納されているＲＡＭ１０３からの情報により、ウィンドウサイズが変化したかどうかを判別する（ステップＳ４０１）。ウィンドウサイズが変化した場合には（ＹＥＳ）ステップＳ４０３に移行する。

一方、ウィンドウサイズが変化していなければ（ＮＯ）、ステップＳ００３〜Ｓ００４で取得したウィンドウの位置情報によりウィンドウが移動したかどうかを判別する（ステップＳ４０２）。ステップＳ４０２の判別の結果、矩形領域移動が行われていなければステップＳ４０１の処理に戻る（ＮＯ）。一方、矩形領域移動が行われていた場合には、次のステップＳ４０３に進む（ＹＥＳ）。

次に、変化があったウィンドウが優先ウィンドウであるかを判別する（ステップＳ４０３）。優先ウィンドウ情報は図３におけるステップＳ００５〜Ｓ０１１により設定されるウィンドウであり、ＲＡＭ１０３に優先ウィンドウの情報が格納されている。該当するウィンドウが優先ウィンドウで無い（ＮＯ）場合には、優先ウィンドウの送信回数の設定を０に設定してＲＡＭ１０３に記録する（ステップＳ４０５）。

ＲＡＭ１０３に保持される優先ウィンドウの送信回数が０に設定されたことで、図５に示したステップＳ２０６における送信回数を０に設定するものとする。従って、図５におけるステップＳ２０６ではステップＳ２０１〜Ｓ２０５の条件に関わらず送信回数を０に設定し、優先ウィンドウの送信処理をすぐに終了させる。

一方、ステップＳ４０３において該当するウィンドウが優先ウィンドウであった場合には（ＹＥＳ）、優先ウィンドウの面積が拡大されているかどうかを判別する（ステップＳ４０４）。優先ウィンドウの面積が拡大されている場合には（ＹＥＳ）、画像サイズが大きくなるのでフレームレートを落とすため優先ウィンドウの送信回数の減算値をＲＡＭ１０３に記録する。ＲＡＭ１０３に記録された減算値に従って、図５におけるステップＳ２０６ではステップＳ２０１〜Ｓ２０５の条件により設定された送信回数から、設定された減算値を減算して送信回数を設定する。そして、設定された送信回数に従って優先ウィンドウを送信する（ステップＳ４０６）。

一方、ステップＳ４０４において、優先ウィンドウの面積が縮小されている場合には（ＮＯ）、画像サイズが小さくなるのでフレームレートを上げるため優先ウィンドウの送信回数の加算値をＲＡＭ１０３に記録する。ＲＡＭ１０３に記録された加算値に従って、図５におけるステップＳ２０６ではステップＳ２０１〜Ｓ２０５の条件により設定された送信回数から、設定された加算値を加算して送信回数を設定する。そして、設定された送信回数に従って優先ウィンドウを送信する（ステップＳ４０７）。

以上、述べてきた実施形態により、ＰＣ１００のウィンドウのフレームレートを動的に変えることで、ユーザにとって重要な画面情報を違和感なくプロジェクタ２００で再生することができる。

（第３の実施形態）
本実施形態では、マウスの状態（ポインタ状態）によって優先ウィンドウを変化させる場合の実施形態について述べる。本実施形態における概略ブロック構成は、第１の実施形態と同様に図２に示した構成とする。また、ＰＣ１００の処理の流れは第１の実施形態で説明した処理と同様とし、プロジェクタについても同様である。

図８に、マウスの状態に応じて送信回数を変更する処理の流れを説明するフローチャートを示す。
ＡＰＩである関数ＧｅｔＣｕｒｓｏｒＩｎｆｏ、ＧｅｔＣｕｒｓｏｒＰｏｓなどによりマウスの位置としての座標情報を取得する（ステップＳ５０１）。

次に、ステップＳ５０１で取得した座標が、図３により取得した優先ウィンドウの座標情報からマウスの位置の状態（ポインタ状態）が優先ウィンドウの中に存在するかどうかを判断する（ステップＳ５０２）。このポインタ状態検出の結果、優先ウィンドウ内に存在しない場合（ＮＯの場合）は、ステップＳ５０３に進んでマウスがウィンドウをドラッグしているかどうかを判別する。

ステップＳ５０３の判別の結果、マウスがウィンドウをドラッグしている場合（ＹＥＳの場合）には、ステップＳ５０５に進み、優先ウィンドウの送信回数の設定を０に設定してＲＡＭ１０３に記録する。ＲＡＭ１０３に保持される優先ウィンドウの送信回数が０に設定されたことで、図５に示したステップＳ２０６における送信回数を０に設定するものとする。したがって、図５におけるステップＳ２０６ではステップＳ２０１〜Ｓ２０５の条件に関わらず送信回数を０に設定し、優先ウィンドウの送信処理をすぐに終了させる。

一方、ステップＳ５０３の判別の結果、マウスがウィンドウをドラッグしていない場合には（ＮＯの場合）、ステップＳ５０４に進み、マウスが動いていないか判別する。この判別の結果、マウスが動いていない場合には（ＮＯ）ステップＳ５０７の処理に進む。一方マウスが動いている場合には（ＹＥＳ）、優先ウィンドウの送信回数の減算値をＲＡＭ１０３に記録する（ステップＳ５０６）。

ＲＡＭ１０３に記録された減算値に従って、図５におけるステップＳ２０６ではステップＳ２０１〜Ｓ２０５の条件により設定された送信回数から、設定された減算値を減算して送信回数を設定し、設定された送信回数に従って優先ウィンドウを送信する。

ステップＳ５０２において、優先ウィンドウ内に存在する場合は（ＹＥＳ）、ステップＳ５０７の処理に進む。ステップＳ５０７ではＰＣ１００の表示制御部１１０を介して表示部１１１に出力されている画面をキャプチャする。キャプチャは関数ＢｉｔＢｌｔを用いてＶＲＡＭ１０８に保持する画面データを取得し、ＲＡＭ１０３に保持する。

キャプチャした後、エンコーダ１０５により、例えばＪＰＥＧなどの所定の圧縮方式によりステップＳ５０７で取得した画像データの中から優先ウィンドウの領域をエンコードする（ステップＳ５０８）。この際、圧縮方式はどのような圧縮方式であってもかまわない。圧縮した画像データはネットワークＩＦ１０６を介してプロジェクタ２００に転送される（ステップＳ５０９）。

次に、マウスの位置としての座標情報を取得し（ステップＳ５１０）、マウスが動作しているかどうかを判断する（ステップＳ５１１）。マウスが動作している場合には（ＹＥＳ）処理を終え、マウスが動作していない場合にはステップＳ５０７に戻り、優先ウィンドウを送信し続ける。なお、ステップＳ５０７〜ステップＳ５１１の処理を行う場合には、図５における優先ウィンドウの送信プログラムは終了してもよい。
以上、述べてきた実施形態によりＰＣ１００のマウスの状態に応じて適切にフレームレートを変えることで、ユーザにとって重要な画面情報を違和感なくプロジェクタ２００で再生することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ ＰＣ、２００ プロジェクタ、１００a マウス、３００ ネットワーク

Claims (23)

1. ネットワークを介して画像表示装置へ画像を伝送する画像伝送手段と、
   アプリケーションごとに生成される矩形領域を表示部に表示するポインタ入力手段と、
   前記表示部へ出力する出力画像を取得する画像取得手段と、
   前記表示部に出力される矩形領域を判別する矩形領域判別手段と、
   前記矩形領域判別手段により判別された矩形領域の中で、特定の矩形領域を判別する特定矩形領域判別手段と、
   前記特定矩形領域判別手段により判別された特定の矩形領域のフレームレートを変更して前記画像伝送手段により前記画像表示装置へ伝送するフレームレート制御手段とを有することを特徴とする画像処理装置。
2. 前記矩形領域判別手段において判別された各矩形領域が動画を表示する矩形領域であるかを判別する動画領域判別手段を有し、
   前記動画領域判別手段により判別された動画を表示する矩形領域を、前記特定矩形領域判別手段により特定の矩形領域に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記動画を表示する矩形領域において、動画が再生されたかどうかを判別する動画再生判別手段を有し、
   前記動画再生判別手段により動画再生が開始されたことが判別された場合に、前記フレームレート制御手段は、前記動画を表示する矩形領域のフレームレートを上げることを特徴とする請求項２に記載の画像処理装置。
4. 前記矩形領域判別手段において判別された各矩形領域の中で選択中の矩形領域を判別する判別手段を有し、
   前記判別手段により判別された選択中の矩形領域を、前記特定矩形領域判別手段により特定の矩形領域に設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記動画領域判別手段により動画を表示すると判別された矩形領域と、
   前記判別手段により選択中の矩形領域と判別された矩形領域とが同一の矩形領域であった場合に、前記同一の矩形領域を特定矩形領域判別手段により特定の矩形領域に設定して前記特定の矩形領域のみ前記画像伝送手段で伝送することを特徴とする請求項２〜４の何れか１項に記載の画像処理装置。
6. 前記矩形領域判別手段において判別された各矩形領域の中で最も領域サイズの大きい矩形領域を判別する最大矩形領域判別手段を有し、
   前記最大矩形領域判別手段により判別された最大矩形領域を、前記特定矩形領域判別手段により特定の矩形領域に設定することを特徴とする請求項１に記載の画像処理装置。
7. 前記矩形領域判別手段により判別された矩形領域のいずれかを移動する矩形領域移動手段を有し、
   前記矩形領域移動手段により矩形領域が移動した際に、前記特定矩形領域判別手段により特定の矩形領域に設定された矩形領域の設定を解除し、前記画像取得手段により取得した画像を前記画像伝送手段により伝送することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記矩形領域判別手段により判別された矩形領域のいずれかの大きさを変更する矩形領域サイズ変更手段を有し、
   前記矩形領域サイズ変更手段により矩形領域の大きさを変更した際に、前記特定矩形領域判別手段により特定の矩形領域に設定された矩形領域の設定を解除し、前記画像取得手段により取得した画像を前記画像伝送手段により伝送することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
9. 前記矩形領域サイズ変更手段により、特定の矩形領域に設定された矩形領域を拡大した際に、前記特定の矩形領域のフレームレートを下げることを特徴とする請求項８に記載の画像処理装置。
10. 前記矩形領域サイズ変更手段により特定の矩形領域に設定された矩形領域を縮小した際に、前記特定の矩形領域のフレームレートを上げることを特徴とする請求項８に記載の画像処理装置。
11. ポインティングデバイスの入力を受け付けるポインタ入力手段と、
    前記ポインタ入力手段により入力されるポインタの状態を検出するポインタ状態検出手段とを有し、
    前記ポインタ状態検出手段により検出されたポインタ状態に応じて、前記特定矩形領域判別手段で設定された特定の矩形領域のフレームレートを変更することを特徴とする請求項１に記載の画像処理装置。
12. 前記ポインタ状態検出手段によりポインタの位置を検知し、ポインタの位置が前記特定矩形領域判別手段により判別された特定の矩形領域に存在する場合に、前記フレームレート制御手段は、特定の矩形領域のフレームレートを上げることを特徴とする請求項１１に記載の画像処理装置。
13. 前記ポインタ状態検出手段によりポインタの移動を検知し、ポインタが移動していない場合には、
    前記特定矩形領域判別手段により判別された特定の矩形領域のみ前記画像伝送手段により伝送することを特徴とする請求項１１に記載の画像処理装置。
14. 前記ポインタ状態検出手段によりポインタの移動を検知し、ポインタが移動している場合には、前記フレームレート制御手段は、前記特定矩形領域判別手段により判別された特定の矩形領域のフレームレートを下げることを特徴とする請求項１１に記載の画像処理装置。
15. 前記ポインタ状態検出手段によりポインタが矩形領域をドラッグしていることを検知し、ポインタが矩形領域をドラッグしている場合は、前記特定矩形領域判別手段により特定の矩形領域に設定された矩形領域の設定を解除し、前記画像取得手段により取得した画像を前記画像伝送手段により伝送することを特徴とする請求項１１に記載の画像処理装置。
16. 前記矩形領域判別手段により判別された矩形領域の大きさが所定の大きさ以上である場合に、前記特定矩形領域判別手段により特定の矩形領域として設定することを特徴とする請求項１〜１５の何れか１項に記載の画像処理装置。
17. 前記画像伝送手段における帯域状態を検知する帯域状態検知手段を有し、
    前記帯域状態検知手段により検知された帯域状態が所定以下である場合に、前記特定矩形領域判別手段により特定の矩形領域を設定することを特徴とする請求項１〜１５の何れか１項に記載の画像処理装置。
18. 前記特定矩形領域判別手段により設定された特定の矩形領域が複数存在する場合において、複数存在する特定の矩形領域の優先順位を設定する優先順位設定手段を有し、
    前記優先順位設定手段により設定された優先順位に従い各特定の矩形領域のフレームレートを設定することを特徴とする請求項１〜１５の何れか１項に記載の画像処理装置。
19. ネットワークを介して画像処理装置から送られる画像信号を受信する信号受信手段と、
    前記信号受信手段により受信した画像信号を、画像表示装置に表示可能な形式へ変換する変換手段と、
    前記変換手段により変換された画像信号を前記画像表示装置に表示する画像表示制御手段とを有することを特徴とする画像表示装置。
20. 前記画像表示装置は、入力画像を投射する液晶パネル、前記液晶パネルを駆動する駆動ドライバ、レンズ、駆動系及び光源で構成される投影部を有するプロジェクタであることを特徴とする請求項１９に記載の画像表示装置。
21. 請求項１〜１８の何れか１項に記載の画像処理装置と、請求項１９または２０に記載の画像表示装置とからなることを特徴とする画像伝送システム。
22. ネットワークを介して画像表示装置へ画像を伝送する画像伝送工程と、
    アプリケーションごとに生成される矩形領域を表示部に表示するポインタ入力工程と、
    前記表示部へ出力する出力画像を取得する画像取得工程と、
    前記表示部に出力される矩形領域を判別する矩形領域判別工程と、
    前記矩形領域判別工程により判別された矩形領域の中で、特定の矩形領域を判別する特定矩形領域判別工程と、
    前記特定矩形領域判別工程により判別された特定の矩形領域のフレームレートを変更して前記画像伝送工程により前記画像表示装置へ伝送するフレームレート制御工程とを有することを特徴とする画像処理方法。
23. ネットワークを介して画像処理装置から送られる画像信号を受信する信号受信工程と、
    前記信号受信工程により受信した画像信号を、画像表示装置に表示可能な形式へ変換する変換工程と、
    前記変換工程により変換された画像信号を前記画像表示装置に表示する画像表示制御工程とを有することを特徴とする画像表示方法。

Images