JP2012044478A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】差分矩形数を最大値以下とするため等のマージ処理を行った際に発生する、重複領域を複数回抽出してしまうことによる無駄の排除を図る画像処理装置等を提供すること。
【解決手段】画像処理装置は、画面から抽出された複数の差分矩形を所定のルールに従ってマージするマージ手段と、マージ手段によりマージされた結果の複数の差分矩形が重複する場合、その重複する領域における重複を排除する重複解決手段とを備える。
【選択図】図１

Description

本発明は、画面から検出された差分矩形をマージする技術に関する。

自宅のＰＣを遠隔地の別の装置からリモート操作する際に、自宅のＰＣの画面に表示されるべき画像を、遠隔地にある別の装置の画面上に再現したい場合がある。

例えば、自宅のＰＣの画面を遠隔地の別の装置の画面上に表示し始めたときには、全画面の情報を送信するが、それ以降は自宅のＰＣの画面の変化部分のみの情報を遠隔地の別の装置側に送信し、遠隔地の別の装置では、変化部分のみを描画するようにすると、データ送信量と描画処理量が少なく済む。

自宅のＰＣと遠隔地の別の装置間で画面表示性能の違い（ディスプレイピクセル数、解像度や表示色数）に違いがある場合には、遠隔地の別の装置側のアプリケーションが適切な変換処理（画面の縮小・拡大や色変換）を行うことであってもよい。

ここで、自宅のＰＣの画面全体を、例えば８ドット×８ドットのサイズを単位として差分領域（差分エリア）としての差分矩形を抽出する場合を考える。８ドット×８ドットのうち１ドットのみ異なる（差分あり）ときも８ドット×８ドットのサイズが最小単位であるので８ドット×８ドットのサイズで差分矩形が抽出される。なお、８ドット×８ドットのサイズは一例であり、任意のサイズが適用されてよい。

また、差分矩形数が多すぎると変化部分のデータ送信の際のヘッダ対データの比率がヘッダ側に高くなりデータ送信効率が悪化したり、またデコードの際にオーバーヘッドが生じて無駄な処理能力や処理時間がかかるので、これらの問題等を回避すべく、画面全体での差分矩形数の最大値を制限することがある。ここでは一例として３２個とするが、６４個や１６個であってもよい。

自宅のＰＣの中央演算処理装置（以下、「ＣＰＵ」（Central Processing Unite））等で実現される制御部は、まず画面全体を、８ドット×８ドットのサイズを単位として、可能な限り差分矩形を抽出する。そして、差分矩形数が３２個を超えている場合に、所定のアルゴリズムに従って最寄の差分矩形同士等をマージする処理を行い差分矩形数を３２個以下とする。

図１１は、上記のマージ処理を説明する図である。
図１１に示すように、ａ１、ａ２、ｂ１、ｂ２および図示しないその他の３０個の差分矩形が抽出された場合（合計３４個の差分矩形）、まず、ａ１とａ２とをａ１のｘ座標の終点データおよびａ２のｘ座標の始点データを消すことでマージして差分矩形Ａを作成する（合計３３個の差分矩形）。次に、ｂ１とｂ２とをｂ１のｙ座標の終点データおよびｂ２のｙ座標の始点データを消すことでマージして差分矩形Ｂを作成する（合計３２個の差分矩形）。これにより差分矩形数を３２個以下とすることができるが、差分矩形Ａと差分矩形Ｂとが重複している領域（斜線部分）が発生してしまう。この重複領域は差分矩形Ａの抽出の際と差分矩形Ｂの抽出の際との２回（複数回）抽出されるので、本来、１回でよいところをさらに１回分余計に抽出する処理が必要であり無駄が生じることとなる。

差分矩形数を３２個以下とするためのマージ処理を行う時点で、本来差分ではない領域も差分領域に取り込んでしまうので、当該本来差分ではない領域については無駄が生じているということができ、上記の差分矩形Ａと差分矩形Ｂとの重複によるさらなる無駄の発生は回避することが望ましい。

関連技術として、画面に動画の大きなウィンドウが存在する場合等に、所定の差分以上の差分がある画面ブロックが多い場合には、１ブロック当たりの割当ビット数が少なくなり、画面が劣化することを回避すべく、シンクライアント側に高画質に送信し直す技術が提案されている（例えば、特許文献１参照）。

また、関連技術として、個々のフレーム画像データをマージユニットで平均化等によりマージすることで統合フレーム画像を作成する技術が提案されている（例えば、特許文献２参照）。

特開２００９−２２４８４７号公報 特表２００３−５２８３９４号公報

しかしながら、上述の関連技術では、画面全体での差分矩形数の最大値が制限され、差分矩形数を当該最大値以下とするためのマージ処理を行った際に発生する、重複領域を複数回抽出してしまうことによる無駄を排除すること、すなわち重複解決アルゴリズムを実現することは困難であった。

本発明は、以上のような課題を解決するためになされたもので、画面全体での差分矩形数を最大値以下とするため等のマージ処理を行った際に発生する、重複領域を複数回抽出してしまうことによる無駄の排除を図る画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

本発明の画像処理装置は、画面から抽出された複数の差分矩形を所定のルールに従ってマージするマージ手段と、
前記マージ手段によりマージされた結果の複数の差分矩形が重複する場合、該重複する領域における重複を排除する重複解決手段とを備えることを特徴とする。

また、本発明の画像処理方法は、マージ手段が、画面から抽出された複数の差分矩形を所定のルールに従ってマージするステップと、
重複解決手段が、前記マージ手段によりマージされた結果の複数の差分矩形が重複する場合、該重複する領域における重複を排除するステップとを有することを特徴とする。

また、本発明のプログラムは、コンピュータに、
マージ手段により、画面から抽出された複数の差分矩形を所定のルールに従ってマージする処理と、
重複解決手段により、前記マージされた結果の複数の差分矩形が重複する場合、該重複する領域における重複を排除する処理とを実行させることを特徴とする。

本発明によれば、画面全体での差分矩形数を最大値以下とするため等のマージ処理を行った際に発生する、重複領域を複数回抽出してしまうことによる無駄を排除することが可能となる。

本発明の実施の形態に係る画像処理装置の構成を示す図である。 本発明の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の実施の形態に係る処理動作を示すフローチャートである。 本発明の実施の形態に係る重複解決処理の一例を説明する図である。 本発明の実施の形態に係る重複解決処理の一例を説明する図である。 本発明の実施の形態に係る重複解決処理の一例を説明する図である。 本発明の実施の形態に係る重複解決処理の一例を説明する図である。 本発明の他の実施の形態に係る無駄な領域の削除の一例を説明する図である。 本発明の他の実施の形態に係る無駄な領域の削除の一例を説明する図である。 本発明の他の実施の形態に係る無駄な領域の削除の一例を説明する図である。 従来のマージ処理を説明する図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。図１に示す本実施の形態における画像処理装置１は、グラフィックデータ処理により描画コマンドを生成するソフトウェアを実行する制御部として機能する中央演算処理装置（以下、「ＣＰＵ」）１０と、入力部２０、出力部３０、フレームメモリ４０、メインメモリ５０及びプログラム記憶部６０を備えるＰＣ（パーソナル・コンピュータ）等の情報処理装置であって、ＣＰＵ１０、入力部２０、出力部３０、フレームメモリ４０、メインメモリ５０及びプログラム記憶部６０は、それぞれデータ転送等のためのバス７０を介して接続されている。

ＣＰＵ１０は、アプリケーションソフトウェア、アプリケーション・プログラム・インタフェース（ＡＰＩ）ミドルウェア等の各種ミドルウェア、及びデバイスドライバ等のソフトウェアを実行して、描画コマンドを生成する。ＣＰＵ１０がソフトウェアに制御されて処理対象のグラフィックデータから描画コマンドを生成する。生成された画像描画用データは、フレームメモリ４０に格納される。

入力部２０はユーザがデータ等を入力するキーボード、マウス等である。出力部３０は、画像処理結果・出力画像等を外部送信可能なインタフェースや表示部としてのディスプレイやプリンタ等である。

メインメモリ５０は、グラフィックデータ記憶領域５１及びコマンドバッファ領域５２を有する。グラフィックデータ記憶領域５１は処理対象のグラフィックデータを格納する。コマンドバッファ領域５２は描画コマンドを格納する。また、メインメモリ５０は、ＣＰＵ１０の処理により生成されるデータ等を一時的に保存する。

プログラム記憶部６０は、アプリケーションソフトウェア、ＡＰＩミドルウェア、デバイスドライバ等の、ＣＰＵ１０によって実行されるソフトウェアのプログラムコードを格納する。なお、１画面あたりの総抽出矩形数の最大値データやマージ処理の際の基準データが格納されることであってもよい。

アプリケーションソフトウェアは、入力部２０から入力されたグラフィックデータを処理し、処理結果として得られるＡＰＩ関数コール（目的の描画を行うための指示）をＡＰＩミドルウェアに引き渡す。ＡＰＩミドルウェアはそのＡＰＩ関数コールを処理して、ＣＰＵ１０が実行可能な描画コマンドを生成する。デバイスドライバは、ＡＰＩミドルウェアによって生成された描画コマンドをコマンドバッファ領域５２にバッファリングした後、新たな処理を開始できるタイミングで、例えば１フレーム分等の処理単位の描画コマンドをコマンドバッファ領域５２からＣＰＵ１０に転送する。ＣＰＵ１０は描画コマンドを用いて描画処理を行い、描画処理結果である画像描画用データ（例えばピクセルデータ）をフレームメモリ４０に格納し、その後出力部３０から所定の出力がなされる。

上述の画像処理装置１に関する構成で、ユーザの入力部２０に対する操作の結果として、フレームメモリ４０の内容が更新される。
以下では、画像処理装置１が、当該フレームメモリ４０、または、出力部３０から出力される画像を遠隔地の装置に送信する際に、画像の変化の差分を抽出する処理について着目して詳細に説明する。

図２に、本実施の形態における画像処理装置１の機能ブロック図を示す。

本実施の形態における画像処理装置１は、差分検出部１１１と、判定部１１２と、矩形マージ部１１３と、重複解決部１１４と、基準選択部１１５とを備えている。

差分検出部１１１は、２つの画面（例えば、現在の画面とその直前の画面）に関して、画面全体の領域ついて差分矩形を抽出する機能を有している。ＣＰＵ１０により実現されてよい。例えば、画面全体を、８ドット×８ドットのサイズを単位として差分領域（差分エリア）としての差分矩形を抽出する。８ドット×８ドットのうち１ドットのみ異なる（差分あり）ときも８ドット×８ドットのサイズが最小単位であるので８ドット×８ドットのサイズで差分矩形が抽出される。なお、８ドット×８ドットのサイズは一例であり、任意のサイズが適用されてよい。

判定部１１２は、差分検出部１１３により抽出された差分矩形の数が所定の記憶部に格納されている１画面あたりの総抽出矩形数の最大値以内であるか否かを判定する機能を有している。ＣＰＵ１０により実現されてよい。本実施の形態では最大値の一例として３２個とするが、６４個や１６個等の任意の数であってもよい。
また、判定部１１２は、後述するマージ処理と重複解決処理とがループしているか否かを判定する機能や重複解決部１１４による重複解決処理が必要であるか否かを判定する機能も有している。

矩形マージ部１１３は、所定のルール（アルゴリズム）に従って複数の差分矩形を１つの差分矩形にマージする機能を有している。ＣＰＵ１０により実現されてよい。マージ処理は、図１１を参照して上述したように、ａ１とａ２とをａ１のｘ座標の終点データおよびａ２のｘ座標の始点データを消すことでマージして差分矩形Ａを作成し、また、ｂ１とｂ２とをｂ１のｙ座標の終点データおよびｂ２のｙ座標の始点データを消すことでマージして差分矩形Ｂを作成すること等で実現されてよい。

重複解決部１１４は、矩形マージ部１１３によるマージ処理を行った際に発生する、重複領域を排除する機能を有している。ＣＰＵ１０により実現されてよい。後述する重複解決アルゴリズムにより重複領域を排除する。

基準選択部１１５は、所定の記憶部に格納されている矩形マージ部１１３によるマージ処理の際の基準データを選択する機能を有している。ＣＰＵ１０により実現されてよい。

以下、本実施の形態の動作について図面を参照して詳細に説明する。ここでは、画面全体を、８ドット×８ドットのサイズを単位として差分領域（差分エリア）としての差分矩形を抽出することとし、また、１画面あたりの総抽出矩形数の最大値は３２個であるものとする。

図３のフローチャートを参照すると、まず、画像処理装置１の差分検出部１１１は、２つの画面（例えば、現在の画面とその直前の画面）に関して、画面全体の領域ついて差分矩形を抽出する（Ｓ３０１）。

次に、判定部１１２は、差分検出部１１３により抽出された差分矩形の数が所定の記憶部に格納されている１画面あたりの総抽出矩形数の最大値である３２個以内であるか否かを判定し（Ｓ３０２）、３２個以内である場合（Ｓ３０２／Ｙｅｓ）は処理を終了する。

一方、３２個以内でなく、３２個を超えている場合（Ｓ３０２／Ｎｏ）は、判定部１１２は、後述するマージ処理と重複解決処理とがループしているか否かを判定する（Ｓ３０３）。

マージ処理と重複解決処理とがループしていない場合（Ｓ３０３／Ｎｏ）は、矩形マージ部１１３は、所定のルール（アルゴリズム）に従って複数の差分矩形を１つの差分矩形にマージする（Ｓ３０４）。ここでは２個の差分矩形を１個の差分矩形とするようにマージする。なお、所定の記憶部に格納されている矩形マージ部１１３によるマージ処理の際の基準データを参照して所定のルール（アルゴリズム）が適用されることであってよい。

そして、判定部１１２は、重複解決部１１４による重複解決処理が必要であるか否かを判定し（Ｓ３０５）、必要でない場合（Ｓ３０５／Ｎｏ）は上記のステップＳ３０２に戻る。

一方、重複解決処理が必要である場合（Ｓ３０５／Ｙｅｓ）は、重複解決部１１４は、上記のステップＳ３０４で矩形マージ部１１３によるマージ処理を行った際に発生する重複領域を排除して（Ｓ３０６）、上記のステップＳ３０２に戻る。以下、具体的な重複解決アルゴリズムを図４〜図７を参照して説明する。

図４を参照すると、図４（図１１と同様）に示すような重複パターン（以下「パターン１」という）は、差分矩形Ａと差分矩形Ｂとのそれぞれのｘ座標の始点・終点データ（合計４点）を比較すると、一方の始点・終点データが他方の始点・終点データと「外・外、内・内」の関係であり、また、差分矩形Ａと差分矩形Ｂとのそれぞれのｙ座標の始点・終点データ（合計４点）を比較すると、一方の始点・終点データが他方の始点・終点データと「内・内、外・外」の関係である。このような場合、図４に示すように差分矩形Ｂを差分矩形Ａのｙ座標の始点・終点データを用いて分割して重複領域を排除する。なお、差分矩形Ａを差分矩形Ｂのｘ座標の始点・終点データを用いて分割して重複領域を排除することであってもよい。結果として、このパターン１では差分矩形の数が、差分矩形Ａおよび差分矩形Ｂの合計２個から差分矩形Ａおよび差分矩形Ｂ１、Ｂ２の合計３個となり１個増加する。

図５を参照すると、図５に示すような重複パターン（以下「パターン２」という）は、差分矩形Ａと差分矩形Ｂとのそれぞれのｘ座標の始点・終点データ（合計４点）を比較すると、一方の始点・終点データのいずれかが他方の始点・終点データと「内、外・外」の関係であり、また、上記「内、外・外」の関係となる一方の始点（終点）データが他方のｙ座標の始点・終点データと「内、外・外」の関係である。このような場合、図５に示すように差分矩形Ｂの差分矩形Ａと重複する角の点のｘ座標・ｙ座標データを消して、差分矩形Ｂを差分矩形Ａの差分矩形Ｂと重複する角の点のｘ座標・ｙ座標データを用いて分割して重複領域を排除する。なお、差分矩形Ａを差分矩形Ｂと重複する角の点のｘ座標の始点・終点データを用いて分割して重複領域を排除することであってもよい。結果として、このパターン２では差分矩形の数が、差分矩形Ａおよび差分矩形Ｂの合計２個から差分矩形Ａおよび差分矩形Ｂ１、Ｂ２の合計３個となり１個増加する。

図６を参照すると、図６に示すような重複パターン（以下「パターン３」という）は、差分矩形Ａと差分矩形Ｂとのそれぞれのｘ座標の始点・終点データ（合計４点）を比較すると、一方の始点・終点データが他方の始点・終点データと「外・外、内・内」の関係であり、また、差分矩形Ａと差分矩形Ｂとのそれぞれのｙ座標の始点・終点データ（合計４点）を比較すると、一方の始点・終点データが他方の始点・終点データと「外・外、内・内」の関係である。このような場合、図６に示すように差分矩形Ｂのｘ座標・ｙ座標の始点・終点データを消して重複領域を排除する。結果として、このパターン３では差分矩形の数が、差分矩形Ａおよび差分矩形Ｂの合計２個から差分矩形Ａ１個となり１個減少する。

図７を参照すると、図７に示すような重複パターン（以下「パターン４」という）は、上記のパターン１の特別な場合で、差分矩形Ａと差分矩形Ｂとのそれぞれのｘ座標またはｙ座標の始点・終点データ（合計４点）を比較すると、一方の終点（始点）データが他方の終点（始点）データデータと一致し、一方のいずれか一辺が他方の一辺と一致する関係である。このような場合、図７に示すように差分矩形Ｂのｙ座標の始点データを消して差分矩形Ａのｙ座標の終点データを用いて差分矩形Ｂのｙ座標の新たな終点データとして重複領域を排除する。なお、図７の下段に示すようにｘ座標を用いて重複領域を排除することであってもよい。結果として、このパターン４では差分矩形の数が、差分矩形Ａおよび差分矩形Ｂの合計２個から差分矩形Ａおよび差分矩形Ｂ１の合計２個となり増減はない。

以上のような重複解決アルゴリズムにより、マージ処理を行った際に発生する、重複領域を複数回抽出してしまうことによる無駄を排除することができる。
しかし、上記のステップＳ３０４で矩形マージ部１１３によるマージ処理を行った際に、一旦は差分矩形の数が３２個以内となっているのに関わらず、上記のステップＳ３０６の重複解決処理により差分矩形の数が３３個以上となってしまうことがある。すなわち、上記のパターン１およびパターン２では差分矩形の数が１個増加するのでこのような事態が生ずる場合がある。
したがって、上記のステップＳ３０６の重複解決処理後は、上記のステップＳ３０２に戻るので、再度のマージ処理（Ｓ３０４）により、先の重複解決処理（Ｓ３０６）で重複解決した複数の差分矩形が再度、マージ処理され、次の重複解決処理（Ｓ３０６）で再度マージ処理された差分矩形が再度、重複解決処理され、これが繰り返され収束しない場合が生じうる。このような場合を「マージ処理と重複解決処理とがループしている」といい、判定部１１２がステップＳ３０３で判定する。

図３に戻って、上記のステップＳ３０６の重複解決処理後、上記のステップＳ３０２に移り、判定部１１２は、差分検出部１１１により抽出された差分矩形の数が所定の記憶部に格納されている１画面あたりの総抽出矩形数の最大値である３２個以内であるか否かを再度判定し（Ｓ３０２）、３２個以内である場合（Ｓ３０２／Ｙｅｓ）は処理を終了する。

一方、３２個以内でなく、３２個を超えている場合（Ｓ３０２／Ｎｏ）は、判定部１１２は、後述するマージ処理と重複解決処理とがループしているか否かを再度判定する（Ｓ３０３）。このとき、所定の回数の基準値とループによりインクリメントされるデータ値とを比較して基準値を超えている場合には、上記のようにマージ処理と重複解決処理とが繰り返され収束しない状態と判断してループしているものとすることであってもよい。

マージ処理と重複解決処理とがループしている場合（Ｓ３０３／Ｙｅｓ）は、基準選択部１１５は、所定の記憶部に格納されている矩形マージ部１１３によるマージ処理の際の基準データのうちからこれまで参照されていた基準データよりも緩和された基準データを選択する（Ｓ３０７）。なお、マージ処理の際の基準を緩和するということは、マージ処理を行う時点で、本来差分ではない領域も差分領域に取り込んでしまい、当該本来差分ではない領域については無駄が生じるが、当該無駄が生じる面積を大きくすることを許容することをいう。マージ処理の際の基準を緩和する一例として、矩形と矩形との間の距離（座標データに基づく）がより大きく離れているもの同士であってもマージ処理することが挙げられる。

そしてステップＳ３０４に戻り、矩形マージ部１１３は、所定のルール（アルゴリズム）に従って複数の差分矩形を１つの差分矩形にマージする（Ｓ３０４）。その際、基準選択部１１５が選択した、所定の記憶部に格納されている矩形マージ部１１３によるマージ処理の際の基準データを参照して所定のルール（アルゴリズム）が適用される。

このように、基準選択部１１５が、マージ処理の際にこれまで参照されていた基準データよりも緩和された基準データを選択することを複数回繰り返す（所定の割合で緩和させていく等）ことで、いずれは差分矩形の数を３２個以内として収束させることができる。

上記の本実施の形態によれば、画面全体での差分矩形数の最大値が制限され、差分矩形数を当該最大値以下とするためのマージ処理を行った際に発生する、重複領域を複数回抽出してしまうことによる無駄を排除することができる。
また、レコーダ等において重複領域についての処理プログラムを特別に用意することが必要なくなる。
さらに、本実施の形態の処理終了後に重複領域があるデータが存在している場合には、何らかの処理の途中でエラーが発生していると判断することもできる。

次に、本発明の他の実施の形態について説明する。
上記のようなマージ処理と重複解決処理とによりいずれは差分矩形の数を３２個以内として収束させることができるが、本来差分ではない領域が副作用として追加され差分領域に取り込まれてしまい、当該本来差分ではない領域について無駄が生じる場合がある。

図８を参照すると、最大値９個を前提として、もともと１２個の差分矩形があり、縦方向にマージ処理がなされ、１０個の差分矩形とされ、その後、横方向にマージ処理がなされ、６個（重複有）の差分矩形とされ、最終的に９個の差分矩形とされた場合、２個の小さい差分矩形（図中破線で示す）は本来差分ではない領域が副作用として追加されているといえる。
従って、本来差分ではない領域が副作用として追加されているか、元の画像と比較して確認を行い、元の差分領域にまったく含まれない矩形の場合は削除する。結果的にここでは７個の差分矩形とされる。

さらに図９を参照すると、図８の最終段階から各差分矩形に本来差分ではない無駄な領域が含まれていないか、元の画像と比較して確認を行い、各差分矩形を分割することなく、元の差分領域にまったく含まれない領域は削除する。図９では下から２段目の右側の小さい差分矩形の左端の領域が該当するので削除する。

さらに図１０を参照すると、図９の最終段階から各差分矩形に本来差分ではない無駄な領域が含まれていないか、元の画像と比較して確認を行い、元の差分領域にまったく含まれない領域は削除して各差分矩形を分割して、最大値９個になるまで分割する。図１０では本来差分ではない無駄な領域が、最大値を超えるため分割できなかった部分のみの最小限に抑えられている。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、画像処理装置１の機能を実現するためのプログラムを各装置に読込ませて実行することにより各装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。

１ 画像処理装置
１０ ＣＰＵ
２０ 入力部
３０ 出力部
４０ フレームメモリ
５０ メインメモリ
６０ プログラム記憶部
７０ バス部

Claims (5)

1. 画面から抽出された複数の差分矩形を所定のルールに従ってマージするマージ手段と、
   前記マージ手段によりマージされた結果の複数の差分矩形が重複する場合、該重複する領域における重複を排除する重複解決手段とを備えることを特徴とする画像処理装置。
2. 画面全体での差分矩形数を制限し、
   画面から抽出された複数の差分矩形を所定のルールに従ってマージするマージ手段と、
   前記マージ手段は、前記制限された差分矩形数になるまで、複数の差分矩形をマージすることを特徴とする請求項１記載の画像処理装置。
3. 前記マージ手段がマージの際に参照する基準データを選択する基準選択手段を備え、
   前記重複解決手段により重複が排除されると、該重複の排除前よりも前記差分矩形数が増加し、前記マージ手段によるマージと、前記重複解決手段による重複の排除とがループする場合、
   前記基準選択手段は、緩和された基準データを選択することを特徴とする請求項２記載の画像処理装置。
4. マージ手段が、画面から抽出された複数の差分矩形を所定のルールに従ってマージするステップと、
   重複解決手段が、前記マージ手段によりマージされた結果の複数の差分矩形が重複する場合、該重複する領域における重複を排除するステップとを有することを特徴とする画像処理方法。
5. コンピュータに、
   マージ手段により、画面から抽出された複数の差分矩形を所定のルールに従ってマージする処理と、
   重複解決手段により、前記マージされた結果の複数の差分矩形が重複する場合、該重複する領域における重複を排除する処理とを実行させることを特徴とするプログラム。

Images