JP2015001663A - 画像処理装置、端末装置、画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】注目すべき事象が発生した場合に、その状況を把握できる可能性を向上させる。【解決手段】画像処理装置１の注目点検出部１３２は、画像において予め決められた事象が発生した領域である第１の領域を検出する。画像処理装置１の注目領域検出部１３３は、その注目点検出部１３２が検出した第１の領域の情報に基づいて第２の領域を上記画像内から検出する。画像処理装置１の注目領域表示部１３４は、注目領域検出部１３３が検出した第２の領域の情報に基づいて、画像に対する出力処理を行う。【選択図】図１

Description

本発明の実施形態は、画像処理装置、端末装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。

複数の監視対象機器の監視画面を中央監視室の表示装置上で集中的に監視する遠隔監視システムが存在する。遠隔監視システムでは、監視対象機器に問題が発生した場合に、即座に状況を把握して対応することが重要である。

特開平８−２６３２５３号公報

しかしながら、遠隔監視システムは、監視者または現場の作業員が注目すべき事象（例えば、監視対象機器に問題）が発生した場合に、その事象に関する情報が適切に表示されないために、監視者または現場の作業員がその状況を把握しにくかったり、把握できなかったりする場合があった。

そこで本発明の一態様は、上記問題に鑑みてなされたものであり、注目すべき事象が発生した場合に、その状況を把握できる可能性を向上させる画像処理装置、端末装置、画像処理システム、画像処理方法及び画像処理プログラムを提供することを課題とする。

本発明の実施形態によれば、画像処理装置の第一領域検出部は、画像において予め決められた事象が発生した領域である第１の領域を検出する。画像処理装置の第二領域検出部は、その第一領域検出部が検出した第１の領域の情報に基づいて第２の領域を上記画像内から検出する。画像処理装置の出力処理部は、第二領域検出部が検出した第２の領域の情報に基づいて、画像に対する出力処理を行う。

第１の実施形態に係る画像処理装置の構成を示す概略ブロック図である。 第１の実施形態に係る注目点および注目領域の第１の例を示す図である。 第１の実施形態に係る注目点および注目領域の第２の例を示す図である。 第１の実施形態に係る注目点および注目領域の第３の例を示す図である。 第１の実施形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。 ２の実施形態に係る画像処理システムの構成を示す概略ブロック図である。 第２の実施形態における注目点および注目領域の例を示す図である。 第２の実施形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。 第３の実施形態に係る画像処理システムの構成を示す概略ブロック図である。 第３の実施形態における注目点と注目領域の例を示す図である。 第３の実施形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。各実施形態において、画像処理装置が画像内から事象が発生した領域として検出する第１の領域を注目点とし、画像処理装置がその画像内から検出する第２の領域を遠隔監視システムの監視者または現場の作業員に注目してもらいたい注目領域として説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１の構成を示す概略ブロック図である。画像処理装置１は、記憶部１１、アプリケーション実行部１２及びウィンドウ処理部１３を備える。

記憶部１１には、アプリケーション実行部１２が実行するアプリケーションが記憶されている。そのアプリケーションは、画像処理装置１上で動作する各種処理を提供するプログラムである。ここで記憶部１１は、規則記憶部１１１及びフレームバッファ１１２を備える。
規則記憶部１１１は、画像内においてどのような事象が起こった領域を注目点（第１の領域）として検出するかが定められた規則（以下、注目点検出規則ともいう）が記憶されている。
フレームバッファ１１２は、画像処理装置１が生成する画像情報を保持する。なお、フレームバッファは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

アプリケーション実行部１２は、記憶部１１に記憶されたアプリケーションを読み出し、読み出したアプリケーションを実行する。本実施形態に係るアプリケーション実行部１２は一例として、ウィンドウ処理部１３の後述する注目点検出部１３２に、注目点の画像内における位置及び範囲を示す注目点情報を通知する。ここで、後述する図２の領域Ｒ１１に示すように、注目点が四角い画像領域の場合、注目点情報は例えば、その四角い画像領域の左上の座標とその四角い画像領域の高さ及び幅との組、またはその四角い画像領域の四隅の座標である。
なお、本実施形態では一例として、注目点情報は、注目点の画像内における位置及び範囲を示すが、これに限らず、注目点が一画像の場合、注目点情報は注目点の画像内における位置だけを示してもよい。このことから、注目点情報は少なくとも注目点の画像内における位置を含む。

ウィンドウ処理部１３は、アプリケーションから通知された注目点情報（ここでは、注目点の位置及び範囲）を用いて、注目領域を検出し、検出した注目領域の位置及び範囲を表す情報を表示装置５に表示させる。ここでウィンドウ処理部１３は、第一の決定部１３１、注目点検出部（第一領域検出部）１３２、注目領域検出部（第二領域検出部）１３３及び注目領域表示部（出力処理部）１３４を備える。
第一の決定部１３１は、規則記憶部１１１から使用する注目点検出規則を読み出し、読み出した注目点検出規則を注目点検出部１３２へ出力する。ここで、注目点検出規則は一例としてアプリケーション実行部１２からの注目点情報の通知を予め決められた事象として、当該注目点情報により特定される領域を注目点として検出するという規則である。

なお、本実施形態では一例として、注目点検出規則は、アプリケーション実行部１２から通知された注目点情報により特定される領域を注目点として検出するという規則としたが、これに限ったものではない。注目点検出部１３２は、ユーザまたはアプリケーションによる領域の指定を予め決められた事象として当該指定された画像領域を注目点として検出するという規則、特定の画面変化を予め決められた事象として当該画面変化が発生した画像領域を注目点として検出するという規則、またはユーザによる画像領域の操作を予め決められた事象として当該ユーザが操作した画像領域を注目点として検出するという規則、のいずれかとしてもよい。

また、第一の決定部１３１は、アプリケーション実行部１２が実行するアプリケーションの種類に応じて、注目点検出規則を決定してもよい。その場合、規則記憶部１１１に、アプリケーションの種類毎に注目点検出規則が記憶されていてもよく、第一の決定部１３１は、アプリケーション実行部１２が実行するアプリケーションの種類に対応する注目点検出規則を規則記憶部１１１から読み出し、読み出した注目点検出規則を注目点検出部１３２へ出力してもよい。

注目点検出部１３２は、第１の決定部１３１から入力された注目点検出規則に基づいて、画像において予め決められた事象が発生した領域である注目点を検出する。本実施形態では一例として、その注目点検出規則がアプリケーション実行部１２から通知された注目点情報により特定される領域を注目点として検出するという規則であるので、注目点検出部１３２は一例として、アプリケーション実行部１２から入力された注目点情報により特定される領域を注目点として検出する。ここで、後述する図２の領域Ｒ１１に示すように、注目点が例えば四角い画像領域の場合、注目点情報は例えばその四角い画像領域の左上の座標とその四角い画像領域の高さ及び幅との組である。よって、その場合注目点検出部１３２は、その四角い画像領域の左上の座標とその四角い画像領域の高さ及び幅との組から四角い画像領域を注目点として検出する。注目点検出部１３２は、検出した注目点の位置及び範囲を示す注目点情報を注目領域検出部１３３へ出力する。

注目領域検出部１３３は、注目点検出部１３２から入力された注目点情報に基づき、注目領域（第２の領域）の位置及び範囲を、注目点を検出した画像と同じ画像内から検出する。本実施形態では一例として、注目領域検出部１３３は、注目点情報と注目領域の位置及び範囲とを関連づけた情報を予め保持しており、注目点検出部１３２が検出した注目点に対応する注目領域を当該情報から特定する。注目領域検出部１３３は、特定した注目領域の位置及び範囲を示す注目領域情報を注目領域表示部１３４へ出力する。

注目領域表示部１３４は、注目領域検出部１３３が検出した注目領域の情報に基づいて、画像に対する出力処理を行う出力処理部として機能する。本実施形態では一例として注目領域表示部１３４は、注目領域検出部１３３から入力された注目領域情報が示す位置及び範囲を表す情報を表示装置５に表示させる。例えば注目領域表示部１３４は、注目領域の外縁を示す矩形（図２のＲ１２参照）を描画する。表示装置５の画面に表示された矩形は、例えば障害が及ぶ機器の範囲を示しているので、監視者は、表示装置５の画面に表示された矩形を一見しただけで、障害が及ぶ機器の範囲を把握することができる。また、注目領域表示部１３４は、注目領域の外縁を示す矩形を描画した後の画像情報をフレームバッファ１１２に記憶させる。
なお、本実施形態では一例として注目領域表示部１３４は、注目領域の外縁を示す矩形（図２のＲ１２参照）を描画したが、これに限らず、注目領域表示部１３４は、注目領域の輝度を高くしてもよいし、注目領域の背景の領域の色を変更してもよい。

図２を用いて、注目点の位置毎に予め決定された注目領域の一例を説明する。図２は、第１の実施形態に係る注目点および注目領域の第１の例を示す図である。同図において、表示装置５に表示された画面Ｇ１の一例が示されている。画面Ｇ１中には、機器を表すノードＮ１〜Ｎ９が四角い枠で示され、各ノードＮ１〜Ｎ９の接続関係から、各機器がどのように接続されているかが分かる。同図の画面Ｇ１の例において、警告を通知するために点滅している領域Ｒ１１が注目点で、矩形Ｒ１２で示される領域が注目領域である。

図２の例にように、注目領域検出部１３３は、領域Ｒ１１の位置及び範囲を示す情報と矩形Ｒ１２で示される領域の位置及び範囲を示す情報とを予め関連付けて保持する。そして、注目領域検出部１３３は、注目点検出部１３２が検出した注目点である領域Ｒ１１の位置及び範囲を示す情報に対応する、矩形Ｒ１２で示される領域の位置と範囲を示す情報を読み出し、読み出した情報により特定される画像領域を注目領域として検出する。

なお、注目領域検出部１３３は、予め画面を複数の領域（以下、分割領域という）に分割しておき、注目点を含む分割領域を注目領域として検出してもよい。また例えば、注目領域検出部１３３は、第１の領域が含まれる画像領域が示すノードの接続関係に応じて、注目領域の位置及び範囲を決定してもよい。

図３を用いて、注目点が含まれるノードに応じて注目領域を決定する注目領域検出部１３３の処理の一例を説明する。図３は、第１の実施形態に係る注目点および注目領域の第２の例を示す図である。同図において、表示装置５に表示された画面Ｇ２の一例が示されている。画面Ｇ２中には、機器を表すノードＮ１〜Ｎ９が四角い枠で示され、各ノードＮ１〜Ｎ９の接続関係から、各機器がどのように接続されているかが分かる。同図の画面Ｇ２の例において、警告を通知するために点滅している領域Ｒ２１が注目点で、矩形Ｒ２２で示される領域が注目領域である。

図３の例にように、注目点がノードＮ８の画像領域に含まれる場合、注目領域検出部１３３が注目点を含むノードＮ８とそのノードに隣接するノードＮ９を含む領域を注目領域として検出する。その検出した結果、図３の例のように矩形Ｒ２２で示される領域が注目領域として表示装置５に表示される。このように、注目領域検出部１３３は、注目点が含まれる画像領域が示すノードに隣接されているノードを含む画像領域を注目領域として検出してもよい。

図３の例では、あるノードに相当する機器に障害が発生すると、隣接するノードに相当する機器にも影響が及ぶため、注目点を含むノードとそのノードに隣接するノードを含む画像領域が注目領域として検出されている。そのため、図３に示すように注目点が注目領域の必ずしも中心になるとは限らず、注目点を含んで適切な注目領域が検出される。

なお、注目領域検出部１３３は、注目点（第１の領域）における画像変化を検出し、該検出した画像変化に基づいて、注目領域（第２の領域）を検出してもよい。具体的には、注目領域検出部１３３は、画像変化から監視する対象となる機器で発生した障害に関する障害情報（例えば、障害の事象を示す情報）を検出し、その検出した障害情報に基づいて、注目領域（第２の領域）の位置及び範囲を決定してもよい。一例として障害情報が警告の種類を表す場合、注目領域検出部１３３は、画像変化から監視する対象となる機器に対する警告の種類を検出し、該検出した警告の種類に応じて、注目領域（第２の領域）の位置及び範囲を決定してもよい。具体的には例えば、注目領域検出部１３３は、警告の種類と注目領域の位置及び範囲とを関連付けた情報を予め保持しており、検出した警告の種類に対応する注目領域の位置及び範囲を読み出し注目領域と検出してもよい。

また、注目領域検出部１３３は、画像変化が速いほど警告の緊急度が高いことを表す場合には、画像変化が速いほど注目領域（第２の領域）の範囲を大きくしてもよい。具体的には例えば、注目領域表示部１３４は、注目点の点滅速度が速いほど緊急度が高いことを表す場合に、点滅の速度が速いほど注目領域（第２の領域）の範囲を大きくしてもよい。これにより、注目領域検出部１３３は、警告の緊急度が高いほど、注目領域の範囲を大きくすることで、監視者の注意を引き易くすることができるので、監視者がその警告を見逃す可能性を下げることができる。

また、注目領域検出部１３３は、注目点（第１の領域）における画像変化を検出し、その検出した画像変化と注目点の位置を示す情報とに基づいて、注目領域（第２の領域）を検出してもよい。これにより、画像変化が示す事象と注目点の位置を示す情報の双方を考慮して注目領域を検出するので、より適切な注目領域を検出することができる。

また、注目領域検出部１３３は、注目点（第１の領域）が複数検出された場合、その複数の注目点（第１の領域）の情報に基づいて、注目領域（第２の領域）を検出してもよい。例えば、注目領域検出部１３３は、注目点（第１の領域）が複数検出された場合、その複数の注目点（第１の領域）を含む領域を注目領域（第２の領域）として検出してもよい。
また、記憶部１１が例えば、予めノード毎にそのノードで障害が発生した場合に影響を及ぼす影響波及ノードを関連付けた情報を保持しているという前提で、注目点が複数検出された場合に、注目領域検出部１３３は各注目点を含むノードに対する影響波及ノードを読み出してもよい。その場合に注目領域検出部１３３は、読み出した影響波及ノードそれぞれと各注目点を含むノードとを含む画像領域を注目領域として検出してもよい。

図４を用いて、その注目領域検出部１３３の処理の一例を説明する。図４は、第１の実施形態に係る注目点および注目領域の第３の例を示す図である。同図において、表示装置５に表示された画面Ｇ３の一例が示されている。画面Ｇ３中には、機器を表すノードＮ１〜Ｎ９が四角い枠で示され、各ノードＮ１〜Ｎ９の接続関係から、各機器がどのように接続されているかが分かる。同図の画面Ｇ３の例において、警告を通知するために点滅している領域Ｒ３１が第１の注目点で、警告を通知するために点滅している領域Ｒ３２が第２の注目点で、矩形Ｒ３３で示される領域が注目領域である。

図４では、第１の注目点としての領域Ｒ３１がノードＮ１の画像領域に含まれ、かつ第２の注目点としての領域Ｒ３２がノードＮ９の画像領域に含まれている。そして、例えば注目領域検出部１３３は、ノードＮ１の影響波及ノードとしてノードＮ２〜Ｎ５を保持し、ノードＮ９の影響波及ノードとしてノードＮ８を保持する。その場合、注目領域検出部１３３は一例として、図４の矩形Ｒ３３で示される、ノードＮ１〜Ｎ５とノードＮ８〜Ｎ９を含む領域を注目領域として検出する。その検出した結果、図４の例のように矩形Ｒ３３で示される領域が注目領域として表示装置５に表示される。

図５は、第１の実施形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。
（ステップＳ１０１）まず、第一の決定部１３１は、注目点検出規則を決定する。ここでは一例として、第一の決定部１３１は、アプリケーション実行部１２から通知された注目点情報により特定される領域を注目点として検出するという注目点検出規則を決定する。
（ステップＳ１０２）次に、注目点検出部１３２は例えば、第一の決定部１３１から入力された注目点検出規則に従い、アプリケーション実行部１２から通知された注目点情報により特定される領域を注目点として検出する。

（ステップＳ１０３）次に、注目領域検出部１３３は、注目点検出部１３２が検出した注目点情報に応じて注目領域を検出する。ここでは一例として、注目領域検出部１３３は、注目点情報と注目領域の位置及び範囲とを予め関連付けた情報を保持し、注目点に対応する注目領域を当該情報から特定する。
（ステップＳ１０４）次に、注目領域表示部１３４は、注目領域検出部１３３が検出しした注目領域の位置及び範囲を表す情報を表示装置５に表示させる。例えば注目領域表示部１３４は、注目領域の外縁を示す赤い矩形を表示装置５に描画する。

このように、第１の実施形態に係る画像処理装置１は、アプリケーションから与えられた注目点情報で特定される画像領域を注目点とし、注目点の位置毎に予め決定された注目領域を検出し、検出した注目領域の位置及び範囲を表す情報を表示装置５に表示する。これにより、表示装置５に事象の状況を知らせるのに適切な注目領域が表示されることで、監視者は注目領域を確認するだけで注目すべき事象の状況を容易に把握することができるので、監視者がその状況を把握できる可能性を向上させることができる。

（第２の実施形態）
続いて、第２の実施形態について説明する。第１の実施形態に係る画像処理装置１は一例として、アプリケーション実行部１１から与えられた位置情報を注目点とし、位置ごとに予め定められた注目領域を検出した。第２の実施形態では、画像処理装置１ｂが、ユーザにより操作された領域を注目点とし、注目点とユーザの操作の結果生じた画面変化領域とを含む注目領域を検出する例を説明する。

図６は、第２の実施形態に係る画像処理システム１０２の構成を示す概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。画像処理システム１０２は画像処理装置１ｂと端末装置３とを具備する。画像処理装置１ｂは通信回路網２を介して端末装置３と接続されている。

第２の実施形態に係る画像処理装置１ｂの構成は、第１の実施形態に係る画像処理装置１の構成に対して、記憶部１１が記憶部１１ｂに、アプリケーション実行部１２がアプリケーション実行部１２ｂに、ウィンドウ処理部１３がウィンドウ処理部１３ｂに変更され、入力部１４と通信部（第１の通信部）１５が追加されたものになっている。
記憶部１１ｂは、第１の実施形態に係る記憶部１１に比べて、規則記憶部１１１が規則記憶部１１１ｂに変更され、更にフレームバッファ１１２が追加された構成になっている。

規則記憶部１１１ｂは、第１の実施形態の規則記憶部１１１と比べて、更に画像内の注目点（第１の領域）からどのように注目領域（第２の領域）を検出するかの規則（以下、注目領域検出規則ともいう）が予め記憶されている点が異なる。
フレームバッファ１１２は、画像情報を記憶可能であり、ウィンドウ処理部１３ｂの後述する描画部１３５が描画した画像情報を描画部１３５から受け取り、受け取った画像情報を保持する。

入力部１４は、ユーザによる操作（例えば、マウスカーソルの移動やマウスクリックなど）を検出し、ユーザの操作により入力された入力情報をウィンドウ処理部１３ｂの後述する注目点検出部１３２ｂへ出力する。ここで入力部１４は一例としてマウスであり、入力情報は例えば、ユーザが操作したユーザ操作領域（例えば、ユーザがマウスクリックした位置）を示すユーザ操作領域情報である。
アプリケーション実行部１２ｂは、第１の実施形態におけるアプリケーション実行部１２と同様の機能を有するが、描画命令を描画部１３５へ出力する点が異なる。

ウィンドウ処理部１３ｂは、第１の実施形態におけるウィンドウ処理部１３に比べて、描画部１３５と第二の決定部１３６とが追加され、第一の決定部１３１が第一の決定部１３１ｂに、注目点検出部１３２が注目点検出部１３２ｂに、注目領域検出部１３３が注目領域検出部１３３ｂに、注目領域表示部１３４が画像生成部（出力処理部）１３７に変更されたものになっている。

規則記憶部１１１ｂには一例として、ユーザが操作したユーザ操作領域を注目点として検出するという注目点検出規則が記憶されている。第一の決定部１３１ｂは一例として、規則記憶部１１１ｂから使用する注目点検出規則を読み出し、読み出した注目点検出規則を注目点検出部１３２ｂへ出力する。
注目点検出部１３２ｂは一例として、第一の決定部１３１ｂから入力された注目点検出規則に従って、入力部１４から入力された入力情報（ここでは、一例としてユーザ操作領域情報）から、ユーザが操作したユーザ操作領域を注目点として検出する。注目点検出部１３２ｂは検出した注目点の位置及び範囲を示す注目点情報を注目領域検出部１３３ｂへ出力する。

描画部１３５は、アプリケーション実行部１２ｂから描画命令を受け取り、受け取った描画命令に従い各種画像処理を行った結果の画像情報を記憶部１１ｂのフレームバッファに記憶させる。また、描画部１３５は、描画により特定の画面変化が発生した領域の位置及び範囲を示す描画情報を注目領域検出部１３３ｂへ出力する。具体的には図７の例において、描画部１３５は例えば、入力部１４がユーザによる「故障」ボタンを押す操作を受け付けた場合に、表示させるエラーログの画像領域（図７の領域Ｒ４２）の位置及び範囲を示す情報を注目領域検出部１３３ｂへ出力する。

第二の決定部１３６は、注目領域検出規則を決定する。例えば第二の決定部１３６は、注目領域検出規則を規則記憶部１１１ｂから読み出し、読み出した注目領域検出規則を注目領域検出部１３３ｂへ出力する。ここでは注目領域検出規則は一例として、描画部１３５が描画することにより特定の画面変化が発生した領域と注目点検出部１３２ｂが検出した注目点（第１の領域）とを含む領域を注目領域（第２の領域）として検出するという規則である。

注目領域検出部１３３ｂは例えば、第二の決定部１３６が決定した注目領域検出規則に従って、注目点検出部１３２ｂから入力された注目点情報に基づき、注目領域（第２の領域）を検出する。例えば注目領域検出部１３３ｂは、第二の決定部１３６が決定した注目領域検出規則に従って、描画部１３５が描画することにより特定の画面変化が発生した領域と注目点検出部１３２ｂが検出した注目点（第１の領域）とを含む領域を注目領域（第２の領域）として検出する。具体的には例えば、図７の例の場合、特定の画面変化が発生した領域は、エラーログの画像領域（図７の領域Ｒ４２）であり、注目領域検出部１３３ｂは、エラーログの画像領域と注目点であるユーザの操作領域（図７の領域Ｒ４１参照）とを含む画像領域Ｒ４３を注目領域として検出する。注目領域検出部１３３ｂは、検出した注目領域の位置及び範囲を示す注目領域情報を画像生成部１３７へ出力する。

画像生成部１３７は、注目領域検出部１３３が検出した注目領域の情報に基づいて、画像に対する出力処理を行う出力処理部として機能する。画像生成部１３７は、注目領域検出部１３３ｂから入力された注目領域情報を用いて注目領域の画像情報をフレームバッファ１１２から読み出し、読み出した画像情報を通信部１５から端末装置３へ送信させる。
なお、画像生成部１３７は、この画像情報を、圧縮してもよい。また、画像生成部１３７は、端末装置３の画面サイズに合わせて画像情報が示す画像を拡大または縮小してもよい。

通信部１５は、画像生成部１３７が生成した画像情報を端末装置３へ送信する。ここで通信部１５による通信は有線であっても無線であってもよい。なお、通信部１５は、画像情報を送信するだけでもよいし、端末装置３から画像情報に対する操作を示す情報を受信してもよい。
また、通信部１５は、例えば、端末装置３の宛先を示す宛先情報（例えば、ＩＰアドレス）を記憶部１１ｂのデータベースに登録しておき、通信部１５が記憶部１１ｂのデータベースから宛先情報を取得することで送信先の端末装置３の宛先を特定する。なお、通信部１５は、送信先の端末装置３を、時間帯や注目領域ごとに変更してもよい。また、送信先の端末装置３が複数あってもよい。

端末装置３は、通信部（第２の通信部）３１、処理部３２及び表示部３３を備える。
通信部３１は、通信部１５が送信した画像情報を受信し、受信した画像情報を処理部３２へ出力する。処理部３２は、通信部３１が受信した画像情報を表示部３３に表示させる。これにより、表示部３３は、通信部３１が受信した画像情報に基づいて、注目領域（第２の領域）の画像を表示する。
また、端末装置３は、画像情報を、特定のアプリケーションで表示してもよいし、メールで表示してもよいし、ブラウザで表示してもよい。なお、端末装置３は、表示部３３の画面サイズに合わせて、画像情報を拡大または縮小してもよい。

図７は、第２の実施形態における注目点および注目領域の例を示す図である。同図は表示装置５に表示された画面Ｇ４を監視者が確認し、端末装置３に表示された画面Ｇ５を現場の作業員が確認している例である。同図では、「故障」と表示されている画像領域をマウスでクリックすると、故障の詳細であるエラーログが表示されるアプリケーションの画面Ｇ４の例が示されている。画面Ｇ４の向かって左上端がｉｊ座標の原点である。同図の例では、ユーザがマウスでクリックした領域Ｒ４１を注目点とし、注目点とエラーログの画像領域Ｒ４２を含む領域を注目領域としている。なお、図７では分かりやすくするために領域Ｒ４１が示されているが、領域Ｒ４１は実際の画面には表示される必要はない。画面Ｇ４には、注目領域の外縁を示す枠Ｒ４３が表示されている。注目領域の外縁を示す枠Ｒ４３がエラーログも含むように表示されることで、監視者の注意がエラーログに向くので、監視者がエラーログを見逃す可能性を下げることができ、監視者が故障の詳細を把握できる可能性を向上させることができる。

また、図７において、注目領域の画像情報が通信回路網を介して画像処理装置１ｂから端末装置３へ送信され、端末装置３の画面Ｇ５に、注目領域の画像情報が表示されている。これにより、端末装置３の画面には、エラーログも含むように表示されることで、端末装置３のユーザ（例えば、現場の作業員）はエラーログから故障の詳細を把握することができる。

なお、注目領域検出部１３３ｂは、注目点を含むＨＴＭＬ要素に相当する領域を注目領域としてもよい。ここでＨＴＭＬ要素は開始タグ、内容及び終了タグの三つから構成される。例えば、図７の例のアプリケーションがウェブアプリケーションとして作られており、正常／故障情報、運用／停止情報、装置名、ログ情報が、装置ごとに１つのＤｉｖ要素によってグループ化されている場合を想定する。ここで、Ｄｉｖ要素は、ＨＴＭＬ要素の一例であり、区切りを意味するブロック要素である。その想定で、注目領域検出部１３３ｂは、アプリケーション実行部１２ｂから、Ｄｉｖ要素に相当する領域ごとの位置および範囲を取得して、注目点を含むＤｉｖ要素を注目領域としてもよい。例えば、図７の例では、注目領域検出部１３３ｂは、アプリケーション実行部１２ｂから、装置Ａ、装置Ｂ、装置Ｃに対応する３つのＤｉｖ要素が通知され、注目点を含む、装置Ａに対応するＤｉｖ要素に相当する領域を注目領域として検出してもよい。

その場合、記憶部１１ｂには例えば、Ｄｉｖ要素毎にＤｉｖ要素に相当する領域の位置及び範囲の情報が記憶され、ユーザが操作可能な画像領域である操作可能領域毎にＤｉｖ要素が関連付けられて記憶されていてもよい。そして、注目領域検出部１３３ｂは、ユーザが操作した領域が注目領域（第１領域）として検出された場合、記憶部１１ｂを参照して、その注目領域を包含する操作可能領域に対応するＤｉｖ要素を特定してもよい。そして注目領域検出部１３３ｂは、特定したＤｉｖ要素に相当する領域の位置と注目領域を包含する操作可能領域とを含む領域を前記第２の領域として検出してもよい。なお、ここでは一例としてＤｉｖ要素について説明したが、他のＨＴＭＬ要素についても適用可能である。

また、装置が故障すると自動的にエラーメッセージが表示され、「故障」と表示されている領域をクリックすると装置の設定を変更できるアプリケーションの例の場合、注目領域検出部１３３ｂは、画面変化領域（ここでは例えば、エラーメッセージの表示領域）を注目点とし、注目点と操作可能領域を含む領域を注目領域としてもよい。これにより、注目領域検出部１３３ｂは、図７と同一の注目領域を検出することができる。

図８は、第２の実施形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。
（ステップＳ２０１）まず、第一の決定部１３１ｂは、使用する注目点検出規則を規則記憶部１１１ｂから読み出す。ここでは一例として、第一の決定部１３１ｂは、ユーザが操作した領域を注目点として検出するという注目点検出規則に決定する。
（ステップＳ２０２）次に、入力部１４が、入力情報を注目点検出部１３２ｂへ通知する。例えば、入力部１４は、図７の画面上の座標（５０、５０）の位置でマウスクリックが発生したことを注目点検出部１３２ｂへ通知する。

（ステップＳ２０３）次に、注目点検出部１３２ｂは、入力部１４が検出したユーザ操作領域を注目点として検出する。例えば、注目点検出部１３２ｂは、マウスクリックが発生した画面上の座標（５０、５０）の位置を注目点として検出する。
（ステップＳ２０４）次に、第二の決定部１３６は、使用する注目領域検出規則を規則記憶部１１１ｂから読み出す。
（ステップＳ２０５）次に、描画部１３５は、画面変化領域（例えば、図７のエラーログの画像領域Ｒ４２）の位置と範囲を示す描画情報を注目領域検出部１３３ｂに通知する。例えば描画部１３５は、図７の画面上の座標（３０、２００）から幅１５０ピクセル、高さ５０ピクセルの領域に描画が発生したことを注目領域検出部１３３ｂに通知する。

（ステップＳ２０６）次に、注目領域検出部１３３ｂは、ユーザ操作領域と画面変化領域（例えば、図７のエラーログの画像領域Ｒ４２）と含む画像領域を注目領域として検出する。例えば、注目領域検出部１３３ｂは、図７の画面上の座標（３０、５０）から幅１５０ピクセル、高さ２００ピクセルの領域を注目領域として検出する。
（ステップＳ２０７）次に、画像生成部１３７７は、注目領域に対応する画像情報をフレームバッファ１１２から取得し、必要に応じて圧縮処理を行って、画像情報を生成する。例えば、画像生成部１３７は、端末装置３の処理能力が低い場合やネットワークの品質が悪い場合だけ画像情報を圧縮してもよい。
（ステップＳ２０８）次に、通信部１５は、画像生成部１３７が生成した画像情報を端末装置３へ送信する。

このように、第２の実施形態に係る画像処理装置１ｂは、ユーザが操作したユーザ操作領域を注目点とし、注目点とユーザが操作したことによって生じた画面変化の画像領域を含む注目領域を検出し、検出した注目領域に対応する画像情報を端末装置３へ送信する。これにより、端末装置３が画像処理装置１ｂから離れていたとしても、端末装置３のユーザ（例えば、現場の作業員）は、注目すべき事象の状況（例えば、特定の装置の故障の詳細）を容易に把握することができる。

なお、第２の実施形態では、注目領域検出部１３３ｂは、描画部１３５が描画することにより特定の画面変化が発生した領域と注目点検出部１３２ｂが検出した注目点（第１の領域）とを含む領域を注目領域（第２の領域）として検出したが、これに限ったものではない。注目領域検出部１３３ｂは、例えば、注目点を含むウィンドウを注目領域としてもよいし、注目点を含むＨＴＭＬ要素を注目領域としてもよいし、注目点と画面変化領域を含む領域を注目領域としてもよいし、注目点と操作可能領域を含む領域を注目領域としてもよい。なお、操作可能領域とは、キー入力やクリック操作などの操作が可能な領域を指す。

また、記憶部１１ｂがユーザによる操作が可能な操作可能領域を記憶する操作可能領域記憶部を備えていてもよい。その場合に、注目領域検出部１３３ｂは、ユーザが操作した領域を包含する操作可能領域を含む領域と特定の画面変化が発生した領域とを含む領域を注目領域（第２の領域）として検出してもよい。

また、注目領域検出部１３３ｂによる注目領域決定処理は上述したものだけに限ったものではない。注目領域検出部１３３ｂは、例えば、注目点の位置や種類に応じて注目領域を決定してもよいし、アプリケーションの種類に応じて決定してもよいし、クライアントの処理能力や画面サイズに応じて決定してもよいし、ネットワークの品質に応じて決定してもよい。

（第３の実施形態）
続いて、第３の実施形態について説明する。第３の実施形態では、特定の画面変化が発生した領域を注目点とし、注目点を含むウィンドウを注目領域として検出する例について説明する。
図９は、第３の実施形態に係る画像処理システム１０３の構成を示す概略ブロック図である。なお、図６と共通する要素には同一の符号を付し、その具体的な説明を省略する。画像処理システム１０３は、画像処理装置１ｃ、画面転送サーバ（画面転送装置）４−１、…、４−Ｎ（Ｎは正の整数）及び端末装置３を具備する。画像処理装置１ｃは通信回路網２を介して、画面転送サーバ４−１、…、４−Ｎ及び端末装置３と接続されている。

例えば、画面転送サーバ４−１、…、４−Ｎはそれぞれ、機器を監視する監視画面を保持する。そして、例えば画面転送サーバ４−１、…、４−Ｎはそれぞれ、現在の監視画面と所定の時間だけ直前の監視画面とで異なる画素値を示す領域を抽出する。これにより、画面転送サーバ４−１、…、４−Ｎは点滅している画像領域を抽出することができる。そして、画面転送サーバ４−１、…、４−Ｎはそれぞれ、抽出した領域の画像情報（以下、領域画像情報ともいう）とその領域の画像内における位置との組を画像処理装置１ｃへ通信回路網２を介して送信する。これにより、画像処理装置１ｃはフレームバッファ１１２上で各監視画面をそれぞれ異なるウィンドウで描画することができる。例えば画面転送サーバ４−１、…、４−Ｎそれぞれは、所定の時間が経過する毎に上述した処理を繰り返す。
端末装置３の構成は、第２の実施形態に係る端末装置３の構成と同様であるので、ここでの説明は省略する。

第３の実施形態に係る画像処理装置１ｃの構成は、第２の実施形態に係る画像処理装置１ｂの構成に対して、記憶部１１ｂが記憶部１１ｃに、アプリケーション実行部１２ｂがアプリケーション実行部１２ｃに、ウィンドウ処理部１３ｂがウィンドウ処理部１３ｃに、通信部１５が通信部１５ｃに変更されたものになっている。

記憶部１１ｃは、第２の実施形態に係る記憶部１１ｂに比べて、ウィンドウ情報記憶部１１３が追加された構成になっている。
ウィンドウ情報記憶部１１３は、フレームバッファ１１２上の各ウィンドウの表示位置、表示サイズ及び表示領域などを含むウィンドウ情報を保持する。ここで、表示位置はフレームバッファ１１２内における座標を表し、表示サイズはウィンドウの幅及び高さを表し、表示領域はフレームバッファ１１２上に実際に表示する領域を表す。図１０の例ではウィンドウＷ７の表示領域は例えば、ウィンドウＷ７の領域のうちウィンドウＷ６によって隠れた領域を除く領域である。

通信部１５ｃは、画面転送サーバ４−１、…、４−Ｎから送信された、領域画像情報とその領域の画像内における位置の組を受信し、受信した領域画像をアプリケーション実行部１２ｃへ出力する。
アプリケーション実行部１２ｃは、通信部１５ｃから入力された領域画像情報すなわち画面転送サーバ４−１、…、４−Ｎから取得した領域画像情報を描画する描画命令を描画部１３５へ出力する。

ウィンドウ処理部１３ｃは、第２の実施形態のウィンドウ処理部１３ｂに対して、第一の決定部１３１ｂが第一の決定部１３１ｃに、注目点検出部１３２ｂが注目点検出部１３２ｃに、注目領域検出部１３３ｂが注目領域検出部１３３ｃに、第二の決定部１３６が第二の決定部１３６ｃに変更され、画面取得部１３８が追加されたものになっている。その他の構成は、第２の実施形態に係る画像処理装置１ｂの構成と同様であるので、ここでの説明は省略する。

第一の決定部１３１ｃは一例として、特定の画面変化が発生した領域を注目点として検出するという注目点検出規則を規則記憶部１１１から読み出し、読み出した注目点検出規則を示す情報を注目点検出部１３２ｃへ出力する。
注目点検出部１３２ｃは、第一の決定部１３１ｃが決定した注目点検出規則に従って、特定の画面変化が発生した領域を注目点として検出し、検出した注目点の位置に関する情報を注目領域検出部１３３ｃへ出力する。例えば、注目点検出部１３２ｃは、通信部１５ｃが受信した領域画像情報とその領域の画像内における位置とを用いて、同じ画像内における位置で周期的に差分画像を取得している領域を検出し、該検出した領域を注目点（第１の領域）として検出する。

第二の決定部１３６ｃは、注目点を含むウィンドウを注目領域として検出するという注目領域検出規則を規則記憶部１１１から読み出し、読み出した注目領域検出規則を示す情報を注目領域検出部１３３ｃへ送信する。
注目領域検出部１３３ｃは、第二の決定部１３６が決定した規則に従って、注目点検出部１３２ｃが検出した注目点（第１の領域）に基づいて、注目点を含むウィンドウを注目領域として検出する。例えば、注目領域検出部１３３ｃは、ウィンドウ情報記憶部１１３を参照して、注目点（第１領域）を含むウィンドウの位置及び範囲を読み出し、読み出した注目領域の位置及び範囲を示す注目領域情報を画像生成部１３７へ出力する。

画面取得部１３８は例えば、注目領域である監視画面全体の画像を保持する特定の画面転送サーバ４−ｉ（ｉは１からＮまでの整数）に対して、その監視画面全体の画像を要求する画面要求メッセージＭＳＧを送信する。画面取得部１３８は、画面要求メッセージＭＳＧに応じて、監視画面全体の画像を、その特定の画面転送サーバ４−ｉから通信部１５ｃを介して取得する。

図１０は、第３の実施形態における注目点と注目領域の例を示す図である。同図では、画像処理装置１ｃが、画面転送サーバ４−１、…、４−Ｎから領域画像情報を受信して、フレームバッファ１１２上に領域画像情報を重ねて描画している例が示されている。同図において、画面転送サーバ４−１の画面Ｇ６と画面転送サーバ４−Ｎの画面Ｇ７が示されている。また画面転送サーバ４−Ｎの画面Ｇ７内において、警告のために点滅している領域Ｒ６１が示されている。また、領域Ｒ６１が赤く点灯しているときの画像を示す領域画像情報Ｄ１と、領域Ｒ６１が赤い点灯が消えているときの画像を示す領域画像情報Ｄ２が順番に、画面転送サーバ４−Ｎから画像処理装置１ｃに送信されていることが示されている。

フレームバッファ１１２内の画面情報として、画面転送サーバ４−Ｎの画面Ｇ７を示すウィンドウＷ７の上に、画面転送サーバ４−１の画面Ｇ６を示すウィンドウＷ６が重ねて描画された画面情報が保持されていることが模式的に示されている。点Ｐ０がｉｊ座標における原点である。警告のために点滅している領域Ｒ７２を注目点として、この注目点を含むウィンドウＷ７が注目領域である。しかし、ウィンドウＷ７の上にウィンドウＷ６が重ねて描画されているために、ウィンドウＷ７の一部の画像データがフレームバッファ１１２上に存在しない。

そのため、図１０では、画面取得部１３８がウィンドウＷ７に相当する画面Ｇ７全体の画像を要求する画面要求メッセージＭＳＧを画面転送サーバ４−Ｎへ送信していることが示されている。また、その画面要求メッセージＭＳＧに応じて、画面Ｇ７全体の画像情報Ｄ３が画面転送サーバ４−Ｎから画面取得部１３８へ送信されていることが示されている。
更に、画面取得部１３８が画面Ｇ７全体の画像情報を受信した後に、画像処理装置１ｃは、画面Ｇ７全体の画像情報を通信回路網２を介して端末装置３へ送信する。これにより、端末装置３に画面Ｇ７全体の画像情報が表示される。

図１０の例を用いて、第３の実施形態に係る画像処理装置１ｃの処理の流れの一例を図１１で説明する。図１１は、第３の実施形態に係る画像処理装置１ｃの処理の流れの一例を示すフローチャートである。
（ステップＳ３０１）まず、第一の決定部１３１ｃは、使用する注目点検出規則を決定し、決定した注目点検出規則を示す情報を注目点検出部１３２ｃへ出力する。例えば第一の決定部１３１ｃは、特定の画面変化（図１０の例では、周期点滅）をする画像領域を注目点として検出するという注目点検出規則を決定する。

なお、特定の画面変化とは、どのようなものでもよい。例えば、周期点滅が発生した場合としてもよいし、特定の色のピクセルに変化した場合としてもよいし、全画面が変化した場合としてもよい。また、画面転送サーバ４が転送する画面の内容に応じて、特定の画面変化を変更してもよい。

（ステップＳ３０２）次に、アプリケーション１２ｃは、特定の画面変化が生じた領域の画像を示す画面変化領域画像情報とその画面変化領域の位置を示す位置情報を各画面転送サーバ４から受信する。ここで画面変化領域の位置は例えば、その画面変化領域に向かって左上端の座標である。ここでは、画面転送サーバ４は例えば、対象のフレームの画像とその直前のフレームの画像との間で画像に変化がある領域についてのみ、画面変化領域画像情報とその画面変化領域の位置を示す位置情報を画像処理装置１ｃへ送信するという前提である。

アプリケーション１２ｃは例えば、画面変化領域画像のうち、フレームバッファ１１２が保持するウィンドウ情報の表示領域に含まれる画面変化領域に画面変化領域画像を描画する命令を示す描画命令を生成し、生成した描画命令を描画部１３５へ出力する。図１０の例では、フレームバッファ１１２において、ウィンドウＡがウィンドウＢの上に重なっており、ウィンドウＢの一部がウィンドウＡで隠れているので、描画命令はウィンドウＢのうちウィンドウＡで隠れていない領域に含まれる画面変化領域画像だけを描画する命令になる。

（ステップＳ３０３）次に、描画部１３５は、アプリケーション１２ｃから入力された描画命令に従って描画する。そして、描画部１３５は、描画する毎に、画面変化領域画像の画像内における位置を含む描画情報を注目点検出部１３２ｃへ出力する。また、描画部１３５は、描画する毎に、画面変化領域画像の画像内における位置とその位置における画像との組をフレームバッファ１１２に記憶させる。

（ステップＳ３０４）次に、注目点検出部１３２ｃは、描画部１３５から入力された描画情報から、特定の画面変化を検出し、検出した画面変化が生じた領域を注目点として検出する。例えば、特定の画面変化として周期点滅を検出する場合、注目点検出部１３２ｃは、描画部１３５から入力された描画情報の履歴を内部に記録しておく。そして、注目点検出部１３２ｃは例えば、描画情報の履歴から画像内の同じ領域で周期的に描画が発生する場合を周期点滅と判断して、その領域を注目点として検出する。これにより、画像処理装置１ｃが、画像内の同じ領域で周期的に画面変化領域画像を画面転送サーバ４から受信している場合、注目点検出部１３２ｃはその領域を注目点として検出することができる。注目点検出部１３２ｃは、検出した検出点を示す情報を注目領域検出部１３３ｃへ出力する。

（ステップＳ３０５）次に、第二の決定部１３６ｃは、規則記憶部１１１ｂに記憶された注目領域検出規則を読み出す。ここでは例えば、第二の決定部１３６ｃは、注目点を含むウィンドウを注目領域とする注目領域検出規則を読み出す。そして、第二の決定部１３６ｃは、読み出した注目領域検出規則を示す情報を注目領域検出部１３３ｃへ出力する。

（ステップＳ３０６）次に、注目領域検出部１３３ｃは、ウィンドウ情報記憶部１１３からウィンドウ情報を読み出して取得する。ウィンドウ情報は、ウィンドウを識別するウィンドウＩＤ、ウィンドウの表示位置、ウィンドウの表示サイズ、ウィンドウの表示領域などの情報が含まれる。ここで、ウィンドウＩＤは、ウィンドウ毎に固有の識別情報である。表示位置は例えば、画面の向かって左上隅を原点としたときのウィンドウの向かって左上隅の位置である。ウィンドウの表示領域は、ウィンドウのうちフレームバッファ１１２に表示される領域である。例えば、図１０の例の場合は、ウィンドウＡのウィンドウＩＤはＡ、表示位置は画面上の座標（１０、２０）、表示サイズは８００ピクセル×６００ピクセル、表示領域はウィンドウＡ上の座標（０、０）から８００ピクセル×６００ピクセル、ウィンドウＢのウィンドウＩＤはＢ、表示位置は画面上の座標（６００、４００）、表示サイズは８００ピクセル×６００ピクセル、表示領域はウィンドウＢ上の座標（２１０、０）から５９０ピクセル×２２０ピクセルとウィンドウＢ上の座標（０、２２０）から８００ピクセル×３８０ピクセルである。

（ステップＳ３０７）次に、図１０の例の場合、注目領域検出部１３３ｃは、第二の決定部１３６から入力された注目領域検出規則に基づいて、ウィンドウ情報記憶部１１３から読み出したウィンドウ情報から、注目点がウィンドウＢに含まれていることを検出する。ここで注目領域検出規則は、注目点を含むウィンドウを注目領域とする規則である。そして、注目領域検出部１３３ｃは、画面上のウィンドウＢの領域、すなわち画面上の座標（６００、４００）から幅８００ピクセル、高さ６００ピクセルの領域を注目領域として検出する。

（ステップＳ３０８）次に、画像生成部１３７は例えば、画像生成部１３７はウィンドウ情報記憶部１１３からウィンドウ情報を読み出し、読み出したウィンドウ情報を用いて、注目領域の全て（図１０の例では、ウィンドウＢの領域の全て）がフレームバッファ１１２に描画されているか否かを判定する。注目領域の全てがフレームバッファ１１２に描画されている場合（ＹＥＳ）、画像生成部１３７はステップＳ３１０の処理へ進む。注目領域の全てがフレームバッファ１１２に描画されていない場合（ＮＯ）、画像生成部１３７はステップＳ３０９の処理へ進む。図１０の例では、フレームバッファ１１２において、注目領域であるウィンドウＢの画面の一部がウィンドウＡで隠れているので、画像生成部１３７は注目領域が全て描画されていないと判定する。

（ステップＳ３０９）画面取得部１３８が、画面転送サーバ４に対して、注目領域の画像を要求する画像要求メッセージを送信し、注目領域（図１０の例では、ウィンドウＢ）の画像を示す画像情報を画面転送サーバ４から取得する。なお、図１０の例の場合、画面取得部１３８は例えば、フレームバッファ１１２においてウィンドウＢの向かって左上部分がウィンドウＡで隠れているため、隠れている部分の画像情報を画面転送サーバ４から取得してもよい。

（ステップＳ３１０）画像生成部１３７は、注目領域（図１０の例では、ウィンドウＢ）に対応する画像情報をフレームバッファ１１２から取得する。画像生成部１３７は例えば、取得した画像情報が示す画像に対して圧縮処理などを行い、端末装置３へ送信するための画像情報を生成する。
（ステップＳ３１１）次に、通信部１５ｃが、通信回路網２を介して、画像情報を端末装置３へ送信する。これにより、端末装置３は、画像情報を受信して表示することができる。なお、この画像情報の送信は、画像処理装置１ｃからではなく、画面転送サーバ４から行ってもよい。

なお、ステップＳ３０９において、画面取得部１３８は、画面転送サーバ４から取得した画像情報を、アプリケーションごとにオフスクリーンバッファを用意してオフスクリーンバッファに描画してもよいし、フレームバッファに描画し、それに伴いウィンドウ情報を更新してもよい。
また、画面取得部１３８は、新たに画像要求は行わず、画面転送サーバ４からの画像情報の履歴を保持しておき履歴から画像情報を生成してもよい。

以上、第３の実施形態に係る画像処理装置１ｃは、複数の画面転送サーバ４−１、…、４−Ｎから画像情報を取得し、特定の画面変化が発生した領域を注目点とし、注目点を含むウィンドウを注目領域として、注目領域に対応する画像情報を端末装置３へ送信する。これにより、複数の画面転送サーバ４−１、…、４−Ｎから画像情報を取得する画像処理システム１０３において、端末装置３を使用するユーザは、端末装置３に表示された画像を確認することで、注目すべき事象の状況を把握できるので画像処理システム１０３は、そのユーザが事象の状況を把握できる確率を向上させることができる。

なお、複数の装置を備えるシステムが、各実施形態の画像処理装置の各処理を、それらの複数の装置で分散して処理してもよい。
また、各実施形態の画像処理装置の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成は上記実施形態そのままに限定されるものではない。各実施形態に係る各構成及びそれらの組み合わせ等は一例であり、実施段階では本発明の趣旨から逸脱しない範囲内で、構成要素の変形、構成の付加、省略、置換、およびその他の変更をして具体化することが可能である。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することが可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、本発明は実施形態によって限定されることはなく、特許請求の範囲によってのみ限定される。

１、１ｂ、１ｃ 画像処理装置
２ 通信回路網
３ 端末装置
４−１、…、４−Ｎ 画面転送サーバ（画面転送装置）
５ 表示装置
１１、１１ｂ、１１ｃ 記憶部
１２、１２ｂ、１２ｃ アプリケーション実行部
１３、１３ｂ、１３ｃ ウィンドウ処理部
１４ 入力部
１５ 通信部（第１の通信部）
３１ 通信部（第２の通信部）
３２ 処理部
３３ 表示部
１０２、１０３ 画像処理システム
１１１、１１１ｂ 規則記憶部
１１２ フレームバッファ
１１３ ウィンドウ情報記憶部
１３１、１３１ｂ、１３１ｃ 第一の決定部
１３２、１３２ｂ、１３２ｃ 注目点検出部（第一領域検出部）
１３３、１３３ｂ、１３３ｃ 注目領域検出部（第二領域検出部）
１３４ 注目領域表示部（出力処理部）
１３５ 描画部
１３６、１３６ｃ 第二の決定部
１３７ 画像生成部（出力処理部）
１３８ 画面取得部

Claims (19)

1. 画像において予め決められた事象が発生した領域である第１の領域を検出する第一領域検出部と、
   前記第一領域検出部が検出した第１の領域の情報に基づいて第２の領域を前記画像内から検出する第二領域検出部と、
   前記第二領域検出部が検出した第２の領域の情報に基づいて画像に対する出力処理を行う出力処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記第二領域検出部は、前記第１の領域における画像変化を検出し、該検出した画像変化に基づいて第２の領域を検出する
   請求項１に記載の画像処理装置。
3. 前記第二領域検出部は、前記画像変化から監視する対象となる機器の障害情報を検出し、該検出した障害情報に基づいて前記第２の領域の位置及び範囲を決定する
   請求項２に記載の画像処理装置。
4. 前記第二領域検出部は、前記障害情報として前記画像変化から前記監視する対象となる機器に対する警告の種類を検出し、該検出した警告の種類に基づいて前記第２の領域の位置及び範囲を決定する
   請求項３に記載の画像処理装置。
5. 前記第二領域検出部は、前記画像変化が速いほど前記第２の領域の範囲を大きくする
   請求項２から４のいずれか一項に記載の画像処理装置。
6. 前記画像内で複数のノードが接続されており、
   前記第二領域検出部は、前記第１の領域が含まれるノードの接続関係に基づいて前記第２の領域の範囲を決定する
   請求項１に記載の画像処理装置。
7. 前記第二領域検出部は、前記第１の領域が複数検出された場合、該複数の第１の領域の情報に基づいて前記第２の領域を検出する
   請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記第二領域検出部は、前記第１の領域と予め決められた特定の画面変化が発生した領域とを含む領域を前記第２の領域として検出する
   請求項１に記載の画像処理装置。
9. ユーザが操作したユーザ操作領域を検出する入力部と、
   ユーザによる操作が可能な操作可能領域を記憶する操作可能領域記憶部と、
   を更に備え、
   前記第一領域検出部は、前記入力部が検出したユーザ操作領域を前記第１の領域として検出し、
   前記第二領域検出部は、前記第一領域検出部が検出したユーザ操作領域を包含する操作可能領域と前記特定の画面変化が発生した領域とを含む領域を前記第２の領域として検出する
   請求項８に記載の画像処理装置。
10. ウィンドウ内に表示されるＨＴＭＬ要素毎に該ＨＴＭＬ要素に相当する領域の位置及び範囲を示す情報が記憶され、ユーザが操作可能な画像領域である操作可能領域毎にＨＴＭＬ要素が関連付けられて記憶されている記憶部を更に備え、
    前記第二領域検出部は、前記記憶部を参照して前記第一領域検出部が検出したユーザ操作領域を包含する操作可能領域に対応するＨＴＭＬ要素を特定し、該特定したＨＴＭＬ要素に相当する領域と前記ユーザ操作領域を包含する操作可能領域とを含む領域を前記第２の領域として検出する
    請求項９に記載の画像処理装置。
11. 画面に表示される各ウィンドウの位置及び範囲を保持するウィンドウ情報記憶部を更に備え、
    前記第二領域検出部は、前記ウィンドウ情報記憶部を参照して、前記第１領域を含む前記ウィンドウを前記第２領域として検出する
    請求項１に記載の画像処理装置。
12. 前記第一領域検出部は、ユーザまたはアプリケーションで指定された画像領域、特定の画面変化が発生した画像領域、またはユーザによる入力操作が発生した画像領域、のいずれかを前記第１の領域として検出する
    請求項１から１１のいずれか一項に記載の画像処理装置。
13. 端末装置と通信する通信部を更に備え、
    前記出力処理部は、前記第２の領域に対応する画像情報を生成し、該生成した画像情報を前記通信部から前記端末装置へ送信させる請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記第２の領域に対応する画像情報を画面転送装置から取得する画面取得部と、
    端末装置と通信する通信部と、
    を更に備え、
    前記出力処理部は、前記画面取得部が取得した画像情報を前記通信部から前記端末装置へ送信させる請求項１から１２のいずれか一項に記載の画像処理装置。
15. 前記出力処理部は、前記第２の領域の位置及び範囲を表す情報を前記画像に重ねて表示する請求項１から１４のいずれか一項に記載の画像処理装置。
16. 請求項１に記載の画像処理装置が検出した第２の領域に対応する画像情報を受信する通信部と、
    前記通信部が受信した画像情報を表示する表示部と、
    を備える端末装置。
17. 画像処理装置と端末装置とを具備する画像処理システムであって、
    前記画像処理装置は、
    画像において予め決められた事象が発生した領域である第１の領域を検出する第一領域検出部と、
    前記第一領域検出部が検出した第１の領域の情報に基づいて第２の領域を前記画像内から検出する第二領域検出部と、
    前記第２の領域に対応する画像情報を生成する出力処理部と、
    前記出力処理部が生成した画像情報を前記端末装置へ送信する第１の通信部と、
    を備え、
    前記端末装置は、
    前記第１の通信部が送信した画像情報を受信する第２の通信部と、
    前記第２の通信部が受信した画像情報を表示する表示部と、
    を備える画像処理システム。
18. 第一領域検出部が、画像において予め決められた事象が発生した領域である第１の領域を検出する手順と、
    第二領域検出部が、前記第一領域検出部が検出した第１の領域の情報に基づいて第２の領域を前記画像内から検出する手順と、
    出力処理部が、前記第二領域検出部が検出した第２の領域の情報に基づいて画像に対する出力処理を行う手順と、
    を有する画像処理方法。
19. コンピュータに、
    画像において予め決められた事象が発生した領域である第１の領域を検出する第一領域検出ステップと、
    前記第一領域検出ステップで検出された第１の領域の情報に基づいて第２の領域を前記画像内から検出する第二領域検出ステップと、
    前記第二領域検出ステップで検出された第２の領域の情報に基づいて画像に対する出力処理を行う出力処理ステップと、
    を実行させるための画像処理プログラム。

Images