JP2017175539A - 画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】遠隔操作に必要な画質を維持しつつ、画像処理に係る時間を低減することを目的とする。【解決手段】画像データから、操作者による操作対象のオブジェクトを検出する検出手段と、画像データの中の目標点と、オブジェクトと、を包含する第１の領域を決定する領域決定手段と、画像データのうち、第１の領域以外の第２の領域の画質を低減する低減手段と、第１の領域及び低減手段により低減された画質の第２の領域に対し、画像処理を行う画像処理手段とを有する。【選択図】図２

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関する。

動画像は一般にデータ量が膨大である。特に近年は高解像度化により、動画像のデータ量は、増加傾向にある。さらに、データ量の増加は、動画像に各種画像処理を施す場合、処理負荷の増大に繋がる。一方、医療分野では、撮像画像で撮影した動画像に対し、鮮鋭化を始めとした画像補正処理や表示部依存処理を行い、リアルタイムに表示部に表示させるケースがある。ここで画像処理の負荷が大きいと、撮像から表示までの遅延時間が生じてしまう。

データ量や処理負荷を削減する手段として、動画像には関心度が高い領域とそうでない領域があることに注目する技術がある。特許文献１には、ユーザが関心領域を指定することで、通信ネットワークの許容伝送量に収まる範囲で関心領域とそれ以外の領域のデータ量を調整する方法が開示されている。また特許文献２には、ユーザが重要領域としてオブジェクトを指定することで、そのオブジェクトの動きベクトルを算出し、重要領域の追尾を行いつつ符号化処理を行う方法が開示されている。

特開平７−２８８８０号公報 特開２００４−１８７０２３号公報

しかしながら、医療分野では、表示された動画データを見ながら医師が遠隔操作を行うような場合がある。このような場合には、特に遅延時間が問題となる。上述のように画質を犠牲にすることで遅延時間を短くすることが考えられるが、遠隔操作を行っているような場合には、操作に関わる領域の画質が犠牲になるのは望ましくない。

本発明はこのような問題点に鑑みてなされたもので、遠隔操作に必要な画質を維持しつつ、画像処理に係る時間を低減することを目的とする。

そこで、本発明は、画像処理システムであって、画像データから、操作者による操作対象のオブジェクトを検出する検出手段と、前記画像データの中の目標点と、前記オブジェクトと、を包含する第１の領域を決定する領域決定手段と、前記画像データのうち、前記第１の領域以外の第２の領域の画質を低減する低減手段と、前記第１の領域及び前記低減手段により低減された画質の前記第２の領域に対し、画像処理を行う画像処理手段とを有することを特徴とする。

本発明によれば、遠隔操作に必要な画質を維持しつつ、画像処理に係る時間を低減することができる。

画像処理装置のハードウェア構成を示す図である。 画像処理装置のソフトウェア構成を示す図である。 第１の領域及び第２の領域の説明図である。 画像処理を示すフローチャートである。 第２の実施形態に係る画像処理を示すフローチャートである。 第３の実施形態に係る画像処理装置のソフトウェア構成を示す図である。 第３の実施形態に係る画像処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、第１の実施形態にかかる画像処理装置１００のハードウェア構成を示す図である。本実施形態に係る画像処理装置１００は、不図示のＸ線撮像装置から患者を被写体とする動画データを取得し、動画データに対して画像処理を施し、画像処理後の動画データを表示する。画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、通信部１０７とを有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、画像データや各種プログラム等各種情報を記憶する。なお、後述する画像処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１０７は、ネットワークを介して、撮像装置等外部装置との通信処理を行う。また、他の例としては、通信部１０７は、無線により外部装置との通信を行ってもよい。

図２は、画像処理装置１００のソフトウェア構成を示す図である。画像処理装置１００は、取得部２００と、バッファ部２０１と、検出部２０２と、設定部２０３と、領域決定部２０４と、記憶部２０５と、解像度決定部２０６と、警告部２０７と、低減部２０８と、画像処理部２０９と、を有している。取得部２００は、通信部１０７を介してＸ線撮像装置から受信した画像データを取得し、バッファ部２０１に取り込む。他の例としては、画像処理装置１００は、撮像部を有していてもよい。この場合、取得部２００は、撮像部により撮像された動画データを取得し、バッファ部２０１に取り込む。なお、Ｘ線撮像装置は、Ａ／Ｄ変換や最低限の画像処理を施し、画像処理後の動画データを送信するものとする。

検出部２０２は、バッファ部２０１に格納された動画データにおいて、予め定められたオブジェクトを検出する。本実施形態に係る検出部２０２は、医療分野において遠隔操作を行うカテーテルの先端点を検出する。ここで、カテーテルは、医師等の操作者による操作の対象となるオブジェクトの一例である。

設定部２０３は、ユーザ入力に応じて、各種設定値を設定する。設定値については後述する。領域決定部２０４は、カテーテルの先端点と、目標点と、に基づいて、フレーム画像において第１の領域を決定する。ここで、目標点は、例えば患者の体内の治療部位である。目標点は、予め画像処理装置１００に設定されているものとする。また、他の例としては、医師等のユーザによって目標点の設定指示が画像処理装置１００に入力され、設定指示に従い、画像処理装置１００に設定されていてもよい。領域決定部２０４はまた、フレーム画像のうち第１の領域以外の領域を第２の領域として決定する。記憶部２０５は、画像処理に係るパラメータを記憶している。本実施形態の記憶部２０５は、画像データの単位画素当たりの処理時間ｔを記憶している。なお、処理時間ｔは、単位面積当たりの処理時間の一例である。

解像度決定部２０６は、第２の領域に対し、第１の領域に比べて低い解像度を決定する。警告部２０７は、解像度決定部２０６による処理に応じて、適宜警告表示を表示部１０５に表示するよう制御する。低減部２０８は、第２の領域の解像度をより低い解像度に変更する。これにより、動画データのデータ量が低減される。画像処理部２０９は、動画データに対し、予め定められた画像処理を行う。画像処理としては、ノイズ除去処理、エッジ鮮鋭化処理等が挙げられる。

図３は、第１の領域及び第２の領域の説明図である。図３に示すフレーム画像３００において、３０１はカテーテルであり、３０２は、カテーテルの先端点を示している。また、３０３は、目標点を示している。医師等の操作者は、表示部１０５に表示された、図３に示すフレーム画像３００を含む動画データを見ながら、カテーテル３０１を、目標点３０３まで進めるという遠隔操作を行う。

本実施形態においては、領域決定部２０４は、カテーテルの先端点３０２及び目標点３０３を包含する矩形を、予め定められた縁幅３０４分大きくした矩形を第１の領域３１０として決定する。ここで、第１の領域３１０は、操作者が注目する注目領域となる。そして、領域決定部２０４は、フレーム画像のうち第１の領域３１０以外の領域を第２の領域として決定する。第１の領域３１０のサイズは、操作者によるカテーテルの操作に伴い、随時更新される。例えば先端点３０２が目標点３０３に近づくと、第１の領域のサイズは小さくなっていく。なお、第１の領域３１０は、先端点３０２及び目標点３０３を包含する領域であればよく、その形状及びマージンの取り方は実施形態に限定されるものではない。他の例としては、第１の領域３１０は、楕円形の領域であってもよい。

図４は、画像処理装置１００による画像処理を示すフローチャートである。Ｓ４００において、設定部２０３は、ユーザ操作に応じて各種情報を設定する。具体的には、設定部２０３は、遅延目標値、第１の領域の解像度、目標点及び第１の領域を決定する際の縁幅を設定する。ここで、遅延目標値とは、画像処理装置１００が動画を取り込んでから表示部１０５に表示するまでの遅延時間の目標値である。遅延目標値は、画像処理時間の目標値の一例である。

次に、Ｓ４０１において、取得部２００は、通信部１０７を介して取得したフレーム画像をバッファ部２０１に取り込む。次に、Ｓ４０２において、検出部２０２は、バッファ部２０１に記憶されているフレーム画像から、カテーテルの先端点を検出する。カテーテルは、操作者による操作対象のオブジェクトの一例であり、Ｓ４０２の処理は、オブジェクトを検出する検出処理の一例である。検出方法は公知の方法でよく、カテーテルが線オブジェクトであることを利用して検出する方法や、動きベクトルを用いる方法が挙げられる。

次に、Ｓ４０３において、領域決定部２０４は、第１の領域及び第２の領域を決定する。領域決定部２０４は、前述の通り、カテーテルの先端点の検出結果と、Ｓ４００において設定された、目標点の位置と、縁幅と、に基づいて、矩形の第１の領域を決定する。領域決定部２０４はまた、フレーム画像のうち、第１の領域以外の領域を第２の領域として決定する。本処理は、第１の領域を決定する領域決定処理の一例である。

次に、Ｓ４０４において、解像度決定部２０６は、第２の領域の仮の解像度を算出する。解像度決定部２０６は、具体的には、Ｓ４００において設定された、遅延目標値ｄと、第１の領域の解像度ｒ１と、第１の領域の面積ａ１と、記憶部２０５に記憶されている処理時間ｔと、に基づいて、第２の領域の仮の解像度ｒ２を算出する。なお、ｒ２は、ｒ１に比べて小さい値とする。なお、部分的に画像解像度を高めるデータのフォーマットについては公知の技術でよい。フレーム画像全体の面積をａとすると、ユーザの設定を満たすには、上記の値について、（式１）が成り立つ必要がある。

ｄ＝ｔ＊ｒ１＊ａ１＋ｔ＊ｒ２＊（ａ−ａ１） …（式１）

（式１）において、ｒ２以外の値は、フレーム毎に決定される値である。したがって、解像度決定部２０６は、ｒ２以外の値と（式１）からｒ２を算出する。なお、仮の解像度は仮の画質の一例であり、Ｓ４０４の処理は、仮の画質を算出する算出処理の一例である。

なお、解像度決定部２０６は、低画像領域の仮の解像度を、動作条件に変更がある度に再計算する。例えばカテーテル操作により第１の領域の面積ａ１が小さくなった場合には、再計算によって第２の領域の仮の解像度ｒ２として、より大きな値が算出される。他にも、ユーザが遅延時間ｄをより大きな値に設定し直した場合には、再計算により第２の領域の仮の解像度ｒ２として、より大きな値が算出される。これらの動作は、システムの動作条件が変わった時にシステムの演算リソースがフル活用されるように、ｒ２で調整を行っていると言い換えることもできる。

次に、Ｓ４０５において、解像度決定部２０６は、仮の解像度が適正値か否かを判定する。解像度決定部２０６は、例えば、仮の解像度ｒ２が負の値になる、ｒ１より大きい値になるような場合に、適正値でないと判定する。なお、ＨＤＤ１０４に予め適正値及び適正でない値のうち少なくとも一方が記憶されており、解像度決定部２０６は、記憶された情報に従い適正値か否かを判定する。ここで、Ｓ４０５の処理は、仮の画質が適正値か否かを判定する判定処理の一例である。

解像度決定部２０６は、適正値であると判定した場合には（Ｓ４０５でＹｅｓ）、処理をＳ４０６へ進める。解像度決定部２０６は、適正値でないと判定した場合には（Ｓ４０５でＮｏ）、処理をＳ４０７へ進める。Ｓ４０６において、解像度決定部２０６は、仮の解像度ｒ２を、第２の領域の解像度として決定し、その後処理をＳ４０９へ進める。

一方、Ｓ４０７において、警告部２０７は、警告通知を表示部１０５に表示するよう制御する。なお、他の例としては、画像処理装置１００が警告ランプ（不図示）を有している場合には、警告部２０７は、警告通知の出力として警告ランプを点灯させる処理を行ってもよい。ここで、Ｓ４０７の処理は、警告通知を出力する出力処理の一例である。

次に、Ｓ４０８において、解像度決定部２０６は、Ｓ４００におけるユーザによる設定は満たすことができないものの、第１の領域の解像度ｒ１に比べて低い代替解像度を、第２の領域の解像度として決定し、その後処理をＳ４０９へ進める。具体的には、解像度決定部２０６は、例えば、第２の領域の解像度ｒ２の値を、ＨＤＤ１０４等の記憶部に予め設定されているデフォルト値に設定する。この場合、遅延時間ｄは、ユーザによって設定された遅延時間よりも長い時間になってしまうが、その警告を表示しつつ装置の動作を継続させることができるというメリットがある。

なお、代替解像度の算出方法は実施形態に限定されるものではない。他の例としては、代替解像度の算出に適用するパラメータは、上記パラメータ以外でもよく、また複数の組み合わせでもよい。例えば第１の領域の解像度ｒ１にデフォルト値を設定し、（式１）により第２の領域の解像度ｒ２として算出される値を代替解像度として設定してもよい。またユーザの希望を満たすことができないパラメータとして遅延時間ｄを選んだが、それ以外のパラメータであってもよく、また複数の組み合わせでもよい。例えば、第１の領域の解像度ｒ１に代替データを適用すれば、それがそのままユーザの希望を満たすことができないパラメータとなる。なお、Ｓ４０７及びＳ４０８の処理は、エラー処理であり、これらの処理は省略してもよく、別のエラー処理を行ってもよい。

Ｓ４０９において、低減部２０８は、バッファ部２０１の動画データの第２の領域の解像度を、Ｓ４０６又はＳ４０８において決定された解像度に変更することにより、第２の領域の画質を低減する。本処理は、第２の領域の画質を低減する低減処理の一例である。なお、低減部２０８は、Ｓ４０８において第１の領域についても、より低い解像度が決定された場合には、第１の領域の解像度を、Ｓ４０８において決定された解像度に変更する。

次に、Ｓ４１０において、画像処理部２０９は、動画データの表示に必要な画像処理を行う。画像処理としては、前述の通り、ノイズ除去処理、エッジ鮮鋭化処理等が挙げられる。本実施形態においては、画像処理の対象となっている動画データにおいて、第２の領域については画質が低減しているため、画像処理に係る演算時間を短縮することができる。次に、Ｓ４１１において、画像処理部２０９は、画像処理後の動画データをバッファ部２０１に書き込む。これにより、バッファ部２０１から順次動画データが表示部１０５に転送され、動画データが表示部１０５に表示される。

次に、Ｓ４１２において、設定部２０３は、ユーザから設定変更の指示を受け付けたか否かを確認する。設定部２０３は、設定変更の指示を受け付けた場合には（Ｓ４１２でＹｅｓ）、処理をＳ４００へ進め、指示に従い設定を変更する。これにより、次のフレーム画像から、変更後の設定において、処理が行われる。設定部２０３は、設定変更の指示を受け付けなかった場合には（Ｓ４１２でＮｏ）、処理をＳ４０１へ進める。この場合は、次のフレーム画像においても、同様の処理が継続する。

以上のように、本実施形態に係る画像処理装置１００は、第２の領域の解像度の低下を許容しつつ、設定値において許容される範囲でその低下量を随時調整することができる。カテーテルと目標点とする患部を含む動画データを見ながら、カテーテルの操作を行うような場合には、表示までの遅延時間が問題となる。これに対し、本実施形態に係る画像処理装置１００は遠隔操作に必要な第１の領域の画質を維持しつつ、画像処理に係る時間を低減することができる。これにより、動画データの表示までの遅延時間も短くすることができる。

本実施形態の第１の変更例としては、画像処理装置１００は、第２の領域の画質を低減すればよく、このための処理は解像度の低減に限定されるものではない。他の例としては、画像処理装置１００は、解像度に替えて、又は解像度と共に、階調を低減してもよい。また、他の例としては、画像処理装置１００は、第２の領域のフレームレートを低減することにより、第２の領域の画質を低減してもよい。

また、第２の変更例としては、画像処理装置１００の処理対象は、動画データに限定されるものではなく、静止画データであってもよい。この場合は、画像処理装置１００は、フレーム画像に替えて、各静止画データに対し、実施形態において説明した処理を行えばよい。

また、第３の変更例としては、画像処理装置１００においては、ＣＰＵ１０１が画像処理及び低減処理を行うこととしたが、これに替えて、ＣＰＵ１０１と別に設けられたハードウェアが画像処理及び低減処理を行ってもよい。また、第４の変更例としては、画像処理装置１００の処理を複数の装置からなる画像処理システムの各装置が分担して行ってもよい。

（第２の実施形態）
次に、第２の実施形態に係る画像処理装置１００について説明する。第１の実施形態においては、画像処理装置１００は、第１の領域の解像度がユーザにより設定され、これに対応して、第２の領域の解像度を決定した。これに対し、本実施形態に係る画像処理装置１００においては、第２の領域の解像度がユーザにより設定され、これに対応して、第１の領域の解像度を決定する。以下、第２の実施形態に係る画像処理装置１００について、第１の実施形態に係る画像処理装置１００と異なる点について説明する。

図５は、第２の実施形態に係る画像処理装置１００による、画像処理を示すフローチャートである。図５に示す各処理のうち、図４を参照しつつ説明した第１の実施形態に係る各処理と同じ処理には同じ符号を付している。Ｓ５００において、設定部２０３は、遅延目標値、第２の領域の解像度、目標点及び第１の領域を決定する際の縁幅を設定し、その後処理をＳ４０１へ進める。すなわち、Ｓ５００の処理は、第１の領域の解像度に替えて第２の領域の解像度を設定する点で、Ｓ４００の処理と異なる。

さらに、Ｓ４０３の処理の後、ＣＰＵ１０１は、処理をＳ５０１へ進める。Ｓ５０１において、解像度決定部２０６は、（式１）を用いて、第１の領域の仮の解像度として、ｒ１を算出する。なお、解像度決定部２０６は、高画像領域の仮の解像度を、動作条件に変更がある度に再計算する。例えば、カテーテル操作により面積ａ１が小さくなった場合には、再計算によって第１の領域の仮の解像度ｒ１として、より大きな値が算出される。他にも、ユーザが遅延時間ｄをより大きな値に設定し直した場合には、再計算により第１の領域の仮の解像度ｒ１として、より大きな値が算出される。

次に、Ｓ５０２において、解像度決定部２０６は、仮の解像度が適正値か否かを判定する。解像度決定部２０６は、適正値であると判定した場合には（Ｓ５０２でＹｅｓ）、処理をＳ５０３へ進める。解像度決定部２０６は、適正値でないと判定した場合には（Ｓ５０２でＮｏ）、処理をＳ５０４へ進める。Ｓ５０３において、解像度決定部２０６は、仮の解像度ｒ１を、第１の領域の解像度として決定し、その後処理をＳ４０９へ進める。

一方、Ｓ５０４において、警告部２０７は、警告通知を表示部１０５に表示するよう制御する。本処理は、Ｓ４０７の処理と同様である。次に、Ｓ５０５において、解像度決定部２０６は、Ｓ５００におけるユーザによる設定は満たすことができないものの、第２の領域の解像度ｒ２に比べて高い代替解像度を、第１の領域の解像度として決定し、その後処理をＳ４０９へ進める。なお、第２の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、第１の実施形態に係る画像処理装置１００の構成及び処理と同様である。このように、第２の実施形態に係る画像処理装置１００は、ユーザが第２の領域の解像度を所望の値に設定したい場合に、ユーザ設定に応じて適切な処理を行うことができる。

（第３の実施形態）
次に、第３の実施形態に係る画像処理装置１００について説明する。第３の実施形態に係る画像処理装置１００は、第２の領域の画質を低減するのに替えて、第２の領域に対して施す画像処理を第１の領域に対して施す画像処理に比べて演算量の少ない処理に変更する。以下、第３の実施形態に係る画像処理装置１００について、第１の実施形態に係る画像処理装置１００と異なる点について説明する。

図６は、第３の実施形態に係る画像処理装置１００のソフトウェア構成を示す図である。画像処理装置１００は、第１の実施形態に係る画像処理装置１００と同様に、取得部２００と、バッファ部２０１と、検出部２０２と、領域決定部２０４と、を有している。本実施形態に係る画像処理装置１００はさらに、設定部６００と、記憶部６０１と、処理決定部６０２と、画像処理部６０３と、を有している。

設定部６００は、ユーザ入力に応じて、各種設定値を設定する。設定部６００は、遅延目標値、第１の領域の画像処理の種類、目標点及び縁幅を設定する。すなわち、設定部６００は、第１の領域の解像度に替えて、第１の領域の画像処理の種類を設定する点で、第１の実施形態の設定部２０３と異なる。

また、本実施形態に係る画像処理部６０３は、第１の領域と第２の領域に対し、演算量の異なる画像処理を施す。さらに、画像処理部６０３は、第２の領域に対して、演算量の異なる複数の画像処理を施すことができる。演算量の異なる画像処理としては、ノイズ除去とエッジ鮮鋭化の両方を含む画像処理と、ノイズ除去のみを含む画像処理が挙げられる。記憶部６０１は、画像処理部６０３が実行可能な各画像処理のパラメータを記憶している。本実施形態においては、記憶部６０１は、複数の画像処理それぞれにおける単位画素当たりの処理時間をパラメータとして記憶している。処理決定部６０２は、第１の領域及び第２の領域に施す画像処理を決定する。

図７は、第３の実施形態に係る画像処理装置１００による、画像処理を示すフローチャートである。図７に示す各処理のうち、図４を参照しつつ説明した第１の実施形態に係る各処理と同じ処理には同じ符号を付している。Ｓ７００において、設定部６００は、遅延目標値、第１の領域の画像処理、目標点及び第１の領域を決定する際の縁幅を設定し、その後処理をＳ４０１へ進める。すなわち、Ｓ７００の処理は、第１の領域の解像度に替えて第１の領域の画像処理を設定する点で、Ｓ４００の処理と異なる。

Ｓ４０３の処理の後、ＣＰＵ１０１は、処理をＳ７０１へ進める。Ｓ７０１において、処理決定部６０２は、第２の領域の仮の画像処理を決定する。処理決定部６０２は、第１の領域に画像処理を施す際の、単位画素当たりの処理時間ｔ２を算出する。このとき、処理決定部６０２は、Ｓ６００において設定された、遅延目標値ｄと、第１の領域の画素数ｐ１と、動画データの画素数ｐと、第１の領域に設定された画像処理の単位画素当たりの処理時間ｔ１とを参照する。なお、処理時間ｔ１は、記憶部６０１にパラメータとして記憶されている。

ユーザの要求を満たすには、上記の値について、（式２）が成り立つ必要がある。

ｄ≧ｔ１＊ｐ＋ｔ２＊（ｐ−ｐ１） …（式２）

処理決定部６０２は、（式２）のｔ１に、Ｓ８００において設定された第１の領域の画像処理の処理時間を代入する。そして、処理決定部６０２は、記憶部６０１に記憶されている複数の処理時間それぞれをｔ２に代入し、（式２）が成り立つか否かを確認する。そして、処理決定部６０２は、（式２）が成り立つ処理時間のうち、処理時間が最も長い処理時間に対応する画像処理を、第２の領域の画像処理として決定する。なお、（式２）において（式１）と異なり不等号が用いられているのは、ｔ１及びｔ２に代入される処理時間が離散値であるためである。処理決定部６０２は、第２の領域の画像処理を、動作条件に変更がある度に再決定する。

次に、Ｓ７０２において、処理決定部６０２は、Ｓ７０１において、第２の領域の画像処理を決定できたか否かを確認する。処理決定部６０２は、画像処理を決定できた場合には（Ｓ７０２でＹｅｓ）、処理をＳ７０５へ進める。処理決定部６０２は、記憶部６０１に記憶されているパラメータでは（式２）を満たすことができず、画像処理を決定できなかった場合には（Ｓ７０２でＮｏ）、処理をＳ７０３へ進める。

Ｓ７０３において、警告部２０７は、警告通知を表示部１０５に表示するよう制御する。本処理は、Ｓ４０７の処理と同様である。次に、Ｓ７０４において、解像度決定部２０６は、代替画像処理を第２の領域の画像処理に決定し、その後処理をＳ７０５へ進める。Ｓ７０４において、解像度決定部２０６は、例えば、第２の領域の画像処理を、ＨＤＤ１０４等の記憶部に予め設定されているデフォルトの画像処理を代替画像処理として決定する。

Ｓ７０５において、画像処理部６０３は、第２の領域と第１の領域に対し異なる画像処理を施す。Ｓ７０１において、第２の領域の画像処理が決定された場合には、画像処理部６０３は、Ｓ７０１において決定された画像処理を第２の領域に施し、Ｓ７００において設定された画像処理を第１の領域に施す。また、Ｓ７０１において画像処理を決定できず、Ｓ７０４において、代替画像処理を第２の領域の画像処理として決定したとする。この場合には、画像処理部６０３は、Ｓ７０４において決定した代替画像処理を第２の領域に施し、Ｓ７００において設定された画像処理を第１の領域に施す。

このように、第２の領域に対しては演算量の少ない画像処理を施すので、画像処理に係る演算時間を短縮することができる。ＣＰＵ１０１は、Ｓ７０５の処理の後、処理をＳ４１１へ進める。なお、第３の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、他の実施形態に係る画像処理装置１００の構成及び処理と同様である。

以上のように、本実施形態に係る画像処理装置１００は、第２の領域の画像処理については質の低い画像処理を許容するが、設定値において許容される範囲でその選択を随時調整する。すなわち、画像処理装置１００は、第２の領域の画像処理の演算量を第１の領域の演算量に比べて低減することができる。このように、本実施形態に係る画像処理装置１００は、遠隔操作に必要な画質を維持しつつ、画像処理に係る時間を低減することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０２ 検出部
２０４ 領域決定部
２０８ 低減部
２０９ 画像処理部

Claims (17)

1. 画像データから、操作者による操作対象のオブジェクトを検出する検出手段と、
   前記画像データの中の目標点と、前記オブジェクトと、を包含する第１の領域を決定する領域決定手段と、
   前記画像データのうち、前記第１の領域以外の第２の領域の画質を低減する低減手段と、
   前記第１の領域及び前記低減手段により低減された画質の前記第２の領域に対し、画像処理を行う画像処理手段と
   を有することを特徴とする画像処理システム。
2. 前記低減手段は、前記画像データに対する画像処理に係る遅延時間の目標値に基づいて、前記第２の領域の画質を低減することを特徴とする請求項１に記載の画像処理システム。
3. 前記低減手段は、予め設定された前記第１の領域の画質に基づいて、前記第２の領域に画質を低減することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記低減手段は、前記第２の領域の画質を、予め設定された画質に低減することを特徴とする請求項１又は２に記載の画像処理システム。
5. 前記低減手段は、前記第２の領域の解像度を低減することを特徴とする請求項１乃至４何れか１項に記載の画像処理システム。
6. 前記低減手段は、前記第２の領域の階調を低減することを特徴とする請求項１乃至４何れか１項に記載の画像処理システム。
7. 画像処理時間の目標値と、前記第１の領域及び前記第２の領域の面積と、単位面積当たりの画像処理の処理時間と、に基づいて、前記第２の領域の仮の画質を算出する算出手段と、
   前記仮の画質が、適正値か否かを判定する判定手段と、
   前記仮の画質が前記適正値でないと判定された場合に、警告通知を出力する出力手段と
   をさらに有することを特徴とする請求項１乃至６何れか１項に記載の画像処理システム。
8. 前記低減手段は、前記仮の画質が前記適正値でないと判定された場合に、前記第２の領域の画質を、前記仮の画質よりも低い画質に低減することを特徴とする請求項７に記載の画像処理システム。
9. 前記画像データは、動画であって、
   前記低減手段は、前記第２の領域のフレームレートを低減することを特徴とする請求項１又は２に記載の画像処理システム。
10. 画像データから、操作者による操作対象のオブジェクトを検出する検出手段と、
    前記画像データの中の目標点と、前記オブジェクトと、を包含する第１の領域を決定する領域決定手段と、
    前記第１の領域に対し、第１の画像処理を行い、前記画像データのうち、第１の領域以外の第２の領域に対し、前記第１の画像処理に比べて演算量の少ない第２の画像処理を行う画像処理手段と
    を有することを特徴とする画像処理システム。
11. 前記画像データに対する画像処理に係る遅延時間の目標値に基づいて、前記第２の画像処理を決定する処理決定手段をさらに有し、
    前記画像処理手段は、前記第２の領域に対し、前記決定手段により決定された前記第２の画像処理を行うことを特徴とする請求項１０に記載の画像処理システム。
12. 前記遅延時間の目標値と、前記第１の領域及び第２の領域の面積と、前記第１の画像処理の単位面積当たりの処理時間と、に基づいて、前記第２の領域に対して行う画像処理の単位面積当たりの仮の処理時間を算出する算出手段と、
    前記仮の処理時間が、適正値か否かを判定する判定手段と、
    前記仮の処理時間が前記適正値でないと判定された場合に、警告通知を出力する出力手段と
    を有することを特徴とする請求項１１に記載の画像処理システム。
13. 前記処理決定手段は、前記仮の処理時間が前記適正値でないと判定された場合に、前記仮の処理時間に比べて処理時間の長い画像処理を前記第２の画像処理として決定することを特徴とする請求項１２に記載の画像処理システム。
14. 画像処理システムが実行する画像処理方法であって、
    画像データから、操作者による操作対象のオブジェクトを検出する検出ステップと、
    前記画像データの中の目標点と、前記オブジェクトと、を包含する第１の領域を決定する領域決定ステップと、
    前記画像データのうち、第１の領域以外の第２の領域の画質を低減する低減ステップと、
    前記第１の領域及び前記低減手段により低減された画質の前記第２の領域に対し、画像処理を行う画像処理ステップと
    を含むことを特徴とする画像処理方法。
15. 画像処理システムが実行する画像処理方法であって、
    画像データから、操作者による操作対象のオブジェクトを検出する検出ステップと、
    前記画像データの中の目標点と、前記オブジェクトと、を包含する第１の領域を決定する領域決定ステップと、
    前記第１の領域に対し、第１の画像処理を行い、前記画像データのうち、前記第１の領域以外の第２の領域に対し、前記第１の画像処理に比べて演算量の少ない第２の画像処理を行う画像処理ステップと
    を含むことを特徴とする画像処理方法。
16. コンピュータを、
    画像データから、操作者による操作対象のオブジェクトを検出する検出手段と、
    前記画像データの中の目標点と、前記オブジェクトと、を包含する第１の領域を決定する領域決定手段と、
    前記画像データのうち、前記第１の領域以外の第２の領域の画質を低減する低減手段と、
    前記第１の領域及び前記低減手段により低減された画質の前記第２の領域に対し、画像処理を行う画像処理手段と
    して機能させるためのプログラム。
17. コンピュータを、
    画像データから、操作者による操作対象のオブジェクトを検出する検出手段と、
    前記画像データの中の目標点と、前記オブジェクトと、を包含する第１の領域を決定する領域決定手段と、
    前記第１の領域に対し、第１の画像処理を行い、前記画像データのうち、前記第１の領域以外の第２の領域に対し、前記第１の画像処理に比べて演算量の少ない第２の画像処理を行う画像処理手段と
    して機能させるためのプログラム。

Images