JP2021064060A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】動画像の領域分割において、フレーム間の安定性がより高い領域分割結果を得る。【解決手段】複数のフレーム画像を含む動画像を取得する。過去のフレーム画像の分割結果である複数の領域それぞれの属性情報に基づいて、過去のフレーム画像より後のフレーム画像を、過去のフレーム画像の複数の領域にそれぞれ対応する複数の領域へと分割する。フレーム画像ごとに、フレーム画像の分割結果である複数の領域それぞれの属性情報を、フレーム画像より後のフレーム画像を複数の領域に分割する際に用いるか否かを制御する。【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に画像の領域分割に関する。

画像を複数の小領域に分割する手法が知られている。画像を領域分割すると、小領域ごとに様々な画像処理を行うことが可能になり、演算量の削減が容易となる。

画像の領域分割は、例えば、色、輝度値、エッジ等の属性情報が類似している複数の画素をまとめることにより行うことができる。例えば非特許文献１は、色情報（例えはＬａｂ色情報）と座標（Ｘ，Ｙ）を組み合わせた５次元空間上の距離を用いて画素のクラスタリングを行うことにより、画像を領域分割する方法を開示している。このような方法はＳＬＩＣ法と呼ばれており、小領域の属性情報（代表点の位置情報及び色情報）を求めることと、この属性情報を用いたクラスタリングにより領域分割を行うことと、を繰り返すことにより、領域分割結果が収束する。

非特許文献２は、現フレームの領域分割により得られた小領域の属性情報を、次フレームの領域分割を行う際の属性情報の初期値として用いることを開示している。動画像はフレーム間での画像変化が小さいため、このように属性情報をフレーム画像間で引き継ぎながら複数フレームにわたって領域分割を繰り返すことにより、一枚の画像に対して領域分割を繰り返すのと同様の効果が得られる。このため、フレーム画像ごとの繰り返し回数を減らすことができ、リアルタイム性が求められる動画像の領域分割において処理速度を向上させることができる。

R. Achanta et al. "SLIC Superpixels", EPFL Technical Report 149300, June 2010. T. Maruyama "Real-time K-Means Clustering for Color Images on Reconfigurable Hardware", International Conference on Pattern Recognition, pp.816-819, 2006

しかしながら、非特許文献２のようにフレーム間で属性情報を引き継ぎながら動画像の領域分割を行う場合、領域分割結果が安定しないという課題が見いだされた。

本発明は、動画像の領域分割において、フレーム間の安定性がより高い領域分割結果を得ることを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
複数のフレーム画像を含む動画像を取得する取得手段と、
過去のフレーム画像の分割結果である複数の領域それぞれの属性情報に基づいて、前記過去のフレーム画像より後のフレーム画像を、前記過去のフレーム画像の複数の領域にそれぞれ対応する複数の領域へと分割する分割手段と、
フレーム画像ごとに、前記フレーム画像の分割結果である前記複数の領域それぞれの属性情報を、前記分割手段が前記フレーム画像より後のフレーム画像を複数の領域に分割する際に用いるか否かを制御する制御手段と、
を備えることを特徴とする。

動画像の領域分割において、フレーム間の安定性がより高い領域分割結果を得ることができる。

領域分割処理を説明する図。 領域分割処理を説明する図。 一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図。 一実施形態に係る画像処理装置の機能構成例を示すブロック図。 分割部４０２の機能構成例を示すブロック図。 一実施形態に係る画像処理方法の処理の流れを示すフローチャート。 ステップＳ６０２の領域分割処理の流れを示すフローチャート。 一実施形態に係る画像処理の処理タイミングを示す図。 一実施形態に係る画像処理の処理タイミングを示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

非特許文献２に記載の領域分割方法を並列処理を用いて実現する場合、次フレーム画像の入力周期よりも、次フレーム画像の属性情報の算出の方が後になることがある。本願発明者らは、このような場合に、直前に算出された属性情報を用いて領域分割を行うと、領域分割結果が複数の収束状態を持つようになり、領域分割結果が振動して安定しなくなることを見いだした。以下、この点を図１及び図２を参照して説明する。

図１は、フレーム画像１００と、フレーム画像１００の領域分割の結果得られる領域１０１〜１１６を示す。図１において、実線は領域１０１〜１１６の境界を示す。

図２は、非特許文献２に従う領域分割方法を用いる場合の、動画像の実時間での領域分割処理の流れを示す。画像生成処理２００では、周期Ｔ１ごとにフレーム画像が生成される。図２の例では、フレーム１，２，３，４，……，Ｎ，Ｎ＋１，Ｎ＋２が順次生成されている。

領域分割処理２０１では、非特許文献２の方法に従う領域分割処理が行われる。領域分割処理２０１は演算量が多くなり、実時間処理におけるボトルネックになる場合がある。図２の例では、領域分割処理２０１は、画像生成処理２００の周期Ｔ１より長い期間Ｔ２を要する。このため、図２の例では、領域分割処理２０１が、ステージ２０２及びステージ２０３に分割される。

一方、非特許文献２の方法では、フレームＮの領域分割処理２０１を行うために、フレームＮ−１について算出された属性情報（例えば代表点１１７の情報）が用いられる。しかしながら、図２の例では、フレームＮの領域分割処理２０１（ステージ２０２）を開始する時に、フレームＮ−１の領域分割処理２０１（ステージ２０３）が完了していないため、フレームＮ−１についての属性情報が生成されていない。このように、フレームＮの領域分割処理２０１を開始する際に、フレームＮ−１の領域分割処理２０１が完了していない、又はフレームＮ−１の領域分割処理２０１は完了しているが属性情報の生成が完了していないことがある。このような場合、フレームＮの領域分割処理２０１において、フレームＮ−１についての属性情報を用いることができない。

この場合、既に処理が完了しているフレームＮ−２についての属性情報を保持し、フレームＮの領域分割処理２０１のために用いることが考えられる。しかしながら、フレーム１とフレーム２との間で被写体の変化がない場合であっても、ノイズ等の影響により、フレーム１とフレーム２との間で、フレーム画像から得られる属性情報が異なる可能性がある。そして、この場合、矢印２０４で示されるように、フレーム１を始点とする奇数フレーム間で属性情報が引き継がれる一方、矢印２０５で示されるように、フレーム２を始点とする偶数フレーム間で独立に属性情報が引き継がれる。このため、奇数フレームと偶数フレームについての２種類の収束状態が発生し、これらが一致しないために奇数フレームと偶数フレームとの間で領域分割結果が振動する可能性がある。

このような領域分割結果の振動が生じると、後段の画像処理に影響が生じる可能性がある。例えば、小領域毎に色の補正を行う場合、フレーム間で被写体の変化がなかったとしても、領域分割結果がフレーム間で変化してしまい、色補正処理の結果もフレーム間で異なってしまうために、不自然な処理結果が得られる可能性がある。

以下、本発明の一実施形態に係る画像処理装置について説明する。図３は、一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。画像処理装置は、プロセッサ及びメモリを有している。例えば、図３の例において、プロセッサであるＣＰＵ３０１は、ＲＯＭ３０２又はＲＡＭ３０３のようなメモリに格納されたプログラムに従って命令を実行する。不揮発性メモリであるＲＯＭ３０２は、本実施形態に係る処理を実現するプログラム、及びその他の制御に必要なプログラム若しくはデータを格納する。揮発性メモリであるＲＡＭ３０３は、フレーム画像データ又は属性情報等の一時的なデータを記憶する。２次記憶装置３０４は、ハードディスクドライブ又はフラッシュメモリー等の書き換え可能な記憶媒体であり、画像データ、画像処理プログラム、及び各種設定内容等を記憶することができる。

画像入力装置３０５は、画像処理装置に動画像を入力する装置である。画像入力装置３０５は、例えばデジタルビデオカメラ、ネットワークカメラ、又は赤外線カメラ等である。入力装置３０６は、ユーザからの入力を受け取る装置であり、例えばキーボード又はマウス等である。表示装置３０７は、ユーザに対して処理結果等を表示する装置であり、例えばブラウン管（ＣＲＴ）又は液晶ディスプレイ等である。ネットワークＩ／Ｆ３０８は、画像処理装置をインターネット又はイントラネット等のネットワークに接続する装置であり、例えばモデム又はＬＡＮ等である。バス３０９は、これらの各部を接続し、相互にデータの入出力を行うことを可能とする。

本実施形態においては、以下に説明する機能構成を実現するプログラムを、ＲＯＭ３０２等の記憶媒体が格納している。このようなプログラムがＲＡＭ３０３のようなメモリへと読み出され、ＣＰＵ３０１のようなプロセッサが、メモリ上のプログラムに従って動作することにより、各機能構成の機能が実現される。もっとも、各機能構成のうちの少なくとも一部が、専用のハードウェアによって実現されてもよい。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。さらに、本実施形態に係る画像処理装置は、カメラのような画像入力装置３０５の一部であってもよいし、画像入力装置３０５とは別の装置であってもよい。

図４は、本実施形態に係る画像処理装置の機能構成例を示す。本実施形態に係る画像処理装置は、入力部４０１及び分割部４０２を備える。また、本実施形態に係る画像処理装置は、さらに補正部４０３及び表示部４０４を備えていてもよい。

入力部４０１は複数のフレーム画像を含む動画像を取得する。入力部４０１は、例えば画像入力装置３０５から動画像を取得してＲＡＭ３０３に格納してもよい。また、入力部４０１は画像入力装置３０５であってもよい。入力部４０１は、複数のフレーム画像のそれぞれを順次取得することができる。

分割部４０２は、フレーム画像を複数の領域へと分割する。分割部４０２は、入力部４０１が順次取得した複数のフレーム画像のそれぞれを、順次分割することができる。ここで、分割部４０２は、過去のフレーム画像の分割結果である複数の領域それぞれの属性情報に基づいて、過去のフレーム画像より後のフレーム画像を、過去のフレーム画像の複数の領域にそれぞれ対応する複数の領域へと分割する。分割部４０２は、フレーム画像を分割することにより得られる各領域の属性情報が、過去のフレーム画像について得られた各領域の属性情報と近くなるように、フレーム画像を分割することができる。

領域の属性情報とは、領域内の画像から算出可能なデータのことを指し、領域の代表点についての情報を含むことができる。本実施形態において、属性情報は、各領域についての代表点の位置情報及び色情報を含む。ここで、領域の代表点とは、例えば領域の重心であり、代表点の色情報とは、例えば領域の色情報である。この場合、分割部４０２は、過去のフレームの１つの領域の代表点の位置に近く、この代表点の色情報と近い色情報を有する画素を、１つの領域にグルーピングすることができる。一方で、属性情報は上記のものに限定されず、例えば領域の最頻色情報であってもよいし、領域の外接矩形の位置情報であってもよい。分割方法の詳細については後述する。

補正部４０３は、分割部４０２による領域分割の結果に従い、領域ごとに色補正を行う。色補正の種類は特に限定されないが、例えば、ホワイトバランスの調整処理、又は特定の色の強調処理等であってもよい。

表示部４０４は、補正部４０３により色補正されたフレーム画像を出力する。表示部４０４は、例えば、補正部４０３による補正結果を表示装置３０７に表示させることができる。また、表示部４０４は表示装置３０７であってもよい。

図５は、分割部４０２の詳細な機能構成例を示す。距離算出部５０１は、過去のフレーム画像についての属性情報を用いて、入力部４０１が取得したフレーム画像の各画素を評価する。本実施形態の場合、分割部４０２は、入力部４０１が取得したフレーム画像中の各画素と代表点との間の距離を計算する。この距離は、後述するように位置と色との双方の違いを反映する距離であってもよい。境界決定部５０２は、距離算出部５０１による算出結果を用いて、分割された領域の境界を決定する。

属性算出部５０３は、境界決定部５０２で決定された各領域の属性情報を算出する。例えば、属性算出部５０３は、各領域の代表点の位置（例えば重心座標）及び色情報（例えば領域の平均色）を、属性情報として算出することができる。属性格納部５０４は、属性算出部５０３が算出した属性情報を格納することができる。属性格納部５０４は、ＲＡＭ３０３又は２次記憶装置３０４のようなメモリ又は記憶媒体であってもよい。

上記の構成により、分割部４０２は、過去のフレーム画像についての属性情報に基づいて、新しいフレーム画像を複数の領域へと分割し、新しいフレーム画像についての属性情報を生成することができる。なお、距離算出部５０１による各画素の評価、境界決定部５０２による境界決定、及び属性算出部５０３による属性情報の算出は、繰り返すことができる。例えば、距離算出部５０１は、まず、過去のフレーム画像についての属性情報を用いて、新しいフレーム画像の各画素を評価することができ、この評価結果に従って境界決定部５０２及び属性算出部５０３は境界決定及び属性情報の算出を行うことができる。次に、距離算出部５０１は、新しいフレーム画像について属性算出部５０３が算出した属性情報を用いて、新しいフレーム画像の各画素を再度評価することができる。また、境界決定部５０２及び属性算出部５０３は、境界決定及び属性情報の算出を再度行うことができる。この場合、最終的な境界決定部５０２及び属性算出部５０３の出力を、新しいフレーム画像についての領域分割結果及び属性情報として用いることができる。

設定部５０５は、属性格納部５０４からフレーム画像についての属性情報を読み出し、距離算出部５０１へと供給する。この属性情報は、例えば代表点の位置情報及び色情報であり、距離算出部５０１が別のフレーム画像の各画素を評価するために用いられる。例えば、この属性情報は、上記のように別のフレーム画像について領域分割を繰り返す分割部４０２の距離算出部５０１が、属性情報の初期値として用いることができる。

属性選択部５０６は、領域分割に用いられる属性情報の選択を制御する。例えば属性選択部５０６は、それぞれのフレーム画像についての属性情報のうち、どの属性情報を、分割部４０２が別のフレーム画像を分割する際に用いるのか、を制御することができる。より具体的には、属性選択部５０６は、フレーム画像ごとに、フレーム画像の分割結果である複数の領域それぞれの属性情報を、分割部４０２がフレーム画像より後のフレーム画像を複数の領域に分割する際に用いるか否かを制御することができる。このように、本実施形態において、一部のフレーム画像についての属性情報は、後のフレーム画像を分割する際に参照されない。本実施形態において属性選択部５０６は、別のフレーム画像の分割に用いるために、属性算出部５０３が属性格納部５０４に属性情報を格納するか否かを制御する。一方で、属性選択部５０６は、別のフレーム画像の分割に用いるために、属性格納部５０４から読み出す属性情報を、複数のフレーム画像についての属性情報から選択してもよい。

一実施形態において、分割部４０２は、ＳＬＩＣ法に従ってフレーム画像を複数の領域に分割することができる。この場合、属性選択部５０６は、フレーム画像ごとに、フレーム画像の分割結果を、分割部４０２がこのフレーム画像より後のフレーム画像を複数の領域に分割する際の初期値として用いるか否かを制御することができる。

次に、本実施形態に係る処理の流れについて図６を参照して説明する。図６は１つのフレーム画像についての処理を示している。一方で図８を参照して説明するように、図６の各ステップは並列に行うことができる。すなわち、フレーム１のフレーム画像の領域分割（ステップＳ６０２）を行いながら、フレーム２のフレーム画像の取得（ステップＳ６０１）を行うことができる。なお、以下の例においては、非特許文献１と同様に、属性情報として、フレーム画像の各領域の代表点（領域の重心）の位置情報及び代表点の色情報（領域の平均色情報）が用いられる。

ステップＳ６０１において、入力部４０１はフレーム画像を取得する。ステップＳ６０２において分割部４０２は、フレーム画像を複数の領域に分割する。ステップＳ６０３において補正部４０３は、上記のように領域ごとにフレーム画像の色補正を行う。ステップＳ６０４において、表示部４０４は補正部４０３によって色補正されたフレーム画像を表示する。ステップＳ６０５において、分割部４０２は、電源ＯＦＦ等の、ユーザからの終了指示があるかどうかを判定する。終了指示が行われるまで、別のフレーム画像についてのステップＳ６０１〜Ｓ６０４の処理が繰り返され、終了指示が行われると本実施形態の処理は終了する。

次に、ステップＳ６０２の詳細について図７を参照して説明する。ステップＳ７０１において属性選択部５０６は、属性情報が属性格納部５０４に格納されているか否かを判定する。代表点の情報が格納されていない場合、ステップＳ７０２において設定部５０５は代表点の情報の初期値を生成する。例えば設定部５０５は、規定の方法に従って、フレーム画像から代表点の情報の初期値を生成することができる。一例として、設定部５０５は、フレーム画像を格子状に領域分割し、各領域の代表点の位置情報及び色情報を、代表点の情報の初期値として算出することができる。属性情報が記憶されている場合、ステップＳ７０３において設定部５０５は属性格納部５０４から属性情報を取得する。こうして取得された属性情報は、ステップＳ７０４において代表点の情報の初期値として用いられる。

ステップＳ７０４において距離算出部５０１は、フレーム画像の各画素と代表点との間の距離を算出する。距離算出部５０１は、１つの画素について、複数の代表点のそれぞれとの距離を算出することができる。代表点の情報の初期値は、ステップＳ７０２又はＳ７０３で得られている。本実施形態において距離算出部５０１は、非特許文献１と同様の方法を用いて距離を算出する。すなわち、距離算出部５０１は、代表点の色情報（Ｌ，ａ，ｂ）とフレーム画像の画素の色情報（Ｌ，ａ，ｂ）との間の距離と、代表点の座標（Ｘ，Ｙ）とフレーム画像の画素の座標（Ｘ，Ｙ）との間の距離と、の重み付け和を算出することができる。こうして算出された重み付け和が、ステップＳ７０５において距離として用いられる。なお、上記の距離の算出方法は一例にすぎず、例えばＲＧＢ色情報の距離を用いてもよい。

ステップＳ７０５において境界決定部５０２は、ステップＳ７０４で算出された代表点からの距離に基づいて、各領域の境界を決定する。例えば、境界決定部５０２は、各画素について距離が最も小さくなる代表点を選択し、同じ代表点を選択した画素のグループを１つの領域として扱うことができる。このように境界決定部５０２は、フレーム画像を複数の領域に分割し、それぞれの領域の境界を決定することができる。本実施形態において境界決定部５０２は、非特許文献１と同様の方法を用いて領域の境界を決定する。非特許文献１では、画素のクラスタリングが行われ、各画素のクラスタが領域に相当する。もちろん、これらの方法は例にすぎず、他の領域分割方法を用いることもできる。

境界決定部５０２は、このように決定された領域境界を示す情報を、ＲＡＭ３０３に一時的に格納することができる。境界決定部５０２は、例えば、画素が含まれる領域を示す領域ＩＤを、フレーム画像の各画素を左上から行方向に順に走査するラスタスキャン順に発行することができる。領域境界を示す情報は、このように発行された、各画素に対応する領域ＩＤを格納するラベル行列であってもよい。

ステップＳ７０６において属性算出部５０３は、ステップＳ７０５で決定された各領域の属性情報を上記のように算出する。

既に説明したように、領域分割の精度を向上させるために、ステップＳ７０６で算出された属性情報を用いて代表点の情報を更新し、ステップＳ７０４〜ステップＳ７０６の処理を行うことを繰り返してもよい。境界決定部５０２が最後に生成した境界情報及び属性算出部５０３が最後に生成した属性情報が、分割部４０２から出力される。

ステップＳ７０７において属性選択部５０６は、属性算出部５０３で算出した属性情報を属性格納部５０４に格納するか否かを判定する（ステップＳ７０７）。本実施形態において属性選択部５０６は、処理しているフレーム画像の番号に応じて、この判定を行うことができる。例えば、処理しているフレーム画像が奇数フレーム２ｎ−１（ｎ＝１，２，３，……）である場合、ステップＳ７０８において属性選択部５０６はステップＳ７０６で算出された属性情報を属性格納部５０４に格納することができる。なお、ステップＳ７０４〜Ｓ７０６の処理が１つのフレーム画像について繰り返された場合、属性選択部５０６は属性算出部５０３が最後に生成した属性情報を属性格納部５０４に格納することができる。一方で、処理しているフレームが偶数フレーム２ｎである場合、ステップＳ７０８はスキップされる。

本実施形態における処理タイミングを図８を参照して説明する。図２と同様の項目については説明を省略する。図８の例においても、入力部４０１がフレーム画像を取得する処理である画像生成処理２００と、分割部４０２がフレーム画像を複数の領域に分割する処理である領域分割処理２０１とは、フレーム画像ごとにパイプライン並列処理されている。そして、領域分割処理２０１の周期Ｔ２は、画像生成処理２００の周期Ｔ１よりも長い。本実施形態の場合、画像生成処理２００はステップＳ６０１に、領域分割処理のステージ２０２はステップＳ７０１〜Ｓ７０５に、領域分割処理のステージ２０３はステップＳ７０６〜Ｓ７０８に、それぞれ対応する。色補正処理２０６は、ステップＳ６０３の処理に対応する。また、図８は、ステップＳ７０８で属性格納部５０４に記憶された属性情報が表すフレーム画像の番号と、属性情報の格納期間と、をさらに示す。本実施形態においては、奇数フレームについての領域分割処理のステージ２０４において、属性格納部５０４に記憶されている属性情報が更新される。

属性情報はステージ２０２（ステップＳ７０３）で取得される一方、属性情報の生成はステージ２０３（ステップＳ７０６）で行われる。このため、図８の例では、フレームＮの領域分割処理のために、フレームＮ−１について算出された属性情報を用いることはできない。本実施形態においては、フレーム１を始点とする奇数フレーム２ｎ−１間で属性情報が引き継がれ、奇数フレーム２ｎ−１と偶数フレーム２ｎとの双方の領域分割に、奇数フレーム２ｎ−１についての属性情報が用いられる。このため、属性選択部５０６は、奇数フレーム２ｎ−１について算出された属性情報のみを属性格納部５０４に格納している。

このような処理によれば、偶数フレーム及び奇数フレームともに、直前の奇数フレームについて算出された属性情報を用いて代表点の初期値が設定される。このため、フレーム２を除く全てのフレームについて、フレーム１のフレーム画像から引き継がれた属性情報を用いて、分割処理が行われる。したがって、領域分割処理をフレーム間で並列に行う場合であっても、フレーム間の領域分割結果の振動を低減することができる。

このように、本実施形態によれば、動画像をフレーム画像ごとに実時間で領域分割する際に、フレーム画像の入力周期よりも領域分割処理（又は領域分割して属性情報を算出する処理）の時間が長い場合であっても、より安定な領域分割結果を得ることができる。

図７及び図８に示す例は一例にすぎない。一実施形態において、属性選択部５０６は、フレーム画像の順序（例えば番号によって表すことができる）に応じて、フレーム画像についての属性情報を、後のフレーム画像の領域分割に用いるか否かを制御することができる。例えば、属性選択部５０６は、複数のフレーム画像から、所定数のフレームごとに（例えば図８に示すように２つごとに）、後のフレーム画像を複数の領域に分割する際に属性情報が用いられるフレーム画像を選択することができる。

また、領域分割処理２０１を任意の数の処理ステージに分割し、領域分割処理２０１をパイプライン並列処理することができる。この場合、属性選択部５０６は、領域分割処理の分割数に従う所定数のフレームごとに、複数のフレーム画像から、後のフレーム画像を複数の領域に分割する際に属性情報が用いられるフレーム画像を選択することができる。例えば、領域分割処理２０１を３個の処理ステージに分割する場合には、各フレーム画像の領域分割に、フレーム３ｎ−２についての属性情報を用いることができる。この場合、フレーム３ｎ−１及びフレーム３ｎについての属性情報は用いられない。このような場合にも、フレーム間の領域分割結果の振動を低減することができる。

また、本実施形態によれば、１つのフレーム画像についての属性情報が、複数のフレーム画像の領域分割のために直接引き継がれる。例えば、分割部４０２は、１つのフレーム画像（例えば図８のフレーム１）についての属性情報を、この１つのフレーム画像より後の複数のフレーム画像（例えばフレーム３，４）のそれぞれを複数の領域に分割する際に用いることができる。この場合、属性選択部５０６は、複数のフレーム画像から１つのフレーム画像（例えばフレーム３）を選択することができる。そして、属性選択部５０６は、分割部４０２が、このフレーム画像についての属性情報を、複数のフレーム画像（例えばフレーム３，４）より後のフレーム画像（例えばフレーム５，６）を複数の領域に分割する際に参照するように制御することができる。この場合、複数のフレーム画像のうちの１つのフレーム画像（例えばフレーム３）についての属性情報が、後のフレーム画像の領域分割のために引き継がれる。一方で、他のフレーム画像（例えばフレーム４）についての属性情報は、後のフレーム画像の領域分割のために引き継がれない。

別の実施形態において、分割部４０２は、第１のフレーム画像（例えば図８のフレーム１）についての属性情報を用いて、後の第２のフレーム画像（例えばフレーム３）、及びさらに後の第３のフレーム画像（例えばフレーム４）を分割する。ここで、属性選択部５０６は、分割部４０２が第２のフレーム画像より後のフレーム画像（例えばフレーム５，６）を分割する際に、第２のフレーム画像についての属性情報を用いるように制御することができる。一方で属性選択部５０６は、分割部４０２が第３のフレーム画像より後のフレーム画像を分割する際に、第３のフレーム画像についての属性情報を用いないように制御することができる。このように、あるフレーム画像（例えばフレーム１）についての属性情報を用いた最初の領域分割の対象となったフレーム画像（例えばフレーム３）についての属性情報は、後のフレーム画像の領域分割のために引き継がれる。一方で、この属性情報を用いた２回目以降の領域分割の対象となったフレーム画像（例えばフレーム４）についての属性情報は、後のフレーム画像の領域分割のために引き継がれない。これらの実施形態によっても、２種類以上の属性情報が独立に引き継がれることが防止され、領域分割結果の振動を抑制することができる。

ここまで、図７，８を参照して、領域分割処理のステージ２０２，２０３の処理時間がそれぞれＴ１以下である前提で説明を行った。しかしながら、属性情報を算出するための処理が複雑であり画像データに依存して演算量が変化するなどの何らかの理由により、いずれかの処理ステージの処理時間がＴ１を超えるかもしれない。以下では例として、フレームＮ−２についてのステージ２０３の処理時間がＴ１を超える場合を考慮した画像処理方法の例について、図９を参照して説明する。

この場合、１つのフレームについてのステップＳ７０６の処理の前（すなわちステージ２０３の開始時）に、属性算出部５０３は、直前のフレームについてのステップＳ７０６〜Ｓ７０７の処理が完了しているか否かを判定することができる。そして、直前のフレームについての処理が完了していない場合、属性算出部５０３は、この１つのフレームについてのステップＳ７０６以降の処理を打ち切ることができる。

例えば、図９の例では、フレームＮ−２についてのステージ２０３は、遅延１００４のために、周期Ｔを超える処理時間を要している。この場合、フレームＮ−１についてのステージ２０３はスキップされる。このような場合でも、属性格納部５０４に格納されている前フレームについての属性情報を用いて、後続するフレームについての領域分割を行うことができる。例えば、属性選択部５０６は、フレーム画像についての領域分割処理の処理遅延に応じて、このフレーム画像より後のフレーム画像を複数の領域に分割する際に属性情報が用いられるフレーム画像を選択することができる。図９の例では、ステージ２０３において、奇数フレームについての属性情報が属性格納部５０４に格納されている。フレームＮについてのステージ２０２では、フレームＮ−２について属性情報がまだ得られていないため、属性格納部５０４に格納されているフレームＮ−４についての属性情報を使用して領域分割処理を行うことができる。

さらに、図９に示すように、属性格納部５０４は、２つ以上のフレームについての属性情報を同時に格納してもよい。すなわち、属性選択部５０６は、属性格納部５０４に複数のフレーム画像についての属性情報を同時に格納させることができ、また、それぞれの属性情報が得られたフレーム画像の番号を格納させることができる。そして、属性選択部５０６は、ステージ２０３の処理時間に応じて、設定部５０５が読み出す属性情報を切り替えてもよい。

このような実施形態においては、ステップＳ７０８で属性選択部５０６は、属性格納部５０４に格納されている属性情報のうちより前のフレームについての属性情報を、ステップＳ７０６で算出された属性情報で更新することができる。また、ステップＳ７０３で属性選択部５０６は、属性格納部５０４に格納されているフレーム番号に基づいて、属性格納部５０４に格納されている属性情報のうちより後のフレームについての属性情報を取得し、設定部５０５に供給することができる。

このような構成によれば、領域分割処理の処理時間が変動する場合においても、領域分割結果の振動を軽減することができる。また、２つ以上のフレームについての属性情報を保持することにより、保持されている一方の属性情報の更新中であっても、他方の属性情報を読み込んで領域分割を行うことが可能になり、処理遅延を軽減することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

４０１：入力部、４０２：分割部、４０３：補正部、４０４：表示部、５０１：計算部、５０２：境界決定部、５０３：属性算出部、５０４：属性格納部、５０５：設定部、５０６：属性選択部

Claims (13)

1. 複数のフレーム画像を含む動画像を取得する取得手段と、
   過去のフレーム画像の分割結果である複数の領域それぞれの属性情報に基づいて、前記過去のフレーム画像より後のフレーム画像を、前記過去のフレーム画像の複数の領域にそれぞれ対応する複数の領域へと分割する分割手段と、
   フレーム画像ごとに、前記フレーム画像の分割結果である前記複数の領域それぞれの属性情報を、前記分割手段が前記フレーム画像より後のフレーム画像を複数の領域に分割する際に用いるか否かを制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記フレーム画像の順序に応じて、前記フレーム画像についての属性情報を用いるか否かを制御することを特徴とする、請求項１に記載の画像処理装置。
3. 前記制御手段は、前記複数のフレーム画像から、所定数のフレームごとに、後のフレーム画像を複数の領域に分割する際に属性情報が用いられるフレーム画像を選択することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記分割手段は、１つのフレーム画像についての前記属性情報を、前記１つのフレーム画像より後の複数のフレーム画像のそれぞれを複数の領域に分割する際に用いることを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、
   前記１つのフレーム画像より後の前記複数のフレーム画像から１つのフレーム画像を選択し、
   前記分割手段が、前記選択された１つのフレーム画像についての前記属性情報を、前記１つのフレーム画像より後の前記複数のフレーム画像よりさらに後のフレーム画像を複数の領域に分割する際に参照するように制御する
   ことを特徴とする、請求項４に記載の画像処理装置。
6. 前記分割手段は、第１のフレーム画像についての前記属性情報を用いて、前記第１のフレーム画像より後の第２のフレーム画像、及び前記第２のフレーム画像より後の第３のフレーム画像を分割し、
   前記制御手段は、
   前記分割手段が前記第２のフレーム画像より後のフレーム画像を分割する際に、前記第２のフレーム画像についての前記属性情報を用いるように制御し、
   前記分割手段が前記第３のフレーム画像より後のフレーム画像を分割する際に、前記第３のフレーム画像についての前記属性情報を用いないように制御する
   ことを特徴とする、請求項４に記載の画像処理装置。
7. 前記画像処理装置は、前記取得手段が前記フレーム画像を取得する処理と、前記分割手段が前記フレーム画像を複数の領域に分割する処理とを、フレーム画像ごとにパイプライン並列処理し、
   前記分割する処理の周期は、前記取得する処理の周期よりも長いことを特徴とする、請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記分割手段は、複数のステージに分割された前記分割する処理をパイプライン並列処理し、
   前記制御手段は、前記分割する処理の分割数に従う所定数のフレームごとに、前記複数のフレーム画像から、後のフレーム画像を複数の領域に分割する際に属性情報が用いられるフレーム画像を選択することを特徴とする、請求項７に記載の画像処理装置。
9. 前記制御手段は、前記フレーム画像についての前記分割する処理の処理遅延に応じて、前記フレーム画像より後のフレーム画像を複数の領域に分割する際に属性情報が用いられるフレーム画像を選択することを特徴とする、請求項７又は８に記載の画像処理装置。
10. 前記制御手段は、複数の前記フレーム画像についての属性情報を格納部に同時に格納させることを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
11. 複数のフレーム画像を含む動画像を取得する取得手段と、
    ＳＬＩＣ法に従って前記フレーム画像を複数の領域に分割する分割手段と、
    フレーム画像ごとに、前記フレーム画像の分割結果である前記複数の領域それぞれの属性情報を、前記分割手段が前記フレーム画像より後のフレーム画像を複数の領域に分割する際に用いるか否かを制御する制御手段と、
    を備えることを特徴とする画像処理装置。
12. 画像処理装置が行う画像処理方法であって、
    複数のフレーム画像を含む動画像を取得する取得工程と、
    過去のフレーム画像の分割結果である複数の領域それぞれの属性情報に基づいて、前記過去のフレーム画像の複数の領域にそれぞれ対応する複数の領域へと後のフレーム画像を分割する分割工程と、を有し、
    フレーム画像ごとに、前記フレーム画像の分割結果である前記複数の領域それぞれの属性情報を、前記分割工程で後のフレーム画像を複数の領域に分割する際に用いるか否かが制御されることを特徴とする、画像処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images