JP2017117019A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 前景物体と背景領域が混在する領域に対して意味的なクラスラベルを扱えるようにすること。【解決手段】 本発明は、入力画像を読み込む読み込み手段と、 前記読み込んだ入力画像を複数の小領域に分割する小領域分割手段と、 前記分割された小領域のうち複数のクラスが混在する小領域を、前記複数のクラスに関する混在領域として識別する識別手段と、を有する。【選択図】 図１

Description

本発明は、画像を複数の領域に分割する技術に関する。

画像を複数の領域に分割する多くの研究が行われており、近年では、画像から人物の領域、自動車の領域、道路の領域、建物の領域、空の領域などの、意味的な領域を切り出す課題が盛んに研究されている。このような課題は、意味的領域分割（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）と呼ばれ、写っている物の種類に対応した画像補正やシーン解釈などに応用できると考えられている。意味的領域分割を行うにあたり、画像の各位置に関するクラスラベルの判別を、画素単位ではなく、小領域（ｓｕｐｅｒｐｉｘｅｌ）単位で行うことは、すでに一般的である。小領域は、主に類似した特徴を持つ小さな領域として画像から切り出されるもので、様々な手法が提案されている。代表的なものとして、非特許文献１のようなグラフベースの手法や、非特許文献２のようなクラスタリングベースの手法がある。

上述のようにして得られた各小領域は、その小領域内部の特徴量、あるいはその周辺のコンテクスト特徴量も一緒に用いてクラスラベルを識別することができる。通常は、様々な学習画像を用いてこのような局所ベースの領域識別器を学習させることで領域識別を行うことになる。

Ｅｆｆｉｃｉｅｎｔ Ｇｒａｐｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｐ．Ｆ．Ｆｅｌｚｅｎｓｚｗａｌｂ、ＩＪＣＶ２００４． ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ，Ｒ．Ａｃｈａｎｔａ，Ａ．Ｓｈａｊｉ，Ｋ．Ｓｍｉｔｈ，Ａ．Ｌｕｃｃｈｉ，ＥＰＦＬ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，２０１０． Ｒｅｃｏｖｅｒｉｎｇ Ｓｕｒｆａｃｅ Ｌａｙｏｕｔ ｆｒｏｍ ａｎ Ｉｍａｇｅ，Ｄ．Ｈｏｉｅｍ，Ａ．Ａ．Ｅｆｒｏｓ ａｎｄ Ｍ．Ｈｅｂｅｒｔ，ＩＪＣＶ２００７． カーネル学習法とその画像認識への応用、西田健次、栗田多喜男、情報処理学会論文誌、ＣＶＩＭ１２，２００５．

ところで、世の中のシーンや物体を撮影した画像においては、複数の物体が入り組んでいる領域が存在する場合ある。例えば、空を背景にして木を撮影したような画像では、木の枝の間から空が覗いて見えるような領域がある。このような領域を含む画像を、上記のように分割された小領域を最小単位として、領域識別器を使って画像の領域クラスを識別しようとすると、空の領域と木の領域を詳細に分割することは困難な問題となる。上記のような空と木の枝が混在する小領域は、空単独で写っている小領域とも、木単独で写っている小領域とも、見えの特徴が異なる。

このような場合に、従来は学習画像における小領域内部において最も占有面積の大きいクラスを、その小領域の正解クラスとして扱って領域識別器を学習させる。あるいは、前記占有面積に対して一定の閾値を設けて、学習画像の小領域においてクラスの純度がその閾値より低い場合学習に使わないという方法がとられていた。上記のように空と木の枝が混在しているような領域では、小領域におけるそれぞれのクラスの純度は低いため、学習時の正解クラスの振り分けが不安定になり、学習された領域識別器の判定も不安定になる。

そこで、非特許文献３では、このような領域を空とも木とも別のクラスとして扱うことを提案している。この非特許文献３では、上記のような領域を”ｐｏｒｏｕｓ”領域、物体が単独で写っている領域を”ｓｏｌｉｄ”領域と定義して、区別している。しかしながら、この非特許文献３の手法では、”ｐｏｒｏｕｓ”領域が具体的にどのようなクラスで構成されるのか規定されておらず、意味的なクラスラベルを扱っていない。そこで、本発明は、前景物体と背景領域が混在する領域に対して意味的なクラスラベルを扱えるようにすることを目的とする。

上記課題を解決するために、本発明は、入力画像を読み込む読み込み手段と、 前記読み込んだ入力画像を複数の小領域に分割する小領域分割手段と、 前記分割された小領域のうち複数のクラスが混在する小領域を、前記複数のクラスに関する混在領域として識別する識別手段と、を有することを特徴とする。

以上の構成によれば、本発明は、前景物体と背景領域が混在する領域に対して意味的なクラスラベルを扱えるようにすることが可能となる。

各実施形態に関わる画像処理装置の構成図。 各実施形態に関わる学習時およびランタイム時の処理の詳細を示すフローチャート。 第１の実施形態において領域クラスラベルデータの一例を示す図。 第１の実施形態おいて画像を小領域に分割する処理を説明する図。 第１の実施形態において学習画像と領域クラスラベルデータから小領域を抽出する処理を説明する図。 第１の実施形態において更新クラスラベルデータの一例を示す図。 第１の実施形態において抽出されたパッチ領域の一例を示す図。 第１の実施形態において入力画像に対する領域分割処理の概要を説明する図。 第４の実施形態において簡易領域クラスラベルデータを説明する図。 第４の実施形態において初期領域クラスラベルの入力処理を説明する図。 第４の実施形態においてサンプル領域クラスラベルの修正処理を説明する図。 第３の実施形態においてテンプレートとマスクについて説明する図。 第３の実施形態においてテンプレートマッチングとマスクを用いた前景と背景の分離の処理について説明する図。 第２の実施形態において学習時およびランタイム時の処理の詳細を示すフローチャート。 第２の実施形態において混在領域を過分割する処理の概略図。

［第１の実施形態］
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。図１は、各実施形態に係る画像処理装置のソフトウェア構成を示す構成図であり、図１（ａ）が本実施形態の画像処理装置の構成図である。本実施形態の画像処理装置は、ネットワークまたは各種情報記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実現できる。なお、計算機については、汎用の計算機を用いてもよいし、本発明のプログラムに最適に設計されたハードウェアを用いてもよい。

最初に、学習時の装置構成概要に関して説明する。ここで学習とは、後述するランタイム時の処理を行うために利用される小領域識別器および混在領域識別器を、事前に用意された学習画像から生成することである。

図１において、学習データ記憶部５１００には予め学習データが用意されている。学習データは、複数の学習画像と、学習画像の各画素に対応して領域クラスラベルが付与された領域クラスラベルデータとから構成される。学習データ読み込み部２１００は、学習データ記憶部５１００から学習データを読み込む。学習画像小領域分割部（第２の分割部）２２００は、各学習画像を小領域に分割する。混在領域設定部２３００は、学習画像小領域分割部２２００による小領域分割結果と領域クラスラベルデータとに基づいて、所定の小領域に対して混在領域ラベルを付与する。小領域識別器生成部（第１の生成部）２４００では、各小領域の特徴量と領域クラスラベルに基づいて学習処理を行い、小領域のクラスを識別する小領域識別器を生成する。生成された小領域識別器は、小領域識別器記憶部５２００に記憶される。混在領域識別器生成部２５００（第２の生成部）は、学習画像と領域クラスラベルデータに基づいて、混在領域の各画素のクラスを推定する混在領域識別器を生成する。

次に、ランタイム時の装置構成の概要に関して説明する。ここでランタイムとは、未知の入力画像に対して意味的領域分割を行うことである。入力画像読み込み部１１００は、入力画像を読み込む。入力画像小領域分割部（第１の分割部）１２００は、読み込んだ入力画像を複数の小領域に分割する。小領域識別部１３００は、小領域識別器記憶部５２００に記憶されている小領域識別器を読み出し、入力画像小領域分割部１２００で分割された各小領域の領域クラスを推定する。推定されたクラスの中に後述する混在領域クラスが存在する場合、混在領域分割部１４００は混在領域識別器記憶部５３００から混在領域識別器を読み込み、混在領域中に存在する複数のクラス領域を分割する。

なお、学習画像読み込み部２１００、学習画像小領域分割部２２００、混在領域設定部２３００、小領域識別器生成部２４００および混在領域識別器生成部２５００は、全て同じ計算機上で実現されるものでもよいし、それぞれ独立したモジュールとしてもよい。また、計算機上で実装されるプログラムとして実現してもよい。さらに、学習データ記憶部５１００、小領域識別器記憶部５２００、および混在領域識別器記憶部５３００は、前記計算機の内部もしくは外部のストレージとして実現される。

また、入力画像読み込み部１１００、入力画像小領域分割部１２００、小領域識別部１３００、混在領域分割部１４００は、全て同じ計算機上で実現されるものでもよいし、それぞれ独立したモジュールとしてもよい。また、計算機上で実装されるプログラムとして実現してもよいし、カメラ等の撮影装置内部において回路もしくはプログラムとして実装してもよい。ランタイム時の装置は、学習時と同じ計算機上で実現してもいいし、別々の計算機で実現してもよい。小領域識別器記憶部５２００、混在領域識別器記憶部５３００は、学習時とランタイム時で別々の装置で実現される場合には、それぞれで異なるストレージであってもよい。その場合には、学習時に得られた各識別器を、ランタイム用の装置におけるストレージにコピーもしくは移動して用いればよい。

次に、本実施形態の画像処理装置による処理の詳細について説明する。図２は、各実施形態に関わる学習時およびランタイム時の処理の詳細を示すフローチャートであり、図２（ａ）が本実施形態の学習時に係るフローチャートである。図２（ａ）において、学習データ読み込みステップＳ２１００では、学習画像と領域クラスラベルデータを読み込む。学習データ読み込みステップＳ２１００は、学習データ読み込み部２１００における処理に相当する。

学習データ記憶部５１００には、予め複数の学習画像と領域クラスラベルデータが用意されており、学習画像とは、具体的には例えばデジタルカメラ等で撮影された画像データである。ここでは、用意されている学習画像の枚数をＮ枚とし、ｎ番目の学習画像をＩ＿ｎ（ｎ＝１，…，Ｎ）と書くこととする。

また、領域クラスラベルデータとは、各学習画像に対して一対一対応するデータで、学習画像の各画素に対して意味的な領域クラスのラベルが割り振られているものである。図 ３に、領域クラスラベルデータの一例を示す。図３（ａ）には学習画像８００が示されており、図３（ｂ）に学習画像８００に対応する領域クラスラベルデータ８１０が示されている。領域クラスラベルデータの意味的な領域クラスは、公開画像データベースであるＭＳＲＣ−２１データセットなどで一般的に用いられているような、空（ｓｋｙ）、人物（ｂｏｄｙ）、建物（ｂｕｉｌｄｉｎｇ）といったものである。ここでは、領域クラスは、全部でＮ＿ｃ種類あるとする。また、学習画像Ｉ＿ｎに対応する領域クラスラベルデータをＧＴ＿ｎとする。

次に、学習画像小領域分割ステップＳ２２００では、学習画像を小領域に分割する。学習画像小領域分割ステップＳ２２００は、学習画像小領域分割部２２００における処理に相当する。小領域は、主に類似した特徴を持つ小さな領域として画像から切り出されるもので、画像を小領域に分割するいくつかの手法が提案されている。代表的なものとして、上述の非特許文献１のようなグラフベースの手法や、非特許文献２のようなクラスタリングベースの手法がある。あるいは、単純に均一サイズの長方形に画像を分割したブロック領域を小領域として用いてもよい。

図４は、画像を小領域に分割する処理を説明する図である。図４（ａ）が画像５００を示しており、図４（ｂ）にはこの画像５００を小領域分割した結果５１０が示されている。ここでは、画像Ｉ＿ｎに対する小領域分割結果として、Ｋ＿ｎ個の小領域が生成されたとする。また、学習用の小領域の総数はＫ＿ａｌｌ＝ΣＫ＿ｎ個であって、学習画像の小領域を通し番号でＳＰ＿ｋ（ｋ＝１，…，Ｋ＿ａｌｌ）と書くこととする。

次に、混在領域設定ステップＳ２３００では、領域クラスラベルデータと小領域分割結果に基づき、混在領域クラスを学習画像の各画素に対して割り当てる。混在領域設定ステップＳ２３００は、混在領域設定部２３００における処理に相当する。混在領域設定ステップＳ２３００では、Ｎ枚の領域クラスラベルデータＧＴ＿ｎ（ｎ＝１，…，Ｎ）それぞれに対して、以下の処理が繰り返し行われる。

まず、更新クラスラベルデータとして、ＧＴｎｅｗ＿ｎを設定する。初期値として、ＧＴｎｅｗ＿ｎはＧＴ＿ｎと同じ状態とする。ここで、図５を用いて、学習画像と領域クラスラベルデータから小領域を抽出する処理を説明する。図５（ａ）は学習画像５００とその小領域５２０を示しており、図５（ｂ）は初期状態の更新クラスラベルデータの例を示している。この例では、領域クラスラベルデータ６００に対して、空領域６１０と木領域６２０のクラスラベルが割り当てられている。

本実施形態では、画像Ｉ＿ｎに対する小領域分割結果として得られたＫ＿ｎ個の小領域それぞれに対して、ＧＴ＿ｎ上で小領域内の各画素に付与されているクラスラベルを調べる。例えば、図５（ｂ）の例では、図５（ａ）における学習画像５００上の小領域５２０に対応する領域クラスラベルデータ上の小領域５３０を考える。小領域ＳＰ＿ｋ中のクラスｃが割り振られた画素の数がｐ＿ｃ個であったとする。小領域ＳＰ＿ｋに占める画素数が最も多いクラスがｃ１、次に多いクラスがｃ２であったとしたとき、その合計画素数ｐ＿ｃ１＋ｐ＿ｃ２と小領域の総画素数Σｐ＿ｃの比α＿ｋは下記の数式１のように表わされる。

小領域ＳＰ＿ｋのα＿ｋの値が任意の閾値ρ未満の場合、その小領域は学習に用いないものとし、更新クラスラベルデータＧＴｎｅｗ＿ｎにおける該当箇所のクラスラベルを「非使用」として書き直す。閾値ρの値は、例えばρ＝０．９などと設定する。小領域ＳＰ＿ｋのα＿ｋの値がρ以上である場合には、クラスｃ１とｃ２の混在度を計算する。混在度とは、もっとも単純には画素数の比率で定義され、下記の数式２のように表わされる。

ここでｍｉｘ＿ｋは、小領域ＳＰ＿ｋの混在率と呼ぶ。空と木の枝のように二つのクラスが入り組んだ状態だけを混在領域として考えるのであれば、下記の数式３のように定義してもよい。ここで、ｍ＿ｃ１、ｍ＿ｃ２は、それぞれ小領域ＳＰ＿ｋ内でクラスｃ１およびｃ２が割り当てられている画素の重心である。

このようにして定義された混在度が所定の閾値θ以上であるとき、小領域ＳＰ＿ｋは「クラスｃ１とｃ２の混在領域である」とする。閾値θの値は、例えばθ＝１．５などと設定する。図５（ｂ）の例では、小領域５３０における背景の空の領域５３１と、前景の細かい木の枝の領域５３２の画素数が近ければ、「空と木の混在領域」と判定される。ここで、２つのクラスの混在領域に関して、どちらを前景クラスにするかは、予め決めておく。例えば、空と木の混在領域の場合、「木を前景、空を背景とする」と定義しておく。

混在領域と判定された小領域に関しては、更新クラスラベルデータＧＴｎｅｗ＿ｎにおける該当箇所のクラスラベルを「クラスｃ１とｃ２の混在領域」として書き直す。一方、混在領域ではないと判断された小領域に関しては、更新クラスラベルデータＧＴｎｅｗ＿ｎにおける該当箇所のクラスラベルをクラスｃ１として書き直す。このようにして、全ての学習画像Ｉ＿ｎ（１，…，Ｎ）に対する更新クラスラベルデータＧＴｎｅｗ＿ｎ（１，…，Ｎ）が設定される。図６には、以上のようにして更新されたクラスラベルデータ７００を示す。

図２（ａ）のフローチャートの説明に戻ると、小領域識別器生成ステップＳ２４００では、小領域のクラスを識別する小領域識別器を学習して生成する。小領域識別器生成ステップＳ２４００は、小領域識別器生成部２４００における処理に相当する。

学習に用いるデータは、全ての学習画像における小領域の中で、更新クラスラベルとして「非使用」が割り振られていない全ての小領域である。まず、学習に用いる小領域から、小領域特徴を抽出する。図５（ａ）の例では小領域のうち一つの小領域５２０が示されており、この小領域５２０の特徴量は画像５００のこの領域内から得られる。ここで抽出される小領域特徴は、小領域内部における色平均値や色ヒストグラム、小領域の位置や大きさ、ＬＢＰなどのテクスチャ特徴などを用いることができる。本実施形態は、用いる特徴量に関して、その種類によって限定されるものではない。また、小領域の周囲に関する線分や色の分布などによるコンテクスト特徴を用いてもよい。小領域ＳＰ＿ｋから抽出された小領域特徴をｘ＿ｋとする。そして、ＧＴｎｅｗ＿ｎの小領域ＳＰ＿ｋに対応する領域クラスラベルがｃ＿ｋであるすると、小領域ＳＰ＿ｋに対する教師ベクトルτ＿ｋは下記の数式４、数式５のようになる。

ここで、Ｎ＿ｎｅｗは、もとの意味的クラス数Ｎ＿ｃに、混在領域クラスを含めた総クラス数である。領域識別器の学習は、識別関数に対して小領域特徴ｘ＿ｋを入力したときに得られる出力ベクトルと教師ベクトルτ＿ｋの誤差が、全学習データを通して小さくなるように識別関数のパラメータを調整して、小領域識別器を生成することである。小領域識別器は、小領域特徴ｘ＿ｋを入力として、各領域クラスのスコアベクトルｆ（ｘ＿ｋ）を出力する。ここで、スコアベクトルｆ（ｘ＿ｋ）は、Ｎ＿ｎｅｗ次元のベクトルである。スコアベクトルｆ（ｘ＿ｋ）の各要素は各領域クラスに対するスコアであって、ｃ番目の領域クラスに対するスコアをｆ＿ｃ（ｘ＿ｋ）（ｃ＝１，…，Ｎ＿ｎｅｗ）と記述すると、下記の数式６のように表現される。

識別関数のモデルとその学習方法には様々なものが考えられ、例えば、ＳＶＭや多層ニューラルネットワーク、ロジスティック回帰などを用いることができる。本実施形態は、それらの種類によって限定されるものではない。学習して得られた領域識別器は、小領域識別器記憶部５２００に記憶される。

次に、混在領域識別器学習ステップＳ２５００では、混在領域の各画素を識別する混在領域識別器を生成する。混在領域識別器生成ステップＳ２５００は、混在領域識別器生成部２５００における処理に相当する。

混在領域識別器生成ステップＳ２５００では、まず、混在領域設定ステップＳ２３００にて設定された混在領域からパッチ領域を抽出する。パッチ領域は、混在領域中の全ての画素に対して、その画素を中心とした周辺領域を含む小さな範囲として抽出される。例えば、９×９画素の正方形領域や、半径５画素の円領域などのように、その注目画素を含む所定の領域とすることができる。図７には、抽出されたパッチ領域の例が８１１〜８１４として示されている。
画像Ｉ＿ｎにおける混在領域の画素数がＳ＿ｎであるとすれば、画像Ｉ＿ｎからパッチ領域はＳ＿ｎ個抽出されることとなる。全学習画像に対して通し番号でｊ番目のパッチをＰ＿ｊと書くこととする。ここで簡単のため、空を背景クラス、前景が木クラスである混在領域の場合を考える。これらのパッチ領域は、その中心画素が前景クラスであれば正事例、背景クラスであれば負事例と割り振られる。図７では、正事例８３１、８３２と負事例８３３、８３４とに割り振られた例を挙げている。パッチＰ＿ｊに対する教師値η＿ｊは下記のようになる。

ここでは、色情報とエッジ情報の統合による識別器生成を考える。パッチ領域からの色情報としては、パッチ全体からの色分布情報としてのＲＧＢヒストグラムと、パッチ領域中心位置におけるＲＧＢ値を特徴量として抽出する。色情報特徴量はＨＳＶやＹＣｂＣｒなどの色空間によるものでもよく、ＲＧＢに限定されるものではない。パッチＰ＿ｊから得られた色情報特徴量をｙ＿ｊとする。色情報による前景／背景識別器の学習は、識別関数に対して色情報特徴量ｙ＿ｊを入力したときに得られる出力値と教師値η＿ｊの誤差が、全学習データを通して小さくなるように識別関数のパラメータを調整して、領域識別器を生成することである。本実施形態は識別器の種類に限定されるものではなく、具体的な例としては、ＳＶＭやロジスティック回帰などが挙げられる。色情報による前景／背景識別器を、色情報特徴量ｙ＿ｊを入力とした関数ｇ＿ｃｏｌｏｒ（ｙ＿ｊ）と表すこととする。

次に、パッチ領域からエッジ情報を抽出する。パッチ領域Ｐ＿ｊに対してエッジ抽出を行い、得られたエッジ画素の集合をｅ＿ｊとする。エッジ集合ｅ＿ｊには、各エッジ画素の、パッチ中心からの相対位置が対応付けられている。ここで、ある２つのパッチ領域Ｐ＿ｉとＰ＿ｊのエッジ集合ｅ＿ｉ、ｅ＿ｊのＣｈａｍｆｅｒ距離をＤ＿ｉｊとする。Ｃｈａｍｆｅｒ距離は、異なるエッジ画像間で、最も近い位置にあるエッジ画素のペアに関する距離の平均を計算するもので、２つのエッジ画像の近さを表している。非特許文献４にあるように、このＣｈａｍｆｅｒ距離Ｄ＿ｉｊを引数にしたカーネルを用いてＳＶＭを学習することができる。エッジ情報による前景／背景識別器を、エッジ集合ｅ＿ｊを入力とした関数ｇ＿ｅｄｇｅ（ｅ＿ｊ）と表すこととする。

エッジ情報による前景／背景識別器のカーネルへの引数としては、パッチＰ＿ｉとＰ＿ｊの位相限定相関の逆数など、様々なものが考えられるが、本実施形態はその種類に限定されるものではない。また、ＬＢＰなどのテクスチャ特徴を使って、ＳＶＭやロジスティック回帰などでエッジ情報による前景／背景識別器を生成してもよい。上記のようにして得られた色情報による前景／背景識別器と、エッジ情報による前景／背景識別器の出力結果を統合することで、最終的な前景／背景識別器を得る。色情報による前景／背景識別器の出力値ｇ＿ｃｏｌｏｒ（ｙ＿ｊ）とエッジ情報による前景／背景識別器の出力値ｇ＿ｅｄｇｅ（ｅ＿ｊ）を結合して、中間的な特徴ベクトルｇ＿ｊとして扱う。

これを入力として、教師値η＿ｊの値に従って関数ｈ（ｇ＿ｊ）を学習させることで、統合器が生成される。色情報による前景／背景識別器ｇ＿ｃｏｌｏｒ（ｙ＿ｊ）と、エッジ情報による前景／背景識別器ｇ＿ｅｄｇｅ（ｅ＿ｊ）、それらを統合する統合器ｈ（ｇ＿ｊ）によって、前景／背景識別器は構成される。生成された前景／背景識別器は、混在領域識別器記憶部５３００に書き込まれる。

以上により、学習時における処理が終了する。ランタイム時には、上記学習処理によって得られた小領域識別器と混在領域識別器を利用することによって、未知の入力画像における意味的領域分割を実行する。続いて、ランタイム時の処理に関して、図２（ｂ）のフローチャートに従って説明する。

入力画像読み込みステップＳ１１００では、入力画像Ｉが設定される。ここで、入力画像読み込みステップＳ１１００は、入力画像読み込み部１１００における処理に相当する。図８は、入力画像に対する領域分割処理の概要を説明する図であり、図８（ａ）には入力画像Ｉが１００として示されている。設定される入力画像Ｉの入力方法に関しては種々の方法が考えられるが、本実施形態はその入力方法に関して限定されるものではない。例えば、カメラなどの撮像装置から与えられるものでもよいし、予めハードディスクなどのストレージに保存されていた画像データから与えられるものでもよい。

入力画像小領域分割ステップＳ１２００では、入力画像Ｉに対する小領域分割処理が行われる。ここで、入力画像小領域分割ステップＳ１２００は、入力画像小領域分割部１２００における処理に相当する。ここで行われる小領域分割手法は、学習画像小領域分割ステップＳ２２００と同じものが適用される。図８（ｂ）には、入力画像の小領域分割結果２００の例を示す。ここでは、入力画像Ｉを小領域分割して得られた小領域の総数をＫとする。

次に、小領域識別ステップＳ１３００では、入力画像Ｉの各小領域に関して領域クラスを識別する。ここで小領域識別ステップＳ１３００は、小領域識別部１３００における処理に相当する。小領域識別ステップＳ１３００では、まず、入力画像小領域分割ステップＳ１２００にて得られた各小領域から、小領域特徴量を抽出する。抽出する特徴量は、学習時における小領域識別器生成ステップＳ２４００にて学習画像の小領域から抽出した特徴量と同じ種類のものである。ここでは、小領域ＳＰ＿ｋ（ｋ＝１，…，Ｋ）から抽出された小領域特徴をｘ＿ｋとする。

小領域識別器記憶部５２００には、学習時に小領域識別器生成ステップＳ２４００にて得られた小領域識別器が記憶されているため、次にこれを読み込む。そして、読み込まれた小領域識別器ｆに対して、それぞれの小領域ＳＰ＿ｋに関する小領域特徴ｘ＿ｋを入力することで、各領域クラスのスコアベクトルｆ（ｘ＿ｋ）が出力される。

ここで、各小領域ＳＰ＿ｋに対する領域識別結果は、スコアｆ（ｘ＿ｋ）が最大となるクラスｃ＿ｋとして得られるものとする。

全ての小領域ＳＰ＿ｋ（ｋ＝１，…，Ｋ）に関して領域識別器ｆを適用して全ての領域識別結果ｃ＿ｋが得られたら、小領域識別ステップＳ１３００を終了する。図８（ｃ）には、得られた領域識別結果３００の例を示す。

混在領域分割ステップＳ１４００では、混在領域の各画素に関して、前景／背景の判定を行うことで、詳細な意味的領域分割の結果を得る。ここで、混在領域分割ステップＳ１４００は、混在領域分割部１４００における処理に相当する。

小領域識別ステップＳ１３００で混在領域と判定された領域の各画素を中心として、学習時と同様にしてパッチ領域を抽出する。そして、各パッチ領域Ｐ＿ｊから、学習時と同様にして色情報特徴量ｙ＿ｊとエッジ集合ｅ＿ｊとを抽出する。それらを入力として色情報による前景／背景識別器とエッジ情報による前景／背景識別器の出力ｇ＿ｃｏｌｏｒ（ｙ＿ｊ）およびｇ＿ｅｄｇｅ（ｅ＿ｊ）をそれぞれ得る。それぞれの識別器によって得られた判定結果を結合して中間的特徴量ｇ＿ｊ＝［ｇ＿ｃｏｌｏｒ（ｙ＿ｊ），ｇ＿ｅｄｇｅ（ｅ＿ｊ）］を統合器に入力することで、最終的な前景／背景の判定結果ｈ（ｇ＿ｊ）を得る。前景と判定された画素に対しては前景クラスのクラスラベルを割り当て直し、背景と判定された画素に対しては背景クラスのクラスラベルを割り当てる。混在領域中の各画素に対して、前景／背景識別を行った結果により、クラスラベルを割り当て直した結果の例を図８（ｄ）の４００に示す。

また、混在領域識別器による前景／背景識別結果を初期値にして、後処理による微修正を行ってもよい。混在領域識別器の出力値を単項ポテンシャルの値として用いてＣＲＦやＭＲＦによるスムージングを行ってもよい。また、混在領域識別器による前景／背景識別結果でシンクノードとソースノードを割り振り、グラフカットを行ってもよい。

なお、ここでは混在領域識別器ｈを、色特徴による識別器とエッジ特徴による識別器を統合する方法で説明したが、本実施形態は特定の混在領域識別器の構成に限定されるものではない。例えば、混在領域識別器ｈを畳み込みニューラルネットワークで学習させるなどといった手法であってもよい。

以上のようにして、本実施形態は、前景物体と背景領域が混在する領域に対して、中間的な「混在領域」クラスを設けることで意味的なクラスラベルを扱えるようになる。本実施形態では、小領域にクラスｃ１とｃ２が含まれる場合には、「クラスｃ１とｃ２」に関する混在領域として学習、識別できるようになり、前景物体と背景領域が混在する領域に対して意味的なクラスラベルを扱えるようにすることが可能となる。

更に、混在領域内部の各画素に対して前景と背景の２クラス判定を行うことで、領域を詳細に分割することができる。また、ここでは木と空の組み合わせによる例を示したが、本実施形態はその組み合わせによって限定されるものではない。例えば、手すりや建築物の骨組みなどの細かい人工物を前景として空を背景とするような場合や、木の枝を前景として背景に建物があるような場合などにも広く適用できるものである。

［第２の実施形態］
第２の実施形態では、混在領域と判定された領域をさらに小さな小領域に過分割して、それぞれの過分割領域を識別する構成について説明する。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。まず、図２（ａ）のフローチャートを参照して、学習時の処理の詳細について説明する。

図２（ａ）のフローチャートにおいて、学習データ読み込みステップＳ２１００、学習画像小領域分割ステップＳ２２００、混在領域設定ステップＳ２３００および小領域識別器学習ステップＳ２４００は、第１の実施形態と同様である。本実施形態では、混在領域識別器生成ステップＳ２５００は、小領域過分割ステップＳ２５１０と過分割領域識別器学習ステップＳ２５２０に細分化される。図１４（ａ）に、第２の実施形態における混在領域識別器生成ステップＳ２５００のフローチャートを示す。

小領域過分割ステップＳ２５１０では、学習画像中の混在領域に関し、過分割となるように小領域分割を行う。図１５は混在領域を過分割する処理の概略図であり、同図の例では、小領域５２０をさらに小さな複数の領域５３０に過分割している。ここで小領域を過分割する手法は、学習画像小領域分割ステップＳ２２００にて用いた手法の設定パラメータを変えたものとしてもよいし、別の手法でもよい。例えば、画素値によるｋ−ｍｅａｎｓクラスタリングなどによって、小領域を複数の領域に過分割してもよい。

次に、過分割領域識別器学習ステップＳ２５２０では、過分割領域を前景と背景に判別するための過分割領域識別器を生成する。まず、小領域過分割ステップＳ２５１０にて得られた過分割領域から、特徴量を抽出する。特徴量は小領域における特徴量と同様、過分割領域内の色平均値や色ヒストグラム、過分割領域の大きさやＬＢＰなどのテクスチャ特徴などを用いてもよい。更には、過分割領域内部から抽出された特徴量に、過分割領域の属する小領域の特徴量を加えてもよい。

全ての学習画像の全ての小領域を過分割して得られた過分割領域の数をＭとし、通し番号ｍで過分割領域をＯＳＰ＿ｍ（ｍ＝１，…，Ｍ）と表すこととする。また、過分割領域ＯＳＰ＿ｍから得られた過分割領域特徴量をｚ＿ｍとする。過分割領域ＯＳＰ＿ｍに対する教師値λ＿ｍは、下記の数式１１のようになる。

ここで過分割領域ＯＳＰ＿ｍが前景であるとは、ＯＳＰ＿ｍで面積的に占有率の大きいクラスが前景クラスである場合である。空と木の混在領域に関して、木を前景、空を背景とした場合、図１５の例では、過分割領域５３１は前景で、過分割領域５３２は背景である。教師値λ＿ｍと過分割領域特徴量ｚ＿ｍ（ｍ＝１，…，Ｍ）を用いて、過分割領域識別器ｈ（ｚ）を学習して生成する。過分割領域識別器ｈ（ｚ）のモデルは様々なものが考えられるが、本実施形態はその種類によって限定されるものではない。例えば、ＳＶＭや多層ニューラルネットワーク、ロジスティック回帰などを使ってもよい。学習によって得られた過分割領域識別器ｈ（ｚ）は、混在領域識別器記憶部５３００に書き込まれる。

次に、ランタイム時の処理を図２（ｂ）のフローチャートに沿って説明する。図２（ｂ）のフローチャートにおいて、入力画像読み込みステップＳ１１００、入力画像小領域分割ステップＳ１２００および小領域識別ステップＳ１３００は、第１の実施形態と同様である。混在領域分割ステップＳ１４００は、さらに小領域過分割ステップＳ１４１０と過分割領域識別ステップＳ１４２０とに細分化される。図１４（ｂ）に、第２の実施形態における混在領域分割ステップＳ１４００のフローチャートを示す。

まず、小領域過分割ステップＳ１４１０では、入力画像において混在領域と判定された小領域を、学習時の小領域過分割ステップＳ２５１０と同様の手法にて過分割する。

過分割領域識別ステップＳ１４２０では、過分割領域識別器を用いて過分割領域を識別する。まず、過分割領域識別器学習ステップＳ２５２０と同様の手法にて過分割領域から特徴量を抽出する。次に、混在領域識別器記憶部５３００から過分割領域識別器を読み込み、過分割領域識別器ｈ（ｚ）を用いて、混在領域の各過分割領域を前景か背景か判定する。最後に、前景と判定された過分割領域には前景のクラスラベルを割り当て、背景と判定された過分割領域には背景のクラスラベルを割り当てることにより、図８（ｄ）のような詳細なクラス出力結果を得る。

本実施形態では、このようにして、混在領域をさらに過分割して前景と背景を判定することにより、詳細なクラス領域識別結果を得ることができる。

［第３の実施形態］
第３の実施形態では、テンプレートマッチングによるマスクの適用によって混在領域を識別する構成について説明する。なお、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。まず、図２（ａ）のフローチャートを参照して、学習時の処理の詳細について説明する。

図２（ａ）のフローチャートにおいて、学習データ読み込みステップＳ２１００、学習画像小領域分割ステップＳ２２００、混在領域設定ステップＳ２３００および小領域識別器学習ステップＳ２４００は、第１の実施形態と同様である。

本実施形態の混在領域識別器生成ステップＳ２５００では、学習画像の混在領域からパッチ領域を切り出し、テンプレートとする。図１２には、本実施形態におけるテンプレートとマスクの例を示す。図１２の例では、学習画像５００からパッチ領域８１１〜８１４がテンプレートとして抽出される。次に、領域クラスラベルデータからパッチ領域の位置に対応する領域をマスクとして切り出す。図１２の例では、領域ラベル８３１〜８３４が、マスクとして抽出される。切り出されたテンプレートとマスクを混在領域識別器記憶部５３００に記憶する。

次に、ランタイム時の処理を図２（ｂ）のフローチャートに沿って説明する。図２（ｂ）のフローチャートにおいて、入力画像読み込みステップＳ１１００、入力画像小領域分割ステップＳ１２００および小領域識別ステップＳ１３００は、第１の実施形態と同様である。混在領域分割ステップＳ１４００では、小領域識別ステップＳ１３００にて混在領域と判定された領域に関して、テンプレートマッチングとマスクの適用によって、前景と背景の分離を行う。

図１３を参照して、テンプレートマッチングとマスクを用いた前景と背景の分離の処理について説明する。本実施形態では、入力画像１００の混在領域中の各位置に対して、混在領域識別器生成ステップＳ２５００にて切り出したテンプレートとのマッチングを行い、最もマッチ度の高いテンプレート画像を探索し、そのテンプレートを抽出する。テンプレートマッチングの手法としては、既知のどのような手法を用いるようにしてもよい。例えば、一般的な正規化相関でもよいし、ｅｘｅｍｐｌｅｒ−ＳＶＭなどの事例ベース検出器を使ってもよい。あるいは、ランダムツリーを使った高速マッチングを行ってもよい。

図１３では、位置１１０における部分画像１１１と最もマッチ度の高いテンプレート１５１が示されている。次に、入力画像の部分画像１１１とテンプレート１５１の局所領域の対応を取る。局所領域の対応を取る手法としては、Ｈａｒｒｉｓコーナー検出器とＳＩＦＴ特徴による方法などがよく知られている。入力画像の部分画像１１１とテンプレート１５１の局所領域の対応は、図１３において符号１２０として示されている。対応がとれれば、テンプレート１５１をワーピングなどの既知手法によって、入力画像の部分画像１１１と類似した部分画像１５２に変形することができる。

また、テンプレート１５１に対応するマスク４５１に関して、同様の変形を行い、変形マスク４５２を得る。変形したマスクを混在領域における元の位置４１０に適用し、混在領域の全画素に関するマスクのＡＮＤもしくはＯＲを取ることで、最終的な出力４００を得ることができる。また、第１の実施形態と同様に、マスクによって得られた結果を初期値にして、ＣＲＦやＭＲＦ、グラフカットなどによる後処理で微修正を行ってもよい。

本実施形態では、このようにしてテンプレートマッチングとマスクの変形を組み合わせることによって、事例ベースによる混在領域の詳細分割を行うことができる。

［第４の実施形態］
第１、第２および第３の実施形態で利用していた領域クラスラベルデータは、例えば、図９（ｂ）で示したように、領域クラスラベルが細かく入力されている必要がある。しかしながら、このような詳細な領域クラスラベルをユーザが入力していくのは非常に手間のかかる作業である。そこで、本発明の第４の実施形態では、混在領域を用いて領域クラスラベルデータを入力する手間を削減し、高精度に混在領域を識別できる構成について説明する。なお、第１〜第３の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。

図１（ｂ）は、本実施形態に係る画像処理装置の機能構成を示す概略図である。同図において、学習画像記憶部５４００には、領域クラスラベルを入力する対象である画像が予め用意されている。簡易領域クラスラベル入力部３１００は、学習画像記憶部５４００から任意の学習画像を読み込んで、それを表示装置に表示させる等してユーザに提示する。そして、ユーザがその学習画像に対して混在領域を含めた簡易領域クラスラベルを入力し、その入力情報を受け付ける。

初期領域クラスラベル入力部３２００は、混在領域からサンプリングされた位置を中心とした周辺領域をユーザに提示し、ユーザが提示された領域に関して前景か背景かのラベルを入力した情報を受け付ける。混在領域識別器学習部３３００は、学習画像と入力済みの領域クラスラベルに基づいて、混在領域の前景と背景を判定する混在領域識別器を生成する。サンプル領域識別部３４００は、クラスラベルが未入力となっている混在領域の一部について、混在領域識別器を使ってそのクラスを推定する。サンプル領域クラスラベル修正部３５００は、サンプル領域識別部３４００の識別結果をユーザに提示し、ユーザがクラスラベルの修正を行い、その情報を受け付ける。そして、詳細な領域クラスラベルが全て入力されたら、領域クラスラベルデータを学習データ記憶部５１００に書き込む。

次に、本実施形態の画像処理装置による処理の詳細について説明する。図２（ｃ）は、本実施形態に係る処理を示すフローチャートである。同図において、簡易領域クラスラベル入力ステップＳ３１００では、ユーザからの指示に従い、学習画像に対して簡易領域クラスラベルデータを入力する。簡易領域クラスラベル入力ステップＳ３１００は、簡易領域クラスラベル入力部３１００における処理に相当する。

簡易領域クラスラベル入力ステップＳ３１００では、まず、学習画像記憶部５４００から学習画像を読み込み、ユーザに提示する。ユーザは、提示された学習画像の各画素に対してクラスラベルを入力し、簡易領域クラスラベル入力部３１００は、その簡易領域クラスラベルの情報を受け付ける。

ここで、複数のクラスラベルの領域が入り組んだ領域に関しては、仮クラスラベルとして「混在領域」のラベルを付与した簡易領域クラスラベルデータを作成する。図９には、仮クラスラベル「混在領域」をユーザが入力して、その情報を受け付けるまでの処理の流れを示す。図９（ａ）に示すような学習画像５００に対して、最終的な目標は、ユーザが図９（ｂ）のような詳細な領域クラスデータ６００を入力できるようにすることである。しかし、これを全てユーザが手で入力するのは非常に手間のかかる作業となる。そこで、ユーザには、図９（ｃ）のような簡易領域ラベルデータ６５０を入力させて、簡易領域クラスラベル入力部３１００ではその情報を取得する。図９（ｃ）の６６０、６７０は、それぞれ空および木として、ユーザが簡単に入力可能であった領域である。これに対して、６８０で示される領域には、空を背景にして細かい木の枝が前景として写っており、その輪郭をユーザが手で入力することは困難である。そこで、ユーザはそのような領域を適当に切り出し、「混在領域」という仮ラベルを付与する。その際、混在領域の輪郭は細かく入力する必要はなく、実際の領域より少し大きめに入力すればよい。

初期領域クラスラベル入力ステップＳ３２００では、混在領域からサンプリングされた位置に関する前景か背景かのラベルについて、ユーザが入力した情報を取得する。初期領域クラスラベル入力ステップＳ３２００は、初期領域クラスラベル入力部３２００における処理に相当する。

当該ステップでは、まず、簡易クラスラベルデータにおける混在領域の中から任意の位置をサンプリングしてきて、その位置を中心とした周辺領域をユーザに提示する。図１０は、本実施形態において初期領域クラスラベルの入力処理を説明する図である。図１０では、混在領域６８０からサンプリングされた位置６９０の一例を示している。サンプリング位置は、システムがランダムに選択してもいいし、ユーザがＧＵＩなどで指定してもよい。あるいは、輝度値の分散などを見て複雑な領域を選ぶなどとしてもよい。この位置に対応する学習画像５００上の位置は５９０であって、位置５９０とその周辺領域５８０を拡大して表示したものが、それぞれ５９１、５８１で示されている。ユーザは、提示された領域の各画素に対して、それが前景か背景かを判断して入力する。図１０の例では、拡大表示された領域５８１を見て、ユーザが入力した前景、背景のラベルが５７１に示されている。これを１つ以上のサンプル位置、例えば混在領域を含む各画像に対して２つのサンプル位置などに関してユーザに入力させ、その情報を取得することで、初期領域クラスラベル入力ステップＳ３２００の処理を終了する。

混在領域識別器学習ステップＳ３３００では、混在領域における前景／背景識別器を学習する。混在領域識別器学習ステップＳ３３００は、前記混在領域識別器学習部３３００における処理に相当する。仮ラベルとして混在領域が付与されている領域の中で、クラスラベルが入力済みの画素に関して、第１の実施形態における混在領域識別器学習ステップＳ２４００と同様の処理を行い、混在領域における前景／背景識別器を生成する。

サンプル領域識別ステップＳ３４００では、クラスラベルが未入力となっている混在領域の一部について、混在領域識別器を使ってそのクラスを推定する。サンプル領域識別ステップＳ３４００は、前記サンプル領域識別部３４００における処理に相当する。

混在領域中のクラスラベルが未入力となっている領域の一部をサンプリングし、混在領域識別器学習ステップＳ３３００によって生成された混在領域識別器を用いて前景／背景の判定を行う。そして、混在領域識別器を用いて判定した結果をユーザに提示する。図１１には、ユーザに提示する判定結果の一例を示す。サンプリングされた領域５５０に対して、学習画像のその部分を拡大表示したものが５５１、前景／背景判定の結果が５６１に示されている。

サンプル領域クラスラベル修正ステップＳ３５００では、サンプル領域に関する判定結果をユーザに提示し、ユーザからの指示に従ってクラスラベルの修正を行う。サンプル領域クラスラベル修正ステップＳ３５００は、サンプル領域クラスラベル修正部３５００における処理に相当する。

サンプル領域クラスラベル修正ステップＳ３５００では、サンプル領域識別ステップＳ３４００における判定結果をユーザに提示し、ユーザは判定結果が間違えている画素に対して、正しいラベルを入力する。図１１の例では、学習画像のサンプリングされた領域の拡大表示５５１と、その領域に関する判定結果５６１をユーザが見て比較し、正しく入力されたラベルが５６２に示されている。サンプル領域クラスラベル修正部３５００は、ユーザによって修正を指示されたクラスラベルを、混在領域内の該当画素に対して付与する。この時点で、混在領域の全ての画素に対してクラスラベルの付与が終了していれば処理を終え、領域クラスラベルデータとして学習データ記憶部５１００に書き込む。

クラスラベルが付与されていない画素が混在領域に残っている場合、混在領域識別器学習ステップＳ３３００に戻り、再び混在領域識別器を学習させる。なお、詳細なクラスラベルを入力済みの学習画像が既にある場合、追加画像に対するラベル付け作業を行う際には、初期領域クラスラベル入力ステップＳ３２００を省略し、混在領域識別器学習ステップＳ３３００から行ってもよい。

本実施形態では、このようにして、サンプリングされたデータで学習された識別器を利用してクラスラベルを半自動入力することができるため、一度のラベル入力作業は少なく、ユーザが全て手作業でクラスラベルを入力する作業と比べて負担が少ない。また、繰り返しクラスラベルの修正と追加を行って混在領域識別器を学習していくことにより、混在領域識別器の推定精度が向上していくことになるため、回を追うごとにユーザの修正作業が少なくなっていくことが期待できる。

［その他の実施形態］
本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

２１００ 学習データ読み込み部
２２００ 学習画像小領域分割部
２３００ 混在領域設定部
２４００ 小領域識別器生成部
５１００ 学習データ記憶部
５２００ 小領域識別器記憶部

Claims (14)

1. 入力画像を読み込む読み込み手段と、
   前記読み込んだ入力画像を複数の小領域に分割する第１の分割手段と、
   前記分割された小領域のうち複数のクラスが混在する小領域を、前記複数のクラスに関する混在領域として識別する識別手段と、
   を有することを特徴とする画像処理装置。
2. 前記混在領域を複数のクラスの領域に分割する混在領域分割手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 複数の学習画像と、当該複数の学習画像の各画素に対してクラスラベルが与えられた領域クラスラベルデータと、を読み込む学習データ読み込み手段と、
   前記複数の学習画像を小領域に分割する第２の分割手段と、
   前記複数の学習画像を分割してなる小領域に含まれる複数のクラスに関するクラスラベルを設定する混在領域設定手段と、
   前記領域クラスラベルデータに含まれるクラスラベルと、前記設定された複数のクラスに関するクラスラベルとに基づいて、前記小領域のクラスを識別するための領域識別器を生成する第１の生成手段と、を更に有し、
   前記識別手段は、前記第１の生成手段により生成された領域識別器を用いて、前記分割された小領域のクラスを識別することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記混在領域設定手段は、前記複数の学習画像を分割してなる小領域に含まれる複数のクラスの混在率に基づいて、前記複数のクラスに関するクラスラベルを設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記混在率は、前記小領域の画素に対する前記複数のクラスの領域の画素の比率であることを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の学習画像と前記領域クラスラベルデータとに基づいて、前記混在領域における各画素のクラスを識別する識別器を生成する第２の生成手段を更に有することを特徴とする請求項３から５のいずれか１項に記載の画像処理装置。
7. 前記複数の学習画像の混在領域に対してユーザが入力したクラスラベルを取得する領域クラスラベル入力手段と、
   前記第１の生成手段は、前記取得したユーザが入力したクラスラベルに基づいて領域識別器を生成することを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
8. 前記複数の学習画像の混在領域よりも大きな領域に対してユーザが入力したクラスラベルを取得する簡易領域クラスラベル入力手段と、
   前記入力されたクラスラベルに対するユーザの修正を受け付ける領域クラスラベル修正手段と、を更に有することを特徴とする請求項７に記載の画像処理装置。
9. 前記混在領域分割手段は、前記混在領域の注目画素に含まれる所定の領域の特徴量に基づいて、前記注目画素が前景であるか背景であるかを判定することを特徴とする請求項２に記載の画像処理装置。
10. 前記混在領域分割手段は、前記混在領域と識別された小領域を過分割してなる過分割領域の特徴量に基づいて、当該過分割領域を前景であるか背景であるか判定することを特徴とする請求項２に記載の画像処理装置。
11. 前記混在領域分割手段は、前記混在領域の注目画素を含む所定の領域の画像と類似した学習画像の部分画像に基づいて生成された変形マスクを用いて、前記混在領域を複数のクラスに分割することを特徴とする請求項２に記載の画像処理装置。
12. 複数の学習画像と、当該複数の学習画像の各画素に対してクラスラベルが与えられた領域クラスラベルデータと、を読み込む学習データ読み込み手段と、
    前記複数の学習画像を小領域に分割する第２の分割手段と、
    前記複数の学習画像を分割してなる小領域に含まれる複数のクラスに関するクラスラベルを設定する混在領域設定手段と、
    前記領域クラスラベルデータに含まれるクラスラベルと、前記設定された複数のクラスに関するクラスラベルとに基づいて、前記小領域のクラスを識別するための領域識別器を生成する第１の生成手段と、
    を有することを特徴とする画像処理装置。
13. 入力画像を読み込むステップと、
    前記読み込んだ入力画像を複数の小領域に分割するステップと、
    前記分割された小領域のうち複数のクラスが混在する小領域を、前記複数のクラスに関する混在領域として識別するステップと、
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。