JP2013097584A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】高速かつ自動的に画像から物体を切り出すことができる画像処理装置、方法及びプログラムを提供する。
【解決手段】画像処理装置は、画像について画素単位にクラスタリングを行うことにより複数のクラスタを生成し、生成されたクラスタの中から、クラスタに属する画素の位置に基づいて、前景の判定基準となる基準クラスタと、背景の判定基準となる基準クラスタとを選択し、生成されたクラスタを、基準クラスタとの類似度に基づいて前景又は背景に分類し、各クラスタの画素を、クラスタの分類結果に基づいて画素単位で前景又は背景に分類する。
【選択図】図１

Description

本発明は、画像から物体を切り出す画像処理を行う画像処理装置、方法及びプログラムに関する。

デジタルカメラで撮影された画像などから、人物や物品などの物体を背景と分離して切り出すことによって、切り出した物体を別の画像に合成したり、物体認識などの他の画像処理の前処理としたりすることができる。

画像から物体を切り出す手法として、切り出す輪郭に基づいて定義したエネルギーを最小化するSnakes法（非特許文献１）や、隣接する画素単位に定義したエネルギーを最小化するGraph Cuts法（非特許文献２）などが挙げられる。

Snakesは、初期値として与えられた輪郭を元にその周囲を探索し、切り出す輪郭が滑らかで、かつ、画像のエッジ上にある場合に小さくなるようなエネルギーを最小化することで、輪郭が曖昧な形状であっても正しく物体を切り出すことができる。また、Graph Cutsは、ユーザがあらかじめ物体(前景)と背景の一部をそれぞれ指定し、それらから生成したそれぞれの色モデルによるエネルギー（データ項）と、色の違いが大きいところで前景と背景を切断しやすいというエネルギー（平滑化項）とから全体のエネルギーを定義し、それをグラフ理論によって最小化することで前景と背景を分離する。ユーザの指定する前景・背景の一部は任意に増やすことができるため、非常に複雑な物体であっても、ユーザが少しの指示を与えるだけで切り出すことができる。

M. Kass, A. Witkin and D. Terzopoulos: "Snakes, Active contour models," International Journal of Computer Vision, Vol. 1, No. 4, pp.321-331 (1988). Y. Boykov and M-P. Jolly: "Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images,"International Conference of Computer Vision, Vol. 1, pp. 105-112 (2001).

上述のSnakesやGraph Cutsなどの手法は、画素単位のエネルギー最小化計算を行うことから処理時間がかかっていた。また、複雑な物体を切り出すための初期値が必要であった。

本発明は、上記問題点に鑑みてなされたもので、高速かつ自動的に画像から物体を切り出すことができる画像処理装置、方法及びプログラムを提供することを目的とする。

本発明は、画像について画素単位にクラスタリングを行うことにより複数のクラスタを生成する画素クラスタリング手段と、前記生成されたクラスタの中から、クラスタに属する画素の位置に基づいて、前景の判定基準となる基準クラスタと、背景の判定基準となる基準クラスタとを選択する基準クラスタ決定手段と、前記生成されたクラスタを、前記基準クラスタとの類似度に基づいて前景又は背景に分類するクラスタ分類手段と、各前記クラスタの画素を、前記クラスタの分類結果に基づいて画素単位で前景又は背景に分類する前景・背景分類手段と、を備えることを特徴とする画像処理装置である。

本発明は、画像について画素単位にクラスタリングを行うことにより複数のクラスタを生成し、前記生成されたクラスタの中から、クラスタに属する画素の位置に基づいて、前景の判定基準となる基準クラスタと、背景の判定基準となる基準クラスタとを選択し、前記生成されたクラスタを、前記基準クラスタとの類似度に基づいて前景又は背景に分類し、各前記クラスタの画素を、前記クラスタの分類結果に基づいて画素単位で前景又は背景に分類することを特徴とする画像処理方法である。

本発明は、コンピュータに、画像について画素単位にクラスタリングを行うことにより複数のクラスタを生成する画素クラスタリング処理、前記生成されたクラスタの中から、クラスタに属する画素の位置に基づいて、前景の判定基準となる基準クラスタと、背景の判定基準となる基準クラスタとを選択する基準クラスタ決定処理、前記生成されたクラスタを、前記基準クラスタとの類似度に基づいて前景又は背景に分類するクラスタ分類処理、各前記クラスタの画素を、前記クラスタの分類結果に基づいて画素単位で前景又は背景に分類する前景・背景分類処理、を実行させることを特徴とするプログラムである。

本発明によれば、高速かつ自動的に画像から物体を切り出すことができる。

図１は本発明の第１の実施形態に係る画像処理装置のブロック図である。 図２は基準クラスタの選択の例を示す図である。 図３は本発明の第２の実施形態に係る画像処理装置のブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

（第１の実施形態）
図1は、本発明の第１の実施形態に係る画像処理装置のブロック図である。図示されるように、この画像処理装置は、画像縮小部１と画素クラスタリング部２と前景・背景基準クラスタ決定部３とクラスタ前景・背景分類部４と縮小画像前景・背景分類部５と境界分離部６と原画像前景・背景分類部７と分類結果合成部８とを備える。

画像縮小部１は、原画像を縮小した縮小画像を生成する。画素クラスタリング部２は、縮小画像の画素単位にクラスタリングを行うことにより複数のクラスタを生成する。前景・背景基準クラスタ決定部３は、生成されたクラスタの中から前景および背景の可能性が高いクラスタをそれぞれ少数選び出して基準クラスタとする。クラスタ前景・背景分類部４は、基準クラスタとの類似性から各クラスタを前景もしくは背景に分類する。縮小画像前景・背景分類部５は、縮小画像の画素を、それぞれが属しているクラスタの分類結果によって前景もしくは背景に分類する。境界分離部６は、前景もしくは背景に分類された縮小画像の前景と背景の境界に接する画素を特定して分離する。原画像前景・背景分類部７は、前景と背景の境界に接する画素について、原画像の画素単位でクラスタの分類結果に基づいて前景もしくは背景に分類する。分類結果合成部８は、原画像の画素単位で前景もしくは背景に分類された結果と、縮小画像の画素単位で前景もしくは背景に分類された結果を合成する。

次に、本発明の第１の実施形態に係る画像処理装置の動作について説明する。

画像縮小部１は、原画像を縮小した縮小画像を生成する。画素クラスタリング部２は、縮小画像について、画素毎の情報（例えば、色を表すＹＵＶの値や、これに画像中心からの距離もしくはｘｙ座標を加えたものなど）に基づいてk-means法などのクラスタリングを行い、複数（例えば２４個など）のクラスタを生成する。画素毎の情報は、多次元のデータ（ＹＵＶなら３次元）として扱うことができるので、従来の多次元データに関するクラスタリング手法（ｋ−ｍｅａｎｓ法など）を適用することができる。その際に、色と画像の距離といった異なる尺度のデータを統合する場合には、それぞれの分散や最大値で正規化したり、定数をかけたりすることで、統一して扱えるようにしておく必要がある。

前景・背景基準クラスタ決定部３は、画素クラスタリング部２により生成されたクラスタの中から、前景である可能性の高いクラスタと、背景である可能性の高いクラスタを、それぞれ所定数（例えば３つ）選択する。選択の基準として、例えば、物体（前景）は画像の中心にあることが多いことから、クラスタに属する全画素の位置の平均が最も画像中心に近いものは前景、最も画像中心から遠いものは背景とすることができる。そこで、クラスタの全画素の位置の平均と画像の中心との距離を各クラスタについて求め、全クラスタをこの距離でソートし、距離が小さいものと大きいものをそれぞれ上位所定数ずつ選択し、前者を前景の基準クラスタ、後者を背景の基準クラスタと判定する。

図２に基準クラスタの選択の例を示す。図２の上部のグラフは、横軸が各クラスタ、縦軸が各クラスタに属する画素の平均位置と画像中心との距離（距離の二乗）を表しており、中心に近いものから順にクラスタを並べている。この場合、図にあるように、最も中心に近い３つのクラスタ（図の左）が前景の基準クラスタ、最も中心から遠い３つのクラスタ（図の右）が背景の基準クラスタとして判定される。

クラスタ前景・背景分類部４は、画素クラスタリング部２により生成された全クラスタについて、前景の基準クラスタもしくは背景の基準クラスタのどれに一番近いかを判定する（例えば、クラスタ中心間の距離で判定）ことによって前景もしくは背景に分類する。

縮小画像前景・背景分類部５は、縮小画像中の全画素について、それが属するクラスタの分類結果（前景もしくは背景）に応じて、前景もしくは背景に分類する。

つまり、前景・背景基準クラスタ選択部３によって前景もしくは背景の初期値が基準クラスタとして自動的に選択され、その基準クラスタに基づいて、画素単位ではなくクラスタ単位に前景もしくは背景への分類が行われ、その結果、縮小画像の全画素が前景もしくは背景に分類される。このような構成によって、ユーザが初期値を与えることなく、画素単位での処理を極力行わないことから高速に、前景と背景の分類、すなわち物体切り出しが実現できる。

境界分離部６は、縮小画像前景・背景分類部５により各画素が前景と背景に分類された縮小画像について、前景と背景の境界に接している画素領域を判定し、それ以外の画素領域と分離する。前景と背景の境界に接している画素領域とは、前景の画素と背景の画素とが隣接する画素領域を含む。前景と背景の境界に接していない画素については、前景もしくは背景の分類結果は決定済みであるとし、境界に接している画素領域のみ、縮小していない原画像でさらに詳細に前景もしくは背景への分類を行うことで、高速性を維持しながら原画像の細かさでの物体切り出しを実現する。

原画像前景・背景分類部７は、境界分離部６で境界に接していると判定された領域についてのみ、原画像の画素単位で前景もしくは背景への分類を行う。クラスタ前景・背景分類部４で分類した前景もしくは背景のクラスタ（ただしこれは縮小画像から生成）のいずれに近いかを分類の基準としてもよい。そして、原画像の画素が最も近いクラスタを判定し、そのクラスタの分類結果を原画像の画素の分類結果としてもよい。

分類結果合成部８は、境界分離部６で境界領域ではないと判定された領域については縮小画像前景・背景分類部５の分類結果を原画像の対応する画素領域に適用し、境界領域であると判定された領域については原画像前景・背景分類部７の分類結果を用い、これらを合成することで、原画像の各画素について前景であるか背景であるかを示す最終的な切り出し結果を生成する。

このように、縮小画像での処理を基準とし、原画像での処理を極力減らすことによって、高速な切り出し処理が実現できる。例えば、６４０×４８０の原画像が与えられた場合、１／８に縮小するとすれば画素数は１／６４となり、ほとんどの処理がこの１／６４の画素数の縮小画像について行われる。前景・背景基準クラスタ選択部３やクラスタ前景・背景分類部４はクラスタ単位（例えば２４個など）の処理であるため、さらに高速化が実現できる。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。本発明の第２の実施形態に係る画像処理装置のブロック図を図３に示す。図示されるように、第２の実施形態に係る画像処理装置は、図１に示す第１の実施の形態の構成に、前景と背景との境界における分離度合いを評価する前景・背景分離度評価部１０をさらに備えるものであり、前景・背景分離度評価部１０以外の構成は本発明の第１の実施形態と同様である。

前景・背景分離度評価部１０は、縮小画像において隣接している前景と背景の画素の情報（例えば色）が類似しているかどうかを評価し、評価した類似度の平均値もしくは類似度が一定値以上である割合などが閾値を上回っている場合に、前景と背景は十分に類似している、すなわち前景と背景の分離が不十分であると判定する。

分離不十分と判定された場合は、例えば、画素クラスタリング部２によるクラスタリングにおけるクラスタ数を変えるなどの設定パラメータの変更を行って再度処理をやり直すか、もしくは、物体切り出し不可能として処理を中断しても良い。もしくは、複数の設定パラメータについて前景と背景の分離度を評価し、最も前景と背景の分離度が高い（類似度が低い）ものを処理結果としても良い。なお、例外処理として、画像の端に接している前景画素を検出した場合は、分離度が低いと評価しても良い。その理由は、前景である物体は画像内に収まっている方が一般的だからである。

第２の実施形態では、前景と背景の分離度を評価することで、複数の設定パラメータを順番に試したり、最も良い設定パラメータを選択したり、切り出し不可能の判断を返したりすることができる。また、縮小画像での分類結果に基づいて判定しているため、処理が速い。

以上説明したように本発明によれば、切り出す物体の初期値を与えることなく、高速かつ全自動に物体を切り出すことができる。処理時間のかかる原画像での処理を極力少なくすることができるため、高速に処理することができる。また、前景と背景の分離度の評価を縮小画像で行っているため、様々な設定パラメータの中から最も良い切り出し結果を高速に得ることができる。

上述した本発明の実施形態に係る画像処理装置の画像縮小部１、画素クラスタリング部２、前景・背景基準クラスタ決定部３、クラスタ前景・背景分類部４、縮小画像前景・背景分類部５、境界分離部６、原画像前景・背景分類部７、分類結果合成部８、前景・背景分離度評価部１０は、本画像処理装置のＣＰＵ（Central Processing Unit）が記憶部に格納された動作プログラム等を読み出して実行することにより実現されてもよく、また、ハードウェアで構成されてもよい。上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することもできる。

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 画像縮小部
２ 画素クラスタリング部
３ 前景・背景基準クラスタ決定部
４ クラスタ前景・背景分類部
５ 縮小画像前景・背景分類部
６ 境界分離部
７ 原画像前景・背景分類部
８ 分類結果合成部
１０ 前景・背景分離度評価部

Claims (9)

1. 画像について画素単位にクラスタリングを行うことにより複数のクラスタを生成する画素クラスタリング手段と、
   前記生成されたクラスタの中から、クラスタに属する画素の位置に基づいて、前景の判定基準となる基準クラスタと、背景の判定基準となる基準クラスタとを選択する基準クラスタ決定手段と、
   前記生成されたクラスタを、前記基準クラスタとの類似度に基づいて前景又は背景に分類するクラスタ分類手段と、
   各前記クラスタの画素を、前記クラスタの分類結果に基づいて画素単位で前景又は背景に分類する前景・背景分類手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画素クラスタリング手段は、原画像を縮小した縮小画像に対して前記クラスタリングを行い、
   前記前景・背景分類手段による分類結果に基づいて、前景と背景の境界に接する画素領域を判定して分離する境界分離手段と、
   前記分離された画素領域について原画像の画素単位で、前記クラスタ分類手段による分類結果に基づいて、前景又は背景に分類する原画像前景・背景分類手段と、
   前記原画像前景・背景分類手段による分類結果と、前記前景・背景分類手段による分類結果を合成する分類結果合成手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記前景・背景分類手段による分類結果について、前景と背景の境界における分離度合いを評価する分離度評価手段をさらに備える
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像について画素単位にクラスタリングを行うことにより複数のクラスタを生成し、
   前記生成されたクラスタの中から、クラスタに属する画素の位置に基づいて、前景の判定基準となる基準クラスタと、背景の判定基準となる基準クラスタとを選択し、
   前記生成されたクラスタを、前記基準クラスタとの類似度に基づいて前景又は背景に分類し、
   各前記クラスタの画素を、前記クラスタの分類結果に基づいて画素単位で前景又は背景に分類する
   ことを特徴とする画像処理方法。
5. 前記クラスタリングは、原画像を縮小した縮小画像に対して行い、
   各前記クラスタの画素単位での前記分類結果に基づいて、前景と背景の境界に接する画素領域を判定して分離し、
   前記分離された画素領域について原画像の画素単位で、各前記クラスタの分類結果に基づいて、前景又は背景に分類し、
   前記分離された画素領域について原画像の画素単位でなされた分類結果と、前記縮小画像の画素単位でなされた分類結果を合成する
   ことを特徴とする請求項４に記載の画像処理方法。
6. 各前記クラスタの画素についての前記分類結果に基づいて、前景と背景の境界における分離度合いを評価する
   ことを特徴とする請求項４又は５に記載の画像処理方法。
7. コンピュータに、
   画像について画素単位にクラスタリングを行うことにより複数のクラスタを生成する画素クラスタリング処理、
   前記生成されたクラスタの中から、クラスタに属する画素の位置に基づいて、前景の判定基準となる基準クラスタと、背景の判定基準となる基準クラスタとを選択する基準クラスタ決定処理、
   前記生成されたクラスタを、前記基準クラスタとの類似度に基づいて前景又は背景に分類するクラスタ分類処理、
   各前記クラスタの画素を、前記クラスタの分類結果に基づいて画素単位で前景又は背景に分類する前景・背景分類処理、
   を実行させることを特徴とするプログラム。
8. 前記画素クラスタリング処理は、原画像を縮小した縮小画像に対して前記クラスタリングを行い、
   前記コンピュータに、
   前記前景・背景分類処理による分類結果に基づいて、前景と背景の境界に接する画素領域を判定して分離する境界分離処理、
   前記分離された画素領域について原画像の画素単位で、前記クラスタ分類処理による分類結果に基づいて、前景又は背景に分類する原画像前景・背景分類処理、
   前記原画像前景・背景分類処理による分類結果と、前記前景・背景分類処理による分類結果を合成する分類結果合成処理、
   をさらに実行させることを特徴とする請求項７に記載のプログラム。
9. 前記コンピュータに、
   前記前景・背景分類処理による分類結果について、前景と背景の境界における分離度合いを評価する分離度評価処理をさらに実行させることを特徴とする請求項７又は８に記載のプログラム。