JP2014010621A - 最適画像サイズによる画像領域分割装置、方法、およびプログラム - Google Patents

Abstract

【課題】画像内で指定された画像範囲内の主要オブジェクトとそれ以外の背景を領域分割する技術に関し、画像のリサイズ後でも計算精度を下げることなく最適画像サイズによる領域分割計算を実行可能とする。
【解決手段】トリミング処理手段２０１は、入力された画像内で、例えばユーザにより矩形枠として指定された画像範囲を、その画像範囲の周囲に余白を残してトリミング処理する。画像サイズ調整手段２０２は、トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合には、トリミング処理された画像のサイズを所定の画像サイズに縮小処理して分割対象画像として出力する。また、画像サイズ調整手段２０２は、トリミング処理された画像のサイズが所定の画像サイズと比較して小さい場合には、トリミング処理された画像を分割対象画像として出力する。領域分割手段２０３は、分割対象画像に対して、例えばＧｒａｐｈ Ｃｕｔｓ法により領域分割処理を実行し、花などの主要オブジェクトと背景を領域分割する。
【選択図】図２

Description

本発明は、画像内で指定された画像範囲内の主要オブジェクトとそれ以外の背景を領域分割する装置、方法、およびプログラムに関する。

野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。

また、主要オブジェクトを含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて主要オブジェクト領域と背景領域とに分割する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。領域分割を行う場合，主要オブジェクトと背景の関係によりその境界が不明確な部分が存在する可能性があり，最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。

また、Ｇｒａｐｈ Ｃｕｔｓ法だけでは主要被写体と背景の分割が難しい場合がある。このため、例えばいわゆるスマートフォンなどへの実装では、ユーザが、例えば撮像装置で撮像した画像に対し、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置を用いて矩形枠を指定する機能が実装される。

さらに、近年の撮像装置は画像の解像度を向上させるために撮像センサの画素数が多くなってきているため、撮像された画像のサイズも大きなってきている。このため、上述の矩形枠を指定した後の矩形枠内の画像のサイズも大きくなりやすく、領域分割計算において処理すべき画素数も多くなって、その計算に非常に時間がかかる場合がある。このため、撮像された画像を縮小処理（リサイズ）してから領域分割計算することが行われる。

特開２００２−２０３２４２号公報 特開２０１１−３５６３６号公報

Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ："Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ "Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ"，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．

しかし、撮像された画像を単純にリサイズしてしまうと、画像上で指定された矩形枠が小さいものであった場合に、その矩形枠内の画像のサイズも小さく縮小されてしまい、領域分割計算の精度が低下してしまうことがあるという問題点を有していた。

本発明は、画像のリサイズ後でも計算精度を下げることなく最適画像サイズによる領域分割計算を実行可能とすることを目的とする。

態様の一例では、画像内で指定された画像範囲内の主要オブジェクトとその主要オブジェクト以外の背景を領域分割する装置であって、画像内で、指定された画像範囲を、その画像範囲の周囲に余白を残してトリミング処理するトリミング処理手段と、トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合にトリミング処理された画像のサイズを所定の画像サイズに縮小処理して分割対象画像として出力し、トリミング処理された画像のサイズが所定の画像サイズと比較して小さい場合にトリミング処理された画像を分割対象画像として出力する画像サイズ調整手段と、分割対象画像内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベル値を更新しながら、その領域ラベル値と各画素の画素値とに基づいて、主要オブジェクトらしさまたは背景らしさと隣接画素間の画素値の変化を評価するエネルギー関数の最小化処理により、分割対象画像内で主要オブジェクトと背景を領域分割する領域分割手段とを備える。

本発明によれば、画像のリサイズ後でも計算精度を下げることなく最適画像サイズによる領域分割計算が実行可能となる。

本発明の一実施形態に係る最適画像サイズによる画像領域分割装置のハードウェア構成例を示すブロック図である。 図１の最適画像サイズによる画像領域分割装置の機能的構成を示す機能ブロック図である。 最適画像サイズによる画像領域分割処理の説明図である。 本実施形態による最適画像サイズによる画像領域分割処理の全体動作を示すフローチャートである。 分割対象画像生成処理を示すフローチャートである。 トリミング画像の説明図である。 重み付き有向グラフの説明図である。 ヒストグラムθの説明図である。 ｈ_uv（Ｘ_u ,Ｘ_v ）の特性図である。 ｔ−ｌｉｎｋとｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。 領域分割処理を示すフローチャートである。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係る最適画像サイズによる画像領域分割装置１０１のハードウェア構成例を示すブロック図である。

この最適画像サイズによる画像領域分割装置１０１は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステム上に実現される。

最適画像サイズによる画像領域分割装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４を備える。また、最適画像サイズによる画像領域分割装置１０１は、ソリッド記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、タッチパネルディスプレイ装置などの入力装置１０７および表示装置１０８を備える。さらに、最適画像サイズによる画像領域分割装置１０１は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカードなどの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。撮像装置１１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器１０２〜１０９および１１２は、バス１１１によって相互に接続される。

ＲＯＭ１０３には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する図４、図５、および図１１のフローチャートによって示される最適画像サイズによる画像領域分割処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。これにより、後述する図２の機能ブロックで示される最適画像サイズによる画像領域分割機能が実現され、この結果、例えばユーザが、撮像装置１１２によって花などを撮像し、入力装置１０７で範囲してした画像範囲から、花などの主要オブジェクトをそれ以外の背景から分割する最適画像サイズによる画像領域分割処理が実行される。これにより得られた花などの主要オブジェクト領域の画像データは、ユーザが例えば花の種類を検索するために、通信インタフェース１０６から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要オブジェクト領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信インタフェース１０６にて受信され、表示装置１０８に表示される。
なお、本実施形態による最適画像サイズによる画像領域分割装置１０１は、携帯情報端末上ではなく、上記サーバコンピュータ上などに実現されてもよい。

図２は、図１の最適画像サイズによる画像領域分割装置１０１の機能的構成を示す機能ブロック図である。
本実施形態における最適画像サイズによる画像領域分割装置１０１は、画像内で例えばユーザによって矩形指定された画像範囲内で、花などの主要オブジェクトとその主要オブジェクト以外の背景を領域分割する装置として実現される。

トリミング処理手段２０１は、入力された画像内で、例えばユーザにより矩形枠として指定された画像範囲を、その画像範囲の周囲に余白を残してトリミング処理する。

画像サイズ調整手段２０２は、トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合には、トリミング処理された画像のサイズを所定の画像サイズに縮小処理して分割対象画像として出力する。また、画像サイズ調整手段２０２は、トリミング処理された画像のサイズが所定の画像サイズと比較して小さい場合には、トリミング処理された画像を分割対象画像として出力する。

領域分割手段２０３は、分割対象画像内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベル値を更新しながら、その領域ラベル値と各画素の画素値とに基づいて、主要オブジェクトらしさまたは背景らしさと隣接画素間の画素値の変化を評価するエネルギー関数を定義し、その関数の最小化処理により分割対象画像内で主要オブジェクトと背景を領域分割する。この領域分割手段２０３は例えば、Ｇｒａｐｈ Ｃｕｔｓ法によりエネルギー関数の最小化処理を実行する。

ここで、トリミング処理手段２０１によるトリミング処理において、画像サイズ調整手段２０２から得られる縮小処理された画像を含む分割対象画像上で、例えばユーザにより指定された画像範囲の周囲に所定のサイズの余白が残るように、残すべき余白を決定する動作を実行してよい。

図３は、トリミング処理手段２０１および画像サイズ調整手段２０２による分割対象画像を生成する処理の説明図である。図３（ａ）に示されるように、入力画像３０１を単純に縮小（リサイズ）する場合を考える。この場合、入力画像３０１上で例えばユーザにより指定された矩形枠の画像範囲３０２が小さい場合に、縮小後画像３０３において、画像範囲３０２に対応する縮小後画像範囲３０４内の画像のサイズも小さく縮小されてしまう。この結果、その縮小画像範囲３０４に対して領域分割手段２０３によって領域分割計算を行った場合、その計算精度が低下してしまう。
これに対して図２の本実施形態の構成では、まず、図３（ｂ）に示されるように、トリミング処理手段２０１が、入力画像３０１上で、例えばユーザによって指定された矩形枠の画像範囲３０２に対して、その周囲の余白分３０５を加味してトリミング処理を実行する。そして、画像サイズ調整手段２０２は、もともとユーザにより指定された画像範囲３０２が小さい場合であって、トリミング処理された画像（トリミング画像）３０６のサイズが所定の画像サイズと比較して小さい場合には、トリミング画像３０６に対して縮小処理は行わずに、そのまま分割対象画像として出力する。一方、画像サイズ調整手段２０２は、トリミング画像３０６のサイズが所定の画像サイズと比較して大きい場合には、トリミング画像３０６のサイズを所定の画像サイズに縮小処理し、この縮小処理された画像３０６′を分割対象画像として出力する。この場合、例えばユーザにより指定された矩形枠の画像範囲３０２もより小さい画像範囲３０２′に縮小される。以上の制御処理により、画像のリサイズ後でも計算精度をむやみに下げることなく、領域分割手段２０３において、最適画像サイズによる領域分割計算が実行可能となる。この結果、その計算において、背景領域を主要オブジェクト領域と誤認識する等の割合が減少し、主要オブジェクトの切り抜き精度を向上させることが可能となる。

図４は、本実施形態による最適画像サイズによる画像領域分割処理の全体動作を示すフローチャートである。このフローチャートの処理は、図５および図１１の詳細処理を示すフローチャートの処理とともに、図１のＣＰＵ１０２が、ＲＯＭ１０３に記憶された制御プログラムを、ＲＡＭ１０４をワークメモリとして使用しながら実行する処理として実現される。

まず、矩形枠決定処理が実行される（図４のステップＳ４０１）。この処理では、ユーザが、例えば図１の撮像装置１１２にて撮像した画像に対して、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置１０７を用いて、矩形枠を指定する。例えば、タッチパネル上での、指によるスライド動作である。

次に、分割対象画像生成処理が実行される（図４のステップＳ４０２）。この処理は、図２のトリミング処理手段２０１および画像サイズ調整手段２０２の機能を実現する。この処理の詳細については、後述する。

次に、ステップＳ４０２の分割対象画像生成処理により得られた分割対象画像内の各画素に対して、主要オブジェクトと前記背景を領域分割する領域分割処理が実行される（図４のステップＳ４０３）。この処理の詳細については、後述する。

一度領域分割処理が終了した後、収束判定が行われる（図４のステップＳ４０４）。この収束判定は、以下のいずれかが満たされたときに、ＹＥＳの判定結果となる。
・繰り返し回数が一定以上になった
・前回前景とされた領域面積と今回前景とされた領域の差が一定以下

ステップＳ４０４の判定で収束せず、その判定がＮＯであった場合、前回のグラフカット処理の状況に応じて、ユーザが指定した矩形枠内の後述するコスト関数ｇ_v (Ｘ_v )が、次のようにして修正されてデータ更新される（図４のステップＳ４０５）。ステップＳ４０３のグラフカット処理によって主要オブジェクトと判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，０）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな主要オブジェクトらしさを示すヒストグラムθ（ｃ，０）が生成され、それに基づいて新たなコスト関数ｇ_v (Ｘ_v )が計算される（後述する数７式等を参照）。同様に、ステップＳ４０３のグラフカット処理によって背景と判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，１）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな背景らしさを示すヒストグラムθ（ｃ，１）が生成され、それに基づいて新たなコスト関数ｇ_v (Ｘ_v )が計算される（後述する数８式等を参照）。

ステップＳ４０４の判定が収束し、その判定がＹＥＳになると、図４のフローチャートで示される領域分割処理は終了とし、現在得られている主要オブジェクト領域が最終結果として出力される。

図５は、図４のステップＳ４０２の分割対象画像生成処理を示すフローチャートである。また、図６は、トリミング処理により得られるトリミング画像３０６（図３の３０６に対応）の説明図である。

まず、図６に示されるように、例えばユーザにより矩形枠として指定された画像範囲３０２（図３の３０２に対応）の横幅をｗ画素、縦の高さをｈ画素とする。
この画像範囲３０２に対して、次式に示されるように、両上下方向に余白ＳＰ１画素がそれぞれ加算されることにより、トリミング処理により得られるトリミング画像３０６の横幅＝ＮＷ画素と、縦の高さ＝ＮＨ画素が計算される（図５のステップＳ５０１）。

次に、入力画像３０１（図３参照）に対して、指定された画像範囲３０２を中心として、横幅＝ＮＷ画素、縦の高さ＝ＮＨ画素の範囲が切り抜かれて、トリミング画像３０６が抽出される（図５のステップＳ５０２）。

以上の図５のステップＳ５０１およびＳ５０２の処理が、図２のトリミング処理手段２０１の機能を実現する。

次に、指定された画像範囲３０２において、横幅ｗ画素が縦の高さｈ画素よりも大きいか否かが判定される（図５のステップＳ５０３）。

指定された画像範囲３０２において横幅ｗ画素が縦の高さｈ画素よりも大きくステップＳ５０３の判定がＹＥＳならば、トリミング画像３０６の横幅ＮＷが所定のサイズｓｉｚｅ画素以下であるか否かが判定される（図５のステップＳ５０４）。

トリミング画像３０６の横幅ＮＷが所定のサイズｓｉｚｅ画素以下でステップＳ５０４の判定がＹＥＳならば、トリミング画像３０６は縮小処理されずにそのまま分割対象画像として出力される（図５のステップＳ５０４→Ｓ５０８）。

トリミング画像３０６の横幅ＮＷが所定のサイズｓｉｚｅ画素よりも大きくステップＳ５０４の判定がＮＯならば、ＮＷ画素＝ｓｉｚｅ画素となるように、トリミング画像３０６が縦横同じ縮尺で縮小される（図５のステップＳ５０４→Ｓ５０５）。その後、その縮小されたトリミング画像３０６′（図３参照）が、分割対象画像として出力される（図５のステップＳ５０５→Ｓ５０８）。

指定された画像範囲３０２において横幅ｗ画素が縦の高さｈ画素よりも大きくはなくステップＳ５０３の判定がＮＯならば、トリミング画像３０６の縦の高さＮＨが所定のサイズｓｉｚｅ画素以下であるか否かが判定される（図５のステップＳ５０６）。

トリミング画像３０６の縦の高さＮＨが所定のサイズｓｉｚｅ画素以下でステップＳ５０６の判定がＹＥＳならば、トリミング画像３０６は縮小処理されずにそのまま分割対象画像として出力される（図５のステップＳ５０６→Ｓ５０８）。

トリミング画像３０６の縦の高さＮＨが所定のサイズｓｉｚｅ画素よりも大きくステップＳ５０６の判定がＮＯならば、ＮＨ画素＝ｓｉｚｅ画素となるように、トリミング画像３０６が縦横同じ縮尺で縮小される（図５のステップＳ５０６→Ｓ５０７）。その後、その縮小されたトリミング画像３０６′（図３参照）が、分割対象画像として出力される（図５のステップＳ５０７→Ｓ５０８）。

ステップＳ５０５またはＳ５０７の縮小処理では、トリミング画像３０６中の指定された画像範囲３０２以外の余白部分も縮小されるので、事前に縮小率を計算し、縮小後の余白部分のサイズを維持できるようにステップＳ５０１でのトリミング処理が実行される。
なお、一定の余白（マージン）を設定するのは、主に次の３つの理由による。
第１に、図４のステップＳ４０３の領域分割処理におけるＧｒａｐｈ Ｃｕｔｓ法による繰り返し処理の後にステップＳ４０５でデータ更新を行う場合、前述したように、主要オブジェクトらしさを示すヒストグラムと、背景らしさを示すヒストグラムを順次更新する必要がある。この場合、今回処理された分割対象画像から得られる主要オブジェクト領域のヒストグラムと背景領域のヒストグラムとによって更新を行う必要がある。この背景領域のヒストグラムを得るために、一定の背景領域が必要なため、背景領域としての余白が必要となる。
第２に、ユーザが矩形枠で主要オブジェクトのおおよその領域を切り抜いた場合に、それに余白を付加することにより、その切り抜いた画像範囲の例えば表示装置への見栄えをよくする効果がある。
第３に、主要オブジェクトが切り抜かれた後に、その主要オブジェクトに対して画像認識等が行われる。この場合に、その主要オブジェクトから抽出する特徴量として、例えばＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれる画像中の輝度や色の勾配のヒストグラム情報等のスケールを持つものを用いる場合に、所定の画像範囲ずつ順次見る必要があるため、その範囲分だけ対象画素の周囲の余白領域が必要なためである。この余白としてのマージンサイズは、画像認識率が高くなるときに用いたＳＩＦＴ等の特徴量の半径サイズにより決まる。

以上の図５のステップＳ５０３からＳ５０７の処理が、図２の画像サイズ調整手段２０２の機能を実現する。上述した制御処理により、画像のリサイズ後でも計算精度をむやみに下げることなく、図４のステップＳ４０２の分割対象画像生成処理に続くステップＳ４０３の領域分割処理において、最適画像サイズによる領域分割計算が実行可能となる。この結果、その計算において、背景領域を主要オブジェクト領域と誤認識する等の割合が減少し、主要オブジェクトの切り抜き精度を向上させることが可能となる。

以下に、図４のステップＳ４０３の領域分割処理について、説明する。
いま、
を、要素Ｘ_v が分割対象画像Ｖにおける画素ｖに対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素ｖが主要オブジェクト領域内にあれば要素Ｘ_v ＝０、背景領域内にあれば要素Ｘ_v ＝１となるバイナリベクトルである。すなわち、
である。

本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数２式の領域ラベルベクトルＸを求める処理である。
エネルギー最小化処理が実行される結果、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要オブジェクト領域が得られる。本実施形態の例でいえば、矩形枠内の花の領域である。なお、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝１となる画素ｖの集合が、背景領域（矩形枠外も含む）となる。

数４式のエネルギーを最小化するために、次式および図７で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。
ここで、Ｖはノード（ｎｏｄｅ）、Ｅはエッジ（ｅｄｇｅ）である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードＶに対応する。また、画素以外のノードとして、次式および図７中に示される、
と呼ばれる特殊なターミナルが追加される。このソースｓを主要オブジェクト領域、シンクｔを背景領域に対応付けて考える。また、エッジＥは、ノードＶ間の関係を表現している。周辺の画素との関係を表したエッジＥをｎ−ｌｉｎｋ、各画素とソースｓ（主要オブジェクト領域に対応）またはシンクｔ（背景領域に対応）との関係を表したエッジＥをｔ−ｌｉｎｋと呼ぶ。

いま、ソースｓと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度主要オブジェクト領域らしいかを示す関係ととらえる。そして、その主要オブジェクト領域らしさを示すコスト値を、数４式第１項に対応付けて、
と定義する。ここで、θ（ｃ、０）は、学習用に用意した複数枚（数百枚程度）の主要オブジェクト領域画像から算出したカラー画素値ｃごとのヒストグラム（出現回数）を示す関数データであり、例えば図８（ａ）に示されるように予め得られている。なお、θ（ｃ、０）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。また、Ｉ（ｖ）は、分割対象画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。実際には、カラー（ＲＧＢ）画素値を輝度値に変換した値であるが、以下では説明の簡単のために「カラー（ＲＧＢ）画素値」または「カラー画素値」と記載する。数７式において、θ（Ｉ（ｖ）、０）の値が大きいほど、コスト値は小さくなる。これは、予め得られている主要オブジェクト領域のカラー画素値の中で出現回数が多いものほど、数７式で得られるコスト値が小さくなって、画素ｖが主要オブジェクト領域中の画素らしいことを意味し、数４式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数４式第１項に対応付けて、
と定義する。ここで、θ（ｃ、1）は、学習用に用意した複数枚（数百枚程度）の背景領域画像から算出したカラー画素値ｃごとのヒストグラム（出現度数）を示す関数データであり、例えば図８（ｂ）に示されるように予め得られている。なお、θ（ｃ、１）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。Ｉ（ｖ）は、数７式の場合と同様に、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数７式において、θ（Ｉ（ｖ）、１）の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数８式で得られるコスト値が小さくなって、画素ｖが背景領域中の画素らしいことを意味し、数４式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。

次に、各画素に対応するノードとその周辺画素との関係を示すｎ−ｌｉｎｋのコスト値を、数４式第２項に対応付けて、
と定義する。ここで、ｄｉｓｔ（ｕ，ｖ）は、画素ｖとその周辺画素ｕのユークリッド距離を示しており、κは所定の係数である。また、Ｉ（ｕ）およびＩ（ｖ）は、入力画像の各画素ｕおよびｖにおける各カラー（ＲＧＢ）画素値である。画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が同一（Ｘ_u ＝Ｘ_v ）となるように選択された場合における数９式のコスト値は０とされて、エネルギーＥ（Ｘ）の計算には影響しなくなる。一方、画素ｖとその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なる（Ｘ_u ≠Ｘ_v ）ように選択された場合における数９式のコスト値は、例えば図９に示される特性を有する関数特性となる。すなわち、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が小さい場合には、数９式で得られるコスト値が大きくなる。この場合には、数４式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって主要オブジェクト領域または背景領域はなるべく変化しないように、制御される。一方、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘ_u およびＸ_v が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が大きい場合には、数９式で得られるコスト値が小さくなる。この場合には、数４式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が大きい場合には、主要オブジェクト領域と背景領域の境界らしいことを意味し、画素ｖとその周辺画素ｕとで、領域ラベル値が異なる方向に制御される
。

以上の定義を用いて、入力画像の各画素ｖごとに、数７式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（主要オブジェクト領域らしさ）が算出される。また、数８式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数９式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。

そして、理論的には、数２式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数７式、数８式、および数９式の計算結果が選択されながら数４式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘ_v ＝０となる画素ｖの集合として、主要オブジェクト領域を得ることができる。

しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。

そこで、Ｇｒａｐｈ Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。
図１０は、上述した数７式、数８式で定義されるｔ−ｌｉｎｋと数９式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図１０では、理解の容易化のために、画素ｖは一次元的に示されている。

数４式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき主要オブジェクト領域中の画素では、数７式と数８式のうち、主要オブジェクト領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図１０の１００２のケース）、数７式を用いて数４式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数７式と数８式のうち、背景領域中の画素らしい場合により小さな値となる数８式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図１０の１００３のケース）、数８式を用いて数４式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。

一方、数４式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき主要オブジェクト領域内部または背景領域内部の画素間では、数９式のコスト値が０となる。従って、数９式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数９式がコスト値０を出力するように、カットされずに維持される。

ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が小さければ、数９式のコスト値が大きくなる。この結果、数４式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数９式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。

これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が大きければ、数９式のコスト値が小さくなる。この結果、数４式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が主要オブジェクト領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要オブジェクト領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数４式の第２項のコスト値が０にされる（図１０の１００４のケース）。

以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図１０の１００１で示されるようなグラフカットが実行され、エネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献１に記載されている手法を採用することができる。

そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち主要オブジェクト領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、主要オブジェクト領域が得られる。

図１１は、上述した動作原理に基づく図４のステップＳ４０３の領域分割処理を示すフローチャートである。

まず、入力画像全体から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図１１のステップＳ１１０１）。

次に、ステップＳ１１０１で読み込まれた画素が、図４のステップＳ４０２にて抽出された分割対象画像内の画素であるか否かが判定される（図１１のステップＳ１１０２）。

ステップＳ１１０２の判定がＹＥＳの場合には、前述した数７式、数８式、および数９式に基づいて、主要オブジェクト領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図１１のステップＳ１１０３、Ｓ１１０４、およびＳ１１０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の主要オブジェクトの領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。

一方、ステップＳ１１０２の判定がＮＯの場合には、分割対象画像の外側には主要オブジェクト領域はないため、そこが主要オブジェクト領域と判定されないようにするために、主要オブジェクト領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のように一定の大きな値Ｋとされる。
ここで、Ｋは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく（以上、図１１のステップＳ１１０６）。

また、分割対象画像の外側が必ず背景領域と判定されるようにするために、背景領域らしさを示すコスト値ｇ_v (Ｘ_v )が、次式のように０とされる（図１１のステップＳ１１０７）。

さらに、分割対象画像の外側は全て背景領域であるため、ｈ_uv（Ｘ_u ,Ｘ_v ）の値は０とされる（図１１のステップＳ１１０８）。

以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図１１のステップＳ１１０９）。

処理すべき画素がありステップＳ１１０９の判定がＹＥＳならば、ステップＳ１１０１の処理に戻って、上記処理が繰り返される。

処理すべき画素がなくなりステップＳ１１０９の判定がＮＯになると、画像内の全ての画素について求まったコスト値を用いて、数４式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要オブジェクトと背景が領域分割される（ステップＳ１１１０）。

以上説明した実施形態において、主要オブジェクトとしては、花に限られず、様々なオブジェクトを採用することができる。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
前記画像内で、前記指定された画像範囲を、該画像範囲の周囲に余白を残してトリミング処理するトリミング処理手段と、
前記トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合に前記トリミング処理された画像のサイズを前記所定の画像サイズに縮小処理して分割対象画像として出力し、前記トリミング処理された画像のサイズが前記所定の画像サイズと比較して小さい場合に前記トリミング処理された画像を前記分割対象画像として出力する画像サイズ調整手段と、
前記分割対象画像内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記分割対象画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
を備えることを特徴とする最適画像サイズによる画像領域分割装置。
（付記２）
前記トリミング処理において、前記分割対象画像上で前記画像範囲の周囲に所定のサイズの余白が残るように、前記残す余白を決定する、
ことを特徴とする付記１に記載の最適画像サイズによる画像領域分割装置。
（付記３）
前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記１または２のいずれかに記載の最適画像サイズによる画像領域分割装置。
（付記４）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する方法であって、
前記画像内で、前記指定された画像範囲を、該画像範囲の周囲に余白を残してトリミング処理するトリミング処理ステップと、
前記トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合に前記トリミング処理された画像のサイズを前記所定の画像サイズに縮小処理して分割対象画像として出力し、前記トリミング処理された画像のサイズが前記所定の画像サイズと比較して小さい場合に前記トリミング処理された画像を前記分割対象画像として出力する画像サイズ調整ステップと、
前記分割対象画像内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記分割対象画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
を備えることを特徴とする最適画像サイズによる画像領域分割方法。
（付記５）
画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割するコンピュータに、
前記画像内で、前記指定された画像範囲を、該画像範囲の周囲に余白を残してトリミング処理するトリミング処理ステップと、
前記トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合に前記トリミング処理された画像のサイズを前記所定の画像サイズに縮小処理して分割対象画像として出力し、前記トリミング処理された画像のサイズが前記所定の画像サイズと比較して小さい場合に前記トリミング処理された画像を前記分割対象画像として出力する画像サイズ調整ステップと、
前記分割対象画像内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記分割対象画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
を実行させるためのプログラム。

１０１ 最適画像サイズによる画像領域分割装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 外部記憶装置
１０６ 通信インタフェース
１０７ 入力装置
１０８ 表示装置
１０９ 可搬記録媒体駆動装置
１１０ 可搬記録媒体
１１１ バス
１１２ 撮像装置
２０１ トリミング処理手段
２０２ 画像サイズ調整手段
２０３ 領域分割手段
３０１ 入力画像
３０２ 指定された画像範囲
３０２′ 縮小後の指定された画像範囲３０２
３０３ 縮小後画像
３０４ 縮小後の指定された画像範囲
３０５ 余白を加味した切り抜き範囲
３０６ トリミング画像
３０６′ 縮小後のトリミング画像

Claims (5)

1. 画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する装置であって、
   前記画像内で、前記指定された画像範囲を、該画像範囲の周囲に余白を残してトリミング処理するトリミング処理手段と、
   前記トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合に前記トリミング処理された画像のサイズを前記所定の画像サイズに縮小処理して分割対象画像として出力し、前記トリミング処理された画像のサイズが前記所定の画像サイズと比較して小さい場合に前記トリミング処理された画像を前記分割対象画像として出力する画像サイズ調整手段と、
   前記分割対象画像内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記分割対象画像内で前記主要オブジェクトと前記背景を領域分割する領域分割手段と、
   を備えることを特徴とする最適画像サイズによる画像領域分割装置。
2. 前記トリミング処理において、前記分割対象画像上で前記画像範囲の周囲に所定のサイズの余白が残るように、前記残す余白を決定する、
   ことを特徴とする請求項１に記載の最適画像サイズによる画像領域分割装置。
3. 前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
   ことを特徴とする請求項１または２のいずれかに記載の最適画像サイズによる画像領域分割装置。
4. 画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割する方法であって、
   前記画像内で、前記指定された画像範囲を、該画像範囲の周囲に余白を残してトリミング処理するトリミング処理ステップと、
   前記トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合に前記トリミング処理された画像のサイズを前記所定の画像サイズに縮小処理して分割対象画像として出力し、前記トリミング処理された画像のサイズが前記所定の画像サイズと比較して小さい場合に前記トリミング処理された画像を前記分割対象画像として出力する画像サイズ調整ステップと、
   前記分割対象画像内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記分割対象画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
   を備えることを特徴とする最適画像サイズによる画像領域分割方法。
5. 画像内で指定された画像範囲内の主要オブジェクトと該主要オブジェクト以外の背景を領域分割するコンピュータに、
   前記画像内で、前記指定された画像範囲を、該画像範囲の周囲に余白を残してトリミング処理するトリミング処理ステップと、
   前記トリミング処理された画像のサイズが所定の画像サイズと比較して大きい場合に前記トリミング処理された画像のサイズを前記所定の画像サイズに縮小処理して分割対象画像として出力し、前記トリミング処理された画像のサイズが前記所定の画像サイズと比較して小さい場合に前記トリミング処理された画像を前記分割対象画像として出力する画像サイズ調整ステップと、
   前記分割対象画像内の各画素に付与する前記主要オブジェクトまたは前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記分割対象画像内で前記主要オブジェクトと前記背景を領域分割する領域分割ステップと、
   を実行させるためのプログラム。