JP2017126304A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】より直感的で簡易な方法でユーザが切り抜きたい領域を指定することができる画像処理装置等を提供する。
【解決手段】画像の画像情報を取得する画像情報取得部１１と、画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得するユーザ指示受付部１２と、指定領域の特徴量を包含領域の画像情報から求め、指定領域の特徴量から指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部１３と、指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する第２の代表位置設定部１４と、第１の代表位置および第２の代表位置から指定領域を検出する領域検出部１５と、を備えることを特徴とする画像処理装置。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

例えば、画像加工の分野では、特定領域を精度よく切り抜く方法の１つとして、切り抜く領域を前景、その他の領域を背景とし、曲線などでシードを与え、このシードを基に領域を分離するGraphCut（グラフカット）法が知られている。さらに、グラフカットの原理をベースに、特定領域を切り抜くGrabCut（グラブカット）法が考案され、矩形で切り抜きたい領域を囲むだけで、特定領域を切り抜けるようになった。

非特許文献１には、GrabCut（グラブカット）法について記載されている。ここでは、囲んだ矩形内の画素のヒストグラムの色分布を、ＧＭＭ（Gaussian Mixture Model）の手法を用いて関数近似し、得られた形状を基に、前景や背景らしさをグラフに与え、グラフカットの原理で、前景と背景に分離する。そして分離結果から得られた画素の分布情報を基に、再びＧＭＭを用いた関数近似を行い、グラフカットの原理で分離する過程を収束するまで繰り返す。

また特許文献１には、領域分割手段は、画像範囲内の各画素に付与する主要オブジェクトまたは背景を示す領域ラベルと各画素の画素値に基づき、主要オブジェクトらしさまたは背景らしさを示すデータ項と、隣接画素間の領域ラベルの滑らかさを示す平滑化項と、データ項２０３または平滑化項の少なくともいずれかに前回の領域分割の結果に応じて算出され各画素の位置に応じた画素位置重み値を付加する画素位置重み関数とを含むエネルギー関数の最小化処理により、画像内で主要オブジェクトと背景を領域分割し、画素位置重み関数更新手段は、領域分割手段により主要オブジェクトの領域が画像範囲内で占める割合が増加するほど、画像範囲の中央から境界部分に向かって画素位置重み値が減少する関数を算出し、画素位置重み関数として更新することが開示されている。

さらに特許文献２には、ヒストグラム更新手段は、矩形枠の枠上ヒストグラム上で度数値（発生頻度）が高い特定画素値について、矩形枠の枠外ヒストグラム上での度数値が大きくかつ矩形枠の枠内ヒストグラム上での度数値が小さい場合に、この特定画素値において、領域分割手段で領域分割を行うためのエネルギー関数に使用される背景らしさを示す第２のヒストグラムの度数値を、主要オブジェクトらしさを示す第１のヒストグラムの度数値に対して相対的に増加するように、更新することが開示されている。

Rother, A. Blake, and V. Kolmogorov, "GrabCut - interactive foreground extraction using iterated graph cuts," ACM Trans. on Graphics, Vol. 23, No. 3, pp. 309-314, 2004. 特開２０１４−１０６８２号公報 特開２０１４−１６６７６号公報

GrabCut（グラブカット）法においては、例えば、特定領域を精度よく切り抜くときの分離精度の向上が課題である。またユーザが切り抜きたい領域を指定する際により直感的で簡易な方法が求められている。
本発明は、より直感的で簡易な方法でユーザが切り抜きたい領域を指定することができる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、画像の画像情報を取得する画像情報取得部と、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する第２の代表位置設定部と、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、を備えることを特徴とする画像処理装置である。
請求項２に記載の発明は、前記包含領域は、画像中における前記指定領域および当該指定領域の周囲の領域をユーザが塗りつぶすことで入力されたものであることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記第１の代表位置設定部は、前記包含領域の画像情報の画素値に対する度数を表すヒストグラムを基に前記指定領域の特徴量を求めることを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記第１の代表位置設定部は、前記度数に対して設定される閾値との比較で前記指定領域の特徴量を求め、当該指定領域の特徴量を有する画素について前記第１の代表位置とすることを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、前記第２の代表位置設定部は、前記指定領域外領域の特徴量を前記包含領域以外の領域の画像情報から求め、当該指定領域外領域の特徴量から前記第２の代表位置を設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置である。
請求項６に記載の発明は、前記第２の代表位置設定部は、前記指定領域外領域の特徴量を前記包含領域の外接矩形内以外の領域の画像情報から求めることを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、画像の画像情報を取得し、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得し、前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定し、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定し、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出することを特徴とする画像処理方法である。
請求項８に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、を備え、前記画像処理装置は、前記画像の画像情報を取得する画像情報取得部と、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する第２の代表位置設定部と、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、前記指定領域および／または前記指定領域外領域に対し画像処理を行なう画像処理部と、を備えることを特徴とする画像処理システムである。
請求項９に記載の発明は、コンピュータに、画像の画像情報を取得する画像情報取得機能と、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得機能と、前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定機能と、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する第２の代表位置設定機能と、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出機能と、を実現させることを特徴とするプログラムである。

請求項１の発明によれば、より直感的で簡易な方法でユーザが切り抜きたい領域を指定することができる画像処理装置を提供できる。
請求項２の発明によれば、さらに直感的で簡易な方法でユーザが切り抜きたい領域を指定することができる。
請求項３の発明によれば、指定領域の特徴量をより容易に求めることができる。
請求項４の発明によれば、求められる指定領域の特徴量の精度が向上する。
請求項５の発明によれば、求められる指定領域外領域の特徴量の精度が向上する。
請求項６の発明によれば、指定領域外領域をより容易に求めることができる。
請求項７の発明によれば、より直感的で簡易な方法でユーザが切り抜きたい領域を指定することができる画像処理方法を提供できる。
請求項８の発明によれば、画像処理がより容易に行える画像処理システムが提供できる。
請求項９の発明によれば、より直感的で簡易な方法でユーザが切り抜きたい領域を指定することができる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 本実施の形態における画像処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｂ）は、指定領域を指定する作業をユーザインタラクティブに行う方法の第１の例を示した図である。 （ａ）〜（ｃ）は、指定領域を指定する作業をユーザインタラクティブに行う方法の第２の例を示した図である。 前景カバー領域内の画素についてヒストグラムを作成した場合を示した図である。 画像に対し、第１の代表位置を図示した場合を示す。 特徴量を求める他の方法について示した図である。 減色後のＲ、Ｇ、Ｂについての度数を表とした図である。 （ａ）〜（ｂ）は、背景カバー領域の一例について示した図である。 （ａ）は、前景カバー領域が指定領域を全て覆っていなかった場合を示す。（ｂ）は、外接矩形を直観的に操作するＧＵＩ（Graphical user interface）を設けた場合を示す。 （ａ）は、ユーザが曲線を入力した場合を示した図である。（ｂ）は、外接矩形を直観的に操作するＧＵＩを設けた場合を示す。 シード２について示した図である。 前景カバー領域の外接矩形内の画像情報も含めて求めた場合に、外接矩形内にもシードが設定された例を示した図である。 前景カバー領域の外接矩形に隣接する領域として、外接矩形の外側にさらに矩形を設定し、その間の領域をシード２とした場合を示した図である。 最大流量最小カットの原理を説明した図である。 図３（ａ）で示した画像について、領域拡張方法により指定領域Ｓ１および指定領域外領域Ｓ２が切り出された様子を示している。 （ａ）〜（ｂ）は、ユーザが指定領域または指定領域外領域の選択を行なうときに、表示装置の表示画面に表示される画面の例を示している。 画像処理を行なう際に、表示装置の表示画面に表示される画面の例を示している。 ユーザが複数の前景カバー領域を画像に対し入力した場合を示した図である。 ラジオボタンにより領域の切り替えを行う例について示した図である。 外接矩形が複数となる場合について示した図である。 第１の代表位置設定部や第２の代表位置設定部が、シードを設定した例を示している。 ２つの外接矩形が重なった場合を示している。 外接矩形内以外の領域をシード２として設定した場合を示した図である。 図１８で示した画像について、領域拡張方法により指定領域、指定領域外領域が切り出された様子を示している。 本実施形態における領域検出部の機能構成例を表すブロック図である。 （ａ）は、この指定領域の切り分けが行なわれる原画像を示したものである。また（ｂ）は、基準画素について示したものである。 第１の範囲について説明した図である。 図２７で示す第１の範囲に属する対象画素について、ユークリッド距離を基に判定を行なった結果を示している。 （ａ）〜（ｂ）は、影響力を決定する方法について示した図である。 図２７で示す第１の範囲内の対象画素について、強さを基にした方法で判定を行なった結果を示している。 （ａ）〜（ｈ）は、強さを基にした領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。 （ａ）〜（ｈ）は、第２の実施例による領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。 （ａ）〜（ｂ）は、行と列の順を反転させた場合を示した図である。 第１の実施例および第２の実施例における領域検出部の動作について説明したフローチャートである。 画素選択部により選択される対象画素、および範囲設定部により設定される第２の範囲について示した図である。 本実施の形態による判定の結果について示した図である。 （ａ）〜（ｈ）は、第４の実施例による領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。 第３の実施例および第４の実施例における領域検出部の動作について説明したフローチャートである。 第５の実施例における領域検出部の動作について説明したフローチャートである。 画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。

＜画像処理装置の説明＞
［第１の実施形態］
次に画像処理装置１０の第１の実施形態について説明を行なう。
図２は、本発明の第１の実施形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、第１の代表位置設定部１３と、第２の代表位置設定部１４と、領域検出部１５と、領域切替部１６と、画像処理部１７と、画像情報出力部１８とを備える。

画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。

ユーザ指示受付部１２は、位置情報取得部の一例であり、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、表示装置２０で表示している画像の中から、ユーザが画像処理を行なう画像領域として、指定領域を指定する指示をユーザ指示情報として受け付ける。より具体的には、本実施の形態では、ユーザ指示受付部１２は、ユーザ指示情報として、画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した前景カバー領域の位置情報を取得する。

また詳しくは後述するが、ユーザ指示受付部１２は、ユーザが、この指定領域の中から実際に画像処理を行なうものを選択する指示をユーザ指示情報として受け付ける。さらにユーザ指示受付部１２は、選択された指定領域に対し、ユーザが画像処理を行う処理項目や処理量等に関する指示をユーザ指示情報として受け付ける。これらの内容に関するさらに詳しい説明については後述する。

本実施の形態では、指定領域を指定する作業を下記に説明するユーザインタラクティブに行う方法を採用する。
図３（ａ）〜（ｂ）は、指定領域を指定する作業をユーザインタラクティブに行う方法の第１の例を示した図である。
このうち図３（ａ）は、画像処理を行なう前の画像であり、画像情報取得部１１が取得した画像データに基づき表示装置２０に表示した画像Ｇを示している。この画像Ｇは、野原の一部を撮影した写真の画像であり、植物の花や葉が撮影された画像である。そして図３（ｂ）では、ユーザが、前景である左側の花の部分を指定領域Ｓ１として選択する場合を示している。なお以後、後景である指定領域Ｓ１外の領域を「指定領域外領域Ｓ２」と言うことがある。

そしてユーザは、指定領域Ｓ１を包含する前景カバー領域Ｈを画像Ｇに対し入力する。具体的には、画像Ｇ上で指定領域Ｓ１である花の部分とそこからはみ出した周辺の部分について軌跡Ｋを描き、これにより指定領域Ｓ１を包含する前景カバー領域Ｈを入力する。この場合、前景カバー領域Ｈは、指定領域Ｓ１である花の部分とそこからはみ出した周辺の部分の双方を合わせた領域となる。この前景カバー領域Ｈは、包含領域の一例である。

この軌跡Ｋは、入力装置３０により描くことができる。例えば、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している画像Ｇをドラッグし軌跡Ｋを描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Ｇをなぞりスワイプすることで同様に軌跡Ｋを描く。

この場合、前景カバー領域Ｈは、画像中における指定領域Ｓ１および指定領域Ｓ１の周囲の領域をユーザが塗りつぶすことで入力される。なおこの軌跡Ｋは、１回で描く必要はなく、複数回に分けて描いてもよい。即ち、前景カバー領域Ｈは、ユーザが画像Ｇ上で複数の軌跡Ｋを描くことで入力してもよい。

また軌跡Ｋは、同方向で描く場合に限られるものではなく、往復動作を行い描いてもよい。またこの軌跡Ｋは細い線よりもより太い線にて描いた方が、前景カバー領域Ｈの入力はより容易になる。これは例えば、画像加工を行なう画像加工ソフトウェア等で用いられるブラシツールの中でペンサイズが太いサイズのものを実装する方法で実現してもよい。

またユーザが前景カバー領域Ｈを入力するのに図３（ｂ）のようにいわば塗りつぶす場合に限られるものではなく、前景カバー領域Ｈを囲む軌跡Ｋを入力してもよい。

図４（ａ）〜（ｃ）は、指定領域Ｓ１を指定する作業をユーザインタラクティブに行う方法の第２の例を示した図である。
ここではユーザは、図４（ａ）で示すように画像Ｇ上で指定領域Ｓ１である花の部分を囲むように軌跡Ｋを描き、これにより指定領域Ｓ１を包含する前景カバー領域Ｈを入力する。図４（ａ）で示す軌跡Ｋは、花の部分を囲むように始点から終点に向け、図中右回りで入力されたものである。
この場合、軌跡Ｋは、閉曲線であってもよく、図４（ａ）に示すように開曲線であってもよい。ただし図４（ａ）のような開曲線の軌跡Ｋが入力された場合、これを閉曲線とする処理が別途必要となる。

図４（ｂ）は、開曲線の軌跡Ｋが入力されたときに閉曲線とする処理について示した図である。
図示するように開曲線の始点と終点とを結ぶ補間処理をし、閉曲線とする。図では、開曲線の始点と終点とを、点線で示した線分により結ぶ場合を示している。この処理は、始点の画像上での座標が（ｘ、ｙ）＝（ｘ_１、ｙ_１）、終点の画像上での座標が（ｘ、ｙ）＝（ｘ_２、ｙ_２）であったときに、この双方を通る直線の式ｙ＝ｍｘ＋ｎ（ｍ、ｎは定数）を求めることで容易に行うことができる。

図４（ｃ）は、図４（ａ）に示す軌跡Ｋが入力されたときに設定される前景カバー領域Ｈについて示した図である。
図示するように図４（ｂ）の補間後の閉曲線およびその内部の領域が前景カバー領域Ｈとなっている。

なおこの軌跡Ｋは太い線よりもより細い線にて描いた方が、前景カバー領域Ｈの入力はより容易になる。これは例えば、画像加工を行なう画像加工ソフトウェア等で用いられるブラシツールの中でペンサイズが細〜中サイズのものを実装する方法で実現してもよい。

図３、図４に示すように、前景カバー領域Ｈは、その外縁が、指定領域Ｓ１の外側において指定領域Ｓ１に沿うものとして入力される。

第１の代表位置設定部１３は、指定領域Ｓ１の特徴量を前景カバー領域Ｈの画像情報から求め、指定領域Ｓ１の特徴量から指定領域Ｓ１の代表位置である第１の代表位置を設定する。

特徴量は、指定領域Ｓ１を構成する色情報の中で代表となる色情報であり、例えば、指定領域Ｓ１中でより多く使用されている色を表す色情報として求められる。また特徴量は、前景である指定領域Ｓ１の前景らしさを表すと言うこともできる。本実施の形態では、指定領域Ｓ１は、花の部分であり、この花の色を表す色情報が特徴量となる。

特徴量を求めるためには、第１の代表位置設定部１３は、まず前景カバー領域Ｈ内の画素についてヒストグラムを作成する。

図５は、前景カバー領域Ｈ内の画素についてヒストグラムを作成した場合を示した図である。図中横軸は、画素値を表し、縦軸は度数（画素数）を表す。画素値が８ｂｉｔの階調値で表される場合、画素値は、０〜２５５の整数値となる。また度数については、全度数の合計が１となるように正規化しておくことが好ましい。
なお図５では、１つのヒストグラムしか図示していないが、画像Ｇがカラー画像であった場合は、このヒストグラムは３つとなる。例えば、画像Ｇの画像データがＲＧＢデータであったときは、第１の代表位置設定部１３は、横軸が、Ｒの画素値、Ｇの画素値、Ｂの画素値となる３つのヒストグラムを作成する。

次に第１の代表位置設定部１３は、作成したヒストグラムをＧＭＭ（Gaussian Mixture Model）を用い、複数のガウス関数の和により関数近似する。ＧＭＭによる関数近似は、公知の数学手法であるＫ−ＭｅａｎｓアルゴリズムとＥＭアルゴリズムを組み合わせることで求めることができる。図５の例では、点線で示した３つのガウス関数の和によりヒストグラムを関数近似している。この関数をここでは、分布近似関数Ｄとする。

そして第１の代表位置設定部１３は、分布近似関数Ｄの度数について閾値θを設定する。そして第１の代表位置設定部１３は、閾値θ以上となる画素値を有する画素を指定領域Ｓ１の代表位置である第１の代表位置とする。つまりより多くの度数をとる画素値は、指定領域Ｓ１を構成する色情報の中で代表となる色情報であると考えられ、これをここでは特徴量としている。そしてこの特徴量を有する画素は、指定領域Ｓ１の代表位置であると考えられるため、第１の代表位置設定部１３は、この画素を指定領域Ｓ１の代表位置である第１の代表位置とする。

図６は、画像Ｇに対し、第１の代表位置を図示した場合を示す。
図中、矩形で示した領域が第１の代表位置である。なおこの第１の代表位置を以後、図６に示すように、「シード１」と言うことがある。また図示するようにシード１は、指定領域Ｓ１内に存在する。

このように第１の代表位置設定部１３は、前景カバー領域Ｈの画像情報の画素値に対する度数を表すヒストグラムを求め、度数に対して設定される閾値との比較で第１の代表位置を設定する。

第１の代表位置設定部１３が特徴量を求めるためには、ＧＭＭを用いる方法に限られるものではない。
図７は、特徴量を求める他の方法について示した図である。
このうち図７は、作成したヒストグラムを減色した場合を概念的に示している。この場合、例えば、０〜２５５の整数値となる画素値を予め定められた分割数で分割し、分割した範囲毎に度数を合計した後、全度数の合計が１となるように正規化している。これによりヒストグラムを近似化する。

図８は、減色後のＲ、Ｇ、Ｂについての度数を表とした図である。
図８では、Ｒ、Ｇ、Ｂのそれぞれについて度数が対応付けられている。この度数は、Ｒ、Ｇ、Ｂの値で定義される格子点の度数である。そしてこの度数に対し、上記閾値θを設定すれば、上述した場合と同様に特徴量が取得できる。
なお図８で、度数は、ｎ個（Ｄ_１〜Ｄ_ｎ）存在するが、画素値の分割数が、例えば１０であったときには、Ｒ、Ｇ、Ｂのそれぞれについて画素値は、１１の範囲に分割されるため、ｎ＝１１^３となる。

または、ヒストグラムを加重平均で平滑化しても滑らかな度数が得られる。この場合、ｎ番目の格子点が新たに得る度数をＤ_ｗｎとすると、例えば、下記数１式のような加重平均式で算出すれば、平滑化することができる。ここでｋはｎの近くの格子点を表し、ｗ_ｋは格子点ｋに付加される加重であるとする。ｗ_ｋはｎから離れるにつれて小さい値とすればよい。

第２の代表位置設定部１４は、指定領域外領域Ｓ２の代表位置である第２の代表位置を設定する。
第２の代表位置設定部１４は、まず前景カバー領域Ｈに応じて背景カバー領域Ｊを設定する。

図９（ａ）〜（ｂ）は、背景カバー領域Ｊの一例について示した図である。
上述した例では、前景カバー領域Ｈは、指定領域Ｓ１を全て覆っている。そのため例えば、第２の代表位置設定部１４は、図９（ａ）に示すような前景カバー領域Ｈに対する外接矩形を求め、図９（ｂ）に示すように、この外接矩形内以外を全て背景カバー領域Ｊとする。

また図１０−１（ａ）のように前景カバー領域Ｈが指定領域Ｓ１を全て覆っていなかった場合でも図１０−１（ｂ）のような外接矩形を直観的に操作するＧＵＩ（Graphical user interface）を設けることで、指定領域Ｓ１に背景カバー領域Ｊが覆われるのをインタラクティブに防ぐことができる。
図１０−１（ｂ）では、例えば、入力装置３０がマウスであった場合は、ユーザは、マウスを操作して外接矩形をドラッグし外接矩形の位置や大きさを変更する。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により外接矩形をスワイプすることで同様に外接矩形の位置や大きさを変更する。

さらには、よりラフな指定として図１０−２（ａ）のようにユーザが曲線を入力し、そしてこの曲線に対する外接矩形を求めてもよい。この場合も図１０−２（ｂ）のような外接矩形を直観的に操作するＧＵＩを設け、指定領域Ｓ１に背景カバー領域Ｊが覆われるのをインタラクティブに防ぐことができる。

次に第２の代表位置設定部１４は、背景カバー領域Ｊの中から、指定領域外領域Ｓ２の代表位置である第２の代表位置を設定する。
外接矩形内以外が必ず指定領域外領域Ｓ２であることがわかっていれば、背景カバー領域Ｊそのものを第２の代表位置としてもよい。なおこの第２の代表位置を以後、図１１に示すように、「シード２」と言うことがある。

第２の代表位置設定部１４は、指定領域外領域Ｓ２の特徴量を前景カバー領域Ｈ以外の領域の画像情報から求め、指定領域外領域Ｓ２の特徴量から第２の代表位置を設定するようにしてもよい。つまり第１の代表位置設定部１３と同様に、第２の代表位置設定部１４は、指定領域外領域Ｓ２の画素を対象とした図５に示すようなヒストグラムを作成する。そして第２の代表位置設定部１４は、作成したヒストグラムをＧＭＭを用い、複数のガウス関数の和により関数近似し、分布近似関数Ｄとする。そして第２の代表位置設定部１４は、分布近似関数Ｄの度数について閾値θを設定する。さらに第２の代表位置設定部１４は、閾値θ以上となる画素値を有する画素を指定領域外領域Ｓ２の代表位置である第２の代表位置とする。

なおこの場合、第２の代表位置設定部１４は、指定領域外領域Ｓ２の特徴量を前景カバー領域Ｈの外接矩形内以外の領域の画像情報から求めるようにしてもよい。

また第２の代表位置設定部１４は、シード２を前景カバー領域Ｈの外接矩形内の画像情報も含めて求めるようにしてもよい。
図１２は、前景カバー領域Ｈの外接矩形内の画像情報も含めて求めた場合に、外接矩形内にもシード２が設定された例を示している。

またさらに第２の代表位置設定部１４は、指定領域外領域Ｓ２の特徴量を前景カバー領域Ｈの外接矩形に隣接する領域をシード２としてもよい。例えば、図１３では、前景カバー領域Ｈの外接矩形に隣接する領域として、外接矩形の外側にさらに矩形を設定し、その間の領域をシード２としている。

領域検出部１５は、第１の代表位置および第２の代表位置から指定領域Ｓ１を検出する。実際には、領域検出部１５は、表示装置２０で表示している画像の中から、指定領域Ｓ１を切り出す処理を行う。

領域検出部１５が指定領域Ｓ１の切り出しを行うには、例えば、画像Ｇをグラフと見立て、最大流量最小カットの原理を利用した方法が使用できる。
この原理は、図１４に示すように前景の仮想ノードを始点、後景の仮想ノードを終点として設定し、前景の仮想ノードから指定領域Ｓ１の第１の代表位置をリンクし、指定領域外領域Ｓ２の代表位置から終点へリンクさせる。そして始点から水を流した場合、最大流せる量はいくらかを計算する。第１の代表位置から始点へのリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている（流れにくい）箇所のカットの総和が最大流量であるという原理である。つまりは、ボトルネックとなるリンクをカットすることが、前景と後景とを分離することになる（グラフカット）。

この場合、度数の数値を反映させることでリンクの太さを変えることも可能である。即ち、この場合、リンクの太さは、０〜１の多値で尤度として表される。

また領域検出部１５は、シードの情報を基にして領域拡張方法により、指定領域Ｓ１を切り出していってもよい。

領域検出部１５が、シードの情報を基にして指定領域Ｓ１を切り出すには、まずシードが設定された箇所の画素に対しラベルを付加する。図１１〜図１３の例では、花の部分に描かれた軌跡（シード１）に対応する画素に「ラベル１」を、花以外の部分（シード２）に対応する画素に「ラベル２」を付加する。
本実施の形態では、このようにラベルを付与することを「ラベル付け」と言う。

そして詳しくは後述するが、領域検出部１５は、シードが設定された画素と周辺の画素との間で画素値の近さ（ＲＧＢ値のユークリッド距離など）を基に、近ければ連結し、遠ければ連結しない作業等を繰り返し、領域を拡張していく領域拡張方法により、指定領域Ｓ１を切り出していく。

図１５では、図３（ａ）で示した画像Ｇについて、領域拡張方法により指定領域Ｓ１および指定領域外領域Ｓ２が切り出された様子を示している。

以上のような方法を採用することで、指定領域Ｓ１が複雑な形状であっても、ユーザは、より直感的に、またより容易に指定領域Ｓ１が切り出せる。

領域切替部１６は、指定領域Ｓ１または指定領域外領域Ｓ２を切り替える。即ち、ユーザが画像調整を行ないたい画像領域の選択を行ない、これに従い、領域切替部１６が画像領域を切り替える。

図１６（ａ）〜（ｂ）は、ユーザが指定領域Ｓ１または指定領域外領域Ｓ２の選択を行なうときに、表示装置２０の表示画面２１に表示される画面の例を示している。
図１６（ａ）〜（ｂ）に示した例では、表示画面２１の左側に画像領域が選択された状態の画像Ｇが表示され、表示画面２１の右側に「領域１」、「領域２」の何れかを選択するラジオボタン２１２ａ、２１２ｂが表示される。この場合、「領域１」は、指定領域Ｓ１に、「領域２」は、指定領域外領域Ｓ２に対応する。そしてユーザが入力装置３０を使用して、このラジオボタン２１２ａ、２１２ｂを選択すると、画像領域が切り替わる。

図１６（ａ）は、ラジオボタン２１２ａが選択されている状態であり、花の部分の画像領域である指定領域Ｓ１が選択されている。そしてユーザがラジオボタン２１２ｂを選択すると、図１６（ｂ）に示すように花以外の部分の画像領域である指定領域外領域Ｓ２に切り替わる。

実際には、図１６で説明を行なった操作の結果は、ユーザ指示情報としてユーザ指示受付部１２により取得され、さらに領域切替部１６により指定領域Ｓ１または指定領域外領域Ｓ２の切り替えが行なわれる。

画像処理部１７は、選択された指定領域Ｓ１または指定領域外領域Ｓ２に対し実際に画像処理を行なう。
図１７は、画像処理を行なう際に、表示装置２０の表示画面２１に表示される画面の例を示している。
ここでは、選択された指定領域Ｓ１または指定領域外領域Ｓ２に対し、色相、彩度、輝度の調整を行なう例を示している。この例では、表示画面２１の左上側に指定領域Ｓ１または指定領域外領域Ｓ２が選択された状態の画像Ｇが表示され、表示画面２１の右上側に「領域１」、「領域２」の何れかを選択するラジオボタン２１２ａ、２１２ｂが表示される。ここでは、ラジオボタンのうち２１２ａが選択されており、花の部分の画像領域である指定領域Ｓ１が選択されている。なおラジオボタン２１２ａ、２１２ｂを操作することで、指定領域Ｓ１または指定領域外領域Ｓ２の切り替えが可能であることは、図１６の場合と同様である。

また表示画面２１の下側には、「色相」、「彩度」、「輝度」の調整を行なうためのスライドバー２１３ａと、スライダ２１３ｂが表示される。スライダ２１３ｂは、入力装置３０の操作によりスライドバー２１３ａ上において図中左右に移動し、スライドが可能である。スライダ２１３ｂは、初期状態ではスライドバー２１３ａの中央に位置し、この位置において「色相」、「彩度」、「輝度」の調整前の状態を表す。

そしてユーザが、入力装置３０を使用して、「色相」、「彩度」、「輝度」の何れかのスライダ２１３ｂをスライドバー２１３ａ上で図中左右にスライドさせると、選択された指定領域Ｓ１または指定領域外領域Ｓ２に対し画像処理がなされ、表示画面２１で表示される画像Ｇもそれに対応して変化する。この場合、図中右方向にスライダ２１３ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを増加させる画像処理がなされる。対して図中左方向にスライダ２１３ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを減少させる画像処理がなされる。

再び図２に戻り、画像情報出力部１８は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。

［第２の実施形態］
次に画像処理装置１０の第２の実施形態について説明を行なう。
第１の実施形態では、指定領域は１つであったが、第２の実施形態では、指定領域が複数の場合について説明を行う。
第２の実施形態では、ユーザ指示受付部１２は複数の指定領域を指定する指示をユーザ指示情報として受け付ける。本実施の形態では、ユーザ指示受付部１２は、ユーザ指示情報として、複数の指定領域を包含するようにユーザが入力した複数の前景カバー領域の位置情報を取得する。

図１８は、ユーザが複数の前景カバー領域を画像Ｇに対し入力した場合を示した図である。
ここでは、画像Ｇにおいて、形状も色も異なる左側の花と右側の花をそれぞれ指定領域として指定するものとする。このときユーザは、画像Ｇ上で指定領域Ｓ１１として図示した左側の花の部分と指定領域Ｓ１２として図示した右側の花の部分について、そこからはみ出した周辺の部分について軌跡Ｋ１および軌跡Ｋ２を描く。そしてこれによりユーザは、指定領域Ｓ１１や指定領域Ｓ１２を包含する前景カバー領域Ｈ１および前景カバー領域Ｈ２を入力する。

なお前景カバー領域Ｈ１および前景カバー領域Ｈ２を入力する順はどちらが先でもよい。ただし、図１９に示すように前景カバー領域Ｈ１を「領域１」、前景カバー領域Ｈ２を「領域２」とし、それぞれをラジオボタン２１２ｃ、２１２ｄにより切り替えが可能にすれば、ユーザの混乱を防ぐことができる。図示する例では、ユーザが前景カバー領域Ｈ２を入力している場合であり、この場合、「領域２」についてのラジオボタン２１２ｄが選択されている。

また第２の代表位置設定部１４が、前景カバー領域Ｈに対する外接矩形を求めた場合、その外接矩形は、図２０に示すように複数となる。
また図２１は、この場合に、第１の代表位置設定部１３や第２の代表位置設定部１４が、シードを設定した例を示している。ここでシード１１は、指定領域Ｓ１１に対するシードである。またシード１２は、指定領域Ｓ１２に対するシードである。さらにシード２は、指定領域外領域Ｓ２に対するシードである。

また指定領域の形状が複雑などの理由により、複数の外接矩形が重なる場合が生じてもかまわない。
図２２は、２つの外接矩形が重なった場合を示している。そしてこの場合も図２３に示すようにそれぞれの外接矩形内以外の領域をシード２として設定すればよい。

領域検出部１５は、指定領域Ｓ１１および指定領域Ｓ１２を切り出す。なおこの場合は、指定領域Ｓ１１および指定領域Ｓ１２を１つの前景とみなして切り出すわけではないので、図１４に説明したようなグラフカットによる方法は使用できない。よって複数領域の切り抜きが可能な領域拡張方法による方法により指定領域Ｓ１１および指定領域Ｓ１２を異なる２つの前景として切り出すことになる。

図２４は、図１８で示した画像Ｇについて、領域拡張方法により指定領域Ｓ１１、指定領域Ｓ１２、指定領域外領域Ｓ２が切り出された様子を示している。

＜領域検出部の説明＞
次に領域検出部１５が領域拡張方法により指定領域Ｓ１を切り出す方法についてさらに詳しく説明を行なう。

図２５は、本実施形態における領域検出部１５の機能構成例を表すブロック図である。
図示するように本実施の形態の領域検出部１５は、画素選択部１５１と、範囲設定部１５２と、判定部１５３と、特性変更部１５４と、収束判定部１５５とを備える。
以下、図２５に示す領域検出部１５について、第１の実施例〜第５の実施例に分けて説明を行なう。

［第１の実施例（「攻撃型」で「同期型」の場合）]
まず領域検出部１５の第１の実施例について説明を行なう。
第１の実施例において、画素選択部１５１は、指定領域Ｓ１や指定領域外領域Ｓ２に属する画素を基準画素として選択する。ここで「指定領域Ｓ１や指定領域外領域Ｓ２に属する画素」は、例えば、代表位置に含まれる画素、即ち、上述したシードの画素である。またこれには、領域拡張により新たにラベル付けされた画素も含まれる。
ここでは画素選択部１５１は、基準画素として指定領域Ｓ１や指定領域外領域Ｓ２に含まれる画素の中から１つの画素を選択する。

図２６（ａ）は、この指定領域Ｓ１と指定領域外領域Ｓ２の切り分けが行なわれる原画像を示したものである。図示するように原画像は、全体が縦９画素、横７画素の９×７＝６３画素の領域からなり、図示するように画像領域Ｒ１と画像領域Ｒ２が含まれる。この画像領域Ｒ１に含まれる画素のそれぞれの画素値、また画像領域Ｒ２に含まれる画素のそれぞれの画素値は近い値を採る。そして以下に説明するようにこの画像領域Ｒ１と画像領域Ｒ２をそれぞれ指定領域Ｓ１や指定領域外領域Ｓ２として切り分けるものとする。

そして説明を簡単にするため、図２６（ｂ）で示すように、代表位置は、画像領域Ｒ１と画像領域Ｒ２のそれぞれに指定された２箇所で、それぞれ１画素からなり、画素選択部１５１は、この１画素を基準画素として選択するものとする。図２６（ｂ）では、この基準画素をシード１およびシード２で図示している。

詳しくは後述するが、このシード１およびシード２は、それぞれラベル付けされており、強さを有する。ここでは、シード１およびシード２は、それぞれラベル１とラベル２にラベル付けされ、強さとして双方とも初期値として１が設定されるものとする。

範囲設定部１５２は、基準画素に対し設定され、この基準画素周辺の特定の範囲を第１の範囲として設定する。ここで基準画素周辺の特定の範囲とは、基準画素に隣接する８画素のうちの少なくとも１画素および基準画素を含む任意の特定された範囲である。
図２７は、第１の範囲について説明した図である。
図示するように、画像領域Ｒ１と画像領域Ｒ２のそれぞれに基準画素であるシード１およびシード２が選択されている。そしてさらにこのシード１とシード２を中心に位置するようにして縦５画素×横５画素の範囲を第１の範囲とする。図では、この範囲を太線の枠内の範囲として表示している。
また詳しくは後述するが、本実施の形態では、第１の範囲は可変であり、処理が進行するに従い範囲が縮小されることが好ましい。

判定部１５３は、第１の範囲内の対象画素（第１の対象画素）が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかを判定する。即ち、第１の範囲に含まれる画素の各々について、基準画素が属する指定領域Ｓ１または指定領域外領域Ｓ２への属否を判定する。
判定部１５３では、上記第１の範囲に含まれる２５画素のうち、シード１またはシード２を除くそれぞれ２４画素について、指定領域Ｓ１または指定領域外領域Ｓ２に含まれるか否かの判定の対象となる対象画素（第１の対象画素）とする。そしてこれらの対象画素が、シード１が属する指定領域Ｓ１に含まれるか否か、又は／および、シード２が属する指定領域外領域Ｓ２に属するか否かの判定を行なう。

このときの判定基準として画素値の近さを採用することができる。
具体的には、第１の範囲内に含まれる上記２４画素に便宜上番号を付し、ｉ番目（ｉは１〜２４の何れかの整数値）の対象画素をＰ_ｉとしたとき、この画素の色データがＲＧＢデータである場合は、この色データはＰ_ｉ＝（Ｒ_ｉ、Ｇ_ｉ、Ｂ_ｉ）として表すことができる。同様にしてシード１やシード２の基準画素をＰ_０とすると、この色データはＰ_０＝（Ｒ_０、Ｇ_０、Ｂ_０）として表すことができる。そして画素値の近さとして、以下の数２式に示すＲＧＢ値のユークリッド距離ｄ_ｉを考える。

判定部１５３は、このユークリッド距離ｄ_ｉが、予め定められた閾値以下であった場合に、指定領域Ｓ１や指定領域外領域Ｓ２に属するとの判定を行なう。即ちユークリッド距離ｄ_ｉが、予め定められた閾値以下であった場合は、基準画素Ｐ_０と対象画素Ｐ_ｉの画素値はより近いと考えられるため、その場合は、基準画素Ｐ_０と対象画素Ｐ_ｉとは、同じ指定領域Ｓ１または指定領域外領域Ｓ２に属するとする。

なおシード１とシード２の双方に対して、ユークリッド距離ｄ_ｉが、閾値以下となる場合もあるが、この場合は、判定部１５３は、ユークリッド距離ｄ_ｉがより小さい値となる方の指定領域Ｓ１や指定領域外領域Ｓ２に属するとする。

図２８は、図２７で示す第１の範囲に属する対象画素について、ユークリッド距離ｄ_ｉを基に判定を行なった結果を示している。
ここでシード１と同じ黒色となったものは、指定領域Ｓ１に属する画素と判定され、シード２と同じ灰色となったものは、指定領域外領域Ｓ２に属する画素と判定されたことを示している。なお白色の画素は、この場合、指定領域Ｓ１および指定領域外領域Ｓ２のどちらにも属さないと判定されたことを示している。

判定部１５３を以上のように動作させることで、与えたシードに対して、自動でシードを拡散する効果がある。本実施の形態では、例えば、初回のみに判定部１５３にこの動作をさせることもできる。または最初の数回をこの動作にすることもできる。この場合、以後は、判定部１５３は、後述する「強さ」を使用して判定を行うことが好ましい。なお判定部１５３は、初回から後述する「強さ」を使用した判定を行ってもかまわない。

なお上述した例では、色データがＲＧＢデータである場合で説明を行なったが、これに限られるものではなく、Ｌ^＊ａ^＊ｂ^＊データ、ＹＣｂＣｒデータ、ＨＳＶデータ、ＩＰＴデータなど他の色空間における色データであってもよい。また全ての色成分を用いず、例えば、色データとしてＨＳＶデータを用いたときに、Ｈ、Ｓの値のみ使用してもよい。

また指定領域Ｓ１および指定領域外領域Ｓ２の切り分けがうまくいかない場合に、他の色空間における色データを使用するとよい場合がある。例えば、数２式に示したＲＧＢ値のユークリッド距離ｄ_ｉの代わりに下記数３式に示したＹＣｂＣｒ値を使用したユークリッド距離ｄ_ｉ ^ｗを考える。数３式は、対象画素の色データが、Ｐ_ｉ＝（Ｙ_ｉ、Ｃｂ_ｉ、Ｃｒ_ｉ）であり、基準画素の色データが、Ｐ_０＝（Ｙ_０、Ｃｂ_０、Ｃｒ_０）であったときのユークリッド距離ｄ_ｉ ^ｗを示している。また数３式のユークリッド距離ｄ_ｉ ^ｗは、重み係数ｗ_Ｙ、ｗ_Ｃｂ、ｗ_Ｃｒを使用した重みづけユークリッド距離となっている。数３式を使用した場合、他えば、指定領域Ｓ１および指定領域外領域Ｓ２間の輝度差は大きいが、色度の差が小さい場合に有効である。即ち、重み係数ｗ_Ｙを小さくし、輝度成分Ｙのユークリッド距離ｄ_ｉ ^ｗに対する寄与度を小さくする。これにより色度成分のユークリッド距離ｄ_ｉ ^ｗに対する寄与度が相対的に大きくなる。その結果、輝度差は大きいが、色度の差が小さい指定領域Ｓ１および指定領域外領域Ｓ２間においても切り分けの精度が向上する。

また使用する色データは、３成分からなるものに限定されるものではない。例えば、ｎ次元色空間を使用し、ｎ個の色成分によるユークリッド距離ｄ_ｉ ^ｗを考えてもよい。
例えば、数４式は、色成分が、Ｘ_１、Ｘ_２、…、Ｘ_ｎである場合である。そして数４式は、対象画素の色データが、Ｐ_ｉ＝（Ｘ_１ｉ、Ｘ_２ｉ、…、Ｘ_ｎｉ）であり、基準画素の色データが、Ｐ_０＝（Ｘ_１０、Ｘ_２０、…、Ｘ_ｎ０）であったときのユークリッド距離ｄ_ｉ ^ｗを示している。なお数４式のユークリッド距離ｄ_ｉ ^ｗも重み係数ｗ_Ｘ１、ｗ_Ｘ２、…、ｗ_Ｘｎを使用した重みづけユークリッド距離となっている。この場合、ｎ個の色成分のうち指定領域Ｓ１や指定領域外領域Ｓ２の時性がよく現れている色成分についての重み係数を他より相対的に大きくすることで、切り分けの精度が向上する。

特性変更部１５４は、第１の範囲内の対象画素（第１の対象画素）に対し付与される特性を変更する。
ここで「特性」とは、その画素に付与されるラベルと強さのことを言う。
「ラベル」は、上述したようにその画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかを表すものであり、指定領域Ｓ１に属する画素は、「ラベル１」、指定領域外領域Ｓ２に属する画素は、「ラベル２」が付与される。ここではシード１のラベルはラベル１、シード２のラベルはラベル２となるので、判定部１５３で指定領域Ｓ１に属する画素と判定された場合（図２８で黒色となった画素）は、ラベル１にラベル付けされる。また判定部１５３で指定領域外領域Ｓ２に属する画素と判定された場合（図２８で灰色となった画素）は、ラベル２にラベル付けされる。

「強さ」は、ラベルに対応する指定領域Ｓ１や指定領域外領域Ｓ２に属する強さであり、ある画素がラベルに対応する指定領域Ｓ１や指定領域外領域Ｓ２に属する可能性の大きさを表す。強さが大きいほどその画素がラベルに対応する指定領域Ｓ１や指定領域外領域Ｓ２に属する可能性が高く、強さが小さいほどその画素がラベルに対応する指定領域Ｓ１や指定領域外領域Ｓ２に属する可能性が低い。強さは、次のようにして定まる。
まずユーザが最初に指定した代表位置に含まれる画素の強さは、初期値として１となる。つまり領域を拡張する前のシード１やシード２の画素は、強さが１である。また、まだラベル付けがされていない画素については、強さは０である。

そして強さが与えられた画素が周辺の画素に及ぼす影響力を考える。
図２９（ａ）〜（ｂ）は、影響力を決定する方法について示した図である。図２９（ａ）〜（ｂ）において、横軸は、ユークリッド距離ｄ_ｉを表し、縦軸は、影響力を表す。
このユークリッド距離ｄ_ｉは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離ｄ_ｉである。そして例えば、図２９（ａ）に図示するように非線形の単調減少関数を定め、ユークリッド距離ｄ_ｉに対し、この単調減少関数により決まる値を影響力とする。
つまりユークリッド距離ｄ_ｉが小さいほど、影響力はより大きくなり、ユークリッド距離ｄ_ｉが大きいほど、影響力はより小さくなる。
なお単調減少関数は、図２９（ａ）のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図２９（ｂ）のような線形の単調減少関数であってもよい。またユークリッド距離ｄ_ｉの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。

そして指定領域Ｓ１や指定領域外領域Ｓ２に属すると判定された画素の強さは、基準画素の強さに影響力を乗じたものとなる。例えば、基準画素の強さが１で、その左側に隣接する対象画素に与える影響力が０．９だった場合、この左側に隣接する対象画素が指定領域Ｓ１や指定領域外領域Ｓ２に属すると判定されたときに与えられる強さは、１×０．９＝０．９となる。また例えば、基準画素の強さが１で、その２つ左側に隣接する対象画素に与える影響力が０．８だった場合、この対象画素が指定領域Ｓ１や指定領域外領域Ｓ２に属すると判定されたときに与えられる強さは、１×０．８＝０．８となる。

以上の計算方法を利用し、判定部１５３は、第１の範囲内の対象画素（第１の対象画素）に与えられている強さにより判定を行なうこともできる。このとき対象画素が、ラベルを有しない場合は、基準画素が属する指定領域Ｓ１や指定領域外領域Ｓ２に含まれると判定し、対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れかについてのラベルを既に有する場合は、強さが大きい方に含まれると判定する。そして前者の場合は、全て基準画素と同じラベル付けを行なう。また後者の場合は、特性のうち強さが強い方のラベル付けを行う。この方法では、いったんあるラベルにラベル付けされた画素について、他のラベルに変更されることがあり得る。

例えば、対象画素（第１の対象画素）がいったんあるラベルにラベル付けされていたとする。そして他のラベルが付された基準画素の強さがｕ_ｉで影響力がｗ_ｉｊであったとすると、対象画素（第１の対象画素）に及ぼす強さｕ_ｊは、ｕ_ｊ＝ｗ_ｉｊｕ_ｉとなる。そして対象画素（第１の対象画素）が現状有している強さと、このｕ_ｊとを比較し、ｕ_ｊの方が、大きければ、他のラベルに変更される。対してｕ_ｊが同じか小さければ、他のラベルに変更されず、ラベルは維持される。

図３０は、図２７で示す第１の範囲内の対象画素について、強さを基にした方法で判定を行なった結果を示している。
図２７に示す第１の範囲は、シード１とシード２とで一部重なる。そして第１の範囲が、重ならない箇所、即ち、シード１とシード２とで競合しない箇所では、この場合、ラベル付けされていないもので、全て基準画素であるシード１またはシード２と同じラベル付けを行なう。一方、第１の範囲が、シード１とシード２とで重なる箇所、即ち、競合する箇所では、強さが強い方のラベル付けをする。その結果、図３０に示すようにラベル付けがなされる。

図３１（ａ）〜（ｈ）は、強さを基にした領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。
このうち図３１（ａ）は、このとき設定される第１の範囲を示している。つまり画像領域Ｒ１と画像領域Ｒ２のそれぞれに基準画素であるシード１およびシード２が選択されている。そしてさらにこのシード１とシード２を中心に位置するようにして縦３画素×横３画素の範囲を第１の範囲としている。図では、この範囲を太線の枠内の範囲として表示している。

図３１（ｂ）に、シード１およびシード２のそれぞれの第１の範囲内の対象画素について判定を行なった結果を示す。この場合、シード１およびシード２のそれぞれの第１の範囲は重ならないため、それぞれの第１の範囲内の対象画素は、全て基準画素であるシード１またはシード２と同じラベル付けが行なわれる。

また図３１（ｃ）に、さらに領域拡張を行ない、更新された後の結果を示す。この場合、図３０と同様にシード１とシード２とで第１の範囲が、重ならない箇所では、全て基準画素であるシード１またはシード２と同じラベル付けが行なわれる。そして第１の範囲が、シード１とシード２とで重なる箇所では、強さが強い方のラベル付けが行なわれる。

また対象画素に既に他のラベルによるラベル付けがされていた場合でも、その対象画素が現在有している強さと、基準画素から及ぼされる強さを比較し、強さが強い方のラベル付けがなされる。また強さは、より強い方の強さとなる。即ち、この場合、対象画素のラベルと強さは変更される。

以下、ラベル付けされた対象画素については、新たな基準画素として選択され、図３１（ｄ）〜（ｈ）に示すように順次領域は更新されていく。最終的には、図３１（ｈ）に示すように指定領域Ｓ１と指定領域外領域Ｓ２に切り分けが行なわれる。

以上のようにして対象画素が指定領域Ｓ１や指定領域外領域Ｓ２に属すると判定された場合、特性変更部１５４においてラベルと強さが変更される。
このラベル、強さ、影響力の情報は、実際には、各画素毎の情報として、後述するメインメモリ９２（図４１参照）等に記憶される。そして必要に応じメインメモリ９２から読み出されるとともに、ラベル、強さ、影響力が変更されたときは、これらの情報の書き換えが行なわれる。これにより領域検出部１５の処理速度が向上する。

なお上述した画素選択部１５１、範囲設定部１５２、判定部１５３、特性変更部１５４の処理は収束するまで繰り返し行なわれる。即ち、図２８で説明したように新たに指定領域Ｓ１や指定領域外領域Ｓ２に属すると判定された画素は、新たに基準画素として選択され、さらに新たに選択された基準画素の周辺の特定の範囲を再度第１の範囲として設定し、この再度設定された第１の範囲内の対象画素について、指定領域Ｓ１や指定領域外領域Ｓ２に属するか否かの判定を再び行なうことになる。この処理を繰り返し、更新していくことで、ラベル付け等の特性変更がされる領域は順次拡張されていき、指定領域の切り出しが行なえる。これは、基準画素の選択および第１の範囲の設定を順次変更しつつ判定を複数回行うことで、指定領域の検出を行う、と言うこともできる。なおこの方法（領域拡張方法）によれば、いったんあるラベルにラベル付けされた画素についても、他のラベルに変更されることがあり得る。

収束判定部１５５は、上記一連の処理が収束したか否かを判定する。
収束判定部１５５は、例えば、ラベルが変更される画素がなくなったときに収束したと判定する。また予め最大更新回数を定めておき、最大更新回数に達したときに収束したものとみなすこともできる。

以上述べた第１の実施例による領域拡張方法では、指定領域Ｓ１や指定領域外領域Ｓ２に含まれるか否かの判定の対象となる対象画素は、第１の範囲内に属するとともに基準画素であるシード１やシード２を除いた画素となる。そして基準画素の画素値に対してこれらの対象画素の画素値を比較して対象画素が属する指定領域Ｓ１や指定領域外領域Ｓ２を決定する。つまり対象画素が、基準画素からの影響を受けて変化する、いわば「攻撃型」の方法である。

またこの領域拡張方法では、領域拡張を行なう直前における画像全体のラベルおよび強さはいったん記憶される。そしてそれぞれの指定領域Ｓ１や指定領域外領域Ｓ２から選択された基準画素により設定される第１の範囲内の対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかが判定部１５３にて判定され、領域拡張が行なわれる。そして判定後は、特性変更部１５４にて記憶されていたラベルおよび強さが変更される。そして変更後のラベルおよび強さは、再び領域拡張を行なう直前における画像全体のラベルおよび強さとして記憶され、再度領域拡張が行なわれていく。つまりこの場合、画像全体のラベルおよび強さは一斉に変更され、いわば「同期型」の領域拡張方法である。

またこの領域拡張方法では、第１の範囲は固定でも変更してもよい。そして第１の範囲を変更する場合は、その範囲は、更新回数により小さくなるように変更することが好ましい。具体的には、例えば、最初は、第１の範囲は大きく設定し、ある更新回数が、ある指定回数以上になったら第１の範囲を小さくする。この指定回数は、複数指定し、第１の範囲を段階的に小さくしていってもよい。つまり初期段階では、第１の範囲は大きく設定することで、処理速度が速くなる。またある程度更新が進んだ段階では、第１の範囲を小さくすることで指定領域Ｓ１と指定領域外領域Ｓ２との分離精度がより向上する。つまり処理速度の向上と指定領域Ｓ１の切り出しの分離精度とが両立する。なおこれは、判定を繰り返すにつれて第１の範囲を小さくなるように設定していく、と言うこともできる。

［第２の実施例（「攻撃型」で「非同期型」の場合）］
次に領域検出部１５の第２の実施例について説明を行なう。

図３２（ａ）〜（ｈ）は、第２の実施例による領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。
図３２（ａ）は、このとき設定される第１の範囲であり、図３１（ａ）と同様の図である。
本実施の形態では、判定部１５３は、図３２（ｂ）に示すように２行２列の位置に設定されるシード２を起点とし、まず第１の範囲内の対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するか否かを判定する。そして図３２（ｃ）〜（ｄ）に示すように基準画素を図中右側に一画素ずつ移動させつつ、第１の範囲内の対象画素が何れの指定領域Ｓ１や指定領域外領域Ｓ２に属するか否かを判定していく。この判定は、例えば、上述したように、数２式〜数４式を使用し、画素値の近さを利用することで行うことができる。またこの判定は、図３１の場合と同様に、強さを使用した方法により行うことができる。
そして図中右端までを対象画素として判定した後は、次に基準画素を第３列に移し、同様に基準画素を図中右側に一画素ずつ移動させつつ、第１の範囲内の対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するか否かを判定していく。そして図中右端までを対象画素として判定した後は、さらに次の列に移る。これは図３２（ｅ）〜（ｇ）に示すように繰り返され、図中右下端部に基準画素が移動するまで行なわれる。これは、判定部１５３は、基準画素を一画素毎に走査するように移動させつつ判定を行なう、と言うことができる。

さらに右下端部に基準画素が達し、画素の移動がこれ以上できなくなった後は、上述した場合と逆向きに基準画素を移動させ、基準画素が左上端部に移動するまで同様の処理を行なう。これで基準画素が１回往復移動したことになる。さらに以後、収束するまでこの基準画素の往復移動を繰り返す。
これは、図３３に示すように行と列の順を反転させて同様の処理を行なうと言うこともできる。またこれは、基準画素が終端位置（この場合、右下端部や左上端部）に達したときは、基準画素を逆方向に走査させるようにさらに移動させる、と言うこともできる。

なおここで挙げた例では、起点が１つの例で説明をしたが、起点を複数設定し、それぞれを移動させてもよい。また起点として画像中の画素の何れを選択してもよい。
また起点が１つの場合でも、基準画素が右下端部に達した後に、基準画素を再び左上端部から走査させるように移動させてもよい。さらに基準画素をランダムに走査させるように移動させてもよい。

そして最終的には、図３２（ｈ）に示すように、指定領域Ｓ１と指定領域外領域Ｓ２とに切り分けが行なわれる。
この領域拡張方法によれば、図３１で説明した方法に比較して、より収束が速く、処理速度もより速くなる。また基準画素が終端位置に達したときには逆方向に走査させるようにさらに移動させることで、収束が遅い箇所が生じにくくなり、より収束が速くなる。

なお第２の実施例において、判定部１５３以外の画素選択部１５１、範囲設定部１５２、特性変更部１５４、収束判定部１５５の動作については第１の実施例と同様である。また同様に第１の範囲は固定でも変更してもよく、そして第１の範囲を変更する場合は、その範囲は、更新回数により小さくなるように変更することが好ましい。

またこの領域拡張方法では、選択された基準画素が一画素ずつ移動する度に、第１の範囲内の対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかが判定部１５３にて判定され、領域拡張が行なわれる。これは、判定部１５３は、選択した一の基準画素のみを対象として第１の範囲に含まれる画素の各々について指定領域Ｓ１や指定領域外領域Ｓ２への属否の判定を行った後、新たに基準画素を一つ選択し、第１の範囲の設定および判定を再度行って、指定領域Ｓ１や指定領域外領域Ｓ２の検出を行う、と言うこともできる。そして判定後は、特性変更部１５４にて記憶されていたラベルおよび強さが変更される。つまりこの場合、画像全体のラベルおよび強さは一斉に変更されるわけではなく、基準画素が一画素ずつ移動する度に定まる第１の範囲内の対象画素（第１の対象画素）だけが変更の対象となる。よってこれは、いわば「非同期型」の領域拡張方法である。第１の実施例のような「同期型」の領域拡張方法では、１回の基準画素の選択につき、ひとつ前の画像の状態のラベルおよび強さをもとに画像全体のラベルおよび強さが一斉に変更される。そのような意味で、ここでは、「同期型」と言っている。言い換えれば、（ラベルおよび強さの）状態遷移が切り替わるのが比較的遅い。しかし第２の実施例では、「同期型」とは異なり、１回の基準画素の選択につき、１つの画素である対象画素（第１の対象画素）のラベルおよび強さだけが変更される。即ち、対象画素（第１の対象画素）以外のラベルおよび強さは、変化しない。そのような意味で、ここでは、「非同期型」と言っている。その後、再び基準画素を選択し、またその第１の範囲内の画素だけ対象画素となる。そしてこれを繰り返すことになるため、同期型よりも早く（ラベルおよび強さの）状態遷移が切り替わる、ということになる。

また第１の実施例および第２の実施例では、基準画素を選択し、この基準画素に対し第１の範囲内の対象画素（第１の対象画素）が、この基準画素が属する指定領域Ｓ１または指定領域外領域Ｓ２に入るか否かを判定する。この判定は、基準画素の選択およびこれに伴い設定される第１の範囲を順次変更しつつ、複数回行う。そしてこの判定は、上述したように画素値の近さや強さを比較することで行う。そしてこれにより第１の範囲内の対象画素（第１の対象画素）のラベルが変更される。この場合、基準画素は、周辺にある対象画素（第１の対象画素）に対し、影響を及ぼし、これにより対象画素（第１の対象画素）のラベルが変化するのであり、その意味でここでは、「攻撃型」と言っている。

次に第１の実施例および第２の実施例における領域検出部１５の動作について説明を行なう。
図３４は、第１の実施例および第２の実施例における領域検出部１５の動作について説明したフローチャートである。
以下、図２５および図３４を使用して領域検出部１５の動作を説明する。
まず画素選択部１５１が、指定領域Ｓ１や指定領域外領域Ｓ２に属する画素の中から選択される基準画素を選択する（ステップ１０１）。図２６（ｂ）の例では、画素選択部１５１は、この基準画素としてシード１およびシード２を選択する。

次に範囲設定部１５２が、基準画素に対し指定領域Ｓ１や指定領域外領域Ｓ２に含まれるかを判定する対象画素（第１の対象画素）の範囲である第１の範囲を設定する（ステップ１０２）。図２７の例では、範囲設定部１５２は、シード１とシード２を中心に位置するようにして縦５画素×横５画素の範囲を第１の範囲とする。

そして判定部１５３が、第１の範囲内の対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかを判定する（ステップ１０３）。このとき判定部１５３は、対象画素が指定領域Ｓ１および指定領域外領域Ｓ２間で競合する箇所では、強さが強い方の指定領域Ｓ１または指定領域外領域Ｓ２に属すると判定する。また画素値のユークリッド距離ｄ_ｉを基にして判定をし、指定領域Ｓ１や指定領域外領域Ｓ２の拡散をしてもよい。

さらに特性変更部１５４が、判定部１５３において指定領域Ｓ１および指定領域外領域Ｓ２の何れに属すると判定された対象画素について、特性を変更する（ステップ１０４）。具体的には、特性変更部１５４は、これらの対象画素に対し、ラベル付けを行ない、さらに強さを付与する。

次に収束判定部１５５が、一連の処理が収束したか否かを判定する（ステップ１０５）。この判定は、上述したようにラベルが変更される画素がなくなったときに収束したと判定してもよく予め定められた最大更新回数に達したときに収束したと判定してもよい。

そして収束判定部１５５が処理が収束したと判定した場合（ステップ１０５でＹｅｓ）、指定領域Ｓ１の切り出しの処理を終了する。
一方、収束判定部１５５が処理が収束していないと判定した場合（ステップ１０５でＮｏ）、ステップ１０１に戻る。なおこの場合、画素選択部１５１で選択される基準画素は変更される。

［第３の実施例（「受け身型」で「同期型」の場合）］
次に領域検出部１５の第３の実施例について説明を行なう。
第３の実施例では、画素選択部１５１は、指定領域Ｓ１や指定領域外領域Ｓ２に含まれるか否かの判定の対象となる対象画素を１つ選択する。そして範囲設定部１５２は、選択された対象画素（第２の対象画素）に対し設定され、この対象画素が何れの指定領域Ｓ１や指定領域外領域Ｓ２に含まれるか否かを判定する基準画素が含まれる範囲である第２の範囲を変更する。
図３５は、画素選択部１５１により選択される対象画素、および範囲設定部１５２により設定される第２の範囲について示した図である。
図３５では、図２６（ａ）で示した原画像に対し、図２６（ｂ）で示した場合と同様に基準画素をシード１およびシード２として設定される。そして対象画素（第２の対象画素）としてＴ１で示す一画素が選択された場合を示している。さらに第２の範囲として対象画素Ｔ１を中心に位置するようにして縦５画素×横５画素の範囲を第２の範囲としている。図では、この範囲を太線の枠内の範囲として表示している。

判定部１５３は、対象画素Ｔ１が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するか否かを判定する。判定部１５３では、対象画素Ｔ１が、シード１が属する指定領域Ｓ１に含まれるか、シード２が属する指定領域外領域Ｓ２に属するかの判定を行なう。
このとき例えば、対象画素Ｔ１の画素値と、第２の範囲に含まれる基準画素であるシード１およびシード２の画素値の何れに近いか否かで、対象画素Ｔ１が、指定領域Ｓ１に属するか、指定領域外領域Ｓ２に属するかを判定する。即ち、画素値の近さにより判定を行う。
またこの判定は、強さを使用した方法により行うことができる。この場合、対象画素Ｔ１（第２の対象画素）が指定領域Ｓ１または指定領域外領域Ｓ２に属するかの判定を行なうときには、第２の範囲に含まれる基準画素の強さにより判定を行なうことになる。

図３６は、本実施の形態による判定の結果について示した図である。
図３６では、対象画素Ｔ１の画素値は、シード１の画素値よりシード２の画素値に近く、その結果、対象画素Ｔ１は、指定領域外領域Ｓ２に属すると判定されたことを示している。

なお特性変更部１５４、収束判定部１５５の動作については、第１の実施例と同様である。
本実施の形態の場合も画素選択部１５１、範囲設定部１５２、判定部１５３、特性変更部１５４の処理は収束するまで繰り返し行なわれる。そしてこの処理を繰り返し、更新していくことで、ラベル付け等の特性変更がされる領域は順次拡張されていき、指定領域Ｓ１および指定領域外領域Ｓ２の切り出しが行なえる。また第２の範囲は可変であり、その範囲は、更新回数により順次小さくしていくことが好ましい。

具体的には、最初は、第２の範囲は大きく設定し、ある更新回数が、ある指定回数以上になったら第２の範囲を小さくする。この指定回数は、複数指定し、第２の範囲を段階的に小さくしていってもよい。つまり初期段階では、第２の範囲は小さく設定することで、基準画素がその中に存在する可能性が高く、判定がより効率的になる。またある程度更新が進んだ段階では、第２の範囲を小さくすることで指定領域Ｓ１や指定領域外領域Ｓ２の分離精度が向上する。

本実施の形態による領域拡張方法では、対象画素Ｔ１に着目し、対象画素Ｔ１の画素値に対して第２の範囲内にある基準画素（シード１、シード２）の画素値を比較して対象画素Ｔ１が属するのが指定領域Ｓ１であるのか指定領域外領域Ｓ２であるのかを決定する。つまり対象画素Ｔ１が、第２の範囲内の基準画素からの影響を受けて変化する、いわば「受け身型」の方法である。

受け身型においても、いったんあるラベルにラベル付けされた画素について、他のラベルに変更されることがあり得る。

この方法は、従来の領域拡張方法と類似するが、従来の領域拡張方法では、対象画素Ｔ１がこれと接する固定された周辺８画素から影響を受けるのに対し、第３の実施例による領域拡張方法では、第２の範囲が可変であることに特徴を有する。そして第２の範囲を大きくすることで上述したように判定をより効率的に行なえる。これが周辺８画素固定であると、その中に基準画素が存在する可能性は小さくなるため、判定の効率が低下する。

またこの領域拡張方法では、領域拡張を行なう直前における画像全体のラベルおよび強さはいったん記憶される。そして選択された対象画素Ｔ１が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかが判定部１５３にて判定され、領域拡張が行なわれる。そして判定後は、特性変更部１５４にて記憶されていたラベルおよび強さが変更される。そして変更後のラベルおよび強さは、再び領域拡張を行なう直前における画像全体のラベルおよび強さとして記憶され、再度領域拡張が行なわれていく。つまりこの場合、いわば「同期型」の領域拡張方法である。

また第２の範囲を小さくすることで指定領域Ｓ１と指定領域外領域Ｓ２との分離精度がより向上する。よって本実施の形態の第２の範囲については、更新回数により小さくなるように変更する。

［第４の実施例（「受け身型」で「非同期型」の場合）］
なお上述した場合は、第１の実施例と同様の「同期型」であったが、第２の実施例と同様の「非同期型」を使用することもできる。以下、「受け身型」であるとともに、「非同期型」の場合を、第４の実施例として説明を行なう。

図３７（ａ）〜（ｈ）は、第４の実施例による領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。
図３７（ａ）は、図２６（ａ）に示した原画像に対し、図２６（ｂ）で示した基準画素としてのシード１およびシード２を設定した場合を示している。これは図３１および図３２で説明した場合と同様である。

そして図３７（ｂ）は、このとき設定される第２の範囲を示している。本実施の形態では、判定部１５３は、図３７（ｂ）に示すように１行１列の位置を起点とし、これをまず対象画素Ｔ１として、この対象画素Ｔ１が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するか否かを判定する。そして図３７（ｃ）〜（ｄ）に示すように基準画素を図中右側に一画素ずつ移動させつつ、対象画素Ｔ１が何れの指定領域Ｓ１や指定領域外領域Ｓ２に属するか否かを判定していく。この判定は、強さによりなされ、第１の実施例〜第３の実施例と同様である。
そして図中右端までを対象画素Ｔ１として判定した後は、次に対象画素Ｔ１を第２列に移し、同様に対象画素Ｔ１を図中右側に一画素ずつ移動させつつ、この対象画素Ｔ１が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するか否かを判定していく。そして図中右端まで判定した後は、さらに次の列に移る。これは図３２（ｅ）〜（ｇ）に示すように繰り返され、図中右下端部に対象画素Ｔ１が移動するまで行なわれる。

さらに右下端部に対象画素Ｔ１が達し、画素の移動がこれ以上できなくなった後は、上述した場合と逆向きに対象画素Ｔ１を移動させ、対象画素Ｔ１が左上端部に移動するまで同様の処理を行なう。これで対象画素Ｔ１が１回往復移動したことになる。さらに以後、収束するまでこの対象画素Ｔ１の往復移動を繰り返す。

なおここで挙げた例では、起点が１つの例で説明をしたが、第３の実施例で説明したように起点を複数設定し、それぞれを移動させてもよい。また起点として画像中の画素の何れを選択してもよい。

そして最終的には、図３７（ｈ）に示すように、指定領域Ｓ１と指定領域外領域Ｓ２とに切り分けが行なわれる。
この領域拡張方法でも、より収束が速く、処理速度もより速くなる。また基準画素が終端位置に達したときには逆方向に走査させるようにさらに移動させることで、収束が遅い箇所が生じにくくなり、より収束が速くなる。

第２の範囲は固定でも変更してもよく、そして第２の範囲を変更する場合は、その範囲は、更新回数により小さくなるように変更することが好ましい。

またこの領域拡張方法では、選択された対象画素Ｔ１が一画素ずつ移動する度に、対象画素Ｔ１が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかが判定部１５３にて判定され、領域拡張が行なわれる。つまり予め定められた順で一の対象画素Ｔ１（第２の対象画素）を選択し、選択された一の対象画素Ｔ１（第２の対象画素）に対し、１回の判定を行うことを繰り返す。これは、判定部１５３は、指定領域Ｓ１や指定領域外領域Ｓ２に含まれる画素を基準画素として選択した一の対象画素Ｔ１（第２の対象画素）について指定領域Ｓ１または指定領域外領域Ｓ２への属否の判定を行った後、新たに対象画素Ｔ１（第２の対象画素）を一つ選択し、第２の範囲の設定および判定を再度行って、指定領域Ｓ１や指定領域外領域Ｓ２の検出を行う、と言うこともできる。そして判定後は、特性変更部１５４にて記憶されていたラベルおよび強さが変更される。つまりこの場合、対象画素Ｔ１が一画素ずつ移動する度に対象画素Ｔ１（第２の対象画素）だけが変更の対象となる。これは「非同期型」の領域拡張方法であると言ってよい。

また第３の実施例および第４の実施例では、一の対象画素Ｔ１（第２の対象画素）を選択し、この対象画素Ｔ１（第２の対象画素）に対し、第２の範囲内にある基準画素が属する指定領域Ｓ１または指定領域外領域Ｓ２に入るか否かを判定する。この判定は、対象画素Ｔ１（第２の対象画素）の選択およびこれに伴い設定される第２の範囲を順次変更しつつ、複数回行う。またこの判定は、上述したように画素値の近さや強さを比較することで行う。そしてこれにより対象画素Ｔ１（第２の対象画素）のラベルが変更される。この場合、対象画素Ｔ１（第２の対象画素）は、周辺にある基準画素から影響を及ぼされ、これにより対象画素Ｔ１（第２の対象画素）のラベルが変化するのであり、その意味でここでは、「受け身型」と言っている。

次に第３の実施例および第４の実施例における領域検出部１５の動作について説明を行なう。
図３８は、第３の実施例および第４の実施例における領域検出部１５の動作について説明したフローチャートである。
以下、図２５および図３８を使用して領域検出部１５の動作を説明する。
まず画素選択部１５１が、対象画素（第２の対象画素）を選択する（ステップ２０１）。図３５に示した例では、画素選択部１５１は、対象画素Ｔ１を選択する。

次に範囲設定部１５２が、対象画素に対し判定への影響を与える画素の影響範囲である第２の範囲を設定する（ステップ２０２）。図３５に示した例では、範囲設定部１５２は、対象画素Ｔ１を中心に位置するようにして縦５画素×横５画素の範囲を第２の範囲とする。

そして判定部１５３が、対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかを判定する（ステップ２０３）。上述した例では、判定部１５３は、対象画素Ｔ１とシード１およびシード２の画素値の近さや強さにより判定を行なう。

さらに特性変更部１５４が、判定部１５３において対象画素が何れかの指定領域Ｓ１および指定領域外領域Ｓ２の何れに属すると判定された場合、特性を変更する（ステップ２０４）。具体的には、対象画素Ｔ１にラベル付けを行ない、さらに強さを付与する。

次に収束判定部１５５が、一連の処理が収束したか否かを判定する（ステップ２０５）。この判定は、上述したようにラベルが変更される画素がなくなったときに収束したと判定してもよく予め定められた最大更新回数に達したときに収束したと判定してもよい。

そして収束判定部１５５が処理が収束したと判定した場合（ステップ２０５でＹｅｓ）、指定領域Ｓ１の切り出しの処理を終了する。
一方、収束判定部１５５が処理が収束していないと判定した場合（ステップ２０５でＮｏ）、ステップ２０１に戻る。なおこの場合、画素選択部１５１で選択される対象画素（第２の対象画素）は変更される。

［第５の実施例（「攻撃型」と「受け身型」を双方使用する場合）］
次に領域検出部１５の第５の実施例について説明を行なう。
第５の実施例では、第１の実施例および第２の実施例で説明した「攻撃型」の領域拡張方法と、第３の実施例および第４の実施例で説明した「受け身型」の領域拡張方法の双方を使用する。つまり第５の実施例では、「攻撃型」の領域拡張方法と「受け身型」の領域拡張方法とを更新の途中で切り替えながら領域を拡張していく。

つまり範囲設定部１５２は、更新の度に、「攻撃型」の領域拡張方法と「受け身型」の領域拡張方法の何れを使用するかを選択する。そして「攻撃型」の領域拡張方法を選択した場合は、第１の範囲の設定を行う。そして判定部１５３が、第１の範囲内の対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかを判定する。また「受け身型」の領域拡張方法を選択した場合は、第２の範囲の設定を行う。そして判定部１５３が、対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかを判定する。即ち、第１の範囲の設定と第２の範囲の設定とを少なくとも１回切り替えつつ判定を行っていく。

この切り替えの方法は、特に制限はなく、例えば、「攻撃型」と「受け身型」を交互に使用してもよい。また最初に予め定められた更新回数分「攻撃型」を使用し、その後、「受け身型」を最後まで使用する方法でもよい。また逆に最初に予め定められた更新回数分「受け身型」を使用し、その後、「攻撃型」を最後まで使用する方法でもよい。なお「攻撃型」の場合、第１の実施例および第２の実施例の何れも使用することができる。
このように「攻撃型」と「受け身型」を双方使用する領域拡張方法でも指定領域Ｓ１および指定領域外領域Ｓ２の切り出しが行える。

また本実施の形態では、設定される第１の範囲や第２の範囲は固定でもよく、可変であってもよい。そして第１の範囲や第２の範囲は、更新回数により順次小さくしていくことが好ましい。また第１の実施例と同様の「同期型」でも、第２の実施例と同様の「非同期型」でも何れの方法でも使用することができる。

次に第５の実施例における領域検出部１５の動作について説明を行なう。
図３９は、第５の実施例における領域検出部１５の動作について説明したフローチャートである。
以下、図２５および図３９を使用して領域検出部１５の動作を説明する。
まず画素選択部１５１が、「攻撃型」と「受け身型」の何れを使用するかを選択する（ステップ３０１）。

そして画素選択部１５１が、「攻撃型」を選択した場合（ステップ３０２でＹｅｓ）、画素選択部１５１が、指定領域Ｓ１や指定領域外領域Ｓ２に属する画素の中から選択される基準画素を選択する（ステップ３０３）。
また範囲設定部１５２が、この基準画素に対し指定領域Ｓ１や指定領域外領域Ｓ２に含まれるかを判定する対象画素（第１の対象画素）の範囲である第１の範囲を設定する（ステップ３０４）。
さらに判定部１５３が、第１の範囲内の対象画素が指定領域Ｓ１および指定領域外領域Ｓ２の何れに属するかを判定する（ステップ３０５）。

対して画素選択部１５１が、「受け身型」を選択した場合（ステップ３０２でＮｏ）、画素選択部１５１が、対象画素Ｔ１（第２の対象画素）を選択する（ステップ３０６）。
また範囲設定部１５２が、この対象画素Ｔ１に対し判定への影響を与える画素の影響範囲である第２の範囲を設定する（ステップ３０７）。
さらに判定部１５３が、対象画素Ｔ１（第２の対象画素）が何れの指定領域Ｓ１や指定領域外領域Ｓ２に属するかを判定する（ステップ３０８）。

次に特性変更部１５４が、判定部１５３において何れかの指定領域Ｓ１および指定領域外領域Ｓ２の何れに属すると判定された対象画素Ｔ１（第２の対象画素）について、特性を変更する（ステップ３０９）。

そして収束判定部１５５が、一連の処理が収束したか否かを判定する（ステップ３１０）。
収束判定部１５５が処理が収束したと判定した場合（ステップ３１０でＹｅｓ）、指定領域Ｓ１の切り出しの処理を終了する。
一方、収束判定部１５５が処理が収束していないと判定した場合（ステップ３１０でＮｏ）、ステップ３０１に戻る。なおこの場合、画素選択部１５１で選択される基準画素または対象画素（第２の対象画素）は変更される。

＜画像処理装置の動作の説明＞
図４０は、画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図４０を主に使用して、画像処理装置１０の動作について説明を行う。

まず画像情報取得部１１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ４０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。

そしてユーザが、例えば、図３（ｂ）、図１８で説明した方法で、入力装置３０を使用して軌跡を描くことで指定領域Ｓ１（Ｓ１１、Ｓ１２）を包含する前景カバー領域Ｈ（Ｈ１、Ｈ２）を入力する。この前景カバー領域Ｈ（Ｈ１、Ｈ２）の位置情報は、ユーザ指示受付部１２が受け付ける（ステップ４０２）。

次に第１の代表位置設定部１３が、例えば、図５〜図８で説明した方法を用い、前景カバー領域Ｈ（Ｈ１、Ｈ２）の位置情報を基に、第１の代表位置であるシード１を設定する（ステップ４０３）。
さらに第２の代表位置設定部１４が、例えば、図９で説明した方法を用い、背景カバー領域Ｊを求める（ステップ４０４）。
また第２の代表位置設定部１４は、例えば、図１１〜図１３、図２１、図２３で説明した方法を用い、第２の代表位置であるシード２を設定する（ステップ４０５）。

そして領域検出部１５が、例えば、領域拡張方法等を使用して、シード１およびシード２から指定領域Ｓ１（Ｓ１１、Ｓ１２）を切り出す処理を行う（ステップ４０６）。

次にユーザが、指定領域Ｓ１（Ｓ１１、Ｓ１２）や指定領域外領域Ｓ２の選択を入力装置３０を使用して入力する。これは、例えば、図１６で説明した操作により入力することができる。
このユーザによる指定領域Ｓ１（Ｓ１１、Ｓ１２）や指定領域外領域Ｓ２の選択の指示は、ユーザ指示受付部１２が受け付ける（ステップ４０７）。
そして領域切替部１６により指定領域Ｓ１（Ｓ１１、Ｓ１２）や指定領域外領域Ｓ２の切り替えが行なわれる（ステップ４０８）。

またユーザは、選択された指定領域Ｓ１（Ｓ１２、Ｓ２２）や指定領域外領域Ｓ２について行なう画像処理の指示を入力装置３０を使用して入力する。これは、例えば、図１７で説明したスライダ２１３ｂ等を使用して入力することができる。
ユーザによる画像処理の指示は、ユーザ指示受付部１２が受け付ける（ステップ４０９）。
そして画像処理部１７が、ユーザの指示に基づき、選択された指定領域Ｓ１（Ｓ１１、Ｓ１２）や指定領域外領域Ｓ２の画像処理を行なう（ステップ４１０）。

次に画像情報出力部１８が、画像処理がなされた後の画像情報を出力する（ステップ４１１）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。

なお以上説明した領域検出部１５で行われる処理は、画像Ｇの画像情報を取得し、画像Ｇの中の特定の画像領域である指定領域Ｓ１（Ｓ１１、Ｓ１２）を包含するようにユーザが入力した前景カバー領域Ｈの位置情報を取得し、指定領域Ｓ１（Ｓ１１、Ｓ１２）の特徴量を前景カバー領域Ｈの画像情報から求め、指定領域Ｓ１（Ｓ１２、Ｓ２２）の特徴量から指定領域Ｓ１（Ｓ１１、Ｓ１２）の代表位置である第１の代表位置（シード１）を設定し、指定領域Ｓ１（Ｓ１１、Ｓ１２）外の領域である指定領域外領域Ｓ２の代表位置である第２の代表位置（シード２）を設定し、第１の代表位置（シード１）および第２の代表位置（シード２）から指定領域Ｓ１（Ｓ１１、Ｓ１２）を検出することを特徴とする画像処理方法として捉えることもできる。

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図４１は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行うための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、画像Ｇの画像情報を取得する画像情報取得機能と、画像Ｇの中の特定の画像領域である指定領域Ｓ１（Ｓ１１、Ｓ１２）を包含するようにユーザが入力した前景カバー領域Ｈの位置情報を取得する位置情報取得機能と、指定領域Ｓ１（Ｓ１１、Ｓ１２）の特徴量を前景カバー領域Ｈの画像情報から求め、指定領域Ｓ１（Ｓ１１、Ｓ１２）の特徴量から指定領域Ｓ１（Ｓ１１、Ｓ１２）の代表位置である第１の代表位置（シード１）を設定する第１の代表位置設定機能と、指定領域Ｓ１（Ｓ１１、Ｓ１２）外の領域である指定領域外領域Ｓ２の代表位置である第２の代表位置（シード２）を設定する第２の代表位置設定機能と、第１の代表位置（シード１）および第２の代表位置（シード２）から指定領域Ｓ１（Ｓ１１、Ｓ１２）を検出する領域検出機能と、を実現させることを特徴とするプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…第１の代表位置設定部、１４…第２の代表位置設定部、１５…領域検出部、１６…領域切替部、１７…画像処理部、１８…画像情報出力部、２０…表示装置、３０…入力装置

Claims (9)

1. 画像の画像情報を取得する画像情報取得部と、
   前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、
   前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、
   前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する第２の代表位置設定部と、
   前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記包含領域は、画像中における前記指定領域および当該指定領域の周囲の領域をユーザが塗りつぶすことで入力されたものであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の代表位置設定部は、前記包含領域の画像情報の画素値に対する度数を表すヒストグラムを基に前記指定領域の特徴量を求めることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の代表位置設定部は、前記度数に対して設定される閾値との比較で前記指定領域の特徴量を求め、当該指定領域の特徴量を有する画素について前記第１の代表位置とすることを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の代表位置設定部は、前記指定領域外領域の特徴量を前記包含領域以外の領域の画像情報から求め、当該指定領域外領域の特徴量から前記第２の代表位置を設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記第２の代表位置設定部は、前記指定領域外領域の特徴量を前記包含領域の外接矩形内以外の領域の画像情報から求めることを特徴とする請求項５に記載の画像処理装置。
7. 画像の画像情報を取得し、
   前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得し、
   前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定し、
   前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定し、
   前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する
   ことを特徴とする画像処理方法。
8. 画像を表示する表示装置と、
   前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
   ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、
   を備え、
   前記画像処理装置は、
   前記画像の画像情報を取得する画像情報取得部と、
   前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、
   前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、
   前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する第２の代表位置設定部と、
   前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、
   前記指定領域および／または前記指定領域外領域に対し画像処理を行なう画像処理部と、
   を備えることを特徴とする画像処理システム。
9. コンピュータに、
   画像の画像情報を取得する画像情報取得機能と、
   前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得機能と、
   前記指定領域の特徴量を前記包含領域の画像情報から求め、当該指定領域の特徴量から当該指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定機能と、
   前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する第２の代表位置設定機能と、
   前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出機能と、
   を実現させることを特徴とするプログラム。

Images