JP2006221523A - オブジェクト領域抽出システムおよび方法 - Google Patents

Abstract

【課題】特徴量が変化する同一および同種のオブジェクトの検索に適したオブジェクト領域抽出システムおよび方法を提供する。
【解決手段】オブジェクト領域抽出システム１０は、例示画像を用いて求めた色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量が格納された特徴量記憶装置２２と、オブジェクト領域を含む入力画像に対して、色に関する各クラスタが持つ特徴量を用いて段階的に第１のオブジェクト候補領域の絞込みを行う第１のオブジェクト候補領域抽出部１１と、この第１のオブジェクト候補領域に対して、形状に関する各クラスタが持つ特徴量を用いて段階的に第２のオブジェクト候補領域の絞込みを行う第２のオブジェクト候補領域抽出部１２と、この第２のオブジェクト候補領域からオブジェクト領域を決定するオブジェクト領域決定部１３とを備える。
【選択図】 図１

Description

本発明は、オブジェクト領域抽出システムおよび方法に関し、特に、工事写真に含まれる黒板を探し出すのに好適なオブジェクト領域抽出システムおよび方法に関する。

公共事業では成果品を最後に必ず納品することになっており、工事の場合には、工事写真を納品する必要がある。工事写真には必ずといっていいほど黒板が写されている。この黒板には工事名称や工事の内容など重要な情報が記載されており、工事写真においては黒板の情報が極めて重要である。
そのため、納品する工事写真帳では、わざわざ黒板のみを切り取り、拡大して表示することがしばしば行われている。しかし、工事写真は通常では数百枚から数千枚と非常に多く、手作業で黒板を抽出する作業には大変な労力がかかる。
そこで、工事写真を画像化し、画像化した工事写真から黒板画像を自動的に抽出するシステムが要請されている。

しかしながら、工事現場における黒板のように、撮影された角度や照明などの撮影環境が異なるオブジェクト、および色や形状などの特徴量が異なる同種のオブジェクト（他の例では、赤い車と青い車）については、ユーザからすれば同じオブジェクトといえても、特徴量が変化してしまう。
そこで、検索対象である同一および同種のオブジェクトが含まれた複数の例示画像を入力として与え、抽出した色に関する特徴量、形状に関する特徴量をクラスタリングすることにより、そのオブジェクトが取り得る色および形状の特徴量を獲得し、その特徴量を利用して特徴量が変化する同一および同種のオブジェクトの検索を行うことが考えられる。

なお、多数の例示画像を用いてオブジェクトを検索する手法としては、下記の非特許文献１および非特許文献２に開示されているものがある。
非特許文献１では、例示画像群から抽出した特徴量から、ユーザが意図する距離関数と問合せ位置を推定することで、一般化された楕円距離による問合せを実現している。
非特許文献２では、例示画像群から抽出した特徴量から画像のクラスタリングを行い、各画像クラスタについて標準偏差法による特徴量毎の重み付けを行い、検索時には、重み付きのユークリッド距離による類似度計算を行っている。
Yoshiharu Ishikawa, Ravishankar Subramanya, Christos Faloutsos, "MindReader: Querying database through multiple examples", Proceeding of the 24th VLDB Conference New York, USA, 1998 Roberto Brunelli, Ornella Mich, "Image Retrieval by Examples", IEEE Trans. on Multimedia, Vol.2, No.3, pp.164-171, Sep. 2000

しかしながら、非特許文献１および非特許文献２に開示されている手法では、多次元からなる特徴量の中で、ユーザが類似性の観点として着目している特徴量または特徴量間の相関を推定し、ユーザの意図に則した問合せを行っており、これらの手法における複数の例示画像を用いることの目的は、ユーザの注目している特徴量を自動的に推測することにある。したがって、これらの手法は、特徴量が変化する同一および同種のオブジェクトの検索には必ずしも適しているとはいえない。

本発明の目的は、特徴量が変化する同一および同種のオブジェクトの検索に適したオブジェクト領域抽出システムおよび方法を提供することにある。

本発明のオブジェクト領域抽出システムは、例示画像を用いて求めた色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量が格納された特徴量記憶装置（２２）と、オブジェクト領域を含む入力画像に対して、前記特徴量記憶装置に格納されている前記色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行う第１のオブジェクト候補領域抽出部（１１）と、該第１のオブジェクト候補領域抽出部により抽出された第１のオブジェクト候補領域に対して、前記特徴量記憶装置に格納されている前記形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行う第２のオブジェクト候補領域抽出部（１２）と、該第２のオブジェクト候補領域抽出部により抽出された第２のオブジェクト候補領域に基づいて前記オブジェクト領域を決定するオブジェクト領域決定部（１３）とを具備することを特徴とする。
ここで、前記色に関する各クラスタが持つ特徴量が、前記例示画像を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量として抽出することにより求められたものであってもよい。
前記色に関する各クラスタが持つ特徴量が、前記抽出した代表色が複数存在した場合には、各代表色に該当する画素数の前記オブジェクト領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出し、かつ、前記抽出した代表色が複数存在した場合には、代表色同士の空間関係の特徴量を抽出することにより求められたものであってもよい。
前記形状に関する各クラスタが持つ特徴量が、前記例示画像を含む最小矩形領域の横幅に対する縦幅の割合を算出して、該算出した割合を大まかな形状特徴量として抽出し、かつ、前記例示画像の輪郭となる全画素について接線角度を計算し、前記例示画像の対象オブジェクト領域の重心から見て所定の角度毎に該接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを詳細な形状特徴量として抽出することにより求められたものであってもよい。
前記色に関する各クラスタが持つ特徴量が、前記色相の値の範囲の特徴量について、以下の手順に従って前記色特徴量のクラスタリングを行うことにより求められてもよい。
手順１：すべての色相の値の範囲のデータを同じクラスタに所属させる
手順２：分割後のクラスタ数を「２」とするとともに、クラスタの重心座標をクラスタに属するデータの各次元の最小値および最大値として、ｋ−平均法によりクラスタリングする
手順３：分割後の各クラスタの分散を計算し、その値が閾値以上のクラスタを検出する
手順４：前記手順３で検出したクラスタについて、再び前記手順２および前記手順３の処理を行う
手順５：すべてのクラスタの分散が前記閾値未満となった場合にクラスタリングを終了し、各クラスタについて、所属するデータの各色特徴量の平均値を、そのクラスタが持つ色特徴量とする。

本発明のオブジェクト領域抽出方法は、オブジェクト領域を含む入力画像をオブジェクト領域抽出システム（１０）に入力するステップと（Ｓ１１）、第１のオブジェクト候補領域抽出部（１１）が、前記入力画像に対して、例示画像を用いて求めた色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行うステップ（Ｓ１２〜Ｓ１５）と、第２のオブジェクト候補領域抽出部（１２）が、前記第１のオブジェクト候補領域抽出部から入力される前記第１のオブジェクト候補領域に対して、前記例示画像を用いて求めた形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行うステップ（Ｓ１７，Ｓ１８）と、オブジェクト領域決定部（１３）が、前記第２のオブジェクト候補領域抽出部から入力される前記第２のオブジェクト候補領域に基づいて前記オブジェクト領域を決定するステップ（Ｓ２０）とを具備する。

本発明のオブジェクト領域抽出システムおよび方法は、たとえば、画像化した工事写真に含まれる黒板画像のような特徴量が変化する同一および同種のオブジェクトを正確に抽出することができる。

特徴量が変化する同一および同種のオブジェクトの検索に適するという目的を、オブジェクト領域を含む入力画像に対して、色に関する各クラスタが持つ特徴量を用いて段階的に第１のオブジェクト候補領域の絞込みを行い、この第１のオブジェクト候補領域に対して、形状に関する各クラスタが持つ特徴量を用いて段階的に第２のオブジェクト候補領域の絞込みを行ったのち、この第２のオブジェクト候補領域に基づいてオブジェクト領域を決定することにより実現した。

以下、本発明のオブジェクト領域抽出システムおよび方法の実施例について図面を参照して説明する。なお、以下では、工事写真画像（以下、「データベース画像」と称する。）に含まれる黒板領域をオブジェクト領域として抽出する場合を例として説明する。
図１は、本発明の一実施例によるオブジェクト領域抽出システムを説明するための概略ブロック図である。本実施例によるオブジェクト領域抽出システム１０は、データベース画像（入力画像）に対して、色に関する各クラスタが持つ特徴量を用いて段階的にオブジェクト候補領域の絞込みを行う第１のオブジェクト候補領域抽出部１１と、第１のオブジェクト候補領域抽出部１１により抽出されたオブジェクト候補領域に対して、形状に関する各クラスタが持つ特徴量を用いて段階的にオブジェクト候補領域の絞込みを行う第２のオブジェクト候補領域抽出部１２と、第２のオブジェクト候補領域抽出部１２により抽出されたオブジェクト候補領域からオブジェクト領域を決定するオブジェクト領域決定部１３とを備えている。

第１のオブジェクト候補領域抽出部１１は外部の画像入力装置２０に接続されている。ここで、画像入力装置２０は、黒板を含む工事写真を画像化した工事写真画像（データベース画像）を表すデータベース画像データが格納された画像記憶装置２１から１つのデータベース画像データを読み出して、読み出したデータベース画像データをオブジェクト領域抽出システム１０に入力する。
第１および第２のオブジェクト候補領域抽出部１１，１２は、工事写真の黒板について複数の例示画像を用いて求めた色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を表す特徴量データが格納された特徴量記憶装置２２に接続されている。
オブジェクト領域決定部１３は、決定されたオブジェクト領域を表すオブジェクト領域データが格納されるオブジェクト領域記憶装置２３に接続されている。

以下、特徴量記憶装置２２に格納されている特徴量データについて、図２に示すような、工事写真画像（データベース画像）に含まれる黒板画像（オブジェクト領域）を例示画像とした場合を例として説明する。
まず、第１のオブジェクト候補領域抽出部１１において用いられる色に関する各クラスタが持つ特徴量について説明する。

以下のようにして、例示画像を構成している代表色を求め、求めた代表色の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲を色特徴量として抽出する。
例示画像を表す例示画像データをたとえばメディアンフィルタにより平滑化し、例示画像の全画素について、色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の各次元について値を「７２」，「３２」および「３２」に等分割したＨＳＶヒストグラムを生成する。
続いて、連続する５×５×５要素（計７２×２８×２８通り）の頻度の和をすべて計算し、頻度の和が最大となる５×５×５要素の範囲を検出したのち、検出した範囲の中で頻度が最大となる要素を検出して、検出した要素の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の各次元の座標（ｓ，ｔ，ｕ）を求める。

続いて、７２等分割の色相（Ｈ）ヒストグラムと３２等分割の彩度（Ｓ）ヒストグラムと３２等分割の輝度（Ｖ）ヒストグラムとを生成したのち、各ヒストグラムについて、上記求めた座標（ｓ，ｔ，ｕ）の各座標値ｓ，ｔ，ｕを基準に、ヒストグラムの隣接する階級について（１）式に示す条件を満たすまで順に検索していき、検索した範囲を代表色が取る色相，彩度および輝度それぞれの範囲とする。なお、（１）式は、ヒストグラムのある階級ｉにおける度数ｆ(i)が閾値Ｔｈ_colorよりも小さくなったときに、その階級がヒストグラムの分割点であることを表している。ただし、その階級の度数だけでなく、その左右２つまでの階級の度数の和を計算することで、より適切な評価をするようにしている。
ｆ(i-2)＋ｆ(i-1)＋ｆ(i)＋ｆ(i+1)＋ｆ(i+2)＜Ｔｈ_color （１）
ここで、Ｔｈ_color＝（オブジェクト領域の全画素数）／４０

続いて、検出した値の範囲は量子化したヒストグラム上での範囲であり実際の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲ではないため、（２）式により、検出した値の範囲を実際の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲に変換する。
ｍｉｎＨ＝ｍｉｎＨ_hist×５， ＭａｘＨ＝ＭａｘＨ_hist×５＋４
ｍｉｎＳ＝ｍｉｎＳ_hist×８， ＭａｘＳ＝ＭａｘＳ_hist×８＋７ （２）
ｍｉｎＶ＝ｍｉｎＶ_hist×８， ＭａｘＶ＝ＭａｘＶ_hist×８＋７
ここで、ｍｉｎＨ_histからＭａｘＨ_histが色相ヒストグラム上の色相の値の範囲（一端から一端）であり、ｍｉｎＳ_histからＭａｘＳ_histが彩度ヒストグラム上の彩度の値の範囲（下限から上限）であり、ｍｉｎＶ_histからＭａｘＶ_histが輝度ヒストグラム上の輝度の値の範囲（最小から最大）であり、ｍｉｎＨからＭａｘＨが実際の色相の値の範囲（一端から一端）であり、ｍｉｎＳからＭａｘＳが実際の彩度の値の範囲（下限から上限）であり、ｍｉｎＶからＭａｘＶが輝度の値の範囲（最小から最大）である。

また、０≦ｔ≦４の場合は、その代表色を無彩色と判断する。無彩色を表現する際には、色相の値は無関係となるので、色相範囲を０°〜３５９°とすることで、色相の制限を排除する。

この一連の処理を、一定数の代表色を抽出するまで、未探索な要素について繰り返す。図２に、２色まで代表色を抽出した結果の一例を示す。この例では、色相の値の範囲が０〜３５９であり、彩度の値の範囲が０〜３９であり、かつ輝度の値の範囲が２４０〜２５５である第１の代表色と、色相の値の範囲が１１９〜２１３であり、彩度の値の範囲が０〜１１９であり、かつ輝度の値の範囲が２４０〜２５５である第２の代表色とが抽出されている。

ただし、抽出した代表色に該当する画素数が例示画像の全画素数に対して０．０５以下である場合には、抽出した代表色は代表色ではないと判断して、除去する。

また、抽出した代表色が複数存在した場合には、各代表色が例示画像に対して占める割合を獲得するために、各代表色に該当する画素数の例示画像の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出する。図２に示す例では、第１の代表色の面積＝０．０９であり、第２の代表色の面積＝０．９１である。

さらに、抽出した代表色が複数存在した場合には、複数の代表色がどのような位置関係を持っているかという情報を獲得するために、代表色同士の空間関係の特徴量を抽出する。
具体的には、面積が最大となる代表色領域の重心と、例示画像を含む最小矩形領域とを算出する。そして、その重心を中心とする最小矩形領域の縦横１／２の矩形領域と、この矩形領域を除く上下左右方向それぞれに存在するその他の代表色領域の画素数とを算出し、上下左右方向それぞれに存在するその他の代表色領域の画素数の、上下左右方向それぞれに存在するその他の代表色領域の全画素数に対する割合を算出して、代表色同士の空間関係の特徴量とする。図３に、求めた代表色同士の空間関係の特徴量の一例を示す。この例では、第１および第２の代表色同士の空間関係は、中・上・左・下および右方向の割合がそれぞれ、０．３０，０．６６，０．０１，０．０１および０．０２となるものである。この特徴量の次元数は、｛（構成色数−１）×５｝となる。
この特徴量により、面積が最大となる代表色領域を基準としたその他の代表色領域それぞれの空間関係を表現することができる。

このようにして複数の例示画像について色特徴量を抽出したのち、抽出した色特徴量の中で、主観的に見た色の変動に最も則している特徴量は色相の特徴量であると考え、２×（代表色数）次元の色相（Ｈ）の値の範囲の特徴量について、以下の手順に従って色特徴量のクラスタリングを行う。
手順１：図４に示すように、すべての色相（Ｈ）の値の範囲のデータを同じクラスタに所属させる。
手順２：図５に示すように、分割後のクラスタ数を「２」とするとともに、クラスタの重心座標をクラスタに属するデータの各次元の最小値および最大値として、ｋ−平均法によりクラスタリングする。
手順３：図６に示すように、分割後の各クラスタの分散を計算し、その値が閾値Ｔｈ_var（＝４０）以上のクラスタを検出する。なお、閾値Ｔｈ_varは、たとえば、多数の例示画像を色に基づいて主観によりクラスタリングした際の全クラスタの中での最大の分散値とする。
手順４：図７に示すように、手順３で検出したクラスタについて、再び手順２および手順３の処理を行う。
手順５：図８に示すように、すべてのクラスタの分散が閾値Ｔｈ_var未満となった場合にクラスタリングを終了し、各クラスタについて、所属するデータの各色特徴量（代表色，空間関係および面積の特徴量）の平均値を、そのクラスタが持つ色特徴量とする。

ただし、例示画像によって代表色が異なる場合には、同じ代表色となる例示画像の集合毎にクラスタリングを行う。
また、ｋ−平均法は、初めにクラスタ数を決定しなければならないが、与える例示画像群によって、適切なクラスタ数が異なる。そこで、前述した処理により、クラスタ内の分散値を考慮し、その値が大きいクラスタをさらに分割していくことにより、適切なクラスタ数を決定することが可能となる。

ｋ−平均法の処理手順を以下に示す。
手順１：ランダムに選択したｋ個の点を初期クラスタの重心とする。
手順２：すべてのデータに対して、クラスタの重心との距離を計算し、最も近いクラスタに属させる。
手順３：各クラスタに属するデータの各座標の平均値を新しいクラスタの重心座標とする。
手順４：クラスタの重心座標が収束するまで手順１から手順３の処理を繰り返す。たとえば、各データのクラスタリングの結果が変化しなくなった時点で収束したとする。

次に、第２のオブジェクト候補領域抽出部１２において用いられる形状に関する各クラスタが持つ特徴量について説明する。
例示画像（オブジェクト領域）の大まかな形状として例示画像の縦横比を計算する。そして、例示画像を含む最小矩形領域の横幅に対する縦幅の割合を算出し、この算出した割合を大まかな形状特徴量として抽出する。図９に、抽出した大まかな形状特徴量の一例を示す。この例では、大まかな形状特徴量＝１．２である。大まかな形状特徴量の次元数は１次元である。

続いて、以下のようにして、例示画像中のオブジェクト領域の詳細な形状特徴量を抽出する。
図１０に示すように、例示画像の重心位置から下方向に下ろした線と例示画像の輪郭との交点を探索開始点として、例示画像の輪郭となる画素を反時計回りに検索していく。オブジェクト領域の輪郭となる全画素について接線角度を計算し、オブジェクト領域の重心から見て１０°毎に接線角度の頻度を求めた３６分割の角度ヒストグラムを生成する。このとき、接線角度は、たとえば、ある輪郭上の画素からその４画素先に引いた直線の水平方向に対する角度として求める。この生成した角度ヒストグラムを詳細な形状特徴量とする。なお、詳細な形状の特徴量の次元数は３６次元である。

このようにして複数の例示画像について詳細な形状特徴量を抽出したのち、抽出した詳細な形状特徴量について、上述した色特徴量のクラスタリングの手順１から手順５に沿ってクラスタリングを行うことにより、各クラスタの詳細な形状特徴量を抽出する。このときに用いる閾値Ｔｈ_varは、色特徴量のクラスタリングの際と同様に、たとえば、複数の例示画像を形状に基づいて主観によりクラスタリングした際の全クラスタの中での最大の分散値である０．００１とする。
ここで、詳細な形状特徴量のクラスタリングに用いる閾値Ｔｈ_var（＝０．００１）を色特徴量のクラスタリングに用いる閾値Ｔｈ_var（＝４０）と異なる値とする理由は、クラスタリングに用いる特徴量の次元数と、取る値の範囲とが異なるためである。

図１１に、３つの例示画像１〜３について色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を抽出した例を示す。

以下、図１１の最下段に示す３つのデータベース画像に含まれている黒板画像（オブジェクト領域）を抽出するときのオブジェクト領域抽出システム１０の動作（本発明の一実施例によるオブジェクト領域抽出方法）について、図１２に示すフローチャートを参照して説明する。
担当者は、画像入力装置２０を用いて、画像記憶装置２１に格納されている多数のデータベース画像データ（工事写真画像データ）のうちの図１１に示す３つのデータベース画像データを１つずつ読み出したのち、読み出したデータベース画像データをオブジェクト領域抽出システム１０に入力する（ステップＳ１１）。

オブジェクト領域抽出システム１０の第１のオブジェクト候補領域抽出部１１は、画像入力装置２０からのデータベース画像データによって表されるデータベース画像（入力画像）に対して、特徴量記憶装置２２に格納されている色に関する各クラスタが持つ特徴量に基づいて、色に関する各クラスタが持つ各構成色の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）それぞれの範囲に収まる画素を抽出し、一つながりとなる領域をラベリングすることにより、色特徴量による第１の絞込みを行う（ステップＳ１２）。図１３に、色特徴量による第１の絞込みの結果の一例を示す。

続いて、第１のオブジェクト候補領域抽出部１１は、ラベリングされた各領域に対して、データベース画像全体に対する面積の割合が閾値Ｔｈ_area（＝（データベース画像全体の面積）／２００）以下の領域については、オブジェクト候補領域ではなくノイズ領域と判断して除去することにより、色特徴量による第２の絞込みを行う（ステップＳ１３）。図１４に、色特徴量による第２の絞込みの結果の一例を示す。

続いて、第１のオブジェクト候補領域抽出部１１は、クラスタの構成色が複数存在した場合には、そのすべての構成色を含む領域のみを抽出し、それ以外の領域は除去することにより、色特徴量による第３の絞込みを行う（ステップＳ１４）。図１５に、色特徴量による第３の絞込みの結果の一例を示す。

また、第１のオブジェクト候補領域抽出部１１は、抽出した各領域から前述したようにして空間関係および面積の特徴量を抽出したのち、抽出した空間関係および面積の特徴量と色に関する各クラスタが持つ空間関係および面積の特徴量との類似度を（３）式により計算し、共に０．６以上となる領域のみを抽出し、それ以外の領域は除去することにより、色特徴量による第４の絞込みを行う（ステップＳ１５）。図１６に、色特徴量による第４の絞込みの結果の一例を示す。

（３）式において、ｍは、空間関係（または面積）の特徴量の次元数であり、ｃｏｌｏｒ_c（ｉ）は、色に関するクラスタが持つ空間関係（または面積）のｉ番目の特徴量であり、ｃｏｌｏｒ_d（ｉ）は、領域から抽出した空間関係（または面積）のｉ番目の特徴量であり、Ｓｉｍ_colorは、０から１までの値を取り、１に近づくほど両者間の類似度が高くなる。

以上のようにして抽出された領域（第１のオブジェクト候補領域）を表す第１のオブジェクト候補領域データは、第１のオブジェクト候補領域抽出部１１から第２のオブジェクト候補領域抽出部１２に出力される（ステップＳ１６）。

第２のオブジェクト候補領域抽出部１２は、第１のオブジェクト候補領域抽出部１１から入力される第１のオブジェクト候補領域データによって表される第１のオブジェクト候補領域に対して、以下のようにして、形状に関する各クラスタが持つ特徴量を用いて、オブジェクト候補領域の絞込みを更に行う。

まず、第２のオブジェクト候補領域抽出部１２は、第１のオブジェクト候補領域から大まかな形状特徴量ｒａｔｉｏ_d（縦横比）を抽出したのち、特徴量記憶装置２２に格納されている形状に関する各クラスタが持つ特徴量に基づいて、形状に関する各クラスタが持つ大まかな形状特徴量ｒａｔｉｏ_cと、抽出した大まかな形状特徴量ｒａｔｉｏ_dとの類似度Ｓｉｍ_ratioを（４）式により計算する。その後、第２のオブジェクト候補領域抽出部１２は、類似度Ｓｉｍ_ratioが０．７５以上１．５以下となる領域にのみを抽出し、それ以外の領域を除去することにより、形状特徴量による第１の絞込みを行う（ステップＳ１７）。図１７に、形状特徴量による第１の絞込みの結果の一例を示す。なお、（４）式においては、類似度Ｓｉｍ_ratioは、１に近づくほど両者の類似度が高くなるような値となる。

続いて、第２のオブジェクト候補領域抽出部１２は、形状特徴量による第１の絞込みにより抽出した領域から詳細な形状特徴量を抽出したのち、特徴量記憶装置２２に格納されている形状に関する各クラスタが持つ特徴量に基づいて、形状に関する各クラスタが持つ詳細な形状特徴量と、抽出した詳細な形状特徴量との類似度を、以下に示す（５）〜（７）式により計算する。その後、第２のオブジェクト候補領域抽出部１２は、類似度が０．６以上となる領域にのみを抽出し、それ以外の領域を除去することにより、形状特徴量による第２の絞込みを行う（ステップＳ１８）。

なお、（５）式において、ｎは、詳細な形状特徴量の次元数であり、ｆｏｒｍ_c（ｉ）は、形状に関するクラスタが持つ詳細な形状のｉ番目の特徴量であり、ｆｏｒｍ_d（ｋ）は、抽出した詳細な形状のｋ（（７）式により算出）番目の特徴量である。なお、この類似度計算は、形状に関するクラスタが持つ詳細な形状のｉ番目の特徴量と、形状特徴量による第１の絞込みにより抽出した領域の対応する特徴量との値の差の絶対値を計算することを基本的な考え方としているが、ｉ番目同士の特徴量の差を取るだけでは、わずかな角度のずれが生じただけで類似していないと判断されてしまうため、（６）式のような計算を行うことにより、わずかな角度のずれを考慮して類似度を計算する。
ここで、（６）式では、形状に関するクラスタが持つ詳細な形状のｉ番目の特徴量と、形状特徴量による第１の絞込みにより抽出した領域のｉ番目、またその前後２つまでのｋ番目の特徴量との差を、ｉとの差の大きさによって重みを変えた上で計算する。そして、その中の最小値を、詳細な形状のｉ番目の特徴量に関する類似度としている。

続いて、第２のオブジェクト候補領域抽出部１２は、形状特徴量による第２の絞込みにより抽出された領域を第２のオブジェクト候補領域とし、第２のオブジェクト候補領域を表す第２のオブジェクト候補領域データと、第２のオブジェクト候補領域内の各領域の詳細な形状の特徴量を表す詳細な形状の特徴量データとをオブジェクト領域決定部１３に出力する（ステップＳ１９）。

オブジェクト領域決定部１３は、第２のオブジェクト候補領域抽出部１２から入力される第２のオブジェクト候補領域データおよび詳細な形状の特徴量データに基づいて、第２のオブジェクト候補領域の中に１つの領域しかない場合には、その領域をオブジェクト領域と決定し、一方、第２のオブジェクト候補領域の中に複数の領域がある場合には、複数の領域の中で詳細な形状の特徴量が最も類似した領域をオブジェクト領域と決定したのち、決定したオブジェクト領域を表すオブジェクト領域データをオブジェクト領域記憶装置２３に格納する（ステップＳ２０）。図１８に、オブジェクト領域決定部１３により決定されたオブジェクト領域の一例を示す。
図１８に示すように、工事写真画像（データベース画像）に含まれている黒板画像（オブジェクト領域）を正確に抽出することができる。

以上の説明では、ｋ−平均法によりクラスタリングを行ったが、単一パス法，重心法およびメディアン法などによりクラスタリングを行ってもよい。

以上説明したように、本発明のオブジェクト領域抽出システムおよび方法は、たとえば、工事写真画像から黒板画像を検索するのに利用することができる。

本発明の一実施例によるオブジェクト領域抽出システムを説明するための概略ブロック図である。（実施例１） 代表色を２色まで抽出した結果の一例を示す図である。（実施例１） 代表色同士の空間関係の特徴量の一例を示す図である。（実施例１） 色特徴量のクラスタリング処理の手順１を説明するための図である。（実施例１） 色特徴量のクラスタリング処理の手順２を説明するための図である。（実施例１） 色特徴量のクラスタリング処理の手順３を説明するための図である。（実施例１） 色特徴量のクラスタリング処理の手順４を説明するための図である。（実施例１） 色特徴量のクラスタリング処理の手順５を説明するための図である。（実施例１） 大まかな形状特徴量の一例を示す図である。（実施例１） 詳細な形状特徴量の抽出方法を説明するための図である。（実施例１） ３つの例示画像１〜３について色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を抽出した例を示す図である。（実施例１） 図１に示したオブジェクト領域抽出システム１０の動作を説明するためのフローチャートである。（実施例１） 第１のオブジェクト候補領域抽出部１１における色特徴量による第１の絞込みの結果の一例を示す図である。（実施例１） 第１のオブジェクト候補領域抽出部１１における色特徴量による第２の絞込みの結果の一例を示す図である。（実施例１） 第１のオブジェクト候補領域抽出部１１における色特徴量による第３の絞込みの結果の一例を示す図である。（実施例１） 第１のオブジェクト候補領域抽出部１１における色特徴量による第４の絞込みの結果の一例を示す図である。（実施例１） 第２のオブジェクト候補領域抽出部１２における形状特徴量による第１の絞込みの結果の一例を示す図である。（実施例１） オブジェクト領域決定部１３により決定されたオブジェクト領域の一例を示す図である。（実施例１）

符号の説明

１０ オブジェクト領域抽出システム
１１ 第１のオブジェクト候補領域抽出部
１２ 第２のオブジェクト候補領域抽出部
１３ オブジェクト領域決定部
２０ 画像入力装置
２１ 画像記憶装置
２２ 特徴量記憶装置
２３ オブジェクト領域記憶装置
Ｓ１１〜Ｓ２０ ステップ

Claims (6)

1. 例示画像を用いて求めた色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量が格納された特徴量記憶装置（２２）と、
   オブジェクト領域を含む入力画像に対して、前記特徴量記憶装置に格納されている前記色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行う第１のオブジェクト候補領域抽出部（１１）と、
   該第１のオブジェクト候補領域抽出部により抽出された第１のオブジェクト候補領域に対して、前記特徴量記憶装置に格納されている前記形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行う第２のオブジェクト候補領域抽出部（１２）と、
   該第２のオブジェクト候補領域抽出部により抽出された第２のオブジェクト候補領域に基づいて前記オブジェクト領域を決定するオブジェクト領域決定部（１３）と、
   を具備することを特徴とする、オブジェクト領域抽出システム。
2. 前記色に関する各クラスタが持つ特徴量が、前記例示画像を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量として抽出することにより求められたものであることを特徴とする、請求項１記載のオブジェクト領域抽出システム。
3. 前記色に関する各クラスタが持つ特徴量が、前記抽出した代表色が複数存在した場合には、各代表色に該当する画素数の前記オブジェクト領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出し、かつ、前記抽出した代表色が複数存在した場合には、代表色同士の空間関係の特徴量を抽出することにより求められたものであることを特徴とする、請求項１または２記載のオブジェクト領域抽出システム。
4. 前記形状に関する各クラスタが持つ特徴量が、前記例示画像を含む最小矩形領域の横幅に対する縦幅の割合を算出して、該算出した割合を大まかな形状特徴量として抽出し、かつ、前記例示画像の輪郭となる全画素について接線角度を計算し、前記例示画像の対象オブジェクト領域の重心から見て所定の角度毎に該接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを詳細な形状特徴量として抽出することにより求められたものであることを特徴とする、請求項１乃至３いずれかに記載のオブジェクト領域抽出システム。
5. 前記色に関する各クラスタが持つ特徴量が、前記色相の値の範囲の特徴量について、以下の手順に従って前記色特徴量のクラスタリングを行うことにより求められた、
   手順１：すべての色相の値の範囲のデータを同じクラスタに所属させる
   手順２：分割後のクラスタ数を「２」とするとともに、クラスタの重心座標をクラスタに属するデータの各次元の最小値および最大値として、ｋ−平均法によりクラスタリングする
   手順３：分割後の各クラスタの分散を計算し、その値が閾値以上のクラスタを検出する
   手順４：前記手順３で検出したクラスタについて、再び前記手順２および前記手順３の処理を行う
   手順５：すべてのクラスタの分散が前記閾値未満となった場合にクラスタリングを終了し、各クラスタについて、所属するデータの各色特徴量の平均値を、そのクラスタが持つ色特徴量とする
   ことを特徴とする、請求項２乃至４いずれかに記載のオブジェクト領域抽出システム。
6. オブジェクト領域を含む入力画像をオブジェクト領域抽出システム（１０）に入力するステップと（Ｓ１１）、
   第１のオブジェクト候補領域抽出部（１１）が、前記入力画像に対して、例示画像を用いて求めた色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行うステップ（Ｓ１２〜Ｓ１５）と、
   第２のオブジェクト候補領域抽出部（１２）が、前記第１のオブジェクト候補領域抽出部から入力される前記第１のオブジェクト候補領域に対して、前記例示画像を用いて求めた形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行うステップ（Ｓ１７，Ｓ１８）と、
   オブジェクト領域決定部（１３）が、前記第２のオブジェクト候補領域抽出部から入力される前記第２のオブジェクト候補領域に基づいて前記オブジェクト領域を決定するステップ（Ｓ２０）と、
   を具備することを特徴とする、オブジェクト領域抽出方法。

Images