JP2006221520A - 画像特徴量抽出システムおよび方法 - Google Patents

Abstract

【課題】特徴量が変化する同一および同種のオブジェクトの検索に適した画像特徴量抽出システムおよび方法を提供する。
【解決手段】画像特徴量抽出システム１は、例示画像に含まれるオブジェクト領域を抽出するオブジェクト領域抽出部１１と、抽出されたオブジェクト領域を構成している代表色を求め、求めた代表色の色特徴量を抽出する色特徴量抽出部１２と、色特徴量抽出部１２によって抽出された色特徴量のクラスタリングを行ったのち、各クラスタの色特徴量を抽出する色特徴量クラスタリング部１３と、抽出されたオブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出する形状特徴量抽出部１４と、形状特徴量抽出部１４によって抽出された詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する形状特徴量クラスタリング部１５とを具備する。
【選択図】 図１

Description

本発明は、画像特徴量抽出システムおよび方法に関し、特に、工事写真に含まれる黒板を探し出すのに好適な画像特徴量抽出システムおよび方法に関する。

公共事業では成果品を最後に必ず納品することになっており、工事の場合には、工事写真を納品する必要がある。工事写真には必ずといっていいほど黒板が写されている。この黒板には工事名称や工事の内容など重要な情報が記載されており、工事写真においては黒板の情報が極めて重要である。
そのため、納品する工事写真帳では、わざわざ黒板のみを切り取り、拡大して表示することがしばしば行われている。しかし、工事写真は通常では数百枚から数千枚と非常に多く、手作業で黒板を抽出する作業には大変な労力がかかる。
そこで、工事写真を画像化し、画像化した工事写真から黒板画像を自動的に抽出するシステムが要請されている。

しかしながら、工事現場における黒板のように、撮影された角度や照明などの撮影環境が異なるオブジェクト、および色や形状などの特徴量が異なる同種のオブジェクト（他の例では、赤い車と青い車）については、ユーザからすれば同じオブジェクトといえても、特徴量が変化してしまう。
そこで、検索対象である同一および同種のオブジェクトが含まれた多数の例示画像を入力として与え、抽出した色に関する特徴量、形状に関する特徴量をクラスタリングすることにより、そのオブジェクトが取り得る色および形状の特徴量を獲得し、その特徴量を利用して特徴量が変化する同一および同種のオブジェクトの検索を行うことが考えられる。

なお、多数の例示画像を用いてオブジェクトを検索する手法としては、下記の非特許文献１および非特許文献２に開示されているものがある。
非特許文献１では、例示画像群から抽出した特徴量から、ユーザが意図する距離関数と問合せ位置を推定することで、一般化された楕円距離による問合せを実現している。
非特許文献２では、例示画像群から抽出した特徴量から画像のクラスタリングを行い、各画像クラスタについて標準偏差法による特徴量毎の重み付けを行い、検索時には、重み付きのユークリッド距離による類似度計算を行っている。
Yoshiharu Ishikawa, Ravishankar Subramanya, Christos Faloutsos, "MindReader: Querying database through multiple examples", Proceeding of the 24th VLDB Conference New York, USA, 1998 Roberto Brunelli, Ornella Mich, "Image Retrieval by Examples", IEEE Trans. on Multimedia, Vol.2, No.3, pp.164-171, Sep. 2000

しかしながら、非特許文献１および非特許文献２に開示されている手法では、多次元からなる特徴量の中で、ユーザが類似性の観点として着目している特徴量または特徴量間の相関を推定し、ユーザの意図に則した問合せを行っており、これらの手法における複数の例示画像を用いることの目的は、ユーザの注目している特徴量を自動的に推測することにある。したがって、これらの手法は、特徴量が変化する同一および同種のオブジェクトの検索には必ずしも適しているとはいえない。

本発明の目的は、特徴量が変化する同一および同種のオブジェクトの検索に適した画像特徴量抽出システムおよび方法を提供することにある。

本発明の画像特徴量抽出システムは、画像入力装置（２０）から入力される例示画像を表す例示画像データから、前記例示画像に含まれるオブジェクト領域を抽出するオブジェクト領域抽出部（１１）と、該オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色特徴量を抽出する色特徴量抽出部（１２）と、該色特徴量抽出部によって抽出された前記色特徴量のクラスタリングを行ったのち、各クラスタの色特徴量を抽出する色特徴量クラスタリング部（１３）と、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出する形状特徴量抽出部（１４）と、該形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する形状特徴量クラスタリング部（１５）とを具備することを特徴とする。
ここで、前記オブジェクト領域抽出部が、前記抽出したオブジェクト領域内の画像を表すオブジェクト画像データを前記色特徴量抽出部に出力し、前記色特徴量抽出部が、前記オブジェクト画像データによって表される前記オブジェクト領域内の画像を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量として抽出してもよい。
前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、各代表色に該当する画素数の前記オブジェクト領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出し、前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、代表色同士の空間関係の特徴量を抽出してもよい。
前記形状特徴量抽出部が、前記オブジェクト領域を含む最小矩形領域の横幅に対する縦幅の割合を算出して、該算出した割合を前記大まかな形状特徴量として抽出し、前記形状特徴量抽出部が、前記オブジェクト領域の輪郭となる全画素について接線角度を計算し、前記オブジェクト領域の重心から見て所定の角度毎に該接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを前記詳細な形状特徴量として抽出してもよい。
前記色特徴量クラスタリング部が、前記色相の値の範囲の特徴量について、以下の手順に従って前記色特徴量のクラスタリングを行ってもよい。
手順１：すべての色相の値の範囲のデータを同じクラスタに所属させる
手順２：分割後のクラスタ数を「２」とするとともに、クラスタの重心座標をクラスタに属するデータの各次元の最小値および最大値として、ｋ−平均法によりクラスタリングする
手順３：分割後の各クラスタの分散を計算し、その値が閾値以上のクラスタを検出する
手順４：前記手順３で検出したクラスタについて、再び前記手順２および前記手順３の処理を行う
手順５：すべてのクラスタの分散が前記閾値未満となった場合にクラスタリングを終了し、各クラスタについて、所属するデータの各色特徴量（代表色，空間関係および面積の特徴量）の平均値を、そのクラスタが持つ色特徴量とする。

本発明の画像特徴量抽出方法は、例示画像に含まれるオブジェクト領域が黒線で囲まれた例示画像データを画像入力装置（２０）から画像特徴量抽出システム（１）に入力するステップと（Ｓ１１）、オブジェクト領域抽出部（１１）が、前記例示画像データについて水平方向に画素を走査して黒画素を検出することにより、前記オブジェクト領域を抽出するステップ（Ｓ１２）と、色特徴量抽出部（１２）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量を抽出するステップ（Ｓ１３）と、形状特徴量抽出部（１４）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を含む最小矩形領域の横幅に対する縦幅の割合を算出して大まかな形状特徴量を抽出するステップ（Ｓ１４）と、前記オブジェクト領域の輪郭となる全画素について接線角度を計算し、前記オブジェクト領域の重心から見て所定の角度毎に接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを前記詳細な形状特徴量として抽出するステップ（Ｓ１５）と、色特徴量クラスタリング部（１３）が、前記該色特徴量抽出部によって抽出された前記色相の値の範囲の特徴量についてクラスタリングを行ったのち、各クラスタの色特徴量を抽出するステップ（Ｓ１６）と、形状特徴量クラスタリング部（１５）が、前記形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出するステップ（Ｓ１７）とを具備することを特徴とする。
ここで、前記色特徴量を抽出するステップ（Ｓ１３）が、前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、各代表色に該当する画素数の前記オブジェクト領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出するステップと、前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、代表色同士の空間関係の特徴量を抽出するステップとを含んでもよい。

本発明の画像特徴量抽出システムは、以下に示すような効果を奏する。
（１）たとえば、工事写真に含まれる黒板のような特徴量が変化する同一および同種のオブジェクトの検索に適した画像特徴量を抽出することができる。
（２）たとえば、工事写真画像から黒板画像を検索するのに使用する、複数の例示画像に関するクラスタ特徴量データを格納したデータベースを構築することができる。
（３）多数（複数）の例示画像を用いて抽出された代表色の色特徴量および詳細な形状特徴量のクラスタリングを行うので、代表色の色特徴量および詳細な形状特徴量が１つの範囲に収まらずに２つ以上の独立した範囲（すなわち、クラスタ）になるような場合にも対応することができるとともに、１回に与える複数の例示画像が暗黙的に論理和条件（ＯＲ条件）を表していても、それを反映したオブジェクトの検索を行うことができる。

特徴量が変化する同一および同種のオブジェクトの検索に適するという目的を、例示画像から抽出したオブジェクト領域を構成している代表色の色特徴量を抽出して、抽出した色特徴量のクラスタリングを行ったのちに各クラスタの色特徴量を抽出するとともに、例示画像から抽出したオブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出して、抽出した詳細な形状特徴量のクラスタリングを行ったのちに各クラスタの詳細な形状特徴量を抽出することにより実現した。

以下、本発明の画像特徴量抽出システムおよび方法の実施例について図面を参照して説明する。
図１は、本発明の一実施例による画像特徴量抽出システムを説明するための概略ブロック図である。本実施例による画像特徴量抽出システム１は、オブジェクト領域抽出部１１と、色特徴量抽出部１２と、色特徴量クラスタリング部１３と、形状特徴量抽出部１４と、形状特徴量クラスタリング部１５とを備えている。
また、画像特徴量抽出システム１のオブジェクト領域抽出部１１は、多数の例示画像データが格納された例示画像記憶装置２１から例示画像データを読み出して画像特徴量抽出システム１に入力するための画像入力装置２０に接続されており、色特徴量クラスタリング部１３および形状特徴量クラスタリング部１５は、クラスタ特徴量記憶装置２２に接続されている。

図２は、工事写真画像、およびこの工事写真画像から抜き取った例示画像の一例を示す図である。図２の左側に示す工事写真画像は、黒板が含まれている工事現場の画像であり、図２の右側に示す例示画像は、黒板を含む領域を工事写真画像から抜き取ったものである。画像特徴量抽出システム１は、工事写真に含まれている黒板の色および形状の類似性に着目して、図２の右側に示す例示画像に含まれている黒板領域を抽出して、抽出した黒板領域の色特徴量および形状特徴量をそれぞれ個別に抽出したのち、例示画像記憶装置２１に格納されている複数の例示画像から抽出した黒板領域の色特徴量および形状特徴量をそれぞれクラスタリングして、各クラスタ内のデータを代表する特徴量（以下、「クラスタ特徴量」と称する。）を求める。そして、例示画像記憶装置２１に格納されている多数の例示画像についてクラスタ特徴量を求め、求めたクラスタ特徴量を表すクラスタ特徴量データをクラスタ特徴量記憶装置２２に格納することにより、工事写真画像から黒板画像を検索するのに使用する、多数の例示画像に関するクラスタ特徴量データを格納したデータベースを構築する。

なお、黒板を含む例示画像から黒板領域の抽出を確実、容易に行うために、黒板領域を黒線で囲む処理をしたのちに、例示画像データは例示画像記憶装置２１に格納されている。これにより、画像特徴量抽出システム１のオブジェクト領域抽出部１１は、画像入力装置２０から入力される例示画像を表す例示画像データから、黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）で囲まれた領域を抽出することにより、オブジェクト領域、すなわち黒板領域を抽出することができる。

色特徴量抽出部１２は、オブジェクト領域抽出部１１によって抽出されたオブジェクト領域を構成している代表色を求め、求めた代表色の色特徴量を抽出する。
色特徴量クラスタリング部１３は、色特徴量抽出部１２によって抽出された色特徴量のクラスタリングを行ったのち、各クラスタの色特徴量を抽出する。
形状特徴量抽出部１４は、オブジェクト領域抽出部１１によって抽出されたオブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出する。
形状特徴量クラスタリング部１５は、形状特徴量抽出部１４によって抽出された詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する。

次に、画像特徴量抽出システム１の動作（本発明の一実施例による画像特徴量抽出方法）について、図３に示すフローチャートを参照して説明する。
担当者は、画像入力装置２０を用いて、例示画像記憶装置２１に格納されている多数の例示画像データを１つずつ読み出したのち、読み出した例示画像データを画像特徴量抽出システム１に１つずつ入力する（ステップＳ１１）。

画像入力装置２０から入力されてきた例示画像データによって表される例示画像においては、黒板領域,すなわちオブジェクト領域は黒線で囲まれる処理がなされているため、画像特徴量抽出システム１のオブジェクト領域抽出部１１は、図４に示すように、この例示画像について水平方向に画素を走査して黒画素を検出していく。オブジェクト領域抽出部１１は、黒画素を検出すると、検出した黒画素の水平方向のライン上で、次に黒画素を検出するまでの画素をオブジェクト領域の画素とすることにより、オブジェクト領域（黒線で囲まれた黒板画像）を抽出する（以上、ステップＳ１２）。
オブジェクト領域抽出部１１は、抽出したオブジェクト領域内の画像（以下、「オブジェクト画像」と称する。）を表すオブジェクト画像データを色特徴量抽出部１２および形状特徴量抽出部１４に出力する。

色特徴量抽出部１２は、オブジェクト領域抽出部１１からオブジェクト画像データが入力されると、以下のようにして、オブジェクト画像を構成している代表色を求め、求めた代表色の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲を色特徴量として抽出する（ステップＳ１３）。
色特徴量抽出部１２は、オブジェクト領域抽出部１１から入力されたオブジェクト画像データをたとえばメディアンフィルタにより平滑化し、オブジェクト画像の全画素について、色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の各次元について値を「７２」，「３２」および「３２」に等分割したＨＳＶヒストグラムを生成する。
続いて、色特徴量抽出部１２は、連続する５×５×５要素（計７２×２８×２８通り）の頻度の和をすべて計算し、頻度の和が最大となる５×５×５要素の範囲を検出したのち、検出した範囲の中で頻度が最大となる要素を検出して、検出した要素の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の各次元の座標（ｓ，ｔ，ｕ）を求める。

続いて、色特徴量抽出部１２は、７２等分割の色相（Ｈ）ヒストグラムと３２等分割の彩度（Ｓ）ヒストグラムと３２等分割の輝度（Ｖ）ヒストグラムとを生成したのち、各ヒストグラムについて、上記求めた座標（ｓ，ｔ，ｕ）の各座標値ｓ，ｔ，ｕを基準に、ヒストグラムの隣接する階級について（１）式に示す条件を満たすまで順に検索していき、検索した範囲を代表色が取る色相，彩度および輝度それぞれの範囲とする。なお、（１）式は、ヒストグラムのある階級ｉにおける度数ｆ(i)が閾値Ｔｈ_colorよりも小さくなったときに、その階級がヒストグラムの分割点であることを表している。ただし、その階級の度数だけでなく、その左右２つまでの階級の度数の和を計算することで、より適切な評価をするようにしている。
ｆ(i-2)＋ｆ(i-1)＋ｆ(i)＋ｆ(i+1)＋ｆ(i+2)＜Ｔｈ_color （１）
ここで、Ｔｈ_color＝（オブジェクト領域の全画素数）／４０

続いて、色特徴量抽出部１２は、検出した値の範囲は量子化したヒストグラム上での範囲であり実際の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲ではないため、（２）式により、検出した値の範囲を実際の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲に変換する。
ｍｉｎＨ＝ｍｉｎＨ_hist×５， ＭａｘＨ＝ＭａｘＨ_hist×５＋４
ｍｉｎＳ＝ｍｉｎＳ_hist×８， ＭａｘＳ＝ＭａｘＳ_hist×８＋７ （２）
ｍｉｎＶ＝ｍｉｎＶ_hist×８， ＭａｘＶ＝ＭａｘＶ_hist×８＋７
ここで、ｍｉｎＨ_histからＭａｘＨ_histが色相ヒストグラム上の色相の値の範囲（一端から一端）であり、ｍｉｎＳ_histからＭａｘＳ_histが彩度ヒストグラム上の彩度の値の範囲（下限から上限）であり、ｍｉｎＶ_histからＭａｘＶ_histが輝度ヒストグラム上の輝度の値の範囲（最小から最大）であり、ｍｉｎＨからＭａｘＨが実際の色相の値の範囲（一端から一端）であり、ｍｉｎＳからＭａｘＳが実際の彩度の値の範囲（下限から上限）であり、ｍｉｎＶからＭａｘＶが輝度の値の範囲（最小から最大）である。

また、色特徴量抽出部１２は、０≦ｔ≦４の場合は、その代表色を無彩色と判断する。無彩色を表現する際には、色相の値は無関係となるので、色相範囲を０°〜３５９°とすることで、色相の制限を排除する。

色特徴量抽出部１２は、この一連の処理を、一定数の代表色を抽出するまで、未探索な要素について繰り返す。図５に、２色まで代表色を抽出した結果の一例を示す。この例では、色相の値の範囲が０〜３５９であり、彩度の値の範囲が０〜３９であり、かつ輝度の値の範囲が２４０〜２５５である第１の代表色と、色相の値の範囲が１１９〜２１３であり、彩度の値の範囲が０〜１１９であり、かつ輝度の値の範囲が２４０〜２５５である第２の代表色とが抽出されている。

色特徴量抽出部１２は、以上のようにして抽出した代表色に該当する画素数がオブジェクト領域の全画素数に対して０．０５以下である場合には、抽出した代表色は代表色ではないと判断して、除去する。

また、色特徴量抽出部１２は、抽出した代表色が複数存在した場合には、各代表色がオブジェクト領域に対して占める割合を獲得するために、各代表色に該当する画素数のオブジェクト領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出する。図５に示す例では、第１の代表色の面積＝０．０９であり、第２の代表色の面積＝０．９１である。なお、面積の特徴量の次元の数は、代表色の次元の数と等しくなる。

さらに、色特徴量抽出部１２は、抽出した代表色が複数存在した場合には、複数の代表色がどのような位置関係を持っているかという情報を獲得するために、代表色同士の空間関係の特徴量を抽出する。
具体的には、色特徴量抽出部１２は、まず、面積が最大となる代表色領域の重心と、オブジェクト領域を含む最小矩形領域とを算出する。そして、色特徴量抽出部１２は、その重心を中心とする最小矩形領域の縦横１／２の矩形領域と、この矩形領域を除く上下左右方向それぞれに存在するその他の代表色領域の画素数とを算出し、上下左右方向それぞれに存在するその他の代表色領域の画素数の、上下左右方向それぞれに存在するその他の代表色領域の全画素数に対する割合を算出して、代表色同士の空間関係の特徴量とする。図６に、求めた代表色同士の空間関係の特徴量の一例を示す。この例では、第１および第２の代表色同士の空間関係は、中・上・左・下および右方向の割合がそれぞれ、０．３０，０．６６，０．０１，０．０１および０．０２となる。この特徴量の次元数は、｛（構成色数−１）×５｝となる。
この特徴量により、面積が最大となる代表色領域を基準としたその他の代表色領域それぞれの空間関係を表現することができる。

形状特徴量抽出部１４は、オブジェクト画像データがオブジェクト領域抽出部１１から入力されると、以下のようにして、オブジェクト領域の形状特徴量を抽出する（ステップＳ１４）。
まず、形状特徴量抽出部１４は、実際に工事写真画像から黒板画像を抽出する際の形状特徴量による絞込みに要する処理時間を短縮するために、オブジェクト領域の大まかな形状としてオブジェクト領域の縦横比を計算する。そして、形状特徴量抽出部１４は、オブジェクト領域を含む最小矩形領域の横幅に対する縦幅の割合を算出し、この算出した割合を大まかな形状特徴量として抽出する。図７に、抽出した大まかな形状特徴量の一例を示す。この例では、大まかな形状特徴量＝１．２である。大まかな形状特徴量の次元数は１次元である。

続いて、形状特徴量抽出部１４は、以下のようにして、オブジェクト領域の詳細な形状特徴量を抽出する（ステップＳ１５）。
形状特徴量抽出部１４は、図８に示すように、オブジェクト領域の重心位置から下方向に下ろした線とオブジェクト領域の輪郭との交点を探索開始点として、オブジェクト領域の輪郭となる画素を反時計回りに検索していく。形状特徴量抽出部１４は、オブジェクト領域の輪郭となる全画素について接線角度を計算し、オブジェクト領域の重心から見て１０°毎に接線角度の頻度を求めた３６分割の角度ヒストグラムを生成する。このとき、接線角度は、たとえば、ある輪郭上の画素からその４画素先に引いた直線の水平方向に対する角度として求める。形状特徴量抽出部１４は、この生成した角度ヒストグラムを詳細な形状特徴量とする。なお、詳細な形状の特徴量の次元数は３６次元である。

色特徴量クラスタリング部１３は、色特徴量抽出部１２によって抽出された色特徴量の中で、主観的に見た色の変動に最も則している特徴量は色相の特徴量であると考え、２×（代表色数）次元の色相（Ｈ）の値の範囲の特徴量について、以下の手順に従って色特徴量のクラスタリングを行う（ステップＳ１６）。
手順１：図９に示すように、すべての色相（Ｈ）の値の範囲のデータを同じクラスタに所属させる。
手順２：図１０に示すように、分割後のクラスタ数を「２」とするとともに、クラスタの重心座標をクラスタに属するデータの各次元の最小値および最大値として、ｋ−平均法によりクラスタリングする。
手順３：図１１に示すように、分割後の各クラスタの分散を計算し、その値が閾値Ｔｈ_var（＝４０）以上のクラスタを検出する。なお、閾値Ｔｈ_varは、たとえば、多数の例示画像を色に基づいて主観によりクラスタリングした際の全クラスタの中での最大の分散値とする。
手順４：図１２に示すように、手順３で検出したクラスタについて、再び手順２および手順３の処理を行う。
手順５：図１３に示すように、すべてのクラスタの分散が閾値Ｔｈ_var未満となった場合にクラスタリングを終了し、各クラスタについて、所属するデータの各色特徴量（代表色，空間関係および面積の特徴量）の平均値を、そのクラスタが持つ色特徴量とする。

ただし、例示画像によって代表色が異なる場合には、同じ代表色となる例示画像の集合毎にクラスタリングを行う。
また、ｋ−平均法は、初めにクラスタ数を決定しなければならないが、与える例示画像群によって、適切なクラスタ数が異なる。そこで、前述した処理により、クラスタ内の分散値を考慮し、その値が大きいクラスタをさらに分割していくことにより、適切なクラスタ数を決定することが可能となる。

ｋ−平均法の処理手順を以下に示す。
手順１：ランダムに選択したｋ個の点を初期クラスタの重心とする。
手順２：すべてのデータに対して、クラスタの重心との距離を計算し、最も近いクラスタに属させる。
手順３：各クラスタに属するデータの各座標の平均値を新しいクラスタの重心座標とする。
手順４：クラスタの重心座標が収束するまで手順１から手順３の処理を繰り返す。たとえば、各データのクラスタリングの結果が変化しなくなった時点で収束したとする。

形状特徴量クラスタリング部１５は、形状特徴量抽出部１４によって抽出された詳細な形状特徴量について、上述した色特徴量のクラスタリングの手順１から手順５に沿ってクラスタリングを行うことにより、各クラスタの詳細な形状特徴量を抽出する（ステップＳ１７）。このときに用いる閾値Ｔｈ_varは、色特徴量のクラスタリングの際と同様に、たとえば、多数の例示画像を形状に基づいて主観によりクラスタリングした際の全クラスタの中での最大の分散値である０．００１とする。
ここで、詳細な形状特徴量のクラスタリングに用いる閾値Ｔｈ_var（＝０．００１）を色特徴量のクラスタリングに用いる閾値Ｔｈ_var（＝４０）と異なる値とする理由は、クラスタリングに用いる特徴量の次元数と、取る値の範囲が異なるためである。

色特徴量クラスタリング部１３は、抽出した各クラスタの色特徴量をクラスタ特徴量記憶装置２２に格納し、形状特徴量クラスタリング部１５は、抽出した大まかな形状特徴量および抽出した各クラスタの形状特徴量をクラスタ特徴量記憶装置２２に格納する（ステップＳ１８）。これにより、この例示画像における各クラスタ内のデータを代表する特徴量であるクラスタ特徴量を表すクラスタ特徴量データが、クラスタ特徴量記憶装置２２に格納される。

以上の動作が例示画像記憶装置２２に格納されている例示画像データについて行われることにより、工事写真画像から黒板画像を検索するのに使用するかつ多数の例示画像に関するクラスタ特徴量データを格納したデータベースを構築することができる。

以上の説明では、画像の黒板領域を黒線で囲む処理がなされた例示画像データを例示画像記憶装置２１に格納したが、黒板画像を黒線で囲む処理がなされていない例示画像データを例示画像記憶装置２１に格納しておき、画像入力装置２０によって例示画像データを例示画像記憶装置２１から読み出したのちに、読み出した例示画像データによって表される例示画像を表示装置に表示させて、作業員が、表示された例示画像を見ながら、黒板画像中の黒板領域を黒線で囲む処理を行ってもよい。この場合には、作業員によって黒線で囲む処理がなされた黒板領域を含む例示画像を表す例示画像データが、画像入力装置２０からオブジェクト領域抽出部１１に入力される。
また、ｋ−平均法によりクラスタリングを行ったが、単一パス法，重心法およびメディアン法などによりクラスタリングを行ってもよい。

以上説明したように、本発明の画像特徴量抽出システムおよび方法は、たとえば、工事写真画像から黒板画像を検索するのに使用するかつ多数の例示画像に関するクラスタ特徴量データを格納したデータベースを構築するのに利用することができる。

本発明の一実施例による画像特徴量抽出システムを説明するための概略ブロック図である。（実施例１） 図２は、工事写真画像、およびこの工事写真画像から抜き取った例示画像の一例を示す図である。（実施例１） 画像特徴量抽出システム１の動作を説明するためのフローチャートである。（実施例１） オブジェクト領域抽出部１１の動作を説明するための図である。（実施例１） 色特徴量抽出部１２によって代表色を２色まで抽出した結果の一例を示す図である。（実施例１） 色特徴量抽出部１２によって求められた代表色同士の空間関係の特徴量の一例を示す図である。（実施例１） 形状特徴量抽出部１４によって抽出された大まかな形状特徴量の一例を示す図である。（実施例１） 形状特徴量抽出部１４による詳細な形状特徴量の抽出方法を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順１を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順２を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順３を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順４を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順５を説明するための図である。（実施例１）

符号の説明

１ 画像特徴量抽出システム
１１ オブジェクト領域抽出部
１２ 色特徴量抽出部
１３ 色特徴量クラスタリング部
１４ 形状特徴量抽出部
１５ 形状特徴量クラスタリング部
２１ 例示画像記憶装置
２２ クラスタ特徴量記憶装置
Ｓ１１〜Ｓ１８ ステップ

Claims (7)

1. 画像入力装置（２０）から入力される例示画像を表す例示画像データから、前記例示画像に含まれるオブジェクト領域を抽出するオブジェクト領域抽出部（１１）と、
   該オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色特徴量を抽出する色特徴量抽出部（１２）と、
   該色特徴量抽出部によって抽出された前記色特徴量のクラスタリングを行ったのち、各クラスタの色特徴量を抽出する色特徴量クラスタリング部（１３）と、
   前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出する形状特徴量抽出部（１４）と、
   該形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する形状特徴量クラスタリング部（１５）と、
   を具備することを特徴とする、画像特徴量抽出システム。
2. 前記オブジェクト領域抽出部が、前記抽出したオブジェクト領域内の画像を表すオブジェクト画像データを前記色特徴量抽出部に出力し、
   前記色特徴量抽出部が、前記オブジェクト画像データによって表される前記オブジェクト領域内の画像を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量として抽出する、
   ことを特徴とする、請求項１記載の画像特徴量抽出システム。
3. 前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、各代表色に該当する画素数の前記オブジェクト領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出し、
   前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、代表色同士の空間関係の特徴量を抽出する、
   ことを特徴とする、請求項１または２記載の画像特徴量抽出システム。
4. 前記形状特徴量抽出部が、前記オブジェクト領域を含む最小矩形領域の横幅に対する縦幅の割合を算出して、該算出した割合を前記大まかな形状特徴量として抽出し、
   前記形状特徴量抽出部が、前記オブジェクト領域の輪郭となる全画素について接線角度を計算し、前記オブジェクト領域の重心から見て所定の角度毎に該接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを前記詳細な形状特徴量として抽出する、
   ことを特徴とする、請求項１乃至３いずれかに記載の画像特徴量抽出システム。
5. 前記色特徴量クラスタリング部が、前記色相の値の範囲の特徴量について、以下の手順に従って前記色特徴量のクラスタリングを行う、
   手順１：すべての色相の値の範囲のデータを同じクラスタに所属させる
   手順２：分割後のクラスタ数を「２」とするとともに、クラスタの重心座標をクラスタに属するデータの各次元の最小値および最大値として、ｋ−平均法によりクラスタリングする
   手順３：分割後の各クラスタの分散を計算し、その値が閾値以上のクラスタを検出する
   手順４：前記手順３で検出したクラスタについて、再び前記手順２および前記手順３の処理を行う
   手順５：すべてのクラスタの分散が前記閾値未満となった場合にクラスタリングを終了し、各クラスタについて、所属するデータの各色特徴量の平均値を、そのクラスタが持つ色特徴量とする
   ことを特徴とする、請求項２乃至４いずれかに記載の画像特徴量抽出システム。
6. 例示画像に含まれるオブジェクト領域が黒線で囲まれた例示画像データを画像入力装置（２０）から画像特徴量抽出システム（１）に入力するステップと（Ｓ１１）、
   オブジェクト領域抽出部（１１）が、前記例示画像データについて水平方向に画素を走査して黒画素を検出することにより、前記オブジェクト領域を抽出するステップ（Ｓ１２）と、
   色特徴量抽出部（１２）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量を抽出するステップ（Ｓ１３）と、
   形状特徴量抽出部（１４）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を含む最小矩形領域の横幅に対する縦幅の割合を算出して大まかな形状特徴量を抽出するステップ（Ｓ１４）と、
   前記オブジェクト領域の輪郭となる全画素について接線角度を計算し、前記オブジェクト領域の重心から見て所定の角度毎に接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを前記詳細な形状特徴量として抽出するステップ（Ｓ１５）と、
   色特徴量クラスタリング部（１３）が、前記該色特徴量抽出部によって抽出された前記色相の値の範囲の特徴量についてクラスタリングを行ったのち、各クラスタの色特徴量を抽出するステップ（Ｓ１６）と、
   形状特徴量クラスタリング部（１５）が、前記形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出するステップ（Ｓ１７）と、
   を具備することを特徴とする、画像特徴量抽出方法。
7. 前記色特徴量を抽出するステップ（Ｓ１３）が、
   前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、各代表色に該当する画素数の前記オブジェクト領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出するステップと、
   前記色特徴量抽出部が、前記抽出した代表色が複数存在した場合には、代表色同士の空間関係の特徴量を抽出するステップと、
   を含むことを特徴とする、請求項６記載の画像特徴量抽出方法。

Images