JP2005353101A - 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】画像から特徴量を抽出する際の作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにする。
【解決手段】用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する画像特徴抽出方法において、画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、クラスタリングにより得られたクラスタのうち、画像中の予め定められた領域に最も多く出現する色を含むクラスタを画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる画像の領域を前記オブジェクトとして抽出して、抽出されたオブジェクトから特徴量を抽出する。
【選択図】 図１２

Description

本発明は、画像からその特徴を表す特徴量を抽出する画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、画像から画像の特徴を表す特徴量を抽出する際に、人間の類似感覚に即した画像の特徴量を抽出できるようにすると共に、画像から特徴量を抽出する作業の自動化を図った画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

近年、コンピュータ技術や画像処理技術の発達に伴って、大量の電子画像を蓄積して画像データベースを構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索方法である。

画像検索方法の一つとして、各画像に言葉を用いた検索キーを付与し、文書の検索と同様な方法で入力されたキーワードと画像に付された検索キーとを照合し、キーワードに一致する検索キーが付された画像を検索結果として返すというものがある。

ところが、人間が画像から受ける印象は人によって異なるため、画像に付された検索キーがその画像から人間が受ける印象を全て言い表しているとは言えず、従って言葉による検索キーを用いた画像検索では満足な画像を得ることができない場合が多い。なぜなら、画像中に登場する人間，動物，建物等の事物（以下「オブジェクト」と定義する）の形状特徴や位置関係については、適切な言葉で表現することができない場合が多いからである。

そのため、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像（以下「問合せ画像」と記述する）を与え、問合せ画像に類似する画像を画像データベースの中から検索できるようにすることが望ましい。このような検索方法を実現するために、問合せ画像および検索対象の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と検索対象の画像の特徴量との類似性を判定し、問合せ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索方法は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。

このような検索方法を開示するものとして以下の二つの論文がある。第１の論文には、画像そのものを解析し、各画像の特徴量として画像の色（色のヒストグラム），テクスチャ，オブジェクトの形状等を抽出してデータベース化しておき、画像を検索する際に、データベース化した画像の特徴量を指定することによって、指定した特徴量を有する画像を得るという検索方法が開示されている（非特許文献１）。

また、第２の論文には、シリンダー状に分割したＨＳＶの色空間を用いて各画像の色のヒストグラムを生成し、生成した色のヒストグラムを各画像の特徴量として用いることにより、類似する画像を検索する方法が開示されている（非特許文献２）。

Myron Flickner et al, "Query by Image and Video Content: The QBIC System, " Computer, September 1995, pp23-32 John R. Smith and Shih-Fu Chang,"Tools and Techniques for Color Image Retrieval,"SPIE, Vol. 2670, pp426-437

しかしながら、非特許文献１に開示された画像検索方法によれば、様々な画像の特徴量を利用して画像検索を行うことが可能ではあるが、画像から特徴量を抽出し、抽出した特徴量を基に画像間の類似度を判定する場合に、人間が判断する類似度の尺度を十分に網羅しておらず、検索の精度が低いという問題点があった。例えば、オブジェクトの形状特徴として抽出される特徴量にあっては、オブジェクトがどの程度円に近いか（円形度）、オブジェクトがどの方向に扁平しているか（セントラルモーメント）という特徴を表現しているに過ぎない。つまり、抽出した特徴が大まかなものであり、画像中のオブジェクトを見て人間が受け取る細かな印象を的確に表現した画像検索を行うことはできず、検索結果に多くのノイズが含まれる可能性がある。

また、非特許文献１においては、オブジェクトの形状を画像の特徴量として画像検索を行うことが可能であるが、画像からオブジェクトを抽出する際に、ユーザが画像中に存在するオブジェクトのエッジの軌跡を指定する作業を行う必要があり、画像から特徴量を抽出する作業に手間がかかるという問題点もあった。画像中のオブジェクトは人間が画像を見た際に最も注目するものの一つであり、画像中のオブジェクトの形状を画像の特徴量として抽出して画像の検索に利用することにより、人間が画像から得た印象に基づいて高精度な画像検索を行うことが可能となる。ところが、オブジェクトの抽出のために人手を要することになると、大量の画像を蓄積した画像データベースを構築するために大変な労力と時間を要する作業となる。

さらに、非特許文献２においては、画像から色のヒストグラムを画像の特徴量として抽出する際に用いるＨＳＶの色空間を単純にシリンダー状に分割しているため、無駄に分割された領域が発生してデータ量の増大を招いているという問題点があった。具体的に、色空間の分割数が少ないと、互いに類似しない色も類似する色と判定されることから、画像の類似度を判定する際の精度が悪くなるという問題点がある。一方、色空間の分割数が多すぎると、色のヒストグラムのデータ量が多くなりすぎ、画像の類似度を算出する処理に時間を要するという問題点がある。加えて、色空間の分割数が多すぎると、人間が同一または類似と感じる色が非類似と判定されるという問題点がある。この第２の論文に開示された方法は、色空間の分割数が多すぎる場合に該当し、類似度の算出に時間を要するという問題と、人間が感じる色の感覚が十分考慮されていないという問題とを含んでいる。

つまり、従来の技術においては、画像から抽出する特徴量に対し、人間が画像から受ける印象が十分反映されておらず、また、画像から特徴量を抽出する処理に人手を要する等、人間の使いやすさを考えた作業環境が提供されていないといえる。また、従来の技術においては、画像から抽出する特徴について人間が画像から受ける印象が十分考慮されていないため、人間が思うような検索結果を得ることは難しいといえる。換言すれば、従来の技術においては、作業の主体として人間を主眼に置いておらず、ユーザ・フレンドリーな作業環境が提供されていない。なぜなら、作業の利便性を図るためには人手を要することなく画像から特徴量を抽出できるようにすべきであり、抽出した特徴量は人間の類似感覚に即したものであって、人間が与えた検索条件（問合せ画像）に一致または類似する画像を人間の類似感覚で判断できるようにすべきであると考えられるからである。

本発明は上記に鑑みてなされたものであって、画像から画像の特徴を表す特徴量を抽出する際に、画像から特徴量を抽出する作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにすることを目的とする。

また、本発明は上記に鑑みてなされたものであって、人間の類似感覚に即した画像の特徴量を抽出し、人間の類似感覚に即した検索結果を得ることができるようにすることによって、画像検索精度の向上を図ることを目的とする。

上記目的を達成するため、請求項１の画像特徴抽出方法は、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する画像特徴抽出方法において、前記画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、前記クラスタリングにより得られたクラスタのうち、前記画像中の予め定められた領域に最も多く出現する色を含むクラスタを前記画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる前記画像の領域を前記オブジェクトとして抽出し、抽出した前記オブジェクトの特徴を表す特徴量を抽出するものである。

また、請求項２の画像特徴抽出方法は、請求項１に記載の画像特徴抽出方法において、 前記予め定められた領域は、前記画像の左上および右上に該当する領域であるものである。

また、請求項３の画像特徴抽出方法は、請求項１または２に記載の画像特徴抽出方法において、前記抽出したオブジェクトの外形に沿って等間隔でポイントを設定し、隣接するポイント間を結ぶ直線がなす角度の変位を求め、求めた角度の変位を前記抽出したオブジェクトの特徴量とするものである。

さらに、請求項４のコンピュータ読み取り可能な記録媒体は、前記請求項１〜３のいずれか一つに記載の画像特徴抽出方法の各工程をコンピュータに実行させるためのプログラムを記録したものである。

以上説明したように、本発明の画像特徴抽出方法（請求項１）によれば、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する際に、画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、クラスタリングにより得られたクラスタのうち、画像中の予め定められた領域に最も多く出現する色を含むクラスタを画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる画像の領域をオブジェクトとして抽出し、抽出されたオブジェクトの特徴量を抽出することによって、画像から画像の特徴量を抽出する作業の自動化を図ることができる。また、オブジェクト単位で特徴量を抽出することによって、オブジェクト単位の画像検索を行うことが可能となるため、人間の印象に残りやすいと考えられるオブジェクトを検索対象とした精度の高い画像検索処理を実現することができる。

また、本発明の画像特徴抽出方法（請求項２）によれば、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する際に、画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、クラスタリングにより得られたクラスタのうち、画像の左上および右上に該当する領域に最も多く出現する色を含むクラスタを画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる画像の領域をオブジェクトとして抽出するため、画像から背景を極めて容易に除去することができる。したがって、画像からオブジェクトを抽出する処理の容易化を図ることができる。

また、本発明の画像特徴抽出方法（請求項３）によれば、用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する際に、画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、クラスタリングにより得られたクラスタのうち、画像中の予め定められた領域に最も多く出現する色を含むクラスタを画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる画像の領域をオブジェクトとして抽出し、さらに、抽出したオブジェクトの外形に沿って等間隔でポイントを設定し、隣接するポイント間を結ぶ直線がなす角度の変位を求め、求めた角度の変位を前記抽出したオブジェクトの特徴量とすることにより、人間の感覚に即したオブジェクトの特徴量を抽出できると共に、この特徴量を用いることによって人間の感覚に即した高精度のオブジェクト単位の検索処理を実現できる。

さらに、本発明のコンピュータ読み取り可能な記録媒体（請求項４）によれば、請求項１〜８のいずれか一つに記載の画像特徴抽出方法の各工程をコンピュータに実行させるためのプログラムを記録したため、このプログラムをコンピュータで実行することにより、人間の感覚に即した画像の特徴量を抽出できると共に、この特徴量を用いることによって人間の類似感覚に即した高精度の検索結果を得ることができる。

以下に添付図面を参照して、この発明にかかる画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の最良な実施の形態を詳細に説明する。

なお、以下の実施の形態においては、画像検索システムの一機能として本発明の画像特徴抽出方法を説明することにする。

〔実施の形態１〕
図１は、実施の形態１に係る画像特徴抽出方法を実現する画像検索システムのブロック構成図である。図１に示す画像検索システム１００は、パーソナルコンピュータやワークステーションで構成されており、全体を制御するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、問合せ画像，検索実行命令等の入力を行うためのキーボード１０４およびマウス１０５と、例えば検索結果の画像を表示するためのＣＲＴや液晶ディスプレイ等のモニタ１０６と、本発明の画像特徴抽出方法の各工程を実行する機能を有した画像検索ソフト１０７，複数の画像が登録された画像ＤＢ１０８，画像ＤＢ１０８中の画像から抽出した特徴量が登録された画像特徴ＤＢ１０９等を記憶したハードディスク１１０と、画像を入力するためのスキャナやディジタルカメラを接続するためのインターフェイス（Ｉ／Ｆ）１１１と、インターネットやＬＡＮのようなネットワーク１１２に画像検索システム１００を接続するためのネットワーク・アダプタ１１３と、上記各部を接続するバス１１４と、を備えている。

図２は、図１に示した画像検索システム１００において実行される処理を示すブロック図である。処理の詳細な内容については後述するが、図２において、ユーザ・インターフェイス（Ｕ／Ｉ）部１５１は、ユーザに対して画像検索を行うための検索条件入力画面，検索結果表示画面等を表示して、検索条件の入力，検索結果の出力処理等を実行する。特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する画像および問合せ画像から画像の特徴量を抽出する処理を実行する。この特徴抽出エンジン１５２によって実行される処理が本発明の対象となる。さらに、検索エンジン１５３は、問合せ画像から抽出された特徴量と画像特徴ＤＢ１０９に登録された特徴量とを比較し、問合せ画像の特徴に該当する特徴を有する画像を検索する処理を実行する。

なお、図２において、Ｕ／Ｉ部１５１，特徴抽出エンジン１５２および検索エンジン１５３は、図１に示した画像検索ソフト１０７を構成するモジュールを意味している。そして、これら各部による処理は、図１に示したＣＰＵ１０１が画像検索ソフト１０７を実行することによって実現される。

つぎに、前述した構成を有する画像検索システム１００による画像特徴抽出処理について、
（１）画像登録処理および画像検索処理の概略
（２）色特徴抽出処理
の順で説明する。

（１）画像登録処理および画像検索処理の概略
まず、画像登録処理および画像検索処理の概略について説明することにより、例として、本発明に係る画像特徴抽出方法が用いられる場面を説明する。

画像検索システム１００は、複数の画像が登録された画像ＤＢ１０８から問合せ画像に類似する画像を検索する処理を実行する。すなわち、画像同士の類似性に基づいて画像を検索する処理を実行する。ここでの類似性とは、画像から抽出した何らかの特徴量がどの程度類似しているかを意味する。

図３は、画像検索システム１００において実行される画像登録処理の概略を示すフローチャートである。図２に示した特徴抽出エンジン１５２は、Ｕ／Ｉ部１５１を介して登録対象となる画像を入力する（Ｓ１０１）。入力する画像は、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像等、いかなるものであっても良い。そして、特徴抽出エンジン１５２は、入力した画像からその画像の特徴量を抽出する処理を実行する（Ｓ１０２）。このステップＳ１０２において、本発明の画像特徴抽出処理が適用されることになる。なお、抽出される特徴量がいかなるものであるかについては後に詳細に説明する。

その後、特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する元の画像に関連付けて、抽出した特徴量を画像特徴ＤＢ１０９に登録する（Ｓ１０３）。

なお、画像検索の高速化という観点から、画像ＤＢ１０８に登録する画像については、登録時に予め画像の特徴量を抽出して画像特徴ＤＢ１０９に登録しておくことが好ましい。ただし、画像検索時に検索対象の各画像から画像の特徴量を抽出することにする場合には、予め画像の特徴量を抽出しておく必要はない。

図３に示した処理を実行することにより、画像ＤＢ１０８に登録された画像は抽出した特徴量に応じて図４に示す特徴空間にマップされる。また、画像検索時においては、後述するように問合せ画像から画像の特徴量を抽出し、図４に示す特徴空間にマップする。図４に示すポイント（黒点）は、特徴空間にマップされた画像を示し、問合せ画像のポイントと各画像のポイント間の距離が画像の類似度となる。

図５は、画像検索システム１００において実行される画像検索処理の概略を示すフローチャートである。ここでは、検索対象となる画像ＤＢ１０８中の全ての画像の特徴量が画像特徴ＤＢ１０９に登録されているものとする。

図２の特徴抽出エンジン１５２は、Ｕ／Ｉ部１５１を介して問合せ画像を入力し（Ｓ２０１）、図３のステップＳ１０２と同様に、入力した問合せ画像から画像の特徴量を抽出する（Ｓ２０２）。このステップＳ２０２において、本発明の画像特徴抽出処理が適用されることになる。その後、特徴抽出エンジン１５２は、抽出した問合せ画像の特徴量を検索エンジン１５３に渡す（図４の特徴空間にマップする）。

検索エンジン１５３は、図４に示す特徴空間にマップされた問合せ画像のポイントと検索対象の画像のポイントとの間の距離を演算し、問合せ画像と検索対象の画像との類似度を求める（Ｓ２０３）。

ここで、画像の特徴量の多くはベクトルデータであり、類似度であるポイント間の距離の計算には一般にユークリッド距離などのベクトルの距離定義式が利用される。また、画像の特徴量の種類に合わせて独自の距離を定義することもできる。

そして、Ｕ／Ｉ部１５１は、検索エンジン１５３によって求められた類似度を入力し、入力した類似度に基づいて検索結果を表示する（Ｓ２０４）。例えば、Ｕ／Ｉ部１５１は、検索エンジン１５３から入力した類似度に基づいて、検索結果の画像を類似度順に並べたリストを生成し、サムネイル画像と共にモニタ１０６に表示する。

なお、画像ＤＢ１０８中に登録されていると共に、既に画像の特徴量が画像特徴ＤＢ１０９に登録されている画像を問合せ画像として用いる場合については、図５のステップＳ２０２の処理をスキップすることができる。

（２）色特徴抽出処理
続いて、本発明の特徴である画像特徴抽出処理について具体的に説明する。実施の形態１においては、画像を構成する色の特徴（色のヒストグラム）を画像の特徴量として抽出する処理について説明する。

画像同士の類似性を判断する尺度の一つとして、画像を構成する色は重要な特徴量の一つである。様々なオブジェクトが混在するような自然画像の場合には、一つのオブジェクトに着目しにくくなり、オブジェクトの形状の特徴に鈍感になることから、画像を構成する色の重要性は一段と強くなる。画像を構成する色を画像の特徴量として抽出する場合、画像の色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴量とする方法が従来から一般的に用いられている。

従来の方法において、色のヒストグラムのデータを生成するには、適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶなどが一般的）を選択し、選択した色空間を複数の領域に分割する。色空間を分割して得た各領域に対応するヒストグラムの各区分をビンと呼び、画像の全ピクセル（画素）について、ビンに対応する色空間中のいずれの領域に対応するかを調べる。ビン単位のピクセル数は全体のピクセル数により正規化され（これが色のヒストグラムとなる）、画像検索に用いる特徴量として利用される。

ところで、ＬａｂやＬｕｖでは色差が定義されている反面、人間の感覚に適合する尺度は明度（Ｌ）しかないため、彩度や色相に関して人間の感覚に合わせてビンに対応する各領域の大きさを変更するといった調整を行うことは困難である。一方、ＨＳＶは、明度（Ｖ），彩度（Ｓ）および色相（Ｈ）といった人間の感覚に近い色空間であり、ビンに対応する各領域の大きさの調整が容易である。そのため、従来技術に挙げた第２の論文のように、色空間としてＨＳＶを利用する方法（VisualSEEK）が提案されている。この方法における実際のデータ分布は図６に示すように円柱状になり、下部が黒、上部が白となる。

そして、従来の方法においては、図７に示すように、図６に示した円柱状の色空間をちょうどディスクのシリンダとセクタのように分割して色のヒストグラムのビンに対応する各領域を生成している。ところが、図７に示す色空間においては、上下両端に行くほど人間による色の弁別度が低くなり、中心部分と同様の数のビンに対応する領域は不要となる。すなわち、例えば人間には同一の黒に感じられる色も、図７に示す色空間においては異なるビンに対応する領域に分割されてしまい、異なる色として扱われてしまうことになる。加えて、過剰にビンに対応する領域を作成すると、データ量が多くなるだけでなく類似度を算出する速度が低下することになる。

そのため、本発明では、色空間としてＨＳＶの双六角錘モデルを利用することにする。具体的には、例えば図８に示すように円柱の両端を細めて双円錐になる色空間を生成し、生成した色空間を分割する。具体的には、明度一定面において明度軸を中心とした複数の同心円と明度軸からの複数の放射線によって色空間を分割し、さらに複数の明度一定面によって色空間を分割する。この図８に示すように色空間を分割することにより、ビンに対応する各領域が人間の色の感覚に近くなり、最小限の領域数で最適な特徴量を抽出することができる。

そこで、以下に、図８に示したように分割された色空間を用いて色のヒストグラムを生成し、画像の特徴量として抽出する処理について簡単に説明する。

図９は、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。この図９に示す処理は、例えば図３のステップＳ１０２および図５のステップＳ２０２において実行される。また、色空間として図８に示したように分割された色空間が設定されているものとする。

図２の特徴抽出エンジン１５２は、特徴量を抽出する対象となる画像を構成する各ピクセル毎の色を特定し（Ｓ３０１）、特定した色に基づいて、各ピクセルが図８の色空間中のビンに対応するいずれの領域に該当するかを調べ、該当するビンに対応する領域を特定する（Ｓ３０２）。ステップＳ３０２においては、各ビン毎に、対応するピクセル数がカウントされる（画像中の各ピクセルを該当するビンに割り当てる）。

そして、特徴抽出エンジン１５２は、画像中の全てのピクセルについてステップＳ３０１およびＳ３０２の処理を実行したか否かを判定する（Ｓ３０３）。全てのピクセルについて処理が終了していない場合は、ステップＳ３０１に戻って処理を繰返す。一方、全てのピクセルについて処理が終了した場合は、ビン毎のピクセル数を正規化して色のヒストグラムを生成し、生成した色のヒストグラムを画像の特徴量として抽出し（Ｓ３０４）、処理を終了する。

このようにして得た色のヒストグラムを用いて画像検索を行う場合、検索エンジン１５３は、問合せ画像の色のヒストグラムおよび検索対象の画像の色のヒストグラムのうち、対応するビン同士を比較することにより、画像の類似度を求める（図５のステップＳ２０３参照）。この際、図８を用いて説明したように、ビンの数は最小限の数に抑えられているため、類似度を求める際の演算速度の向上を図ることができる。また、各ビンは人間の色の感覚に近いという特徴を有しているため、検索結果として得られる画像は人間の色の感覚に即したものとなる。

このように、実施の形態１の画像特徴抽出方法によれば、色のヒストグラムを画像の特徴量として抽出する際に、人間が有する色の感覚に即した単位のビンに対応する領域に分割された色空間を用いるため、人間の色の感覚に即した色のヒストグラムを画像の特徴量として抽出することが可能となる。したがって、この色のヒストグラムを用いて画像の検索を行うことにより、人間の色の感覚に即した画像の検索処理を実現することが可能となる。また、ビンの数を最小限に抑えているため、色のヒストグラムを用いて画像同士の類似度を求める際の演算速度の向上を図ることができる。

〔実施の形態２〕
つぎに、実施の形態２に係る画像特徴抽出処理について説明する。この実施の形態２においては、実施の形態１と同様に、色のヒストグラムを画像の特徴量として抽出する処理について説明する。なお、画像検索システム１００や画像検索ソフト１０７の構成については、実施の形態１で図１および図２を用いて既に説明した通りであるため、ここではそれらに関する説明を省略する。

色のヒストグラムを用いて画像の検索を行う場合、各画像から抽出した色のヒストグラムについて、特徴空間でのユークリッド距離や以下の数１のようなquadratic form距離を画像間の類似度として用いることができる。

なお、ａijは、ｉ番目のビンとｊ番目のビンの類似度であり、Ｘi ，Ｙi はｉ番目のヒストグラムのビンを示す。

ユークリッド距離の場合にはビン間の色の類似性を無視しているので、赤のみからなる画像とオレンジのみからなる画像との類似性を判断する場合、赤とオレンジが別々のビンに割り振られていると全く異なる画像と判断されてしまう。一方、Quadratic form距離の場合にはビン間の相関を考慮しているため、赤とオレンジは適切に判断される。しかし、quadratic form距離を利用する場合には、ビン間の相関を考慮するため計算時間がかかるという問題点がある。また、画像を構成する色数が少ない場合にも人間の類似性に反した結果となる傾向がある。

そこで、実施の形態２においては、色のヒストグラムを生成する際に、以下の数２に示すようにビン間の類似性を考慮した相関ヒストグラムを生成することにする。なお、数２において、Ｃi はｉ番面の相関ヒストグラムのビンであり、Ｈi は通常のヒストグラムのビンである。

なお、

である。

数３において、ａijはｉ，ｊ番目のビン間の類似度であり、１−ｄ（Ｏi ，Ｏj ）で表わされ、ｄ（Ｏi ，Ｏj ）は、色Ｏi ，Ｏj の色差（色の相違度）を０〜１の値で表し、０のときは同じ色で１のときには全く異なる色を意味する。

こうして得られたヒストグラムに対して高速なユークリッド距離により画像間の類似度を得ることができる。つまり、色のヒストグラムを生成した際に、既にビン間の相関が考慮されているため、類似度を求める際にそのままビン同士を一対一で比較すれば良い。その結果、類似度の演算時にビン間の相関を考慮する必要をなくすことができるため、類似度の演算速度の高速化を図ることができる。加えて、ビン間の相関が考慮された色のヒストグラムを生成できるため、人間の色の感覚に即した検索処理を行うことができる。

さらに、上記数２および数３に基づいて色のヒストグラムを生成する処理について説明する。図１０は、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。この図１０に示す処理は、例えば図３のステップＳ１０２および図５のステップＳ２０２において実行されるものとし、図９と同一のステップについては同一のステップ番号を付して詳細な説明を省略する。また、色空間としては、図８に示したように分割された色空間を用いても良いし、図７のような従来の色空間を用いることにしても良い。

図２の特徴抽出エンジン１５２は、特徴量を抽出する対象となる画像を構成する各ピクセル毎の色を特定し（Ｓ３０１）、特定した色に基づいて、各ピクセルが色空間におけるいずれのビンに該当するかを調べ、該当するビンを特定する（Ｓ３０２：画像中の各ピクセルを該当するビンに割り当てる）。そして、特徴抽出エンジン１５２は、画像中の全てのピクセルについてステップＳ３０１およびＳ３０２の処理を実行したか否かを判定する（Ｓ３０３）。

全てのピクセルについて処理が終了した場合、特徴抽出エンジン１５２は、各ビンに対し、他のビンに割り当てられたピクセル数をビン間の色の類似度に応じてそれぞれ累積する（Ｓ４０１）。このステップＳ４０１の処理については、後に図を用いて説明する。

続いて、特徴抽出エンジン１５２は、全てのビンについてステップＳ４０１の処理を行ったか否かを判定する（Ｓ４０２）。全てのビンについて処理が終了していない場合はステップＳ４０１に戻って処理を繰返す。一方、全てのビンについて処理が終了した場合は、色のヒストグラムを画像の特徴量として抽出し（Ｓ４０３）、処理を終了する。

前述したステップＳ４０１の処理の概略について図１１（ａ）〜図１１（ｃ）を用いて説明する。図１１においては、説明を簡単にするためにビンの数をビンａ〜ビンｅの５個とし、各ビンの高さはビンに割り当てられたピクセル数に対応しているものとする。なお、図１１（ａ）は、ステップＳ４０１の処理を実行する前の各ビンの状態を示しており、ビンｂに該当するピクセルはなかったものとする。

まず、ビンａに対してステップＳ４０１の処理を実行することにする。ただし、ビンａは、ビンｂと類似度Ａで類似しており、また、ビンｃと類似度Ｂで類似しており、他のビンとは類似していないものとする。まず、ビンａに対し、ビンｂに割り当てられたピクセル数のうち、類似度Ａ分累積する処理を実行する。ただし、ビンｂに割り当てられているピクセル数は０であるため、ビンａに累積するピクセルは存在しない。続いて、ビンｃに割り当てられたピクセル数のうち、類似度Ｂ分累積する処理を実行する。図１１（ｂ）は、ビンａに対し、類似度Ｂ分ビンｃのピクセル数を累積した結果を示している。

同様に、ビンｂについてステップＳ４０１の処理を実行することにする。ただし、ビンｂはビンａと類似度Ｃで類似しており、また、ビンｃと類似度Ｄで類似しており、他のビンとは類似していないものとする。まず、ビンｂに対し、ビンａに割り当てられたピクセル数のうち、類似度Ｃ分累積する処理を実行する。続いて、ビンｂに対し、ビンｃに割り当てられたピクセル数のうち、類似度Ｄ分累積する処理を実行する。図１１（ｃ）は、ビンｂに対し、類似度Ｃ分ビンａのピクセル数を累積すると共に、類似度Ｄ分ビンｃのピクセル数を累積した結果を示している。

図１０のステップＳ４０１およびＳ４０２において、全てのビンに対して図１１を用いて説明したような処理が実行される。このようにして生成された色のヒストグラムが、前述した相関ヒストグラムに該当する。

図１１を用いて説明したように、生成された相関ヒストグラムにおいては、該当するピクセルが存在しなかったビンにまで、他のビンとの類似度に応じて他のビンのピクセルが割り当てられることになる。したがって、赤のみからなる画像とオレンジのみからなる画像との類似性を判断する場合において、赤とオレンジが別々のビンに割り振られていても、実施の形態２で説明した相関ヒストグラムを生成することによって２つの画像から類似した形状のヒストグラムを得ることができることになる。よって、単純にビン同士を一対一で比較しても、二つの画像は類似する画像と判断されることになる。

このように、実施の形態２の画像特徴抽出方法によれば、各ビンに対し、他のビンとの類似度に応じて他のビンのピクセル数が累積されることにより、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになるため、人間の色の感覚に即した検索処理を行うことができる。また、色のヒストグラムを生成した際に既にビン間の相関が考慮されていることになるため、画像の類似度を求める際にそのままビン同士を一対一で比較すれば良いことから、類似度の演算速度の高速化を図ることができる。

なお、実施の形態２においては、相関ヒストグラムを生成する際に一旦通常の色のヒストグラムを生成した後に相関ヒストグラムを生成することにしているが、これに代えてつぎのような方法を用いることにより、より精度の高い相関ヒストグラムを生成することが可能である。具体的には、各ビンの代表色を予め設定しておき、画像の各ピクセルの色と全ての代表色との距離に基づいて各ビンのピクセル数をカウントし、相関ヒストグラムを生成するという方法である。つまり、各ビンは以下の数４で示される。

なお、Ｐj は画像のｊ番目のピクセル、Ｒi はｉ番目のビンの代表色である。ｄ（Ｐj ，Ｒi ）は、色Ｐj ，Ｒi の色差（色の相違度）を０〜１の値で表し、０のときは同じ色で１のときには全く異なる色を意味する。

すなわち、この方法では、ビンの代表色を予め設定しておき、各ピクセルの色および各ビンの代表色の類似度を求め、求めた類似度に応じて各ビンに属するピクセルの数をカウントする処理が実行されることになる。したがって、通常の色のヒストグラムを生成することなく、実施の形態２でいう相関ヒストグラムを生成することができる。この方法によれば、ビンの代表色を予め決定しておくことにより、確実に代表色と類似するピクセルをカウントすることができるため、より精度の高い相関ヒストグラムを生成することが可能となる。

〔実施の形態３〕
つぎに、実施の形態３に係る画像特徴抽出方法を説明する。前述した実施の形態１および２においては、画像全体の特徴量を抽出する処理について説明したが、実施の形態３においては、画像中のオブジェクトを抽出し、抽出したオブジェクト単位に特徴量を抽出する処理について説明する。つまり、画像全体から抽出するのではなく、画像中のオブジェクトを抽出してオブジェクト単位で特徴量を抽出することにより、オブジェクト単位の類似度を求めることが可能となり、オブジェクト単位の画像検索を行うことが可能となる。

なお、画像検索システム１００や画像検索ソフト１０７の構成については、実施の形態１で図１および図２を用いて既に説明した通りであるため、ここではオブジェクトの抽出処理を中心に画像特徴抽出処理を説明する。

また、一般の写真画像、即ち、様々なオブジェクトが混在するような画像から特定のオブジェクトのみを抽出することは技術的に極めて困難である。そこで、実施の形態３においては、背景がほぼ単一色である画像を特徴抽出対象の画像とし、単一色の部分を抽出することで背景を除去してオブジェクトを抽出することにする。

続いて、実施の形態３に係る画像特徴抽出方法について具体的に説明する。図１２は、実施の形態３に係る画像特徴抽出方法を示すフローチャートである。この図１２に示す処理は、例えば図３のステップＳ１０２および図５のステップＳ２０２において実行される。

図２の特徴抽出エンジン１５２は、対象となる画像を入力し、最短距離法などの一般的なクラスタリング手法による色空間のクラスタリングにより画像を同一色の領域に分割する（Ｓ５０１：色のクラスタリングによるオブジェクト抽出）。

画像の上部の左右両端の領域は、背景の一部になっている場合が極めて多いと考えられる。そこで、特徴抽出エンジン１５２は、上部左右両端の領域を抽出してその中で最も多く出現するクラスタを背景領域のクラスタとする（Ｓ５０２：背景領域の特定）。

ステップＳ５０２で背景領域を特定した後、特徴抽出エンジン１５２は、背景領域を除去することにより、画像からオブジェクトを分離する（Ｓ５０３：オブジェクトの分離）。

ただし、クラスタは連続する領域とは限らず、図１３（ａ）に示すように背景と認識されたクラスタの一部がオブジェクトの内部に包含されている場合が少なからずある。図１３（ａ）において、０の部分が背景として認識されたクラスタを示している。そこで、このようなオブジェクト内のホールを除去するために以下のような処理を施す。

まず、図１３（ｂ）に示すように、ラベリングによって画像上分離したクラスタを別領域とした後、図１３（ｃ）に示すように、背景と認識されたクラスタ以外のクラスタを統合する。そして、図１３（ｄ）に示すように、ラベリングによりオブジェクトを分離する。

特徴抽出エンジン１５２は、図１３（ａ）〜１３（ｄ）に示した処理を実行した後、複数のオブジェクト領域のうち面積が最大である領域をオブジェクトとして抽出する。図１３（ｄ）において、１で示される部分がオブジェクトに該当する。

ステップＳ５０３で画像からオブジェクトを分離した後、特徴抽出エンジン１５２は、分離したオブジェクトから特徴量を抽出する処理を実行し（Ｓ５０４）、処理を終了する。このステップＳ５０４においては、オブジェクトを対象として、実施の形態１および２で説明した色のヒストグラムを生成したり、また、後述する実施の形態４の方法を用いてオブジェクトから特徴量を抽出する処理が実行される。

このように、実施の形態３に係る画像特徴抽出方法によれば、背景を除去することによって画像からオブジェクトを抽出する処理を実行することにより、画像から画像の特徴量を抽出する作業の自動化を図ることができるため、人間の使いやすい作業環境を提供することができる。また、オブジェクト単位で特徴量を抽出することによって、オブジェクト単位の画像検索を行うことが可能となるため、人間の印象に残りやすいと考えられるオブジェクトを検索対象とした精度の高い画像検索処理を実現することができる。すなわち、実施の形態３に係る画像特徴抽出方法によれば、人間の類似感覚に即した画像の特徴量を人手を介さずに抽出できるという効果を得ることができる。

なお、実施の形態３においては、背景を除去して画像からオブジェクトを分離するという方法を説明したが、これに代えて、オブジェクトのエッジを抽出してオブジェクトを画像から分離するという方法も使用することができる。以下に、この方法について簡単に説明する。ただし、画像の背景はほぼ単一色であり、画像中に存在するオブジェクトは一つであるものとする。

オブジェクトのエッジ抽出には、Ｍａｒｒフィルタのようなエッジフィルタを利用する。抽出したエッジの強度に対して適当なしきい値により２値化する。必ず背景であると判断が可能な領域、例えば図１４で示すように画像の上部左右両端のいずれかの点からエッジの探索を開始し、見つかったエッジを始点としてオブジェクト２００の外形を追跡していくことにより、画像からオブジェクト２００を分離することができる。

〔実施の形態４〕
つぎに、実施の形態４に係る画像特徴抽出方法について説明する。実施の形態４においては、実施の形態３で説明したような、画像からオブジェクトを分離する方法等を用いて分離されたオブジェクトの形状をオブジェクトの特徴量として抽出する方法について説明する。なお、画像検索システム１００や画像検索ソフト１０７の構成については、実施の形態１で図１および図２を用いて既に説明した通りであるため、ここではオブジェクトの形状を特徴量として抽出する処理を中心に説明する。

図１５は、実施の形態４に係る画像特徴抽出処理を示すフローチャートである。この図９に示す処理は、例えば図３のステップＳ１０２および図５のステップＳ２０２において実行される。

図２の特徴抽出エンジン１５２は、ステップＳ６０１において、実施の形態３で説明した方法等を用いて画像からオブジェクトを抽出した後、オブジェクトの形状を特徴量として抽出する処理を実行する。

特徴抽出エンジン１５２は、図１６に示すように、オブジェクト２００の周囲に沿い等間隔で複数のポイントを設定する（Ｓ６０２）。

続いて、特徴抽出エンジン１５２は、隣接するポイント間を結ぶ直線がなす角度ｒ１，ｒ２，・・・を求め、図１７に示すように、オブジェクト２００の周囲長に対する角度ｒ１，ｒ２，・・・の変位をオブジェクト２００の形状を示す特徴量として抽出する（Ｓ６０３）。つまり、隣接するポイント間を結ぶ直線の各度の変位を抽出し、一定数のポイントに正規化した後、全体にプラス方向に移動しマイナスの値をなくしたベクトルを特徴量とする。

画像検索時において、オブジェクトの形状特徴に基づく検索処理が設定された場合、特徴抽出エンジン１５２は、前述した処理によって問合せ画像からオブジェクトの特徴量（形状特徴）を抽出する処理を実行する。そして、検索エンジン１５３は、問合せ画像のオブジェクトの特徴量と検索対象の画像のオブジェクトの特徴量との類似度を求める処理を実行する。具体的に、オブジェクトの形状特徴に基づく特徴量は、前述した通りベクトルデータであるため、図４に示した特徴空間において、ユークリッド距離などのベクトルの距離定義式を利用して問合せ画像のオブジェクトと検索対象の画像のオブジェクトとの特徴量間の距離を求めることになる。その後、Ｕ／Ｉ部１５１は、検索エンジン１５３による処理の結果を検索結果として画面表示する。

このように、実施の形態４の画像特徴抽出方法によれば、図１７に示すように、オブジェクト２００の周囲長に対する角度ｒ１，ｒ２，・・・の変位をオブジェクト２００の形状を示す特徴量として抽出するため、人間の類似感覚により近い特徴量を得ることができる。つまり、オブジェクトのどの部分が出ており、どの部分がへこんでいるのかというような細かな凹凸の特徴まで抽出することができる。したがって、実施の形態４の画像特徴抽出方法で得た特徴量を用いて画像の検索を実行することにより、人間の類似感覚により近い画像を検索結果として得ることができる。

以上説明したように、本発明に係る画像特徴抽出方法は、前述したフローチャートに基づく手順に従って、予め用意されたプログラムをコンピュータで実行することによって実現される。このプログラムは、図１に示した画像検索ソフト１０７や他のアプリケーションプログラムの一部として提供することができると共に、それのみ単独で提供することもできる。また、画像特徴抽出方法を実現するプログラムを前述した各実施の形態毎に作成して提供することもでき、また、任意に組み合わせて作成して提供することもできる。

このプログラムは、ハードディスク，フロッピー（登録商標）ディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。そして、図１８（ａ）に示すように、プログラムは、記録媒体２５０からＣＰＵ１０１（コンピュータ）によって読み出され、ＣＰＵ１０１がプログラムに基づく処理を実行することによって本発明に係る画像特徴抽出方法が実現される。

また、このプログラムは、図１８（ｂ）に示すように、サーバ２５１の記録媒体からインターネットやＬＡＮのようなネットワークを介してダウンロードし、ＣＰＵ１０１に読み込むという形態においても実行可能なものである。また、ネットワークではなく、例えば放送波でプログラムを配信することによってもダウンロードすることができる。

以上のように、本発明にかかる画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、画像検索技術に有用である。

本発明に係る画像特徴抽出方法を実現する画像検索システムのブロック構成図である。 図１に示す画像検索システムにおいて実行される処理を示すブロック図である。 図１に示す画像検索システムにおいて実行される画像登録処理の概略を示すフローチャートである。 本発明に係る画像特徴抽出方法において、抽出した画像の特徴に応じて各画像を特徴空間にマップした様子を示す説明図である。 図１に示す画像検索システムにおいて実行される画像検索処理の概略を示すフローチャートである。 ＨＳＶの色空間を示す説明図である。 従来の色のヒストグラムのビンに対応する各領域を示す説明図である。 本発明の実施の形態１に係る画像特徴抽出方法において使用する色空間およびビンを示す説明図である。 本発明の実施の形態１に係る画像特徴抽出方法において、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。 本発明の実施の形態２に係る画像特徴抽出方法において、色のヒストグラムを画像の特徴量として抽出する処理を示すフローチャートである。 図１０のステップＳ４０１の処理を説明するための説明図である。 本発明の実施の形態３に係る画像特徴抽出方法を示すフローチャートである。 図１２のステップＳ５０３の処理を示す説明図である。 本発明の実施の形態３に係る画像特徴抽出方法において、画像からオブジェクトを分離する処理の変形例を示す説明図である。 本発明の実施の形態４に係る画像特徴抽出処理を示すフローチャートである。 本発明の実施の形態４に係る画像特徴抽出処理を示す説明図である。 本発明の実施の形態４に係る画像特徴抽出処理によって得られたオブジェクトの形状を表す特徴量を示す説明図である。 本発明に係る画像特徴抽出処理を実現するプログラムを記録した記録媒体およびプログラムの配布形態を示す説明図である。

符号の説明

１００ 画像検索システム
１０７ 画像検索ソフト
１０８ 画像ＤＢ
１０９ 画像特徴ＤＢ
１５１ Ｕ／Ｉ部
１５２ 特徴抽出エンジン
１５３ 検索エンジン
２００ オブジェクト

Claims (4)

1. 用意された画像からオブジェクトを抽出し、抽出したオブジェクトからオブジェクトの特徴を表す特徴量を抽出する画像特徴抽出方法において、
   前記画像を構成する画素毎の色を抽出して色空間中にクラスタリングし、前記クラスタリングにより得られたクラスタのうち、前記画像中の予め定められた領域に最も多く出現する色を含むクラスタを前記画像の背景領域のクラスタとして特定し、特定したクラスタ以外のクラスタに属する色からなる前記画像の領域を前記オブジェクトとして抽出し、抽出した前記オブジェクトの特徴を表す特徴量を抽出することを特徴とする画像特徴抽出方法。
2. 前記予め定められた領域は、前記画像の左上および右上に該当する領域であることを特徴とする請求項１に記載の画像特徴抽出方法。
3. 前記抽出したオブジェクトの外形に沿って等間隔でポイントを設定し、隣接するポイント間を結ぶ直線がなす角度の変位を求め、求めた角度の変位を前記抽出したオブジェクトの特徴量とすることを特徴とする請求項１または２に記載の画像特徴抽出方法。
4. 前記請求項１〜３のいずれか一つに記載の画像特徴抽出方法の各工程をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images