JP2002133412A - 画像領域検索方法、システム、そのプログラム、及びコンピュータ読み取り可能な記録媒体 - Google Patents
画像領域検索方法、システム、そのプログラム、及びコンピュータ読み取り可能な記録媒体Info
- Publication number
- JP2002133412A JP2002133412A JP2000327867A JP2000327867A JP2002133412A JP 2002133412 A JP2002133412 A JP 2002133412A JP 2000327867 A JP2000327867 A JP 2000327867A JP 2000327867 A JP2000327867 A JP 2000327867A JP 2002133412 A JP2002133412 A JP 2002133412A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- region
- search
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 画像中の１領域を検索することを可能とする
画像領域検索方法を提供する。 【解決手段】 ユーザ所望の領域である問合わせ画像
（ステップＳ１にて指定）から領域を抽出する際に（ス
テップＳ３）、画像からエッジを抽出し（ステップＳ
４）、画像中のピクセルの色によりクラスタリングし
（ステップＳ５）、抽出したエッジにより得られた領域
とクラスタリングにより得られた領域とに基づいて、領
域分割を行う（ステップＳ６）ことにより画像から領域
を抽出することを可能とし、登録された大量の画像の領
域からユーザの所望する画像内の領域を検索する（ステ
ップＳ９）。
画像領域検索方法を提供する。 【解決手段】 ユーザ所望の領域である問合わせ画像
（ステップＳ１にて指定）から領域を抽出する際に（ス
テップＳ３）、画像からエッジを抽出し（ステップＳ
４）、画像中のピクセルの色によりクラスタリングし
（ステップＳ５）、抽出したエッジにより得られた領域
とクラスタリングにより得られた領域とに基づいて、領
域分割を行う（ステップＳ６）ことにより画像から領域
を抽出することを可能とし、登録された大量の画像の領
域からユーザの所望する画像内の領域を検索する（ステ
ップＳ９）。
Description
【０００１】
【発明の属する技術分野】本発明は、画像領域検索方
法、システム、及びプログラムを記録したコンピュータ
読み取り可能な記録媒体に関し、より詳細には、ユーザ
が所望する画像を大量の画像から探し出すための画像検
索の技術に係る画像領域検索方法、システム、及びプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
に関する。
法、システム、及びプログラムを記録したコンピュータ
読み取り可能な記録媒体に関し、より詳細には、ユーザ
が所望する画像を大量の画像から探し出すための画像検
索の技術に係る画像領域検索方法、システム、及びプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
に関する。
【０００２】
【従来の技術】近年、コンピュータ技術や画像処理技術
の発達に伴って、大量の電子画像を蓄積して画像データ
ベースを構築する試みが盛んに行われている。画像デー
タベースを構築する際に重要となるのは、大量に蓄積し
た画像の中から利用したい画像を簡単に得ることができ
るようにするための画像検索方法である。
の発達に伴って、大量の電子画像を蓄積して画像データ
ベースを構築する試みが盛んに行われている。画像デー
タベースを構築する際に重要となるのは、大量に蓄積し
た画像の中から利用したい画像を簡単に得ることができ
るようにするための画像検索方法である。
【０００３】画像検索方法の１つとして、各画像に言葉
を用いた検索キーを付与し、文書の検索と同様な方法で
入力されたキーワードと画像に付された検索キーとを照
合し、キーワードに一致する検索キーが付された画像を
検索結果として返すというものがある。また、キーワー
ドと言葉による検索キーとを照合することによって画像
を検索するのではなく、検索条件として特定の画像（以
下「問合せ画像」と記述する）を与え、問合せ画像に類
似する画像を画像データベースの中から検索できるよう
にすることが望ましい。このような検索方法を実現する
ために、問合せ画像及び検索対象の画像からそれぞれ画
像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と
検索対象の画像の特徴量との類似性を判定し、問合せ画
像の特徴量と類似する特徴量を有する画像を検索結果と
して返すという方法が提案されている。つまり、この画
像検索方法は、特徴間の類似性を画像自体の類似性と考
えることによって、類似する画像を検索するというもの
である。
を用いた検索キーを付与し、文書の検索と同様な方法で
入力されたキーワードと画像に付された検索キーとを照
合し、キーワードに一致する検索キーが付された画像を
検索結果として返すというものがある。また、キーワー
ドと言葉による検索キーとを照合することによって画像
を検索するのではなく、検索条件として特定の画像（以
下「問合せ画像」と記述する）を与え、問合せ画像に類
似する画像を画像データベースの中から検索できるよう
にすることが望ましい。このような検索方法を実現する
ために、問合せ画像及び検索対象の画像からそれぞれ画
像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と
検索対象の画像の特徴量との類似性を判定し、問合せ画
像の特徴量と類似する特徴量を有する画像を検索結果と
して返すという方法が提案されている。つまり、この画
像検索方法は、特徴間の類似性を画像自体の類似性と考
えることによって、類似する画像を検索するというもの
である。
【０００４】このような検索方法を開示するものとして
以下の二つの論文がある。第１の論文には、画像そのも
のを解析し、各画像の特徴量として画像の色（色のヒス
トグラム），テクスチャ，オブジェクトの形状等を抽出
してデータベース化しておき、画像を検索する際に、デ
ータベース化した画像の特徴量を指定することによっ
て、指定した特徴量を有する画像を得るという検索方法
が開示されている（Myron Flickner et al, "Query by
Image and Video Content: The QBIC System, "Compute
r, September 1995, pp23-32）。また、第２の論文に
は、シリンダー状に分割したＨＳＶの色空間を用いて各
画像の色のヒストグラムを生成し、生成した色のヒスト
グラムを各画像の特徴量として用いることにより、類似
する画像を検索する方法が開示されている（John R. Sm
ith and Shih-Fu Chang,"Tools and Techniques for Co
lor Image Retrieval,"SPIE, Vol. 2670, pp426-43
7）。
以下の二つの論文がある。第１の論文には、画像そのも
のを解析し、各画像の特徴量として画像の色（色のヒス
トグラム），テクスチャ，オブジェクトの形状等を抽出
してデータベース化しておき、画像を検索する際に、デ
ータベース化した画像の特徴量を指定することによっ
て、指定した特徴量を有する画像を得るという検索方法
が開示されている（Myron Flickner et al, "Query by
Image and Video Content: The QBIC System, "Compute
r, September 1995, pp23-32）。また、第２の論文に
は、シリンダー状に分割したＨＳＶの色空間を用いて各
画像の色のヒストグラムを生成し、生成した色のヒスト
グラムを各画像の特徴量として用いることにより、類似
する画像を検索する方法が開示されている（John R. Sm
ith and Shih-Fu Chang,"Tools and Techniques for Co
lor Image Retrieval,"SPIE, Vol. 2670, pp426-43
7）。
【０００５】また、画像の特徴量の抽出に関しては、本
出願人による特開２０００−１８７７３１号公報におい
て、画像から特徴量を抽出する際の作業の自動化を図
り、人手を要することなく人間の類似感覚に即した画像
の特徴量を抽出できるようにした画像特徴抽出方法及び
その方法の各工程をコンピュータに実行させるためのプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体が記載されている。特開２０００−１８７７３１号公
報に記載の発明においては、用意された画像を構成する
画素毎の色に基づいて、各画素が予め複数の領域に分割
された色空間中のいずれの領域に属するかを特定し、各
領域に属する画素の数に基づいて、画像の色のヒストグ
ラムを生成する。生成した色のヒストグラムを画像の特
徴を表す特徴量として抽出する際に、色空間として、人
間が有する色の感覚に即した色空間であり、かつ、人間
が有する色の感覚に即した単位の領域に分割された色空
間を用いている。
出願人による特開２０００−１８７７３１号公報におい
て、画像から特徴量を抽出する際の作業の自動化を図
り、人手を要することなく人間の類似感覚に即した画像
の特徴量を抽出できるようにした画像特徴抽出方法及び
その方法の各工程をコンピュータに実行させるためのプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体が記載されている。特開２０００−１８７７３１号公
報に記載の発明においては、用意された画像を構成する
画素毎の色に基づいて、各画素が予め複数の領域に分割
された色空間中のいずれの領域に属するかを特定し、各
領域に属する画素の数に基づいて、画像の色のヒストグ
ラムを生成する。生成した色のヒストグラムを画像の特
徴を表す特徴量として抽出する際に、色空間として、人
間が有する色の感覚に即した色空間であり、かつ、人間
が有する色の感覚に即した単位の領域に分割された色空
間を用いている。
【０００６】
【発明が解決しようとする課題】しかしながら、上記従
来技術では画像全体を検索する技術に関するものであ
り、ユーザが画像中の一部の物体を検索したい要望があ
った場合には対応できない。
来技術では画像全体を検索する技術に関するものであ
り、ユーザが画像中の一部の物体を検索したい要望があ
った場合には対応できない。
【０００７】本発明は、上述のごとき実情に鑑みてなさ
れたものであり、画像中の１領域を検索することを可能
とする画像領域検索方法、システム、及びプログラムを
記録したコンピュータ読み取り可能な記録媒体を提供す
ることをその目的とする。
れたものであり、画像中の１領域を検索することを可能
とする画像領域検索方法、システム、及びプログラムを
記録したコンピュータ読み取り可能な記録媒体を提供す
ることをその目的とする。
【０００８】
【課題を解決するための手段】請求項１の発明は、登録
された大量の画像からユーザの所望する画像内の領域を
検索する画像領域検索方法であって、ユーザ所望の領域
である問合わせ画像から又は該問合わせ画像及び登録さ
れた画像から領域を抽出する際に、画像からエッジを抽
出し、前記画像を該画像中のピクセルの色によりクラス
タリングし、前記抽出したエッジにより得られた領域と
前記クラスタリングにより得られた領域とに基づいて、
領域分割を行うことにより画像から領域を抽出すること
を可能とすることを特徴としたものである。
された大量の画像からユーザの所望する画像内の領域を
検索する画像領域検索方法であって、ユーザ所望の領域
である問合わせ画像から又は該問合わせ画像及び登録さ
れた画像から領域を抽出する際に、画像からエッジを抽
出し、前記画像を該画像中のピクセルの色によりクラス
タリングし、前記抽出したエッジにより得られた領域と
前記クラスタリングにより得られた領域とに基づいて、
領域分割を行うことにより画像から領域を抽出すること
を可能とすることを特徴としたものである。
【０００９】請求項２の発明は、請求項１の発明におい
て、前記領域分割された複数の領域につき領域間の境界
における色及びエッジの情報に基づいて領域の統合を行
うことにより、前記複数の領域より少ない数の領域を抽
出し、予め定められた回数又は条件だけ前記統合を繰り
返すことによりさらに少ない数の領域を抽出し、各段階
で抽出した領域からなる集合に基づいて画像領域の検索
を行うことを特徴としたものである。
て、前記領域分割された複数の領域につき領域間の境界
における色及びエッジの情報に基づいて領域の統合を行
うことにより、前記複数の領域より少ない数の領域を抽
出し、予め定められた回数又は条件だけ前記統合を繰り
返すことによりさらに少ない数の領域を抽出し、各段階
で抽出した領域からなる集合に基づいて画像領域の検索
を行うことを特徴としたものである。
【００１０】請求項３の発明は、請求項２の発明におい
て、前記統合は、再度前記領域分割を、色の相違度に関
する閾値及びエッジ強度に関する閾値を大きく設定する
ことにより行うことを特徴としたものである。
て、前記統合は、再度前記領域分割を、色の相違度に関
する閾値及びエッジ強度に関する閾値を大きく設定する
ことにより行うことを特徴としたものである。
【００１１】請求項４の発明は、請求項１乃至３のいず
れか１の発明において、抽出された領域間の関係を木構
造で表現することを特徴としたものである。
れか１の発明において、抽出された領域間の関係を木構
造で表現することを特徴としたものである。
【００１２】請求項５の発明は、請求項１乃至４のいず
れか１の発明において、抽出された領域から該領域の特
徴量を算出し、該算出した領域特徴量により前記問合わ
せ画像中の領域を検索することを特徴としたものであ
る。
れか１の発明において、抽出された領域から該領域の特
徴量を算出し、該算出した領域特徴量により前記問合わ
せ画像中の領域を検索することを特徴としたものであ
る。
【００１３】請求項６の発明は、請求項４の発明におい
て、木構造で表現された領域から該領域の特徴量を抽出
し、該抽出した領域特徴量により前記問合わせ画像中の
領域を検索することを特徴としたものである。
て、木構造で表現された領域から該領域の特徴量を抽出
し、該抽出した領域特徴量により前記問合わせ画像中の
領域を検索することを特徴としたものである。
【００１４】請求項７の発明は、請求項６の発明におい
て、前記領域特徴量により検索された領域が同じ木構造
に属する場合に、木構造上での領域間の関係を考慮して
不要な検索領域を検索結果から除去して検索結果を再編
することを特徴としたものである。
て、前記領域特徴量により検索された領域が同じ木構造
に属する場合に、木構造上での領域間の関係を考慮して
不要な検索領域を検索結果から除去して検索結果を再編
することを特徴としたものである。
【００１５】請求項８の発明は、登録された大量の画像
からユーザの所望する画像内の領域を検索する画像領域
検索方法であって、登録されたオリジナルの画像上に検
索結果の領域を縁取りすることで検索結果を示すことを
特徴としたものである。
からユーザの所望する画像内の領域を検索する画像領域
検索方法であって、登録されたオリジナルの画像上に検
索結果の領域を縁取りすることで検索結果を示すことを
特徴としたものである。
【００１６】請求項９の発明は、請求項７の発明におい
て、登録された大量の画像からユーザの所望する画像内
の領域を検索する画像領域検索方法であって、登録され
たオリジナルの画像上に検索結果の領域を縁取りするこ
とで検索結果を示し、木構造上の領域間の関係を考慮し
て検索結果から除去された領域も同時に前記オリジナル
画像上に縁取りすることで検索結果の領域を示すことを
特徴としたものである。
て、登録された大量の画像からユーザの所望する画像内
の領域を検索する画像領域検索方法であって、登録され
たオリジナルの画像上に検索結果の領域を縁取りするこ
とで検索結果を示し、木構造上の領域間の関係を考慮し
て検索結果から除去された領域も同時に前記オリジナル
画像上に縁取りすることで検索結果の領域を示すことを
特徴としたものである。
【００１７】請求項１０の発明は、画像から複数の粗さ
で抽出した領域を木構造で表したデータが大量に登録さ
れたデータベースから、ユーザにより問合わせとして指
定された１つ以上の領域を検索する画像領域検索方法で
あって、該指定された１つ以上の領域である問合わせ領
域集合に対して、各領域と、検索対象となる前記登録さ
れた領域である検索対象領域との類似度を算出し、該算
出した検索対象領域毎の類似度から、前記問合わせ領域
集合と、前記類似度の高い領域を有する検索対象画像と
の類似度を算出し、該算出した検索対象画像毎の類似度
に応じて検索結果を示すことを特徴としたものである。
で抽出した領域を木構造で表したデータが大量に登録さ
れたデータベースから、ユーザにより問合わせとして指
定された１つ以上の領域を検索する画像領域検索方法で
あって、該指定された１つ以上の領域である問合わせ領
域集合に対して、各領域と、検索対象となる前記登録さ
れた領域である検索対象領域との類似度を算出し、該算
出した検索対象領域毎の類似度から、前記問合わせ領域
集合と、前記類似度の高い領域を有する検索対象画像と
の類似度を算出し、該算出した検索対象画像毎の類似度
に応じて検索結果を示すことを特徴としたものである。
【００１８】請求項１１の発明は、請求項１０の発明に
おいて、前記検索対象領域毎の類似度から前記問合わせ
画像に対する検索対象画像毎の類似度を算出する際に、
前記問合わせ画像から抽出した各領域の面積比を算出
し、該面積比を各検索対象領域の類似度の重み付けとす
ることを特徴としたものである。
おいて、前記検索対象領域毎の類似度から前記問合わせ
画像に対する検索対象画像毎の類似度を算出する際に、
前記問合わせ画像から抽出した各領域の面積比を算出
し、該面積比を各検索対象領域の類似度の重み付けとす
ることを特徴としたものである。
【００１９】請求項１２の発明は、請求項１０又は１１
の発明において、前記検索対象領域からユーザ指定の問
合わせ領域を検索する際に、領域の色、テクスチャ、形
状等の特徴を抽出し、該特徴を利用して前記問合わせ領
域と検索対象領域間の類似度を算出することを特徴とし
たものである。
の発明において、前記検索対象領域からユーザ指定の問
合わせ領域を検索する際に、領域の色、テクスチャ、形
状等の特徴を抽出し、該特徴を利用して前記問合わせ領
域と検索対象領域間の類似度を算出することを特徴とし
たものである。
【００２０】請求項１３の発明は、請求項１０乃至１２
のいずれか１の発明において、前記検索対象領域からユ
ーザ指定の問合わせ領域を検索する際に、領域をブロッ
クに分割し、個々のブロックから色の特徴を抽出するこ
とにより、前記領域内の色の分布の特徴を抽出し、該特
徴を利用して前記問合わせ領域と検索対象領域間の類似
度を算出することを特徴としたものである。
のいずれか１の発明において、前記検索対象領域からユ
ーザ指定の問合わせ領域を検索する際に、領域をブロッ
クに分割し、個々のブロックから色の特徴を抽出するこ
とにより、前記領域内の色の分布の特徴を抽出し、該特
徴を利用して前記問合わせ領域と検索対象領域間の類似
度を算出することを特徴としたものである。
【００２１】請求項１４の発明は、請求項１０乃至１３
のいずれか１の発明において、前記検索対象領域からユ
ーザ指定の問合わせ領域を検索する際に、重心等の領域
を代表する点を算出し、該点で画像中の領域の位置を表
し、該位置を利用して前記問合わせ領域集合と検索対象
画像との類似度を算出することを特徴としたものであ
る。
のいずれか１の発明において、前記検索対象領域からユ
ーザ指定の問合わせ領域を検索する際に、重心等の領域
を代表する点を算出し、該点で画像中の領域の位置を表
し、該位置を利用して前記問合わせ領域集合と検索対象
画像との類似度を算出することを特徴としたものであ
る。
【００２２】請求項１５の発明は、請求項１０乃至１４
のいずれか１の発明において、重心等の領域を代表する
点を算出し、該点を用いて画像内の領域間の位置関係を
抽出し、該位置関係を利用して領域集合間の位置関係の
類似度を算出することを特徴としたものである。
のいずれか１の発明において、重心等の領域を代表する
点を算出し、該点を用いて画像内の領域間の位置関係を
抽出し、該位置関係を利用して領域集合間の位置関係の
類似度を算出することを特徴としたものである。
【００２３】請求項１６の発明は、請求項４，６，７，
９のいずれか１の発明において、前記登録された大量の
画像は、前記抽出し或いは前記各段階で抽出し木構造で
表した複数の領域を有し、当該画像領域検索方法は、該
複数の領域から、ユーザにより問合わせとして指定され
た１つ以上の領域である問合わせ領域集合に対して、各
領域と、検索対象となる前記登録された領域である検索
対象領域との類似度を算出し、該算出した検索対象領域
毎の類似度から、前記問合わせ領域集合と、前記類似度
の高い領域を有する検索対象画像との類似度を算出し、
該算出した検索対象画像毎の類似度に応じて検索結果を
示すことを特徴としたものである。
９のいずれか１の発明において、前記登録された大量の
画像は、前記抽出し或いは前記各段階で抽出し木構造で
表した複数の領域を有し、当該画像領域検索方法は、該
複数の領域から、ユーザにより問合わせとして指定され
た１つ以上の領域である問合わせ領域集合に対して、各
領域と、検索対象となる前記登録された領域である検索
対象領域との類似度を算出し、該算出した検索対象領域
毎の類似度から、前記問合わせ領域集合と、前記類似度
の高い領域を有する検索対象画像との類似度を算出し、
該算出した検索対象画像毎の類似度に応じて検索結果を
示すことを特徴としたものである。
【００２４】請求項１７の発明は、請求項１乃至１６の
いずれか１の画像領域検索方法を実現させるための手段
を有することを特徴とする画像領域検索システムであ
る。
いずれか１の画像領域検索方法を実現させるための手段
を有することを特徴とする画像領域検索システムであ
る。
【００２５】請求項１８，１９の発明は、請求項１乃至
１６のいずれか１の画像領域検索方法を実行させるため
のプログラム、及びそのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体である。
１６のいずれか１の画像領域検索方法を実行させるため
のプログラム、及びそのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体である。
【００２６】
【発明の実施の形態】図１は、本発明の一実施形態に係
る画像領域検索システムの構成の一例を示すブロック図
で、図中、１はパーソナルコンピュータやワークステー
ションで構成された画像領域検索システム、２は画像領
域検索システム１と接続されたデジタルカメラ，スキャ
ナ等の周辺機器、３は画像領域検索システム１と接続さ
れたネットワークである。画像領域検索システム１は、
全体を制御するＣＰＵ１１と、ブートプログラム等を記
憶したＲＯＭ１２と、ＣＰＵ１１のワークエリアとして
使用されるＲＡＭ１３と、問合せ画像領域，検索実行命
令等の入力を行うためのキーボード１４及びマウス１５
等の入力装置と、例えば検索結果の画像を表示するため
のＣＲＴや液晶ディスプレイ等のモニタ（表示装置）１
６と、入力装置により入力された画像領域を検索するた
めの画像領域検索ソフト２１，画像領域データベース
（ＤＢ）２２，領域特徴ＤＢ２３等を記憶したハードデ
ィスク１７と、周辺機器２とのインタフェースであるペ
リフェラルＩ／Ｆ１８と、ネットワーク３とのインタフ
ェースであるＩ／Ｆ１９と、上記各部を接続するバス２
０とを有し、キーボード１４及びマウス１５等の入力装
置から入力された画像等のデータに類似した領域を、Ｒ
ＯＭ１２，ハードディスク１７，又はネットワーク３上
の記憶装置に保管されたデータベースから検索するよう
にしている。なお、本実施形態においては、ハードディ
スク１７にデータベースを登録したものを例に説明す
る。また、画像領域検索ソフト２１は本発明の画像特徴
検索方法の各工程を実行する機能、及びユーザに対して
画像検索を行うための検索条件入力画面，検索結果表示
画面等を表示して、検索条件の入力，検索結果の出力処
理等を実行するユーザ・インタフェース（Ｕ／Ｉ）を有
し、画像領域ＤＢ２２には複数の画像領域が登録され、
領域特徴ＤＢ２３には画像領域ＤＢ２２中の画像領域か
ら抽出した特徴量が登録されているものとする。なお、
ＤＢ２２及びＤＢ２３を１つのデータベースとしてもよ
い。
る画像領域検索システムの構成の一例を示すブロック図
で、図中、１はパーソナルコンピュータやワークステー
ションで構成された画像領域検索システム、２は画像領
域検索システム１と接続されたデジタルカメラ，スキャ
ナ等の周辺機器、３は画像領域検索システム１と接続さ
れたネットワークである。画像領域検索システム１は、
全体を制御するＣＰＵ１１と、ブートプログラム等を記
憶したＲＯＭ１２と、ＣＰＵ１１のワークエリアとして
使用されるＲＡＭ１３と、問合せ画像領域，検索実行命
令等の入力を行うためのキーボード１４及びマウス１５
等の入力装置と、例えば検索結果の画像を表示するため
のＣＲＴや液晶ディスプレイ等のモニタ（表示装置）１
６と、入力装置により入力された画像領域を検索するた
めの画像領域検索ソフト２１，画像領域データベース
（ＤＢ）２２，領域特徴ＤＢ２３等を記憶したハードデ
ィスク１７と、周辺機器２とのインタフェースであるペ
リフェラルＩ／Ｆ１８と、ネットワーク３とのインタフ
ェースであるＩ／Ｆ１９と、上記各部を接続するバス２
０とを有し、キーボード１４及びマウス１５等の入力装
置から入力された画像等のデータに類似した領域を、Ｒ
ＯＭ１２，ハードディスク１７，又はネットワーク３上
の記憶装置に保管されたデータベースから検索するよう
にしている。なお、本実施形態においては、ハードディ
スク１７にデータベースを登録したものを例に説明す
る。また、画像領域検索ソフト２１は本発明の画像特徴
検索方法の各工程を実行する機能、及びユーザに対して
画像検索を行うための検索条件入力画面，検索結果表示
画面等を表示して、検索条件の入力，検索結果の出力処
理等を実行するユーザ・インタフェース（Ｕ／Ｉ）を有
し、画像領域ＤＢ２２には複数の画像領域が登録され、
領域特徴ＤＢ２３には画像領域ＤＢ２２中の画像領域か
ら抽出した特徴量が登録されているものとする。なお、
ＤＢ２２及びＤＢ２３を１つのデータベースとしてもよ
い。
【００２７】図２は、本発明の一実施形態に係る画像領
域検索システムの構成の他の例を示すブロック図で、図
中、１1，１1'はクライアントＰＣ、１2はクライアント
ＰＣ１1，１1'とネットワーク３を介して接続されたサ
ーバである。この例では、図１を用いて説明した例と基
本的な機能は同じであるが、クライアントＰＣ１1，
１1'側の領域検索ソフト２１，２１'においてサーバ１2
に登録された画像領域ＤＢ２２，領域特徴ＤＢ２３から
問合わせを行うようになっている。
域検索システムの構成の他の例を示すブロック図で、図
中、１1，１1'はクライアントＰＣ、１2はクライアント
ＰＣ１1，１1'とネットワーク３を介して接続されたサ
ーバである。この例では、図１を用いて説明した例と基
本的な機能は同じであるが、クライアントＰＣ１1，
１1'側の領域検索ソフト２１，２１'においてサーバ１2
に登録された画像領域ＤＢ２２，領域特徴ＤＢ２３から
問合わせを行うようになっている。
【００２８】本実施形態においては、以下のごとき領域
抽出方法を用いて画像領域の検索を行うようにしてい
る。画像を構成する領域単位に検索を可能とするために
は、画像から領域を自動的に抽出する必要がある。画像
から領域を抽出する方法として、色のクラスタリングに
よる手法では、画像中の局所的な変化が取れない場合、
すなわち変化の幅は少ないが急激に変化している場合が
ある。一方、エッジを抽出して領域分割を行う手法で
は、マクロ的な変化を取れない場合、すなわち変化の幅
は大きいが徐々に変化している場合がある。そこで、両
者の方法を組合わせることで問題点を回避する。その手
順を以下に述べる。
抽出方法を用いて画像領域の検索を行うようにしてい
る。画像を構成する領域単位に検索を可能とするために
は、画像から領域を自動的に抽出する必要がある。画像
から領域を抽出する方法として、色のクラスタリングに
よる手法では、画像中の局所的な変化が取れない場合、
すなわち変化の幅は少ないが急激に変化している場合が
ある。一方、エッジを抽出して領域分割を行う手法で
は、マクロ的な変化を取れない場合、すなわち変化の幅
は大きいが徐々に変化している場合がある。そこで、両
者の方法を組合わせることで問題点を回避する。その手
順を以下に述べる。
【００２９】図３は、本発明の一実施形態に係る画像領
域検索方法を説明するためのフロー図である。本実施形
態の画像領域検索方法は、登録された大量の画像からユ
ーザの所望する画像内の領域を検索する（ステップＳ
９）画像領域検索方法であって、ユーザ所望の領域であ
る問合わせ画像（ステップＳ１にて指定）から又は該問
合わせ画像及び登録された画像から領域を抽出する際に
（ステップＳ３／Ｓ８）、画像からエッジを抽出し（ス
テップＳ４）、前記画像を該画像中のピクセルの色によ
りクラスタリングし（ステップＳ５）、前記抽出したエ
ッジにより得られた領域と前記クラスタリングにより得
られた領域とに基づいて、領域分割を行う（ステップＳ
６／Ｓ８）ことにより画像から領域を抽出することを可
能としたものである。本実施形態によれば、画像中の領
域をより正確に抽出することが可能となり、ユーザの所
望する領域を適切に検索することが可能となる。
域検索方法を説明するためのフロー図である。本実施形
態の画像領域検索方法は、登録された大量の画像からユ
ーザの所望する画像内の領域を検索する（ステップＳ
９）画像領域検索方法であって、ユーザ所望の領域であ
る問合わせ画像（ステップＳ１にて指定）から又は該問
合わせ画像及び登録された画像から領域を抽出する際に
（ステップＳ３／Ｓ８）、画像からエッジを抽出し（ス
テップＳ４）、前記画像を該画像中のピクセルの色によ
りクラスタリングし（ステップＳ５）、前記抽出したエ
ッジにより得られた領域と前記クラスタリングにより得
られた領域とに基づいて、領域分割を行う（ステップＳ
６／Ｓ８）ことにより画像から領域を抽出することを可
能としたものである。本実施形態によれば、画像中の領
域をより正確に抽出することが可能となり、ユーザの所
望する領域を適切に検索することが可能となる。
【００３０】実際には、登録された大量の画像からユー
ザが問合わせ画像を指定し（ステップＳ１）、該問合わ
せ画像が１つの領域のみ指定しているのであれば（ステ
ップＳ２にて判断）、ステップＳ７へ進む。複数の領域
が指定されていれば、問合わせ画像から領域の抽出を開
始する（ステップＳ３）。この抽出とは、まず、画像か
らエッジを抽出し（ステップＳ４）、前記画像を該画像
中のピクセルの色によりクラスタリングし（ステップＳ
５）、前記抽出したエッジにより得られた領域と前記ク
ラスタリングにより得られた領域とに基づいて、領域分
割を行う（ステップＳ６）。登録画像が既に領域抽出さ
れているものであれば、その登録画像からステップＳ６
で分割した各領域を検索して（ステップＳ９）、結果を
ユーザに示す。登録画像が既に領域抽出されていなけれ
ば、その登録画像からステップＳ４〜Ｓ６と同様に領域
を抽出して（ステップＳ８）、それらの領域からステッ
プＳ６で分割した各領域を検索して（ステップＳ９）、
結果をユーザに示す。なお、フロー図として、登録画像
が既に領域抽出されているものかを判断するステップ
は、説明の便宜上記載したもので、実際には、領域抽出
されたものをデータベースに保存するのか、或いは検索
の段階で抽出するのか（計算上、前者の方がよい）は、
システムの設計段階で決まっていることが多い。これ
は、後述する各実施形態に共通する。
ザが問合わせ画像を指定し（ステップＳ１）、該問合わ
せ画像が１つの領域のみ指定しているのであれば（ステ
ップＳ２にて判断）、ステップＳ７へ進む。複数の領域
が指定されていれば、問合わせ画像から領域の抽出を開
始する（ステップＳ３）。この抽出とは、まず、画像か
らエッジを抽出し（ステップＳ４）、前記画像を該画像
中のピクセルの色によりクラスタリングし（ステップＳ
５）、前記抽出したエッジにより得られた領域と前記ク
ラスタリングにより得られた領域とに基づいて、領域分
割を行う（ステップＳ６）。登録画像が既に領域抽出さ
れているものであれば、その登録画像からステップＳ６
で分割した各領域を検索して（ステップＳ９）、結果を
ユーザに示す。登録画像が既に領域抽出されていなけれ
ば、その登録画像からステップＳ４〜Ｓ６と同様に領域
を抽出して（ステップＳ８）、それらの領域からステッ
プＳ６で分割した各領域を検索して（ステップＳ９）、
結果をユーザに示す。なお、フロー図として、登録画像
が既に領域抽出されているものかを判断するステップ
は、説明の便宜上記載したもので、実際には、領域抽出
されたものをデータベースに保存するのか、或いは検索
の段階で抽出するのか（計算上、前者の方がよい）は、
システムの設計段階で決まっていることが多い。これ
は、後述する各実施形態に共通する。
【００３１】図４は、図３の検索方法における画像領域
分割方法を詳細に説明するためのフロー図、図５乃至図
８は、図４の画像領域分割方法を説明するための画像の
例を示す図で、図５は画像サイズを正規化した図、図６
はクラスタリングにより分割された画像を示す図、図７
は領域の境界上のエッジ強度を示す図、図８は図７のエ
ッジ強度に従って統合した画像領域の例を示す図であ
る。
分割方法を詳細に説明するためのフロー図、図５乃至図
８は、図４の画像領域分割方法を説明するための画像の
例を示す図で、図５は画像サイズを正規化した図、図６
はクラスタリングにより分割された画像を示す図、図７
は領域の境界上のエッジ強度を示す図、図８は図７のエ
ッジ強度に従って統合した画像領域の例を示す図であ
る。
【００３２】エッジ画像を抽出するには、まず、画像サ
イズの正規化（例えば、１００×１００）を行う（ステ
ップＳ１１；図５を参照）。次に、細かなエッジを抽出
しないようにするために、単純平滑化法による平滑化を
行う（ステップＳ１２）。その後、ｓｏｂｅｌオペレー
タなどの一般的なエッジ抽出法によりエッジ抽出を行う
（ステップＳ１３）。ステップＳ１５以降に示す色のク
ラスタリングの境界線とのずれを吸収するために、単純
平滑化法により抽出したエッジ画像の平滑化を行う（ス
テップＳ１４）。
イズの正規化（例えば、１００×１００）を行う（ステ
ップＳ１１；図５を参照）。次に、細かなエッジを抽出
しないようにするために、単純平滑化法による平滑化を
行う（ステップＳ１２）。その後、ｓｏｂｅｌオペレー
タなどの一般的なエッジ抽出法によりエッジ抽出を行う
（ステップＳ１３）。ステップＳ１５以降に示す色のク
ラスタリングの境界線とのずれを吸収するために、単純
平滑化法により抽出したエッジ画像の平滑化を行う（ス
テップＳ１４）。
【００３３】次に、色によるクラスタリングで基本的な
領域を生成し、上記エッジ画像で領域を統合する。ま
ず、画像サイズの正規化（例えば１００×１００）を行
う（ステップＳ１５）。次に色によるクラスタリングを
行い（ステップＳ１６）、クラスタリングされた領域を
ラベリングすることにより基本的な領域が生成される
（ステップＳ１７；図６を参照）。これら領域をエッジ
画像（図７を参照）により統合する（ステップＳ１８，
Ｓ１９；図８を参照）。すなわち、生成された任意の二
つの領域の境界上にエッジがないものを検索し（ステッ
プＳ１８）、エッジがない場合にはセグメントを統合す
る（ステップＳ１９）。なお、エッジの抽出及び色のク
ラスタリングに関しては、それぞれ事前に閾値を設定し
ておく必要がある。
領域を生成し、上記エッジ画像で領域を統合する。ま
ず、画像サイズの正規化（例えば１００×１００）を行
う（ステップＳ１５）。次に色によるクラスタリングを
行い（ステップＳ１６）、クラスタリングされた領域を
ラベリングすることにより基本的な領域が生成される
（ステップＳ１７；図６を参照）。これら領域をエッジ
画像（図７を参照）により統合する（ステップＳ１８，
Ｓ１９；図８を参照）。すなわち、生成された任意の二
つの領域の境界上にエッジがないものを検索し（ステッ
プＳ１８）、エッジがない場合にはセグメントを統合す
る（ステップＳ１９）。なお、エッジの抽出及び色のク
ラスタリングに関しては、それぞれ事前に閾値を設定し
ておく必要がある。
【００３４】図９及び図１０は、本発明の他の実施形態
に係る画像領域検索方法を説明するためのフロー図であ
る。本発明の他の実施形態の画像領域検索方法は、図３
で説明した実施形態において、ステップＳ６／Ｓ８で前
記領域分割された複数の領域につき領域間の境界におけ
る色及びエッジの情報に基づいて領域の統合を行うこと
により（ステップＳ２１）、前記複数の領域より少ない
数の領域を抽出し、予め定められた回数又は条件だけ前
記統合を繰り返すことにより（ステップＳ２２において
判断）さらに少ない数の領域を抽出し、各段階で抽出し
た領域からなる集合に基づいて画像領域の検索（ステッ
プＳ９）を行うようにしたものである。
に係る画像領域検索方法を説明するためのフロー図であ
る。本発明の他の実施形態の画像領域検索方法は、図３
で説明した実施形態において、ステップＳ６／Ｓ８で前
記領域分割された複数の領域につき領域間の境界におけ
る色及びエッジの情報に基づいて領域の統合を行うこと
により（ステップＳ２１）、前記複数の領域より少ない
数の領域を抽出し、予め定められた回数又は条件だけ前
記統合を繰り返すことにより（ステップＳ２２において
判断）さらに少ない数の領域を抽出し、各段階で抽出し
た領域からなる集合に基づいて画像領域の検索（ステッ
プＳ９）を行うようにしたものである。
【００３５】ここで、本実施形態において、前記統合
は、再度前記領域分割を、色の相違度に関する閾値及び
エッジ強度に関する閾値を大きく設定することにより行
う（図１０のステップＳ２３，Ｓ２４）ようにしてもよ
い。本実施形態によれば、領域を統合することにより、
ユーザの所望する領域に近い領域として抽出することが
可能となり検索の精度を向上させることができる。
は、再度前記領域分割を、色の相違度に関する閾値及び
エッジ強度に関する閾値を大きく設定することにより行
う（図１０のステップＳ２３，Ｓ２４）ようにしてもよ
い。本実施形態によれば、領域を統合することにより、
ユーザの所望する領域に近い領域として抽出することが
可能となり検索の精度を向上させることができる。
【００３６】図１１は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態の画像領域検索方法は、図３で説明し
た実施形態において、ステップＳ８で抽出された領域間
の関係を木構造で表現する（ステップＳ２５）ようにし
たものである。本実施形態によれば、領域の関係を木構
造として表すことにより、多様な領域の切出しの結果、
及び、その領域間の関係も保持することができ、ユーザ
の多様な検索要求に答えることが可能となる。なお、ス
テップＳ２５は、問合わせ領域及び登録画像領域それぞ
れの領域に対して実行されるが、図３におけるステップ
Ｓ６で問合わせ画像の領域を抽出する毎に、或いは繰り
返して統合した後に、その領域に対して実行してもよ
い。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態の画像領域検索方法は、図３で説明し
た実施形態において、ステップＳ８で抽出された領域間
の関係を木構造で表現する（ステップＳ２５）ようにし
たものである。本実施形態によれば、領域の関係を木構
造として表すことにより、多様な領域の切出しの結果、
及び、その領域間の関係も保持することができ、ユーザ
の多様な検索要求に答えることが可能となる。なお、ス
テップＳ２５は、問合わせ領域及び登録画像領域それぞ
れの領域に対して実行されるが、図３におけるステップ
Ｓ６で問合わせ画像の領域を抽出する毎に、或いは繰り
返して統合した後に、その領域に対して実行してもよ
い。
【００３７】図１２は、図９乃至図１１の検索方法にお
ける画像領域統合・木構造表示方法を説明するためのフ
ロー図、図１３及び図１４はその検索方法により図７の
エッジ強度に従って統合した画像領域の例を示す図、図
１５は画像領域の木構造表示の例を示す図である。本実
施形態においては、領域分割処理により生成された領域
３１（図８）を統合した領域を利用して検索を行うよう
にしている。まず上記処理により最も小さい領域に分割
されたことになる（ステップＳ３１；図４のステップＳ
１１〜Ｓ１９を参照）。これらの領域を統合する。事前
に統合する処理の色とエッジの閾値を設定し、また、領
域の併合関係を示す木構造を生成するために、現時点で
抽出した領域を木構造のリーフノードに設定する（ステ
ップＳ３２）。実際には、隣接する領域間の色の相違度
が閾値より小さい、かつ、領域の境界エッジの強度が閾
値より小さい場合には、当該隣接領域を併合する（ステ
ップＳ３３）。これを全ての領域について行う。その
後、生成された領域を１レベル上位の木構造に設定する
（ステップＳ３４）。
ける画像領域統合・木構造表示方法を説明するためのフ
ロー図、図１３及び図１４はその検索方法により図７の
エッジ強度に従って統合した画像領域の例を示す図、図
１５は画像領域の木構造表示の例を示す図である。本実
施形態においては、領域分割処理により生成された領域
３１（図８）を統合した領域を利用して検索を行うよう
にしている。まず上記処理により最も小さい領域に分割
されたことになる（ステップＳ３１；図４のステップＳ
１１〜Ｓ１９を参照）。これらの領域を統合する。事前
に統合する処理の色とエッジの閾値を設定し、また、領
域の併合関係を示す木構造を生成するために、現時点で
抽出した領域を木構造のリーフノードに設定する（ステ
ップＳ３２）。実際には、隣接する領域間の色の相違度
が閾値より小さい、かつ、領域の境界エッジの強度が閾
値より小さい場合には、当該隣接領域を併合する（ステ
ップＳ３３）。これを全ての領域について行う。その
後、生成された領域を１レベル上位の木構造に設定する
（ステップＳ３４）。
【００３８】閾値を順次変えた上で上記処理を数回行う
ことで領域を統合することができ（図８，図１３，図１
４を参照）、かつ、木構造（図１５を参照）を生成する
ことができる。なお、この領域の関係を示す木構造であ
る領域木のルートノードには画像全体を対応付ける。ま
た図１５においては、図８，図１３，図１４で示した画
像３１，３２，３３を各ノードに対応付けた木構造を生
成した例を示している。
ことで領域を統合することができ（図８，図１３，図１
４を参照）、かつ、木構造（図１５を参照）を生成する
ことができる。なお、この領域の関係を示す木構造であ
る領域木のルートノードには画像全体を対応付ける。ま
た図１５においては、図８，図１３，図１４で示した画
像３１，３２，３３を各ノードに対応付けた木構造を生
成した例を示している。
【００３９】図１６は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態に係る画像領域検索方法は、図３で説
明した実施形態において、ステップＳ８で抽出された領
域から該領域の特徴量を算出し（ステップＳ４１）、該
算出した領域特徴量により前記問合わせ画像中の領域を
検索する（ステップＳ９）ようにしたものである。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態に係る画像領域検索方法は、図３で説
明した実施形態において、ステップＳ８で抽出された領
域から該領域の特徴量を算出し（ステップＳ４１）、該
算出した領域特徴量により前記問合わせ画像中の領域を
検索する（ステップＳ９）ようにしたものである。
【００４０】本実施形態においては、領域の検索に関
し、領域から特徴抽出された特徴量に基づいて行うよう
にする。色に関しては色のヒストグラム、テクスチャに
関しては同時生起行列からの統計量、形状に関してはセ
ントラルモーメントの特徴、曲率に関しては外形の屈曲
特徴、といった特徴量を各領域から抽出する。なお、元
々の問合わせ画像からは形状、曲率は抽出しない。これ
は画像の矩形から形状や曲率を抽出しても検索時に有効
な特徴とは言えないからである。また、特徴量の具体的
な抽出方法は、上述の特開２０００−１８７７３１号公
報に記載の通りである。本実施形態によれば、個々の領
域から特徴量を抽出することにより、領域単位の検索が
可能となる。
し、領域から特徴抽出された特徴量に基づいて行うよう
にする。色に関しては色のヒストグラム、テクスチャに
関しては同時生起行列からの統計量、形状に関してはセ
ントラルモーメントの特徴、曲率に関しては外形の屈曲
特徴、といった特徴量を各領域から抽出する。なお、元
々の問合わせ画像からは形状、曲率は抽出しない。これ
は画像の矩形から形状や曲率を抽出しても検索時に有効
な特徴とは言えないからである。また、特徴量の具体的
な抽出方法は、上述の特開２０００−１８７７３１号公
報に記載の通りである。本実施形態によれば、個々の領
域から特徴量を抽出することにより、領域単位の検索が
可能となる。
【００４１】図１７は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態に係る画像領域検索方法は、図１１で
説明した実施形態において、木構造で表現された領域
（ステップＳ２５）から該領域の特徴量を算出し（ステ
ップＳ４２）、該算出した領域特徴量により前記問合わ
せ画像中の領域を検索する（ステップＳ９）ようにすれ
ばよい。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態に係る画像領域検索方法は、図１１で
説明した実施形態において、木構造で表現された領域
（ステップＳ２５）から該領域の特徴量を算出し（ステ
ップＳ４２）、該算出した領域特徴量により前記問合わ
せ画像中の領域を検索する（ステップＳ９）ようにすれ
ばよい。
【００４２】すなわち、本実施形態においては、領域の
検索に関し、領域から特徴抽出された特徴量に基づいて
行うようにする。色に関しては色のヒストグラム、テク
スチャに関しては同時生起行列からの統計量、形状に関
してはセントラルモーメントの特徴、曲率に関しては外
形の屈曲特徴、といった特徴量を、領域木の各領域から
抽出する。なお、ルートノードに対応する全体画像から
は形状、曲率は抽出しない。これは画像の矩形から形状
や曲率を抽出しても検索時に有効な特徴とは言えないか
らである。また、特徴量の具体的な抽出方法は、上述の
特開２０００−１８７７３１号公報に記載の通りであ
る。本実施形態によれば、個々の領域から特徴量を抽出
することにより、木表現された領域単位の検索が可能と
なる。
検索に関し、領域から特徴抽出された特徴量に基づいて
行うようにする。色に関しては色のヒストグラム、テク
スチャに関しては同時生起行列からの統計量、形状に関
してはセントラルモーメントの特徴、曲率に関しては外
形の屈曲特徴、といった特徴量を、領域木の各領域から
抽出する。なお、ルートノードに対応する全体画像から
は形状、曲率は抽出しない。これは画像の矩形から形状
や曲率を抽出しても検索時に有効な特徴とは言えないか
らである。また、特徴量の具体的な抽出方法は、上述の
特開２０００−１８７７３１号公報に記載の通りであ
る。本実施形態によれば、個々の領域から特徴量を抽出
することにより、木表現された領域単位の検索が可能と
なる。
【００４３】上述の方法により画像から領域及び領域木
を抽出し、データベース（図１又は図２を参照）に登録
（蓄積）する。画像の領域を検索する場合に、問合わせ
として検索したい画像領域の特徴量を直接指定する方法
が考えられるが、本実施形態では画像領域を問合わせと
して類似する領域を検索する方法を説明する。
を抽出し、データベース（図１又は図２を参照）に登録
（蓄積）する。画像の領域を検索する場合に、問合わせ
として検索したい画像領域の特徴量を直接指定する方法
が考えられるが、本実施形態では画像領域を問合わせと
して類似する領域を検索する方法を説明する。
【００４４】背景を白（背景を識別できれば他の色でも
当然構わない）とし特徴を抽出したい領域のみが存在す
る画像を問合わせ画像とする。こうすることで容易に背
景部分である白の領域を自動的に除くことができ、問合
わせである領域を抽出しその領域から特徴量を前述のよ
うに抽出することが可能である。抽出した特徴量とすで
にデータベースに登録済みの領域（その特徴量）を逐一
比較することで、類似する領域を検索することが可能で
ある。検索結果は類似度順に並替えられて検索者の指定
件数分の領域が表示される。
当然構わない）とし特徴を抽出したい領域のみが存在す
る画像を問合わせ画像とする。こうすることで容易に背
景部分である白の領域を自動的に除くことができ、問合
わせである領域を抽出しその領域から特徴量を前述のよ
うに抽出することが可能である。抽出した特徴量とすで
にデータベースに登録済みの領域（その特徴量）を逐一
比較することで、類似する領域を検索することが可能で
ある。検索結果は類似度順に並替えられて検索者の指定
件数分の領域が表示される。
【００４５】図１８は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、前記領域特徴量により検
索された領域が同じ木構造に属する場合に（ステップＳ
４３でＹＥＳ）、木構造上での領域間の関係を考慮して
不要な検索領域を検索結果から除去して検索結果を再編
する（ステップＳ４４）ようにしている。本実施形態に
よれば、領域間の関係を表した木構造により不要な検索
結果を削除することで、検索結果の精度を向上すること
が可能となる。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、前記領域特徴量により検
索された領域が同じ木構造に属する場合に（ステップＳ
４３でＹＥＳ）、木構造上での領域間の関係を考慮して
不要な検索領域を検索結果から除去して検索結果を再編
する（ステップＳ４４）ようにしている。本実施形態に
よれば、領域間の関係を表した木構造により不要な検索
結果を削除することで、検索結果の精度を向上すること
が可能となる。
【００４６】前述のように検索された領域は場合によっ
て１つの画像内で、包含関係にあるような領域である場
合もあり、領域検索結果の再編を行うことが好ましい。
本実施形態においては、この場合を説明する。このよう
な場合には包含されている領域は検索結果として表示さ
れない方がよい場合がある。そこで包含されている領域
や、又は大きなサイズの領域の一部として付属している
ような領域の場合は検索結果から除く検索結果の再編の
処理を行う。領域間の関係は木構造として表現されてい
るので、検索結果を上位の領域から順に画像中の木構造
中の位置を調べる。木構造上の上位に既に調べた検索結
果の領域（検索結果上の上位の領域）があれば当該領域
を検索結果から削除する。これを検索件数分行い、不必
要な検索結果を除去する。
て１つの画像内で、包含関係にあるような領域である場
合もあり、領域検索結果の再編を行うことが好ましい。
本実施形態においては、この場合を説明する。このよう
な場合には包含されている領域は検索結果として表示さ
れない方がよい場合がある。そこで包含されている領域
や、又は大きなサイズの領域の一部として付属している
ような領域の場合は検索結果から除く検索結果の再編の
処理を行う。領域間の関係は木構造として表現されてい
るので、検索結果を上位の領域から順に画像中の木構造
中の位置を調べる。木構造上の上位に既に調べた検索結
果の領域（検索結果上の上位の領域）があれば当該領域
を検索結果から削除する。これを検索件数分行い、不必
要な検索結果を除去する。
【００４７】図１９及び図２０は本発明の一実施形態に
係る検索結果表示方法を説明するためのフロー図、図２
１は図２０の表示方法で表示した検索結果の一例を示す
図である。本実施形態においては、登録された大量の画
像からユーザの所望する画像内の領域を検索（ステップ
Ｓ４５）する画像領域検索方法であって、登録されたオ
リジナルの画像上に検索結果の領域を縁取りすることで
検索結果を示す（ステップＳ４６）ようにしてもよい。
係る検索結果表示方法を説明するためのフロー図、図２
１は図２０の表示方法で表示した検索結果の一例を示す
図である。本実施形態においては、登録された大量の画
像からユーザの所望する画像内の領域を検索（ステップ
Ｓ４５）する画像領域検索方法であって、登録されたオ
リジナルの画像上に検索結果の領域を縁取りすることで
検索結果を示す（ステップＳ４６）ようにしてもよい。
【００４８】さらに、登録された大量の画像からユーザ
の所望する画像内の領域を検索する画像領域検索方法で
あって、登録されたオリジナルの画像上に検索結果の領
域を縁取りすることで検索結果を示し（ステップＳ４
７）、木構造上の領域間の関係を考慮して検索結果から
除去された領域も同時に前記オリジナル画像上に縁取り
することで検索結果の領域を示す（ステップＳ４８；図
２１を参照）ようにしてもよい。すなわち、本実施形態
においては、検索結果の表示に関し、検索結果の領域は
オリジナルの画像全体を表示し当該領域を縁取りして表
示することで示すようにする。さらに検索結果の再編に
より削除された関連のある領域も同時に色の違う縁取で
示す（図２１を参照）ことにより、正確な検索結果を表
示することが可能である。本実施形態によれば、オリジ
ナル画像における領域の位置関係を即座に判断でき、か
つ、削除された関連領域も表示することで、検索結果を
適切にかつ効率よくユーザに提示することが可能とな
る。
の所望する画像内の領域を検索する画像領域検索方法で
あって、登録されたオリジナルの画像上に検索結果の領
域を縁取りすることで検索結果を示し（ステップＳ４
７）、木構造上の領域間の関係を考慮して検索結果から
除去された領域も同時に前記オリジナル画像上に縁取り
することで検索結果の領域を示す（ステップＳ４８；図
２１を参照）ようにしてもよい。すなわち、本実施形態
においては、検索結果の表示に関し、検索結果の領域は
オリジナルの画像全体を表示し当該領域を縁取りして表
示することで示すようにする。さらに検索結果の再編に
より削除された関連のある領域も同時に色の違う縁取で
示す（図２１を参照）ことにより、正確な検索結果を表
示することが可能である。本実施形態によれば、オリジ
ナル画像における領域の位置関係を即座に判断でき、か
つ、削除された関連領域も表示することで、検索結果を
適切にかつ効率よくユーザに提示することが可能とな
る。
【００４９】以上の各実施形態においては、画像の領域
に基づいた検索に際して行う、主に画像の領域への分割
及び分割領域の統合（条件を変えた画像の分割）、及び
その領域の木表現に関する発明を説明した。
に基づいた検索に際して行う、主に画像の領域への分割
及び分割領域の統合（条件を変えた画像の分割）、及び
その領域の木表現に関する発明を説明した。
【００５０】以下に、本発明の他の実施形態として、上
記画像領域を検索する方法について説明する。なお、以
下に説明する実施形態に係る画像領域検索システムは、
図１及び図２を用いて説明したものと同じ構成をもち、
その説明は省略する。
記画像領域を検索する方法について説明する。なお、以
下に説明する実施形態に係る画像領域検索システムは、
図１及び図２を用いて説明したものと同じ構成をもち、
その説明は省略する。
【００５１】図２２は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態に係る画像領域検索方法は、画像から
複数の粗さで抽出した領域を木構造で表したデータが大
量に登録されたデータベースから、ユーザにより問合わ
せとして指定された（ステップＳ６１）１つ以上の領域
を検索する画像領域検索方法であって、該指定された１
つ以上の領域である問合わせ領域集合に対して、各領域
と、検索対象となる前記登録された領域（すなわち登録
画像領域）である検索対象領域との類似度を算出し（ス
テップＳ６２）、該算出した検索対象領域毎の類似度か
ら、前記問合わせ領域集合と、前記類似度の高い領域を
有する検索対象画像との類似度を算出し（ステップＳ６
３）、該算出した検索対象画像毎の類似度に応じて検索
結果を示す（ステップＳ６４）ようにしたものである。
本実施形態によれば、画像ではなく画像中の領域の検索
が可能となる。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態に係る画像領域検索方法は、画像から
複数の粗さで抽出した領域を木構造で表したデータが大
量に登録されたデータベースから、ユーザにより問合わ
せとして指定された（ステップＳ６１）１つ以上の領域
を検索する画像領域検索方法であって、該指定された１
つ以上の領域である問合わせ領域集合に対して、各領域
と、検索対象となる前記登録された領域（すなわち登録
画像領域）である検索対象領域との類似度を算出し（ス
テップＳ６２）、該算出した検索対象領域毎の類似度か
ら、前記問合わせ領域集合と、前記類似度の高い領域を
有する検索対象画像との類似度を算出し（ステップＳ６
３）、該算出した検索対象画像毎の類似度に応じて検索
結果を示す（ステップＳ６４）ようにしたものである。
本実施形態によれば、画像ではなく画像中の領域の検索
が可能となる。
【００５２】本実施形態においては、領域の検索に関
し、領域から特徴抽出された特徴量に基づいて行うよう
にする。色に関しては色のヒストグラム、テクスチャに
関しては同時生起行列からの統計量、形状に関してはセ
ントラルモーメントの特徴、曲率に関しては外形の屈曲
特徴、といった前述の特徴量に加え、色分布，面積，位
置といった特徴量を、生成された領域木のデータベース
への登録と共に各領域画像から抽出する。色分布及び位
置に関しては後述する実施形態で説明する。面積に関し
ては、例えば、領域面積を全画像により正規化した面積
値（０−１.０の値をとる）を特徴量として抽出する。
し、領域から特徴抽出された特徴量に基づいて行うよう
にする。色に関しては色のヒストグラム、テクスチャに
関しては同時生起行列からの統計量、形状に関してはセ
ントラルモーメントの特徴、曲率に関しては外形の屈曲
特徴、といった前述の特徴量に加え、色分布，面積，位
置といった特徴量を、生成された領域木のデータベース
への登録と共に各領域画像から抽出する。色分布及び位
置に関しては後述する実施形態で説明する。面積に関し
ては、例えば、領域面積を全画像により正規化した面積
値（０−１.０の値をとる）を特徴量として抽出する。
【００５３】図２３は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、ステップＳ６２で算出した、前記検
索対象領域毎の類似度から前記問合わせ画像に対する検
索対象画像毎の類似度を算出する（ステップＳ６３）際
に、前記問合わせ画像から抽出した各領域の面積比を算
出し、該面積比を各検索対象領域の類似度の重み付けと
する（ステップＳ６５）。本実施形態によれば、人の類
似性の感覚は領域の大きさに依存するので、人の類似性
の感覚に近い検索が可能となる。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、ステップＳ６２で算出した、前記検
索対象領域毎の類似度から前記問合わせ画像に対する検
索対象画像毎の類似度を算出する（ステップＳ６３）際
に、前記問合わせ画像から抽出した各領域の面積比を算
出し、該面積比を各検索対象領域の類似度の重み付けと
する（ステップＳ６５）。本実施形態によれば、人の類
似性の感覚は領域の大きさに依存するので、人の類似性
の感覚に近い検索が可能となる。
【００５４】図２４は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、前記検索対象領域からユーザ指定の
問合わせ領域を検索する際に、領域の色、テクスチャ、
形状等の特徴を抽出し（ステップＳ６６）、該特徴を利
用して前記問合わせ領域と検索対象領域間の類似度を算
出する（ステップＳ６２）ようにしている。本実施形態
によれば、人の様々な類似性感覚に則して特徴を抽出す
ることで、人の類似性感覚に近い検索が可能となる。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、前記検索対象領域からユーザ指定の
問合わせ領域を検索する際に、領域の色、テクスチャ、
形状等の特徴を抽出し（ステップＳ６６）、該特徴を利
用して前記問合わせ領域と検索対象領域間の類似度を算
出する（ステップＳ６２）ようにしている。本実施形態
によれば、人の様々な類似性感覚に則して特徴を抽出す
ることで、人の類似性感覚に近い検索が可能となる。
【００５５】図２５は本発明の他の実施形態に係る画像
領域検索方法を説明するためのフロー図で、図２６は図
２５の画像領域検索方法に係る特徴抽出した色分布の一
例を示す図である。本発明の他の実施形態においては、
図２２を用いて説明した実施形態において、前記検索対
象領域からユーザ指定の問合わせ領域（ステップＳ６
１）を検索する際に、領域をブロックに分割し（ステッ
プＳ６７）、個々のブロックから色の特徴を抽出するこ
とにより、前記領域内の色の分布の特徴を抽出し（ステ
ップＳ６８）、該特徴を利用して前記問合わせ領域と検
索対象領域間の類似度を算出する（ステップＳ６２）よ
うにしている。
領域検索方法を説明するためのフロー図で、図２６は図
２５の画像領域検索方法に係る特徴抽出した色分布の一
例を示す図である。本発明の他の実施形態においては、
図２２を用いて説明した実施形態において、前記検索対
象領域からユーザ指定の問合わせ領域（ステップＳ６
１）を検索する際に、領域をブロックに分割し（ステッ
プＳ６７）、個々のブロックから色の特徴を抽出するこ
とにより、前記領域内の色の分布の特徴を抽出し（ステ
ップＳ６８）、該特徴を利用して前記問合わせ領域と検
索対象領域間の類似度を算出する（ステップＳ６２）よ
うにしている。
【００５６】すなわち、色の分布の特徴として、領域を
Ｎ×Ｎ（例えば５×５）のブロックに分割し（ステップ
Ｓ６７）、個々のブロックから色の特徴を抽出する（ス
テップＳ６８）ようにしている。その抽出例を図２６に
示す。色の特徴としてヒストグラムとしても良いし、簡
便な特徴として平均色又は代表色としても良い。領域の
形状によってはブロック中に領域が含まれない場合があ
る。この場合には無効のデータを入れることとする。本
実施形態によれば、領域が複数の色から構成されている
場合でも、その色の分布により検索が可能となる。
Ｎ×Ｎ（例えば５×５）のブロックに分割し（ステップ
Ｓ６７）、個々のブロックから色の特徴を抽出する（ス
テップＳ６８）ようにしている。その抽出例を図２６に
示す。色の特徴としてヒストグラムとしても良いし、簡
便な特徴として平均色又は代表色としても良い。領域の
形状によってはブロック中に領域が含まれない場合があ
る。この場合には無効のデータを入れることとする。本
実施形態によれば、領域が複数の色から構成されている
場合でも、その色の分布により検索が可能となる。
【００５７】図２７は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、前記検索対象領域からユーザ指定の
問合わせ領域を検索する際に、重心等の領域を代表する
点を算出し（ステップＳ６９）、該点で画像中の領域の
位置を表し、該位置を利用して前記問合わせ領域集合と
検索対象画像との類似度を算出する（ステップＳ７０）
ようにしている。本実施形態によれば、画像中の位置の
類似性により検索することが可能となる。なお、その他
の類似度はステップＳ６２において算出する。位置に関
しては、例えば、画像サイズにより正規化した重心座標
（縦軸、横軸でそれぞれ０−１.０値をとる）を特徴量
として抽出する。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、前記検索対象領域からユーザ指定の
問合わせ領域を検索する際に、重心等の領域を代表する
点を算出し（ステップＳ６９）、該点で画像中の領域の
位置を表し、該位置を利用して前記問合わせ領域集合と
検索対象画像との類似度を算出する（ステップＳ７０）
ようにしている。本実施形態によれば、画像中の位置の
類似性により検索することが可能となる。なお、その他
の類似度はステップＳ６２において算出する。位置に関
しては、例えば、画像サイズにより正規化した重心座標
（縦軸、横軸でそれぞれ０−１.０値をとる）を特徴量
として抽出する。
【００５８】図２８は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、ステップＳ６３を実行するに際し、
重心等の領域を代表する点を算出し（ステップＳ６
９）、該点を用いて画像内の領域間の位置関係を抽出し
（ステップＳ７１）、該位置関係を利用して領域集合間
の位置関係の類似度を算出する（ステップＳ７２）よう
にしている。本実施形態によれば、領域間の位置関係の
類似性を抽出することにより複数の領域の位置関係によ
る検索が可能となる。なお、他の類似度はステップＳ６
３において算出する。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態においては、図２２を用いて説明した
実施形態において、ステップＳ６３を実行するに際し、
重心等の領域を代表する点を算出し（ステップＳ６
９）、該点を用いて画像内の領域間の位置関係を抽出し
（ステップＳ７１）、該位置関係を利用して領域集合間
の位置関係の類似度を算出する（ステップＳ７２）よう
にしている。本実施形態によれば、領域間の位置関係の
類似性を抽出することにより複数の領域の位置関係によ
る検索が可能となる。なお、他の類似度はステップＳ６
３において算出する。
【００５９】図２９は、本発明の他の実施形態に係る画
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態において、画像からの複数領域抽出に
関し、前述の実施形態を利用してもよい。すなわち、前
記登録された大量の画像は、図３乃至図１８を用いて説
明したような、前記抽出し或いは前記各段階で抽出し木
構造で表した複数の領域を有し、当該画像領域検索方法
は、該複数の領域から、ユーザにより問合わせとして指
定された（ステップＳ６１）１つ以上の領域である問合
わせ領域集合に対して、各領域（Ｓ６で抽出）と、検索
対象となる前記登録された領域である検索対象領域（Ｓ
８で抽出）との類似度を算出し（ステップＳ７３）、該
算出した検索対象領域毎の類似度から、前記問合わせ領
域集合と、前記類似度の高い領域を有する検索対象画像
との類似度を算出し（ステップＳ６３）、該算出した検
索対象画像毎の類似度に応じて検索結果を示す（ステッ
プＳ６４）ようにするとよい。
像領域検索方法を説明するためのフロー図である。本発
明の他の実施形態において、画像からの複数領域抽出に
関し、前述の実施形態を利用してもよい。すなわち、前
記登録された大量の画像は、図３乃至図１８を用いて説
明したような、前記抽出し或いは前記各段階で抽出し木
構造で表した複数の領域を有し、当該画像領域検索方法
は、該複数の領域から、ユーザにより問合わせとして指
定された（ステップＳ６１）１つ以上の領域である問合
わせ領域集合に対して、各領域（Ｓ６で抽出）と、検索
対象となる前記登録された領域である検索対象領域（Ｓ
８で抽出）との類似度を算出し（ステップＳ７３）、該
算出した検索対象領域毎の類似度から、前記問合わせ領
域集合と、前記類似度の高い領域を有する検索対象画像
との類似度を算出し（ステップＳ６３）、該算出した検
索対象画像毎の類似度に応じて検索結果を示す（ステッ
プＳ６４）ようにするとよい。
【００６０】図３０は、上述の各実施形態に係る画像領
域検索方法を詳細に説明するための図である。画像領域
を検索するためには、まず、問合わせ領域の指定を行う
必要がある（ステップＳ８１）。問合わせの画像領域を
指定する１つの方法として、ユーザが既存の任意の画像
中の領域を囲む線をマウスなどにより描くことで領域を
指定する。もちろん複数の領域を同様にして指定するこ
とも可能である。また、ユーザがドローツールで検索し
たい領域を直接描くことも可能である。例えば背景を白
（背景を自動的に識別できれば他の色でも当然構わな
い）とし特徴を抽出したい領域のみが存在する画像を問
合わせ画像とする。その結果容易に背景部分である白の
領域を自動的に除くことができ、問合わせの領域を抽出
し、その領域から特徴量を前述のように抽出することが
可能である。複数の領域を指定する場合には１つの画像
に複数の領域を描き、背景を除去し個々の領域を抽出し
ても良いし、個々の領域を個別に描いた画像を問合わせ
画像としても良い。
域検索方法を詳細に説明するための図である。画像領域
を検索するためには、まず、問合わせ領域の指定を行う
必要がある（ステップＳ８１）。問合わせの画像領域を
指定する１つの方法として、ユーザが既存の任意の画像
中の領域を囲む線をマウスなどにより描くことで領域を
指定する。もちろん複数の領域を同様にして指定するこ
とも可能である。また、ユーザがドローツールで検索し
たい領域を直接描くことも可能である。例えば背景を白
（背景を自動的に識別できれば他の色でも当然構わな
い）とし特徴を抽出したい領域のみが存在する画像を問
合わせ画像とする。その結果容易に背景部分である白の
領域を自動的に除くことができ、問合わせの領域を抽出
し、その領域から特徴量を前述のように抽出することが
可能である。複数の領域を指定する場合には１つの画像
に複数の領域を描き、背景を除去し個々の領域を抽出し
ても良いし、個々の領域を個別に描いた画像を問合わせ
画像としても良い。
【００６１】指定された個々の問合わせ領域から特徴を
抽出する（ステップＳ８２）。次に、個々の特徴とデー
タベース中の領域の特徴と逐一以下に説明する領域類似
度を計算し、予め指定されている類似度より高い領域を
検索結果とする（ステップＳ８３）。１つの領域のみの
問合わせかを判断し（ステップＳ８４）、１つの場合に
は以下の処理は不要となる。
抽出する（ステップＳ８２）。次に、個々の特徴とデー
タベース中の領域の特徴と逐一以下に説明する領域類似
度を計算し、予め指定されている類似度より高い領域を
検索結果とする（ステップＳ８３）。１つの領域のみの
問合わせかを判断し（ステップＳ８４）、１つの場合に
は以下の処理は不要となる。
【００６２】複数の領域が指定されていた場合、個々の
問合わせ画像に対する検索結果のＡＮＤ又はＯＲをと
り、すべての問合わせ領域に類似する領域をもつ画像、
又は、いずれかの問合わせ領域に類似する領域をもつ画
像を抽出する（ステップＳ８５）。なお、ＡＮＤ／ＯＲ
はユーザ選択を可能とする。次に、問合わせ画像集合と
上記処理によって得られた画像の領域集合に対して以下
に説明する領域集合類似度を算出し（ステップＳ８
６）、領域集合間の類似度によりランキングしてユーザ
に提示する（ステップＳ８７）。
問合わせ画像に対する検索結果のＡＮＤ又はＯＲをと
り、すべての問合わせ領域に類似する領域をもつ画像、
又は、いずれかの問合わせ領域に類似する領域をもつ画
像を抽出する（ステップＳ８５）。なお、ＡＮＤ／ＯＲ
はユーザ選択を可能とする。次に、問合わせ画像集合と
上記処理によって得られた画像の領域集合に対して以下
に説明する領域集合類似度を算出し（ステップＳ８
６）、領域集合間の類似度によりランキングしてユーザ
に提示する（ステップＳ８７）。
【００６３】ステップＳ８３に関し、領域類似度（距
離）の算出について説明する。類似度は特徴量空間上で
の距離で表されるので、類似度を距離と呼ぶこととす
る。問合わせ領域として指定された領域から前述の特徴
を個々に抽出し、その特徴により個々の領域間の距離
（類似度）を以下の式により算出する。
離）の算出について説明する。類似度は特徴量空間上で
の距離で表されるので、類似度を距離と呼ぶこととす
る。問合わせ領域として指定された領域から前述の特徴
を個々に抽出し、その特徴により個々の領域間の距離
（類似度）を以下の式により算出する。
【００６４】
【数１】
【００６５】Ｒｑ，Ｒｄは問合わせ領域とデータベース
の領域、ｆｑｉ，ｆｄｉは比較する領域の特徴ｉ、Ｄｉ
（）は特徴ｉの距離（類似度）関数、Ｗｉは特徴ｉに対
する重み付けである。つまり個々の特徴の重み付けした
合計が領域間の類似度となる。
の領域、ｆｑｉ，ｆｄｉは比較する領域の特徴ｉ、Ｄｉ
（）は特徴ｉの距離（類似度）関数、Ｗｉは特徴ｉに対
する重み付けである。つまり個々の特徴の重み付けした
合計が領域間の類似度となる。
【００６６】色、テクスチャ、形状、曲率のＤｉ（）は
特開２０００−１８７７３１号公報のとおりであり、一
般的なユークリッド距離や差分距離などを用いて算出す
る。また、色分布の距離は次式で与えられる。
特開２０００−１８７７３１号公報のとおりであり、一
般的なユークリッド距離や差分距離などを用いて算出す
る。また、色分布の距離は次式で与えられる。
【００６７】
【数２】
【００６８】Ｂｑｉ，Ｂｄｉはブロックの平均色、Ｄｃ
（）は色差である。なお、ブロックの平均色として無効
の色を指定された時には色差Ｄｃ（）は最大値を返す
か、そのブロックは無視する。つまりＮ×Ｎで割ってい
るが、無視した分Ｎ×Ｎの値を減らす。なお、ブロック
分割例は図２６に示してある。下式のように領域の面積
の距離は単に差分でもよいし、問合わせ画像の面積を上
記の重み付けＷＦｉとして利用してもよい。 Ｄ＝｜Ａｑ，Ａｄ｜ Ａｑ，Ａｄは領域の面積である。
（）は色差である。なお、ブロックの平均色として無効
の色を指定された時には色差Ｄｃ（）は最大値を返す
か、そのブロックは無視する。つまりＮ×Ｎで割ってい
るが、無視した分Ｎ×Ｎの値を減らす。なお、ブロック
分割例は図２６に示してある。下式のように領域の面積
の距離は単に差分でもよいし、問合わせ画像の面積を上
記の重み付けＷＦｉとして利用してもよい。 Ｄ＝｜Ａｑ，Ａｄ｜ Ａｑ，Ａｄは領域の面積である。
【００６９】位置の距離は重心座標間のユークリッド距
離（他の距離式を利用することも可能）を距離とする。 Ｄ＝ｓｑｒｔ（（Ｘｑ−Ｘｄ）2＋（Ｙｑ−Ｙｄ）2）
離（他の距離式を利用することも可能）を距離とする。 Ｄ＝ｓｑｒｔ（（Ｘｑ−Ｘｄ）2＋（Ｙｑ−Ｙｄ）2）
【００７０】ステップＳ８６に関し、領域集合類似度
（距離）の算出について説明する。問合わせ領域集合か
ら任意の領域を二つ選択し、その領域間の類似度を下式
により算出する。そして、すべての問合わせ領域集合か
らの任意の二つの領域の組合わせに対する領域間の類似
度の平均値を領域集合類似度とする。
（距離）の算出について説明する。問合わせ領域集合か
ら任意の領域を二つ選択し、その領域間の類似度を下式
により算出する。そして、すべての問合わせ領域集合か
らの任意の二つの領域の組合わせに対する領域間の類似
度の平均値を領域集合類似度とする。
【００７１】問合わせ領域から選択された任意の２つの
領域と、ステップＳ８３で検索された領域が属するデー
タベース中の画像単位にその画像中でＳ８３により検索
された領域から選択された任意の２つの領域と、から下
式を計算する。
領域と、ステップＳ８３で検索された領域が属するデー
タベース中の画像単位にその画像中でＳ８３により検索
された領域から選択された任意の２つの領域と、から下
式を計算する。
【００７２】
【数３】
【００７３】Ｒｑ１，Ｒｑ２は問合わせ領域集合から選
択された二つの領域で、Ｒｄｎ，Ｒｄｍはデータベース
から選択された二つの領域である。Ｗは重み付け（Ｗｑ
＋４×Ｗ＝１.０）、Ｄ（）は領域類似度、Ｄｐ（）は
位置関係の距離で以下の式により与えられる。Ｒｑ１，
Ｒｑ２及びＲｄ１，Ｒｄ２の重心座標から重心座標の変
移ベクトルＶｑ，Ｖｄがそれぞれ得られる。ベクトルの
類似度は様々考えられるがここではＤｐは次式で与えら
れることとする。 Ｄｐ＝Ｍｉｎ（｜Ｖｑ−Ｖｄ｜，｜Ｖｑ＋Ｖｄ｜）
択された二つの領域で、Ｒｄｎ，Ｒｄｍはデータベース
から選択された二つの領域である。Ｗは重み付け（Ｗｑ
＋４×Ｗ＝１.０）、Ｄ（）は領域類似度、Ｄｐ（）は
位置関係の距離で以下の式により与えられる。Ｒｑ１，
Ｒｑ２及びＲｄ１，Ｒｄ２の重心座標から重心座標の変
移ベクトルＶｑ，Ｖｄがそれぞれ得られる。ベクトルの
類似度は様々考えられるがここではＤｐは次式で与えら
れることとする。 Ｄｐ＝Ｍｉｎ（｜Ｖｑ−Ｖｄ｜，｜Ｖｑ＋Ｖｄ｜）
【００７４】また、ここでの計算は、問合わせ領域から
選択された任意の２つの領域と、ステップＳ８３で検索
された領域が属するデータベース中の画像単位にその画
像中から選択された任意の２つの領域（Ｓ８３で検索さ
れなくても距離計算対象とする）と、から行なってもよ
い。
選択された任意の２つの領域と、ステップＳ８３で検索
された領域が属するデータベース中の画像単位にその画
像中から選択された任意の２つの領域（Ｓ８３で検索さ
れなくても距離計算対象とする）と、から行なってもよ
い。
【００７５】また、画像中にデータベース中の画像内に
領域が一つの場合には、問合わせ画像中の各領域とデー
タベース中の各画像の領域に対し、前記実施例と同様に
距離計算する。
領域が一つの場合には、問合わせ画像中の各領域とデー
タベース中の各画像の領域に対し、前記実施例と同様に
距離計算する。
【００７６】以上、本発明の各実施形態を、画像領域検
索システムにおける画像領域検索方法として、或いはそ
の方法の各工程を実行する機能をもつ画像領域検索ソフ
ト（プログラム）として説明しているが、この画像領域
検索プログラムを記録したコンピュータ読み取り可能な
記録媒体として、或いは画像領域検索方法としては勿
論、各工程を実行する手段としてのハード或いはソフト
モジュールを有する画像領域検索システムとしても実現
可能である。
索システムにおける画像領域検索方法として、或いはそ
の方法の各工程を実行する機能をもつ画像領域検索ソフ
ト（プログラム）として説明しているが、この画像領域
検索プログラムを記録したコンピュータ読み取り可能な
記録媒体として、或いは画像領域検索方法としては勿
論、各工程を実行する手段としてのハード或いはソフト
モジュールを有する画像領域検索システムとしても実現
可能である。
【００７７】
【発明の効果】請求項１，１７〜１９の発明によれば、
画像中の領域をより正確に抽出することが可能となり、
ユーザの所望する領域を適切に検索することが可能とな
る。請求項２，３，１７〜１９の発明によれば、領域を
統合することにより、ユーザの所望する領域に近い領域
として抽出することが可能となり検索の精度を向上させ
ることができる。
画像中の領域をより正確に抽出することが可能となり、
ユーザの所望する領域を適切に検索することが可能とな
る。請求項２，３，１７〜１９の発明によれば、領域を
統合することにより、ユーザの所望する領域に近い領域
として抽出することが可能となり検索の精度を向上させ
ることができる。
【００７８】請求項４，１７〜１９の発明によれば、領
域の関係を木構造として表すことにより、多様な領域の
切出しの結果、及び、その領域間の関係も保持すること
ができ、ユーザの多様な検索要求に答えることが可能と
なる。請求項５，６，１７〜１９の発明によれば、個々
の領域から特徴量を抽出することにより、領域単位の検
索が可能となる。
域の関係を木構造として表すことにより、多様な領域の
切出しの結果、及び、その領域間の関係も保持すること
ができ、ユーザの多様な検索要求に答えることが可能と
なる。請求項５，６，１７〜１９の発明によれば、個々
の領域から特徴量を抽出することにより、領域単位の検
索が可能となる。
【００７９】請求項７，１７〜１９の発明によれば、領
域間の関係を表した木構造により不要な検索結果を削除
することで、検索結果の精度を向上することが可能とな
る。請求項８，９，１７〜１９の発明によれば、オリジ
ナル画像における領域の位置関係を即座に判断でき、か
つ、削除された関連領域も表示することで、検索結果を
適切にかつ効率よくユーザに提示することが可能とな
る。
域間の関係を表した木構造により不要な検索結果を削除
することで、検索結果の精度を向上することが可能とな
る。請求項８，９，１７〜１９の発明によれば、オリジ
ナル画像における領域の位置関係を即座に判断でき、か
つ、削除された関連領域も表示することで、検索結果を
適切にかつ効率よくユーザに提示することが可能とな
る。
【００８０】請求項１０，１６，１７〜１９の発明によ
れば、画像ではなく画像中の領域の検索が可能となる。
請求項１１，１７〜１９の発明によれば、人の類似性の
感覚は領域の大きさに依存するので、人の類似性の感覚
に近い検索が可能となる。請求項１２，１７〜１９の発
明によれば、人の様々な類似性感覚に則して特徴を抽出
することで、人の類似性感覚に近い検索が可能となる。
れば、画像ではなく画像中の領域の検索が可能となる。
請求項１１，１７〜１９の発明によれば、人の類似性の
感覚は領域の大きさに依存するので、人の類似性の感覚
に近い検索が可能となる。請求項１２，１７〜１９の発
明によれば、人の様々な類似性感覚に則して特徴を抽出
することで、人の類似性感覚に近い検索が可能となる。
【００８１】請求項１３，１７〜１９の発明によれば、
領域が複数の色から構成されている場合でも、その色の
分布により検索が可能となる。請求項１４，１７〜１９
の発明によれば、画像中の位置の類似性により検索する
ことが可能となる。請求項１５，１７〜１９の発明によ
れば、領域間の位置関係の類似性を抽出することにより
複数の領域の位置関係による検索が可能となる。
領域が複数の色から構成されている場合でも、その色の
分布により検索が可能となる。請求項１４，１７〜１９
の発明によれば、画像中の位置の類似性により検索する
ことが可能となる。請求項１５，１７〜１９の発明によ
れば、領域間の位置関係の類似性を抽出することにより
複数の領域の位置関係による検索が可能となる。
【図１】 本発明の一実施形態に係る画像領域検索シス
テムの構成の一例を示すブロック図である。
テムの構成の一例を示すブロック図である。
【図２】 本発明の一実施形態に係る画像領域検索シス
テムの構成の他の例を示すブロック図である。
テムの構成の他の例を示すブロック図である。
【図３】 本発明の一実施形態に係る画像領域検索方法
を説明するためのフロー図である。
を説明するためのフロー図である。
【図４】 図３の検索方法における画像領域分割方法を
詳細に説明するためのフロー図である。
詳細に説明するためのフロー図である。
【図５】 図４の画像領域分割方法を説明するための画
像の例を示す図で、画像サイズを正規化した図である。
像の例を示す図で、画像サイズを正規化した図である。
【図６】 図４の画像領域分割方法を説明するための画
像の例を示す図で、クラスタリングにより分割された画
像を示す図である。
像の例を示す図で、クラスタリングにより分割された画
像を示す図である。
【図７】 図４の画像領域分割方法を説明するための画
像の例を示す図で、領域の境界上のエッジ強度を示す図
である。
像の例を示す図で、領域の境界上のエッジ強度を示す図
である。
【図８】 図４の画像領域分割方法を説明するための画
像の例を示す図で、図７のエッジ強度に従って統合した
画像領域の例を示す図である。
像の例を示す図で、図７のエッジ強度に従って統合した
画像領域の例を示す図である。
【図９】 本発明の他の実施形態に係る画像領域検索方
法を説明するためのフロー図である。
法を説明するためのフロー図である。
【図１０】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図１１】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図１２】 図９乃至図１１の検索方法における画像領
域統合・木構造表示方法を説明するためのフロー図であ
る。
域統合・木構造表示方法を説明するためのフロー図であ
る。
【図１３】 図９乃至図１１の検索方法により図７のエ
ッジ強度に従って統合した画像領域の例を示す図であ
る。
ッジ強度に従って統合した画像領域の例を示す図であ
る。
【図１４】 図９乃至図１１の検索方法により図７のエ
ッジ強度に従って統合した画像領域の例を示す図であ
る。
ッジ強度に従って統合した画像領域の例を示す図であ
る。
【図１５】 画像領域の木構造表示の例を示す図であ
る。
る。
【図１６】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図１７】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図１８】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図１９】 本発明の一実施形態に係る検索結果表示方
法を説明するためのフロー図である。
法を説明するためのフロー図である。
【図２０】 本発明の一実施形態に係る検索結果表示方
法を説明するためのフロー図である。
法を説明するためのフロー図である。
【図２１】 図２０の表示方法で表示した検索結果の一
例を示す図である。
例を示す図である。
【図２２】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図２３】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図２４】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図２５】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図２６】 図２５の画像領域検索方法に係る特徴抽出
した色分布の一例を示す図である。
した色分布の一例を示す図である。
【図２７】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図２８】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図２９】 本発明の他の実施形態に係る画像領域検索
方法を説明するためのフロー図である。
方法を説明するためのフロー図である。
【図３０】 各実施形態に係る画像領域検索方法を詳細
に説明するための図である。
に説明するための図である。
１…画像領域検索システム、１1，１1'…クライアント
ＰＣ、１2…サーバ、２，２'…デジタルカメラ・スキャ
ナ等の周辺機器、３…ネットワーク、１１…ＣＰＵ、１
２…ＲＯＭ、１３…ＲＡＭ、１４…キーボード、１５…
マウス、１６…モニタ（表示装置）、１７…ハードディ
スク、１８…ペリフェラルＩ／Ｆ、１９…Ｉ／Ｆ、２０
…バス、２１，２１'…画像領域検索ソフト、２２…画
像領域データベース、２３…領域特徴データベース。
ＰＣ、１2…サーバ、２，２'…デジタルカメラ・スキャ
ナ等の周辺機器、３…ネットワーク、１１…ＣＰＵ、１
２…ＲＯＭ、１３…ＲＡＭ、１４…キーボード、１５…
マウス、１６…モニタ（表示装置）、１７…ハードディ
スク、１８…ペリフェラルＩ／Ｆ、１９…Ｉ／Ｆ、２０
…バス、２１，２１'…画像領域検索ソフト、２２…画
像領域データベース、２３…領域特徴データベース。
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ２００ Ｇ０６Ｔ 1/00 ２００Ｅ Ｆターム(参考） 5B050 EA03 EA05 EA06 EA07 EA08 EA09 EA15 EA18 GA08 5B075 ND06 NK06 NK39 NR12 PP02 PP03 PQ02 PQ74 PR06 QM08 5L096 BA20 EA13 EA35 EA39 FA06 FA15 FA35 FA41 FA55 FA59 FA60 FA68 FA69 FA74 FA76 GA19 GA34 GA41 GA51 JA03 JA11
Claims (19)
- 【請求項１】 登録された大量の画像からユーザの所望
する画像内の領域を検索する画像領域検索方法であっ
て、ユーザ所望の領域である問合わせ画像から又は該問
合わせ画像及び登録された画像から領域を抽出する際
に、画像からエッジを抽出し、前記画像を該画像中のピ
クセルの色によりクラスタリングし、前記抽出したエッ
ジにより得られた領域と前記クラスタリングにより得ら
れた領域とに基づいて、領域分割を行うことにより画像
から領域を抽出することを可能とする画像領域検索方
法。 - 【請求項２】 前記領域分割された複数の領域につき領
域間の境界における色及びエッジの情報に基づいて領域
の統合を行うことにより、前記複数の領域より少ない数
の領域を抽出し、予め定められた回数又は条件だけ前記
統合を繰り返すことによりさらに少ない数の領域を抽出
し、各段階で抽出した領域からなる集合に基づいて画像
領域の検索を行うことを特徴とする請求項１記載の画像
領域検索方法。 - 【請求項３】 前記統合は、再度前記領域分割を、色の
相違度に関する閾値及びエッジ強度に関する閾値を大き
く設定することにより行うことを特徴とする請求項２記
載の画像領域検索方法。 - 【請求項４】 抽出された領域間の関係を木構造で表現
することを特徴とする請求項１乃至３のいずれか１記載
の画像領域検索方法。 - 【請求項５】 抽出された領域から該領域の特徴量を算
出し、該算出した領域特徴量により前記問合わせ画像中
の領域を検索することを特徴とする請求項１乃至４のい
ずれか１記載の画像領域検索方法。 - 【請求項６】 木構造で表現された領域から該領域の特
徴量を抽出し、該抽出した領域特徴量により前記問合わ
せ画像中の領域を検索することを特徴とする請求項４記
載の画像領域検索方法。 - 【請求項７】 前記領域特徴量により検索された領域が
同じ木構造に属する場合に、木構造上での領域間の関係
を考慮して不要な検索領域を検索結果から除去して検索
結果を再編することを特徴とする請求項６記載の画像領
域検索方法。 - 【請求項８】 登録された大量の画像からユーザの所望
する画像内の領域を検索する画像領域検索方法であっ
て、登録されたオリジナルの画像上に検索結果の領域を
縁取りすることで検索結果を示すことを特徴とする画像
領域検索方法。 - 【請求項９】 登録された大量の画像からユーザの所望
する画像内の領域を検索する画像領域検索方法であっ
て、登録されたオリジナルの画像上に検索結果の領域を
縁取りすることで検索結果を示し、木構造上の領域間の
関係を考慮して検索結果から除去された領域も同時に前
記オリジナル画像上に縁取りすることで検索結果の領域
を示すことを特徴とする請求項７記載の画像領域検索方
法。 - 【請求項１０】 画像から複数の粗さで抽出した領域を
木構造で表したデータが大量に登録されたデータベース
から、ユーザにより問合わせとして指定された１つ以上
の領域を検索する画像領域検索方法であって、該指定さ
れた１つ以上の領域である問合わせ領域集合に対して、
各領域と、検索対象となる前記登録された領域である検
索対象領域との類似度を算出し、該算出した検索対象領
域毎の類似度から、前記問合わせ領域集合と、前記類似
度の高い領域を有する検索対象画像との類似度を算出
し、該算出した検索対象画像毎の類似度に応じて検索結
果を示すことを特徴とする画像領域検索方法。 - 【請求項１１】 前記検索対象領域毎の類似度から前記
問合わせ画像に対する検索対象画像毎の類似度を算出す
る際に、前記問合わせ画像から抽出した各領域の面積比
を算出し、該面積比を各検索対象領域の類似度の重み付
けとすることを特徴とする請求項１０記載の画像領域検
索方法。 - 【請求項１２】 前記検索対象領域からユーザ指定の問
合わせ領域を検索する際に、領域の色、テクスチャ、形
状等の特徴を抽出し、該特徴を利用して前記問合わせ領
域と検索対象領域間の類似度を算出することを特徴とす
る請求項１０又は１１記載の画像領域検索方法。 - 【請求項１３】 前記検索対象領域からユーザ指定の問
合わせ領域を検索する際に、領域をブロックに分割し、
個々のブロックから色の特徴を抽出することにより、前
記領域内の色の分布の特徴を抽出し、該特徴を利用して
前記問合わせ領域と検索対象領域間の類似度を算出する
ことを特徴とする請求項１０乃至１２のいずれか１記載
の画像領域検索方法。 - 【請求項１４】 前記検索対象領域からユーザ指定の問
合わせ領域を検索する際に、重心等の領域を代表する点
を算出し、該点で画像中の領域の位置を表し、該位置を
利用して前記問合わせ領域集合と検索対象画像との類似
度を算出することを特徴とする請求項１０乃至１３のい
ずれか１記載の画像領域検索方法。 - 【請求項１５】 重心等の領域を代表する点を算出し、
該点を用いて画像内の領域間の位置関係を抽出し、該位
置関係を利用して領域集合間の位置関係の類似度を算出
することを特徴とする請求項１０乃至１４のいずれか１
記載の画像領域検索方法。 - 【請求項１６】 前記登録された大量の画像は、前記抽
出し或いは前記各段階で抽出し木構造で表した複数の領
域を有し、当該画像領域検索方法は、該複数の領域か
ら、ユーザにより問合わせとして指定された１つ以上の
領域である問合わせ領域集合に対して、各領域と、検索
対象となる前記登録された領域である検索対象領域との
類似度を算出し、該算出した検索対象領域毎の類似度か
ら、前記問合わせ領域集合と、前記類似度の高い領域を
有する検索対象画像との類似度を算出し、該算出した検
索対象画像毎の類似度に応じて検索結果を示すことを特
徴とする請求項４，６，７，９のいずれか１記載の画像
領域検索方法。 - 【請求項１７】 請求項１乃至１６のいずれか１記載の
画像領域検索方法を実現させるための手段を有すること
を特徴とする画像領域検索システム。 - 【請求項１８】 請求項１乃至１６のいずれか１記載の
画像領域検索方法を実行させるためのプログラム。 - 【請求項１９】 請求項１乃至１６のいずれか１記載の
画像領域検索方法を実行させるためのプログラムを記録
したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000327867A JP4148642B2 (ja) | 2000-10-26 | 2000-10-26 | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000327867A JP4148642B2 (ja) | 2000-10-26 | 2000-10-26 | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002133412A true JP2002133412A (ja) | 2002-05-10 |
| JP4148642B2 JP4148642B2 (ja) | 2008-09-10 |
Family
ID=18804810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000327867A Expired - Fee Related JP4148642B2 (ja) | 2000-10-26 | 2000-10-26 | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4148642B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007034847A (ja) * | 2005-07-28 | 2007-02-08 | Canon Inc | 検索装置及び検索方法 |
| JP2009123234A (ja) * | 2002-07-30 | 2009-06-04 | Fujifilm Corp | オブジェクト識別方法および装置ならびにプログラム |
| US7620246B2 (en) | 2002-07-30 | 2009-11-17 | Fujifilm Corporation | Method and apparatus for image processing |
| US7724944B2 (en) | 2004-08-19 | 2010-05-25 | Mitsubishi Electric Corporation | Image retrieval method and image retrieval device |
| JP2012203910A (ja) * | 2011-03-23 | 2012-10-22 | Toshiba Corp | 画像処理装置および方法 |
| JP2016031764A (ja) * | 2014-07-25 | 2016-03-07 | 株式会社東芝 | 画像解析方法 |
| JP2016051277A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社ニコン | 被写体検索装置、被写体検索方法、および被写体検索プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013077296A (ja) | 2011-09-14 | 2013-04-25 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
-
2000
- 2000-10-26 JP JP2000327867A patent/JP4148642B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009123234A (ja) * | 2002-07-30 | 2009-06-04 | Fujifilm Corp | オブジェクト識別方法および装置ならびにプログラム |
| US7620246B2 (en) | 2002-07-30 | 2009-11-17 | Fujifilm Corporation | Method and apparatus for image processing |
| US7724944B2 (en) | 2004-08-19 | 2010-05-25 | Mitsubishi Electric Corporation | Image retrieval method and image retrieval device |
| JP2007034847A (ja) * | 2005-07-28 | 2007-02-08 | Canon Inc | 検索装置及び検索方法 |
| JP2012203910A (ja) * | 2011-03-23 | 2012-10-22 | Toshiba Corp | 画像処理装置および方法 |
| JP2016031764A (ja) * | 2014-07-25 | 2016-03-07 | 株式会社東芝 | 画像解析方法 |
| JP2016051277A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社ニコン | 被写体検索装置、被写体検索方法、および被写体検索プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4148642B2 (ja) | 2008-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10346677B2 (en) | Classification and organization of consumer digital images using workflow, and face detection and recognition | |
| KR101058961B1 (ko) | 이미지 검색 방법 | |
| Niblack et al. | QBIC project: querying images by content, using color, texture, and shape | |
| US8199979B2 (en) | Classification system for consumer digital images using automatic workflow and face detection and recognition | |
| JP4340367B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US7555148B1 (en) | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition | |
| JP3522146B2 (ja) | 画像照合方法および画像照会装置 | |
| US7551755B1 (en) | Classification and organization of consumer digital images using workflow, and face detection and recognition | |
| US7587068B1 (en) | Classification database for consumer digital images | |
| US6711287B1 (en) | Image-feature extraction method and computer-readable record medium with a program for making a computer execute steps of the method recorded therein | |
| US20040024758A1 (en) | Image classification method, image feature space displaying method, program, and recording medium | |
| US8379990B2 (en) | Object recognition apparatus, computer readable medium storing object recognition program, and image retrieval service providing method | |
| JP4674257B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4148642B2 (ja) | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 | |
| WO2020235862A1 (en) | Image manipulation | |
| US7755646B2 (en) | Image management through lexical representations | |
| JP4725408B2 (ja) | 被写体認識装置および被写体認識プログラム | |
| JP2005208740A (ja) | 部分画像検索装置及び部分画像検索プログラム | |
| JP2005353101A (ja) | 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2000076270A (ja) | 画像検索システム及びその制御方法、画像検索装置及びその制御方法、コンピュータ可読メモリ | |
| JP2000132554A (ja) | 画像検索装置および画像検索方法 | |
| KR20220000851A (ko) | 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법 | |
| JP2004192121A (ja) | 画像検索装置、画像分類方法、画像検索方法、及びプログラム | |
| Duygulu et al. | Multilevel image segmentation and object representation for content-based image retrieval | |
| Chahir et al. | Searching images on the basis of color homogeneous objects and their spatial relationship |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080218 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080515 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080624 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |