JP2004192121A - Image retrieval device, image classification method, image retrieval method, and program - Google Patents

Image retrieval device, image classification method, image retrieval method, and program Download PDF

Info

Publication number
JP2004192121A
JP2004192121A JP2002356681A JP2002356681A JP2004192121A JP 2004192121 A JP2004192121 A JP 2004192121A JP 2002356681 A JP2002356681 A JP 2002356681A JP 2002356681 A JP2002356681 A JP 2002356681A JP 2004192121 A JP2004192121 A JP 2004192121A
Authority
JP
Japan
Prior art keywords
image
pattern
teacher
candidate
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002356681A
Other languages
Japanese (ja)
Inventor
Toshinori Nagahashi
敏則 長橋
Atsuji Nagahara
敦示 永原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2002356681A priority Critical patent/JP2004192121A/en
Publication of JP2004192121A publication Critical patent/JP2004192121A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image retrieval device, an image classification method, an image retrieval method and a program for automatically extracting an image with variations among a plurality of images. <P>SOLUTION: The image retrieval device stores digital images and classifies and retrieves the stored digital images. The retrieval device comprises a candidate image selecting means for selecting candidate images to be classified; a notable area calculating means for regionally segmenting the candidate images and calculating notable degrees at every segmented area to generate a pattern image in a notable area: and a pattern identifying means for classifying the candidate images, based on the pattern image in the notable area generated by the notable area calculating means. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の分類と検索を行う画像検索装置、画像分類方法、画像検索方法、及びプログラムに関し、特に、多数の画像中から、多様性のある画像を自動的に抽出することができる、画像検索装置、画像分類方法、画像検索方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像（単に「画像」ともいう）をＰＣ（パーソナルコンピュータ）等に保存しておき、後日、ＰＣ画面上でデジタル画像を編集し、アルバムなどを作成することも多くなってきた。
このような場合に、ＰＣ等に保存されたデジタル画像を検索して多数の画像の中から所望の画像を取り出すことが必要になるが、この画像検索を行いやすくするための方法として、以下に示す従来の方法がある。
（１）予め検索対象となる画像に外部情報（撮影場所や撮影日時、撮影内容）を付与し、この外部情報を検索に使用する。
（２）また、画像自身の特徴量を使う製品も市販されている。例えば、画像特徴量（色や形状）で対象画像を３次元空間上に配置し、ユーザの画像検索を効率的に行わせる装置が市販されている。
【０００３】
（３）また、例えば、特許文献１「画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒休」に開示された先行技術がある。
特許文献１で開示された発明は、予め作成した画像辞書を用いながら、インタラクティブ、階層的に画像の分類、検索を行う技術である。この発明においては、ナビゲーションの途中の画像集合に対し、領域色、直線、オブジェクト、画像辞書という大分類観点がシステムから利用者に提示される。利用者が画像辞書を選択すると、システムは「人の顔」、「空」、「屋根」といった分類観点を提示する。利用者が「人の顔」を選択すると、システムは人物画の集合を提示し、同様にその画像集合に対し、領域色、直線、オブジェクト、画像辞書という小分類観点が利用者に提示され、分類観点の選択による分類が階層的に行われる。このナビゲーションの履歴は、画像ＤＢの分類に有効なので、システムに分類木情報として蓄積される。蓄積された分類木の全体像をキーワードや合成画、サンプル画像を用いて閲覧することで、画像ＤＢが概観できる。
【０００４】
ところで、ユーザが旅行した際に画像（デジタル写真）を取りだめし、後でこれらの写真から一定枚数を選び出し、印刷あるいは電子アルバムを作成するようなことはよくあることである。このような場合、ユーザは、多様性を持つように、即ちできるだけ注目する領域、注目する領域パターンが異なった画像を意識的に選びだしている。
【０００５】
ユーザのこのような行動に照らした場合に、上述した従来の方法には、以下のような問題点がある。
（１）の項で説明した、画像に外部情報を付与する方法では、全ての画像に外部情報を適切に付与する必要がある。しかしながら、多様性を持った検索ができるように画像に外部情報を付与することは、著しく手間がかかる作業となり、現実的とは言えない。
（２）の項で説明した、画像自身の特徴量を使う方法では、同じ特徴量を持つ複数の画像を一定の法則にしたがって画面上に表示させ、その中から所望の画像を抽出することができるが、多様性を持つようにするには、やはりユーザ自身が画像を選び出す必要がある。
（３）の項で説明した、特許文献１に開示された方法では、多様性を持つように画像を選び出すという視点での技術的な配慮はなされておらず、多様性のある画像を選択するには、やはりユーザ自身の手で画像の選択を行わなければならない。
また、類似の注目領域のパターンを持つ画像を一度に検索したい時も、従来例の方法では対処できない。
【０００６】
【特許文献１】
特開２００１−１６００５７号公報
【０００７】
【発明が解決しようとする課題】
本発明はこのような問題を解決するためになされたもので、その目的は、多数の画像中から、多様性のある画像を自動的に抽出することができる、画像検索装置、画像分類方法、画像検索方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像検索装置は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、分類対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、前記注目領域算出手段により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手段とを具備することを特徴とする
このような構成であれば、前記候補画像選択手段により、分類対象となる候補画像が選択され、前記注目領域算出手段により、候補画像の注目領域のパターン画像が生成される。また、前記パターン識別手段により、注目領域のパターン画像に基づき、候補画像の分類が行われる。これにより、注目領域のパターンを基にした画像の分類が可能になり、多量の画像から、人間が通常行うように、注目領域を基準とした画像の選択を行うことができる。
【０００９】
また、本発明の画像検索装置は、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、前記複数の教師画像の中から、分類の基準となる教師画像を選択するための教師画像選択手段と、前記分類対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像を基に前記候補画像を分類するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記教師画像選択手段により、前記複数の教師画像の中から分類の基準となる教師画像が選択され、また、パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像に類似する画像が識別されて分類が行われる。これにより、教師画像として多様性のあるパターンを使用し、候補画像を多様性のある画像に分類することができる。
【００１０】
また、本発明の画像検索装置は、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、前記候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記教師画像選択手段により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像に類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、候補画像の中から多様性のある画像を抽出（検索）することができる。
【００１１】
また、本発明の画像検索装置は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、検索対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記候補画像選択手段により、検索対象となる候補画像が選択され、前記注目領域算出手段により、候補画像の注目領域のパターン画像が生成される。また、前記教師画像選択手段により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像のパターンに一致または類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、注目領域のパターンを基準とした多様性のある画像を抽出（検索）することができる。
【００１２】
また、本発明の画像検索方法は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像分類方法であって、分類対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順とを含むことを特徴とする。
このような手順を使用すれば、前記候補画像選択手順により、分類対象となる候補画像が選択され、前記注目領域算出手順により、候補画像の注目領域のパターン画像が生成される。また、前記パターン識別手順により、注目領域のパターン画像に基づき、候補画像の分類が行われる。これにより、注目領域のパターンを基にした画像の分類が可能になり、多量の画像から、人間が通常行うように、注目領域を基準とした画像の選択を行うことができる。
【００１３】
また、本発明の画像検索方法は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像検索方法であって、検索対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順とを含むことを特徴とする。
このような手順を使用すれば、前記候補画像選択手順により、検索対象となる候補画像が選択され、前記注目領域算出手順により、候補画像の注目領域のパターン画像が生成される。そして、前記教師画像選択手順により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手順により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像のパターンに一致または類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、注目領域のパターンを基準とした多様性のある画像を抽出（検索）することができる。
【００１４】
また、本発明のコンピュータプログラムは、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、分類対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順とを実行させるためのプログラムである。
【００１５】
また、本発明のコンピュータプログラムは、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、検索対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順とを実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１７】
図１は、本発明の基本概念について説明するための図であり、図１において、１１、１２、１３及び１４は、模式的に示した画像（静止画）の例を示している。また、２１、２２、２３及び２４は、それぞれ、画像１１、１２、１３及び１４に対応して算出した注目領域のパターン（誘目度のパターン）を模式的に示したものである。画像２１〜２４中で、誘目度は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃがこの順に低く算出されている。なお、本例では、注目領域のパターンを求める際に、「誘目度」を使用しているが、「注目領域の分割」と「誘目度」については、「特開２００１−１２６０７０号公報」に詳細に開示されており、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
【００１８】
図１に示す例で分かるように、画像１１〜１４に示すように異なった構図、異なったオブジェクトの配置は、画像２１〜２４に示すように異なった誘目度のパターンを作り出すことができる。従って、これらの例から、誘目度のパターン（注目領域のパターン）から画像を分類することができることが分かり、また、この誘目度のパターンを利用することにより、多様性のある画像を選択するができることが分かる。
【００１９】
一方、この注目領域の算出方法においては、誘目度のパターンが同一クラスに分類されても、実際に写されているオブジェクトが異なることは十分ありうる。例えば、画像１２と、画像１４は異なったオブジェクトが撮影されているが、画像２２、画像２４に示すように類似の誘目度のパターン画像になりうる。しかしながら、変化をもたせて写真を選び出すという意味では、所定の目的を実現していると考えることができる。
【００２０】
また、本発明の画像検索装置では、画像を分類（又は検索）するにあたり、図２に例示する教師画像のグループ（クラス１〜クラスｍ）を使用することができる。まず、類似の誘目度のパターン画像を幾つか作成し、同一クラスの教師画像を形成する。誘目度のパターン画像は、人為的に作成してもよいし、あるいは事前にクラス分けをした静止画から誘目度のパターン画像を作成して、この誘目度のパターンを基に、各クラスの教師画像を作成してもよい。なお、検索する候補画像が属するクラスの判定方法については、後で詳述する。
【００２１】
また、図３は、本発明の画像検索装置１００が備える手段の構成例を示す図である。図３に示す画像検索装置１００に設けられた各手段は、以下に示す処理を行う。
・検索条件入力手段１０１は、画像をクラス分け（分類）する場合や、画像を検索する場合の、候補画像の範囲、教師画像の指定、その他の検索条件を入力するための手段である。
・画像選択手段１０２は、検索条件入力手段１０１で指定された条件を基にして、候補画像データベース１１１内の候補画像から、順次、１つの候補画像を選び出すための手段（候補画像選択手段１０２ａ）である。また、教師画像データベース１１０から、順次、１つの教師画像を選び出すための手段（教師画像選択手段１０２ｂ）でもある。
・画像読取手段１０３は、候補画像及び教師画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
・注目領域算出手段１０４は、注目領域を算出するための手段である。注目領域算出手段１０４は、候補画像内を複数の領域に分割し、分割した領域ごとに、注目度（誘目度）の程度を２段階以上に区分けし、誘目度のパターン画像を生成する。また、誘目度のパターン画像は教師画像データベース１１０に記録される。
・画像スケーリング手段１０５は、画像、または誘目度のパターン画像のサイズを縮小または拡大するための手段である。
・画像回転手段１０６は、画像、または、誘目度のパターン画像を回転するための手段である。
・パターン識別手段１０７は、誘目度のパターン画像を、教師画像で構成されるパターンのクラス（図２参照）の内の、どのクラスに属するかを判定するための手段である。そのために、候補画像の誘目度のパターンと教師画像のパターンとを比較する。
・検索結果表示手段１０８は、検索した結果を表示するための手段である。
・教師画像データベース（教師画像記憶手段）１１０は、候補画像のクラス分け（分類）や検索を行うために使用する教師画像を記憶するデータベースである。また、教師画像データベース１１０には、クラス分けされた画像と共に、誘目度のパターン画像が格納される、この誘目度のパターン画像は、教師画像として使用することができる。
・候補画像データベース１１１は、検索の対象となる候補画像を格納するデータベースである。なお、クラス分けされた候補画像のクラス分け情報も記録される。
【００２２】
次に、パターン識別手段１０７により、候補画像をクラス分け（分類）する手法について説明する。
（１）まず、誘目度のパターンの類似度を式（１）で定義する。
【数１】

Figure 2004192121
ここで、
ｎ：：分類する画像の画素数
Ｘｉ：分類する画像の画素ｉの誘目度
ｔｍ，ｉ：クラスＫに属する、画像ｍの、画素ｉにおける誘目度
ωｉ：重み係数（＝１）
なお、重み係数ωｉは、本例では‘１’を使用しているが、ユーザの好みや経験値により異なる値とすることができる。
【００２３】
なお、式（１）を適用するに先立って、必要に応じて、次のように誘目度の値を正規化する。あるいは、必要に応じて、通常よく用いるように標準偏差により正規化するようにしてもよい。
【数２】
Figure 2004192121
（２）次に、式（１）の値が最も小さくなる教師画像をＫ個選び出す。選び出した画像数が最も多いクラスを候補画像が属するクラスと考える。Ｋの値は、経験的に設定するものとする。
（３）また、撮影した候補画像は撮像素子の性能により、様々な解像度、例えば、ＶＧＡやＳＶＧＡなどになりうる。式（１）を適用する前に、画像スケーリング手段１０５により、解像度、即ち画像サイズを教師画像の大きさに合わせるものとする。
また、人間によって撮影する場合は手ぶれなどによって、同じ構図で撮影しても、撮影されるオブジェクトの大きさが異なってしまうことは避けられない。同じように、撮影されたオブジェクトが見かけ上、回転してしまうことも避けられない。以上の点を考慮して、式（１）を適用する必要がある。
【００２４】
次に、候補画像のクラス分け（分類）と検索の処理手順について、フローチャートを参照して、さらに詳細に説明する。
【００２５】
図４は、本発明の画像検索装置の処理手順を示す図であり、候補画像のクラス分けと検索の処理手順を示すフローチャートであり、候補画像をクラス分け（分類）した後に、検索処理を行う手順を示すものである。
（１）ステップＳ１０１：検索条件入力手段１０１により、検索対象とする候補画像、教師画像および検索の詳細な条件を指定する。
例えば、以下に示す条件を設定する。
・撮影日時、撮影場所
・検索して抽出する画像の数
・同一クラスに重複して選択しても良い画像数
・誘目度のパターンを教師画像のパターンと比較する際に、誘目度のパターン画像の回転、スケーリング（サイズの縮小・拡大）条件などを指定する。たとえば、回転角は±１０度、スケーリングは９０〜１１０％などと指定する。
【００２６】
（２）ステップＳ１０２：ステップＳ１０１で指定された条件を基に、候補画像データベース１１１から、１つの候補画像を画像選択手段１０２により選択する。
（３）ステップＳ１０３：画像読取手段１０３により、候補画像を構成する各画素のデータ（ＲＧＢ値等）を読み取る。
（４）ステップＳ１０４：注目領域算出手段１０４により、選択した画像の誘目度の計算を行い、誘目度のパターンを生成する。すなわち、画像内を複数の領域に分割し、分割した領域ごとに誘目度を求め、注目度の程度を２段階以上に区分けする。なお、「領域分割」と「誘目度」については、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
【００２７】
（５）ステップＳ１０５：誘目度のパターン画像を、画像スケーリング手段１０５により、教師画像の大きさに合わせる。
（６）ステップＳ１０６：選択した画像が、どのクラスに属するかパターン識別手段１０７により調べる。クラス分けの手法については、前述したパターン識別手段１０７におけるクラス分けの方法を適用する。
（７）ステップＳ１０７：クラス分けができたか判定する。クラス分けの結果については、画像と対応させて候補画像データベース１１１に記憶する。
（８）ステップＳ１０８：クラス分けの判定を再度行うために、画像の変形を行う。指定された条件の範囲内で誘目度の画像パターンの変形と判定が終わったかどうかをチェックする。
【００２８】
（９）ステップＳ１０９：誘目度のパターン画像を変形させても、属するクラスを判定できない場合は、いずれのクラスにも属さない「その他」のクラスと判定する。
（１０）ステップＳ１１０：指定された範囲内で、誘目度のパターン画像を、画像スケーリング手段１０５、画像回転手段１０６により変形させる。
（１１）ステップＳ１１１：全候補画像について処理したかチェックする。未処理の画像があれば、ステップＳ１０２に戻る。全対象画像のクラス分けが終われば、次のステップに進む。
（１２）ステップＳ１１２：検索条件に沿って、画像を選択する。
（１３）ステップＳ１１３：選択した画像を検索結果表示手段１０８によりユーザに表示する。
以上手順により、候補画像のクラス分けと検索が行われ、その結果が表示される。
【００２９】
また、図５は、画像検索装置１００において、最初にクラスを選択し、これと同一クラスに属する画像を検索する場合の処理手順を示すフローチャートである。
（１）ステップＳ２０１：候補画像の範囲、検索対象とするクラスに属する教師画像をユーザが選択する。合わせて、その他の検索条件を指定する。
例えば、以下に示す条件を設定する。
・撮影日時、撮影場所
・検索して抽出する画像の数
・誘目度のパターンを教師画像のパターンと比較する際に、誘目度のパターン画像の回転、スケーリング（サイズの縮小・拡大）条件などを指定する。たとえば、回転角は±１０度、スケーリングは９０〜１１０％などと指定する。
【００３０】
（２）ステップＳ２０２：ステップＳ２０１で指定された条件の基で、候補画像データベース１１１から、１つの候補画像を画像選択手段１０２により選択する。
（３）ステップＳ２０３：画像読取手段１０３により、候補画像を構成する各画素のデータ（ＲＧＢ値等）を読み取る。
（４）ステップＳ２０４：注目領域算出手段１０４により、候補画像の誘目度の計算を行い、誘目度のパターンを生成する。
（５）ステップＳ２０５：誘目度のパターン画像を画像スケーリング手段１０５により、教師画像の大きさに合わせる。
（６）ステップＳ２０６：読み込んだ候補画像が指定されたクラスに属するか調べる。
（７）ステップＳ２０７：パターン識別手段１０７により、候補画像が指定されたクラスに属するかどうかを判定する。
（８）ステップＳ２０８：指定された範囲内で誘目度の画像パターンの変形と判定が終わったかどうかをチェックする。
（９）ステップＳ２０９：誘目度のパターン画像を変形させても、指定クラスに属すると判定できない場合は、いずれのクラスにも属さない「その他」のクラスと判定する。
（１０）ステップＳ２１０：指定された範囲内で、誘目度のパターン画像を、画像回転手段１０６、画像スケーリング手段１０５により変形させる。
（１１）ステップＳ２１１：判定した結果を検索結果表示手段１０８によりユーザに表示する。すなわち、指定されたクラスに属すると判定された画像を表示する。
（１２）ステップＳ２１２：全対象画像について処理したかチェックする。未処理の画像があれば、ステップＳ２０２に戻る。全候補画像の判定が終われば、終了する。
以上説明した処理手順により画像の検索を行うことができる。
【００３１】
また、図６は、画像検索装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図６において、１００は画像検索装置、１はインターネット網などの通信ネットワーク、１１２は画像検索装置と通信ネットワーク１とを接続する通信用インタフェース、１１３は画像検索装置の全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、画像検索装置１００には、ＰＣ（パーソナルコンピュータ）を使用してもよい。
【００３２】
また、処理プログラム部１２０には、以下の処理部が含まれる。
・検索条件入力処理部１２１は、画像をクラス分け（分類）する場合や、画像を検索する場合の、候補画像の範囲、教師画像の指定、その他の検索条件を入力するための処理部である。
・画像選択処理部１２２は、検索条件入力処理部１２１で指定された条件を基にして、候補画像データベース１１１内の候補画像から、順次、１つの候補画像を選び出すための処理部である。また、教師画像データベース１１０から、順次、１つの教師画像を選び出すための処理部でもある。
・画像読取処理部１２３は、候補画像及び教師画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２４は、注目領域を算出するための処理部である。注目領域算出処理部１２４は、候補画像内を複数の領域に分割し、分割した領域ごとに、注目度（誘目度）の程度を２段階以上に区分けし、誘目度のパターン画像を生成する。また、誘目度のパターン画像は教師画像データベース１１０に記録される。
・画像スケーリング処理部１２５は、画像、または誘目度のパターン画像のサイズを縮小または拡大するための処理部である。
・画像回転処理部１２６は、画像、または、誘目度のパターン画像を回転するための処理部である。
・パターン識別処理部１２７は、誘目度のパターン画像を、教師画像で構成されるパターンのクラス（図２参照）の内の、どのクラスに属するかを判定するための処理部である。そのために、候補画像の誘目度のパターンと教師画像のパターンとを比較する。
・検索結果表示処理部１２８は、検索した結果を表示するための処理部である。
【００３３】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像検索装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３４】
また、図６に示す画像検索装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像検索装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３５】
以上、本発明の実施の形態について説明したが、本発明の画像検索装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３６】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００３７】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてＷ．Ｙ．ＭａやＢ．Ｓ．Ｍａｎｊｕｎａｔｈ らが「Ｅｄｇｅ Ｆｌｏｗ：Ａ Ｆｒａｍｅｗｏｒｋ ｏｆ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」に記載した“ｅｄｇｅ ｆｌｏｗ ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度，テクスチャの異質度，形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】本発明の基本概念について説明するための図。
【図２】教師画像の例を示す図。
【図３】本発明の画像検索装置が備える手段の構成例を示す図。
【図４】本発明の画像検索装置の処理手順を示す図。
【図５】同一クラスに属する画像を検索する場合の処理手順を示す図。
【図６】画像検索装置の構成例を示すブロック図。
【符号の説明】
１００ 画像検索装置、１０１ 検索条件入力手段
１０２ 画像選択手段 、１０３ 画像読取手段
１０４ 注目領域算出手段、１０５ 画像スケーリング手段
１０６ 画像回転手段、１０７ パターン識別手段
１０８ 検索結果表示手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image search device, an image classification method, an image search method, and a program for classifying and searching digital images, and in particular, can automatically extract a variety of images from a large number of images. , An image search device, an image classification method, an image search method, and a program.
[0002]
[Prior art]
In recent years, digital cameras have become widespread, and photographed digital images (also simply referred to as "images") are stored in a PC (personal computer) or the like, and later edited on the PC screen to create albums and the like. I'm also doing more.
In such a case, it is necessary to retrieve a digital image stored in a PC or the like to retrieve a desired image from a large number of images. As a method for facilitating the image retrieval, the following method is used. There is a conventional method shown.
(1) External information (shooting location, shooting date and time, shooting content) is added to an image to be searched in advance, and the external information is used for the search.
(2) Also, products that use the feature amount of the image itself are commercially available. For example, there is a commercially available device that arranges a target image in a three-dimensional space based on image feature amounts (colors and shapes) and allows a user to efficiently perform an image search.
[0003]
(3) Also, for example, there is a prior art disclosed in Patent Literature 1 “Image hierarchical classification method, image classification / retrieval apparatus, and recording medium storing a program for executing this method”.
The invention disclosed in Patent Document 1 is a technique for interactively and hierarchically classifying and retrieving images using an image dictionary created in advance. In the present invention, a system is presented to the user with a large classification viewpoint of a region color, a straight line, an object, and an image dictionary for an image set in the middle of navigation. When the user selects the image dictionary, the system presents classification viewpoints such as “human face”, “sky”, and “roof”. When the user selects “person's face”, the system presents a set of portraits, and similarly, for the image set, the user is presented with a small classification viewpoint of region colors, straight lines, objects, and an image dictionary, Classification by selection of the classification viewpoint is performed hierarchically. Since the navigation history is effective for the classification of the image DB, it is stored in the system as classification tree information. By browsing the entire image of the accumulated classification tree using keywords, composite images, and sample images, the image DB can be overviewed.
[0004]
By the way, it is often the case that when a user travels, images (digital photos) are taken out, a certain number of images are later selected from these photos, and a print or electronic album is created. In such a case, the user consciously selects images having different regions, that is, regions of interest, and regions of interest having different patterns.
[0005]
In light of such behavior of the user, the above-described conventional method has the following problems.
In the method of adding external information to images described in the section (1), it is necessary to appropriately add external information to all images. However, adding external information to an image so that a variety of searches can be performed is a very time-consuming task and is not realistic.
In the method using the feature amount of the image itself described in the section (2), it is possible to display a plurality of images having the same feature amount on a screen according to a certain rule and extract a desired image from the displayed images. It is possible, but it is still necessary for the user to select an image in order to have diversity.
In the method disclosed in Patent Document 1 described in the section (3), no technical consideration is taken from the viewpoint of selecting images having diversity, and images having diversity are selected. In this case, the user must select an image with his / her own hand.
Further, even when it is desired to search for an image having a pattern of a similar region of interest at a time, the conventional method cannot cope with it.
[0006]
[Patent Document 1]
JP 2001-160057 A
[0007]
[Problems to be solved by the invention]
The present invention has been made to solve such a problem, and its object is to automatically extract a variety of images from a large number of images, an image search device, an image classification method, It is to provide an image search method and a program.
[0008]
[Means for Solving the Problems]
The present invention has been made to solve the above problems, and an image search device of the present invention is an image search device that stores digital images and performs classification and search of the stored digital images. Candidate image selecting means for selecting a candidate image to be, region-of-interest division of the candidate image, calculating a degree of attention for each of the divided regions, a region-of-interest calculation unit for generating a pattern image of the region of interest, Pattern identification means for classifying the candidate image based on the pattern image of the attention area generated by the attention area calculation means.
With such a configuration, the candidate image selection unit selects a candidate image to be classified, and the attention area calculation unit generates a pattern image of the attention area of the candidate image. Further, the pattern identification means classifies the candidate images based on the pattern image of the attention area. This makes it possible to classify images based on the pattern of the region of interest, and to select an image from a large number of images based on the region of interest, as is normally done by humans.
[0009]
In addition, the image search device of the present invention includes a teacher image storage unit that stores a plurality of teacher images having different patterns of the attention area, and a teacher image that is a reference for classification from among the plurality of teacher images. A teacher image selecting unit, a pattern for comparing the pattern of the attention area of the candidate image to be classified with the pattern of the selected teacher image, and classifying the candidate image based on the selected teacher image. And identification means.
With such a configuration, the teacher image selecting means selects a teacher image to be a reference for classification from the plurality of teacher images, and the pattern identifying means selects the pattern of the attention area of the candidate image and the teacher image. An image pattern is compared with the image pattern, and an image similar to the teacher image is identified and classified. Thus, a candidate image can be classified as a diversified image using a diversified pattern as a teacher image.
[0010]
Further, the image search device of the present invention includes a teacher image selecting means for selecting a teacher image serving as a search reference from among the plurality of teacher images, a pattern of an attention area of the candidate image and the selected image. Pattern identification means for comparing the pattern of the teacher image with the pattern of the teacher image and extracting an image having a pattern that matches or is similar to the selected teacher image.
With such a configuration, the teacher image selecting means selects a teacher image serving as a search reference from among the plurality of teacher images. Then, the pattern identification unit compares the pattern of the attention area of the candidate image with the pattern of the teacher image, and identifies and extracts an image similar to the teacher image. As a result, a variety of patterns can be used as a teacher image, and a variety of images can be extracted (searched) from the candidate images.
[0011]
Further, the image search device of the present invention is an image search device that stores a digital image and performs classification and search of the stored digital image, and a candidate image selection unit for selecting a candidate image to be searched. An attention area calculation unit configured to divide the candidate image into areas, calculate an attention level for each of the divided areas, and generate a pattern image of the attention area, and a teacher that stores a plurality of teacher images having different attention area patterns. Image storage means, teacher image selecting means for selecting a reference teacher image from among the plurality of teacher images, a pattern of an attention area of a candidate image to be searched, and the selected teacher image And a pattern identifying unit for extracting an image having a pattern that matches or is similar to the selected teacher image.
With this configuration, the candidate image selection unit selects a candidate image to be searched, and the attention area calculation unit generates a pattern image of the attention area of the candidate image. Further, the teacher image selecting means selects a teacher image serving as a search reference from the plurality of teacher images. Then, the pattern identification unit compares the pattern of the attention area of the candidate image with the pattern of the teacher image, and identifies and extracts an image that matches or is similar to the pattern of the teacher image. This makes it possible to use a diverse pattern as a teacher image and extract (search) a diverse image based on the pattern of the attention area.
[0012]
Further, the image search method of the present invention is an image classification method in an image search device for storing a digital image and performing classification and search of the stored digital image, wherein a candidate for selecting a candidate image to be classified is provided. An image selection procedure, a region division of the candidate image, a degree of attention calculated for each of the divided regions, a region of interest calculation for generating a pattern image of the region of interest, and a region of interest generated by the region of interest calculation A pattern identification procedure for classifying the candidate image based on the pattern image.
If such a procedure is used, a candidate image to be classified is selected by the candidate image selection procedure, and a pattern image of the attention area of the candidate image is generated by the attention area calculation procedure. Further, according to the pattern identification procedure, the classification of the candidate image is performed based on the pattern image of the attention area. This makes it possible to classify images based on the pattern of the region of interest, and to select an image from a large number of images based on the region of interest, as is normally done by humans.
[0013]
An image search method according to the present invention is an image search method in an image search apparatus for storing a digital image and classifying and searching the stored digital image, wherein the candidate for selecting a candidate image to be searched is provided. An image selection procedure, an area division of the candidate image, an attention degree calculation for calculating an attention degree for each of the divided areas, and a pattern image of the attention area, and a plurality of teacher images having different attention area patterns. A teacher image storing procedure for storing a teacher image from among the plurality of teacher images, a teacher image selecting procedure for selecting a teacher image serving as a search reference, a pattern of an attention area of a candidate image to be searched, and the selection. Comparing the selected teacher image with a pattern of the selected teacher image, and extracting a pattern image matching or similar to the selected teacher image. To.
If such a procedure is used, the candidate image to be searched is selected by the candidate image selection procedure, and a pattern image of the attention area of the candidate image is generated by the attention area calculation procedure. Then, a teacher image serving as a search reference is selected from the plurality of teacher images by the teacher image selecting procedure. Then, by the pattern identification procedure, the pattern of the attention area of the candidate image and the pattern of the teacher image are compared, and an image that matches or is similar to the pattern of the teacher image is identified and extracted. This makes it possible to use a diverse pattern as a teacher image and extract (search) a diverse image based on the pattern of the attention area.
[0014]
In addition, the computer program of the present invention stores a digital image, a computer in an image search device that performs classification and search of the stored digital image, a candidate image selection procedure for selecting a candidate image to be classified, Dividing the candidate image into regions, calculating a degree of attention for each of the divided regions, and generating a pattern image of the region of interest; and a pattern image of the region of interest generated by the region of interest calculation. And a pattern identification procedure for performing the classification of the candidate image based on the program.
[0015]
Further, the computer program of the present invention stores a digital image, a computer in an image search device that performs classification and search of the stored digital image, a candidate image selection procedure for selecting a candidate image to be searched, A region of interest dividing the candidate image, calculating a degree of attention for each of the divided regions, generating a pattern image of the region of interest, and a teacher storing a plurality of teacher images having different patterns of the region of interest. An image storing procedure, a teacher image selecting procedure for selecting a teacher image serving as a reference from the plurality of teacher images, a pattern of an attention area of a candidate image to be searched, and the selected teacher image And a pattern identification procedure for extracting an image of a pattern that matches or is similar to the selected teacher image. Which is the program.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0017]
FIG. 1 is a diagram for explaining the basic concept of the present invention. In FIG. 1, reference numerals 11, 12, 13, and 14 denote examples of images (still images) schematically shown. 21, 22, 23, and 24 schematically show patterns of the attention area (patterns of the degree of attraction) calculated corresponding to the images 11, 12, 13, and 14, respectively. In the images 21 to 24, the attraction degree is calculated to be the highest in the area A, and is calculated to be lower in the area B and the area C in this order. In this example, the “attraction degree” is used when obtaining the pattern of the attention area. However, “division of the attention area” and “attraction degree” are described in Japanese Patent Application Laid-Open No. 2001-126070. It is disclosed in detail, and its outline will be described in the item of “Supplementary explanation on the degree of attraction” described later.
[0018]
As can be seen from the example shown in FIG. 1, different compositions and different arrangements of objects as shown in images 11 to 14 can create different patterns of attractiveness as shown in images 21 to 24. Therefore, it can be seen from these examples that the images can be classified based on the pattern of the degree of interest (the pattern of the attention area). Further, by using the pattern of the degree of interest, a variety of images can be selected. You can see what you can do.
[0019]
On the other hand, in the method of calculating the attention area, even if the pattern of the degree of attraction is classified into the same class, it is sufficiently possible that the actually photographed object is different. For example, although different objects are photographed in the image 12 and the image 14, they can be pattern images having similar attractiveness as shown in the images 22 and 24. However, in the sense that a photograph is selected with a change, it can be considered that the predetermined purpose is realized.
[0020]
In the image search device of the present invention, in classifying (or searching) images, a group of teacher images (class 1 to class m) illustrated in FIG. 2 can be used. First, several pattern images having similar degrees of attraction are created, and teacher images of the same class are formed. The pattern image of the degree of interest may be created artificially, or a pattern image of the degree of interest may be created from a still image classified in advance, and the teacher of each class may be created based on the pattern of the degree of interest. An image may be created. The method of determining the class to which the candidate image to be searched belongs will be described later in detail.
[0021]
FIG. 3 is a diagram showing a configuration example of the means provided in the image search device 100 of the present invention. Each unit provided in the image search device 100 shown in FIG. 3 performs the following processing.
The search condition input unit 101 is a unit for inputting a range of candidate images, designation of a teacher image, and other search conditions when classifying (classifying) images or searching for images.
The image selection means 102 is a means for sequentially selecting one candidate image from the candidate images in the candidate image database 111 based on the condition specified by the search condition input means 101 (candidate image selection means 102a) It is. It is also a means for sequentially selecting one teacher image from the teacher image database 110 (teacher image selecting means 102b).
The image reading unit 103 is a unit for reading a value (RGB value or the like) for each pixel constituting the candidate image and the teacher image.
The attention area calculation means 104 is means for calculating the attention area. The attention area calculation unit 104 divides the candidate image into a plurality of areas, divides the degree of attention (attraction degree) into two or more levels for each of the divided areas, and generates a pattern image of the attention degree. The pattern image of the degree of attraction is recorded in the teacher image database 110.
The image scaling unit 105 is a unit for reducing or enlarging the size of an image or a pattern image of an attractiveness.
The image rotation unit 106 is a unit for rotating an image or a pattern image of the degree of attraction.
The pattern identification unit 107 is a unit for determining which of the classes (see FIG. 2) of the pattern formed by the teacher image the pattern image of the degree of attraction belongs to. For that purpose, the pattern of the degree of attraction of the candidate image is compared with the pattern of the teacher image.
The search result display means 108 is a means for displaying a search result.
The teacher image database (teacher image storage means) 110 is a database that stores teacher images used for classifying (classifying) and searching candidate images. In addition, the teacher image database 110 stores a pattern image of the degree of attraction together with the classified images. The pattern image of the degree of attraction can be used as a teacher image.
The candidate image database 111 is a database that stores candidate images to be searched. Note that the classification information of the classified candidate images is also recorded.
[0022]
Next, a method of classifying (classifying) candidate images by the pattern identification unit 107 will be described.
(1) First, the similarity of the pattern of the attraction level is defined by Expression (1).
(Equation 1)
Figure 2004192121
here,
n: the number of pixels of the image to be classified
Xi: degree of attraction of pixel i of the image to be classified
tm, i: degree of attraction at pixel i of image m belonging to class K
ωi: weight coefficient (= 1)
Although the weighting coefficient ωi uses “1” in this example, it may be different depending on the user's preference or experience value.
[0023]
Prior to applying Equation (1), the value of the degree of attraction is normalized as necessary, as follows. Alternatively, if necessary, the data may be normalized by the standard deviation so as to be often used.
(Equation 2)
Figure 2004192121
(2) Next, K teacher images from which the value of Expression (1) becomes the smallest are selected. The class with the largest number of selected images is considered to be the class to which the candidate image belongs. The value of K is set empirically.
(3) Further, the captured candidate image can have various resolutions, for example, VGA or SVGA, depending on the performance of the image sensor. Before applying Expression (1), the resolution, that is, the image size is adjusted to the size of the teacher image by the image scaling means 105.
In addition, when photographing is performed by a human, it is inevitable that the size of an object to be photographed is different even when photographing is performed in the same composition due to camera shake or the like. Similarly, it is unavoidable that the photographed object apparently rotates. In consideration of the above points, it is necessary to apply equation (1).
[0024]
Next, the processing procedure for classifying (classifying) and searching for candidate images will be described in more detail with reference to flowcharts.
[0025]
FIG. 4 is a flowchart showing the processing procedure of the image search device of the present invention, and is a flowchart showing the processing procedure of classifying and searching candidate images. After the candidate images are classified (classified), search processing is performed. It shows a procedure.
(1) Step S101: The search condition input unit 101 specifies candidate images to be searched, teacher images, and detailed search conditions.
For example, the following conditions are set.
・ Date and time of shooting, location
・ Number of images to search and extract
-Number of images that can be selected in the same class redundantly
When comparing the pattern of the degree of interest with the pattern of the teacher image, the user specifies the rotation, scaling (reduction / enlargement of size) conditions, etc. of the pattern image of the degree of interest. For example, the rotation angle is specified as ± 10 degrees, and the scaling is specified as 90 to 110%.
[0026]
(2) Step S102: One candidate image is selected from the candidate image database 111 by the image selection means 102 based on the conditions specified in Step S101.
(3) Step S103: The image reading means 103 reads data (RGB values, etc.) of each pixel constituting the candidate image.
(4) Step S104: The attention area calculation unit 104 calculates the degree of attraction of the selected image to generate a pattern of the degree of attraction. That is, the inside of the image is divided into a plurality of regions, the degree of interest is calculated for each of the divided regions, and the degree of attention is divided into two or more stages. The “region division” and the “attraction level” will be outlined later in the section “Supplementary description of the attraction level”.
[0027]
(5) Step S105: The pattern image of the degree of attraction is adjusted to the size of the teacher image by the image scaling means 105.
(6) Step S106: The pattern identification unit 107 checks to which class the selected image belongs. As the method of classifying, the classifying method in the pattern identification unit 107 described above is applied.
(7) Step S107: It is determined whether the classification has been completed. The result of the classification is stored in the candidate image database 111 in association with the image.
(8) Step S108: The image is deformed in order to determine the classification again. It is checked whether deformation and determination of the image pattern of the degree of attraction have been completed within the range of the designated condition.
[0028]
(9) Step S109: If the class belonging to the pattern image cannot be determined even if the pattern image of the degree of attraction is deformed, it is determined to be an "other" class that does not belong to any class.
(10) Step S110: The pattern image of the degree of attraction is deformed by the image scaling means 105 and the image rotation means 106 within the designated range.
(11) Step S111: It is checked whether all candidate images have been processed. If there is an unprocessed image, the process returns to step S102. When the classification of all target images is completed, the process proceeds to the next step.
(12) Step S112: An image is selected according to the search condition.
(13) Step S113: The selected image is displayed to the user by the search result display means.
According to the above procedure, the classification and the search of the candidate images are performed, and the results are displayed.
[0029]
FIG. 5 is a flowchart showing a processing procedure when the image search device 100 first selects a class and searches for an image belonging to the same class.
(1) Step S201: The user selects a range of candidate images and a teacher image belonging to a class to be searched. Also specify other search conditions.
For example, the following conditions are set.
・ Date and time of shooting, location
・ Number of images to search and extract
When the pattern of the degree of attraction is compared with the pattern of the teacher image, the rotation and scaling (reduction / enlargement of the size) conditions of the pattern image of the degree of attraction are designated. For example, the rotation angle is specified as ± 10 degrees, and the scaling is specified as 90 to 110%.
[0030]
(2) Step S202: One candidate image is selected from the candidate image database 111 by the image selection means 102 based on the conditions specified in step S201.
(3) Step S203: The image reading means 103 reads data (RGB values and the like) of each pixel constituting the candidate image.
(4) Step S204: The attention area calculation unit 104 calculates the degree of attraction of the candidate image to generate a pattern of the degree of attraction.
(5) Step S205: The pattern image of the degree of attraction is adjusted to the size of the teacher image by the image scaling means 105.
(6) Step S206: It is checked whether the read candidate image belongs to the specified class.
(7) Step S207: The pattern identification means 107 determines whether or not the candidate image belongs to the specified class.
(8) Step S208: It is checked whether or not deformation and determination of the image pattern of the degree of attraction have been completed within the designated range.
(9) Step S209: If the pattern image of the degree of attraction cannot be determined to belong to the specified class even after being deformed, it is determined to be an "other" class that does not belong to any class.
(10) Step S210: The pattern image of the degree of attraction is deformed by the image rotating means 106 and the image scaling means 105 within the designated range.
(11) Step S211: The determined result is displayed to the user by the search result display means 108. That is, an image determined to belong to the specified class is displayed.
(12) Step S212: It is checked whether all target images have been processed. If there is an unprocessed image, the process returns to step S202. When the determination of all candidate images is completed, the process ends.
An image can be searched according to the processing procedure described above.
[0031]
FIG. 6 is a block diagram showing a configuration example of the image search device, and shows only a portion directly related to the present invention. In FIG. 6, reference numeral 100 denotes an image search device, 1 denotes a communication network such as the Internet network, 112 denotes a communication interface for connecting the image search device to the communication network 1, 113 denotes a control unit that controls the entire image search device, Reference numeral 120 denotes a processing program unit. Note that a PC (personal computer) may be used as the image search device 100.
[0032]
Further, the processing program unit 120 includes the following processing units.
The search condition input processing unit 121 is a processing unit for inputting a range of candidate images, designation of a teacher image, and other search conditions when classifying (classifying) images or searching for images. .
The image selection processing unit 122 is a processing unit for sequentially selecting one candidate image from the candidate images in the candidate image database 111 based on the condition specified by the search condition input processing unit 121. It is also a processing unit for sequentially selecting one teacher image from the teacher image database 110.
The image reading processing unit 123 is a processing unit for reading values (eg, RGB values) for each pixel constituting the candidate image and the teacher image.
The attention area calculation processing section 124 is a processing section for calculating the attention area. The attention area calculation processing unit 124 divides the candidate image into a plurality of areas, divides the degree of attention (attraction degree) into two or more stages for each of the divided areas, and generates a pattern image of the attention degree. The pattern image of the degree of attraction is recorded in the teacher image database 110.
The image scaling processing unit 125 is a processing unit for reducing or enlarging the size of an image or a pattern image of an attraction level.
The image rotation processing unit 126 is a processing unit for rotating an image or a pattern image of the degree of attraction.
The pattern identification processing unit 127 is a processing unit for determining to which of the classes (see FIG. 2) of the pattern formed by the teacher image the pattern image of the attractiveness belongs. For that purpose, the pattern of the degree of attraction of the candidate image is compared with the pattern of the teacher image.
The search result display processing unit 128 is a processing unit for displaying a search result.
[0033]
Note that the processing program unit 120 may be realized by dedicated hardware, and the processing program unit includes a general-purpose information processing device such as a memory and a CPU (central processing unit). A program (not shown) for realizing the function of the unit may be loaded into a memory and executed to realize the function. Further, it is assumed that an input device, a display device, a printing device, and the like (all not shown) are connected to the image search device 100 as peripheral devices. Here, the input device refers to an input device such as a keyboard and a mouse. The display device refers to a CRT (Cathode Ray Tube), a liquid crystal display device, or the like. The printing device refers to a laser printer, an inkjet printer, or the like.
[0034]
Also, a program for realizing the functions of the image search device 100 shown in FIG. 6 is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read by a computer system and executed to execute the present invention. The processing necessary for the image search device 100 of the invention may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
The “computer system” includes a homepage providing environment (or a display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a general medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, and a storage device such as a hard disk built in a computer system.
Further, the “computer-readable recording medium” refers to a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, which dynamically holds the program for a short time. In this case, a medium holding a program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client in that case, is also included.
Further, the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in a computer system, that is, a so-called difference file (difference file). Program).
[0035]
Although the embodiment of the present invention has been described above, the image search device of the present invention is not limited to the above-described illustrated example, and various changes can be made without departing from the gist of the present invention. Of course.
[0036]
[Supplementary explanation on the degree of attraction]
In the embodiment of the present invention, “attraction level” is used as a reference for extracting a region of interest. One example of a method of calculating the “attraction level” is disclosed in Japanese Patent Laid-Open No. 2001-126070 (attention region extraction device). And an automatic composition determination device using the same).
Here, only the outline will be described.
To extract a region of interest, the degree of attraction is evaluated according to the physical characteristics of the original image. Here, the degree of attraction means a parameter suitable for human subjectivity. The region of interest is extracted by extracting a region that stands out from the evaluation result as a region of interest. In other words, when the attention area is evaluated, the evaluation is performed in accordance with the human subjectivity according to the physical characteristics, so that the attention area suitable for the human subjectivity can be extracted.
For example, when the physical characteristics include the degree of heterogeneity of color, the degree of attraction can be evaluated based on the difference in color of each region.
In addition, since the physical characteristics further include, in addition to the color heterogeneity, the shape heterogeneity, the area heterogeneity, and the texture (pattern) heterogeneity, the physical heterogeneity is determined based on at least one of the four heterogeneities. By evaluating the degree of eye-catching, the degree of eye-catching can be accurately evaluated according to the characteristics of the original image.
In the case where three color components (hue, saturation, and lightness) are also evaluated, a region close to a prominent color (red) according to human subjectivity can be evaluated as the most prominent region.
Furthermore, by evaluating the spatial frequency and the area of each region in the original image, the evaluation of the most prominent region can be more accurately determined.
[0037]
The evaluation of the degree of attraction is performed according to the following procedure.
(1) First, the original image is divided into regions. In this case, the original image is divided into a drawing area and a picture area. The method of this area division is described in W.I. Y. Ma and B. S. A boundary detection method based on "edge flow" described in "Edge Flow: A Framework of Boundary Detection and Image Segmentation" by Manjunath et al. Is applied.
(2) Next, the divided figure region is extracted, and the degree of attraction of the region is evaluated.
The evaluation of the degree of attraction is roughly performed as follows.
First, determine the degree of heterogeneity attraction in each area. In this case, the heterogeneity of color, the heterogeneity of texture, the heterogeneity of shape, and the heterogeneity of area are obtained, and weighting factors are assigned to each of them to perform linear combination, thereby obtaining the heterogeneity attractiveness of each region.
Next, the feature attractiveness in each area is obtained. In this case, the attraction of color, the attraction of spatial frequency, and the attraction of area are obtained, and weighting factors are assigned to each of them to perform linear combination to obtain the characteristic attraction of each region.
Next, the heterogeneous attractiveness and the feature attractiveness of each area are added to obtain a feature integrated value, and the feature integrated value is evaluated by a predetermined beta function to calculate the attractiveness.
(3) Also, a pattern diagram in which the degree of attraction is evaluated is generated from the original image.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a basic concept of the present invention.
FIG. 2 is a diagram showing an example of a teacher image.
FIG. 3 is a diagram showing a configuration example of means provided in the image search device of the present invention.
FIG. 4 is a diagram showing a processing procedure of the image search device of the present invention.
FIG. 5 is a diagram showing a processing procedure when searching for images belonging to the same class.
FIG. 6 is a block diagram illustrating a configuration example of an image search device.
[Explanation of symbols]
100 image search device, 101 search condition input means
102 image selecting means, 103 image reading means
104 attention area calculation means, 105 image scaling means
106 image rotation means, 107 pattern identification means
108 Search result display means

Claims (8)

デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、
分類対象となる候補画像を選択するための候補画像選択手段と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、
前記注目領域算出手段により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手段と
を具備することを特徴とする画像検索装置。An image search device that stores a digital image and performs classification and search of the stored digital image,
Candidate image selecting means for selecting a candidate image to be classified;
A region of interest dividing the candidate image, calculating a degree of attention for each of the divided regions, and a region of interest calculation unit for generating a pattern image of the region of interest;
An image search device comprising: a pattern identification unit configured to classify the candidate image based on the pattern image of the attention area generated by the attention area calculation unit. 注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、
前記複数の教師画像の中から、分類の基準となる教師画像を選択するための教師画像選択手段と、
前記分類対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像を基に前記候補画像を分類するためのパターン識別手段と
を具備することを特徴とする請求項１に記載の画像検索装置。Teacher image storage means for storing a plurality of teacher images having different patterns of the attention area,
Teacher image selecting means for selecting a teacher image to be a reference for classification from the plurality of teacher images,
Pattern identifying means for comparing the pattern of the attention area of the candidate image to be classified with the pattern of the selected teacher image, and classifying the candidate image based on the selected teacher image. The image search device according to claim 1, wherein: 前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、
前記候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段と
を具備することを特徴とする請求項２に記載の画像検索装置。Teacher image selecting means for selecting a teacher image serving as a reference for search from among the plurality of teacher images,
Pattern identification means for comparing the pattern of the attention area of the candidate image with the pattern of the selected teacher image, and extracting an image of a pattern that matches or is similar to the selected teacher image. 3. The image search device according to claim 2, wherein: デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、
検索対象となる候補画像を選択するための候補画像選択手段と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、
注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、
前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、
検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段と
を具備することを特徴とする画像検索装置。An image search device that stores a digital image and performs classification and search of the stored digital image,
Candidate image selecting means for selecting a candidate image to be searched;
A region of interest dividing the candidate image, calculating a degree of attention for each of the divided regions, and a region of interest calculation unit for generating a pattern image of the region of interest;
Teacher image storage means for storing a plurality of teacher images having different patterns of the attention area,
Teacher image selecting means for selecting a teacher image serving as a reference for search from among the plurality of teacher images,
Pattern identification means for comparing the pattern of the attention area of the candidate image to be searched with the pattern of the selected teacher image and extracting an image of a pattern that matches or is similar to the selected teacher image. An image search device characterized by performing: デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像分類方法であって、
分類対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順と
を含むことを特徴とする画像分類方法。An image classification method in an image search device for storing a digital image and performing classification and search of the stored digital image,
A candidate image selection procedure for selecting candidate images to be classified;
A region-of-interest division process for dividing the candidate image into regions, calculating a degree of attention for each of the divided regions, and generating a pattern image of the region of interest;
A pattern identification procedure for classifying the candidate image based on the pattern image of the attention area generated by the attention area calculation procedure. デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像検索方法であって、
検索対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、
前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、
検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順と
を含むことを特徴とする画像検索方法。An image search method in an image search device that stores a digital image and performs classification and search of the stored digital image,
A candidate image selection procedure for selecting candidate images to be searched;
A region-of-interest division process for dividing the candidate image into regions, calculating a degree of attention for each of the divided regions, and generating a pattern image of the region of interest;
A teacher image storing procedure for storing a plurality of teacher images having different patterns of the attention area,
A teacher image selecting procedure for selecting a teacher image to be a reference for search from among the plurality of teacher images,
Comparing the pattern of the attention area of the candidate image to be searched with the pattern of the selected teacher image, and extracting a pattern image that matches or is similar to the selected teacher image. An image search method, characterized in that: デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、
分類対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順と
を実行させるためのプログラム。In the computer in the image search device that stores the digital images and classifies and searches the stored digital images,
A candidate image selection procedure for selecting candidate images to be classified;
A region-of-interest division process for dividing the candidate image into regions, calculating a degree of attention for each of the divided regions, and generating a pattern image of the region of interest;
A program for executing a pattern identification procedure for classifying the candidate image based on the pattern image of the attention area generated by the attention area calculation procedure. デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、
検索対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、
前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、
検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順と
を実行させるためのプログラム。In the computer in the image search device that stores the digital images and classifies and searches the stored digital images,
A candidate image selection procedure for selecting candidate images to be searched;
A region-of-interest division process for dividing the candidate image into regions, calculating a degree of attention for each of the divided regions, and generating a pattern image of the region of interest;
A teacher image storing procedure for storing a plurality of teacher images having different patterns of the attention area,
A teacher image selecting procedure for selecting a teacher image to be a reference for search from among the plurality of teacher images,
Comparing the pattern of the attention area of the candidate image to be searched with the pattern of the selected teacher image, and executing a pattern identification procedure for extracting an image of a pattern that matches or is similar to the selected teacher image. Program to let you.
JP2002356681A 2002-12-09 2002-12-09 Image retrieval device, image classification method, image retrieval method, and program Withdrawn JP2004192121A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002356681A JP2004192121A (en) 2002-12-09 2002-12-09 Image retrieval device, image classification method, image retrieval method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002356681A JP2004192121A (en) 2002-12-09 2002-12-09 Image retrieval device, image classification method, image retrieval method, and program

Publications (1)

Publication Number Publication Date
JP2004192121A true JP2004192121A (en) 2004-07-08

Family

ID=32756955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002356681A Withdrawn JP2004192121A (en) 2002-12-09 2002-12-09 Image retrieval device, image classification method, image retrieval method, and program

Country Status (1)

Country Link
JP (1) JP2004192121A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006018886A1 (en) * 2004-08-19 2006-02-23 Mitsubishi Denki Kabushiki Kaisha Image search method and image search device
JP2007199749A (en) * 2004-08-19 2007-08-09 Mitsubishi Electric Corp Image retrieval method and image retrieval device
KR100790865B1 (en) 2005-01-10 2008-01-03 삼성전자주식회사 Method and apparatus for clustering digital photos based situation and system method for abuming using it
JP2008242543A (en) * 2007-03-26 2008-10-09 Canon Inc Image retrieval device, image retrieval method for image retrieval device and control program for image retrieval device
JP2008282099A (en) * 2007-05-08 2008-11-20 Canon Inc Image retrieval device, image retrieval method and program thereof, and storage medium
JP2016218652A (en) * 2015-05-19 2016-12-22 シャープ株式会社 Display device, information processing program, and information processing method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006018886A1 (en) * 2004-08-19 2006-02-23 Mitsubishi Denki Kabushiki Kaisha Image search method and image search device
JP2007199749A (en) * 2004-08-19 2007-08-09 Mitsubishi Electric Corp Image retrieval method and image retrieval device
US7724944B2 (en) 2004-08-19 2010-05-25 Mitsubishi Electric Corporation Image retrieval method and image retrieval device
CN1973299B (en) * 2004-08-19 2010-08-11 三菱电机株式会社 Image search method and image search device
JP4632830B2 (en) * 2004-08-19 2011-02-16 三菱電機株式会社 Image search method and image search apparatus
KR100790865B1 (en) 2005-01-10 2008-01-03 삼성전자주식회사 Method and apparatus for clustering digital photos based situation and system method for abuming using it
JP2008242543A (en) * 2007-03-26 2008-10-09 Canon Inc Image retrieval device, image retrieval method for image retrieval device and control program for image retrieval device
JP2008282099A (en) * 2007-05-08 2008-11-20 Canon Inc Image retrieval device, image retrieval method and program thereof, and storage medium
US8532431B2 (en) 2007-05-08 2013-09-10 Canon Kabushiki Kaisha Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts
JP2016218652A (en) * 2015-05-19 2016-12-22 シャープ株式会社 Display device, information processing program, and information processing method

Similar Documents

Publication Publication Date Title
US10810454B2 (en) Apparatus, method and program for image search
US11615559B2 (en) Methods and systems for human imperceptible computerized color transfer
US6711291B1 (en) Method for automatic text placement in digital images
EP1555634A1 (en) Method and apparatus for automatically determining image foreground color
EP1288798A2 (en) Method and system for automated grouping of images
US9336442B2 (en) Selecting images using relationship weights
JP2004361987A (en) Image retrieval system, image classification system, image retrieval program, image classification program, image retrieval method, and image classification method
EP1516264A2 (en) Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance
TW201443807A (en) Visual clothing retrieval
JP2004522228A (en) A method for representing and comparing digital images.
JP2001084274A (en) Image retrieval method and image processing method
JP2002288687A (en) Device and method for calculating feature amount
US20030080974A1 (en) Display of static digital images
JP2011039944A (en) Image processor, image processing method, and image processing program
JP2004192121A (en) Image retrieval device, image classification method, image retrieval method, and program
WO2020235862A1 (en) Image manipulation
JP2007199749A (en) Image retrieval method and image retrieval device
JP2004228995A (en) Image trimming device, image trimming method, and program
JP4348956B2 (en) Image layout apparatus, image layout method, and program in image layout apparatus
JP4148642B2 (en) Similar image search device and computer-readable recording medium
JP2005208740A (en) Sub-image search apparatus and sub-image search program
JP2003330941A (en) Similar image sorting apparatus
WO1999017250A1 (en) Image comparing system
JP2011043954A (en) Image processor, image processing method, and image processing program
JP2008148183A (en) Image processor, image processing method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050530

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20071217