JP2003076695A - 画像検索装置及びその方法、プログラム - Google Patents

Abstract

(57)【要約】 【課題】 キーワード検索をより効率的にかつ簡単に実
行することができる画像検索装置及びその方法、プログ
ラムを提供する。 【解決手段】 登録対象の画像データを入力し、入力し
た画像データに付与する付帯情報を入力する。次に、そ
の付帯情報に基づいて、該画像データを分類する。そし
て、分類結果に基づいて、前記付帯情報を表示する付帯
情報表示部と、検索条件を設定する検索条件設定部と、
前記検索条件に基づく検索を指示する検索指示部とを同
一画面上に表示し、その検索指示部に対する指示に基づ
いて、前記検索条件に対応する画像データを検索する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像データ
とその付帯情報を管理し、その管理されている付帯情報
より所望の画像データを検索する画像検索装置及びその
方法、プログラムに関するものである。

【０００２】

【従来の技術】近年、写真をデジタル信号としてメモリ
カード等の記憶媒体に記憶する電子スチルカメラが提供
されている。これらの電子スチルカメラで撮影された写
真等の画像データは、従来の銀塩フィルムを用いたカメ
ラで撮影された写真と比べ、光メモリなどの可搬性メモ
リに記憶することにより物理的なスペースを必要とする
ことなく大量に保持することが可能になっている。

【０００３】従来、このような大量に蓄積された画像デ
ータの中から所望とする画像データを検索する方法とし
て、画像データの個々にキーワードを付与し、操作者が
指定した検索条件と付与されたキーワードと比較し検索
を行う手法がある。以降、この手法を、キーワード検索
と呼ぶ。

【０００４】このキーワード検索は、あらかじめ用意さ
れた入力フィールドに操作者が検索条件を入力する。検
索条件において、自然言語文での記述や論理演算子など
でキーワードを複数指定することも可能である。また、
キーワードを指定する方法として、操作者が先頭文字を
入力すると、その先頭文字と同じキーワードが画像デー
タベースより検索されリストから選択する方法も存在す
る。

【０００５】また、キーワード検索の別の手法として、
あらかじめ意味毎に階層化したディレクトリ構造を持
ち、その階層化名をキーワードとし、これらの階層を提
示してキーワードを付与、もしくは分類させ検索する手
法が存在する。例えば、特開平７−１２９６２１号公報
等において、これらの手法についての提案がなされてい
る。また、これの応用として、キーワードに対しシソー
ラス辞書を用いて自動的に分類を行う手法が存在する。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の画像データ検索で、特に、キーワード検索では、所
望とする画像データに適切なキーワードを見出して検索
条件文において指定することが必要である。

【０００７】例えば、蓄積された画像データに付与され
たキーワードをあらかじめ認知していれば簡単に検索を
することは可能であるが、認知していない場合、操作者
が適切なキーワードを思考錯誤しながら検索を行わなけ
ればならない。

【０００８】また、階層化名によるキーワード検索で
は、操作者があらかじめ階層化を理解しておく必要があ
り、また、キーワードを付与する度に階層構造をたどら
なければならず面倒であった。加えて、検索条件として
１つのキーワードのみしか検索が行えない。例えば、キ
ーワードが「海にいる子供」が付与された画像データを
検索する場合、上記の方法で「海」もしくは「子供」の
いずれかにより検索を行い、その中で操作者が自ら「海
にいる子供」を検索する必要があった。

【０００９】本発明は上記の課題に鑑みてなされたもの
であり、キーワード検索をより効率的にかつ簡単に実行
することができる画像検索装置及びその方法、プログラ
ムを提供することを目的とする。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像検索装置は以下の構成を備える。
即ち、複数の画像データとその付帯情報を管理し、その
管理されている付帯情報より所望の画像データを検索す
る画像検索装置であって、登録対象の画像データを入力
する画像入力手段と、前記画像入力手段によって入力し
た画像データに付与する付帯情報を入力する付帯情報入
力手段と、前記画像データの付帯情報に基づいて、該画
像データを分類する分類手段と、前記分類手段による分
類結果に基づいて、前記付帯情報を表示する付帯情報表
示部と、検索条件を設定する検索条件設定部と、前記検
索条件に基づく検索を指示する検索指示部とを同一画面
上に表示する表示制御手段と、前記検索指示部に対する
指示に基づいて、前記検索条件に対応する画像データを
検索する検索手段とを備える。

【００１１】また、好ましくは、前記分類手段は、前記
付帯情報に対する意味分類情報及び品詞情報をシソーラ
ス辞書から取得する取得手段と、前記意味分類情報及び
品詞情報に基づいて、前記画像データの分類を決定する
決定手段とを備える。

【００１２】また、好ましくは、前記決定手段は、前記
取得手段で意味分類情報が取得できない場合、前記画像
データの分類に任意の分類を設定する。

【００１３】また、好ましくは、前記付帯情報表示部
は、前記決定手段で決定された分類名を表示する分類名
表示部と、前記分類名表示部で表示される分類名に対す
る分類内付帯情報を表示する分類内付帯情報表示部と、
を備える。

【００１４】また、好ましくは、前記表示制御手段は、
前記分類内付帯情報表示部で表示される分類内付帯情報
が追加選択される場合、該分類内付帯情報を前記検索条
件設定部の設定内容に追加する。

【００１５】また、好ましくは、前記表示制御手段は、
前記分類内付帯情報表示部で表示される分類内付帯情報
が削除選択される場合、該分類内付帯情報を前記検索条
件設定部の設定内容から削除する。

【００１６】また、好ましくは、前記分類内付帯情報
は、キーワード及びそれに対応する代表画像を少なくと
も含む。

【００１７】また、好ましくは、前記表示制御手段は、
前記代表画像が選択される場合、該代表画像に対応する
キーワードを前記検索条件設定部の設定内容に追加す
る。

【００１８】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、複数の画像
データとその付帯情報を管理し、その管理されている付
帯情報より所望の画像データを検索する画像検索方法で
あって、登録対象の画像データを入力する画像入力工程
と、前記画像入力工程によって入力した画像データに付
与する付帯情報を入力する付帯情報入力工程と、前記画
像データの付帯情報に基づいて、該画像データを分類す
る分類工程と、前記分類工程による分類結果に基づい
て、前記付帯情報を表示する付帯情報表示部と、検索条
件を設定する検索条件設定部と、前記検索条件に基づく
検索を指示する検索指示部とを同一画面上に表示する表
示制御工程と、前記検索指示部に対する指示に基づい
て、前記検索条件に対応する画像データを検索する検索
工程とを備える。

【００１９】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、複数の画像デ
ータとその付帯情報を管理し、その管理されている付帯
情報より所望の画像データを検索する画像検索をコンピ
ュータに機能させるためのプログラムであって、登録対
象の画像データを入力する画像入力工程のプログラムコ
ードと、前記画像入力工程によって入力した画像データ
に付与する付帯情報を入力する付帯情報入力工程のプロ
グラムコードと、前記画像データの付帯情報に基づい
て、該画像データを分類する分類工程と、前記分類工程
による分類結果に基づいて、前記付帯情報を表示する付
帯情報表示部と、検索条件を設定する検索条件設定部
と、前記検索条件に基づく検索を指示する検索指示部と
を同一画面上に表示する表示制御工程のプログラムコー
ドと、前記検索指示部に対する指示に基づいて、前記検
索条件に対応する画像データを検索する検索工程のプロ
グラムコードとを備える。

【００２０】

【発明の実施の形態】以下、添付の図面を参照して、本
発明の実施形態を説明する。

【００２１】図１は本実施形態の画像検索装置の構成例
を示すブロック図である。

【００２２】１１は本画像検索装置である。１２は本画
像検索装置１１の制御の中心となるＣＰＵである。１３
は本実施形態の画像検索を行うためのプログラムを含む
各種プログラム及びデータテーブル等の各種データを保
存するＲＯＭである。１４は各種プログラムを実行する
ための作業領域、データの一時退避領域として機能する
ＲＡＭである。１５は本画像検索装置１１の処理状況
や、キーワード等の各種データを入力するための検索画
面を含む各種操作画面を表示するための表示部である。
この表示部１５は、例えば、ＣＲＴやＬＣＤで構成され
る。

【００２３】１６は外部記憶装置及び外部入出力装置と
接続するための周辺コントローラ部である。１７は画像
データを保存するための外部記憶装置である。１８、１
９は画像データを生成するデジタルカメラ、デジタルビ
デオカメラである。操作者がデジタルカメラ１８やデジ
タルビデオカメラ１９で取得した画像データは、外部記
憶装置１７やＲＯＭ１３に保持される。２０はマウスや
キーボードなどの入力装置である。

【００２４】図２は本実施形態の画像検索装置における
画像情報テーブルの構成例を示す図である。

【００２５】この画像情報テーブルは、図１のＲＯＭ１
３もしくは外部記憶装置１７において保持されている。
画像情報テーブルは、操作者がデジタルカメラ１８やデ
ジタルビデオカメラ１９で取得した画像データファイル
名とその画像データを識別する画像ＩＤから構成され
る。例えば、画像データファイル「flower01.jpg」に
は、画像ＩＤ「００１」が割り当てられている。

【００２６】尚、図２では、画像ＩＤとして、任意の数
値（連番）を用いたが、これに限定されず、画像データ
ファイル名が一意となる場合、画像データファイル名を
画像ＩＤとして用いてもよい。

【００２７】図３は本実施形態の画像検索装置における
キーワード情報テーブルの構成例を示す図である。

【００２８】このキーワード情報テーブルは、図１のＲ
ＯＭ１３もしくは外部記憶装置１７において保持されて
いる。キーワード情報テーブルは、画像データを示す画
像ＩＤとその画像データに付与されているキーワード及
びそのキーワードの重要度を示すキーワード重要度から
構成される。

【００２９】本実施形態では、キーワードの重要度は、
画像の主題的な言葉の場合「３」を、その言葉で検索し
て表示された場合に満足である場合は「２」、重要では
ないが妥当なキーワードである場合は「１」が付与され
ている。

【００３０】尚、重要度の基準は、これに限定されず、
画像に付与されたキーワードの重要度を示すものであれ
ば、どのようなものでも良い。

【００３１】図３において、例えば、画像ＩＤ「００
１」には、キーワードが「花」、「赤い」、「公園」が
付与されており、それぞれのキーワードの重要度とし
て、「花＝３」、「赤い＝１」、「公園＝１」が付与さ
れている。

【００３２】図４は本実施形態の画像検索装置における
シソーラス辞書の構成例を示す図である。

【００３３】このシソーラス辞書は、図１のＲＯＭ１３
もしくは外部記憶装置１７において保持されている。シ
ソーラス辞書は、単語表記を示す見出語と、その意味的
分類を示す意味分類と、品詞とから構成される。

【００３４】図４において、例えば、見出語「公園」に
は、品詞が「名詞」、意味分類が「具体物：製造物：抽
象物：場所」となっている。この場合、「具体物（第一
階層）、製造物（第二階層）」と「抽象物（第一階
層）、場所（第二階層）」の２つの意味を持つことを示
す。また、見出語「赤い」には、品詞が「形容詞」、意
味分類はなしとなっている。

【００３５】尚、本実施形態では、シソーラス辞書内に
おいて、品詞も構成要素となっているがこれとは別に単
語辞書として別に構成してもよい。

【００３６】図５は本実施形態の画像検索装置における
キーワード分類情報テーブルの構成例を示す図である。

【００３７】このキーワード分類情報テーブルは、図１
のＲＯＭ１３もしくは外部記憶装置１７において保持さ
れている。キーワード分類情報テーブルは、分類内容を
示す分類名と、その分類に対応するキーワードと、その
キーワードにおける代表画像の画像ＩＤと、蓄積された
画像データのキーワードにおけるそのキーワードの重要
度を加算した値であるレベルから構成される。このレベ
ルは、重要度が高くなおかつそのキーワードが多くの画
像に付与されている場合にレベルが高くなる。

【００３８】図５において、例えば、キーワード「魚」
は、分類名が「動物」、代表画像の画像ＩＤが「０３
９」、レベルが「１２」となっている。この代表画像
は、蓄積された画像データの中からキーワード「魚」が
付与されている画像データの１つが選択される。また、
キーワード「魚」は、キーワード「象」やキーワード
「犬」よりも、重要度が高くなっている。

【００３９】図６は本実施形態の画像検索装置における
検索画面の一実施形態を示す図である。

【００４０】この検索画面６００は、図１のＣＰＵ１２
の制御により表示部１５において表示される。

【００４１】検索画面６００は、画像データの分類名を
表示する分類名表示部６１と、その分類に対応するキー
ワード数を表示するキーワード数表示部６２と、その分
類に対応するキーワードを表示するキーワード表示部６
３と、そのキーワードに対する画像データ例（代表画
像）を表示する代表画像表示部６４と、検索条件のキー
ワードを設定する検索条件設定部６５と、検索の実行を
指示する検索実行指示部６６から構成される。

【００４２】尚、本実施形態では、キーワード表示部６
３は、チェックボックスで構成されているものとする。
しかし、この構成は、これに限定されず、ボタン等のキ
ーワードの指定の有無を判断できるものであれば、どの
ようなものでも良い。もしくは、入力装置２０により選
択し、検索条件設定部６５にドラック＆ドロップするこ
とにより、そのキーワードが自動的に設定されても構わ
ない。また、代表画像表示部６４においても、この代表
画像の選択の有無を判断できるもので構成されており、
本実施形態では、ボタン上に画像データが表示されるよ
うになっている。

【００４３】図６において、例えば、画像データは、分
類名表示部６１で、その分類名として、「動物」、「人
間」、「植物」、「場所」、「製造物」、「抽象物」に
分類されている。また、キーワード数表示部６２では、
そのキーワード数として、「動物」が「５０」、「人
間」が「１００」、「植物」が「４０」、「場所」が
「９９」、「製造物」が「１２」、「抽象物」が「５
０」となっている。また、キーワード表示部６３では、
例えば、分類名が「動物」に対応する画像データに付与
されているキーワードとして、「魚」、「象」、「犬」
が存在している。また、各キーワードには、その隣の代
表画像表示部６４で対応する代表画像が表示されてい
る。

【００４４】図７は本実施形態の画像検索装置における
異表記同義語辞書の構成例を示す図である。

【００４５】この異表記同義語辞書は、図１のＲＯＭ１
３もしくは外部記憶装置１７において保持されている。
異表記同義語辞書は、見出語と、その見出語にあてはま
る異表記もしくは同義語から構成される。例えば、見出
語「花」は、「フラワー」、「ｆｌｏｗｅｒ」、「お
花」などの異表記もしくは同義語が存在している。

【００４６】図８は本実施形態の画像検索装置における
下位概念単語辞書の構成例を示す図である。

【００４７】この下位概念単語辞書は、図１のＲＯＭ１
３もしくは外部記憶装置１７において保持されている。
下位概念単語辞書は、見出語と、その見出語に対応する
下位概念を示す単語及びその階層を示すレベルから構成
される。例えば、見出語「車」は、「ポルシェ」、「バ
イク」、「トラック」、「車輪」などの下位概念の単語
が存在しており、それぞれレベルとして「ポルシェ＝
０．８」、「バイク＝０．６４」、「トラック＝０．６
４」、「車輪＝０．５５」が付与されている。

【００４８】そして、本実施形態では、画像データと、
図２〜図５、図７、図８で説明した各種情報をその画像
データの付帯情報とし、この付帯情報と画像データを対
応づけたデータベースを構築している。

【００４９】次に、本実施形態の画像検索装置の画像検
索処理について説明する。

【００５０】図９は本実施形態の画像検索装置における
キーワード登録処理を示すフローチャートである。

【００５１】まず、ステップＳ１１１において、新規登
録対象の画像データ及びそれに付与するキーワードの入
力が終了したか否かを判定する。入力が終了していない
場合、ステップＳ１１２に進み、入力装置２０により既
に外部記憶装置１７もしくはＲＯＭ１３に記憶されてい
る新規登録対象の画像データを、もしくはデジタルカメ
ラ１８及びデジタルビデオ１９で生成された新規登録対
象の画像データを周辺コントローラ１６を経由して、取
得する。

【００５２】次に、ステップＳ１１３において、ステッ
プＳ１１２で取得した画像データに付与するキーワード
を入力装置２０より入力する。ステップＳ１１４におい
て、ステップＳ１１３で入力したキーワードの重要度を
入力する。本実施形態では、重要度を操作者により入力
装置２０より入力することとしているが、キーワードの
入力順位により重要度を自動的に付与してもよい。尚、
これらキーワード及び重要度の入力は、不図示の入力画
面を用いて行う。

【００５３】そして、ステップＳ１１５において、ステ
ップＳ１１２で取得した画像データに付与するキーワー
ド及び重要度の入力が終了するまで、ステップＳ１１３
からステップＳ１１４の処理を繰り返す。また、ステッ
プＳ１１２で取得された画像データ、ステップＳ１１３
及びステップＳ１１４で入力したキーワード及び重要度
は、それぞれ、ＲＡＭ１４に保持される。

【００５４】ステップＳ１１５において、取得した画像
データに付与するキーワードの入力が終了した場合、ス
テップＳ１１６において、ＲＡＭ１４に保持したそれぞ
れのデータをデータベースに登録する。このデータベー
スは、上述の各テーブルをデータベースとして登録し、
外部記憶装置１７もしくはＲＯＭ１３に保持される。ま
た、各テーブルは、インデックスを作成し高速化を行う
構成になっている。

【００５５】具体的には、ステップＳ１１２で取得した
画像データを、図２の画像情報テーブルの画像データフ
ァイル名に登録し、画像ＩＤを割り当てる。次に、ステ
ップＳ１１３で入力したキーワードとステップＳ１１４
で入力した重要度を図３のキーワード情報テーブルに保
持する。以降、新規登録対象の画像データ及びそれに付
与するキーワードの入力が終了するまで、ステップＳ１
１１からステップＳ１１６の処理を繰り返す。

【００５６】一方、ステップＳ１１１において、新規登
録対象の画像データ及びキーワードの入力が終了した場
合、以降の処理において、入力されたキーワードの分類
を行う。

【００５７】まず、ステップＳ１１７において、入力し
たキーワードを取得する。次に、ステップＳ１１８にお
いて、図５のキーワード分類情報テーブルにおいて、入
力したキーワードが既にキーワード分類情報テーブルに
登録されているか否かを判定する。ステップＳ１１８に
おいて、入力したキーワードが既にキーワード分類情報
テーブルに登録されている場合、ステップＳ１２５に進
む。

【００５８】一方、ステップＳ１１８において、入力し
たキーワードが既にキーワード分類情報テーブルに登録
されていない場合、ステップＳ１１９、ステップＳ１２
０において、キーワードに対する意味分類及び品詞を図
４のシソーラス辞書を用いて取得する。次に、ステップ
Ｓ１２１において、その取得した意味分類及び品詞に基
づいて、キーワードに対する分類名を決定する。

【００５９】尚、ステップＳ１１９において、意味分類
が取得できなかった単語は、ステップＳ１２０における
品詞を参照し、品詞が助詞、助動詞、接続詞、代名詞な
どの意味を持たない単語以外は、「抽象物」とし分類す
る。ここで「抽象物」と分類したが、他の品詞において
設定される意味分類と区別できればよい。また、本実施
形態においては、分類項目としては、「人間」、「植
物」、「動物」、「場所」、「製造物」、「抽象物」と
分類したが、この分類だけに限らない。

【００６０】次に、ステップＳ１２２において、ステッ
プＳ１２１で決定された分類名を、図５のキーワード分
類情報テーブルの分類名に登録する。ステップＳ１２３
において、登録したキーワードを検索条件文として設定
しキーワード検索を行って代表画像を取得するキーワー
ド検索処理を行う。このキーワード検索処理の詳細につ
いては、図１０を用いて後述する。

【００６１】ステップＳ１２４において、キーワード検
索によって検索された画像データ群の中で一番もっとも
らしい画像データを代表画像として設定する。取得され
た代表画像は、図５のキーワード分類情報テーブルの代
表画像に登録される。次に、ステップＳ１２５におい
て、入力したキーワードの分類が終了するまで、ステッ
プＳ１１７からステップＳ１２５の処理を繰り返す。

【００６２】一方、ステップＳ１２５において、入力し
たキーワードの分類が終了した場合、ステップＳ１２６
において、分類内でキーワードが増えた分類に限り意味
分類順位処理を行う。この意味分類順位処理の詳細につ
いては、図１２を用いて後述する。この処理で取得され
たキーワードの順位は、図５のキーワード分類情報テー
ブルにおけるレベルに反映される。

【００６３】次に、図９のステップＳ１２３のキーワー
ド検索処理の詳細について、図１０を用いて説明する。

【００６４】図１０は本実施形態の画像検索装置におけ
るキーワード検索処理の詳細を示すフローチャートであ
る。

【００６５】まず、ステップＳ２３１において、検索す
る検索条件文とするキーワードを取得する。次に、ステ
ップＳ２３２において、自然言語処理により、検索条件
文を単語に分割する。この自然言語処理については、既
存の自然言語処理を用いることとし、その説明は省略す
る。尚、分割された単語において、品詞を参照し助詞や
助動詞などの具体物もしくは抽象物を示さない単語は、
この分割単語より削除する。

【００６６】次に、ステップＳ２３３において、ステッ
プＳ２３２で単語分割されたそれぞれの単語において、
異表記及び同義語を図７の異表記同義語辞書により取得
して、異表記・同義語検索キーを作成する。そして、ス
テップＳ２３４において、下位概念単語及びそのレベル
を図８の下位概念単語辞書により取得して、下位概念検
索キーを作成する。ステップＳ２３５において、分割さ
れた単語が終了するまで、異表記・同義語の検索キーの
作成、下位概念検索キーの作成を繰り返す。

【００６７】ステップＳ２３６において、ステップＳ２
３１で取得したキーワード、ステップＳ２３２で分割さ
れた単語と、ステップＳ２３３で作成した異表記・同義
語検索キー、ステップＳ２３４で作成した下位概念検索
キーを用いて、図３のキーワード情報テーブルより、キ
ーワードと検索キーを比較して同じキーワードを有する
画像データを検索する。

【００６８】ステップＳ２３７において、検索された画
像データにおいて、スコア計算を行う。このスコア計算
は、キーワードをレベル３、キーワードから展開された
異表記・同義語単語をレベル２、キーワードから展開さ
れた下位概念単語をレベル１＋下位概念辞書から取得し
たレベルとする。そして、画像に付与されているキーワ
ードの重要度との値によりスコア値を計算する。ここで
のスコア値の計算方法は本発明のみにとどまらない。

【００６９】ステップＳ２３８において、ステップＳ２
３６で検索された画像データのスコア計算が終了するま
で、ステップＳ２３７の処理を繰り返す。終了した場
合、ステップＳ２３９において、スコア値により画像デ
ータを降順にソートする。

【００７０】次に、図９のステップＳ１２６の意味分類
順位処理の詳細について、図１１を用いて説明する。

【００７１】図１１は本実施形態の画像検索装置におけ
る意味分類順位処理の詳細を示すフローチャートであ
る。

【００７２】まず、ステップＳ３４１において、順位を
変更する分類名の取得を行う。ステップＳ３４２におい
て、その分類名に対応するキーワードを図５のキーワー
ド分類情報テーブルより取得する。ステップＳ３４３に
おいて、図３のキーワード情報テーブルより、ステップ
Ｓ３４２で取得したキーワードにおける全ての重要度を
加算し合計を求める。ステップＳ３４４において、分類
内のキーワードが終了するまで、重要度の合計を求め
る。取得された合計値は、図５のキーワード分類情報テ
ーブルのレベルに格納される。

【００７３】これらの処理により、画像データにキーワ
ードを付与し、図６の検索画面を表示するための検索画
面表示処理を行う。

【００７４】図１２は本実施形態の画像検索装置におけ
る検索画面表示処理を示すフローチャートである。

【００７５】まず、ステップＳ４２１において、図５の
キーワード分類情報テーブルより、分類名、キーワード
及び代表画像をレベルの降順に取得し、ＲＡＭ１４に保
持する。また、各分類にあてはまるキーワード数も取得
し、ＲＡＭ１４に保持する。次に、ステップＳ４２２に
おいて、ステップＳ４２１で取得した分類名の重複を取
り除き、図６の検索画面６００の分類名６１に表示す
る。

【００７６】ステップＳ４２３において、ステップＳ４
２２で表示した分類名に対するキーワード数を取得し、
図６の検索画面６００のキーワード数表示部６２に表示
する。次に、ステップＳ４２４及びステップＳ４２５に
おいて、キーワードとその代表画像を図６の検索画面６
００のキーワード６３及び代表画像６４をステップＳ４
２１で取得した順位で表示する。

【００７７】ステップＳ４２６において、ステップＳ４
２２の分類内におけるキーワードとその代表画像の表示
が終了するまで、ステップＳ４２４及びステップＳ４２
５の処理を繰り返す。また、ステップＳ４２７におい
て、分類名及びキーワード数の表示が終了するまで、ス
テップＳ４２２からステップＳ４２６の処理を繰り返
す。ここまでの処理により、図６の検索画面６００が表
示される。

【００７８】尚、検索画面６００上の他の構成要素（例
えば、検索条件設定部６５や検索実行指示部６６）の表
示処理は、特に記載していないが同様に、検索画面６０
０に表示される。

【００７９】次に、ステップＳ４２８において、検索画
面６００に対する操作の入力待ち状態になる。検索画面
６００において、何らかの操作の入力が行われた場合
に、以降の処理を行う。

【００８０】ステップＳ４２９において、キーワードが
追加指定されたか否かを判定する。この判定は、図６の
検索画面６００上のキーワード表示部６３において、検
索条件の追加が指定されたか否かで判定する。本実施形
態では、キーワード表示部６３は、チェックボックスで
構成されているため、このチェックボックスがオンされ
た場合にキーワードが追加指定されたと判定する。そし
て、キーワードが追加指定された場合、ステップＳ４３
０において、検索条件設定部６５にそのキーワードを追
加する。

【００８１】一方、ステップＳ４２９において、キーワ
ードが追加指定されていない場合、ステップＳ４３１に
おいて、キーワードが削除指定されたか否かを判定す
る。この判定は、図６の検索画面６００上のキーワード
表示部６３において、検索条件の削除が指定されたか否
かで判定する。本実施形態では、キーワード表示部６３
は、チェックボックスで構成されているため、チェック
ボックスがオフされた場合にキーワードが削除指定され
たと判定する。そして、キーワードが削除指定された場
合、ステップＳ４３２において、検索条件設定部６５よ
りそのキーワードを削除する。

【００８２】一方、ステップＳ４３１において、キーワ
ードが削除指定されていない場合、ステップＳ４３３に
おいて、代表画像が指定されたか否かを判定する。この
判定は、図６の検索画面６００上の代表画像表示部６４
が、入力装置２０、例えば、マウスのボタンにより押下
されたか否かで判定する。代表画像が指定された場合、
ステップＳ４３４において、検索条件設定部６５にその
代表画像に対応するキーワードを検索条件文として設定
する。そして、ステップＳ４３７において、取得した検
索条件を用いて図１０で説明したキーワード検索処理を
実行する。更に、ステップＳ４３８において、キーワー
ド検索処理において取得された順に画像ＩＤより画像フ
ァイル名を取得し、検索結果とする画像データを検索結
果表示画面（不図示）に表示する。

【００８３】一方、ステップＳ４３３において、代表画
像が指定されていない場合、ステップＳ４３５におい
て、検索実行が指定された否かを判定する。この判定
は、図６の検索画面６００上の検索実行指示部６６が、
入力装置２０、例えば、マウスのボタンにより押下され
たか否かで判定する。検索実行が指定された場合、ステ
ップＳ４３６において、検索条件を検索条件設定部６５
より取得する。そして、図９のキーワード検索処理（ス
テップＳ４３７）に移行する。ステップＳ４３７におい
て、図６の検索条件設定部６５より、検索条件を取得
し、その検索条件においてキーワード検索を行う。更
に、ステップＳ４３８において、キーワード検索処理に
おいて取得された順に画像ＩＤより画像ファイル名を取
得し、検索結果とする画像データを検索結果表示画面
（不図示）に表示する。

【００８４】次に、具体的な動作例について説明する。

【００８５】まず、キーワード登録処理について、図２
〜図５及び図９を用いて説明する。

【００８６】例えば、「flower01.jpg」の画像データに
キーワード「花」、「赤い」、「公園」が付与されてい
るとする。図９のステップＳ１１２において、登録対象
の画像データ「flower01.jpg」を取得する。取得した画
像データより、図２の画像情報テーブルの画像データフ
ァイル名に「flower01.jpg」が、画像ＩＤに「００１」
が登録される。次に、ステップＳ１１３において、登録
するキーワード「花」、及びステップＳ１１４において
重要度「３」を入力する。同様にして、ステップＳ１１
３とステップＳ１１４を繰り返し、キーワード「赤
い」、その重要度「１」、キーワード「公園」、その重
要度「１」を入力する。

【００８７】次に、ステップＳ１１６において、図３の
キーワード情報テーブルに、画像ＩＤを「００１」と
し、キーワード「花」、その重要度「３」というように
登録を行う。そして、ステップＳ１１７以降により、図
３のキーワード情報テーブルに、登録したキーワードの
分類を行う。この場合、登録したキーワードは「花」、
「赤い」、「公園」である。

【００８８】ステップＳ１１７において、キーワード
「花」を取得する。ステップＳ１１８において、このキ
ーワード「花」が、図５のキーワード分類情報テーブル
に登録されているか否かを判定する。この場合、キーワ
ード分類情報テーブルに登録されているデータは何も存
在しないとする。

【００８９】ステップＳ１１９において、キーワード
「花」に対する意味分類を図４のシソーラス辞書により
取得する。図４より、キーワード「花」に対する意味分類
は「具体物：植物」が取得される。また、ステップＳ１
２０において、キーワード「花」に対する品詞を図４の
シソーラス辞書により取得する。図４より、キーワード
「花」に対する品詞は「名詞」が取得される。これによ
り、ステップＳ１２１において、キーワード「花」に対
する意味分類「具体物：植物」より、画像データの分類
名が決定される。また、第２階層の分類を取得し、分類
名は「植物」を取得する。

【００９０】ステップＳ１２２において、図５のキーワ
ード分類情報テーブルの分類に「植物」、キーワードに
「花」が登録される。次に、キーワード「花」の代表画
像を取得するために、ステップＳ１２３において、検索
条件を「花」としキーワード検索を行う。そして、ステ
ップＳ１２４において、検索結果から一番もっともらし
い画像を取得する。以上、ステップＳ１１９からステッ
プＳ１２５の処理を繰り返し、同様に、キーワード「赤
い」、「公園」についても行う。「赤い」に対する意味
分類は存在しないため、分類名は「抽象物」と決定され
る。また、「公園」に対する意味分類は、「具体物：製
造物：抽象物：場所」となっており、第一階層が２つ存
在しているので分類名は「製造物」と「場所」の２つが
決定される。そして、各登録したキーワードに対する分
類が終了した場合、ステップＳ１２６において、意味分
類順位処理を行う。この場合、追加変更された分類名及
びそのキーワードは、分類名「植物」、キーワード
「花」、分類名「製造物」、キーワード「公園」、分類
名「場所」、キーワード「抽象物」である。

【００９１】ステップＳ３４１において、追加変更され
た分類名「植物」を取得する。次に、ステップＳ３４２
において、追加変更されたキーワード「花」を取得す
る。ステップＳ３４３において、キーワード「花」が付
与されている画像データの重要度を加算し合計を求め
る。求められた値は、図５のキーワード分類情報テーブ
ルのレベルに格納される。このようにして、ステップＳ
３４１からステップＳ３４４において重要度の加算を行
い、重要度の合計を求める。

【００９２】次に、図１２の検索画面表示処理の具体例
について説明する。

【００９３】ステップＳ４２１において、図５のキーワ
ード分類情報テーブルより、分類名を取得し、重複を取
り除き表示する分類名を取得する。この場合、「動
物」、「人間」、「植物」、「場所」、「製造物」、
「抽象物」が取得される。また、その分類名ごとにレベ
ルの降順にキーワードと代表画像を取得する。更に、分
類名におけるキーワードの加算も行う。

【００９４】そして、ステップＳ４２２において、ま
ず、分類名「動物」を図６の検索画面６００において、
分類名表示部６１に表示する。次に、ステップＳ４２３
において、キーワード数表示部６２にキーワード数「５
０」を表示する。更に、ステップＳ４２４及びステップ
Ｓ４２５において、「動物」の分類に存在するキーワー
ド及び代表画像を取得した順にそれぞれキーワード表示
部６３及び代表画像表示部６４に表示する。分類名「動
物」の場合、「魚」、「象」、「犬」のが順番に表示さ
れる。全ての分類に対し、同様に表示を行う。以上のよ
うにして、図６の検索画面６００が表示される。

【００９５】次に、実際の検索画面の操作例について説
明する。

【００９６】既に、検索条件設定部６３において、「走
っている」が設定され、また、検索条件に対し、「子
供」を追加する場合は、操作者は、図６の検索画面６０
０におけるキーワード表示部６３において、「子供」に
対応するチェックボックスをオンする。その場合、ステ
ップＳ４２９において、キーワードが追加指定されたと
判定し、ステップＳ４３０において、検索条件設定部６
５にキーワード「子供」が追加され、「走っている 子
供」と表示される。

【００９７】また、検索条件設定部６３に既に「走って
いる 子供」が設定されている場合、検索条件に対し、
「子供」を削除する場合は、操作者は、図６の検索画面
６００におけるキーワード表示部６３において、「子
供」に対応するチェックボックスをオフする。その場
合、ステップＳ４２９において、キーワードが削除指定
されたと判定し、ステップＳ４３０において、検索条件
設定部６５中のキーワード「子供」が削除され「走って
いる」と表示される。

【００９８】また、代表画像を利用して「花」を検索す
る場合は、操作者は、図６の検索画面６００における
「花」に対応する代表画像表示部６４を選択する。その
場合、ステップＳ４３３において、代表画像より検索が
起動されたとし、検索条件設定部６５にキーワード
「花」を設定する。そして、ステップＳ４３６におい
て、検索条件文に「花」を設定し、キーワード検索を行
う。次に、ステップＳ４３７において、検索された画像
データを表示する。

【００９９】また、検索実行指示部６６を利用して検索
を行う場合は、操作者は、図６の検索画面６００におけ
る検索実行指示部６６を選択する。その場合、ステップ
Ｓ４３５において、検索実行が指定されたと判定し、ス
テップＳ４３６において、検索条件設定部６５に存在す
る検索条件を取得して、キーワード検索を行う。例え
ば、検索条件部に「走っている子供」と入力されている
状態で、キーワード「犬」のキーワード表示部６３が選
択された場合、検索条件は、「走っている子供犬」で検
索される。

【０１００】以上説明したように、本実施形態によれ
ば、図６の検索画面６００を用いることで、キーワード
検索において、あらかじめ付与されたキーワードを認知
していなくても簡単に検索を行うことができる。また、
検索条件を複数指定することを可能とし、画像検索の操
作性を向上させることができる。 ＜他の実施形態＞上記本実施形態においては、図６の検
索画面６００のキーワード表示部６３において指定され
たキーワードと、検索条件設定部６５において指定され
たキーワードにおいて、スペースで結合した文字列を検
索条件として処理しているが、検索条件設定部６５及び
キーワード表示部６３において指定されたキーワードの
結合の仕方はこれに限らない。検索条件設定部６５にお
いて指定されたキーワードと、キーワード表示部６３よ
り指定されたキーワードとは区別して表示しても構わな
い。また、その際のキーワード検索を行うときに個々に
キーワード検索を行って、それらの検索された画像デー
タを最後にまとめて表示することも可能である。

【０１０１】以上、実施形態例を詳述したが、本発明
は、複数の機器から構成されるシステムに適用しても良
いし、また、一つの機器からなる装置に適用しても良
い。

【０１０２】尚、本発明は、前述した実施形態の機能を
実現するソフトウェアのプログラム（本実施形態では図
９〜図１２に示すフローチャートに対応したプログラ
ム）を、システム或いは装置に直接或いは遠隔から供給
し、そのシステム或いは装置のコンピュータが該供給さ
れたプログラムコードを読み出して実行することによっ
ても達成される場合を含む。その場合、プログラムの機
能を有していれば、形態は、プログラムである必要はな
い。

【０１０３】従って、本発明の機能処理をコンピュータ
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明のクレームでは、本発明の機能処理
を実現するためのコンピュータプログラム自体も含まれ
る。

【０１０４】その場合、プログラムの機能を有していれ
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。

【０１０５】プログラムを供給するための記録媒体とし
ては、例えば、フロッピー（登録商標）ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発
性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，
ＤＶＤ−Ｒ）などがある。

【０１０６】その他、プログラムの供給方法としては、
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるＷＷＷサーバ
も、本発明のクレームに含まれるものである。

【０１０７】また、本発明のプログラムを暗号化してＣ
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。

【０１０８】また、コンピュータが、読み出したプログ
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行ない、その処理によっても前述した実
施形態の機能が実現され得る。

【０１０９】さらに、記録媒体から読み出されたプログ
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行ない、その処理
によっても前述した実施形態の機能が実現される。

【０１１０】

【発明の効果】以上説明したように、本発明によれば、
キーワード検索をより効率的にかつ簡単に実行すること
ができる画像検索装置及びその方法、プログラムを提供
できる。

【図面の簡単な説明】

【図１】本実施形態の画像検索装置の構成例を示すブロ
ック図である。

【図２】本実施形態の画像検索装置における画像情報テ
ーブルの構成例を示す図である。

【図３】本実施形態の画像検索装置におけるキーワード
情報テーブルの構成例を示す図である。

【図４】本実施形態の画像検索装置におけるシソーラス
辞書の構成例を示す図である。

【図５】本実施形態の画像検索装置におけるキーワード
分類情報テーブルの構成例を示す図である。

【図６】本実施形態の画像検索装置における検索画面の
一実施形態を示す図である。

【図７】本実施形態の画像検索装置における異表記同義
語辞書の構成例を示す図である。

【図８】本実施形態の画像検索装置における下位概念単
語辞書の構成例を示す図である。

【図９】本実施形態の画像検索装置におけるキーワード
登録処理を示すフローチャートである。

【図１０】本実施形態の画像検索装置におけるキーワー
ド検索処理の詳細を示すフローチャートである。

【図１１】本実施形態の画像検索装置における意味分類
順位処理の詳細を示すフローチャートである。

【図１２】本実施形態の画像検索装置における検索画面
表示処理を示すフローチャートである。

【符号の説明】

１１ 画像検索装置 １２ ＣＰＵ １３ ＲＯＭ １４ ＲＡＭ １５ 表示部 １６ 周辺コントローラ部 １７ 外部記憶装置 １８ デジタルカメラ １９ デジタルビデオカメラ ２０ 入力装置

Claims (17)

【特許請求の範囲】
1. 【請求項１】 複数の画像データとその付帯情報を管理
   し、その管理されている付帯情報より所望の画像データ
   を検索する画像検索装置であって、 登録対象の画像データを入力する画像入力手段と、 前記画像入力手段によって入力した画像データに付与す
   る付帯情報を入力する付帯情報入力手段と、 前記画像データの付帯情報に基づいて、該画像データを
   分類する分類手段と、 前記分類手段による分類結果に基づいて、前記付帯情報
   を表示する付帯情報表示部と、検索条件を設定する検索
   条件設定部と、前記検索条件に基づく検索を指示する検
   索指示部とを同一画面上に表示する表示制御手段と、 前記検索指示部に対する指示に基づいて、前記検索条件
   に対応する画像データを検索する検索手段とを備えるこ
   とを特徴とする画像検索装置。
2. 【請求項２】 前記分類手段は、前記付帯情報に対する
   意味分類情報及び品詞情報をシソーラス辞書から取得す
   る取得手段と、 前記意味分類情報及び品詞情報に基づいて、前記画像デ
   ータの分類を決定する決定手段とを備えることを特徴と
   する請求項１に記載の画像検索装置。
3. 【請求項３】 前記決定手段は、前記取得手段で意味分
   類情報が取得できない場合、前記画像データの分類に任
   意の分類を設定することを特徴とする請求項１に記載の
   画像検索装置。
4. 【請求項４】 前記付帯情報表示部は、前記決定手段で
   決定された分類名を表示する分類名表示部と、 前記分類名表示部で表示される分類名に対する分類内付
   帯情報を表示する分類内付帯情報表示部と、 を備えることを特徴とする請求項２に記載の画像検索装
   置。
5. 【請求項５】 前記表示制御手段は、前記分類内付帯情
   報表示部で表示される分類内付帯情報が追加選択される
   場合、該分類内付帯情報を前記検索条件設定部の設定内
   容に追加することを特徴とする請求項４に記載の画像検
   索装置。
6. 【請求項６】 前記表示制御手段は、前記分類内付帯情
   報表示部で表示される分類内付帯情報が削除選択される
   場合、該分類内付帯情報を前記検索条件設定部の設定内
   容から削除することを特徴とする請求項４に記載の画像
   検索装置。
7. 【請求項７】 前記分類内付帯情報は、キーワード及び
   それに対応する代表画像を少なくとも含むことを特徴と
   する請求項４に記載の画像検索装置。
8. 【請求項８】 前記表示制御手段は、前記代表画像が選
   択される場合、該代表画像に対応するキーワードを前記
   検索条件設定部の設定内容に追加することを特徴とする
   請求項７に記載の画像検索装置。
9. 【請求項９】 複数の画像データとその付帯情報を管理
   し、その管理されている付帯情報より所望の画像データ
   を検索する画像検索方法であって、 登録対象の画像データを入力する画像入力工程と、 前記画像入力工程によって入力した画像データに付与す
   る付帯情報を入力する付帯情報入力工程と、 前記画像データの付帯情報に基づいて、該画像データを
   分類する分類工程と、 前記分類工程による分類結果に基づいて、前記付帯情報
   を表示する付帯情報表示部と、検索条件を設定する検索
   条件設定部と、前記検索条件に基づく検索を指示する検
   索指示部とを同一画面上に表示する表示制御工程と、 前記検索指示部に対する指示に基づいて、前記検索条件
   に対応する画像データを検索する検索工程とを備えるこ
   とを特徴とする画像検索方法。
10. 【請求項１０】 前記分類工程は、前記付帯情報に対す
    る意味分類情報及び品詞情報をシソーラス辞書から取得
    する取得工程と、 前記意味分類情報及び品詞情報に基づいて、前記画像デ
    ータの分類を決定する決定工程とを備えることを特徴と
    する請求項９に記載の画像検索方法。
11. 【請求項１１】 前記決定工程は、前記取得工程で意味
    分類情報が取得できない場合、前記画像データの分類に
    任意の分類を設定することを特徴とする請求項９に記載
    の画像検索方法。
12. 【請求項１２】 前記付帯情報表示部は、前記決定工程
    で決定された分類名を表示する分類名表示部と、 前記分類名表示部で表示される分類名に対する分類内付
    帯情報を表示する分類内付帯情報表示部と、 を備えることを特徴とする請求項１０に記載の画像検索
    方法。
13. 【請求項１３】 前記表示制御工程は、前記分類内付帯
    情報表示部で表示される分類内付帯情報が追加選択され
    る場合、該分類内付帯情報を前記検索条件設定部の設定
    内容に追加することを特徴とする請求項１２に記載の画
    像検索方法。
14. 【請求項１４】 前記表示制御工程は、前記分類内付帯
    情報表示部で表示される分類内付帯情報が削除選択され
    る場合、該分類内付帯情報を前記検索条件設定部の設定
    内容から削除することを特徴とする請求項１２に記載の
    画像検索方法。
15. 【請求項１５】 前記分類内付帯情報は、キーワード及
    びそれに対応する代表画像を少なくとも含むことを特徴
    とする請求項１２に記載の画像検索方法。
16. 【請求項１６】 前記表示制御工程は、前記代表画像が
    選択される場合、該代表画像に対応するキーワードを前
    記検索条件設定部の設定内容に追加することを特徴とす
    る請求項１５に記載の画像検索方法。
17. 【請求項１７】 複数の画像データとその付帯情報を管
    理し、その管理されている付帯情報より所望の画像デー
    タを検索する画像検索をコンピュータに機能させるため
    のプログラムであって、 登録対象の画像データを入力する画像入力工程のプログ
    ラムコードと、 前記画像入力工程によって入力した画像データに付与す
    る付帯情報を入力する付帯情報入力工程のプログラムコ
    ードと、 前記画像データの付帯情報に基づいて、該画像データを
    分類する分類工程と、 前記分類工程による分類結果に基づいて、前記付帯情報
    を表示する付帯情報表示部と、検索条件を設定する検索
    条件設定部と、前記検索条件に基づく検索を指示する検
    索指示部とを同一画面上に表示する表示制御工程のプロ
    グラムコードと、 前記検索指示部に対する指示に基づいて、前記検索条件
    に対応する画像データを検索する検索工程のプログラム
    コードとを備えることを特徴とするプログラム。