JP2000112961A - 情報検索装置及びその方法、コンピュータ可読メモリ - Google Patents

Abstract

(57)【要約】 【課題】 指定した検索要求に従った適切な情報検索を
行うことができる情報検索装置を提供する。 【解決手段】 マルチメディア情報と、それに描写され
ている概念を言語で表現した内容語を対応づけて記憶す
る画像内容語保持部と、内容語と、それから連想される
連想語とを対応づけて記憶する連想語辞書と、検索語に
対応する見出し語と、それに関連する検索観点を対応づ
けて記憶する概念判別辞書を有し、入力された検索語に
対応する見出し語に関連する検索観点を概念判別辞書か
ら抽出し表示する。そして、表示された検索観点から所
望の検索観点を指定する。一方、入力された検索語に対
応する連想語に基づいてマルチメディア情報を検索処理
部２１０で検索する。また、入力された検索語に対応す
る特徴量に基づいてマルチメディア情報を検索処理部２
１４で検索する。そして、指定された検索観点に基づい
て、検索処理部２１０と検索処理部２１４によって得ら
れる検索結果を統合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数種類のマルチ
メディア情報を管理し、その管理されているマルチメデ
ィア情報から所望のマルチメディア情報を検索する情報
検索装置及びその方法、コンピュータ可読メモリに関す
るものである。

【０００２】

【従来の技術】従来、マルチメディア情報、例えば、画
像を検索する情報検索装置として、入力したキーワード
と、画像に対応づけられたキーワードとの一致を図るこ
とによって所望の画像を得る情報検索装置が実現されて
いる。また、入力したキーワードのみならず、入力した
キーワードと関連する関連キーワードと画像に対応づけ
られたキーワードとの一致を図ることによって、入力し
たキーワードとの完全一致のみでは得られなかった画像
を得る情報検索装置もまた実現されている。また、画像
のカラー情報などを利用して、入力したキーワードとカ
ラー情報の対応をとり、類似したカラー情報をもつ画像
を得る情報検索装置が考案されている。

【０００３】

【発明が解決しようとしている課題】しかしながら、上
記従来の情報検索装置では、入力したキーワードの示す
検索要求に対して、所望の検索結果を求めるための検索
条件を操作者が指定することができず、意図する検索結
果を選られないという問題点があった。例えば、「渋
い」という検索要求だけでは、「色調」が「渋い」のか
「味」が「渋い」のか「雰囲気」が「渋い」のか判然と
しない。そのため、「渋柿」や「お茶」など「渋い味」
を特徴とする画像を期待したにも関わらず、色調が渋い
画像が多量に検索されてしまい所望の画像が得られない
という問題があった。

【０００４】本発明は上記の問題点に鑑みてなされたも
のであり、指定した検索要求に従った適切な情報検索を
行うことができる情報検索装置及びその方法、コンピュ
ータ可読メモリを提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による情報検索装置は以下の構成を備える。
即ち、複数種類のマルチメディア情報を管理し、その管
理されているマルチメディア情報から所望のマルチメデ
ィア情報を検索する情報検索装置であって、前記マルチ
メディア情報と、該マルチメディア情報に描写されてい
る概念を言語で表現した内容語を対応づけて記憶する画
像内容語保持部と、前記内容語と、該内容語から連想さ
れる連想語とを対応づけて記憶する連想語辞書と、検索
語を入力する入力手段と、前記検索語に対応する見出し
語と、該見出し語に関連する検索観点を対応づけて記憶
する概念判別辞書と、前記入力手段によって入力された
検索語に対応する見出し語に関連する検索観点を前記概
念判別辞書から抽出し、その抽出した検索観点を表示す
る表示手段と、前記表示手段で表示された検索観点から
所望の検索観点を指定する指定手段と、前記入力手段に
よって入力された検索語に対応する連想語を前記連想語
辞書から取得し、その取得した連想語に基づいてマルチ
メディア情報を検索する第１検索手段と、前記入力手段
によって入力された検索語に対応する特徴量を抽出し、
その抽出した特徴量に基づいてマルチメディア情報を検
索する第２検索手段と、前記指定手段で指定された検索
観点に基づいて、前記第１検索手段と前記第２検索手段
によって得られる検索結果を統合する統合手段とを備え
る。

【０００６】また、好ましくは、前記概念判別辞書は、
更に、前記見出し語に対応する反意概念を記憶し、前記
第１検索手段は、前記入力手段で入力された検索語及び
検索観点に基づいて、前記検索語に対応する見出し語及
び反意概念を前記概念判別辞書から取得し、その取得し
た見出し語及び反意概念に基づいて、前記検索語に対応
する連想語を前記連想語辞書から取得する。

【０００７】また、好ましくは、連想語と、感性パター
ンを対応づけて記憶する保持部を更に備え、前記第２検
索手段は、前記検索語に対応する連想語に対応する感性
パターンを前記保持部より取得し、その取得した感性パ
ターンの特徴量を該検索語に対応する特徴量として抽出
する。

【０００８】また、好ましくは、前記マルチメディア情
報は、画像情報である。

【０００９】また、好ましくは、前記特徴量は、前記画
像情報に含まれる配色情報または構図情報または形状情
報の少なくとも１つを含む。

【００１０】上記の目的を達成するための本発明による
情報検索方法は以下の構成を備える。即ち、複数種類の
マルチメディア情報を管理し、その管理されているマル
チメディア情報から所望のマルチメディア情報を検索す
る情報検索方法であって、検索語を入力する入力工程
と、前記マルチメディア情報と、該マルチメディア情報
に描写されている概念を言語で表現した内容語を対応づ
けて記憶する画像内容語保持部と、前記内容語と、該内
容語から連想される連想語とを対応づけて記憶する連想
語辞書と、前記検索語に対応する見出し語と、該見出し
語に関連する検索観点を対応づけて記憶する概念判別辞
書とを記憶媒体に記憶する記憶工程と、前記入力工程に
よって入力された検索語に対応する見出し語に関連する
検索観点を前記概念判別辞書から抽出し、その抽出した
検索観点を表示する表示工程と、前記表示工程で表示さ
れた検索観点から所望の検索観点を指定する指定工程
と、前記入力工程によって入力された検索語に対応する
連想語を前記連想語辞書から取得し、その取得した連想
語に基づいてマルチメディア情報を検索する第１検索工
程と、前記入力工程によって入力された検索語に対応す
る特徴量を抽出し、その抽出した特徴量に基づいてマル
チメディア情報を検索する第２検索工程と、前記指定工
程で指定された検索観点に基づいて、前記第１検索工程
と前記第２検索工程によって得られる検索結果を統合す
る統合工程とを備える。

【００１１】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
複数種類のマルチメディア情報を管理し、その管理され
ているマルチメディア情報から所望のマルチメディア情
報を検索する情報検索のプログラムコードが格納された
コンピュータ可読メモリであって、検索語を入力する入
力工程のプログラムコードと、前記マルチメディア情報
と、該マルチメディア情報に描写されている概念を言語
で表現した内容語を対応づけて記憶する画像内容語保持
部と、前記内容語と、該内容語から連想される連想語と
を対応づけて記憶する連想語辞書と、前記検索語に対応
する見出し語と、該見出し語に関連する検索観点を対応
づけて記憶する概念判別辞書とを記憶媒体に記憶する記
憶工程のプログラムコードと、前記入力工程によって入
力された検索語に対応する見出し語に関連する検索観点
を前記概念判別辞書から抽出し、その抽出した検索観点
を表示する表示工程のプログラムコードと、前記表示工
程で表示された検索観点から所望の検索観点を指定する
指定工程のプログラムコードと、前記入力工程によって
入力された検索語に対応する連想語を前記連想語辞書か
ら取得し、その取得した連想語に基づいてマルチメディ
ア情報を検索する第１検索工程のプログラムコードと、
前記入力工程によって入力された検索語に対応する特徴
量を抽出し、その抽出した特徴量に基づいてマルチメデ
ィア情報を検索する第２検索工程のプログラムコード
と、前記指定工程で指定された検索観点に基づいて、前
記第１検索工程と前記第２検索工程によって得られる検
索結果を統合する統合工程のプログラムコードとを備え
る。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。

【００１３】図１は本発明の実施形態の情報検索装置の
構成を示す図である。

【００１４】図１において、１１はマイクロプロセッサ
（ＣＰＵ）であり、画像情報検索のための演算、論理判
断等を行い、アドレスバスＡＢ、コントロールバスＣ
Ｂ、データバスＤＢを介して、それらのバスに接続され
た各構成要素を制御する。アドレスバスＡＢは、ＣＰＵ
１１の制御の対象とする構成要素を指示するアドレス信
号を転送する。コントロールバスＣＢは、ＣＰＵ１１の
制御の対象とする各構成要素のコントロール信号を転送
して印加する。データバスＤＢは、各構成相互間のデー
タ転送を行う。

【００１５】１２は読出し専用の固定メモリ（ＲＯＭ）
であり、本実施形態で実行される処理プログラム等の制
御プログラムを記憶する。１３は１ワード１６ビットで
構成される書込み可能なランダムアクセスメモリ（ＲＡ
Ｍ）であり、各構成要素からの各種データの一時記憶に
用いられる。また、図２において後述する検索語保持部
２０２、検索観点保持部２０３、検索重み保持部２０
４、決定重み保持部２０７、展開連想語保持部２０９、
展開感性パターン保持部２１３、検索結果保持部２１６
を記憶する。

【００１６】１４は外部メモリ（ＤＩＳＫ）であり、図
２において後述する概念判別辞書２０５、連想語辞書２
１１、イメージ語と感性パターンの対応保持部２１５、
画像内容語保持部２１９、画像保持部２１８、感性パタ
ーン保持部２２０、画像特徴量保持部２２２、画像特徴
量と感性パターンの対応保持部２２３を格納する。ま
た、図２において後述する検索要求入力処理部２０１、
重み判定処理部２０６、連想語展開処理部２０８、連想
語による画像内容語検索処理部２１０、感性パターン展
開処理部２１２、感性パターン検索処理部２１４、検索
結果統合処理部２１７、画像特徴抽出処理部２２１、感
性パターン判定処理部２２４の各処理部を実行するプロ
グラムが格納される。また、これらのプログラムを格納
する記憶媒体としては、ＲＯＭ、フロッピーディスク、
ＣＤ−ＲＯＭ、メモリカード、光磁気ディスクなどを用
いることができる。

【００１７】１５はキーボード（ＫＢ）であり、アルフ
ァベットキー、ひらがなキー、カタカナキー、句点等の
文字記号入力キー、検索を指示する検索キー及びカーソ
ル移動を指示するカーソル移動キー等のような各種の機
能キーを備えている。１６は表示用ビデオメモリ（ＶＲ
ＡＭ）であり、表示すべきデータのパターンを記憶す
る。１７はＣＲＴコントローラ（ＣＲＴＣ）であり、Ｖ
ＲＡＭ１６に記憶された内容をＣＲＴ１８に表示する役
割を担う。１８は陰極線管等を用いた表示装置（ＣＲ
Ｔ）であり、ＣＲＴ１８におけるドット構成の表示パタ
ーンおよびカーソルの表示がＣＲＴＣ１７によって制御
される。１９はネットワークコントローラ（ＮＩＣ）で
あり、Ｅｔｈｅｒｎｅｔ等のネットワークに接続する役
割を担う。

【００１８】かかる各構成要素からなる情報検索装置に
おいては、ＫＢ１５からの各種の入力及びＮＩＣ１９か
ら供給されるネットワーク経由の各種入力に応じて作動
する。ＫＢ１５からの入力及びＮＩＣ１９からの入力が
供給されると、まず、インタラプト信号がＣＰＵ１１に
送られ、ＣＰＵ１１がＤＩＳＫ１４内に記憶してある各
種の制御信号を読み出し、それらの制御信号に従って、
各種の制御が行われる。また、本発明に係わるプログラ
ムを格納した記憶媒体をシステムあるいは装置に供給
し、そのシステムあるいは装置のコンピュータが、記憶
媒体に格納されたプログラムコードを読み出し実行する
ことによっても、本発明は達成される。

【００１９】次に、本実施形態の情報検索装置の機能構
成について、図２を用いて説明する。

【００２０】図２は本発明の実施形態の情報検索装置の
機能構成を示すブロック図である。図２において、２０
１は所望の検索対象に関する要求事項（検索語、検索観
点検索重み等）を入力する検索要求入力処理部である。
２０２は検索要求入力処理部２０１によって入力された
検索語を記憶する検索語保持部である。２０３は検索要
求入力処理部２０１によって入力された検索観点を記憶
する検索観点保持部である。２０４は検索要求入力処理
部２０１によって入力された検索重みを記憶する検索重
み保持部である。

【００２１】２０５は検索対象となる概念に関係する検
索観点、反対の意味を持つ反意概念、概念を検索する際
の重み判定のための２種類の係数を有する概念判別辞書
である。２０６は検索語保持部２０２に記憶された検索
語を検索する際に、連想語と感性パターンのいずれを重
視して検索すべきか重みを与える重み判定処理部であ
る。２０７は重み判定処理部２０６で決定された検索重
みを記憶する決定重み保持部である。

【００２２】２０８は検索語保持部２０２に記憶された
検索語を連想語辞書２１１を参照して連想語に展開し、
また、入力された検索語の反意概念を概念判別辞書２０
５から得て、反意概念から連想語に展開する連想語展開
処理部である。２０９は連想語展開処理部２０８によっ
て展開された連想語を格納する展開連想語保持部であ
る。２１０は展開連想語保持部２０９を参照して画像内
容語保持部２１９に格納された画像内容語のうち展開さ
れた連想語と合致するものを検索する連想語による画像
内容語検索処理部である。

【００２３】２１１は見出しとなる概念ごとに展開され
る連想語を連想観点と対応させて格納した連想語辞書で
ある。２１２は検索語保持部２０２に記憶された検索語
をイメージ語と感性パターンの対応保持部２１５を参照
して感性パターンに展開し、また、記憶された検索語の
反意概念を概念判別辞書２０５から得て、反意概念から
感性パターンに展開する感性パターン展開処理部であ
る。

【００２４】２１５はイメージ語と感性パターンの対応
をとって格納したイメージ語と感性パターンの対応保持
部であり、イメージ語とそのイメージ語に関連づけられ
た各連想語に対応する感性パターンＩＤが記憶されてい
る。ここで、イメージ語と感性パターンの対応保持部２
１５のデータ格納例を、図３に示す。尚、イメージ語と
感性パターンの対応保持部２１５の構成の詳細について
は、後述する。 ２１３は感性パターン展開処理部２１
２で展開した感性パターンを一時的に保存する展開感性
パターン保持部であり、ＲＡＭ１３に格納される。ここ
で、感性パターン展開処理部２１３のデータ格納例を、
図４に示す。尚、感性パターン展開処理部２１３の構成
の詳細については、後述する。

【００２５】２１４は展開感性パターン保持部２１３を
参照して、感性パターン保持部２２０に格納された感性
パターンのうち展開された感性パターンと類似するもの
を検索する感性パターン検索処理部である。２１７は検
索結果保持部２１６に記憶された連想語による画像内容
語の検索結果と感性パターンの検索結果とを重み判定処
理部２０６によって得た検索重みに基づいて検索結果を
統合する検索結果統合処理部である。

【００２６】２１７は画像保持部２１８に格納された画
像情報に描写されている概念を言語で記述し格納した画
像内容語保持部である。２１８は検索対象となる画像情
報を格納した画像保持部である。２２０は画像保持部２
１８に格納された画像情報から得られた感性パターンを
格納する感性パターン保持部であり、画像情報を示す画
像ＩＤごとに各感性パターンとの適合度が記憶されてい
る。ここで、感性パターン保持部２２０のデータ格納例
を、図５に示す。尚、感性パターン保持部２２０の構成
の詳細については、後述する。

【００２７】２２１は画像保持部２１８に格納された画
像情報から物理的な画像特徴量を抽出する画像特徴抽出
処理部である。物理的な画像特徴量は、色情報をもとに
分割された領域や一定面積で分けられたブロック、また
は画像全体から抽出される視覚的な特徴である。画像特
徴量とは、例えば、画像の色分布やヒストグラム、画像
の濃淡分布、テクスチャ、エッジ、周波数分布等の数値
化された情報であり、例えば、図６のように表わされ
る。尚、画像特徴量の詳細については、後述する。

【００２８】２２２は画像特徴抽出処理部２２１によっ
て得られた画像特徴量を格納する画像特徴量保持部であ
る。２２３は画像特徴量と感性パターンの対応をとって
記憶した画像特徴量と感性パターンの対応保持部であ
り、感性パターンＩＤと各ＩＤに対応した画像特徴量が
記憶されている。ここで、画像特徴量と感性パターンの
対応保持部２２３のデータ格納例を、図７に示す。尚、
画像特徴量と感性パターンの対応保持部２２３の詳細に
ついては、後述する。

【００２９】２２４は画像特徴量保持部２２２と画像特
徴量と感性パターンの対応保持部２２３とを参照して、
感性パターンと画像情報から抽出した画像特徴量とを比
較・照合し、その適合度を求める感性パターン判定処理
部である。

【００３０】次に、検索要求入力処理部２０１において
入力された検索要求事項に関連する検索観点の表示例に
ついて、図８を用いて説明する。

【００３１】図８は本発明の実施形態の検索要求入力処
理部において入力された検索観点の表示例を示す図であ
る。

【００３２】図８では、検索語「渋い」に対して、検索
観点が「色調」「味」「雰囲気一般」の３つが存在し、
ここでは、網掛け表示されている「色調」が検索観点と
して選択されていることを示している。キーボード１５
上のカーソル移動キーを押下することにより、網掛け表
示は「色調」から「味」または「雰囲気一般」というよ
うに遷移し、ユーザは所望の検索観点を指定することが
できる。

【００３３】次に、検索要求入力処理２０１において、
連想語による検索重みと、感性パターンによる検索重み
のどちらを重視して検索するかを操作者が指示する場合
の操作パネルの表示例について、図９を用いて説明す
る。

【００３４】図９は本発明の実施形態の検索重みを指示
する場合の操作パネルの表示例を示す図である。

【００３５】図９において、スライドボタン４１を左方
向にスライドさせると連想語による検索を重視するよう
な指示が行われ、右方向にスライドさせると感性パター
ンによる検索を重視する指示が行われる。スライドボタ
ン４１で検索重みを指定した後、ボタン４３を押下する
ことで、検索重みの指示が行われる。表示領域内ボタン
４２は検索重みを明示的に指定しない場合に押下し、そ
の場合、所定の検索重みの指示が行われる。

【００３６】次に、画像保持部２１８の構成について、
図１０を用いて説明する。

【００３７】図１０は本発明の実施形態の画像保持部の
構成を示す図である。

【００３８】画像保持部２１８は、画像情報（画像ファ
イル）を示す画像ＩＤとその画像情報が格納されている
場所を示す画像ファイル格納パスを対応づけて、画像情
報を管理している。図１０において、２１８０は画像Ｉ
Ｄを示し、１つの画像ファイルにつき一意に付与された
識別番号である。２１８１は画像ＩＤに対応する画像フ
ァイルのＤＩＳＫ１４における格納先を示すファイルパ
スであり、ＭＳ−ＤＯＳのディレクトリとファイルに相
当する。図には示していないが、画像ファイルはヘッダ
部と画像データ部に分けられる。ヘッダ部にはその画像
ファイルからデータを読み取るときに必要な情報や、画
像の内容を説明する付帯的な情報が格納される。情報と
しては、その画像の画像フォーマット名を示す画像フォ
ーマット識別子、ファイルサイズ、画像の幅・高さ・深
さ、圧縮の有無、カラーパレットの情報、解像度、画像
データの格納位置へのオフセット等の情報が格納されて
いる。画像データ部は画像データを順次格納している部
分である。本実施形態において、このような画像フォー
マットとして、Ｍｉｃｒｏｓｏｆｔ社のＢＭＰフォーマ
ットを用いるものとするが、ＧＩＦフォーマットあるい
はＪＰＥＧ、ＦｌａｓｈＰｉｘのようなその他の圧縮フ
ォーマットを用いても同様の構成をなすことができる。

【００３９】次に、画像内容語保持部２１９の構成につ
いて、図１１を用いて説明する。

【００４０】図１１は本発明の実施形態の画像内容語保
持部の構成を示す図である。

【００４１】画像内容語保持部２１９は、画像ＩＤと画
像内容語を対応づけて、画像情報を管理している。図１
１において、２１９００は図１０の画像ＩＤ２１８０と
対応する画像ＩＤを格納し、２１９０１は画像ＩＤ２１
９００に対応する画像ファイルを描写する画像内容語を
格納する。画像内容語は、画像ファイルに描写されてい
る画像特徴を言葉にしたもので、キーワードを文字コー
ド（例えば、ｕｎｉｃｏｄｅ）で格納する。キーワード
は、１つの画像ファイルについて複数個格納してもよ
く、画像内容語保持部２１９は画像ＩＤ２１９００をキ
ーとする画像内容語２１９０１のリストで表される。ま
た、図１２に示すように、画像内容語２１９１０をキー
とする画像ＩＤ２１９１１のリストで表しても良い。

【００４２】次に、概念判別辞書２０５の構成につい
て、図１３を用いて説明する。

【００４３】図１３は本発明の実施形態の概念判別辞書
の構成を示す図である。

【００４４】概念判別辞書２０５は、図１３に示すよう
に、検索要求となる検索語に関する情報を提供するもの
であり、検索語に対応する見出し語２０５０と見出し語
２０５０に関係する検索観点２０５１、見出し語２０５
０と反対の意味をもつ反意概念２０５２、見出し語２０
５０を検索する際の連想重み２０５３、見出し語２０５
０を検索する際の感性パターン重み２０５４とを対応さ
せて格納している。

【００４５】次に、連想語辞書２１１の構成について、
図１４を用いて説明する。

【００４６】図１４は本発明の実施形態の連想語辞書の
構成を示す図である。

【００４７】連想語辞書２１１は、見出し語２１１１に
対する連想語の一組を一意に番号付ける連想ＩＤ２１１
０と、連想の起点となる見出し語２１１１、見出し語２
１１１から連想される連想語２１１２、連想語２１１２
の連想に関係する連想観点２１１３、見出し語２１１１
と連想語２１１２との間の連想の強さを示す連想強度２
１１４とから構成される。連想強度２１１４は、０から
１０の絶対値をとり、符号が連想語の適用状態をあらわ
す。即ち、連想強度２１１４が正数である場合は、連想
強度数値が大きいほど連想関係による結びつきが強い
（共起性が高い）ことを示し、逆に連想強度が負数であ
る場合は、連想強度が大きいほど連想関係が成り立たな
いことを示す。例えば、図示の連想ＩＤ＝１２６５３３
の連想データは、見出し語「素朴」に対応する連想語
「民芸品」は「６」の強さで連想が可能な言葉である
が、連想ＩＤ＝１２６５３６の連想データにおける連想
語「シャンデリア」は連想強度が負数であるので「９」
の強さで連想できない言葉であることがわかる。

【００４８】次に、検索結果保持部２１６の構成につい
て、図１５を用いて説明する。

【００４９】図１５は本発明の実施形態の検索結果保持
部の構成を示す図である。

【００５０】検索結果保持部２１６は、連想語による画
像内容語検索処理部２１０と感性パターン検索処理部２
１４によって検索された画像ＩＤを格納する。図１５に
おいて、２１６０は検索された画像ＩＤを格納し、２１
６１は連想語による画像内容語検索処理部２１７で一致
した連想強度が正数である連想語の数を、２１６２は一
致した連想語の連想語辞書２１１における連想語ＩＤ２
１１０のリストを最大２０個まで格納する。連想語一致
数２１６１が０である場合は、連想語ＩＤ２１６２はヌ
ルコードが埋められる。２１６３は画像ＩＤ２１６０に
対する連想語による検索一致度を格納する。連想語一致
数２１６１が０である場合は、連想一致度２１６３には
０が格納される。

【００５１】２１６４は感性パターン検索処理部２２３
で検索された類似度の最も高い感性パターンの数を、２
１６５は一致した感性パターンの感性パターンＩＤのリ
ストを最大２０個まで格納する。感性パターン一致数２
１６４が０である場合は、感性パターンＩＤ２１６５は
ヌルコードが埋められる。２１６６は画像ＩＤ２１６０
に対する感性パターン検索による検索一致度を格納す
る。感性パターン一致数２１６４が０である場合は、感
性パターン一致度２１６６には０が格納される。２１６
７は、連想一致度２１６３と感性パターン一致度２１６
６とをパラメータとして求めた検索要求に対する画像Ｉ
Ｄ２１６０の一致度を格納する。

【００５２】ここで、上述した展開感性パターン保持部
２１３の構成の詳細について、図４を用いて説明する。

【００５３】図４において、２１３０−１は、この感性
パターンの展開元であるイメージ語であり、検索語保持
部２０２と同じイメージ語が格納されている。本実施形
態では、「さわやかな」という文字列が格納されてお
り、文字列はＮＵＬＬコードで終了する。２１３０−２
は、「さわやかな」というイメージ語から展開された感
性パターンの数で、本実施形態では、７である。２１３
０−３は、「さわやかな」というイメージ語を実際に展
開したデータの格納先の領域を示すアドレスである。ア
ドレス２１３０−３は、展開データ２１３０−４にリン
クしている。

【００５４】２１３０−４は、「さわやかな」から実際
に展開された展開データであり、ここには、感性パター
ンの数２１３０−２の個数分の連想語と感性パターンの
組が格納されている。本実施形態では、連想語と感性パ
ターンの組が７組格納されている。２１３０−５は、イ
メージ語「さわやかな」と「さわやかな」の連想語「森
林」に対応した感性パターンＩＤである。本実施形態で
は、５が格納されている。２１３０−６は、「さわやか
な」というイメージ語の連想語である。本実施形態で
は、「森林」という文字列が格納されており、文字列は
ＮＵＬＬコードで終了する。

【００５５】次に、上述したイメージ語と感性パターン
の対応保持部２１５の構成の詳細について、図３を用い
て説明する。

【００５６】図３において、２１５０−１は、この感性
パターンの展開元となるイメージ語である。本実施形態
では、「さわやかな」「トロピカルな」等の文字列が格
納されており、文字列はＮＵＬＬコードで終了する。２
１５０−２は、イメージ語２１５０−１から展開された
連想語である。本実施形態では、「さわやかな」に対し
て「森林」「高原」「青空」等の連想語が記憶されてお
り、文字列はＮＵＬＬコードで終了する。この部分に文
字列が格納されていない場合、即ち、ＮＵＬＬコードの
みの場合は、この感性パターンが、「さわやかな」とい
うイメージ語全てに適応でき、特に連想語が指定されて
いないことを表している。

【００５７】２１５０−３は、イメージ語２１５０−１
と連想語２１５０−２に対応した感性パターンＩＤであ
る。本実施形態では、イメージ語「さわやかな」とその
連想語「森林」に対する感性パターンＩＤとして、５、
６が格納されている。また、「さわやかな」に対する反
意概念として「さわやかでない」に対する感性パターン
も記憶されている。本実施形態では、「さわやかでな
い」には、特に連想語はなく、感性パターンＩＤとして
１と１０が登録されている。

【００５８】次に、上述した感性パターン保持部２２０
の構成の詳細について、図５を用いて説明する。

【００５９】図５において、２２００−１は、登録する
画像を識別するための画像ＩＤである。画像ＩＤは、画
像保持部２１８に記憶されている番号と同じものが使用
され、このシステムにおいて画像を一意に定義付けてい
る。２２００−２には、感性パターンＩＤが格納されて
いる。本実施形態では、それぞれの画像について、画像
特徴量と感性パターンの対応保持部２２３に記憶されて
いるすべての感性パターンに対する適合度が求められる
ため、全ての感性パターンＩＤが格納されている。２２
００−３は、各画像と感性パターンの適合度を示す数値
である。適合度は０から１までの数で、０はこの画像が
感性パターンにまったく適合しなかったことを示してお
り、１に近いほど適合性が高いことを示している。例え
ば、本実施形態では、画像ＩＤ００１の画像に対して、
感性パターン１との適合度は０．１０、感性パターン２
との適合度は０である。

【００６０】次に、上述した画像特徴量の詳細につい
て、図６を用いて説明する。

【００６１】図６では、１つの画像から抽出される画像
特徴をＸ1，Ｘ2，Ｘ3，…，Ｘn、画像特徴量を抽出する
領域・ブロックをＢ1，Ｂ2，…，Ｂm、各領域・ブロッ
クから抽出された画像特徴量をｘ11〜ｘmnで表してい
る。また、図１６では、特に、色彩的画像特徴量を抽出
した場合の例を示しており、画像の領域またはブロック
ごとに代表的な色を抽出したものである。領域・ブロッ
クＢ1，Ｂ2，…，Ｂnから抽出された代表色はＣ1（Ｒ
1，Ｇ1，Ｂｌ）、Ｃ2（Ｒ2，Ｇ2，Ｂ2），…，Ｃn（Ｒ
n，Ｇn，Ｂn）で、それぞれの画像特徴量はｃ1〜ｃnで
ある。

【００６２】次に、画像特徴量保持部２２２の構成につ
いて、図１７を用いて説明する。

【００６３】図１７は本発明の実施形態の画像特徴量保
持部の構成を示す図である。

【００６４】図１７において、２２２０−１は、登録す
る画像を識別するための画像ＩＤである。画像ＩＤは、
画像保持部２１８に記憶されている番号と同じものが使
用されている。２２２０−２は、画像特徴量を抽出した
ブロックまたは領域を示す番号である。本実施形態で
は、各領域・ブロックの番号をＢ1，Ｂ2，…，Ｂmで表
している。２２２０−３は、２２２０−２に示す領域・
ブロックＢ1，Ｂ2，…，Ｂmから抽出された画像特徴を
示した情報である。本実施形態は、色彩的画像特徴を抽
出した場合の例を示しており、色彩を表す情報Ｃ11（Ｒ
11，Ｇ11，Ｂ11），…，Ｃ1n（Ｒ1n、Ｇ1n、Ｂ1n）が格
納されている。２２２０−４は、各領域・ブロックから
抽出された画像特徴の画像特徴量を示している。本実施
形態では、画像特徴Ｃ11（Ｒ11，Ｇ11，Ｂ11），…，Ｃ
1n（Ｒ1n，Ｇ1n，Ｂ1n）の画像特徴量としてｃ11，…，
ｃ1nが格納されている。

【００６５】次に、上述した画像特徴量と感性パターン
の対応保持部２２３の構成の詳細について、図７を用い
て説明する。

【００６６】図７において、２２３０−１は感性パター
ンＩＤであり、感性パターンを一意に識別する番号であ
る。２２３０−２は、各感性パターンＩＤに対応付けら
れた画像特徴量である。本実施形態では、感性パターン
を色彩的画像特徴量で表現しており、各感性パターンＩ
Ｄに対する色成分（ＲＧＢやＨＶＣなどの色空間におけ
る値）の組み合わせが記憶されている。ここでは、色成
分としてＲＧＢ色空間における値が登録されいてる。ま
た、ＲＧＢ値は、０〜２５５までの整数であり、各感性
パターンＩＤに対応付けられた色の数は、最大ｍ個であ
る。

【００６７】次に、本実施形態で実行される処理につい
て、図１８を用いて説明する。

【００６８】図１８は本発明の実施形態で実行される処
理を示すフローチャートである。

【００６９】ステップＳ３００１で、図２における検索
要求入力処理部２０１の動作を行う処理モジュールによ
って、検索要求入力処理を行う。尚、この検索要求入力
処理の詳細については、後述する。ステップＳ３００２
で、検索重み保持部２０４を参照し、検索重みが指定さ
れていれば、その値を決定重み保持部２０７に格納す
る。一方、検索重みが指定されていなければ、概念判別
辞書２０５を参照し、検索語保持部２０２に格納された
検索語を見出し語２０５０から検索し、対応する連想重
み２０５３、感性パターン重み２０５４を読み出し、決
定重み保持部２０７に格納する。尚、検索語保持部２０
２に一致する見出し語２０５０が存在しない場合は、既
定値として連想重み、感性パターン重みとも５を決定重
み保持部２０７に格納するものとする。

【００７０】ステップＳ３００３で、決定重み保持部２
０７を参照し、連想重みが０であるか否かを判定する。
連想重みが０である場合（ステップＳ３００３でＹＥ
Ｓ）、ステップＳ３００５へ進む。一方、連想重みが０
でない場合（ステップＳ３００３でＮＯ）、ステップＳ
３００４へ進む。

【００７１】ステップＳ３００４で、図２における連想
語展開処理部２０８、連想語による画像内容語検索処理
部２１０の動作を行う処理モジュールによって、連想語
による検索処理を行う。尚、連想語による検索処理の詳
細については、後述する。

【００７２】ステップＳ３００５で、決定重み保持部２
０７を参照し、感性パターン重みが０であるか否かを判
定する。感性パターン重みが０である場合（ステップＳ
３００５でＹＥＳ）、ステップＳ３００７へ進む。一
方、感性パターン重みが０でない場合（ステップＳ３０
０５でＮＯ）、ステップＳ３００６へ進む。

【００７３】ステップＳ３００６で、図２における感性
パターン展開処理部２１２、感性パターン検索処理部２
１４の動作を行う処理モジュールによって、感性パター
ンによる検索処理を行う。尚、感性パターンによる検索
処理の詳細については、後述する。ステップＳ３００７
で、図２における検索結果統合処理部２１７の動作を行
う処理モジュールによって、検索結果統合処理を行う。
尚、検索結果統合処理の詳細については、後述する。

【００７４】ステップＳ３００８で、ステップ３００７
によって得られた検索結果に格納されている画像ＩＤに
対応する画像ファイルを画像保持部２１８より取り出し
て表示する。尚、この処理は、同種の情報検索装置にお
いて広く行われている公知の処理である。

【００７５】次に、ステップＳ３００１の検索要求入力
処理の詳細について、図１９を用いて説明する。

【００７６】図１９は本発明の実施形態の検索要求入力
処理の詳細を示すフローチャートである。

【００７７】ステップＳ２０１１で、検索要求となる検
索語を入力する。検索語の入力はＫＢ１５から入力され
た文字コードをＲＡＭ１３上の検索語保持部２０２に格
納することにより行われる。次に、ステップ２０１２に
おいて、検索語保持部２０２に格納された検索語に関連
する検索観点を概念判別辞書２０５から取り出す。つま
り、検索語保持部２０２の検索語と一致する見出し語２
０５０に対する検索観点２０５１をすべて取り出す。例
えば、検索語が「渋い」である場合、検索観点として
「色調」、「味」、「雰囲気一般」の３つを得ることが
できる。

【００７８】ステップＳ２０１３で、検索観点があるか
否かを判定する。検索観点がある場合（ステップＳ２０
１３でＹＥＳ）、ステップＳ２０１４へ進む。一方、検
索観点がない場合（ステップＳ２０１３でＮＯ）、ステ
ップＳ２０１６へ進む。

【００７９】ステップ２０１４で、図８で説明した検索
観点を指定するための画面を表示する。ステップ２０１
５で、表示された画面における検索観点から、所望の検
索観点を選択する。そして、選択された検索観点は検索
観点保持部２０３に格納される。

【００８０】ステップＳ２０１６で、検索要求に対する
検索処理に関し、連想語による検索と感性パターンによ
る検索のいずれを重視して検索を行うかを指示する検索
重みを入力する。所望の検索重みを、図９に示した操作
パネル上のスライドボタン４１を操作し、連想語を重視
する割合、感性パターンを重視する割合を指定する。検
索重みを指定しない場合は、図９に示した操作パネル上
の表示領域内ボタン４２を押下して、検索の重みの既定
値を指定する。

【００８１】ステップＳ２０１７で、検索重みの指定が
あるか否かを判定する。検索重みの指定がない場合（ス
テップＳ２０１７でＮＯ）、つまり、検索重みの既定値
が指定された場合は、処理を終了する。一方、検索重み
の指定がある場合（ステップＳ２０１７でＹＥＳ）、ス
テップＳ２０１８に進み、指定された連想語の重み、感
性パターンの重みを検索重み保持部２０４に格納し、処
理を終了する。

【００８２】次に、ステップＳ３００４の連想語による
検索処理の詳細を示すフローチャートである。

【００８３】図２０は本発明の実施形態の連想語による
検索処理の詳細を示すフローチャートである。

【００８４】ステップＳ２１０１で、検索語保持部２０
２に格納されている検索語を連想語辞書２１１の見出し
語２１１１と一致する連想語データを検索する。検索語
に一致する見出し語が存在する場合、その連想ＩＤをす
べて展開連想語保持部２０９に格納する。次に、ステッ
プＳ２１０２で、概念判別辞書２０５を検索し、検索語
２０２と一致する見出し語が存在する場合、その見出し
語に対応する検索観点２０５１を取り出す。取り出され
た検索観点２０５１と、検索観点保持部２０３に格納さ
れている検索観点とを比較し、一致している場合、この
見出し語に対応する反意概念２０５２を取り出す。一
方。検索観点が一致していない場合、引き続き検索語と
見出し語の一致するデータの検索を行い、最終的に見出
し語と検索観点の一致する反意概念が見つからなけれ
ば、ステップ２１０３へ進む。

【００８５】ステップＳ２１０３で、ステップＳ２１０
２で見つかった反意概念と一致する見出し語を持つ連想
語を連想語辞書２１１から検索する。反意概念に一致す
る見出し語が存在する場合、その連想ＩＤを反意概念で
あることを示す状態符号を付与して、展開連想語保持部
２０９に格納する。

【００８６】ステップ２１０４で、展開連想語保持部２
０９に格納された連想ＩＤから連想語を取り出し、連想
語と一致する画像内容語を画像内容語保持部２１９から
検索し、その検索結果を検索結果保持部２１６に格納す
る。具体的には、まず、展開連想語保持部２０９より連
想ＩＤを取り出し、連想語辞書２１１を参照して、対応
する連想データを抽出する。次に、抽出した連想データ
の連想強度２１１４を取り出し、展開連想語保持部２０
９より取り出した連想ＩＤに反意概念の状態符号が付与
されていた場合、連想強度の符号を反転して負数となる
ようにする。但し、連想強度がすでに負数であった場
合、その連想データは廃棄して、次の連想データをチェ
ックする。このようにして得た連想強度をＲＡＭ１３上
のワークメモリＡＳＣＦ（不図示）にセットする。

【００８７】次に、連想ＩＤに対応する連想観点を取り
出し、検索観点保持部２０３に格納された検索観点と比
較する。一致する場合、所定値αをＲＡＭ１３上のワー
クメモリＶＰＦ（不図示）にセットする。一致しない場
合、α×０．１の値をＲＡＭ１３上のワークメモリＶＰ
Ｆにセットする。

【００８８】次に、連想ＩＤに対応する連想語と一致す
る画像内容語を画像内容語保持部２１９から検索する。
検索される場合、その画像ＩＤ２１９１１を検索結果保
持部２１６の検索された画像ＩＤ２１６０にセットし、
連想語一致数２１６１に１をセットし、連想語ＩＤ２１
６２に検索対象となっている連想ＩＤをセットする。そ
して、連想一致度２１６３に、連想語一致によるスコア
の所定値βにＲＡＭ１３上のワークメモリＡＳＣＦの値
とワークメモリＶＰＦの値を乗じた値を連想一致度とし
て格納する。尚、すでに同じ画像ＩＤが格納されている
場合は、連想語一致数２１６１の値を＋１し、連想語Ｉ
Ｄ２１６２に新たな連想語ＩＤを加え、格納済の連想一
致度２１６３の値に、求めた連想一致度を加えて新しい
連想一致度として値を更新する。

【００８９】次に、ステップＳ３００６の感性パターン
による検索処理と、ステップＳ３００７の検索結果統合
処理の詳細について、図２１を用いて説明する。

【００９０】図２１は本発明の実施形態のステップＳ３
００６の感性パターンによる検索処理と、ステップＳ３
００７の検索結果統合処理の詳細を示すフローチャート
である。

【００９１】この処理は、ＤＩＳＫ１４に格納されてい
る処理プログラムに従って制御される。

【００９２】まず、検索要求入力処理部２０１で、利用
者から画像を検索するための検索要求が入力される。検
索要求には、１つまたは複数の検索語、検索観点等が含
まれる。本実施形態で入力される検索語は、「さわやか
な」感じ、「あたたかい」感じ等の画像の印象を表す抽
象的なイメージ語である。入力された検索語は、検索語
保持部２０２に格納される。本実施形態では、例えば、
「さわやかな」というイメージ語が格納されているもの
とする。

【００９３】次に、ステップＳ２１４１で、イメージ語
と感性パターンの対応保持部２１５を参照して、検索語
保持部２０２に保持されているイメージ語を感性パター
ンに展開する。この処理は、感性パターン展開処理部２
１２で行われる処理である。本実施形態では、検索語保
持部２０２にイメージ語「さわやかな」が、また、展開
連想語保持部２０９には「さわやかな」から展開された
連想語「森林」「高原」「青空」等が保持されており、
イメージ語と感性パターンの対応保持部２１５を参照し
て、それぞれに対応する感性パターンＩＤに展開する。
例えば、イメージ語「さわやかな」−連想語「森林」に
対する感性パターンＩＤとして、００５，００６を、ま
た、イメージ語「さわやかな」−連想語「高原」に対す
る感性パターンＩＤとして００７を取得する。

【００９４】次に、ステップＳ２１４２で、展開された
感性パターンＩＤとイメージ語・連想語の組を展開感性
パターン保持部２１３に格納する。この時のデータ格納
例は、図４に示した通りである。ステップＳ２１４３
で、感性パターン保持部２２０を参照して、展開感性パ
ターン保持部２１３に格納されている感性パターンＩＤ
に対する適合度が０より大きい画像の画像ＩＤを全て取
得する。この処理は、感性パターン検索処理部２１４で
行われる処理であり、この処理を展開感性パターン保持
部２１３に保持されているすべての感性パターンについ
て行う。

【００９５】次に、ステップＳ２１４４で、取得した感
性パターンＩＤと画像ＩＤとその適合度の組を検索結果
保持部２１６に格納する。ステップＳ２１４５で、検索
結果保持部２１６に保持されている連想語による画像内
容語検索結果と感性パターン検索結果を参照して、決定
重み保持部２０７に保持されている検索重みをもとに両
検索結果を一つの検索結果として統合する。この処理
は、検索結果統合処理部２１７で行われる処理である。
また、この処理には、各連想語毎に両検索結果の共通要
素をとる方法や、各検索に対する重みから統合適合度を
求め、結合適合度が上位のものから適切な検索結果とす
る方法などがある。本実施形態では、統合適合度を求め
る方法を例に挙げて説明する。

【００９６】検索結果保持部２１６に記憶されている連
想語「森林」と一致した画像の連想適合度をＡ、連想語
「森林」に対応した感性パターンＩＤ００５に適合した
画像の感性適合度をＢ、決定重み保持部２０７に保持さ
れたそれぞれの検索重みをｗ1、ｗ2（ｗ1＋ｗ2＝１）と
したとき、統合適合度は、 統合適合度＝ｗ1＊Ａ＋ｗ2＊Ｂ となる。または、統合適合度＝（ｗ1＊Ａ²⁺ｗ2＊Ｂ²）
^1/2 で求めることができる。そして、統合適合度を全ての連
想語の全感性パターンについて求める。一つの画像ＩＤ
が複数の感性パターンＩＤに対して０より大きい適合度
を持つ場合は、一つの画像に対して複数の統合適合度が
得られるが、この場合は、最も大きい結合適合度の画像
を検索結果として採用する。この処理を、どちらかの検
索結果が０よりも大きい全ての画像について行い、統合
適合度が所定の閾値Ｘよりも高い画像を統合した検索結
果とする。

【００９７】つまり、ステップＳ２１４６で、処理対象
の画像の結合適合度が閾値Ｘより大きいか否かを判定す
る。結合適合度が閾値Ｘ以下の場合（ステップＳ２１４
６でいいえ）、ステップＳ２１４５に戻る。一方、結合
適合度が閾値Ｘより大きい場合（ステップＳ２１４６で
はい）、ステップＳ２１４７に進む。ステップＳ２１４
７で、処理対象の画像の画像ＩＤを検索結果として検索
結果保持部２１６に保持する。ステップＳ２１４８で、
次の処理対象の画像があるか否かを判定する。ある場合
（ステップＳ２１４８ではい）、ステップＳ２１４５に
戻る。一方、ない場合（ステップＳ２１４８でいい
え）、ステップＳ２１４９に進む。

【００９８】ステップＳ２１４９で、画像ＩＤとその結
合適合度の組を検索結果保持部２１６に格納することに
より、処理を終了する。

【００９９】次に、検索対象の画像を登録する画像登録
処理について、図２２を用いて説明する。

【０１００】図２２は本発明の実施形態の画像登録処理
を示すフローチャートである。

【０１０１】この処理は、ＤＩＳＫ１４に格納されてい
る処理プログラムに従って制御される。

【０１０２】まず、ステップＳ２２０１で、ユーザから
登録する画像が指示される。登録する画像は、ＤＩＳＫ
１４や、不図示の外部記憶装置、画像入力装置またはこ
の画像処理装置に接続された画像データベース・サーバ
等に格納されている画像の中から指定される。本実施形
態では、検索の対象となる画像があらかじめ記憶されて
おり、この中から画像が選択されるものとする。

【０１０３】次に、ステップＳ２２０２で、指定された
画像の画像ファイル名に対応した画像ＩＤ、および登録
するために必要となる各種画像情報を取得し、画像特徴
抽出処理部２２１に与える。画像ＩＤは、画像を管理す
るために、画像ファイル名に対応付けられて記憶されて
いるＩＤであり、画像ファイル名から画像保持部２１８
のデータを検索して取得する。画像の各種画像情報と
は、例えば、この画像のファイルフォーマットがビット
マップ形式の場合は、画像の幅及び高さのピクセル値、
１ピクセル当たりのビット数、画像のサイズ（バイト単
位）、ビットマップイメージが実際に格納されている領
域のアドレス等である。これらの画像情報は、画像ファ
イルのヘッダ部分に格納されているので、ヘッダ部を参
照することにより取得できる。画像のファイルフォーマ
ットが、ビットマップ形式ではなく、ＪＦＩＦやＦｌａ
ｓｈＰｉｘの場合も、同様にファイルのヘッダ部から必
要な情報を得ることができる。また、画像保持部２１８
に、これらの画像情報を格納しておき、登録時に参照す
ることにより取得するようにしてもよい。

【０１０４】次に、ステップＳ２２０３で、指定された
画像ＩＤに対する画像情報を解析し、物理的な画像特徴
量を抽出する。この処理は、画像特徴量抽出処理部２２
１で行われる処理である。この例は、図１６で説明した
通りである。次に、ステップＳ２２０４で、抽出された
画像特徴量ｃ1〜Ｃnとこの画像の画像ＩＤを対応づけ
て、画像特徴量保持部２２２に記憶する。この例は、図
１７に示した通りである。

【０１０５】次に、ステップＳ２２０５で、感性パター
ンと画像特徴量の対応保持部２２３を参照して、画像特
徴量と感性パターンの対応保持部２２３に記憶されてい
るすべての感性パターンＩＤとその感性パターンに対応
づけられた画像特徴量を取得する。この例は、図７に示
した通りである。

【０１０６】次に、ステップＳ２２０６で、取得した感
性パターンと、この画像に対する画像特徴量との適合度
を求める。この処理は、感性パターン判定処理部２２４
で行われる処理であり、ステップＳ２２０５で、取得し
た感性パターンそれぞれについて、感性パターンに対応
付けられた色彩的画像特徴量とステップＳ２２０３で抽
出された画像特徴量とを比較・照合して、その適合度を
求める。適合度は、画像特徴量と感性パターンの対応保
持部２２３に記憶されているすべての感性パターンにつ
いて求める。適合度を算出するには、余弦測度を用いた
ベクトル演算や統計処理などの手法が用いられる。

【０１０７】次に、ステップＳ２２０７で、ステップＳ
２２０６で求められたすべての感性パターンと画像の適
合度を、この画像の画像ＩＤに対応づけて感性パターン
保持部２２０に記憶する。この例は、図５に示した通り
である。

【０１０８】以上説明したように、本実施形態によれ
ば、所望のマルチメディア情報を示す検索語に関連する
内容を描写した連想語に基づいてマルチメディア情報を
検索することができ、かつ、マルチメディア情報そのも
のの特徴量を利用することにより、検索語を満たし得な
い不適切な特徴量を有するマルチメディア情報を精度良
く取り出すことができる。

【０１０９】上記実施形態では、検索対象として画像情
報を用いて説明したが、画像情報以外のマルチメディア
情報についても、情報特徴量抽出を行い、情報特徴量と
感性パターンとを対応づけることによって、本発明を適
用することができる。

【０１１０】以上の説明において、検索対象となる画像
保持部２１８、画像内容語保持部２１９、感性パターン
保持部２２０は、単一の装置を構成するＤＩＳＫ１４に
配置するものとして説明したが、これらの構成要件を異
なる装置に分散配置し、ＮＩＣ１９を介してネットワー
ク上で処理を行うようにすることも可能である。

【０１１１】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【０１１２】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【０１１３】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【０１１４】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【０１１５】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【０１１６】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【０１１７】

【発明の効果】以上説明したように、本発明によれば、
指定した検索要求に従った適切な情報検索を行うことが
できる情報検索装置及びその方法、コンピュータ可読メ
モリを提供できる。

【０１１８】

【図面の簡単な説明】

【図１】本発明の実施形態の情報検索装置の構成を示す
図である。

【図２】本発明の実施形態の情報検索装置の機能構成を
示すブロック図である。

【図３】本発明の実施形態の感性パターンと連想語の対
応保持部の構成を示す図である。

【図４】本発明の実施形態の展開感性パターン保持部の
構成を示す図である。

【図５】本発明の実施形態の感性パターン保持部の構成
を示す図である。

【図６】本発明の実施形態の画像特徴量の一例を示す図
である。

【図７】本発明の実施形態の画像特徴量と感性パターン
保持部の構成を示す図である。

【図８】本発明の実施形態の検索要求入力処理部におい
て入力された検索観点の表示例を示す図である。

【図９】本発明の実施形態の検索重みを指示する場合の
操作パネルの表示例を示す図である。

【図１０】本発明の実施形態の画像保持部の構成を示す
図である。

【図１１】本発明の実施形態の画像内容語保持部の構成
を示す図である。

【図１２】本発明の実施形態の画像内容語保持部の構成
の他の一例を示す図である。

【図１３】本発明の実施形態の概念判別辞書の構成を示
す図である。

【図１４】本発明の実施形態の連想語辞書の構成を示す
図である。

【図１５】本発明の実施形態の検索結果保持部の構成を
示す図である。

【図１６】本発明の実施形態の画像特徴量の他の一例を
示す図である。

【図１７】本発明の実施形態の画像特徴量保持部の構成
を示す図である。

【図１８】本発明の実施形態で実行される処理を示すフ
ローチャートである。

【図１９】本発明の実施形態の検索要求入力処理の詳細
を示すフローチャートである。

【図２０】本発明の実施形態の連想語による検索処理の
詳細を示すフローチャートである。

【図２１】本発明の実施形態のステップＳ３００６の感
性パターンによる検索処理と、ステップＳ３００７の検
索結果統合処理の詳細を示すフローチャートである。

【図２２】本発明の実施形態の画像登録処理を示すフロ
ーチャートである。

【符号の説明】

１１ ＣＰＵ １２ ＲＯＭ １３ ＲＡＭ １４ ＤＩＳＫ １５ ＫＢ １６ ＶＲＡＭ １７ ＣＲＴＣ １８ ＣＲＴ １９ ＮＩＣ

フロントページの続き Ｆターム(参考） 5B050 CA07 EA09 FA02 FA13 GA08 5B075 ND06 ND16 NK04 NK07 NK08 NK31 PP03 PP13 PP28 QM07 QS15 UU40

Claims (11)

【特許請求の範囲】
1. 【請求項１】 複数種類のマルチメディア情報を管理
   し、その管理されているマルチメディア情報から所望の
   マルチメディア情報を検索する情報検索装置であって、 前記マルチメディア情報と、該マルチメディア情報に描
   写されている概念を言語で表現した内容語を対応づけて
   記憶する画像内容語保持部と、 前記内容語と、該内容語から連想される連想語とを対応
   づけて記憶する連想語辞書と、 検索語を入力する入力手段と、 前記検索語に対応する見出し語と、該見出し語に関連す
   る検索観点を対応づけて記憶する概念判別辞書と、 前記入力手段によって入力された検索語に対応する見出
   し語に関連する検索観点を前記概念判別辞書から抽出
   し、その抽出した検索観点を表示する表示手段と、 前記表示手段で表示された検索観点から所望の検索観点
   を指定する指定手段と、 前記入力手段によって入力された検索語に対応する連想
   語を前記連想語辞書から取得し、その取得した連想語に
   基づいてマルチメディア情報を検索する第１検索手段
   と、 前記入力手段によって入力された検索語に対応する特徴
   量を抽出し、その抽出した特徴量に基づいてマルチメデ
   ィア情報を検索する第２検索手段と、 前記指定手段で指定された検索観点に基づいて、前記第
   １検索手段と前記第２検索手段によって得られる検索結
   果を統合する統合手段とを備えることを特徴とする情報
   検索装置。
2. 【請求項２】 前記概念判別辞書は、更に、前記見出し
   語に対応する反意概念を記憶し、 前記第１検索手段は、前記入力手段で入力された検索語
   及び検索観点に基づいて、前記検索語に対応する見出し
   語及び反意概念を前記概念判別辞書から取得し、その取
   得した見出し語及び反意概念に基づいて、前記検索語に
   対応する連想語を前記連想語辞書から取得することを特
   徴とする請求項１に記載の情報検索装置。
3. 【請求項３】 連想語と、感性パターンを対応づけて記
   憶する保持部を更に備え、 前記第２検索手段は、前記検索語に対応する連想語に対
   応する感性パターンを前記保持部より取得し、その取得
   した感性パターンの特徴量を該検索語に対応する特徴量
   として抽出することを特徴とする請求項１に記載の情報
   検索装置。
4. 【請求項４】 前記マルチメディア情報は、画像情報で
   あることを特徴とする請求項１に記載の情報検索装置。
5. 【請求項５】 前記特徴量は、前記画像情報に含まれる
   配色情報または構図情報または形状情報の少なくとも１
   つを含むことを特徴とする請求項４に記載の情報検索装
   置。
6. 【請求項６】 複数種類のマルチメディア情報を管理
   し、その管理されているマルチメディア情報から所望の
   マルチメディア情報を検索する情報検索方法であって、 検索語を入力する入力工程と、 前記マルチメディア情報と、該マルチメディア情報に描
   写されている概念を言語で表現した内容語を対応づけて
   記憶する画像内容語保持部と、前記内容語と、該内容語
   から連想される連想語とを対応づけて記憶する連想語辞
   書と、前記検索語に対応する見出し語と、該見出し語に
   関連する検索観点を対応づけて記憶する概念判別辞書と
   を記憶媒体に記憶する記憶工程と、 前記入力工程によって入力された検索語に対応する見出
   し語に関連する検索観点を前記概念判別辞書から抽出
   し、その抽出した検索観点を表示する表示工程と、 前記表示工程で表示された検索観点から所望の検索観点
   を指定する指定工程と、 前記入力工程によって入力された検索語に対応する連想
   語を前記連想語辞書から取得し、その取得した連想語に
   基づいてマルチメディア情報を検索する第１検索工程
   と、 前記入力工程によって入力された検索語に対応する特徴
   量を抽出し、その抽出した特徴量に基づいてマルチメデ
   ィア情報を検索する第２検索工程と、 前記指定工程で指定された検索観点に基づいて、前記第
   １検索工程と前記第２検索工程によって得られる検索結
   果を統合する統合工程とを備えることを特徴とする情報
   検索方法。
7. 【請求項７】 前記概念判別辞書は、更に、前記見出し
   語に対応する反意概念を記憶し、 前記第１検索工程は、前記入力工程で入力された検索語
   及び検索観点に基づいて、前記検索語に対応する見出し
   語及び反意概念を前記概念判別辞書から取得し、その取
   得した見出し語及び反意概念に基づいて、前記検索語に
   対応する連想語を前記連想語辞書から取得することを特
   徴とする請求項６に記載の情報検索方法。
8. 【請求項８】 前記記憶工程は、更に、連想語と、感性
   パターンを対応づけて記憶する保持部を前記記憶媒体に
   記憶し、 前記第２検索工程は、前記検索語に対応する連想語に対
   応する感性パターンを前記保持部より取得し、その取得
   した感性パターンの特徴量を該検索語に対応する特徴量
   として抽出することを特徴とする請求項６に記載の情報
   検索方法。
9. 【請求項９】 前記マルチメディア情報は、画像情報で
   あることを特徴とする請求項６に記載の情報検索方法。
10. 【請求項１０】 前記特徴量は、前記画像情報に含まれ
    る配色情報または構図情報または形状情報の少なくとも
    １つを含むことを特徴とする請求項９に記載の情報検索
    方法。
11. 【請求項１１】 複数種類のマルチメディア情報を管理
    し、その管理されているマルチメディア情報から所望の
    マルチメディア情報を検索する情報検索のプログラムコ
    ードが格納されたコンピュータ可読メモリであって、 検索語を入力する入力工程のプログラムコードと、 前記マルチメディア情報と、該マルチメディア情報に描
    写されている概念を言語で表現した内容語を対応づけて
    記憶する画像内容語保持部と、前記内容語と、該内容語
    から連想される連想語とを対応づけて記憶する連想語辞
    書と、前記検索語に対応する見出し語と、該見出し語に
    関連する検索観点を対応づけて記憶する概念判別辞書と
    を記憶媒体に記憶する記憶工程のプログラムコードと、 前記入力工程によって入力された検索語に対応する見出
    し語に関連する検索観点を前記概念判別辞書から抽出
    し、その抽出した検索観点を表示する表示工程のプログ
    ラムコードと、 前記表示工程で表示された検索観点から所望の検索観点
    を指定する指定工程のプログラムコードと、 前記入力工程によって入力された検索語に対応する連想
    語を前記連想語辞書から取得し、その取得した連想語に
    基づいてマルチメディア情報を検索する第１検索工程の
    プログラムコードと、 前記入力工程によって入力された検索語に対応する特徴
    量を抽出し、その抽出した特徴量に基づいてマルチメデ
    ィア情報を検索する第２検索工程のプログラムコード
    と、 前記指定工程で指定された検索観点に基づいて、前記第
    １検索工程と前記第２検索工程によって得られる検索結
    果を統合する統合工程のプログラムコードとを備えるこ
    とを特徴とするコンピュータ可読メモリ。