JP2002175328A

JP2002175328A - 情報検索方法及び装置並びに記憶媒体

Info

Publication number: JP2002175328A
Application number: JP2000371961A
Authority: JP
Inventors: Tomomi Takada; 智美高田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-12-06
Filing date: 2000-12-06
Publication date: 2002-06-21

Abstract

(57)【要約】【課題】目的とする所望の情報を高精度に且つ迅速に
検索することができる情報検索方法及び装置を提供す
る。【解決手段】ＣＰＵ１０１により、検索要求語と検索
対象となるマルチメディア情報が表現している概念に対
応付けられたカテゴリに応じてマルチメディア情報に付
与された内容語とマルチメディア情報そのものの特徴量
データとを検索条件として利用する比率を変えるように
制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、画像情報
等のマルチメディア情報を検索する情報検索方法及び装
置並びにこの情報検索装置を制御するための制御プログ
ラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】従来、例えば、画像情報等のマルチメデ
ィア情報を検索する情報検索装置において、入力された
キーワードと、マルチメディア情報に対応付けられたキ
ーワードとの一致を図ることによって所望のマルチメデ
ィア情報を取得する情報検索装置が実現されている。ま
た、入力されたキーワードだけではなく、入力されたキ
ーワードと関連する関連キーワードとマルチメディア情
報に対応付けられたキーワードとの一致を図ることによ
って、入力したキーワードとの完全一致のみでは得られ
なかったマルチメディア情報を取得する情報検索装置も
また実現されている。

【０００３】また、画像の色情報等のマルチメディア情
報の特徴データを利用して、入力したキーワードとの対
応をとり、類似した特徴データを持つマルチメディア情
報を取得する情報検索装置も提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来例にあっては、マルチメディア情報の特徴データ
と入力したキーワードとの対応をとることにって検索す
る場合に、検索対象データに対してキーワードの適合性
を考慮していなかったため、操作者が意図する検索結果
を得られないという問題点があった。

【０００５】例えば、「爽やか」という検索要求に対し
て、自然風景の画像とファッションの画像を検索する場
合では、「爽やか」からイメージする色彩（配色）が異
なる。また、人物をテーマとした画像は、画像特徴によ
って印象が決まることはあまりないため、色彩で検索し
てもあまり意味がないだけでなく、色彩を使って検索し
たために「爽やかな人物」とは異なる画像が検索されて
しまうことも考えられる。

【０００６】このように、検索対象である画像の内容や
テーマを考慮せずに画像特徴量による検索を行なうと、
検索効率が低下するという問題や、操作者の意にそぐわ
ない画像が検索されてしまうことがあるという問題点が
あった。

【０００７】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、操作者が所望する情報を高精度に
且つ迅速に検索することができる情報検索方法及び装置
を提供することにある。

【０００８】また、本発明の第２の目的とするところ
は、上述した本発明の情報検索装置を制御するための制
御プログラムを格納した記憶媒体を提供することにあ
る。

【０００９】

【課題を解決するための手段】上記第１の目的を達成す
るために請求項１に記載の情報検索方法は、マルチメデ
ィア情報が表現している内容から各情報を少なくとも１
つのカテゴリに分類しその情報が属するカテゴリと各情
報とを対応付けて格納するカテゴリ格納工程と、検索語
を入力する検索語入力工程と、前記検索語に対応する見
出し語に関連するカテゴリを対応付けて記憶する概念判
別辞書から前記検索語に対応する見出し語に関連するカ
テゴリを取得する検索カテゴリ取得工程と、前記マルチ
メディア情報から数値化された物理的な特徴量を抽出す
る特徴量抽出工程と、前記特徴量抽出工程により求めら
れたデータの特徴量を各データに対応付けて格納する特
徴量格納工程と、前記検索語を該検索語に対応付けられ
た特徴量に展開するための特徴量展開辞書を用いて前記
検索語を該検索語に関連のあるカテゴリに対応付けられ
た特徴量に展開する特徴量展開工程と、前記検索語に対
応付けられたカテゴリと前記マルチメディア情報に対応
付けられたカテゴリとを比較することによって前記検索
語に対応付けられたカテゴリに適したデータを検索する
第１検索処理工程と、前記第１検索処理工程によって検
索された前記マルチメディア情報から抽出された特徴量
と前記検索語から展開された各マルチメディア情報の属
するカテゴリに適した特徴量とを比較することによって
前記検索語に適したデータを検索する第２検索処理工程
とを有することを特徴とする。

【００１０】また、上記第１の目的を達成するために請
求項２に記載の情報検索方法は、請求項１に記載の情報
検索方法において、前記マルチメディア情報として画像
情報を蓄積し、前記特徴量として前記画像情報を解析し
て得られる配色情報または構図情報または形状情報等の
物理的な画像特徴量としたことを特徴とする。

【００１１】また、上記第１の目的を達成するために請
求項３に記載の情報検索方法は、請求項１または２に記
載の情報検索方法において、前記検索語に対応したカテ
ゴリを指定するための検索カテゴリ指定工程を有し、こ
の検索カテゴリ指定工程により、操作者が所望のカテゴ
リを少なくとも１つ指定することが可能なことを特徴と
する。

【００１２】また、上記第１の目的を達成するために請
求項４に記載の情報検索方法は、請求項１〜３のいずれ
かに記載の情報検索方法において、前記カテゴリは分野
やテーマであることを特徴とする。

【００１３】また、上記第１の目的を達成するために請
求項５に記載の情報検索装置は、マルチメディア情報が
表現している内容から各情報を少なくとも１つのカテゴ
リに分類しその情報が属するカテゴリと各情報とを対応
付けて格納するカテゴリ格納手段と、検索語を入力する
検索語入力手段と、前記検索語に対応する見出し語に関
連するカテゴリを対応付けて記憶する概念判別辞書から
前記検索語に対応する見出し語に関連するカテゴリを取
得する検索カテゴリ取得手段と、前記マルチメディア情
報から数値化された物理的な特徴量を抽出する特徴量抽
出手段と、前記特徴量抽出手段により求められたデータ
の特徴量を各データに対応付けて格納する特徴量格納手
段と、前記検索語を該検索語に対応付けられた特徴量に
展開するための特徴量展開辞書を用いて前記検索語を該
検索語に関連のあるカテゴリに対応付けられた特徴量に
展開する特徴量展開手段と、前記検索語に対応付けられ
たカテゴリと前記マルチメディア情報に対応付けられた
カテゴリとを比較することによって前記検索語に対応付
けられたカテゴリに適したデータを検索する第１検索処
理手段と、前記第１検索処理手段によって検索された前
記マルチメディア情報から抽出された特徴量と前記検索
語から展開された各マルチメディア情報の属するカテゴ
リに適した特徴量とを比較することによって前記検索語
に適したデータを検索する第２検索処理手段とを有する
ことを特徴とする。

【００１４】また、上記第１の目的を達成するために請
求項６に記載の情報検索装置は、請求項５に記載の情報
検索装置において、前記マルチメディア情報として画像
情報を蓄積し、前記特徴量として前記画像情報を解析し
て得られる配色情報または構図情報または形状情報等の
物理的な画像特徴量としたことを特徴とする。

【００１５】また、上記第１の目的を達成するために請
求項７に記載の情報検索装置は、請求項５または６に記
載の情報検索装置において、前記検索語に対応したカテ
ゴリを指定するための検索カテゴリ指定手段を有し、こ
の検索カテゴリ指定手段により、操作者が所望のカテゴ
リを少なくとも１つ指定することが可能なことを特徴と
する。

【００１６】また、上記第１の目的を達成するために請
求項８に記載の情報検索装置は、請求項５〜７のいずれ
かに記載の情報検索装置において、前記カテゴリは分野
やテーマであることを特徴とする。

【００１７】また、上記第２の目的を達成するために請
求項９に記載の記憶媒体は、マルチメディア情報を検索
する情報検索装置を制御するための制御プログラムを格
納した記憶媒体であって、前記制御プログラムは、マル
チメディア情報が表現している内容から各情報を少なく
とも１つのカテゴリに分類しその情報が属するカテゴリ
と各情報とを対応付けて格納するカテゴリ格納モジュー
ルと、検索語を入力する検索語入力モジュールと、前記
検索語に対応する見出し語に関連するカテゴリを対応付
けて記憶する概念判別辞書から前記検索語に対応する見
出し語に関連するカテゴリを取得する検索カテゴリ取得
モジュールと、前記マルチメディア情報から数値化され
た物理的な特徴量を抽出する特徴量抽出モジュールと、
前記特徴量抽出モジュールにより求められたデータの特
徴量を各データに対応付けて格納する特徴量格納モジュ
ールと、前記検索語を該検索語に対応付けられた特徴量
に展開するための特徴量展開辞書を用いて前記検索語を
該検索語に関連のあるカテゴリに対応付けられた特徴量
に展開する特徴量展開モジュールと、前記検索語に対応
付けられたカテゴリと前記マルチメディア情報に対応付
けられたカテゴリとを比較することによって前記検索語
に対応付けられたカテゴリに適したデータを検索する第
１検索処理モジュールと、前記第１検索処理モジュール
によって検索された前記マルチメディア情報から抽出さ
れた特徴量と前記検索語から展開された各マルチメディ
ア情報の属するカテゴリに適した特徴量とを比較するこ
とによって前記検索語に適したデータを検索する第２検
索処理モジュールとを有することを特徴とする。

【００１８】また、上記第２の目的を達成するために請
求項１０に記載の記憶媒体は、請求項９に記載の記憶媒
体において、前記マルチメディア情報として画像情報を
蓄積し、前記特徴量として前記画像情報を解析して得ら
れる配色情報または構図情報または形状情報等の物理的
な画像特徴量としたことを特徴とする。

【００１９】また、上記第２の目的を達成するために請
求項１１に記載の記憶媒体は、請求項９または１０に記
載の記憶媒体において、前記カテゴリは分野やテーマで
あることを特徴とする。

【００２０】

【発明の実施の形態】以下、本発明の各実施の形態を図
面に基づき説明する。

【００２１】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図１８に基づき説明する。

【００２２】図１は、本実施の形態に係る情報検索装置
の全体構成を示すブロック図である。

【００２３】同図において、１０１はマイクロプロセッ
サ（ＣＰＵ；中央処理装置）であり、情報検索のための
演算及び論理判断等を行ない、アドレスバスＡＢ、コン
トロールバスＣＢ、データバスＤＢを介して、それらの
バスに接続された後述する各構成要素を制御する。アド
レスバスＡＢは、マイクロプロセッサ（ＣＰＵ）１０１
の制御の対象とする構成要素を指示するアドレス信号を
転送する。コントロールバスＣＢは、マイクロプロセッ
サ（ＣＰＵ）１０１の制御の対象とする構成要素を指示
するコントロール信号を転送して印加する。データバス
ＤＢは、各構成要素相互間のデータの転送を行なう。

【００２４】１０２はＲＯＭ（リードオンリーメモリ；
読み出し専用記憶素子）であり、本実施の形態において
実行される処理プログラム等の制御プログラムを格納す
る。１０３は１ワード１６ビットで構成されるＲＡＭ
（ランダムアクセスメモリ）であって、各構成要素から
の各種データの一時記憶に用いられる。また、図２にお
いて後述する検索語保持部２０２、検索カテゴリ保持部
２０３、展開感性パターン保持部２１３、検索結果保持
部２１６を記憶する。

【００２５】１０４は外部メモリ（ＤＩＳＫ）であり、
図２において後述する概念判別辞書２０５、画像（情
報）保持部２０６、画像（情報）カテゴリ保持部２０
７、感性パターン保持部２０８、画像特徴量保持部２１
０、画像特徴量と感性パターンの対応保持部２１１、イ
メージ語と感性パターンの対応保持部２１５を格納す
る。また、図２において後述する検索要求入力処理部２
０１、検索カテゴリによる画像カテゴリ検索処理部２０
４、画像特徴抽出処理部２０９、感性パターン展開処理
部２１２、感性パターン検索処理部２１４、感性パター
ン判定処理部２１７の各処理を実行するプログラムが格
納される。また、これらのプログラムを格納する記憶媒
体としては、ＲＯＭ、フロッピーディスク、ＣＤ−ＲＯ
Ｍ、メモリカード、光磁気ディスク等を用いることがで
きる。

【００２６】１０５はキーボード（ＫＢ）であり、アル
ファベットキー、ひらがなキー、カタカナキー、句点等
の文字記号入力キー、検索を指示する検索キー及びカー
ソル移動を指示するカーソル移動キー等のような各種の
機能キーを備えている。１０６は表示用ビデオメモリ
（ＶＲＡＭ）であり、表示すべきデータのパターンを蓄
える。１０７はＣＲＴコントローラ（ＣＲＴＣ）であ
り、表示用ビデオメモリ（ＶＲＡＭ）１０６に蓄えられ
た内容を後述する表示装置（ＣＲＴ）１０８に表示する
役割を担う。１０８は陰極線管等を用いた表示装置（Ｃ
ＲＴ）であり、その表示装置（ＣＲＴ）１０８における
ドット構成の表示パターン及びカーソルの表示をＣＲＴ
コントローラ（ＣＲＴＣ）１０７で制御する。１０９は
ネットワークコントローラ（ＮＩＣ）であり、イーサー
ネット（Ｅｔｈｅｒｎｅｔ）等のネットワークに接続す
る役割を担う。

【００２７】上述したような各構成要素からなる本実施
の形態に係る情報検索装置においては、キーボード（Ｋ
Ｂ）１０５からの入力及びネットワークコントローラ
（ＮＩＣ）１０９から供給されるネットワーク経由の各
種入力に応じて作動するものであって、キーボード（Ｋ
Ｂ）１０５からの入力及びネットワークコントローラ
（ＮＩＣ）１０９からの入力が供給されると、まず、イ
ンタラプト信号がマイクロプロセッサ（ＣＰＵ）１０１
に送られ、そのマイクロプロセッサ（ＣＰＵ）１０１が
外部メモリ（ＤＩＳＫ）１０４内に記憶してある各種の
制御信号を読み出し、その読み出した制御信号に従って
各種の制御が行なわれる。また、本発明に係わるプログ
ラムを格納した記憶媒体をシステム或いは装置に供給
し、そのシステム或いは装置のコンピュータが記憶媒体
に格納されたプログラムコードを読み出して実行するこ
とによっても本発明は達成される。

【００２８】図２は、本実施の形態に係る情報検索装置
の機能構成を示すブロック図である。

【００２９】同図において、２０１は検索要求入力処理
部であり、所望の検索対象に関する要求事項を入力す
る。２０２は検索語保持部で、検索要求入力処理部２０
１により入力された検索語を一時的に記憶するもので、
図１のＲＡＭ１０３に格納される。２０３は検索カテゴ
リ保持部で、検索要求入力処理部２０１により入力され
た検索カテゴリを一時的に記憶するもので、図１のＲＡ
Ｍ１０３に格納される。２０４は画像カテゴリ検索処理
部で、後述する画像カテゴリ保持部２０７に格納された
画像カテゴリのうち、検索カテゴリ保持部２０３に格納
された検索カテゴリと合致するものを検索する。

【００３０】２０５は概念判別辞書で、検索対象となる
概念に関係する検索カテゴリを有する。この概念判別辞
書２０５のデータの格納例を後述する図４に示す。２０
６は画像保持部で、検索対象となる画像情報を格納す
る。この画像保持部２０６のデータの格納例を後述する
図５に示す。２０７は画像カテゴリ保持部で、画像保持
部２０６に格納された画像に描写されている概念をカテ
ゴリに分類し、画像と対応付けて格納する。この画像カ
テゴリ保持部２０７のデータの格納例を後述する図６に
示す。２０８は感性パターン保持部で、画像保持部２０
６に格納された画像情報から得られた感性パターンを格
納するもので、画像ＩＤ（識別子）毎に各感性パターン
との適合度が記憶されている。この感性パターン保持部
２０８のデータの格納例を後述する図７に示す。

【００３１】２０９は画像特徴量抽出処理部で、画像保
持部２０６に格納された画像情報から物理的な画像特徴
量を抽出する。物理的な画像特徴量は、色情報を基に分
割された領域や一定面積で分けられたブロック、または
画像全体から抽出される視覚的な特徴である。画像特徴
とは、例えば、画像の色分布やヒストグラム、画像の濃
淡分布、テクスチャ、エッジ、周波数分布等の数値化さ
れた情報である。この画像特徴の一例を後述する図１２
及び図１８に示す。２１０は画像特徴量保持部で、画像
特徴量抽出処理部２０９によって得られた画像特徴量を
格納する。この画像特徴量保持部２１０のデータの格納
例を後述する図８に示す。

【００３２】２１１は画像特徴量と感性パターンの対応
保持部で、画像特徴量と感性パターンの対応をとって記
憶する。この画像特徴量と感性パターンの対応保持部２
１１のデータの格納例を後述する図９に示す。２１２は
感性パターン展開処理部で、検索語保持部２０２に記憶
された検索語を後述するイメージ語と感性パターンの対
応保持部２１５を参照して感性パターンに展開する。２
１３は展開感性パターン保持部で、感性パターン展開処
理部２１２により展開された感性パターンを一時的に保
持するもので、図１のＲＡＭ１０３に格納される。この
展開感性パターン保持部２１３のデータ格納例を図１０
に示す。

【００３３】２１４は感性パターン検索処理部で、展開
感性パターン保持部２１３を参照して、感性パターン保
持部２０８に格納された感性パターンのうち、展開され
た感性パターンと類似するものを検索する。２１５はイ
メージ語と感性パターンの対応保持部で、イメージ語と
感性パターンの対応をとって格納するものであり、イメ
ージ語とそのイメージ語に関連付けられた各連想語に対
応する感性パターンＩＤ（識別子）が記憶されている。
このイメージ語と感性パターンの対応保持部２１５のデ
ータ格納例を後述する図１１に示す。２１６は検索結果
保持部で、画像カテゴリ検索処理部２０４によって検索
された画像カテゴリの検索結果を一時的に保持するもの
で、図１のＲＡＭ１０３に格納される。２１７は感性パ
ターン判定処理部で、画像特徴量保持部２１０と、画像
特徴量と感性パターンの対応保持部２１１とを参照し
て、感性パターンと画像から抽出した画像特徴量とを比
較・参照して、その適合度を求めるものである。

【００３４】図３は、検索要求入力処理部２０１におい
て、どのようなテーマの画像（情報）を検索するかを操
作者が選択する場合の検索カテゴリ選択画面の表示例を
示す図である。同図において、検索対象となる画像（情
報）に対して、検索分類として「自然風景」、「人
物」、「生物・動物」、「テクスチャ」等が存在するこ
とを示している。キーボード（ＫＢ）１０５上のカーソ
ル移動キーを押下することにより、網かけ表示部は「自
然風景」から「人物」または「生物・動物」というよう
に遷移し、操作者は所望のカテゴリを選択することがで
きる。

【００３５】図４は、概念判別辞書２０５の構成を示す
図である。概念判別辞書２０５は、検索要求となる検索
語に関する情報を提供するものであり、検索語に対応す
る見出し語４０１と、該見出し語４０１に関係する検索
カテゴリ４０２とを対応させて格納したテーブルであ
る。

【００３６】図５は、画像ＩＤと画像ファイル格納パス
とを対応付けた画像保持部２０６の構成を示す図であ
り、同図において、５０１は画像ＩＤであり、１つの画
像ファイルにつき一意に付与された識別番号である。５
０２は画像ファイル格納パスで、画像ＩＤ５０１に対応
する画像ファイルの外部メモリ（ＤＩＳＫ）１０４にお
ける格納先を示すもので、ＭＳ−ＤＯＳのディレクトリ
とファイルに相当する。図示していないが、画像ファイ
ルはヘッダ部と画像データ部とに分けられる。前記ヘッ
ダ部には、その画像ファイルからデータを読み取るとき
に必要な情報や、画像の内容を説明する付帯的な情報が
格納され、その画像フォーマット名を示す画像フォーマ
ットＩＤ、フルサイズ、画像の幅・高さ・深さ・画像圧
縮の有無、カラーパレットの情報、解像度、画像データ
の格納位置へのオフセット等の情報が格納されている。
また、前記画像データ部は、画像データを順次格納して
いる部分である。本実施の形態において、このような画
像フォーマットとして、Ｍｉｃｒｏｓｏｆｔ社のＢＭＰ
フォーマットを用いるものとするが、ＧＩＦフォーマッ
ト或いはＪＰＥＧ、ＦｌａｓｈＰｉｘといった、その他
の圧縮フォーマットを用いても同様の構成を成すことが
できる。

【００３７】図６は、画像ＩＤと画像カテゴリとを対応
付けて格納した画像カテゴリ保持部２０７の構成を示す
図であり、同図において、６０１は画像ＩＤ、６０２は
画像ＩＤ６０１に対応する画像ファイルを分類した画像
カテゴリである。画像のカテゴリは、画像に描写されて
いる内容やテーマ等を分類して名前を割り当てたもの
で、手動またはキーワード等から自動的に割り当てるこ
とができる。画像カテゴリ６０２は、１つの画像につい
て複数個格納してもよく、画像カテゴリ保持部２０７は
画像ＩＤ６０１をキーとする画像カテゴリ６０２のリス
トで表わされる。

【００３８】図７は、画像ＩＤと感性パターンに対する
適合度を対応付けて格納した感性パターン保持部２０８
の構成を示す図である。同図において、７０１は画像を
識別するための画像ＩＤで、画像保持部２０６に格納さ
れている番号と同じものが使用され、このシステムにお
いて画像を一意に定義付けている。７０２は感性パター
ンＩＤで、感性パターン（１）、（２）…（ｍ）に分か
れている。本実施の形態では、それぞれの画像について
画像特徴量と感性パターンの対応保持部２１１に格納さ
れている全ての感性パターンに対する適合度が求められ
るため、全感性パターンＩＤが格納されている。感性パ
ターン（１）、（２）…（ｍ）に格納されている数値は
各画像と感性パターンの適合度を示す数値である。この
適合度は０から１までの数で、０はこの画像が感性パタ
ーンに全く適合しなかったことを示しており、１に近い
ほど適合性が高いことを示している。例えば、本例では
画像ＩＤ００１の画像に対して、感性パターン（１）と
の適合度「０．１０」、感性パターン（２）との適合度
「０．０」が格納されている。

【００３９】図８は、画像ＩＤと画像特徴量とを対応付
けて格納した画像特徴量保持部２２２の構成を示す図で
ある。同図において、８０１は画像を識別するための画
像ＩＤである。この画像ＩＤ８０１は画像保持部２０６
に格納されている番号と同じものが使用されている。８
０２は画像特徴量を抽出したブロックまたは領域を示す
番号（ブロックｏｒ領域Ｎｏ．）で、本例では各領域・
ブロックの番号をＢ1,Ｂ2,…Ｂmで表わしている。８０
３はブロックｏｒ領域Ｎｏ．８０２に示す領域・ブロッ
クの番号Ｂ1,Ｂ2,…Ｂmから抽出された画像特徴を示し
た情報（代表色）である。本例では色彩的画像特徴を抽
出した場合を示し、色彩を表わす情報Ｃ11（Ｒ11,Ｇ11,
Ｂ11）、…、Ｃn1（Ｒn1,Ｇn1,Ｂn1）が格納されてい
る。８０４は各領域・ブロックから抽出された画像特徴
の特徴量である。本例ではＣ11 （Ｒ11,Ｇ11,Ｂ11）、
…、Ｃ1n（Ｒ1n,Ｇ1n,Ｂ1n）の特徴量としてＣ11、…、
Ｃn1が格納されている。

【００４０】図９は、画像特徴量と感性パターンの対応
保持部２１１の構成を示す図であり、各感性パターンに
対応する画像特徴量が格納されている。図９において、
９０１は感性パターンＩＤで、感性パターンを一意に識
別する番号『色（１）、色（２）…色（ｍ）』である。
９０２は各感性パターンＩＤに対応付けられた画像特徴
量データである。本例では感性パターンを色彩的特徴量
で表現しており、各感性パターンＩＤに対する色成分
（ＲＧＢやＨＶＣ等の色空間における値）の組み合わせ
が格納されている。本例では色成分としてＲＧＢ色空間
における値が登録されている。ＲＧＢ値は０〜２５５ま
での整数である。各感性パターンに対応付けられた色の
数は最大ｍ個である。

【００４１】図１０は、感性パターン展開処理部２１２
で展開された感性パターンが格納されている展開感性パ
ターン保持部２１３の構成を示す図である。同図におい
て、１００１は感性パターンの展開元であるイメージ語
で、検索語保持部２０２と同じ検索語が格納されてい
る。本例では、「さわやか」という文字列が格納されて
おり、文字列はＮＵＬＬコードで終了する。１００２は
イメージ語１００１から展開された感性パターンの数
（感性パターン数）で、本例では「７」が格納されてい
る。１００３はイメージ語１００１を実際に展開したデ
ータの格納先の領域を示すアドレス（感性パターン格納
先）で、後述する展開データ１００４にリンクしてい
る。１００４はイメージ語１００１から実際に展開され
た展開データで、ここにはカテゴリと感性パターンの組
が感性パターン数１００２の個数分格納されている。本
例ではカテゴリと感性パターンの組が７組格納されてい
る。１００５はイメージ語１００１と関連しているカテ
ゴリに対応した感性パターンＩＤ（識別子）である。本
例では「５」が格納されている。１００６は「さわや
か」というイメージ語１００１に関連のあるカテゴリ
で、本例では「自然風景」という文字列が格納されてお
り、文字列はＮＵＬＬコードで終了する。

【００４２】図１１は、イメージ語と感性パターンの対
応保持部２１５の構成を示す図であり、イメージ語とそ
のイメージ語に関連したカテゴリ及びイメージ語とカテ
ゴリに対応付けられた感性パターンＩＤが格納されてい
る。図１１において、１１０１は感性パターンの展開元
となるイメージ語である。本例では「さわやかな」、
「トロピカルな」等の文字列が格納されており、文字列
はＮＵＬＬコードで終了する。１１０２はイメージ語１
１０１に関連しているカテゴリである。本例では「さわ
やかな」に対して「自然風景」、「デザイン」、「素
材」等の文字列（カテゴリ）が格納されており、文字列
はＮＵＬＬコードで終了する。この部分に文字列が格納
されていない場合は、特にカテゴリが指定されていない
ことを表わしている。即ち、この感性パターンが、カテ
ゴリに関係なく「さわやかな」というイメージ語全てに
適応することを示している。１１０３はイメージ語１１
０１とカテゴリ１１０２に対応した感性パターンＩＤで
ある。本例ではイメージ語「さわやかな」とそのカテゴ
リ「自然風景」に対する感性パターンＩＤとして
「５」、「６」が格納されている。

【００４３】図１２は、上述した画像特徴量の詳細を示
す図である。図１７は、１枚の画像から画像特徴量を抽
出した例を示し、画像特徴をＸ1,Ｘ2,Ｘ3,…,Ｘn、画像
特徴量を抽出する領域・ブロックをＢ1,Ｂ2,Ｂ3,…Ｂ
m、各領域・ブロックから抽出された特徴量をｘ11〜ｘm
nで表わしている。

【００４４】図１３は、色彩的画像特徴量の詳細を示す
図であり、領域・ブロックをＢ1,Ｂ2,Ｂ3,…Ｂmから抽
出された代表色はＣ1(Ｒ1,Ｇ1,Ｂ1)、Ｃ2(Ｒ2,Ｇ2,Ｂ
2)、…、Ｃn(Ｒn,Ｇn,Ｂn)で、それぞれの特徴量はｃ1
〜ｃnである。

【００４５】次に、本実施の形態に係る情報検索装置の
動作について、図１４のフローチャートを用いて説明す
る。

【００４６】図１４において、まず、ステップＳ１４０
１で検索要求入力処理部２０１により検索要求の入力処
理を行なう。尚、この検索要求入力処理の詳細について
は、図１５を用いて後述する。次に、ステップＳ１４０
２でカテゴリ検索処理を行なう。尚、このカテゴリ検索
処理の詳細については、図１６を用いて後述する。次
に、ステップＳ１４０３で検索結果保持部２１２を参照
し、格納されている検索結果の数が０であるか否かを判
断する。そして、検索結果の数が０でないと判断された
場合は次のステップＳ１４０４へ進んで、感性パターン
展開処理部２１２及び感性パターン検索処理部２１４の
処理を行なった後、ステップＳ１４０５へ進む。尚、こ
のステップＳ１４０４の処理の詳細については、図１７
を用いて後述する。

【００４７】一方、前記ステップＳ１４０３において検
索結果の数が０であると判断された場合は前記ステップ
Ｓ１４０４をスキップしてステップＳ１４０５へ進む。
ステップＳ１４０５では、前記ステップＳ１４０４にお
いて得られた検索結果に格納されている画像ＩＤに対応
する画像ファイルを画像保持部２０６より取り出して表
示装置（ＣＲＴ）１０８に表示した後、本処理動作を終
了する。このステップＳ１４０５に置ける処理は、同種
の検索装置において広く行なわれている公知の処理であ
る。

【００４８】次に、前記図１４のステップＳ１４０１に
おける検索要求入力処理の詳細について、図１５のフロ
ーチャートを用いて説明する。

【００４９】図１５において、まず、ステップＳ１５０
１で検索要求となる検索語を入力する。この検索語の入
力は、キーボード（ＫＢ）１０５から入力された文字コ
ードをＲＡＭ１０３上の検索語保持部２０２に格納する
ことにより行なわれる。

【００５０】次に、ステップＳ１５０２で検索要求に対
して検索対象となる概念に関連する検索カテゴリを指示
する。図３に示すように、検索カテゴリを指示するため
の画面を表示装置（ＣＲＴ）１０８に表示し、表示され
た画面における検索分類の中から、キーボード（ＫＢ）
１０５上のカーソル移動キーを押下することによって、
所望の検索カテゴリを選択する。

【００５１】次に、ステップＳ１５０３で前記ステップ
Ｓ１５０２において検索カテゴリの指示があったか否か
を判断する。そして、検索カテゴリの指示がないと判断
された場合はステップＳ１５０４へ、また、検索カテゴ
リの指示があったと判断された場合はステップＳ１５０
５へそれぞれ進む。

【００５２】ステップＳ１５０４では、検索語保持部２
０２に格納された検索要求に関連する検索カテゴリを概
念判別辞書２０５から抽出した後、ステップＳ１５０５
へ進む。このステップＳ１５０４では、検索語保持部２
０２の検索語と一致する見出し語４０１に対する検索カ
テゴリ４０２を全て抽出する。例えば、検索語が「さわ
やか」である場合、検索観点として「自然風景」、「人
物」、「デザイン」等を得ることができる。

【００５３】ステップＳ１５０５では、前記ステップＳ
１５０２または前記ステップＳ１５０４において得られ
た検索カテゴリを検索カテゴリ保持部２０３に格納した
後、本処理動作を終了する。

【００５４】次に、前記図１４のステップＳ１４０２に
おけるカテゴリ検索処理の詳細について、図１６のフロ
ーチャートを用いて説明する。

【００５５】まず、ステップＳ１６０１で画像カテゴリ
保持部２０７を参照し、検索カテゴリ保持部２０３に格
納されている検索カテゴリと同じ画像カテゴリを持つ画
像を検索する。画像に対応付けられた画像カテゴリと検
索カテゴリとを比較して、それらが一致した場合は、そ
の画像ＩＤと一致したカテゴリに対応付けて検索結果保
持部２１２に格納する。この処理を全ての画像について
行い、最終的に検索カテゴリと画像カテゴリの一致する
画像が見つからなければ本処理動作を終了する。

【００５６】次に、前記図１４のステップＳ１４０４に
おける感性パターンによる検索処理の詳細について、図
１７のフローチャートを用いて説明する。

【００５７】まず、検索要求入力処理部２０１で操作者
から入力される検索要求語は、「さわやかな」感じ、
「あたたかい」感じ等の画像の印象を表わす抽象的なイ
メージ語である。入力された検索語は、検索語保持部２
０２に格納されている。

【００５８】図１７において、まず、ステップＳ１７０
１でイメージ語と感性パターンの対応保持部２１５を参
照して、検索語保持部２０２に格納されている検索語を
対応する感性パターンに展開する。即ち、このステップ
Ｓ１７０１における処理は、感性パターン展開処理部２
１２で行なう処理である。イメージ語と感性パターンの
対応保持部２１５のデータ格納例は図１１に示した通り
である。

【００５９】イメージ語と感性パターンの対応保持部２
１５に格納されているイメージ語１１０１と、検索語保
持部２０２に格納されている検索語とを比較し、それら
が一致した場合は、一致したイメージ語１１０１に対応
付けられたカテゴリ１１０２と検索カテゴリ保持部２０
３に格納されている検索カテゴリとを比較する。そし
て、これらのカテゴリが一致した場合は、一致したイメ
ージ語「さわやかな」のカテゴリ「自然風景」に対する
感性パターンＩＤとして、「００５」、「００６」、
「００７」を取得する。

【００６０】次に、ステップＳ１７０２で前記ステップ
Ｓ１７０１において展開されたイメージ語に対する感性
パターンＩＤとカテゴリの組を展開感性パターン保持部
２１３に格納する。この展開感性パターン保持部２１３
のデータ格納例は図１０に示した通りである。

【００６１】次に、ステップＳ１７０３で前記ステップ
Ｓ１７０２において検索したカテゴリによる検索結果か
ら、展開感性パターン保持部２１３に格納されている感
性パターンＩＤに適した画像を検索する。この検索処理
は、感性パターン検索処理部２１４により行われる。即
ち、展開感性パターン保持部２１３を参照して、検索結
果保持部２１６に格納されている画像ＩＤに関連付けら
れているカテゴリに対する感性パターンＩＤを取得す
る。次に、感性パターン保持部２０８を参照して、この
画像ＩＤと取得した感性パターンＩＤに対する適合度を
取得し、検索結果保持部２１６に画像ＩＤと対応付けて
格納する。

【００６２】１つのカテゴリに対して複数の感性パター
ンＩＤが存在する場合には、各感性パターンＩＤに対す
る適合度を取得し、これらの和を画像ＩＤに対する適合
度として格納する。また、１つの画像が複数のカテゴリ
に関連付けられている場合は、各カテゴリに対する適合
度を求め、最も値の大きい適合度をこの画像に対する適
合度として検索結果保持部２１６に格納する。この処理
を検索結果保持部２１６に格納されているカテゴリ検索
によって検索された全ての画像について行う。次に、ス
テップＳ１７０４で前記ステップＳ１７０３において取
得した画像ＩＤとその適合度の組を検索結果保持部２１
６に格納して本処理動作を終了する。

【００６３】次に、本実施の形態に係る情報検索装置の
検索対象となる画像を登録する画像登録処理動作につい
て、図１８のフローチャートを用いて説明する。

【００６４】図１８において、まず、ステップＳ１８０
１でユーザから登録する画像が指示される。登録する画
像は、外部メモリ（ＤＩＳＫ）１０４や図示しない外部
記憶装置、画像入力装置、または情報検索装置に接続さ
れた画像データベース・サーバ等に格納されている画像
の中から指定される。本実施の形態では、検索対象とな
る画像が予め記憶されており、この中から画像が選択さ
れるものとする。

【００６５】次に、ステップＳ１８０２で指定された画
像ファイル名に対応した画像ＩＤ及び登録するために必
要となる各種情報を取得し、画像特徴抽出処理部２０９
に与える。画像ＩＤは、画像を管理するために画像ファ
イル名に対応付けられて記憶されているＩＤで、画像フ
ァイル名から画像保持部２０６のデータを検索して取得
する。

【００６６】前記各種情報とは、例えば、この画像のフ
ァイルフォーマットがビットマップ形式の場合は、画像
の幅及び高さのピクセル値、１ピクセル当たりのビット
数、画像のサイズ（バイト単位）、ビットマップイメー
ジが実際に格納されている領域のアドレス等である。こ
れらの情報は、画像ファイルのヘッダ部に格納されてい
るので、このヘッダ部を参照することにより取得するこ
とができる。また、画像のファイルフォーマットがビッ
トマップ形式ではなく、ＪＦＩＦやＦｌａｓｈＰｉｘの
場合も、同様に画像ファイルのヘッダ部から必要な情報
を得ることができる。また、画像保持部２０６にこれら
の情報を格納しておき、登録時に参照することにより情
報を取得してもよい。

【００６７】次に、ステップＳ１８０３で画像特徴量抽
出処理部２０９により画像から物理的な画像特徴量を抽
出する。このステップＳ１８０３では、指定された画像
ＩＤに対する画像情報を解析し、物理的な画像特徴量を
抽出する。図１３は、本実施の形態における画像特徴量
の一例は図１３に示す通りであり、同図は画像の領域ま
たはブロック毎に代表的な色を抽出したものである。代
表色は与えられた画像の各種情報を用いて画像の実際の
ビットイメージを１ピクセルずつ解析し、各領域・ブロ
ックで使用されている色成分（ＲＧＢやＨＶＣ等の色空
間における値）の平均値や最も出現頻度の高い色成分を
求め、代表色とする手法等が用いられる。

【００６８】次に、ステップＳ１８０４で前記ステップ
Ｓ１８０３において抽出された画像特徴量c1〜cnとこの
画像の画像ＩＤとを対応付けて画像特徴量保持部２１０
に格納する。この画像特徴量保持部２１０のデータ格納
例は、図８に示した通りである。

【００６９】次に、ステップＳ１８０５で感性パターン
と画像特徴量の対応保持部２１１を参照して、記憶され
ている全ての感性パターンＩＤとその感性パターンに対
応付けられた画像特徴量を取得する。本実施の形態で
は、図９に示すように各感性パターンに色彩的特徴量が
対応付けられている。

【００７０】次に、ステップＳ１８０６で前記ステップ
Ｓ１８０５において取得した感性パターンとこの画像に
対する画像特徴量との適合度を求める。これは、感性パ
ターン判定処理部２１７で行われる処理で、前記ステッ
プＳ１８０５において取得した感性パターンそれぞれに
ついて、感性パターンに対応付けられた色彩的特徴量
と、前記ステップＳ１８０３において抽出された画像特
徴量とを比較・照合して、その適合度を求める。この適
合度は、画像特徴量と感性パターンの対応保持部２１１
に格納されている全ての感性パターンについて求める。
適合度を算出するには、余弦測度を用いたベクトル演算
や、統計処理等の手法が用いられる。

【００７１】次に、ステップＳ１８０７で前記ステップ
Ｓ１８０６において求められた全ての感性パターンと画
像の適合度を、この画像の画像ＩＤに対応付けて感性パ
ターン保持部２０８に格納した後、本処理動作を終了す
る。感性パターン保持部２０８のデータ格納例は、図７
に示した通りである。

【００７２】以上の処理を登録する全ての画像に対して
行う。

【００７３】（その他の実施の形態）上述した第１の実
施の形態では、検索対象となる蓄積情報として画像情報
を用いて説明したが、画像情報以外のマルチメディア情
報についても同様に扱うことができる。

【００７４】また、上述した第１の実施の形態では、概
念判別辞書２０５、検索対象となる画像保持部２０６、
画像カテゴリ保持部２０７、感性パターン保持部２０
８、画像特徴量とは感性パターンの対応保持部２１１、
イメージ語と感性パターンの対応保持部２１５は単一の
装置を構成する外部メモリ（ＤＩＳＫ）１０４に配置す
るものとして説明したが、これらの構成要件を異なる装
置に分散配置し、ネットワークコントローラ（ＮＩＣ）
１０９を介してネットワーク上で検索処理を行なうよう
にすることも可能である。

【００７５】また、本発明は、複数の機器（例えば、ホ
ストコンピュータ、インターフェース機器、リーダ、プ
リンタ等）から構成されるシステムに適応しても、単一
の機器からなる装置（例えば、複写機、ファクシミリ装
置等）に適応してもよい。

【００７６】また、本発明の目的は、上述した第１の実
施の形態の機能を実現するソフトウエアのプログラムコ
ードを記憶した記憶媒体をシステム或いは装置に供給
し、そのシステム或いは装置のコンピュータ（またはＣ
ＰＵやＭＰＵ等）が前記記憶媒体に格納されたプログラ
ムを読み出して実行することにより達成されることはい
うまでもない。この場合、前記記憶媒体から読み出され
たプログラムコード自体が上述した第１の実施の形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。プログ
ラムコードを記憶するための記憶媒体としては、例え
ば、フロッピー（登録商標）ディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏ
ｍｐａｃｔＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏ
ｒｙ）、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｋＲｅｃ
ｏｒｄａｂｌｅ）、磁気テープ、不揮発性メモリカー
ド、ＲＯＭチップ等を用いることができる。

【００７７】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上述した第１の実施の
形態の機能が実現されるだけではなく、そのプログラム
コードの指示に基づきコンピュータ上で稼働しているＯ
Ｓ（オペレーティングシステム）等が実際の処理の一部
または全部を行ない、その処理によって上述した第１の
実施の形態の機能が実現されることはいうまでもない。

【００７８】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書き込まれた後、そのプログラムコードの指示
に基づき、その機能拡張ボードや機能拡張ユニットに備
わるＣＰＵ等が実際の処理の一部または全部を行ない、
その処理によって上述した第１の実施の形態の機能が実
現される場合も含まれることはいうまでもない。

【００７９】

【発明の効果】以上詳述したように本発明の情報検索方
法及び装置によれば、検索要求語と検索対象となるマル
チメディア情報が表現している概念に対応付けられたカ
テゴリに応じて、マルチメディア情報に付与された内容
語とマルチメディア情報その物の特徴量データとを検索
条件として利用する比率を変えることにより、目的とす
る所望のマルチメディア情報を迅速且つ精度よく取り出
すことが可能となる。

【００８０】また、本発明の記憶媒体によれば、上述し
たような情報検索装置を円滑に制御することが可能であ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る情報検索装置
の全体構成を示すブロック図である。

【図２】本発明の第１の実施の形態に係る情報検索装置
の機能構成を示すブロック図である。

【図３】本発明の第１の実施の形態に係る情報検索装置
における検索カテゴリを指示するための操作パネルの表
示例を示す図である。

【図４】本発明の第１の実施の形態に係る情報検索装置
における概念判別辞書の構成を示す図である。

【図５】本発明の第１の実施の形態に係る情報検索装置
における画像保持部の構成を示す図である。

【図６】本発明の第１の実施の形態に係る情報検索装置
における画像カテゴリ保持部の構成を示す図である。

【図７】本発明の第１の実施の形態に係る情報検索装置
における感性パターン保持部の構成を示す図である。

【図８】本発明の第１の実施の形態に係る情報検索装置
における画像特徴量保持部の構成を示す図である。

【図９】本発明の第１の実施の形態に係る情報検索装置
における画像特徴量と感性パターンの対応保持部の構成
を示す図である。

【図１０】本発明の第１の実施の形態に係る情報検索装
置における展開感性パターン保持部の構成を示す図であ
る。

【図１１】本発明の第１の実施の形態に係る情報検索装
置におけるイメージ語と感性パターンの対応保持部の構
成を示す図である。

【図１２】本発明の第１の実施の形態に係る情報検索装
置における画像特徴量の一例を示す図である。

【図１３】本発明の第１の実施の形態に係る情報検索装
置における画像特徴量の図１２とは異なる構成を示す図
である。

【図１４】本発明の第１の実施の形態に係る情報検索装
置における情報検索処理全体動作の流れを示すフローチ
ャートである。

【図１５】本発明の第１の実施の形態に係る情報検索装
置における検索要求入力処理動作の流れを示すフローチ
ャートである。

【図１６】本発明の第１の実施の形態に係る情報検索装
置における検索カテゴリによる検索処理動作の流れを示
すフローチャートである。

【図１７】本発明の第１の実施の形態に係る情報検索装
置における感性パターンによる検索処理動作の流れを示
すフローチャートである。

【図１８】本発明の第１の実施の形態に係る情報検索装
置における画像登録処理動作の流れを示すフローチャー
トである。

【符号の説明】

ＡＢアドレスバスＣＢコントロールバスＤＢデータバス１０１マイクロプロセッサ（ＣＰＵ；中央処理装
置）１０２ＲＯＭ（リードオンリーメモリ；読み出し専
用記憶素子）１０３ＲＡＭ（ランダムアクセスメモリ）１０４外部メモリ（ＤＩＳＫ）１０５キーボード（ＫＢ）１０６表示用ビデオメモリ（ＶＲＡＭ）１０７ＣＲＴコントローラ（ＣＲＴＣ）１０８表示装置（ＣＲＴ）１０９ネットワークコントローラ（ＮＩＣ）２０１検索要求入力処理部２０２検索語保持部２０３検索カテゴリ保持部２０４画像カテゴリ検索処理部２０５概念判別辞書２０６画像保持部２０７画像カテゴリ保持部２０８感性パターン保持部２０９画像特徴抽出処理部２１０画像特徴量保持部２１１画像特徴量と感性パターンの対応保持部２１２感性パターン展開処理部２１３展開感性パターン保持部２１４感性パターン検索処理部２１５イメージ語と感性パターンの対応保持部２１６検索結果保持部２１７感性パターン判定処理部２２５情報（画像）カテゴリ保持部４０１見出し語４０２検索カテゴリ５０１画像ＩＤ（識別子）５０２画像ファイルパス６０１画像ＩＤ（識別子）６０２画像カテゴリ７０１画像ＩＤ（識別子）７０２感性パターンＩＤ８０１画像ＩＤ（識別子）８０２ブロックまたは領域番号（ブロックｏｒ領域
Ｎｏ．）８０３代表色８０４特徴量９０１パターンＩＤ（識別子）９０２色彩的特徴量１００１イメージ語１００２感性パターン数１００３感性パターン格納先１００４展開データ１００５感性パターンＩＤ１００６カテゴリ１１０１イメージ語１１０２カテゴリ１１０３感性パターン

Claims

【特許請求の範囲】

【請求項１】マルチメディア情報が表現している内容
から各情報を少なくとも１つのカテゴリに分類しその情
報が属するカテゴリと各情報とを対応付けて格納するカ
テゴリ格納工程と、検索語を入力する検索語入力工程
と、前記検索語に対応する見出し語に関連するカテゴリ
を対応付けて記憶する概念判別辞書から前記検索語に対
応する見出し語に関連するカテゴリを取得する検索カテ
ゴリ取得工程と、前記マルチメディア情報から数値化さ
れた物理的な特徴量を抽出する特徴量抽出工程と、前記
特徴量抽出工程により求められたデータの特徴量を各デ
ータに対応付けて格納する特徴量格納工程と、前記検索
語を該検索語に対応付けられた特徴量に展開するための
特徴量展開辞書を用いて前記検索語を該検索語に関連の
あるカテゴリに対応付けられた特徴量に展開する特徴量
展開工程と、前記検索語に対応付けられたカテゴリと前
記マルチメディア情報に対応付けられたカテゴリとを比
較することによって前記検索語に対応付けられたカテゴ
リに適したデータを検索する第１検索処理工程と、前記
第１検索処理工程によって検索された前記マルチメディ
ア情報から抽出された特徴量と前記検索語から展開され
た各マルチメディア情報の属するカテゴリに適した特徴
量とを比較することによって前記検索語に適したデータ
を検索する第２検索処理工程とを有することを特徴とす
る情報検索方法。
【請求項２】前記マルチメディア情報として画像情報
を蓄積し、前記特徴量として前記画像情報を解析して得
られる配色情報または構図情報または形状情報等の物理
的な画像特徴量としたことを特徴とする請求項１に記載
の情報検索方法。
【請求項３】前記検索語に対応したカテゴリを指定す
るための検索カテゴリ指定工程を有し、この検索カテゴ
リ指定工程により、操作者が所望のカテゴリを少なくと
も１つ指定することが可能なことを特徴とする請求項１
または２に記載の情報検索方法。
【請求項４】前記カテゴリは分野やテーマであること
を特徴とする請求項１〜３のいずれかに記載の情報検索
方法。
【請求項５】マルチメディア情報が表現している内容
から各情報を少なくとも１つのカテゴリに分類しその情
報が属するカテゴリと各情報とを対応付けて格納するカ
テゴリ格納手段と、検索語を入力する検索語入力手段
と、前記検索語に対応する見出し語に関連するカテゴリ
を対応付けて記憶する概念判別辞書から前記検索語に対
応する見出し語に関連するカテゴリを取得する検索カテ
ゴリ取得手段と、前記マルチメディア情報から数値化さ
れた物理的な特徴量を抽出する特徴量抽出手段と、前記
特徴量抽出手段により求められたデータの特徴量を各デ
ータに対応付けて格納する特徴量格納手段と、前記検索
語を該検索語に対応付けられた特徴量に展開するための
特徴量展開辞書を用いて前記検索語を該検索語に関連の
あるカテゴリに対応付けられた特徴量に展開する特徴量
展開手段と、前記検索語に対応付けられたカテゴリと前
記マルチメディア情報に対応付けられたカテゴリとを比
較することによって前記検索語に対応付けられたカテゴ
リに適したデータを検索する第１検索処理手段と、前記
第１検索処理手段によって検索された前記マルチメディ
ア情報から抽出された特徴量と前記検索語から展開され
た各マルチメディア情報の属するカテゴリに適した特徴
量とを比較することによって前記検索語に適したデータ
を検索する第２検索処理手段とを有することを特徴とす
る情報検索装置。
【請求項６】前記マルチメディア情報として画像情報
を蓄積し、前記特徴量として前記画像情報を解析して得
られる配色情報または構図情報または形状情報等の物理
的な画像特徴量としたことを特徴とする請求項５に記載
の情報検索装置。
【請求項７】前記検索語に対応したカテゴリを指定す
るための検索カテゴリ指定手段を有し、この検索カテゴ
リ指定手段により、操作者が所望のカテゴリを少なくと
も１つ指定することが可能なことを特徴とする請求項５
または６に記載の情報検索装置。
【請求項８】前記カテゴリは分野やテーマであること
を特徴とする請求項５〜７のいずれかに記載の情報検索
装置。
【請求項９】マルチメディア情報を検索する情報検索
装置を制御するための制御プログラムを格納した記憶媒
体であって、前記制御プログラムは、マルチメディア情
報が表現している内容から各情報を少なくとも１つのカ
テゴリに分類しその情報が属するカテゴリと各情報とを
対応付けて格納するカテゴリ格納モジュールと、検索語
を入力する検索語入力モジュールと、前記検索語に対応
する見出し語に関連するカテゴリを対応付けて記憶する
概念判別辞書から前記検索語に対応する見出し語に関連
するカテゴリを取得する検索カテゴリ取得モジュール
と、前記マルチメディア情報から数値化された物理的な
特徴量を抽出する特徴量抽出モジュールと、前記特徴量
抽出モジュールにより求められたデータの特徴量を各デ
ータに対応付けて格納する特徴量格納モジュールと、前
記検索語を該検索語に対応付けられた特徴量に展開する
ための特徴量展開辞書を用いて前記検索語を該検索語に
関連のあるカテゴリに対応付けられた特徴量に展開する
特徴量展開モジュールと、前記検索語に対応付けられた
カテゴリと前記マルチメディア情報に対応付けられたカ
テゴリとを比較することによって前記検索語に対応付け
られたカテゴリに適したデータを検索する第１検索処理
モジュールと、前記第１検索処理モジュールによって検
索された前記マルチメディア情報から抽出された特徴量
と前記検索語から展開された各マルチメディア情報の属
するカテゴリに適した特徴量とを比較することによって
前記検索語に適したデータを検索する第２検索処理モジ
ュールとを有することを特徴とする記憶媒体。
【請求項１０】前記マルチメディア情報として画像情
報を蓄積し、前記特徴量として前記画像情報を解析して
得られる配色情報または構図情報または形状情報等の物
理的な画像特徴量としたことを特徴とする請求項９に記
載の記憶媒体。
【請求項１１】前記制御プログラムは、前記検索語に
対応したカテゴリを指定するための検索カテゴリ指定モ
ジュールを有し、この検索カテゴリ指定モジュールによ
り、操作者が所望のカテゴリを少なくとも１つ指定する
ことが可能なことを特徴とする請求項９または１０に記
載の記憶媒体。
【請求項１２】前記カテゴリは分野やテーマであるこ
とを特徴とする請求項９〜１１に記載の記憶媒体。