JPH11224256A - 情報検索方法および情報検索プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像を含んだ情報を効率的かつ適確に検索し
得る情報検索方法および情報検索プログラムを記録した
記録媒体を提供する。 【解決手段】 自動情報収集装置３でＷＷＷ上の画像を
含むデータを収集し、この収集データの特徴量を特徴量
抽出装置７で抽出し、単語抽出装置１１で画像情報の近
傍の単語を抽出し、各単語に対して画像に近い順に高い
点数を付与し、データと単語とをそれぞれのデータ特徴
量と点数とに対応付けてデータベース９に格納し、検索
時は、キー画像の特徴量を抽出し、データベース９内の
データの特徴量から近似順位を求め、キー画像とキーワ
ードに対してデータベース内の画像とキー画像の近似順
位およびキーワードとデータベース内の単語との一致し
たものとその点数からキーワードに関係する画像を順位
付けし、該順位に基づいて検索結果を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＷＷＷ（World Wi
de Web）上の画像を含む情報を検索する情報検索方法お
よび情報検索プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】インターネット上にはＷＷＷのＷｅｂサ
イトと呼ばれる装置を設けることにより情報を公開する
ことができる。このＷｅｂサイトは世界中に多数存在
し、ＨＴＭＬ（Hyper Text Markup Language）と呼ばれ
るテキスト情報で記述されており、リンクを辿ることに
より情報を芋蔓式に見ていくことができる。しかしなが
ら、このままでは情報の検索性が悪いため、テキスト情
報を収集し、キーワードを利用してテキスト情報を検索
するサービスが実現されている。

【０００３】また、ＨＴＭＬではテキスト以外の情報に
ついても参照関係を記述することによりマルチメディア
を利用した文章を記述することができる。現在、このよ
うなテキスト以外の情報を検索する場合、関係するキー
ワードを考え、このキーワードを用いて検索した結果の
コメント欄の内容や、実際にその情報を見てから判断し
ている。

【０００４】更に、画像検索技術には画像同士の色や形
の近似性から類似画像を検索する方法や、画像に人手で
キーワードを付与し、このキーワードを基に検索する方
法があるが、ＷＷＷのテキストや画像を含めた形で情報
検索に利用されている例は無い。

【０００５】

【発明が解決しようとする課題】ＷＷＷに登録されてい
る情報は、マルチメディアで構成されているのがほとん
どであり、このようなテキスト以外の情報も含めて検索
したい場合には、キーワード検索の結果の内容を一通り
見て判断する必要がある。この場合、元になるイメージ
画像を持っていた場合でも、その画像を活用することは
できない。例えば、蝶の画像を持っており、その蝶の種
類、生息地等を知りたい場合、蝶であると言うことがわ
かっていれば、蝶と言うキーワードから検索を始め、画
像が登録されているページを検索結果から手作業で探し
ていき、手元の写真と登録されている画像を見比べて同
じと思われるものを見つけ、それから必要な説明が書か
れているか確認すると言った複雑な作業を行う必要があ
るという問題がある。

【０００６】このような検索結果は場合によっては数千
件検索されることがある。また、蝶であることすら知ら
なければ検索することはより困難になるという問題があ
る。

【０００７】本発明は、上記に鑑みてなされたもので、
その目的とするところは、画像を含んだ情報を効率的か
つ適確に検索し得る情報検索方法および情報検索プログ
ラムを記録した記録媒体を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、ＷＷＷ（World Wide We
b）上の画像を含む情報を検索する情報検索方法であっ
て、予めＷＷＷ上の画像を含むデータを収集し、この収
集したデータの特徴量を抽出し、前記データ中の画像情
報の近傍にある単語を抽出し、該単語のそれぞれに対し
て画像に近い順に高い点数を付与し、前記データと単語
とをそれぞれのデータ特徴量と点数とに対応付けてデー
タベースとして格納し、検索時は、キー画像の特徴量を
抽出し、前記データベース内のデータの特徴量から近似
順位を求め、キー画像とキーワードに対して前記データ
ベース内の画像とキー画像の近似順位およびキーワード
とデータベース内の単語との一致したものとその点数か
ら前記キーワードに関係する画像の順位付けを行い、該
順位に基づいて検索結果を得ることを要旨とする。

【０００９】請求項１記載の本発明にあっては、ＷＷＷ
上から収集した画像を含むデータの特徴量を抽出し、画
像情報の近傍の単語を抽出し、各単語に対して画像に近
い順に高い点数を付与し、データと単語とをそれぞれの
データ特徴量と点数とに対応付けてデータベースとして
格納し、検索時は、キー画像の特徴量を抽出し、データ
ベース内のデータの特徴量から近似順位を求め、キー画
像とキーワードに対してデータベース内の画像とキー画
像の近似順位およびキーワードとデータベース内の単語
との一致したものとその点数からキーワードに関係する
画像を順位付けし、該順位に基づいて検索結果を得るた
め、画像からの画像情報の検索が可能となるとともに、
キーワードからの画像情報検索、画像からの音声情報の
検索、テキストからの画像情報の検索、画像とテキスト
を同時に利用した情報検索等のように柔軟な検索が可能
となる。

【００１０】また、請求項２記載の本発明は、ＷＷＷ
（World Wide Web）上の画像を含む情報を検索する情報
検索プログラムを記録した記録媒体であって、予めＷＷ
Ｗ上の画像を含むデータを収集し、この収集したデータ
の特徴量を抽出し、前記データ中の画像情報の近傍にあ
る単語を抽出し、該単語のそれぞれに対して画像に近い
順に高い点数を付与し、前記データと単語とをそれぞれ
のデータ特徴量と点数とに対応付けてデータベースとし
て格納し、検索時は、キー画像の特徴量を抽出し、前記
データベース内のデータの特徴量から近似順位を求め、
キー画像とキーワードに対して前記データベース内の画
像とキー画像の近似順位およびキーワードとデータベー
ス内の単語との一致したものとその点数から前記キーワ
ードに関係する画像の順位付けを行い、該順位に基づい
て検索結果を得ることを要旨とする。

【００１１】請求項２記載の本発明にあっては、ＷＷＷ
上から収集した画像を含むデータの特徴量を抽出し、画
像情報の近傍の単語を抽出し、各単語に対して画像に近
い順に高い点数を付与し、データと単語とをそれぞれの
データ特徴量と点数とに対応付けてデータベースとして
格納し、検索時は、キー画像の特徴量を抽出し、データ
ベース内のデータの特徴量から近似順位を求め、キー画
像とキーワードに対してデータベース内の画像とキー画
像の近似順位およびキーワードとデータベース内の単語
との一致したものとその点数からキーワードに関係する
画像を順位付けし、該順位に基づいて検索結果を得る情
報検索プログラムを記録媒体として記録しているため、
該記録媒体を利用して、その流通性を高めることができ
る。

【００１２】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。

【００１３】図１は、本発明の一実施形態に係る情報検
索方法を実施する情報検索システムの構成を示すブロッ
ク図である。同図に示す情報検索システムは、インター
ネットに接続され、通常のサーバ機能を行うＷＷＷサー
バ１および同様にインターネットに接続され、ＷＷＷ上
の画像を含むデータを収集する自動情報収集装置３を有
する。この自動情報収集装置３で収集された画像を含む
データは一旦データベース５に格納される。

【００１４】このデータベース５に格納された収集デー
タは、特徴量抽出装置７によって読み出されて、その特
徴量が抽出され、別のデータベース９に格納される。ま
た、データベース５に格納された収集データは、同様に
単語抽出装置１１によって読み出され、ＷＷＷのＨＴＭ
Ｌ文章を解析されて、画像情報の近傍にある単語を抽出
し、この抽出した単語が画像情報の近傍に記述されてい
る程、その画像に関係の深い単語であると仮定し、この
単語の各々に対して画像に近い順に高い点数を付与し、
各単語をその点数とともに該当する画像情報および該画
像の特徴量に対応付けてデータベース９に格納する。す
なわち、データベース９は、各画像情報に関連して該画
像の特徴量、該画像に関係する各単語および各単語の点
数をそれぞれ対応させて格納している。

【００１５】データベース９に格納された画像情報を含
むデータは、画像検索装置１３でキー画像に基づいた所
望の画像情報が検索されるとともに、テキスト検索装置
１５によってキーワードに基づいた所望のテキスト情報
が検索される。画像検索装置１３は、ＷＷＷサーバ１を
介してインターネット利用者から入力されるキー画像の
特徴量を抽出し、この抽出したキー画像の特徴量をデー
タベース９内の画像の特徴量と照合して、近似順位を出
力する。また、テキスト検索装置１５は、ＷＷＷサーバ
１を介してインターネット利用者から入力されるキーワ
ードをデータベース９内の単語と照合して一致した単語
とその点数から該キーワードに関係する画像の順位付け
を行い、この画像の順位付け情報を出力する。

【００１６】画像検索装置１３から出力されるキー画像
に対する画像の近似順位情報およびテキスト検索装置１
５から出力されるキーワードに関係する画像の順位付け
情報は検索結果混合装置１７に供給され、ここでキー画
像に対する画像の近似順位情報とキーワードに関係する
画像の順位付け情報に基づいて検索結果を出力する。こ
の検索結果はＷＷＷサーバ１から利用者に送出される。

【００１７】次に、以上のように構成される情報検索シ
ステムにおける情報収集処理について図２に示すシステ
ム構成図および図３に示すフローチャートを参照して説
明する。

【００１８】図１に示した本実施形態の情報検索システ
ムは、図２に示すように、インターネット２１を介して
複数のＷｅｂサイト２３ａ，２３ｂ，・・・，２３ｎに
接続され、これらの各Ｗｅｂサイト２３ａ，２３ｂ，・
・・，２３ｎにそれぞれ設けられているデータベース２
５ａ，２５ｂ，・・・，２５ｎに格納されているＨＴＭ
Ｌで記述されたテキストおよび画像情報をインターネッ
ト２１を介して自動情報収集装置３で収集し、上述した
ようにデータベース５に格納するようになっている。

【００１９】この情報収集処理においては、図３にフロ
ーチャートで示すように、まず情報検索システムの自動
情報収集装置３が情報を収集したい所望のＷｅｂサイト
２３を指定し、この指定したＷｅｂサイト２３のデータ
ベース２５から情報を収集し、ファイルとしてデータベ
ース５に格納する（ステップＳ１１）。このような情報
収集をすべてのＷｅｂサイトについて行うと（ステップ
Ｓ１３）、この収集した情報から画像ファイルを選択
し、この画像の特徴量を特徴量抽出装置７で抽出し、デ
ータベース９に格納する（ステップＳ１５）。それか
ら、ＨＴＭＬファイルを解析してキーワードを抽出し、
この抽出したキーワードに画像を指定しているタグから
の距離によって得点を付与し、データベース９に格納す
る（ステップＳ１７）。

【００２０】更に具体的に、図４に示すＨＴＭＬ文章例
を参照しながら、図１に示す実施形態の作用について説
明する。

【００２１】情報検索システムの自動情報収集装置３は
インターネット２１を介してＷｅｂサイト２３ａ，２３
ｂ，・・・，２３ｎの各々に順次アクセスし、そのＷｅ
ｂサイトのデータベース２５ａ，２５ｂ，・・・，２５
ｎからＷＷＷ上のデータを収集し、データベース５に格
納する。それから、データベース５に格納された収集デ
ータのうち画像データの特徴量が特徴量抽出装置７によ
って抽出され、データベース９に格納される。また、Ｈ
ＴＭＬのテキストデータからはＨＴＭＬのタグを解析
し、画像ファイルを指定するタグ、”＜img src ＝画像
ファイル名”で始まるタグ、”＜a href＝画像ファイル
名”で始まるタグの回りのテキストから単語を抽出す
る。図４に示すＨＴＭＬ文章例では、四角で囲んだ所が
画像タグであり、 kodaitizu.jpg，hyoukeidai.wav，hy
oukei.jpg は画像ファイルのファイル名である。

【００２２】このようにタグの回りのテキストから単語
を抽出する場合には、タグに近い距離に存在する単語に
高い点数を付与して、データベース９に格納する。な
お、点数の付け方は前もって決めておく。図４に示すＨ
ＴＭＬ文章例において、抽出された単語が、古代、文
化、古代地図、紀元前、文明、文字板、楔形文字、板、
文字、絵文字、楔形文字、紀元前であったとすると、画
像kodaitizu.jpg には、古代が４点、文化が５点、古代
地図が１０点、紀元前が５点、文明が４点、文字板が３
点、音声 hyoukeidai.wav および画像hyoukei.jpg には
それぞれ、古代が１点、文化が１点、古代地図が２点、
紀元前が３点、文明が４点、文字板が５点、楔形文字が
５点、板が４点、文字が３点、絵文字が２点、楔形文字
が１点、紀元前が２点となる。ここでは、画像タグの隣
の単語を５点、それ以降１点ずつ引いていき、１点以降
はすべて１点としている。ただし、画像kodaitizu.jpg
のタグの有効範囲は古代地図と言う単語も含んでいるの
で１０点としている。なお、このように得られた結果が
図５に示すように検索情報テーブルとしてデータベース
９に格納されている。

【００２３】以上のようにして、インターネットを介し
て各Ｗｅｂサイトから画像情報を含むデータを収集した
情報検索システムに対して、利用者が検索を行う場合に
おいて、画像のみをキーとして利用する場合には、利用
者がキーにする画像をインターネットを介して情報検索
システムのＷＷＷサーバ１に送信する。ＷＷＷサーバ１
は、この送信されてきたキー画像の特徴量を計算し、こ
の計算した特徴量を既にデータベース９に格納されてい
る画像の特徴量との近似関係を計算して、近い順に検索
結果を表示する。そして、この検索結果からリンクを辿
ることにより元の情報を見ることができる。

【００２４】また、検索キーとしてキーワードを与えら
れた場合には、データベース９に登録されているキーワ
ードと情報登録時に付与した点数を基に計算を行い、点
数の高い順に検索結果をキーワードと関連のある画像と
ともに表示する。そして、この検索結果からリンクを辿
ることにより元の情報を見ることができる。

【００２５】更に、画像とキーワードとが同時にキーと
して与えられた場合には、画像に関しては上述した画像
の検索と同様に近似関係を計算し、キーワードに関して
もそれぞれ点数を計算する。そして、検索結果は画像が
似ていて、キーワードの点数が高い順に表示する。この
結果、テキストと画像を含めた検索および絞り込みが可
能となる。

【００２６】また、画像から音声を検索する場合は、画
像を検索し、その結果の画像に付随する単語を基にその
単語をキーワードとして検索し、音声のみを結果として
返送する。更に、検索結果をキーとして選択し、再び検
索を行うことができる。

【００２７】

【発明の効果】以上説明したように、本発明によれば、
ＷＷＷ上から収集した画像を含むデータの特徴量を抽出
し、画像情報の近傍の単語を抽出し、各単語に対して画
像に近い順に高い点数を付与し、データと単語とをそれ
ぞれのデータ特徴量と点数とに対応付けてデータベース
として格納し、検索時は、キー画像の特徴量を抽出し、
データベース内のデータの特徴量から近似順位を求め、
キー画像とキーワードに対してデータベース内の画像と
キー画像の近似順位およびキーワードとデータベース内
の単語との一致したものとその点数からキーワードに関
係する画像を順位付けし、該順位に基づいて検索結果を
得るので、例えばイメージ図から画像を検索し、その中
の絵から必要とする画像を探し出したり、それに付随す
るテキスト情報を得ることができるというように画像か
らの画像情報の検索が可能となるとともに、更にキーワ
ードからの画像情報検索、画像からの音声情報の検索、
テキストからの画像情報の検索、画像とテキストを同時
に利用した情報検索等のように柔軟な検索が可能とな
る。特に画像検索においては、キー画像とキーワードを
同時に利用して検索を行うことにより絞り込んだ検索を
行うことができる。

【００２８】また、ＷＷＷの情報に音声や動画が含まれ
ている場合には、画像と同様に動画、音声に対応する単
語を対応付けておくことにより、画像を利用して音声を
検索するといった別のメディア間での検索が可能とな
る。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る情報検索方法を実施
する情報検索システムの構成を示すブロック図である。

【図２】図１に示す情報検索システムにおける情報収集
処理を行う場合のシステム構成を示す図である。

【図３】図１に示す情報検索システムにおける情報収集
処理を示すフローチャートである。

【図４】ＨＴＭＬ文章例を示す図である。

【図５】図１に示す情報検索システムで収集した検索情
報を格納するデータベースにおける検索情報テーブルの
例を示す図である。

【符号の説明】

１ ＷＷＷサーバ ３ 自動情報収集装置 ５，９ データベース ７ 特徴量抽出装置 １１ 単語抽出装置 １３ 画像検索装置 １５ テキスト検索装置 １７ 検索結果混合装置

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ＷＷＷ（World Wide Web）上の画像を含
   む情報を検索する情報検索方法であって、 予めＷＷＷ上の画像を含むデータを収集し、この収集し
   たデータの特徴量を抽出し、 前記データ中の画像情報の近傍にある単語を抽出し、該
   単語のそれぞれに対して画像に近い順に高い点数を付与
   し、 前記データと単語とをそれぞれのデータ特徴量と点数と
   に対応付けてデータベースとして格納し、 検索時は、キー画像の特徴量を抽出し、前記データベー
   ス内のデータの特徴量から近似順位を求め、キー画像と
   キーワードに対して前記データベース内の画像とキー画
   像の近似順位およびキーワードとデータベース内の単語
   との一致したものとその点数から前記キーワードに関係
   する画像の順位付けを行い、該順位に基づいて検索結果
   を得ることを特徴とする情報検索方法。
2. 【請求項２】 ＷＷＷ（World Wide Web）上の画像を含
   む情報を検索する情報検索プログラムを記録した記録媒
   体であって、 予めＷＷＷ上の画像を含むデータを収集し、この収集し
   たデータの特徴量を抽出し、 前記データ中の画像情報の近傍にある単語を抽出し、該
   単語のそれぞれに対して画像に近い順に高い点数を付与
   し、 前記データと単語とをそれぞれのデータ特徴量と点数と
   に対応付けてデータベースとして格納し、 検索時は、キー画像の特徴量を抽出し、前記データベー
   ス内のデータの特徴量から近似順位を求め、キー画像と
   キーワードに対して前記データベース内の画像とキー画
   像の近似順位およびキーワードとデータベース内の単語
   との一致したものとその点数から前記キーワードに関係
   する画像の順位付けを行い、該順位に基づいて検索結果
   を得ることを特徴とする情報検索プログラムを記録した
   記録媒体。