JP2002297648A - 情報検索装置、情報検索プログラム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像から、その画像に関連する情報をキーワ
ードを設定することなく、容易に抽出可能とする情報検
索装置を提供する。 【解決手段】 画像検索エンジンは画像の特徴データと
その画像に関連するキーワードとを関連付けて管理する
データベースを有しており、関連情報を検索したい画像
データを情報端末（ＰＣ）からのネットワークを介して
アップロードすることによって取得し、取得した画像か
ら特徴データを抽出し、その抽出した特徴データと同一
または類似の特徴データを有する画像を、データベース
から特定し、その特定した画像に関連づけられたキーワ
ードを抽出し、その抽出したキーワードを、キーワード
により情報検索を行なうキーワード検索エンジンに送信
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像からその画像に
関連する情報を抽出する情報検索装置に関する。

【０００２】

【従来の技術】近年のインターネットの普及により、イ
ンターネット上で様々な情報検索が可能となっている。
インターネット上での情報検索には、一般にネット上に
設けられた検索エンジンを用いて行なわれる。この検索
エンジンを利用する場合、ユーザは探したい情報に関連
するキーワードを検索エンジンに入力して行なう必要が
ある。

【０００３】ユーザはデジタルカメラで撮影した画像や
スキャナで入力した画像から、その画像に関連する情報
を得たい場合に、インターネット上で検索エンジンを用
いて情報検索を行なためには、検索キーとなるキーワー
ドを設定する必要がある。そのため、ユーザは画像の印
象から想像力を働かして種々のキーワードを連想する必
要がある。

【０００４】

【発明が解決しようとする課題】しかし、画像から適切
なキーワードを求めるのは非常に困難な作業であり、ま
た、適切なキーワードが想定できないときは、検索範囲
が狭まり、所望の情報が得られないという問題がある。

【０００５】本発明は上記課題を解決すべくなされたも
のであり、その目的とするところは、画像に関連する情
報を容易に抽出できる情報検索装置を提供することにあ
る。

【０００６】

【課題を解決するための手段】本発明に係る第１の情報
検索装置は、画像の特徴データと、その画像に関連する
キーワードとを関連付けて管理するデータベースと、関
連する情報を検索したい画像データを入力する入力手段
と、入力された画像から特徴データを抽出する特徴抽出
手段と、入力された画像データから抽出された特徴デー
タと同一または類似の特徴データを有する画像を、デー
タベースが管理する画像群の中から特定し、その特定し
た画像に関連づけられたキーワードを抽出するキーワー
ド抽出手段とからなる。

【０００７】第１の情報検索装置は、キーワード抽出手
段により抽出されたキーワードを、テキストデータで表
現された検索情報を用いて情報検索を行なう検索エンジ
ンに送信する手段をさらに備えてもよい。

【０００８】本発明に係る第２の情報検索装置は、画像
の特徴データと、その画像に関連する情報を提供するイ
ンターネット上のサイトを指定する表記であるＵＲＬと
を関連付けて管理するデータベースと、関連する情報を
検索したい画像の画像データを入力する入力手段と、入
力された画像データから特徴データを抽出する特徴抽出
手段と、入力された画像データから抽出された特徴デー
タと同一または類似の特徴データを有する画像をデータ
ベースが管理する画像群の中から特定し、その特定した
画像に関連づけられたＵＲＬを抽出するＵＲＬ抽出手段
とからなる。

【０００９】第２の情報検索装置において、データベー
スにおいて管理されるＵＲＬは、データベースにおいて
関連づけられる画像の特徴データに関連する画像のデー
タを提供するインターネット上のサイトを指定するよう
にしてもよい。

【００１０】第２の情報検索装置は、画像のプリント先
を指定する手段と、ＵＲＬ抽出手段から抽出したＵＲＬ
で指定されるサイトから、画像をダウンロードする手段
と、ダウンロードした画像を指定されたプリント先へ出
力する手段とをさらに備えてもよい。

【００１１】本発明に係る第３の情報検索装置は、画像
データとその画像データに関連するキーワードとを関連
付けて管理するデータベースと、関連する情報を検索し
たい画像データを入力する入力手段と、入力された画像
データと同一または類似の特徴データを有する画像デー
タをデータベースが管理する画像群の中から特定し、そ
の特定した画像に関連づけられたキーワードを抽出する
キーワード抽出手段とからなる。

【００１２】本発明に係る情報検索プログラムは、コン
ピュータを上記の情報検索装置として機能させる。

【００１３】本発明に係るコンピュータ読み取り可能な
記録媒体は、上記の情報検索プログラムを記録する。

【００１４】

【発明の実施の形態】以下添付の図面を参照して、本発
明に係る情報検索装置の実施の形態を詳細に説明する。

【００１５】（実施の形態１）図１は、本発明に係る情
報検索装置が接続されるネットワーク構成を示した図で
ある。同図に示すように、インターネット１００を介し
て、情報端末装置（以下「ＰＣ」という。）１０と、画
像検索エンジンの機能を実現するサーバ３１と、キーワ
ード検索エンジンの機能を実現するサーバ３３とが接続
されている。さらに、インターネット１００には、ＬＡ
Ｎ（ローカルエリアネットワーク）等の他のネットワー
クが接続されている。

【００１６】ＰＣ１０は、画像処理等を始め、種々の情
報処理を行なう装置である。例えばインターネット上の
データサーバにより提供されるＨＴＭＬ言語により記述
されたデータを表示する機能（ブラウザ機能）を有して
いる。また、ＰＣ１０はデータを入力するための入力装
置１５や、画像データ等を印刷する出力装置１７に接続
されている。入力装置１５には、スキャナ、デジタルカ
メラ等の光学的読み取り装置や、ＣＤ−ＲＯＭ等の媒体
に記録したデータからデータを入力するための装置が含
まれる。出力装置１７にはデータを印刷するプリンタ等
が含まれる。

【００１７】サーバ３１は、ネットワーク１００を介し
て入力された画像から、その画像に関連する、テキスト
データで表現されたキーワードを抽出する機能を実現す
る。以下、このような機能を実現するサーバ３１を「画
像検索エンジン」ともいう。

【００１８】サーバ３３は、ネットワーク１００を介し
て入力され、テキストデータで表現された少なくとも１
つのキーワードに基いて、そのキーワード関連する情報
を検索する機能を実現する。以下、このような機能を実
現するサーバ３３を「キーワード検索エンジン」ともい
う。キーワード検索エンジンには、例えば、ヤフー、イ
ンフォシーク、エキサイト等のインターネット上で利用
できる一般的な検索エンジンが含まれる。

【００１９】以上のように構成されるシステムにおい
て、ＰＣ１０、サーバ３１、３３は例えば図２に示すハ
ードウェア構成を有する情報処理装置（コンピュータ）
５０によって構成することができる。情報処理装置５０
は、プログラムを実行するＣＰＵ（中央演算処理装置）
５００を有しており、このＣＰＵ５００がバス５０１を
介して、プログラム及びデータを格納するＲＡＭ（ラン
ダムアクセスメモリ）５０３やＲＯＭ（読み出し専用メ
モリ）５０５、情報を表示する表示部５１３、キーボー
ドやマウス等からなりユーザが操作を行なう操作部５１
１、ネットワークに接続するためのネットワークインタ
フェース部５１５、及び、機能を拡張するため外部の情
報機器と接続するための外部インタフェース部５１７に
接続されて構成される。さらに、情報処理装置５０は、
補助記憶装置としてのハードディスク装置５０７や、情
報記録媒体であるＣＤ−ＲＯＭからプログラムやデータ
の読み込みを行なうための装置であるＣＤドライブ５０
９を備える。以下に説明するＰＣ１０、サーバ３１、３
３の各機能は、情報処理装置５０のＣＰＵ５００がＲＡ
Ｍ５０３及びＲＯＭ５０５に格納された所定のプログラ
ムを実行することにより実現される。

【００２０】以上のように構成されるシステムにおける
処理の流れを図３を用いて説明する。

【００２１】図３に示すように、まず、ユーザにより入
力装置１５からブラウザ機能を有するＰＣ１０に対し、
関連情報を検索したいと考える画像データが入力され
る。ＰＣ１０は、その画像データを画像検索エンジン
（サーバ３１）へアップロードする。データのアップロ
ードは例えばｈｔｔｐ方式にしたがって行なうことが可
能である。画像検索エンジン３１は、アップロードされ
た画像データの正規化等の所定の処理後、アップロード
された画像データに関連するキーワードを抽出し、その
キーワードをキーワード検索エンジン３３に送信する。
キーワード検索エンジン３３は、検索エンジンから受信
したキーワードに基いて、関連する情報を検索し、検索
結果を画像検索エンジン３１に送信する。画像検索エン
ジン３１はその検索結果をＰＣ１０に転送する。ＰＣ１
０上はその検索結果を画面上に表示し、また、ユーザの
要求に応じて出力装置１７により印刷する。

【００２２】上記の処理を実現するため、画像検索エン
ジン３１は画像とキーワードを関連付けたデータベース
を有している。図４にそのデータベースの構成の一例を
示す。図４の例では、データベース２０は、ある画像
（以下「オリジナル画像」という。）の輪郭の情報を取
り出した輪郭画像データと、その輪郭画像に関連するキ
ーワードと、その輪郭画像データに関連する種々の情報
を提供可能なインターネット上の場所を特定するための
表記であるＵＲＬ（Uniform Resource Locator）とを関
連付けて格納している。データベース２０において、輪
郭画像のデータは、その輪郭画像のデータの保存先の情
報及び画像データのファイル名により管理される。キー
ワードはテキストで表記された情報が管理される。ＵＲ
Ｌには、輪郭画像に対応するオリジナル画像に関連する
情報を提供できるインターネット上のサイト（例えばド
メイン名）が指定される。例えば、ＵＲＬとして、輪郭
画像に対応するオリジナル画像のデータが入手可能なサ
イトが指定される。

【００２３】画像検索エンジン３１のキーワード抽出処
理について、図５のフローチャートを用いて説明する。

【００２４】まず、画像検索エンジン３１は、ＰＣ１０
からインターネット１００を介してアップロードされた
画像データを取り込むと（Ｓ１１）、取り込んだ画像デ
ータから、特徴量を特徴データとして抽出する（Ｓ１
２）。特徴量としては色特徴、テクスチャパターン等の
種々のものが考えられるが、ここでは、特徴量として画
像の輪郭を抽出するものとする。

【００２５】次に、画像検索エンジン３１はデータベー
ス２０の中から、抽出した特徴データ（輪郭画像デー
タ）と類似する輪郭画像データ群を検索し、その輪郭画
像データ群に関連するキーワード群を抽出する（Ｓ１
３）。

【００２６】具体的には、取り込んだ画像データから輪
郭データを抽出し、その輪郭データを正規化する。正規
化は、輪郭データから画像全体のエッジ重心を求め、そ
の重心に基き各座標の距離を正規化することにより行な
う。そして、そのようにして正規化した輪郭データと、
画像検索エンジン３１のデータベース２０において管理
される輪郭画像データとを比較しながら、正規化した輪
郭データと同一または類似のデータベース２０中の輪郭
画像データを全て求め、その求めた輪郭画像データに関
連付けられているキーワードを全て抽出する。すなわ
ち、データベース２０が管理する輪郭画像データの保存
先からデータを１つずつ読み込み、正規化された取り込
み画像と比較する。このとき、両画像において同じ位置
にある画素の差分を画素毎に計算していき、画像全体に
ついて画素の差分の総和を求める。その差分の総和が所
定値以下であるときに両画像は類似すると判断する。上
記の方法で画像比較を行なった結果、例えば、取り込ん
だ画像データの輪郭データが、データベース２０が管理
する輪郭画像データの"Img01.xx"及び"Img03.xx"と類似
するときは、「タレント名１」、「絵画名１」、「作者
名１」等がキーワードとして抽出される。

【００２７】以上のようにして情報検索のために抽出さ
れたキーワード群をキーワード検索エンジン３３へ送信
する（Ｓ１４）。キーワード検索エンジン３３は、画像
検索エンジン３１から送信されたキーワード群に基いて
情報を検索し、その検索結果を画像検索エンジン３１に
送信する。画像検索エンジン３１はキーワード検索エン
ジン３３からの検索結果を受けると、これをＰＣ１０に
送信する（Ｓ１５）。ＰＣ１０は、表示部５１３上にそ
の検索結果を表示する。また、検索結果を出力装置１７
により印刷してもよい。このとき、ユーザはＰＣ１０に
対して検索結果を印刷させる特定の出力装置を予め指定
しておいてもよい。例えば、ＰＣ１０と同じローカルネ
ットワークに接続された出力装置１７以外のネットワー
クプリンタを指定してもよく、その場合は、ユーザの指
定したネットワークプリンタから検索結果が出力され
る。

【００２８】以上のように、本実施形態の情報検索装置
は、画像から自動的にキーワードが抽出され、その抽出
されたキーワードが自動的にキーワード検索エンジンに
送信されることにより、その画像に関連する情報の検索
が可能となる。これにより、ユーザは画像しか手がかり
がない場合であっても、それに関連する情報の検索が可
能となる。このとき、ユーザはキーワードの設定を行な
う必要がないため、その作業負担が軽減されるととも
に、自動的に種々のキーワードが設定されることから、
より確実で広範な情報検索が可能となる。

【００２９】（実施の形態２）本実施形態では、本発明
に係る画像検索エンジンが、ある画像に関連する情報を
提供可能なインターネット上のＷＥＢサイトを特定する
ＵＲＬを抽出する例を示す。

【００３０】図６は本実施形態の処理の流れを説明した
図である。図６に示すように、ユーザにより入力装置１
５からＰＣ１０に対し、関連情報を検索したいと考える
画像データが入力される。ＰＣ１０により、その画像デ
ータが画像検索エンジン３１へアップロードされる。画
像検索エンジン３１は、アップロードされた画像データ
の正規化等の所定の処理後、アップロードされた画像デ
ータに関連するＵＲＬ群を検出し、そのＵＲＬ群の一覧
をＰＣ１０に送信する。ＰＣ１０は、検出したＵＲＬに
基いて、そのＵＲＬが指定するＷＥＢサイトにリンク
し、そのサイト上のデータをダウンロードし、表示す
る。このとき、ＰＣ１０上はダウンロードしたデータを
出力装置１７で印刷してもよい。

【００３１】図７は、画像検索エンジン３１についての
ＵＲＬ抽出処理のフローチャートである。図７に示すよ
うに、画像検索エンジン３１は、ＰＣ１０からインター
ネット１００を介してアップロードされた画像データを
取り込むと（Ｓ２１）、取り込んだ画像データから、特
徴データを抽出する（Ｓ２２）。次に、画像検索エンジ
ン３１のデータベース２０を参照し、抽出した特徴デー
タ（輪郭画像データ）と同一または類似範囲内にある画
像データ群を検出し、その画像データ群に関連するＵＲ
Ｌ群を抽出する（Ｓ２３）。例えば、取り込んだ画像デ
ータの輪郭データが、図４に示すデータベース２０が管
理する輪郭画像データ"Img01.xx"と類似するときは、Ｕ
ＲＬとして"http://www.X1.Y1.co.jp/cc/ddd/ggg"が抽
出される。抽出されたＵＲＬ群をＰＣ１０へ送信する
（Ｓ２４）。このとき、抽出されたＵＲＬ群の一覧の情
報はＨＴＭＬ形式でＰＣ１０に送信される。ＰＣ１０上
では、抽出されたＵＲＬの一覧が表示される。これによ
り、ユーザは、ＰＣ１０において表示されたＵＲＬの一
覧の中から所望のものをクリックすることで、そのＵＲ
Ｌが指定するサイトに容易にリンクできる。

【００３２】以上のように、本実施形態の情報検索装置
は、画像から自動的に、その画像に関連するＵＲＬが抽
出されることにより、その画像に関連する情報の検索が
容易となる。これにより、ユーザは画像しか手がかりが
ない場合であっても、それに関連する情報の検索が可能
となる。このとき、ユーザはキーワードの設定を行なう
必要がないため、その作業負担が軽減されるとともに、
自動的に種々のＵＲＬが抽出されることから、より確実
で広範な情報検索が可能となる。

【００３３】（実施の形態３）前述の実施形態では、関
連情報を得たい画像から一旦特徴量（輪郭画像）を抽出
し、その特徴量（輪郭画像）と、データベースで管理す
る画像との類似を判断することにより、キーワードまた
はＵＲＬを求めていた。これに対して、本実施形態で
は、データベースにおいてキーワードとなる画像である
キーワード画像を管理しておき、特徴量を抽出せず、そ
のキーワード画像と関連情報を得たい画像とを直接比較
することにより、キーワード（テキスト形式）またはＵ
ＲＬを求める。

【００３４】図８は本実施形態における、キーワード
（テキスト形式）またはＵＲＬの抽出に用いられるデー
タベースの構成例を示した図である。図８に示すデータ
ベース２０ｂは、キーワード画像のデータと、そのキー
ワード画像に関連するキーワードと、そのキーワード画
像に関連する種々の情報を有するインターネット上のサ
イトを特定するＵＲＬとを関連付けて格納している。キ
ーワード画像は、ある画像（オリジナル画像）を一定の
大きさに正規化（縮小）した画像データである。例え
ば、キーワード画像に対応するＵＲＬとしては、そのキ
ーワード画像に関連するオリジナル画像を提供するサイ
トを指定する。

【００３５】図９は、本実施形態における画像検索エン
ジン３１のキーワード抽出処理のフローチャートであ
る。

【００３６】図９に示すように、画像検索エンジン３１
は、ＰＣ１０からインターネット１００を介してアップ
ロードされた画像データを取り込む（Ｓ３１）。次に、
画像検索エンジン３１のデータベース２０を参照し、取
り込んだ画像とキーワード画像とを直接比較して、取り
込んだ画像と同一または類似範囲内にあるキーワード画
像群を抽出する（Ｓ３２）。具体的には、取り込んだ画
像を正規化した後、その正規化した画像とキーワード画
像とをパターンマッチングし、一定の類似範囲にあるキ
ーワード画像を全て抽出する。パターンマッチングのか
わりに、両画像において画素毎の色差を比較し、その色
差の画像全体での総計が所定範囲内にあるときに類似す
ると判断して、そのときのキーワード画像を抽出しても
よい。

【００３７】そして、抽出したキーワード画像群に関連
するキーワード群を特定し、キーワード検索エンジン３
３へ送信する（Ｓ３３）。キーワード検索エンジン３３
は、画像検索エンジン３１から送信されたキーワード群
に基いて情報を検索し、その検索結果を画像検索エンジ
ン３１に送信する。画像検索エンジン３１はキーワード
検索エンジン３３からの検索結果を受けると、これをＰ
Ｃ１０に送信する（Ｓ３４）。ＰＣ１０はその検索結果
を表示、印刷する。

【００３８】なお、本実施形態において、キーワードの
みならず、実施の形態２の場合と同様に画像に関連する
ＵＲＬを抽出するようにしてもよい。

【００３９】以上のように、画像の特徴量を抽出せず
に、画像どうしを直接比較しても、その画像に関連する
キーワードやＵＲＬを得ることができ、ユーザはある画
像に基いて、それに関連する情報を検索したいときに、
キーワードの設定を行なう必要がなく、その作業の負担
が軽減されるとともに、確実、広範な情報検索が可能と
なる。

【００４０】

【発明の効果】本発明によれば、画像から、その画像に
関連するキーワードやＵＲＬを自動的に抽出できるた
め、ユーザは例えばインターネット上の検索エンジンを
利用して、容易にその画像に関連する情報を得ることが
できる。このとき、キーワードの設定を行なう必要がな
いため、その作業の負担が軽減されるとともに、確実、
広範な情報検索が可能となる。

【図面の簡単な説明】

【図１】 本発明に係る画像検索システムのネットワー
ク構成図。

【図２】 ＰＣ、サーバのハードウェア構成図。

【図３】 画像に関連する情報を検索する際の処理の流
れを説明するための図（実施の形態１）。

【図４】 輪郭画像を介して、画像に関連するキーワー
ド、ＵＲＬを抽出する際に用いるデータベースの構成を
示した図。

【図５】 画像検索エンジンのキーワード抽出処理に関
するフローチャート（実施の形態１）。

【図６】 画像に関連する情報を検索する際の処理の流
れの別の例を説明するための図（実施の形態２）。

【図７】 画像検索エンジンのキーワード抽出処理に関
するフローチャート（実施の形態２）。

【図８】 キー画像を介して、画像に関連するキーワー
ド、ＵＲＬを抽出する際に用いるデータベースの構成を
示した図。

【図９】 画像検索エンジンのキーワード抽出処理に関
するフローチャート（実施の形態３）。

【符号の説明】

１０ 情報端末（ＰＣ） １５ 入力装置 １７ 出力装置 ３１ サーバ（画像検索エンジン） ３３ サーバ（キーワード検索エンジン） １００ インターネット

フロントページの続き Ｆターム(参考） 5B075 KK03 ND03 ND08 ND36 NK02 NK07 NK08 NK31 NK39 PP10 PQ02 PQ05 PQ46 QM05 5B082 AA13 EA07 EA08 GC04

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像の特徴データと、その画像に関連す
   るキーワードとを関連付けて管理するデータベースと、 関連する情報を検索したい画像データを入力する入力手
   段と、 入力された画像から特徴データを抽出する特徴抽出手段
   と、 入力された画像データから抽出された特徴データと同一
   または類似の特徴データを有する画像を、データベース
   が管理する画像群の中から特定し、その特定した画像に
   関連づけられたキーワードを抽出するキーワード抽出手
   段とからなることを特徴とする情報検索装置。
2. 【請求項２】 前記キーワード抽出手段により抽出され
   たキーワードを、テキストデータで表現された検索情報
   を用いて情報検索を行なう検索エンジンに送信する手段
   をさらに備えたことを特徴とする請求項１記載の情報検
   索装置。
3. 【請求項３】 画像の特徴データと、その画像に関連す
   る情報を提供するインターネット上のサイトを指定する
   表記であるＵＲＬとを関連付けて管理するデータベース
   と、 関連する情報を検索したい画像の画像データを入力する
   入力手段と、 入力された画像データから特徴データを抽出する特徴抽
   出手段と、 入力された画像データから抽出された特徴データと同一
   または類似の特徴データを有する画像をデータベースが
   管理する画像群の中から特定し、その特定した画像に関
   連づけられたＵＲＬを抽出するＵＲＬ抽出手段とからな
   ることを特徴とする情報検索装置。
4. 【請求項４】 前記データベースにおいて管理されるＵ
   ＲＬは、データベースにおいて関連づけられる画像の特
   徴データに関連する画像のデータを提供するインターネ
   ット上のサイトを指定することを特徴とする請求項３記
   載の情報検索装置。
5. 【請求項５】 画像のプリント先を指定する手段と、 前記ＵＲＬ抽出手段から抽出したＵＲＬで指定されるサ
   イトから、画像をダウンロードする手段と、 ダウンロードした画像を指定されたプリント先へ出力す
   る手段とからなることを特徴とする請求項４記載の情報
   検索装置。
6. 【請求項６】 画像データと、その画像データに関連す
   るキーワードとを関連付けて管理するデータベースと、 関連する情報を検索したい画像データを入力する入力手
   段と、 入力された画像データと同一または類似の特徴データを
   有する画像データをデータベースが管理する画像群の中
   から特定し、その特定した画像に関連づけられたキーワ
   ードを抽出するキーワード抽出手段とからなることを特
   徴とする情報検索装置。
7. 【請求項７】 コンピュータを、請求項１ないし請求項
   ６のいずれか一に記載の情報検索装置として機能させる
   ための情報検索プログラム。
8. 【請求項８】 請求項７記載の情報検索プログラムを記
   録したコンピュータ読み取り可能な記録媒体。