JP2007323554A - ネットワーク検索方法，クライアント，サーバ，システム - Google Patents

Abstract

【課題】範囲指定された画面表示領域のデータに基づいて、対応するＷｅｂサイトなどを検索することで、インターネットの利便性の向上を図る。
【解決手段】画像検索を行う利用者が画像検索ボタン２２Ｃをクリックすると、マウス及びマウスカーソル２２Ｄが表示ページ２２Ａ上で範囲指定可能な状態となり、利用者は所望する領域２２Ｅを指定する。再び画像検索ボタン２２Ｃをクリックすると、指定領域２２Ｅのデータが、インターネットを介して画像検索サイトに検索対象として送信される。画像検索サイトは、指定領域２２Ｅから画像認識プログラムによって検索キーを抽出し、検索プログラムによりデータベースを参照してＷｅｂサイトの検索が行われる。検索結果は、クライアント端末のディスプレイ２０Ａ上に表示される。
【選択図】図６

Description

本発明は、ネットワーク上における各種の情報，例えばサイトないしＵＲＬ（（以下単に「サイト」と総称する）などの検索方法，クライアント，サーバ，システムに関し、更に具体的には、画像から検索を行うための検索手法の改良に関するものである。

従来のネットワーク，例えばインターネット上におけるサイトの検索手法としては、キーワードを用いたものが一般的であり、各種の検索エンジンが提供されている。また、例えば下記特許文献１には、スクリーン上に表示されている２つのマザーアイコンが接近したかどうか判断し、接近したと判断したときは、各マザーアイコンのキーワードを論理積で結合したキーワードで検索を行うようにしたウェブサイト検索システムが開示されている。
特開２００５−１４１３４０公報

上述した検索手法では、検索を行うために何らかのキーワードを入力しなければならない。しかし、適当なキーワードが見つからないことも少なくない。このような場合でも、検索の手がかりとなる画像があるときは、その画像から検索ができると好都合である。例えば、商標やサービスマークから該当する会社や店舗のサイトを検索する，顔写真から該当する人物のサイトを検索するなどである。

一方、Ｗｅｂ上には、テキストデータのみならず、静止画や動画などの画像情報も多数提供されている。これらの閲覧中に、表示されている商品を購入したい，表示されている店に行ってみたい，などの欲求が生ずることがある。このような場合に、それらの画像から該当するサイトを検索できると好都合である。

本発明は、以上の点に着目したもので、画像から関係する情報を検索することができ、ネットワークの利便性の向上を図ることができる情報検索方法，クライアント，サーバ，システムを提供することを、その目的とするものである。

前記目的を達成するため、本発明は、ネットワークを通じてクライアントとサーバが接続されており、クライアント側の検索要求に応じてサーバ側で検索を行って、結果をクライアント側で出力する場合に、前記クライアント側において検索対象を指定し、これによって指定された検索対象から検索キーを抽出し、これによって抽出した検索キーに基づいて関係するデータを検索し、これによる検索結果をサーバ側からクライアント側に送信し、受信した検索結果をクライアント側で出力することを特徴とする。

主要な形態の一つは、前記検索キーの抽出は、前記検索対象に含まれている画像や文字を認識し、これによる認識結果が、単数のときはそれを検索キーとし、複数のときはそれらを提示して選択を求めることで検索キーを設定することを特徴とする。他の形態の一つは、前記データの検索が、クライアント側で指定されたカテゴリーにより検索の範囲を絞り込んで行われることを特徴とする。更に他の形態によれば、画面上における一部もしくは全部の範囲指定，画像ファイルの指定，動画中に含まれている画像の指定のいずれかの方法で、クライアント側における検索対象の指定が行われることを特徴とする。本発明の前記及び他の目的，特徴，利点は、以下の詳細な説明及び添付図面から明瞭になろう。

本発明によれば、画像や文字が含まれていても、検索対象を指定すれば検索キーが抽出された検索が行われるので、ネットワークの利便性が大幅に向上する。特に、カーソル操作やペン操作で検索対象を指定することができるので、携帯端末のようにキーボードがない場合、キーボードの操作に慣れていない，あるいは身体に障害があってキーボードが操作できないような場合でも、良好にインターネットを利用して検索を行うことができる。

以下、本発明を実施するための最良の形態を、実施例に基づいて詳細に説明する。

最初に、図１を参照しながら、本発明の実施例１の全体構成を説明する。同図において、インターネット１０上には、Ｗｅｂページを表示するＰＣ（パソコン），携帯電話，ＰＤＡなどの多数のクライアント端末２０や、Ｗｅｂページを提供する多数のＷｅｂサイト３０が存在する。クライアント端末２０には、Ｗｅｂページを閲覧するための閲覧ソフトウエア（いわゆるブラウザ）２２が用意されており、この閲覧ソフトウエア２２により、多数のＷｅｂサイト３０から提供されているＷｅｂページがクライアント端末２０側で表示される。このようなネットワークシステムは、いずれも公知である。

ところで、本実施例では、上述した一般的な構成・機能に加えて、クライアント端末２０の閲覧ソフトウエア２２に検索領域指定プログラム２４が追加されている。この検索領域指定プログラム２４は、ディスプレイ上に表示されている画面上で検索したい領域を範囲指定するためのものである。

更に、本実施例では画像検索サイト４０が存在する。この画像検索サイト４０は、主要のサーバとして、ＷＷＷサーバ４２，データベースサーバ４４，データベース４６を備えている。これらのうち、ＷＷＷサーバ４２は、画像検索サイト４０にアクセスがあったときに、該当するクライアント端末２０に画面データをインターネット１０を介して提供し、クライアント端末２０に検索用の入力画面や検索結果画面を表示するためのサーバである。

データベースサーバ４４は、前記ＷＷＷサーバ４２と連携し、クライアント端末２０から受信した画像データに基づいてデータベース４６から該当するサイトを検索する機能を備えている。具体的には、画像認識プログラム４４Ａ，検索キー設定プログラム４４Ｂ，検索プログラム４４Ｃをデータベースサーバ４４で実行することによって行われる。以下順に詳述する。なお、巡回データ収集プログラム４４Ｄについては、後述する実施例２で説明する。

［画像認識プログラム４４Ａ］……このプログラムは、クライアント端末２０から受信した画像データを認識し、その画像データに含まれている標準パターンや文字（数字や記号も含む）を認識する機能を備えている。画像認識は、例えば、予め用意した標準パターンないしテンプレート画像とのパターンマッチング，その他の公知の手法を適用して行われる。データベース４６には、標準パターンリスト４６Ａが用意されており、これを参照して、パターンマッチングによる画像認識が行われるようになっている。また、画像中に含まれている文字の認識も公知の方法を適用して行われる。具体的には、ＯＣＲないしデジタル文字認識の手法が用いられる。図２には、標準パターンリスト４６Ａの一例が示されている。同図に示すように、円，三角形，四角形，などの標準パターンが予め用意されており、各標準パターンにはコードが付されている。例えば、円パターンのコードは「Ｐ０００」，三角形パターンのコードは「Ｐ０１０」という具合である。画像認識プログラム４４Ａによる画像認識の一例を示すと、例えば、図３(A)に示すような画像データの場合、星形パターンＰＡや円弧パターンＰＢが認識されるとともに、文字列「Ｓ・Ｄ」や文字列「Ｓ−Ｄａｒｔｓ．ｃｏｍ」が認識される。

［検索キー設定プログラム４４Ｂ］……このプログラムは、画像認識プログラム４４Ａによって認識された画像や文字に基づいて検索キーを設定する機能を備えている。具体的には、画像や文字が一つしか認識されなかった場合はそれを検索キーとし、複数の画像や文字が認識されたときは、それらの組み合わせをクライアント端末２０に提示し、利用者が決定したものを検索キーとするという具合である。

例えば、図３(B)に示すような画像データの場合、画像認識プログラム４４Ａは画像パターンＰＡのみを認識する。従って、星形パターンＰＡのコードを検索キーとする。図３(C)に示すような画像データの場合、文字列「Ｓ−Ｄａｒｔｓ．ｃｏｍ」が認識される。このような場合は、例えば検索キー設定画面をクライアント端末２０に表示する。図４(A)にはその一例が示されており、窓ＭＡに文字列「Ｓ−Ｄａｒｔｓ．ｃｏｍ」が表示されており、その隣に決定ボタンＢＡが表示されている。利用者は、窓ＭＡ内で不要な文字を消去する。例えば、「．ｃｏｍ」が不要であれば、それを図４(B)のように消去する。そして、決定ボタンＢＡをクリックすると、検索キーが「Ｓ−Ｄａｒｔｓ」に決定されるという具合である。

図３(D)に示すような画像データの場合、星形パターンＰＡと文字列「Ｓ・Ｄ」が認識される。このような場合は、例えば図４(C)に示すような検索キー設定画面をクライアント端末２０に表示する。図４(C)の例では、星形パターンＰＡは窓ＭＢに表示されており、文字列「Ｓ・Ｄ」は窓ＭＣに表示されている。利用者は、窓ＭＢ，ＭＣ内で不要なものを消去する。例えば、星形パターンＰＡが不要であれば、窓ＭＢ内の星形パターンＰＡを、文字と同様の手法で消去する。文字列「Ｓ・Ｄ」については、不要な部分を消去する。また、この例の場合では、ＡＮＤ（論理積）で検索を行うのか、あるいはＯＲ（論理和）で検索を行うのかの選択をラジオボタンＢＢによって行う。

［検索プログラム４４Ｃ］……このプログラムは、検索キー設定プログラム４４Ｂによって設定された検索キーに基づいて、データベースの４６のサイトテーブル４６Ｂから該当するサイトのＵＲＬを検索する機能を備えている。データベースの４６のサイトテーブル４６Ｂは、例えば図５に示すように、サイト名，ＵＲＬ，紹介文，検索キー，カテゴリーなどを、多数のサイトに対してリスト化した構成となっている。従って、検索キーによる検索を行えば、該当するサイトの名称やＵＲＬ，あるいはその紹介文のデータを得ることができる。

例えば、ＵＲＬ「http://www.ipdl.ncipi.go.jp/homepg.ipdl」の特許電子図書館の紹介文は、「特許電子図書館トップページ・・・」であり、検索キーとして、三角形パターンのコードＰ０１０，正方形パターンのコードＰ０２１，文字列「ＮＣＩＰＩ」，「特許」，「特許電子図書館」，・・・が対応付けられている。同様に、ＵＲＬ「http://www.s-darts.com/」のエスダーツの紹介文は「ダーツショップエスダーツ・・・」となっており、検索キーとして、星形パターンのコードＰ１０１，円弧パターンのコードＰ００２，文字列「Ｓ・Ｄ」，「Ｓ−Ｄａｒｔｓ」，「エスダーツ」，・・・が対応付けられている。

次に、上述した図１〜図５の他に、図６〜図８も参照しながら、本実施例の動作を説明する。図６，図７にはクライアント端末２０における表示例が示されており、図８には動作のフローチャートが示されている。クライアント端末２０では、例えば、図６(A)に示すように、閲覧ソフトウエア２２によってＷｅｂページ（表示ページ）２２Ａがディスプレイ２０Ａ上に表示されている。本実施例では、閲覧ソフトウエア２２に検索領域指定プログラム２４が組み込まれているため、画面上部のツールバー２２Ｂに画像検索ボタン２２Ｃが表示される。

画像検索を行う利用者は、まず、マウスカーソル２２Ｄによって画像検索ボタン２２Ｃをクリックする（図８のステップＳＡのYes）。すると、マウスカーソル２２Ｄが表示ページ２２Ａ上で範囲指定可能な状態となるので、利用者は所望する領域２２Ｅを指定する（ステップＳＢのYes）。範囲指定後、利用者は、再び画像検索ボタン２２Ｃをクリックする。すると、図６(B)に示す指定領域２２Ｅの画像データが、インターネット１０を介して画像検索サイト４０のＷＷＷサーバ４２に検索対象として送信される（ステップＳＣ）。例えば、JPG，GIFなどの形式の画像ファイルとして、指定領域２２Ｅの画像データの送信が行なわれる。

よく知られているように、Ｗｅｂページには、画像データの部分もあればテキストデータの部分もある。従って、上述した指定領域２２Ｅが画像データもしくはその一部であることもあれば、テキストデータのみの場合もあるし、両者が混在する場合もある。いずれであっても、本実施例では、指定領域２２Ｅは画像として認識され、画像データとして取り出される。ディスプレイ２０Ａの画像メモリ（図示せず）から指定領域２２Ｅに相当するデータを取り出したと考えればよい。

クライアント端末２０からＷＷＷサーバ４２が受信した指定領域２２Ｅの画像は、データベースサーバ４４の画像認識プログラム４４Ａによって、その検索キーの認識処理が行われる（ステップＳＤ）。図６(B)の例では、星形パターン，円弧パターン，文字列「Ｓ・Ｄ」，「Ｓ−Ｄａｒｔｓ．ｃｏｍ」が認識される。なお、図形パターンである星形パターン及び円弧パターンはコードとして認識される。すなわち、星形パターンは「Ｐ１０１」，円弧パターンは「Ｐ００２」という具合である。

次に、データベースサーバ４４では、認識した検索キーが複数であるため（ステップＳＥのYes）、検索キー設定プログラム４４Ｂが実行され、ＷＷＷサーバ４２によって該当するクライアント端末２０のディスプレイ２０Ａに、図７(A)に示す検索キー設定画面を表示する（ステップＳＦ）。図示の例では、窓ＭＰに星形パターンＰＡが表示されており、窓ＭＱに円弧パターンＰＢが表示されており、窓ＭＲに文字列「Ｓ・Ｄ」が表示されており、窓ＭＳに文字列「Ｓ−Ｄａｒｔｓ．ｃｏｍ」が表示されている。図形パターンはコードとして認識されているが、これを表示しても利用者には何のことか不明であるため、図形そのものが表示される。なお、各窓ＭＰ〜ＭＳの間には、論理積・論理和を指定するラジオボタンＢＰ〜ＢＲが表示されている。

利用者は、これらの複数の検索キーのうち、所望のものを選択する。例えば、図７(B)に示すように、窓ＭＱ，ＭＲの検索キーを消去するとともに、窓ＭＳでは「．ｃｏｍ」を消去し、ラジオボタンＢＰで論理積を選択することで、星形パターンＰＡと文字列「Ｓ−Ｄａｒｔｓ」との論理積を選択キーとするという具合である。実際には、星形パターンＰＡのコード「Ｐ１０１」と文字列「Ｓ−Ｄａｒｔｓ」との論理積となる。

利用者が決定ボタンＢＳをクリックすると（ステップＳＧのYes）、星形パターンＰＡのコード「Ｐ１０１」と文字列「Ｓ−Ｄａｒｔｓ」との論理積が選択キーである旨が、インターネット１０を介して画像検索サイト４０に送信される（ステップＳＨ）。画像検索サイト４０では、ＷＷＷサーバ４２を介してデータベースサーバ４４により検索プログラム４４Ｃが実行され、データベース４６のサイトテーブル４６Ｂから、前記選択キーに該当するサイトが検索される（ステップＳＩ）。例えば、図７(B)の例では、星形パターンＰＡのコード「Ｐ１０１」と文字列「Ｓ−Ｄａｒｔｓ」との論理積による検索が行われ、星形パターンＰＡのコード「Ｐ１０１」と文字列「Ｓ−Ｄａｒｔｓ」の両方が含まれているサイトが抽出される。

すなわち、画像の標準パターンについては当該パターンのコードが検索キーとして含まれているサイトが検索され、文字については当該文字が検索キーとして含まれているサイトかどうかが検索される。このように、画像パターン自体を比較してマッチング処理を行うわけではないので、検索に長時間を要する恐れはない。

検索結果は、ＷＷＷサーバ４２を通じてクライアント端末２０側に送信され、ディスプレイ２０Ａ上に出力ないし表示される（ステップＳＪ）。例えば、図６(C)に示すように、ディスプレイ２０Ａ上に検索結果が表示される。図示の例では、最上段に「ダーツショップエスダーツ」と表示されており、この表示２２Ｆをクリックすると、該当するホームページがディスプレイ２０Ａに表示される。この検索結果の表示やリンクの設定は、公知の検索エンジンによるものと同様である。

このように、本実施例によれば、利用者がクライアント端末で指定した画像から検索キーを抽出し、これに基づいて対応するサイト検索が行われる。従って、適当な言葉を思いつかなくてもサイト検索を行うことができるのみならず、キーボードを上手く使えない人でもマウスのみでサイト検索を行うことができ、インターネットの利便性が大幅に向上する。

次に、図１を参照しながら、本発明の実施例２について説明する。本実施例は、データベース４６におけるサイトテーブル４６Ｂのデータ追加・更新に関する実施例である。サイトテーブル４６Ｂは、予め多数のサイトについてデータを収集したものであるが、本実施例では、このデータ収集が巡回データ収集プログラム４４Ｄによって自動的に行なわれる。いわゆる巡回ロボットである。

データベースサーバ４４では、定期的に巡回データ収集プログラム４４Ｄを実行し、インターネット１０上のＷｅｂサイト３０に順次アクセスする。そして、当該Ｗｅｂサイト３０のＷｅｂページデータを取得し、公知の巡回ロボットのような文字によるデータ収集のみならず、画像認識プログラム４４Ａによる画像認識処理によるデータ収集も行う。すなわち、Ｗｅｂページ中に含まれている画像に対し、標準パターンリスト４６Ａの標準パターンとのマッチング処理を行い、含まれている標準パターンを抽出する。抽出された標準パターンコードや文字のデータは、当該サイトの名称やＵＲＬとともに、検索キーとしてサイトテーブル４６Ｂに追加されるか、もしくは更新に利用される。なお、当該Ｗｅｂサイト３０のＷｅｂページ中に含まれているテキストデータを採取し、これを紹介文とする。本実施例によれば、サイトテーブル４６Ｂに対する新規サイトのデータの追加や、既存サイトのデータの更新を自動的に行うことができ、データの充実を図ることができる。

もちろん、このような巡回ロボットによるデータ収集のみならず、オペレータによる収集や利用者によるデータの登録や修正など、各種の方法を用いてよい。例えば、データベースサーバ４４にデータ登録プログラムを用意する。そして、利用者が画像検索サイト４０にアクセスし、メニュー画面（図示せず）からデータ登録を選択すると、データ登録プログラムが実行され、クライアント端末２０のディスプレイ２０Ａにデータ登録用の画面（図示せず）が表示されるようにする。利用者は、この画面上で、サイトテーブル４６Ｂに登録したいサイトのＵＲＬなどのデータや画像，文字を入力する。すると、入力データが画像検索サイト４０に送信され、画像については画像認識プログラム４４Ａによる認識処理が行われて、サイトテーブル４６Ｂに当該サイトのデータが登録されるという具合である。

次に、図９(A)を参照しながら、本発明の実施例３について説明する。本例は、クライアント側における画像の範囲指定に関するものである。上述した実施例では、マウスカーソル２２Ｄをドラッグして範囲を指定したが、本実施例では、指定したい範囲の略中央２２Ｐでマスクカーソル２２Ｄをクリックすることで、ｍ×ｎピクセルの範囲が指定できるようにしたものである。範囲の大きさであるｍ，ｎは、利用者が任意に設定する。なお、マウスカーソルのみならず、キーボードの操作，タッチパネル上におけるペン操作など、適宜の入力手段を用いて検索範囲を指定するようにしてよい。

次に、図９(B)を参照しながら、本発明の実施例４について説明する。本例は、画像検索サイト上で検索対象の画像を指定するようにしたものである。上述した実施例１では、クライアント端末２０の閲覧ソフトウエア２２にプラグインした検索領域指定プログラム２４によって検索領域を指定したが、本実施例では、閲覧ソフトウエア２２に特別なプラグインを組み込むことなく、画像検索サイト４０の画面上で検索画像を指定することとしている。

本実施例では、閲覧ソフトウエア２２によって画像検索サイト４０にアクセスする。すると、ＷＷＷサーバ４２によって、図９(B)に示すような入力画面がクライアント端末２０のディスプレイ２０Ａに表示される。利用者は、検索したい画像を窓１０２内に貼り付ける。そして、検索ボタン１０４をクリックすると、窓１０２内に貼り付けた画像データが画像検索サイト４０に送信される。以後の動作は、上述した実施例１と同様である。

クライアント端末２０がカメラ付きの携帯電話や携帯情報端末の場合、カメラで撮影した比較的画像が小さい。このような場合、撮影した写真全体をそのまま送信して検索を行うようにしてもよい。例えば、建物や施設の写真を撮って検索を行えば、その建物や施設に関係するサイトにアクセスして、各種のデータを得ることができる。あるいは、商品の写真を撮って検索を行えば、当該商品に関係するサイトにアクセスして各種のデータを得ることができる。

更に、本実施例では、ＷＷＷサーバ４２によって、検索のカテゴリー指定ボタン１１０が表示されており、検索のカテゴリー１１２，１１４，・・・を選択できるようになっている。例えば、カテゴリー１１２は、関係するＷｅｂサイトを検索するボタンであり、カテゴリー１１４は、関係する画像を検索するボタンであるという具合である。カテゴリーによっては、更に詳細なカテゴリーを指定できるようになっている。図示の例では、ショッピングのカテゴリー１２０をマウスカーソルでクリックすると、パソコン１２２，車１２４，・・・などのカテゴリーボタンが画面上にプルダウンメニューとして表示され、利用者は、これらから所望のカテゴリーを選択する。

例えば、気に入った自動車があり、それを購入したいときは、その車の画像を窓１０２に貼り付けるとともに、ショッピングのカテゴリー１２０の車のカテゴリー１２４をマウスカーソルでクリックし、続いて検索ボタン１０４をクリックする。すると、データベース４６のサイトテーブル４６Ｂから該当するカテゴリーのＷｅｂサイトが検索され、例えば、窓１０２の画像の車を販売するディーラーのＵＲＬリストが検索結果として表示されるという具合である。このように、カテゴリーを指定することで、検索の範囲が絞り込まれ、検索精度の向上を図るとともに、検索時間の短縮を図ることができる。この検索のカテゴリー指定ボタン１１０を、前記実施例１に適用し、例えば、図４や図７に示した検索キー選択画面上に表示して利用者によるカテゴリー選択を促すようにしてもよい。

次に、図１０を参照しながら、本発明の実施例５について説明する。上述した実施例では、検索キーの設定を検索サイト側で行ったが、本実施例ではクライアント端末側で行うようにしている。すなわち、図１０に示すように、クライアント端末２００側に、検索領域指定プログラム２４に加えて、画像認識プログラム４４Ａ，検索キー設定プログラム４４Ｂ，標準パターンリスト４６Ａを用意する。そして、これらを利用して検索キーを設定するまでの動作をクライアント端末２００で行う。設定された検索キーは、インターネット１０を介して画像検索サイト２１０のＷＷＷサーバ４２で受信され、データベースサーバ４４の検索プログラム４４Ｃでデータベース４６のサイトテーブル４６Ｂから該当するサイトが検索される。検索結果は、ＷＷＷサーバ４２からインターネット１０を介してクライアント端末２００に送信され、ディスプレイに表示される。

このように、本実施例では、クライアント端末２００で検索キーの設定動作が行われる。このため、画像検索サイト２１０の負荷が軽減されるようになる。また、各クライアント端末２００において、専用の検索パターンリストを用意することで、より効率的な検索キー設定を行うことができる。例えば、服飾関係の検索を主として行うようなクライアントであれば、シャツ，パンツなどの服飾品の形状パターンを多数用意するという具合である。なお、クライアント側の各プログラムは、閲覧ソフトウエア２２のプラグインとして起動するようにしてもよいし、別途起動するようにしてもよい。

なお、本発明は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。例えば、以下のものも含まれる。
（１）前記実施例では、範囲指定した画像（実施例１）もしくは画像全体（実施例４）を画像検索サイト４０に送信して検索を行ったが、検索したい画像ファイルを指定して画像検索サイト４０に送信するようにしてもよい。更に、写真やグラフィックソフトで描画した絵などに基づいて検索を行うようにしてもよい。また、前記実施例では、パターンマッチングを一例として示したが、画像認識の手法としては各種の技術が知られており、いずれを適用してもよい。
（２）前記実施例では、サイトテーブル４６Ｂにおいて、Ｗｅｂサイトと検索キーとを対応させ、ヒットしたＷｅｂサイトのリストを表示するようにしたが、ネットワークにおける各種のデータ検索に適用してよい。例えば、
ａ，写真やイラストと検索キーとを対応させ、検索結果表示画面ではヒットした写真やイラストをサムネイルで表示する，
ｂ，建物や施設と検索キーを対応させ、検索結果表示画面ではヒットした建物や施設を地図上に表示する，
などである。また、検索結果表示画面上にスポンサーの広告を併せて掲載する，検索キーの合致比率を表示するなど、検索サイトで行われている公知の表示形態を適用してよい。
（３）本発明は、インターネットにパソコン，ＰＤＡ，携帯電話などが接続されている環境に好適であるが、社内ネットワークなど、各種のネットワークに対して適用可能である。ネットワークやサーバの構成，プログラムの構成も、同様の機能を奏するように変更してよい。
（４）前記実施例では、画像や文字を検索キーとして抽出する場合を示したが、他に色などを検索キーとしてもよい。また、図２には基本的な図形を標準パターンの例として示したが、キャラクタ，商号や商標などのマークなど、検索キーとして予想されるものを標準パターンとして予め用意することで、効率的な検索を行うことができる。
（５）前記実施例では、Ｗｅｂページ上に表示される画像を例としたが、デジタルカメラやスキャナなどで取り込んだ画像の一部又は全部を検索対象としてよい。

本発明によれば、画像中に含まれているデータから関係するＵＲＬなどを検索することができ、ネットワークの利便性の向上を図ることができるので、例えば、インターネットにおける検索システムに好適である。

本発明が適用されるシステムの一例を示すブロック図である。 前記システムにおける標準パターンリストの一例を示す説明図である。 画像認識の対象となる画像データの例を示す説明図である。 検索キー設定画面を例示する説明図である。 前記システムにおけるサイトテーブルの一例を示す説明図である。 前記システムにおけるクライアント端末側の表示例に基づく範囲指定画像と、その検索結果を例示する説明図である。 前記図６の場合における検索キー設定の様子を示す説明図である。 画像検索の主要動作例を示すフローチャートである。 本発明の他の実施例を示す説明図である。 本発明の他の実施例を示すブロック図である。

符号の説明

１０：インターネット
２０，２００：クライアント端末
２０Ａ：ディスプレイ
２２：閲覧ソフトウエア
２２Ａ：表示ページ
２２Ｂ：ツールバー
２２Ｃ：画像検索ボタン
２２Ｄ：マウスカーソル
２２Ｅ：指定領域
２２Ｆ：表示
２２Ｐ：略中央
２４：検索領域指定プログラム
３０：Ｗｅｂサイト
４０，２１０：画像検索サイト
４２：ＷＷＷサーバ
４４：データベースサーバ
４４Ａ：画像認識プログラム
４４Ｂ：検索キー設定プログラム
４４Ｃ：検索プログラム
４４Ｄ：巡回データ収集プログラム
４６：データベース
４６Ａ：標準パターンリスト
４６Ｂ：サイトテーブル
１０２：窓
１０４：検索ボタン
１１０：カテゴリー指定ボタン
１１２，１１４，１１６，１１８，１２０，１２２，１２４：カテゴリー
ＢＡ，ＢＳ：決定ボタン
ＢＢ，ＢＰ〜ＢＲ：ラジオボタン
ＭＡ〜ＭＣ，ＭＰ〜ＭＳ：各窓

Claims (12)

1. ネットワークを通じてクライアントとサーバが接続されており、クライアント側の検索要求に応じてサーバ側で検索を行って、結果をクライアント側で出力するネットワーク検索方法であって、
   前記クライアント側において、検索対象を指定するステップ，
   これによって指定された検索対象を、画像ファイル形式でクライアント側からサーバ側にネットワークを通じて送信するステップ，
   前記クライアント側から受信した検索対象の画像を認識して検索キーを抽出するステップ，
   これによって抽出した検索キーに基づいて関係するデータを検索するステップ，
   これによる検索結果を、サーバ側からクライアント側に送信するステップ，
   受信した検索結果をクライアント側で出力するステップ，
   を含むことを特徴とするネットワーク検索方法。
2. ネットワークを通じてクライアントとサーバが接続されており、クライアント側の検索要求に応じてサーバ側で検索を行って、結果をクライアント側で出力するネットワーク検索方法であって、
   前記クライアント側において、検索対象を指定するステップ，
   この指定した検索対象の画像を認識して、前記クライアント側で検索キーを抽出するステップ，
   抽出した検索キーを、クライアント側からサーバ側にネットワークを通じて送信するステップ，
   これによって受信した検索キーに基づいて関係するデータを検索するステップ，
   これによる検索結果を、サーバ側からクライアント側に送信するステップ，
   受信した検索結果をクライアント側で出力するステップ，
   を含むことを特徴とするネットワーク検索方法。
3. 前記検索キーを抽出するステップは、
   前記検索対象に含まれている画像や文字を認識するステップ，
   これによる認識結果が、単数のときはそれを検索キーとし、複数のときはそれらをクライアント側に提示して選択を求めることで検索キーを設定するステップ，
   を含むことを特徴とする請求項１又は２記載のネットワーク検索方法。
4. 前記データを検索するステップは、クライアント側で指定されたカテゴリーにより検索の範囲を絞り込んで検索を行うことを特徴とする請求項１〜３のいずれかに記載のネットワーク検索方法。
5. 請求項１記載の方法によりネットワーク検索を行うためのクライアントであって、
   画面上における一部もしくは全部の範囲指定，画像ファイルの指定，動画中に含まれている画像の指定のいずれかの方法で、前記検索対象を指定する対象指定手段，
   を備えたことを特徴とする検索クライアント。
6. 請求項２記載の方法によりネットワーク検索を行うためのクライアントであって、
   画面上における一部もしくは全部の範囲指定，画像ファイルの指定，動画中に含まれている画像の指定のいずれかの方法で、前記検索対象を指定する対象指定手段，
   指定された検索対象に含まれている画像あるいは文字を認識するための画像認識手段，
   これによる認識結果が、単数のときはそれを検索キーとし、複数のときはそれらを提示して選択を求めることで検索キーを設定する検索キー設定手段，
   を備えたことを特徴とする検索クライアント。
7. 請求項１記載の方法によりネットワーク検索を行うためのサーバであって、
   検索するデータと前記検索キーとの対応関係を集積したデータテーブル，
   前記検索対象に含まれている画像あるいは文字を認識するための画像認識手段，
   これによる認識結果が、単数のときはそれを検索キーとし、複数のときはそれらをクライアント側に提示して選択を求めることで検索キーを設定する検索キー設定手段，
   これによって設定された検索キーに基づいて、前記データテーブルから該当するデータを検索する検索手段，
   を備えたことを特徴とする検索サーバ。
8. 画像の標準パターンと、それを表すコードとの対応関係を示す標準パターンリストを備えており、
   前記データテーブルには、標準パターンのコードを検索キーとして集積し、
   前記画像認識手段は、検索対象に標準パターンが含まれているかどうかを認識し、
   前記検索手段は、前記コードを検索キーとして検索を行う，
   ことを特徴とする請求項７記載の検索サーバ。
9. 前記データテーブルに各データの検索用カテゴリーが含まれており、クライアント側にカテゴリーを提示して選択を求めることで検索の範囲を絞り込むことを特徴とする請求項７又は８記載の検索サーバ。
10. ネットワーク上に存在するサイトを巡回して収集した情報を前記データベースに登録する巡回情報収集手段，もしくは、クライアント側から前記データテーブルにデータを登録するデータ登録手段の少なくとも一方を備えたことを特徴とする請求項７〜９のいずれかに記載の検索サーバ。
11. 請求項５記載の検索クライアント，請求項７〜１０のいずれかに記載の検索サーバをそれぞれ利用して、請求項１記載の方法で検索を行うことを特徴とする検索システム。
12. 請求項６記載の検索クライアント，
    検索するデータと前記検索キーとの対応関係を集積したデータテーブルを備えており、前記検索クライアントによって設定された検索キーを受信して前記データテーブルから該当するデータを検索し、検索結果を前記検索クライアントに送信する検索サーバ，
    を備えたことを特徴とする検索システム。

Images