JP2003016086A - 情報処理システム、サーバ、端末装置、および広告サービス提供方法 - Google Patents

Abstract

(57)【要約】 【課題】デジタルカメラ機能およびネットワーク接続機
能を有効に利用した新たな情報処理システムおよび広告
サービス提供方法を提供する。 【解決手段】端末装置１０のユーザは、付属のデジタル
カメラ１１を用いて外出先等で任意の広告を撮像し、そ
の画像をサービスサイト３０のサーバへ送信する。サー
バは、この入力画像情報に基づいてデータベース内の検
索用画像情報を検索し、入力画像情報に一致する検索用
画像情報を判別する。サーバは検索により特定された検
索用画像を端末装置１０に送信して、その検索用画像が
ユーザの撮像した画像であるか否かを確認する。サーバ
はこの確認を受けた検索用画像情報に関連付けられた付
随情報（詳細情報）を端末装置１０へ送信する。広告画
像に複数の商品の画像が含まれている場合、端末装置に
おいていずれかの商品を指定する座標データをサーバに
送り、サーバ側でその商品を特定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワークを介
して互いに接続される端末装置（単に端末ともいう）お
よびサーバにより構成される情報処理システムに関す
る。

【０００２】

【従来の技術】近年、デジタルカメラ機能を備えた携帯
電話が一般に普及しつつある。このデジタルカメラ機能
を用いて、駐車場に駐車した自分の車の位置を画像メモ
として残したり、ショッピング時に商品情報を撮影し各
店の比較を行うこと等が可能である。デジタルカメラ付
携帯電話は、デジタルカメラと携帯電話という常に携帯
していたい２つの商品を合体させた画期的な商品といえ
る。

【０００３】同時に、最近の携帯電話にはネットワーク
（インターネット）接続機能が備えられ、携帯電話は単
なる通話手段を越えてインターネットを介してサーバと
の間でデータを授受することができる携帯型のクライア
ント端末としても機能するようになってきている。

【０００４】

【発明が解決しようとする課題】ところで、例えば電車
に乗っているときに電車内の吊り広告を目にし、その商
品についての仕様等のより詳細な情報を知りたい場合が
ある。また、その商品を直ちに購入したい場合もある。
その商品の販売会社に電話して問い合わせれば事足りる
が、問い合わせの受付時間が限定されていたり、また電
話代を浪費して冗長な説明を聞く意思がない場合もあ
る。

【０００５】本発明は、このような背景において、デジ
タルカメラ機能およびネットワーク接続機能を有効に利
用した新たな情報処理システムおよび広告サービス提供
方法を提供することを目的とする。

【０００６】本発明の他の目的は、そのような情報処理
システムおよび広告サービス提供方法を実現するサーバ
および端末を提供することにある。

【０００７】

【課題を解決するための手段】本発明による情報処理シ
ステムは、サーバと、このサーバに対してネットワーク
を介して接続される端末装置とからなる情報処理システ
ムであって、前記端末装置は、撮像手段と、この撮像手
段により得られた画像情報を前記サーバに送信する送信
手段と、前記サーバから送信された情報を受信する受信
手段と、この受信された情報を表示する表示手段とを備
え、前記サーバは、複数の検索用画像情報とこの検索用
画像情報に関する付随情報とを関連付けて記憶するデー
タベースと、前記端末装置から送信されてきた画像情報
を入力画像情報として受信する受信手段と、この入力画
像情報に基づいて前記データベース内の検索用画像情報
を検索し、前記入力画像情報に一致する検索用画像情報
を判別する画像判別手段と、判別された検索用画像情報
に関連付けられた前記付随情報を前記端末装置へ送信す
る送信手段とを備えたことを特徴とする。

【０００８】端末装置のユーザは、外出先等、任意の場
所で見かけた広告等の画像を撮像手段で撮影し、その画
像を端末装置からサーバへ送信する。サーバはこの画像
に一致する検索用画像情報を特定して、それに関連付け
られた付随情報を端末装置へ送信する。これにより、ユ
ーザは端末装置から所望の商品等を特定して、その詳細
情報等の付随情報を迅速かつ容易に入手することができ
る。

【０００９】好ましくは、前記サーバは、前記付随情報
を前記端末装置へ送信する前に、前記画像判別手段によ
り判別された検索用画像情報が前記撮影された画像と同
じであるか否かを前記端末装置のユーザに問い合わせる
手段を備え、前記端末装置はその問い合わせに対して応
答する手段を備える。このような手段は必須ではない
が、具備すればサーバの誤検索による目的外の付随情報
を無駄に送信することがなくなる。

【００１０】本発明は、このシステムに利用されるサー
バおよび端末装置としても把握することができる。

【００１１】特に端末装置は、ネットワークを介してサ
ーバに接続される端末装置であって、撮像手段と、この
撮像手段により得られた画像情報を、その画像内のユー
ザが指定した座標データとともに前記サーバに送信する
送信手段と、前記サーバから送信された情報を受信する
受信手段と、前記撮像手段により得られた画像情報およ
び前記受信手段により受信された情報を表示する表示手
段とを備えたことを特徴とする。

【００１２】この場合、前記サーバから送信された情報
は、前記画像情報で表された画像内の前記座標データに
より特定された商品に付随する情報である。これによ
り、１つの広告画像内に複数の商品等が含まれている場
合にその一つを特定することが可能となる。

【００１３】本発明はまた、広告サービス提供方法とし
て把握することもできる。この広告サービス提供方法
は、端末装置から送信されてくる商品の広告画像を受信
するステップと、この広告画像を、予め用意された複数
の検索用広告画像と比較して、当該広告画像と一致する
検索用広告画像を判別するステップと、判別された検索
用広告画像の商品の付随情報を前記端末装置へ送信する
ステップとを備えたことを特徴とする。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００１５】図１は、本発明の実施の形態の概念を説明
するための図である。デジタルカメラ付携帯電話（携帯
端末）１０は、移動無線局であり、例えば、Ｗ−ＣＤＭ
Ａ（Wideband-Code Division Multiple Access）と呼ば
れる符号分割多元接続方式によって基地局と無線接続さ
れ、２ＧＨｚの周波数帯域を使用して、最大２Ｍｂｐｓ
のデータ転送速度で大容量データを高速で通信すること
ができる。このように、デジタルカメラ付携帯電話１０
は大容量データを高速で通信することができるので、基
地局を経由して各種サービスサイト３０にアクセスし、
ホームページの閲覧や画像、音楽コンテンツの送受信等
を行うことができる。また、デジタルカメラ付携帯電話
１０はデジタルカメラ機能を備え、画像を撮影し、これ
を画像ファイルとして保存することができる。本実施の
形態では、外出先で見かけた広告２０（例えば電車内の
吊り広告）を撮影するためにデジタルカメラ機能を用い
る。この撮影した広告２０の画像をサービスサイト３０
に送信し、その仕様情報の送信を要求したり、購入要求
を行ったりすることができる。また、サービスサイト３
０経由で販売サイト４０への商品の購入指示を行うこと
もできる。サービスサイト３０は、仕様情報の送信要求
に対しては、その仕様情報をユーザのデジタルカメラ付
携帯電話１０に送信する。購入要求であれば、それを販
売サイト４０へ転送する。サービスサイト３０は、広告
の確認要求を行ったり、完了通知、エラー通知を行った
りもする。

【００１６】図２に、本実施の形態における情報処理シ
ステムの概略構成を示す。携帯電話１０は、基地局１５
を介してインターネットのようなネットワーク１７に接
続される。一方、このネットワーク１７にはサービスサ
イト３０および販売サイト４０が接続されている。サー
ビスサイト３０は、後述する検索用広告画像情報のデー
タベース３５を備えている。販売サイト４５はウェブデ
ータ４５を備えている。携帯電話１０のユーザは、付属
のデジタルカメラ１０で撮影した任意の広告画像をサー
ビスサイト３０に送り、これに対応付けられた付随情報
をサービスサイト３０から受信する。このサービスサイ
ト３０から入手する情報の対価は無料であるか有料であ
るかは問わない。有料である場合には、例えば通信料に
含めた情報料の形でサービスサイト３０に支払うことも
可能である。一方、販売サイト４０は、自社商品の広告
を検索用画像情報として登録してユーザに対する広告サ
ービスを行ってもらう対価としてサービスサイト３０に
対して広告料を支払う。端末１０のユーザは、サービス
サイト３０を介して、または直接的に販売サイト４０に
対して商品の購入申し込みを行い、販売サイト４０から
商品の納入を受ける。ここで、「商品」は有体物に限る
ものではなく、無体の情報やサービス等も含むものとす
る。また、サービスサイト３０および販売サイト４０の
個数はそれぞれ１個のみ示したが、いずれも複数であっ
てもよい。

【００１７】図３に、図１に示したデジタルカメラ付携
帯電話１０の内部の概略構成を示す。この図において、
デジタルカメラ１１はＣＣＤ等の撮像素子を用いて被写
体の撮影を行う。ＣＰＵ１２は携帯電話１０全体を制御
する。表示部１３はＬＣＤ等を用いて文字情報や撮影画
像の表示を行う。スピーカ１４は音声の出力を行う。通
信部１５は基地局と無線通信を行う。メモリ１６は撮影
した画像や電話帳を記憶する。操作部１７は電話番号入
力等の各種操作の入力を行う。マイク１８は音声の入力
を行う。

【００１８】図４に、図１に示したサービスサイト３０
（サーバ）の概略構成を示す。受信部３２は、基地局を
経由して携帯電話１０からの要求を受信する。ＣＰＵ３
３はこのサービスサイト全体を制御する。データベース
３５は広告画像ファイルと、配信情報ファイル等の他、
後述する画像管理テーブル３５０を記憶する。判別部３
４は、受信部３２により受信した画像ファイルと記憶す
る広告画像ファイルとを比較し、受信した画像ファイル
が、記憶するどの広告画像ファイルと一致するかを判別
する。送信部３１はユーザに対して情報の送信や通知を
行ったり、他サービスサイトヘ購入代理要求を行う。販
売サイト４０の構成については特に図示しないが、図４
に示した構成と同様である。

【００１９】以下、本実施の形態における動作（処理手
順）について説明する。

【００２０】図５は、携帯電話１０の処理を説明するた
めのフローチャートである。まず、ユーザは外出先で目
にした商品広告（画像）を携帯電話１０を用いて撮影す
る。すなわち、携帯電話１０内のカメラ機能は、ユーザ
の撮影の指示を受けて、撮影処理を実行する（Ｓ１
１）。この撮影された画像は特定のフォーマットの画像
ファイルとしてメモリに記録される（Ｓ１２）。

【００２１】次に、ユーザは撮影した商品広告の詳細情
報を知りたい場合や商品を購入したい場合、特定サービ
スサイトに画像ファイルを送信する指示を行う。携帯電
話１０はこの指示に応じて、送信部１５によりその要求
を送信する（Ｓ１３）。このとき、携帯電話１０内の表
示部１３には、例えば図７または図８のように表示され
る。

【００２２】図７、図８は、携帯電話１０における画像
送信のための第１及び第２の画面を示す。この例では図
７の画面においてユーザが送信対象の画像を選択できる
ようになっている。また、図８の画面において、ユーザ
がアクセス対象のサービスサイトをメニュー（選択肢）
の中から選択するとともに、希望するサービスを選択で
きるようになっている。ここでの希望するサービスとし
ては、その商品の詳細情報を知りたいときには仕様要求
を選択し、購入したいときには購入要求を選択すること
ができる。これに応じて携帯電話１０は、購入要求また
は仕様要求をサービスサイトへ送信する。

【００２３】送信する画像ファイルを選択するために
は、図７に示すように、画像上にアロー（矢印）６９が
表示される。撮影した画像内に複数の商品が含まれてい
る場合には、携帯電話１０の操作部１７のカーソルキー
（図示せず）を用いて、画像上のどの商品を選択するの
かを、その商品の絵柄上にアロー６９を重ね合わせるこ
とにより指定（アロー指定）することができる。特定サ
ービスサイトに画像ファイルを送信するときには、アロ
ー指定された座標データも含めて送信するものとする。
アロー６９は、画像内に複数の商品があるか否かに関わ
らず常時表示してもよいし、ユーザの指示に応じて表示
するようにしてもよい。

【００２４】図５に戻り、後述する広告確認（Ｓ１４）
の後、仕様情報を受信する（Ｓ１５）。

【００２５】ここで、本実施の形態における広告画像の
撮影上の制限について説明する。撮影された入力画像を
検索用画像と対比するためには両画像のサイズが同じで
あることが好ましいが、実際にはデジタルカメラ１１と
被写体である広告画像との距離や撮影倍率、アングル等
がまちまちであるため、撮像により得られた画像のサイ
ズは一致しないのが現実である。したがって、後述する
ような画像の一致検出アルゴリズムの実行の前提とし
て、広告画像の撮影の際には原則として広告画像全体を
撮影するものとする。例えば、カメラのファインダー内
に広告画像全体が収容された状態でシャッターを押すよ
うユーザに指示しておく。

【００２６】サービスサイトはユーザからアクセスされ
たとき、図６に示すような処理を行う。サービスサイト
３０は、その受信部３２によりユーザから画像ファイル
や希望するサービス要求を受信する（Ｓ２１）。これに
応じて、判別部３４はデータベース３５を検索し、受信
した画像ファイルと最も近似するデータベース３５内の
広告画像ファイルを判別する（Ｓ２２）。データベース
３５には、例えば図９に示すような画像管理テーブル３
５０を有する。この画像管理テーブル３５０には、公開
されている種々の広告画像に対応する原画像のファイル
（広告画像ファイル）のファイル名とともに、この各原
画像に対して関連する情報が登録されている。この例で
は、各広告画像ファイルについて、その検索処理のため
のブロック毎の画像認識用しきい値および画像内の商品
の存在領域を示す座標データ、対応する商品名、その商
品の詳細情報が記述された配信情報ファイルのファイル
名、および商品を購入する場合にアクセスする販売サイ
ト（ＵＲＬ）が対応づけて登録されている。このデータ
ベース３５を検索することにより、当該広告画像を特定
するとともに、その特定された広告画像についての商品
の名称、配信情報ファイル、販売サイトの各情報を得る
ことができる。なお、画像ファイルや情報ファイルの実
体データは、図示しないが、データベース３５内または
他の所定の場所に格納されているものとする。他の所定
の場所に格納されている場合には、例えば、画像管理テ
ーブル３５０の配信情報ファイルの位置には、当該商品
に関連したより詳細な情報を提供する別のサーバのＵＲ
Ｌ（ファイル名称まで含むか否かは任意）が記述され
る。

【００２７】ここで判別部３４が、受信した画像ファイ
ルを認識する方法の一例を記述する。図１０はサービス
サイトでの画像認識および検索の方法を説明するための
図である。サービスサイトのサーバは、まず、画像ファ
イルを受信したとき、この画像から広告画像全体を切り
出す作業を行う。通常、このような広告は長方形状をし
ており、公知の画像認識技術により上下左右の直線的な
周縁（外部境界）を認識して当該広告画像を切り出すこ
とが可能である。この代わりに、より確実かつ容易な広
告画像の切り出しのためには、図１２に示すような広告
画像の四隅に所定の識別マーク９１を付加しておき、撮
影画像内からこれらの識別マーク９１を認識して切り出
しを行うようにしてもよい。また、このような識別マー
ク９１を採用する場合、識別マーク９１は必ずしも広告
全体に対して付加するのではなく、広告の一部の領域
（商品画像が含まれている部分）に対して付加するよう
にしてもよい。

【００２８】図１０は、このようにして切り出された広
告全体の画像９０を示している。この画像９０は多数の
画素の集合体である。本実施の形態での広告の撮影は、
カラーで行うものとする。その場合、通常、各画素はＲ
ＧＢの独立した３原色のパラメータで表わされる。そこ
で、図１０に示すように、画像９０全体を、横ｍ分割、
縦ｎ分割し、画像全体をｍ×ｎ個のブロックに分割す
る。これらの複数のブロックについて、順次、以下のよ
うな処理を行う。その順序は任意であるが、例えば左上
のブロックから右上のブロック、ついで、１段下の左端
ブロックから右端ブロック、というように、順次各ブロ
ックの処理を行う。

【００２９】各ブロックの処理では、そのブロックの画
像をＲＧＢの各パラメータに分解し、各原色についてそ
のブロック内の全画素値の平均値を求める。例えばブロ
ック０の全画素値の平均値をＲ＿Ａｖ０、Ｇ＿Ａｖ０、
Ｂ＿Ａｖ０とする。一方、検索用画像ファイルを格納し
たデータベース３５の画像管理テーブル３５０には前述
したように画像認識用しきい値が記録されている。画像
認識用しきい値は、各原色について、かつ、各ブロック
について平均値の上限値Ｒ＿Ａｖ０＿Ｔｏｐおよび下限
値Ｒ＿Ａｖ０＿Ｂｏｔｔｏｍ・・・という形式で記録さ
れており、先程求めた平均値Ｒ＿Ａｖ０、Ｇ＿Ａｖ０、
Ｂ＿Ａｖ０が、次式を満足するか否かをチェックする。
これは、撮像された入力画像について求められた平均値
とその原画像の平均値との誤差に対処するためのもので
ある。

【００３０】 Ｒ＿Ａｖ０＿Ｂｏｔｔｏｍ≦Ｒ＿Ａｖ０≦Ｒ＿ＡｖＯ＿Ｔｏｐ （１） Ｇ＿Ａｖ０＿Ｂｏｔｔｏｍ≦Ｇ＿Ａｖ０≦Ｇ＿Ａｖ０＿Ｔｏｐ （２） Ｂ＿Ａｖ０＿Ｂｏｔｔｏｍ≦Ｂ＿Ａｖ０≦Ｂ＿Ａｖ０＿Ｔｏｐ （３）

【００３１】ブロック０と同様に、順次、ブロック１，
ブロック２・・・ブロック（ｎ−１）との比較を行うこ
とにより、満足しない画像ファイルを捨象し、満足する
画像ファイルのみを候補として残しておく。このように
して、広告画像ファイルを絞り込む。すべてのブロック
のすべての原色について、上記式（１）（２）（３）を
満足した広告画像ファイルが目的の広告画像ファイルで
あると判断される。以上のようにして画像認識を行う。

【００３２】次に、アロー指定された座標データを受信
した場合、この座標データをデータベースに記録されて
いる座標データとを比較することにより、ユーザが画像
上のどの商品を選択したのかを絞り込む。この比較で
は、複数の座標データで表される領域内に当該アロー指
定された座標点が内包されるかどうかを判断する。これ
により、広告画像内に複数の商品が含まれる場合に、そ
のうちの一つを特定することができる。

【００３３】図６に戻り、このようにして特定された広
告画像ファイルまたは商品が、ユーザが所望するもので
あるかを確認するために、ユーザに対して広告確認要求
（問い合わせ）が行われる（Ｓ２３）。そのために絞り
込まれた広告画像ファイルがユーザに送信される。ユー
ザは、表示されている広告画像ファイルまたは商品が自
己の所望するものであればＯＫボタンを押す。違うので
あればＣＡＮＣＥＬ（取消）ボタンまたはＲＥＴＲＹ
（再要求）ボタンを押す。入力画像情報に基づく検索は
必ずしも高精度に行えない場合があり、このような確認
を行うことによりユーザの目的の画像を確実に特定する
ことが可能になる。また、これにより誤った付随情報を
無駄に送信することが回避される。

【００３４】なお、画像確認時に、携帯電話１０内の表
示部１３には、例えば図１１のように広告画像が表示さ
れる。この例では、広告画像内に二つの商品が含まれ、
そのうちアロー指定された方の商品が、その属する領域
を示す枠９５で識別表示されている。商品が一つしか含
まれていない場合には、ユーザによるアロー指定は必要
なく、枠９５による識別も不要である。

【００３５】サービスサイトは、広告確定に失敗した
ら、すなわち、データベースを検索しても広告画像ファ
イルまたは商品を絞り込めなかった場合には（Ｓ２
４）、ユーザにエラー通知を行う（Ｓ２９）。広告確定
に成功したら、要求内容を確認する（Ｓ２５）。ユーザ
からの要求が仕様要求である場合には、その商品の詳細
情報が記述された配信情報ファイルをユーザに送信する
（Ｓ２７）。ユーザからの要求が購入要求である場合に
は、その商品を販売する販売サイトにアクセスし、購入
代理要求を行う（Ｓ２６）。ユーザヘの配信情報ファイ
ル送信や販売サイトヘの購入代理要求が正常に行われた
場合には、ユーザに完了通知を行う（Ｓ２８）。

【００３６】なお、データベース検索が正しく行われた
かどうかを確認するために検索用の広告画像ファイルを
ユーザに送信するときに、上記式（１）（２）（３）を
満足する広告画像ファイルが複数存在する場合には１個
ではなく複数個送信することも考えられる。この場合は
ユーザは受信した複数個の広告画像ファイルの中から所
望の１個を選択することになる。所望の広告画像ファイ
ルが存在しない場合には取消や再要求を行うことにな
る。

【００３７】以上、本発明の好適な実施の形態について
説明したが、上記で言及した以外にも、種々の変形、変
更が可能である。例えば、上述した平均値の上限値およ
び下限値は、撮像された入力画像について求められた平
均値とその原画像の平均値との誤差に対処するためのも
のである。誤差に対処する手法はこれに限るものではな
く、例えば、入力画像のブロックの画素の平均値と原画
の当該ブロックの画素の平均値との差が所定の誤差範囲
内であることを確認する方法であってもよい。また、図
９のテーブルにおける座標データの指定の仕方は上記の
ものに限らず、２次元的な領域が特定できれば足りる。
例えば領域が長方形の場合には対角の２点の座標データ
を用いればよく、また５点以上の多角形の場合には５点
以上の座標データを用いてもよい。

【００３８】

【発明の効果】本発明によれば、ユーザが端末装置付属
の撮像手段を用いて、外出先等で目にした商品広告等の
画像を撮影し、その画像情報を特定のサービスサイトに
送信することにより、その商品等に関する詳細情報を迅
速かつ容易に入手することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の概念を説明するための図
である。

【図２】本発明実施の形態における情報処理システムの
概略構成を示すブロック図である。

【図３】図１に示したデジタルカメラ付携帯電話の内部
の概略構成を示すブロック図である。

【図４】図１に示したサービスサイト（サーバ）の概略
構成を示すブロック図である。

【図５】本発明の実施の形態における携帯電話の処理を
説明するためのフローチャートである。

【図６】本発明の実施の形態におけるサービスサイトの
処理を説明するためのフローチャートである。

【図７】本発明の実施の形態の携帯電話における画像送
信のための第１の画面を示す図である。

【図８】本発明の実施の形態の携帯電話における画像送
信のための第２の画面を示す図である。

【図９】本発明の実施の形態のサービスサイトにおける
画像管理テーブルの構成を示す図である。

【図１０】本発明の実施の形態のサービスサイトにおい
て入力画像から切り出された広告全体の画像を示す図で
ある。

【図１１】本発明の実施の形態における画像確認時に表
示される広告画像の一例を示す図である。

【図１２】本発明の実施の形態のサービスサイトにおい
て入力画像から広告全体を切り出すための識別マークを
示す図である。

【符号の説明】

１０…デジタルカメラ付携帯電話（端末）、１５…基地
局、１７…ネットワーク（通信媒体）、３０…サービス
サイト、３５…データベース、４０…販売サイト、３５
０…画像管理テーブル、６９…アロー（矢印）、９１…
マーク、９５…枠

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ２００ Ｇ０６Ｔ 1/00 ２００Ｅ Ｇ０９Ｆ 19/00 Ｇ０９Ｆ 19/00 Ｚ

Claims (10)

【特許請求の範囲】
1. 【請求項１】サーバと、このサーバに対してネットワー
   クを介して接続される端末装置とからなる情報処理シス
   テムであって、 前記端末装置は、 撮像手段と、 この撮像手段により得られた画像情報を前記サーバに送
   信する送信手段と、 前記サーバから送信された情報を受信する受信手段と、 この受信された情報を表示する表示手段と、 を備え、 前記サーバは、 複数の検索用画像情報とこの検索用画像情報に関する付
   随情報とを関連付けて記憶するデータベースと、 前記端末装置から送信されてきた画像情報を入力画像情
   報として受信する受信手段と、 この入力画像情報に基づいて前記データベース内の検索
   用画像情報を検索し、前記入力画像情報に一致する検索
   用画像情報を判別する画像判別手段と、 判別された検索用画像情報に関連付けられた前記付随情
   報を前記端末装置へ送信する送信手段と、 を備えたことを特徴とする情報処理システム。
2. 【請求項２】前記サーバは、前記付随情報を前記端末装
   置へ送信する前に、前記画像判別手段により判別された
   検索用画像情報が前記撮影された画像と同じであるか否
   かを前記端末装置のユーザに問い合わせる手段を備え、
   前記端末装置はその問い合わせに対して応答する手段を
   備えたことを特徴とする請求項１記載の情報処理システ
   ム。
3. 【請求項３】複数の検索用画像情報とこの検索用画像情
   報に関する付随情報とを関連付けて記憶するデータベー
   スと、 端末装置から送信されてきた画像情報を入力画像情報と
   して受信する受信手段と、 この入力画像情報に基づいて前記データベース内の検索
   用画像情報を検索し、前記入力画像情報に一致する検索
   用画像情報を判別する画像判別手段と、 判別された検索用画像情報に関連付けられた前記付随情
   報を前記端末装置へ送信する送信手段と、 を備えたことを特徴とするサーバ。
4. 【請求項４】前記付随情報を前記端末装置へ送信する前
   に、前記画像判別手段により判別された検索用画像情報
   が前記撮影された画像と同じであるか否かを前記端末装
   置のユーザに問い合わせる手段を備えたことを特徴とす
   る請求項３記載のサーバ。
5. 【請求項５】前記付随情報を前記端末装置へ送信する前
   に、前記画像判別手段により判別された検索用画像情報
   が複数の商品を含む場合、前記端末装置のユーザから当
   該商品を指示する座標データを受信し、この座標データ
   に基づいて前記複数の商品のうちの一つを特定する手段
   を備えたことを特徴とする請求項３記載のサーバ。
6. 【請求項６】前記画像判別手段により判別された検索用
   画像情報が前記撮影された画像と同じであるか否かを前
   記端末装置のユーザに問い合わせる手段を備え、この問
   い合わせ時に前記特定された商品を識別表示するための
   画像情報を前記端末装置へ送信することを特徴とする請
   求項５記載のサーバ。
7. 【請求項７】前記付随情報は、前記検索用画像情報に関
   するより詳細な情報を保持する他のサーバへのアクセス
   情報を含むことを特徴とする請求項３記載のサーバ。
8. 【請求項８】ネットワークを介してサーバに接続される
   端末装置であって、 撮像手段と、 この撮像手段により得られた画像情報を、その画像内の
   ユーザが指定した座標データとともに前記サーバに送信
   する送信手段と、 前記サーバから送信された情報を受信する受信手段と、 前記撮像手段により得られた画像情報および前記受信手
   段により受信された情報を表示する表示手段と、 を備えたことを特徴とする端末装置。
9. 【請求項９】前記サーバから送信された情報は、前記画
   像情報で表された画像内の前記座標データにより特定さ
   れた商品に付随する情報であることを特徴とする請求項
   ８記載の端末装置。
10. 【請求項１０】端末装置から送信されてくる商品の広告
    画像を受信するステップと、 この広告画像を、予め用意された複数の検索用広告画像
    と比較して、当該広告画像と一致する検索用広告画像を
    判別するステップと、 判別された検索用広告画像の商品の付随情報を前記端末
    装置へ送信するステップと、 を備えたことを特徴とする広告サービス提供方法。